KR100863507B1 - 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역감시시스템 및 그 왜곡영상 보정방법 - Google Patents

카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역감시시스템 및 그 왜곡영상 보정방법 Download PDF

Info

Publication number
KR100863507B1
KR100863507B1 KR1020070042614A KR20070042614A KR100863507B1 KR 100863507 B1 KR100863507 B1 KR 100863507B1 KR 1020070042614 A KR1020070042614 A KR 1020070042614A KR 20070042614 A KR20070042614 A KR 20070042614A KR 100863507 B1 KR100863507 B1 KR 100863507B1
Authority
KR
South Korea
Prior art keywords
image
camera
unwrapping
region
roi
Prior art date
Application number
KR1020070042614A
Other languages
English (en)
Inventor
남궁성
최윤혁
이인정
민준영
허병도
Original Assignee
한국도로공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국도로공사 filed Critical 한국도로공사
Priority to KR1020070042614A priority Critical patent/KR100863507B1/ko
Priority to US12/594,518 priority patent/US20100134621A1/en
Priority to PCT/KR2008/001842 priority patent/WO2008123675A1/en
Priority to CN200880010694XA priority patent/CN101647277B/zh
Application granted granted Critical
Publication of KR100863507B1 publication Critical patent/KR100863507B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • G02B5/10—Mirrors with curved faces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 2차 곡면경이 장착된 카메라수단을 통해 도로의 전방향(360도) 원거리 영상을 촬상하는 카메라장치부와; 상기 카메라장치부에 의해 촬상된 왜곡된 광학영상으로 얻어진 원거리 영상신호를 화상 데이터로 변환시키기 위한 영상신호처리부와; 상기 영상신호처리부의 영상왜곡된 화상데이터중 평면화 영역(unwrapping region)을 선택하여 ROI(Region of interest)로 만들고 이 ROI중 필요한 곡면영역을 크롭핑(Cropping)한 다음 언랩핑(unwrapping)하여 평면이미지로 변환하여 모니터상에 표시시키는 컴퓨터장치부를 포함하여 구성되는 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템 및 그 왜곡영상 보정방법을 제공한다.
상기와 같은 본 발명은 촬상된 곡면영상중 필요한 영역을 부채꼴형태의 곡면영상으로 추출하고 그 추출된 영상을 언랩핑처리하여 평면이미지로 변환한 다음 캘리브레이션 처리하여 원래의 영상으로 복원하므로써, 곡면경 카메라에 의해 왜곡된 곡면영상을 원래의 영상으로 선명하게 복원해주게되므로 그에 따라 다영역감시시스템의 영상복원력을 극대화시키는 장점을 가지고 있다.
카메라장치부, 영상왜곡, ROI, 크롭핑, 언랩핑, 평면이미지, 캘리브레이션

Description

카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템 및 그 왜곡영상 보정방법{multi-area monitoring system from single CCTV having a camera quadratic curved surface mirror structure and unwrapping method for the same}
도 1은 종래 다영역 감시시스템의 일례를 설명하는 설명도.
도 2는 본 발명 씨씨티브이 다영역 감시시스템을 설명하는 설명도.
도 3은 본 발명의 플로우차트.
도 4는 본 발명의 방법의 일례를 설명하는 설명도.
도 5는 본 발명 방법중 곡면경 영상의 위치를 설명하는 그래프.
도 6은 본 발명 방법중 곡면영상에 대응하는 평면위치를 설명하는 그래프.
도 7은 본 발명 방법중 캘리브레이션 그리드가 로드된 일례를 설명하는 설명도.
도 8은 본 발명 방법중 캘리브레이션 단계의 일례를 설명하는 설명도.
*** 도면의 중요부분에 대한 부호의 설명 ***
1 : 카메라수단 2 : 카메라 장치부
3 : 영상신호처리부 4 : 모니터
5 : 컴퓨터장치부
본 발명은 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템 및 그 왜곡영상 보정방법에 관한 것으로, 특히 촬상된 곡면영상중 필요한 영역을 부채꼴형태의 곡면영상으로 추출하고 그 추출된 영상을 언랩핑처리하여 평면이미지로 변환한 다음 캘리브레이션 처리하여 원래의 영상으로 복원하는 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템 및 그 왜곡영상 보정방법에 관한 것이다.
일반적으로 은행, 백화점, 24시간 편의점, 관공서 등에서는 고객의 안전등을 위하여 감시 카메라를 설치 운영하고 있고, 이들 장소의 대부분은 독립된 구성으로 되는 고정식 카메라를 이용하여 필요한 장소에 각기 하나씩 장착하여 카메라에서 전달되는 영상을 모니터로 실시간 출력함과 동시에 VCR로 녹화를 하도록 구성되어 있다.
그리고, 상기와 같은 종래 감시시스템에 적용되는 감시카메라는 최근에 컴퓨터와 결합된 형태로 다양하게 실용화되어 사람이 스스로의 눈으로 행해왔던 일을 실행하고 있는 것이 현실이다.
그렇지만, 상기와 같은 용도로 사용되었던 종래 카메라들은 제한된 시야각을 가지고 있기 때문에 몇몇 용도에 있어서는, 광각렌즈(예컨대, 어안렌즈(fisheye lens))가 좀더 넓은 시야 각을 얻기 위해 사용된다. 그에 더하여 움직이는 로봇의 분야에서는, 넓은 시야 각을 얻을 목적으로, 원추형 미러, 구형 미러, 쌍곡면 미러 등과같이 회전체 형상의 미러를 실용적으로 사용하기 위한 연구가 활발히 수행되고 있다. 또한, 상기와 같은 종래 카메라에 적용되는 시각 센서분야에서는 광학계와 촬상 장치에 의해 얻어지는 전방향 화상을 파노라마 화상 등 인간이 보기 쉬운 화상으로 변환되도록 컴퓨터에 의해 사용되는 소프트웨어를 이용하여 처리하는 카메라를 포함하는 전방향 감시시스템이 최근 각광을 받고 있다.
특히, 최근에는 영상처리기술의 발달로 한개의 CCTV(closed-circuit television)로 다수의 CCTV가 획득할 수 있는 영상을 동시에 보여주게 되는데, 즉, 하나의 CCTV로 모니터링 할 수 있는 영역(Viewing area)이 한정되어 있기 때문에 다른 각도의 영상을 동시에 보기 위해서는 또 하나의 CCTV를 설치하던지 또는 Pan, Tilt, Zoom(PTZ)에 의해 카메라의 주시각도를 수시로 변경을 해줘야 하는 불편함이 있었다. 이를 해결하기위해 CCTV에 광학경(블록거울, Glass Optics)이나 어안렌즈(fisheye lens)를 장착함으로 CCTV의 주시영역을 확대하여 볼 수 있습니다.
여기서, 상기와 같은 곡면경이나 어안렌즈는 원상 영상이 심한 왜곡수차에 의해 화면의 중심을 통과하지 않은 광선(주변광)이 모두 왜곡되어 둥글게 촬영되며, 특히 화면의 중심으로부터 멀어질수록 피사체가 둥근 모양으로 왜곡되어 화면이 둥글게 찍히기 때문에 들어오기 때문에 일반적이지 못하다는 불편함이 있다.
이러한 왜곡연상의 보정방법으로는 forward mapping 방법과 inverse mapping 방법이 있는데, 전자는 왜곡영상에서 보정영상을 얻을 수 있는 보정계수를 구한 후 이를 직접 왜곡영상에 적용시켜 보정하는 방법이고, 후자는 미리 보정된 영상을 가정 하고 이 영상의 점들이 왜곡영상의 어느 점과 매칭이 되는 지 찾는 방법이다.
또한, 상기와 같은 종래 forward mapping 방법은 보정하는 과정에서 보정계수에 의해 정확히 매핑이 되지 않고, 사이사이 공백의 점들이 생기게 되는데, 이 경우 보간법(interpolation)을 이용하여 공백 점들의 값을 계산하는 과정이 필요하다.
그러면, 상기와 같은 종래 전방향 감시시스템(70)의 일례를 도 1을 참고로 살펴보면, 광각렌즈(예컨대, 어안렌즈) 또는 회전체 형상의 미러(원추형 미러, 구형 미러, 쌍곡면 미러 등;71)를 이용하는 광학계 장치부(72)와;
상기 광학계 장치부(72)에 의해 얻어진 광학상을 화상 데이터로 변환시키기 위한 촬상부(73)와;
상기 촬상부(73)로부터 송출된 화상데이터를 화상 변환하여 모니터(74)상에 표시시키는 컴퓨터장치부(75)를 포함한다.
한편, 상기와 같은 종래 전방향 감시시스템(70)의 동작을 살펴보면, 먼저, 광학계 장치부(72)에 의해 얻어진 원형의 광학상을 촬상부(73)에 의해 원형의 화상 데이터로 변환된다. 그리고, 상기 촬상부(73)는 그 화상 변환된 화상데이터를 컴퓨터 장치부(75)로 출력시킨다. 그러면, 상기 컴퓨터 장치부(75)는 입력된 화상데이를 사각 파노라마 화상 또는 투시 화상 등의 인간이 좀더 보기 쉬운 화상으로 처리하여 모니터(74)상에 표시시킨다.
그러나, 상기와 같은 종래 전방향 감시시스템(70)의 광학장치는 360도 전방향을 촬상하도록 설계된 곡면경을 장착하고 있기 때문에 이러한 시스템을 고속도로 등에 설치하여 도로를 감시하게 될 경우 그 곡면경에 의해 촬상된 영상이 왜곡된 상태이므로 이를 평면영상으로 보정해주어야하는데, 이때, forward mapping 방법을 사용할 경우 보정하는 과정에서 보정계수에 의해 정확히 매핑이 되지 않을 뿐만아니라 사이사이 공백의 점들이 생기게 될 수 있어, 이 경우 보간법(interpolation)을 이용하여 공백 점들의 값을 계산하는 과정이 필요하므로 그에 따라 왜곡영상의 보정forward mapping 방법은 보정하는 과정에서 보정계수에 의해 정확히 매핑이 되지 않고, 사이사이 공백의 점들이 생기게 되는데, 이 경우 보간법(interpolation)을 이용하여 공백 점들의 값을 계산하는 과정이 필요하며, 보정 후에도 영상의 질이 떨어진다는 문제점이 있었다.
이에 본 발명은 상기와 같은 제반 문제점을 해결하기 위해 발명된 것으로, 곡면경 카메라에 의해 왜곡된 곡면영상을 원래의 영상으로 선명하게 복원해주므로 그에 따라 다영역감시시스템의 영상복원력을 극대화시키는 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템 및 그 왜곡영상 보정방법을 제공함에 그 목적이 있다.
본 발명의 또다른 목적은 복잡한 기계구조를 추가하지 않고도 곡면경에 의한 왜곡영상을 선명하게 복원해내므로 그에 따라 다영역감시시스템의 가격안정성도 상당히 향상시키는 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템 및 그 왜곡영상 보정방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명은 2차 곡면경이 장착된 카메라 수단을 통해 도로의 전방향(360도) 원거리 영상을 촬상하는 카메라장치부와; 상기 카메라장치부에 의해 촬상된 왜곡된 광학영상으로 얻어진 원거리 영상신호를 화상 데이터로 변환시키기 위한 영상신호처리부와; 상기 영상신호처리부의 영상왜곡된 화상데이터중 평면화 영역(unwrapping region)을 선택하여 ROI(Region of interest)로 만들고 이 ROI중 필요한 곡면영역을 크롭핑(Cropping)한 다음 언랩핑(unwrapping)하여 평면이미지로 변환하여 모니터상에 표시시키는 컴퓨터장치부를 포함하여 구성되는 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템을 제공한다.
본 발명의 다른 특징은 2차 곡면경이 장착된 카메라수단이 도로의 전방향(360도) 원거리 영상을 촬상하여 화상데이터로 출력시키는 영상촬상과정과;
상기 영상촬상과정후에 영상왜곡된 화상데이터중 평면화 영역(unwrapping region)을 선택하고 그 선택한 영역을 ROI(Region of interest)로 만드는 ROI설정과정과;
상기 ROI설정과정후에 ROI를 이미지(영상)에 오버레이(OVERLAY)한 다음 그 ROI 영역을 크롭핑처리하여 원하는 영역의 곡면영상이미지를 특정형태로 생성시키는 크롭핑처리과정과;
상기 크롭핑처리과정후에 크롭핑에 의해 곡면화된 원거리도로의 이미지를 언랩핑처리하여 평면이미지로 변환시키는 언랩핑처리과정과;
상기 언랩핑처리과정후에 언램핑처리에 의해 조잡하게된 평면이미지를 이미지 캘리브레이션(image calibration) 과정을 거쳐 원래의 영상으로 복원하여 모니 터상에 표시시키는 정상영상 복원과정을 포함하여 구성되는 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템의 왜곡영상 보정방법을 제공한다.
본 발명의 또다른 특징은 2차 곡면경이 장착된 카메라수단이 도로의 전방향(360도) 원거리 영상을 촬상하여 화상데이터로 출력시키는 영상촬상과정과;
상기 영상촬상과정후에 영상왜곡된 화상데이터중 평면화 영역(unwrapping region)을 선택하고 그 선택한 영역을 ROI(Region of interest)로 만드는 ROI메이킹과정과;
상기 ROI메이킹과정후에 ROI를 이미지(영상)에 오버레이(OVERLAY)한 다음 그 ROI 영역을 크롭핑처리하여 원하는 영역의 곡면영상이미지를 특정형태로 생성시키는 크롭핑처리과정과;
상기 크롭핑처리과정후에 크롭핑에 의해 곡면화된 원거리도로의 이미지를 언랩핑처리하여 평면이미지로 변환시키는 언랩핑처리과정과;
상기 언랩핑처리과정후에 언램핑처리에 의해 조잡하게된 평면이미지를 이미지 캘리브레이션(image calibration) 과정을 거쳐 원래의 영상으로 복원한 후 카메라장치부의 카메라가 2차 곡면경의 하부에 위치하여 왜곡된 좌우대칭영상으로 평면이미지가 산출될 경우 이를 원래의 영상으로 바로 잡아 모니터상에 표시시키는 정상영상 복원과정을 포함하여 구성되는 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템의 왜곡영상 보정방법을 제공한다.
이하, 본 발명을 첨부된 예시도면에 의거 상세히 설명한다.
본 발명은 도 2에 도시된 바와같이 2차 곡면경이 장착된 카메라수단(1)을 통해 도로의 원거리 영상 예컨대, 2km이상의 고속도로의 전방향(360도) 상황을 촬상하는 카메라장치부(2)와;
상기 카메라장치부(2)에 의해 촬상된 왜곡된 광학영상으로 얻어진 원거리 영상신호를 화상 데이터로 변환시키기 위한 영상신호처리부(3)와;
상기 영상신호처리부(3)의 영상왜곡된 화상데이터중 평면화 영역(unwrapping region)을 선택하여 ROI(Region of interest)로 만들고 이 ROI중 필요한 곡면영역을 예컨대, 부채꼴형태로 크롭핑(Cropping)한 다음 언랩핑(unwrapping)하여 평면이미지로 변환하여 모니터(4)상에 표시시키는 컴퓨터장치부(5)를 포함한다.
여기서, 상기 컴퓨터장치부(5)는 조잡한 평면이미지를 이미지 캘리브레이션(image calibration) 과정을 통해 원래의 영상으로 복원하는 기능과, 상기 카메라장치부(2)의 카메라가 2차 곡면경의 하부에 위치하여 왜곡된 좌우대칭영상으로 평면이미지가 산출될 경우 이를 바로 잡는 기능을 더 포함한다.
다음에는 상기와 같은 장치에 적용되는 제어방법을 설명한다.
본 발명의 방법은 도 3에 도시된 바와같이 초기상태(S1)에서 영상촬상과정(S2)으로 진행하여 2차 곡면경이 장착된 카메라수단이 도로의 전방향(360도) 원거리 영상을 촬상하여 화상데이터로 출력시킨다.
그리고, 상기 영상촬상과정(S2)후에 ROI설정과정(S3)으로 진행하여 영상왜곡된 화상데이터중 평면화 영역(unwrapping region)을 선택하고 그 선택한 영역을 ROI(Region of interest)로 만든다.
또한, 상기 ROI설정과정(S3)후에 크롭핑처리과정(S4)으로 진행하여 ROI를 이미지(영상)에 오버레이(OVERLAY)한 다음 그 ROI 영역을 크롭핑처리하여 원하는 영역의 곡면형태(부채꼴형태)의 이미지(영상)를 생성시킨다.
한편, 상기 크롭핑처리과정(S4)후에 언랩핑처리과정(S5)으로 진행하여 크롭핑에 의해 곡면화된 원거리도로의 이미지를 언랩핑처리하여 평면이미지로 변환시킨다. 그리고, 상기 언랩핑처리과정(S5)후에 정상영상 복원과정(S6)으로 진행하여 언램핑처리에 의해 조잡하게된 평면이미지를 이미지 캘리브레이션(image calibration) 과정을 거쳐 원래의 영상으로 복원하여 모니터상에 표시시킨다.
또한, 상기 정상영상 복원과정(S6)에는 카메라장치부(2)의 카메라가 2차 곡면경의 하부에 위치하여 왜곡된 좌우대칭영상으로 평면이미지가 산출될 경우 이를 원래의 영상으로 바로 잡아주는 원영상 복원단계를 더 포함한다.
여기서, 상기 정상영상 복원과정(S6)에는 다양한 종류의 캘리브레이션 그리드(calibration grid)를 로드시키는 그리드 로드단계와;
상기 그리드 로드단계후에 도로된 다양한 캘리브레이션 로드중에서 평면이미지 복원에 필요한 그리드 예컨대, 비선형(nonlinear) 그리드를 설정하는 그리드설정단계와;
상기 그리드설정단계후에 캘리브레이션할 언랩핑된 조잡한 평면이미지를 로드시키는 평면이미지 로드단계와;
상기 평면이미지 로드단계후에 로드된 조합한 평면이미지와 설정한 그리드 즉, nonlinear 그리드를 합성하여 평면이미지를 캘리브레이션하여 선명한 평면영상으로 산출시키는 캘리브레이션 단계를 더 포함한다.
환언하면, 먼저, 카메라장치부(2)가 도 4의 (a)에 도시된 바와같이 2차 곡면경이 장착된 카메라수단(1)을 통해 도로의 원거리 영상 예컨대, 2km이상의 고속도로의 전방향(360도) 도로상황을 촬상하여 영상신호처리부(3)로 전송한다. 그리고, 상기 영상신호처리부(3)는 상기 카메라장치부(2)에 의해 촬상된 왜곡된 광학영상으로 얻어진 원거리 영상신호를 화상 데이터로 변환하여 컴퓨터장치부(5)로 전송시킨다.
그러면, 상기 컴퓨터장치부(5)는 도 4의 (b-c)에 도시된 바와같이 상기 영상신호처리부(3)의 영상왜곡된 화상데이터중 평면화 영역(unwrapping region)을 선택하여 ROI(Region of interest)로 만들고 이 ROI를 도 4의 (d)에 도시된 바와같이 크롭핑(Cropping)을 통해 원하는 영역을 특정곡면형태의 이미지(영상) 예컨대, 부채꼴 형태의 곡면이미지로 생성시킨다. 그리고, 상기 컴퓨터장치부(5)는 상기와 같은 과정을 거쳐 산출한 부채꼴형태의 곡면이미지(영상)를 도 4의 (e)에 도시된 바와같이 언랩핑(unwrapping)하여 평면이미지로 변환시킨다.
즉, 상기 컴퓨터장치부(5)는 원하는영역의 곡면형태의 이미지(영상)를 언랩핑(unwrapping)처리하게 되는데, 이때, 도 5에 도시된 곡면영상의 r1, r2 의 위치는 도 6에 도시된 평면 영상의 y1, y2 위치와 수학식 1과 같은 관계를 가진다.
Figure 112007032996404-pat00001
그리고, 상기 도 5에 도시된 곡면영상의,
Figure 112007032996404-pat00002
는 도 6에 도시된 평면 영상의 x1, x2 사이에서 수학식 2와 같은 관계를 가진다.
Figure 112007032996404-pat00003
따라서, 상기 곡면 거울상의 한 점
Figure 112007032996404-pat00004
를 평면상의 점(xpix, ypix)로 옮기는 방법은 다음과 같다.
먼저, 변수 pxpix가 x1에서 x2까지 1식 증가하면서 변한다고 가정할 때,
그 변위(theta)를 수학식 3과 같이 표현할 수 있고
Figure 112007032996404-pat00005
theta =
여기서, 상기 수학식 3에서 매 pxpix 값에 따라
변수 pypix가 y1에서 y2까지 1씩 증가하면서 변하고 매 pypix 값에 따라 반경(radius)을 수학식 4와 같다고 할 때,
Figure 112007032996404-pat00006
radius=
결론적으로, 평면상의 점(xpix, ypix) 값은 다음 수학식5와 수학식6에 의해 결정된다.
xpix = radius * cos(theta)
ypix = radius * sin(theta)
그러므로, 상기 컴퓨터장치부(5)는 상기 수학식 5와 수학식 6을 이용하여 ROI를 크롭핑(Cropping)과 언랩핑(unwrapping)하여 평면이미지로 변환한 다음 모니터(4)상에 표시시킨다.
그리고, 상기 컴퓨터장치부(5)는 도 7에 도시된 바와같이 다양한 캘리브레이션 그리드를 로드한 다음 그 로드된 그리드중 원하는 캘리브레이션 그리드 예컨대, 비선형(nonlinear) 그리드를 설정하고 도 8에 도시된 바와같이 그 조합한 평면이미지와 설정된 그리드 즉, 비선형(nonlinear) 그리드를 합성하여 평면이미지를 캘리브레이션하여 선명한 평면영상으로 산출시켜 원래의 영상으로 복원시키는데, 이때, 상기와 같은 평면이미지가 카메라장치부(2)의 카메라가 2차 곡면경의 하부에 위치하여 왜곡된 좌우대칭영상으로 산출된 것일 경우 이를 바로 잡아 모니터(4)상에 표시시킨다.
이상 설명에서와 같이 본 발명은 촬상된 곡면영상중 필요한 영역을 부채꼴형태의 곡면영상으로 추출하고 그 추출된 영상을 언랩핑처리하여 평면이미지로 변환한 다음 캘리브레이션 처리하여 원래의 영상으로 복원하므로써, 1대의 CCTV카메라로 360도 전방향 모니터링이 가능하게 되어 고속도로 상하행선을 동시에 관측 가능하다는 장점을 가지고 있다.
또한, 본 발명에 의하면, 복잡한 기계구조를 추가하지 않고도 곡면경에 의한 왜곡영상을 선명하게 복원해내므로 그에 따라 다영역감시시스템의 가격안정성도 상당히 향상시키는 효과도 있다.

Claims (8)

  1. 2차 곡면경이 장착된 카메라수단을 통해 도로의 전방향(360도) 원거리 영상을 촬상하는 카메라장치부와;
    상기 카메라장치부에 의해 촬상된 왜곡된 광학영상으로 얻어진 원거리 영상신호를 화상 데이터로 변환시키기 위한 영상신호처리부와;
    상기 영상신호처리부의 영상왜곡된 화상데이터중 평면화 영역(unwrapping region)을 선택하여 ROI(Region of interest)로 만들고 이 ROI중 필요한 곡면영역을 크롭핑(Cropping)한 다음 언랩핑(unwrapping)하여 평면이미지로 변환하여 모니터상에 표시하고, 상기 평면이미지를 이미지 캘리브레이션(image calibration) 과정을 통해 원래의 영상으로 복원하는 컴퓨터장치부를 포함하여 구성되는 것을 특징으로 하는 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템.
  2. 삭제
  3. 삭제
  4. 2차 곡면경이 장착된 카메라수단을 통해 도로의 전방향(360도) 원거리 영상을 촬상하는 카메라장치부와;
    상기 카메라장치부에 의해 촬상된 왜곡된 광학영상으로 얻어진 원거리 영상신호를 화상 데이터로 변환시키기 위한 영상신호처리부와;
    상기 영상신호처리부의 영상왜곡된 화상데이터중 평면화 영역(unwrapping region)을 선택하여 ROI(Region of interest)로 만들고 이 ROI중 필요한 곡면영역을 크롭핑(Cropping)한 다음 언랩핑(unwrapping)하여 평면이미지로 변환하고, 상기 카메라장치부의 카메라가 2차 곡면경의 하부에 위치하여 왜곡된 좌우대칭영상으로 평면이미지가 산출될 경우 이를 원래의 상으로 바로 잡아 모니터상에 표시하는 컴퓨터장치부를 포함하여 구성되는 것을 특징으로 하는 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템.
  5. 2차 곡면경이 장착된 카메라수단이 도로의 전방향(360도) 원거리 영상을 촬상하여 화상데이터로 출력시키는 영상촬상과정과;
    상기 영상촬상과정후에 영상왜곡된 화상데이터중 평면화 영역(unwrapping region)을 선택하고 그 선택한 영역을 ROI(Region of interest)로 만드는 ROI설정과정과;
    상기 ROI설정과정후에 ROI를 이미지(영상)에 오버레이(OVERLAY)한 다음 그 ROI 영역을 크롭핑처리하여 원하는 영역의 곡면영상이미지를 특정형태로 생성시키는 크롭핑처리과정과;
    상기 크롭핑처리과정후에 크롭핑에 의해 곡면화된 원거리도로의 이미지를 언랩핑처리하여 평면이미지로 변환시키는 언랩핑처리과정과;
    상기 언랩핑처리과정후에 언램핑처리에 의해 조잡하게 된 평면이미지를 이미지 캘리브레이션(image calibration) 과정을 거쳐 원래의 영상으로 복원하여 모니터상에 표시시키는 정상영상 복원과정을 포함하여 구성되고;
    상기 정상영상 복원과정에는 다양한 종류의 캘리브레이션 그리드(calibration grid)를 로드시키는 그리드 로드단계와;
    상기 그리드 로드단계후에 도로된 다양한 캘리브레이션 로드중에서 평면이미지 복원에 필요한 그리드 예컨대, 비선형(nonlinear) 그리드를 설정하는 그리드설정단계와;
    상기 그리드설정단계후에 캘리브레이션할 언랩핑된 조잡한 평면이미지를 로드시키는 평면이미지 로드단계와;
    상기 평면이미지 로드단계후에 로드된 조합한 평면이미지와 설정한 비선형(nonlinear) 그리드를 합성하여 평면이미지를 캘리브레이션하여 선명한 평면영상으로 산출시키는 캘리브레이션 단계를 포함하는 것을 특징으로 하는 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템의 왜곡영상 보정방법.
  6. 삭제
  7. 삭제
  8. 제5항에 있어서, 상기 정상영상 복원과정은 상기 언랩핑처리과정후에 언램핑처리에 의해 조잡하게 된 평면이미지를 이미지 캘리브레이션(image calibration) 과정을 거쳐 원래의 영상으로 복원한 후 카메라장치부의 카메라가 2차 곡면경의 하부에 위치하여 왜곡된 좌우대칭영상으로 평면이미지가 산출될 경우 이를 원래의 영상으로 바로 잡아 모니터상에 표시시키는 기능을 더 포함하는 것을 특징으로 하는 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역 감시시스템의 왜곡영상 보정방법.
KR1020070042614A 2007-04-06 2007-05-02 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역감시시스템 및 그 왜곡영상 보정방법 KR100863507B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020070042614A KR100863507B1 (ko) 2007-05-02 2007-05-02 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역감시시스템 및 그 왜곡영상 보정방법
US12/594,518 US20100134621A1 (en) 2007-04-06 2008-04-02 Multi-area monitoring system from single cctv having a camera quadratic curved surface mirror structure and it, and unwrapping method for the same
PCT/KR2008/001842 WO2008123675A1 (en) 2007-04-06 2008-04-02 Multi-area monitoring system from single cctv having a camera quadratic curved surface mirror structure and it, and unwrapping method for the same
CN200880010694XA CN101647277B (zh) 2007-04-06 2008-04-02 相机二次曲面镜结构及具有该结构的单个cctv多区域监控系统、以及用于该系统的展开方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070042614A KR100863507B1 (ko) 2007-05-02 2007-05-02 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역감시시스템 및 그 왜곡영상 보정방법

Publications (1)

Publication Number Publication Date
KR100863507B1 true KR100863507B1 (ko) 2008-10-15

Family

ID=40153358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070042614A KR100863507B1 (ko) 2007-04-06 2007-05-02 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역감시시스템 및 그 왜곡영상 보정방법

Country Status (1)

Country Link
KR (1) KR100863507B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101193129B1 (ko) 2011-03-02 2012-10-19 남궁성 다자 동시 제어를 허용하는 실시간 원격 360도 전방향 영상 감시 시스템
KR20150131543A (ko) 2014-05-15 2015-11-25 삼성에스디에스 주식회사 영상의 3차원 보정 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020027728A (ko) * 2000-10-04 2002-04-15 강범수 광각영상매체를 이용한 자동차용 전방향미러시스템
JP2005056295A (ja) 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk ３６０度画像変換処理装置
KR20060039896A (ko) * 2003-07-03 2006-05-09 피지컬 옵틱스 코포레이션 왜곡없는 실시간 이미징을 구현하는 파노라마 비디오시스템
KR20070013693A (ko) * 2005-07-27 2007-01-31 호서대학교 산학협력단 볼록거울을 이용한 ｃｃｔｖ 카메라 및 그 카메라를 이용한영상변환방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020027728A (ko) * 2000-10-04 2002-04-15 강범수 광각영상매체를 이용한 자동차용 전방향미러시스템
KR20060039896A (ko) * 2003-07-03 2006-05-09 피지컬 옵틱스 코포레이션 왜곡없는 실시간 이미징을 구현하는 파노라마 비디오시스템
JP2005056295A (ja) 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk ３６０度画像変換処理装置
KR20070013693A (ko) * 2005-07-27 2007-01-31 호서대학교 산학협력단 볼록거울을 이용한 ｃｃｔｖ 카메라 및 그 카메라를 이용한영상변환방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101193129B1 (ko) 2011-03-02 2012-10-19 남궁성 다자 동시 제어를 허용하는 실시간 원격 360도 전방향 영상 감시 시스템
KR20150131543A (ko) 2014-05-15 2015-11-25 삼성에스디에스 주식회사 영상의 3차원 보정 장치 및 방법

Similar Documents

Publication Publication Date Title
US7450165B2 (en) Multiple-view processing in wide-angle video camera
US6977676B1 (en) Camera control system
AU2008283197B9 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
EP3016065B1 (en) Coordinate computation device and method, and image processing device and method
US7382399B1 (en) Omniview motionless camera orientation system
US7429997B2 (en) System and method for spherical stereoscopic photographing
KR100988872B1 (ko) 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
US8427538B2 (en) Multiple view and multiple object processing in wide-angle video camera
US8798451B1 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
KR101915729B1 (ko) 360도 전방향 뷰 영상 생성 장치 및 방법
US20130021434A1 (en) Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
JP2011182176A (ja) 広視野角画像処理方法と広視野角画像撮影装置
US7224392B2 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
JP2006352851A (ja) 複合カメラによりシーンの画像を取得する方法及び装置
WO2008123675A1 (en) Multi-area monitoring system from single cctv having a camera quadratic curved surface mirror structure and it, and unwrapping method for the same
KR101478980B1 (ko) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
KR101916419B1 (ko) 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법
JP2002077947A (ja) 立体画像補正方法及びこれを用いた立体画像装置
WO2009017332A1 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
JP2005086279A (ja) 撮像装置、及び撮像装置を備えた車両
KR100863507B1 (ko) 카메라 이차 곡면경구조를 갖는 씨씨티브이 다영역감시시스템 및 그 왜곡영상 보정방법
KR20120023284A (ko) 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬?틸트 영상을 얻는 방법 및 그 영상 시스템
KR101839307B1 (ko) 어안 영상 감시 시스템
JP6610741B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
CN111541850A (zh) 一种全景电子云台矫正方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121008

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131008

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141006

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151006

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160922

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170928

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 12