KR101839307B1 - Fisheye image monitoring system - Google Patents

Fisheye image monitoring system Download PDF

Info

Publication number
KR101839307B1
KR101839307B1 KR1020160050986A KR20160050986A KR101839307B1 KR 101839307 B1 KR101839307 B1 KR 101839307B1 KR 1020160050986 A KR1020160050986 A KR 1020160050986A KR 20160050986 A KR20160050986 A KR 20160050986A KR 101839307 B1 KR101839307 B1 KR 101839307B1
Authority
KR
South Korea
Prior art keywords
image
fisheye
unit
panorama
camera
Prior art date
Application number
KR1020160050986A
Other languages
Korean (ko)
Other versions
KR20170121991A (en
Inventor
철 김
허준혁
Original Assignee
주식회사 아이디스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이디스 filed Critical 주식회사 아이디스
Priority to KR1020160050986A priority Critical patent/KR101839307B1/en
Publication of KR20170121991A publication Critical patent/KR20170121991A/en
Application granted granted Critical
Publication of KR101839307B1 publication Critical patent/KR101839307B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/06—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0012—Context preserving transformation, e.g. by using an importance map
    • G06T3/0018—Fisheye, wide-angle transformation
    • G06T3/047—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/448—Array [CCD]

Abstract

영상 감시 시스템이 개시된다. 이 시스템은 어안 카메라와 영상 감시 장치를 포함한다. 어안 카메라는 어안 렌즈와, 어안 렌즈를 통과한 광을 촬상하고 전기적인 아날로그 어안 영상으로 변환하는 이미지 센서와, 전기적인 아날로그 어안 영상 신호를 디지털 어안 영상으로 변환하는 아날로그/디지털 컨버터와, 디지털 어안 영상을 파노라마 영상으로 변환하는 영상 변환부, 및 파노라마 영상을 전송하는 영상 전송부를 포함한다. 영상 감시 장치는 어안 카메라로부터 파노라마 영상을 수신하는 영상 수신부와, 수신된 파노라마 영상으로부터 어안 영상을 복원하는 영상 복원부, 및 복원된 어안 영상을 특정 시점에서 디워핑(dewarping)하여 왜곡 보정하는 왜곡 보정부를 포함한다.A video surveillance system is disclosed. This system includes fisheye cameras and video surveillance devices. The fisheye camera includes a fisheye lens, an image sensor that picks up the light passing through the fisheye lens and converts the light into an electrical analogue fisheye image, an analogue / digital converter that converts the electrical analogue fisheye image signal into a digital fisheye image, And an image transmission unit for transmitting the panorama image. The image monitoring apparatus includes an image receiving unit for receiving a panoramic image from a fisheye camera, an image restoration unit for restoring a fisheye image from the received panorama image, and a distortion correction unit for dewarping the restored fisheye image at a specific point of time, .

Figure 112016040212954-pat00006
Figure 112016040212954-pat00006

Description

어안 영상 감시 시스템 {Fisheye image monitoring system}Fisheye image monitoring system

본 발명은 영상 감시 기술에 관한 것으로, 특히 어안 카메라를 이용한 영상 감시 기술에 관한 것이다.The present invention relates to a video surveillance technique, and more particularly, to a video surveillance technique using a fish-eye camera.

어안 렌즈(fisheye lens)는 렌즈가 물고기의 눈처럼 튀어나와 있다고 해서 붙여진 이름이며, 일반적으로 180° 이상의 넓은 화각을 갖는 초광각 렌즈를 총칭한다. 이 같은 어안 렌즈를 감시 카메라에 적용하면, 넓은 지역의 감시가 가능해지고 최소의 장비로 최대의 감시효과를 얻을 수 있는 장점이 있다.A fisheye lens is a name given to the fact that the lens protrudes like a fish's eye, and is generally referred to as an ultra-wide angle lens having a wide angle of view of 180 ° or more. When such a fisheye lens is applied to a surveillance camera, it is possible to monitor a wide area and to obtain the maximum surveillance effect with the minimum equipment.

국내등록특허공보 제10-1149651호 (2012년 05월 25일 공고)Korean Patent Registration No. 10-1149651 (issued on May 25, 2012)

성능이 좋은 영상 감시 장치는 물론 성능이 다소 떨어지는 영상 감시 장치도 어안 카메라를 이용하여 영상을 감시할 수 있도록 하는 기술적 방안이 개시된다.A technical solution for monitoring a video using a fisheye camera is disclosed as well as a video monitoring apparatus with a high performance, as well as a video monitoring apparatus with a low performance.

일 양상에 따른 영상 감시 시스템은 어안 카메라와 영상 감시 장치를 포함한다. 어안 카메라는 어안 렌즈와, 어안 렌즈를 통과한 광을 촬상하고 전기적인 아날로그 어안 영상으로 변환하는 이미지 센서와, 전기적인 아날로그 어안 영상 신호를 디지털 어안 영상으로 변환하는 아날로그/디지털 컨버터와, 디지털 어안 영상을 파노라마 영상으로 변환하는 영상 변환부, 및 파노라마 영상을 전송하는 영상 전송부를 포함할 수 있다. 영상 감시 장치는 어안 카메라로부터 파노라마 영상을 수신하는 영상 수신부와, 수신된 파노라마 영상으로부터 어안 영상을 복원하는 영상 복원부, 및 복원된 어안 영상을 특정 시점에서 디워핑(dewarping)하여 왜곡 보정하는 왜곡 보정부를 포함할 수 있다.The video surveillance system according to one aspect includes a fisheye camera and a video surveillance device. The fisheye camera includes a fisheye lens, an image sensor that picks up the light passing through the fisheye lens and converts the light into an electrical analogue fisheye image, an analogue / digital converter that converts the electrical analogue fisheye image signal into a digital fisheye image, And an image transmission unit for transmitting the panorama image. The image monitoring apparatus includes an image receiving unit for receiving a panoramic image from a fisheye camera, an image restoration unit for restoring a fisheye image from the received panorama image, and a distortion correction unit for dewarping the restored fisheye image at a specific point of time, Section.

어안 카메라의 영상 변환부는 디지털 어안 영상을 두 개의 파노라마 영상으로 변환할 수 있다.The image converter of the fisheye camera can convert the digital fisheye image into two panorama images.

영상 감시 장치의 왜곡 보정부는 감시 요원에 의해 지정된 시점에서 어안 영상을 디워핑할 수 있다.The distortion correction unit of the video surveillance apparatus can diverge the fisheye video at a point designated by the surveillance personnel.

한편, 다른 양상에 따른 영상 감시 장치는 어안 카메라로부터 파노라마 영상을 수신하는 영상 수신부와, 수신된 파노라마 영상에서 일부를 발췌하는 영상 발췌부, 및 발췌된 일부 영상을 감시 요원에게 표출하는 영상 표출부를 포함할 수 있다.Meanwhile, the image surveillance apparatus according to another aspect includes an image receiving unit for receiving a panoramic image from a fisheye camera, a image extracting unit for extracting a part of the received panorama image, and an image displaying unit for displaying a part of the extracted image to a surveillant can do.

본 발명에 따르면, 어안 카메라에서 어안 영상이 아닌 왜곡이 덜 심한 파노라마 영상을 영상 감시 장치로 전달함에 의해, 성능이 좋은 영상 감시 장치에서는 파노라마 영상으로부터 어안 영상을 복원하여 감시할 수 있게 하면서도 성능이 다소 떨어지는 영상 감시 장치에서는 파노라마 영상 자체로 감시할 수 있게 한다.According to the present invention, a panoramic image with less distortion than a fisheye camera is delivered to a video surveillance device by a fisheye camera, so that a superior surveillance device can restore and monitor a fisheye image from a panorama image, The falling video surveillance device enables monitoring with the panoramic image itself.

도 1은 일 실시예에 따른 어안 카메라의 블록도이다.
도 2는 어안 영상을 파노라마 영상으로 변환하는 방식을 설명하기 위한 참조도이다.
도 3은 일 실시예에 따른 영상 감시 장치의 블록도이다.
도 4는 파노라마 영상과 이로부터 복원된 어안 영상을 예시한 도면이다.
도 5는 복원된 어안 영상을 특정 시점에서 디워핑(dewarping)함에 의해 얻어진 영상을 예시한 도면이다.
도 6은 다른 실시예에 따른 영상 감시 장치의 블록도이다.1 is a block diagram of a fisheye camera according to one embodiment.
2 is a reference diagram for explaining a method of converting a fisheye image into a panorama image.
3 is a block diagram of an image surveillance apparatus according to an embodiment.
4 is a diagram illustrating a panoramic image and a fisheye image reconstructed from the panorama image.
5 is a diagram illustrating an image obtained by dewarping a restored fisheye image at a specific point in time.
6 is a block diagram of a video surveillance apparatus according to another embodiment.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The foregoing and further aspects of the present invention will become more apparent from the following detailed description of preferred embodiments with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 따른 어안 카메라의 블록도이다. 어안 카메라는 어안 렌즈(100)와 이미지 센서(110)와 아날로그/디지털 컨버터(120)와 카메라 제어부(130) 및 카메라 통신부(140)를 포함할 수 있다. 어안 렌즈(100)는 180° 이상의 넓은 화각을 갖는 초광각 렌즈이다. 일 실시예에 있어서, 어안 렌즈(100)는 360° 화각을 갖는다. 즉, 어안 카메라는 360도 전방위 카메라일 수 있다. 이미지 센서(110)는 촬상 소자로서 CCD 센서일 수 있으며, 화소 어레이와 광전 변환부를 포함할 수 있다. 화소 어레이는 어안 렌즈(100)를 통과한 빛에 반응하여 전하를 축적하며, 광전 변환부는 광도소자(CDS)로서 화소 어레이에 축적되어 있는 전하를 전기적인 신호로 변환한다. 아날로그/디지털 컨버터(120)는 전기적인 아날로그 어안 영상 신호를 디지털 어안 영상 데이터로 변환한다. 디지털 어안 영상 데이터로 변환된 한 프레임의 디지털 어안 영상은 버퍼 메모리에 저장될 수 있다.1 is a block diagram of a fisheye camera according to one embodiment. The fisheye camera may include a fisheye lens 100, an image sensor 110, an analog / digital converter 120, a camera control unit 130, and a camera communication unit 140. The fisheye lens 100 is an ultra-wide angle lens having a wide angle of view of 180 DEG or more. In one embodiment, the fisheye lens 100 has a 360 degree angle of view. That is, the fisheye camera may be a 360 degree omnidirectional camera. The image sensor 110 may be a CCD sensor as an image pickup element, and may include a pixel array and a photoelectric conversion portion. The pixel array accumulates charges in response to light that has passed through the fisheye lens 100, and the photoelectric conversion unit converts charge accumulated in the pixel array as an optical element (CDS) into an electrical signal. The analog / digital converter 120 converts the electrical analogue fish-eye video signal into digital fish-eye video data. One frame of the digital fish-eye image converted into the digital fish-eye image data can be stored in the buffer memory.

카메라 제어부(130)는 이미지 처리기 및/또는 마이컴 등을 포함하여 구성될 수 있다. 카메라 제어부(130)는 디지털 어안 영상을 파노라마 영상으로 변환하기 위한 영상 변환부(131)를 포함한다. 영상 변환부(131)는 디지털 어안 영상을 광각의 파노라마 영상으로 변환하는데, 예를 들어 360도 어안 영상을 하나의 360도 파노라마 영상 또는 두 개의 180도 파노라마 영상으로 변환할 수 있다. 일 실시예에 있어서, 카메라 제어부(130)는 어안 영상의 중심축을 기준으로 상측 파노라마 영상과 하측 파노라마 영상을 생성한 후에 이 둘을 상하 결합하여 하나의 파노라마 영상을 생성할 수도 있으며, 결합하지 않고 두 개의 파노라마 영상으로 둘 수도 있다. 여기서 하측 파노라마 영상은 상하 반전된 영상일 수 있다. 물론, 반전되지 않은 것일 수도 있다.The camera control unit 130 may include an image processor and / or a microcomputer. The camera control unit 130 includes an image conversion unit 131 for converting a digital fish-eye image into a panoramic image. The image converting unit 131 converts a digital fish-eye image into a wide-angle panoramic image, for example, a 360-degree fisheye image into a 360-degree panorama image or two 180-degree panorama images. In one embodiment, the camera controller 130 may generate an upper panorama image and a lower panorama image on the basis of the central axis of the fisheye image, and then combine the upper and lower panorama images to generate a single panorama image. It is also possible to make a panorama image. Here, the lower panoramic image may be a vertically inverted image. Of course, it may not have been reversed.

도 2를 참조하여 어안 영상을 파노라마 영상으로 변환하는 예에 대해 살펴본다. 도 2의 (a)는 어안 영상의 원형을 나타내며, (b)는 파노라마 영상의 직사각형을 나타낸다. 파노라마 영상은 상측 파노라마 영상과 하측 파노라마 영상으로 구분될 수 있으며, 아래의 수학식 1과 같은 각도 ρ에 의해 결정될 수 있다.An example of converting a fisheye image into a panorama image will be described with reference to FIG. 2 (a) shows a circular shape of a fisheye image, and FIG. 2 (b) shows a rectangular shape of a panoramic image. The panoramic image can be divided into an upper panoramic image and a lower panoramic image, and can be determined by the angle ρ as shown in Equation (1) below.

Figure 112016040212954-pat00001
Figure 112016040212954-pat00001

여기서, R은 원의 반경, xt는 파노라마의 수평 좌표를 각각 의미한다. 그리고 어안 영상과 파노라마 영상 간의 관계는 수학식 2와 같이 표현된다. Here, R denotes the radius of the circle, and x t denotes the horizontal coordinate of the panorama. The relationship between the fisheye image and the panorama image is expressed by Equation (2).

Figure 112016040212954-pat00002
Figure 112016040212954-pat00002

여기서, xs는 어안 영상의 수평 좌표, ys는 어안 영상의 수직 좌표, yd는 파노라마 영상의 수직 위치를 각각 의미한다. 그리고 파노라마 영상의 수평 위치는 수학식 3과 같이 표현될 수 있다.Here, x s is the horizontal coordinate of the fisheye image, y s is the vertical coordinate of the fisheye image, and y d is the vertical position of the panorama image. The horizontal position of the panoramic image can be expressed by Equation (3).

Figure 112016040212954-pat00003
Figure 112016040212954-pat00003

여기서, ρ≤π는 상측 반구를 의미하며, ρ>π는 하측 반구를 의미한다.Here, ρ≤π means the upper hemisphere, and ρ> π means the lower hemisphere.

다시 도 1로 돌아와서, 카메라 통신부(140)는 영상 감시 장치와의 통신을 위한 구성이다. 카메라 통신부(140)는 유선 또는 무선으로 영상 감시 장치와 통신 연결될 수 있다. 일 예로, 카메라 통신부(140)는 TCP/IP 통신을 통해 영상 감시 장치와 통신이 가능하다. 카메라 통신부(140)는 영상 변환부(131)로부터 파노라마 영상을 전달받아 영상 감시 장치로 전송하는 영상 전송부(141)를 포함한다. 또한, 카메라 통신부(140)는 영상 감시 장치로부터 카메라 제어를 위한 신호를 수신하기 위한 수신부를 포함할 수 있으며, 카메라 제어부(130)는 수신된 제어 신호에 따라 어안 카메라를 제어할 수 있다. 예를 들어, 카메라 제어부(130)는 영상 감시 장치로의 원격 제어 명령에 따라 어안 카메라의 팬(pan), 틸트(tilt), 줌(zoom) 등을 제어한다.Returning to FIG. 1, the camera communication unit 140 is a configuration for communicating with the video surveillance apparatus. The camera communication unit 140 may be connected to the video surveillance apparatus in a wired or wireless manner. For example, the camera communication unit 140 can communicate with the video surveillance apparatus through TCP / IP communication. The camera communication unit 140 includes an image transmission unit 141 that receives the panorama image from the image conversion unit 131 and transmits the panorama image to the video surveillance apparatus. In addition, the camera communication unit 140 may include a receiving unit for receiving a signal for controlling the camera from the video surveillance apparatus, and the camera control unit 130 may control the camera based on the received control signal. For example, the camera control unit 130 controls the pan, tilt, and zoom of a fisheye camera according to a remote control command to the image monitoring apparatus.

도 3은 일 실시예에 따른 영상 감시 장치의 블록도이다. 영상 감시 장치는 장치 통신부(200)와 저장부(210) 및 장치 제어부(220)를 포함할 수 있다. 장치 통신부(200)는 어안 카메라와의 통신을 위한 구성이다. 장치 통신부(200)는 유선 또는 무선으로 어안 카메라와 통신 연결될 수 있다. 일 예로, 장치 통신부(200)는 TCP/IP 통신을 어안 카메라와 통신이 가능하다. 장치 통신부(200)는 어안 카메라로부터 파노라마 영상을 수신하는 영상 수신부(201)를 포함하며, 어안 카메라로 카메라를 제어하기 위한 신호를 송신하기 위한 송신부도 포함할 수 있다. 영상 수신부(201)에 의해 수신된 영상은 하나의 360도 파노라마 영상일 수 있으며, 아니면 두 개로 나눠진 180도 파노라마 영상일 수 있다.3 is a block diagram of an image surveillance apparatus according to an embodiment. The video surveillance apparatus may include a device communication unit 200, a storage unit 210, and a device control unit 220. The device communication unit 200 is a configuration for communication with a fisheye camera. The device communication unit 200 can be connected to the fisheye camera in a wired or wireless manner. For example, the device communication unit 200 is capable of communicating TCP / IP communication with a fisheye camera. The device communication unit 200 may include an image receiving unit 201 for receiving a panoramic image from a fisheye camera and may include a transmitter for transmitting a signal for controlling the camera with a fisheye camera. The image received by the image receiving unit 201 may be one 360-degree panorama image, or may be a 180-degree panorama image divided into two images.

저장부(210)는 영상을 저장하기 위한 저장매체로서, HDD(Hard Disk Drive) 및/또는 SSD(Solid State Drive)일 수 있다. 저장부(210)에는 영상 수신부(201)를 통해 수신된 파노라마 영상이 저장될 수 있으며, 파노라마 영상으로부터 역변환된 어안 영상이 저장될 수도 있다. 또한, 파노라마 영상과 어안 영상이 모두 저장될 수도 있다.The storage unit 210 may be a hard disk drive (HDD) and / or a solid state drive (SSD) as a storage medium for storing images. The storage unit 210 may store the panorama image received through the image receiving unit 201 and may store the inverse-converted fisheye image from the panorama image. In addition, both the panoramic image and the fisheye image may be stored.

장치 제어부(220)는 영상 감시 장치의 전반을 제어하기 위한 구성으로서, 중앙처리장치일 수 있다. 장치 제어부(220)는 영상 복원부(221)와 왜곡 보정부(222)를 포함한다. 영상 복원부(221)는 파노라마 영상으로부터 어안 영상을 복원한다. 일 실시예에 있어서, 영상 복원부(221)는 360도 어안 영상을 파노라마 영상으로 변환하는 방식의 역방식 즉, 역변환을 통해 파노라마 영상으로부터 360도 어안 영상을 복원한다. 참고로, 도 4에 어안 카메라로부터 수신된 파노라마 영상과 이로부터 복원된 어안 영상을 예시하였다.The device control unit 220 may be a central processing unit for controlling the entire video surveillance apparatus. The apparatus control unit 220 includes an image restoration unit 221 and a distortion correction unit 222. The image restoring unit 221 restores the fisheye image from the panorama image. In one embodiment, the image reconstructing unit 221 reconstructs the 360-degree fisheye image from the panorama image through an inverse method of converting the 360-degree fisheye image into the panorama image. 4, a panoramic image received from a fish-eye camera and a fish-eye image reconstructed from the panoramic image are illustrated.

왜곡 보정부(222)는 복원된 어안 영상을 특정 시점에서 디워핑(dewarping)함에 의해 어안 영상의 왜곡을 보정한다. 여기서, 특정 시점은 사용자(예를 들어, 감시 요원)에 의해 지정된 시점일 수 있다. 사용자는 시점을 자유로이 지정할 수 있으며, 왜곡 보정부(222)는 사용자에 의해 지정된 시점에서 어안 영상을 디워핑하는 것이다. 사용자의 시점 지정을 위해, 복원된 어안 영상은 영상 표출부(230)에 의해 표출된 상태에서 사용자로부터 시점을 지정받을 수 있다. 그리고 참고로, 도 5에 복원된 어안 영상과 이 영상을 특정 시점에서 디워핑(dewarping)하여 얻은 영상을 예시하였다.The distortion correction unit 222 corrects the distortion of the fisheye image by dewarping the reconstructed fisheye image at a specific point in time. Here, the specific time may be a time point designated by the user (for example, a monitoring person). The user can freely designate a viewpoint, and the distortion correction unit 222 diverges the fisheye image at a point designated by the user. In order to designate the user's viewpoint, the restored fisheye image may be designated by the user in a state in which the restored fisheye image is displayed by the image display unit 230. For reference, FIG. 5 illustrates a restored fisheye image and an image obtained by dewarping the fisheye image at a specific point in time.

장치 제어부(220)는 왜곡 보정부(222)에서 디워핑을 통해 왜곡 보정된 영상을 영상 표출부(230)로 출력하며, 영상 표출부(230)는 이를 입력받아 외부로 표출한다. 여기서, 영상 표출부(230)는 모니터로서 영상 감시 장치에 포함된 구성일 수 있으며, 아니면 영상 감시 장치와는 별도로 구성되되 영상 감시 장치와 영상 케이블로 연결된 구성일 수 있다.The device control unit 220 outputs the distortion-corrected image to the image display unit 230 through distortion in the distortion correction unit 222, and the image display unit 230 receives the distorted image and exposes it to the outside. Here, the video display unit 230 may be a monitor included in the video surveillance apparatus, or may be configured separately from the video surveillance apparatus, but may be connected to the video surveillance apparatus through a video cable.

도 6은 다른 실시예에 따른 영상 감시 장치의 블록도이다. 영상 감시 장치는 장치 통신부(300)와 저장부(310) 및 장치 제어부(320)를 포함할 수 있다. 장치 통신부(300)는 어안 카메라와의 통신을 위한 구성이다. 장치 통신부(300)는 유선 또는 무선으로 어안 카메라와 통신 연결될 수 있다. 일 예로, 장치 통신부(300)는 TCP/IP 통신을 어안 카메라와 통신이 가능하다. 장치 통신부(300)는 어안 카메라로부터 파노라마 영상을 수신하는 영상 수신부(301)를 포함하며, 어안 카메라로 카메라를 제어하기 위한 신호를 송신하기 위한 송신부도 포함할 수 있다. 영상 수신부(301)에 의해 수신된 영상은 하나의 360도 파노라마 영상일 수 있으며, 아니면 두 개로 나눠진 180도 파노라마 영상일 수 있다. 저장부(310)는 영상을 저장하기 위한 저장매체로서, HDD(Hard Disk Drive) 및/또는 SSD(Solid State Drive)일 수 있다. 저장부(310)에는 영상 수신부(301)를 통해 수신된 파노라마 영상이 저장될 수 있다.6 is a block diagram of a video surveillance apparatus according to another embodiment. The video surveillance apparatus may include a device communication unit 300, a storage unit 310, and a device control unit 320. The device communication unit 300 is a configuration for communication with a fisheye camera. The device communication unit 300 may be connected to the fisheye camera in a wired or wireless manner. For example, the device communication unit 300 can communicate TCP / IP communication with a fish-eye camera. The device communication unit 300 includes an image receiving unit 301 for receiving a panoramic image from a fisheye camera, and may include a transmitter for transmitting a signal for controlling the camera with a fisheye camera. The image received by the image receiving unit 301 may be a 360-degree panorama image, or may be a 180-degree panorama image divided into two images. The storage unit 310 may be a hard disk drive (HDD) and / or a solid state drive (SSD) as a storage medium for storing images. The storage unit 310 may store the panorama image received through the image receiving unit 301.

장치 제어부(320)는 영상 감시 장치의 전반을 제어하기 위한 구성으로서, 중앙처리장치일 수 있다. 장치 제어부(320)는 영상 발췌부(321)를 포함한다. 영상 발췌부(321)는 영상 수신부(301)를 통해 수신된 파노라마 영상에서 사용자에 의해 특정된 일부 영역의 영상을 발췌한다. 사용자의 특정을 위해, 파노라마 영상은 영상 표출부(330)에 의해 표출된 상태에서 사용자로부터 일부 영역을 지정받을 수 있다. 장치 제어부(320)는 영상 발췌부(321)에 의해 발췌된 일부 영역의 영상을 영상 표출부(330)로 출력하며, 영상 표출부(330)는 이를 입력받아 외부로 표출한다. 여기서, 영상 표출부(330)는 모니터로서 영상 감시 장치에 포함된 구성일 수 있으며, 아니면 영상 감시 장치와는 별도로 구성되되 영상 감시 장치와 영상 케이블로 연결된 구성일 수 있다.The device control unit 320 may be a central processing unit for controlling the entire video surveillance apparatus. The device control unit 320 includes an image extracting unit 321. The image extracting unit 321 extracts an image of a partial area specified by the user in the panorama image received through the image receiving unit 301. [ For the specification of the user, the panorama image may be designated by the user in a state in which the panorama image is displayed by the image display unit 330. The device control unit 320 outputs an image of a part of the area extracted by the image extracting unit 321 to the image display unit 330, and the image display unit 330 receives the image and exposes it to the outside. Here, the video display unit 330 may be a monitor included in the video surveillance apparatus, or may be configured separately from the video surveillance apparatus, but connected to the video surveillance apparatus through a video cable.

도 3의 영상 감시 장치는 실시간 디워핑이 가능한 고성능 PC일 수 있으며, 도 3의 영상 감시 장치는 네트워크 비디오 레코더(NVR) 등의 스탠드얼론(standalone) 장치일 수 있다. NVR 등의 임베디드 시스템의 경우, 고성능 시스템이 아니기 때문에 성능 문제상 디워핑(dewarping) 기능을 제공함에 어려움이 있다. 감시 카메라의 고해상도 및 프레임 수 증가로 인해, 네트워크 비디오 레코더와 같은 영상 감시 장치의 동영상 처리 능력에 한계가 있는 것이다. 따라서, 감시 카메라에서 어안 영상을 파노라마 영상으로 변환하여 NVR에 제공하면, NVR은 별도의 디워핑 없이도 어안 영상에 비해 왜곡이 덜한 파노라마 영상을 통해 감시하는 것이 가능하다.The video surveillance apparatus of FIG. 3 may be a high performance PC capable of real time demoing, and the video surveillance apparatus of FIG. 3 may be a standalone apparatus such as a network video recorder (NVR). In the case of an embedded system such as an NVR, it is difficult to provide a dewarping function due to a performance problem because it is not a high performance system. Due to the high resolution of surveillance cameras and the increase in the number of frames, video processing capabilities of video surveillance devices such as network video recorders are limited. Therefore, if a surveillance camera converts a fisheye image into a panorama image and provides it to the NVR, the NVR can be monitored through a panorama image with less distortion than a fisheye image without additional diverting.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100 : 어안 렌즈 110 : 이미지 센서
120 : A/D 컨버터 130 : 카메라 제어부
131 : 영상 변환부 140 : 카메라 통신부
141 : 영상 전송부 200 : 장치 통신부
201 : 영상 수신부 210 : 저장부
220 : 장치 제어부 221 : 영상 복원부
222 : 왜곡 보정부 230 : 영상 표출부
300 : 장치 통신부 301 : 영상 수신부
310 : 저장부 320 : 장치 제어부
321 : 영상 발췌부 330 : 영상 표출부100: Fish eye lens 110: Image sensor
120: A / D converter 130: camera control unit
131: image conversion unit 140: camera communication unit
141: image transmission unit 200: device communication unit
201: image receiving unit 210:
220: Device control unit 221:
222: distortion correction unit 230: image display unit
300: device communication unit 301: image receiving unit
310: storage unit 320: device control unit
321: video extracting unit 330: video display unit

Claims (6)

어안 렌즈와, 어안 렌즈를 통과한 광을 촬상하고 전기적인 아날로그 어안 영상으로 변환하는 이미지 센서와, 전기적인 아날로그 어안 영상 신호를 디지털 어안 영상으로 변환하는 아날로그/디지털 컨버터와, 디지털 어안 영상을 중심축을 기준으로 펼쳐진 광각의 파노라마 영상으로 변환하는 영상 변환부, 및 파노라마 영상을 전송하는 영상 전송부를 포함하는 어안 카메라; 및
어안 카메라로부터 파노라마 영상을 수신하는 영상 수신부와, 수신된 파노라마 영상으로부터 어안 영상을 복원하는 영상 복원부, 및 복원된 어안 영상을 특정 시점에서 디워핑(dewarping)하여 왜곡 보정하는 왜곡 보정부를 포함하는 영상 감시 장치;
를 포함하는 영상 감시 시스템.
A fisheye lens, an image sensor for picking up the light passing through the fisheye lens and converting it into an electric analogue fisheye image, an analogue / digital converter for converting the electrical analogue fisheye image signal into a digital fisheye image, A fisheye camera including an image conversion unit for converting the panoramic image into a wide-angle panoramic image spread as a reference, and an image transmission unit for transmitting the panorama image; And
An image reconstruction unit for reconstructing a fisheye image from the received panorama image, and a distortion correction unit for distorting the reconstructed fisheye image by dewarping at a specific point in time to receive the panorama image from the fisheye camera monitor;
And a video surveillance system.
제 1 항에 있어서,
어안 카메라의 영상 변환부는 디지털 어안 영상을 두 개의 파노라마 영상으로 변환하는 영상 감시 시스템.
The method according to claim 1,
The image converter of the fisheye camera converts the digital fisheye image into two panorama images.
제 1 항에 있어서,
영상 감시 장치의 왜곡 보정부는 감시 요원에 의해 지정된 시점에서 어안 영상을 디워핑하는 영상 감시 시스템.
The method according to claim 1,
The distortion correction unit of the video surveillance apparatus diverges the fisheye video at a point designated by the surveillance personnel.
어안 렌즈와, 어안 렌즈를 통과한 광을 촬상하고 전기적인 아날로그 어안 영상으로 변환하는 이미지 센서와, 전기적인 아날로그 어안 영상 신호를 디지털 어안 영상으로 변환하는 아날로그/디지털 컨버터와, 디지털 어안 영상을 중심축을 기준으로 펼쳐진 광각의 파노라마 영상으로 변환하는 영상 변환부, 및 파노라마 영상을 전송하는 영상 전송부를 포함하는 어안 카메라; 및
어안 카메라로부터 파노라마 영상을 수신하는 영상 수신부와, 수신된 파노라마 영상에서 일부를 발췌하는 영상 발췌부, 및 발췌된 일부 영상을 감시 요원에게 표출하는 영상 표출부를 포함하는 영상 감시 시스템.
A fisheye lens, an image sensor for picking up the light passing through the fisheye lens and converting it into an electric analogue fisheye image, an analogue / digital converter for converting the electrical analogue fisheye image signal into a digital fisheye image, A fisheye camera including an image conversion unit for converting the panoramic image into a wide-angle panoramic image spread as a reference, and an image transmission unit for transmitting the panorama image; And
An image surveillance system comprising: an image receiving unit that receives a panoramic image from a fisheye camera; an image extracting unit that extracts a part of the received panorama image; and an image display unit that displays a part of the extracted image to a monitoring person.
어안 카메라로부터 어안 영상을 중심축을 기준으로 펼쳐 변환된 광각의 파노라마 영상을 수신하는 영상 수신부;
수신된 파노라마 영상으로부터 어안 영상을 복원하는 영상 복원부;
복원된 어안 영상을 특정 시점에서 디워핑(dewarping)하여 왜곡 보정하는 왜곡 보정부; 및
왜곡 보정된 영상을 감시 요원에게 표출하는 영상 표출부;
를 포함하는 영상 감시 장치.
An image receiving unit for receiving a panoramic image of a wide angle spreading a fisheye image from a fisheye camera on the basis of a central axis;
An image restoration unit for restoring a fisheye image from the received panorama image;
A distortion correcting unit for correcting distortion of a reconstructed fisheye image at a specific point by dewarping; And
An image display unit for displaying a distortion compensated image to a monitoring person;
Wherein the video monitoring device comprises:
제 5 항에 있어서,
어안 카메라로부터 수신된 파노라마 영상은 어안 영상으로부터 변환된 두 개의 파노라마 영상인 영상 감시 장치.6. The method of claim 5,
Wherein the panoramic image received from the fisheye camera is two panorama images converted from the fisheye image.
KR1020160050986A 2016-04-26 2016-04-26 Fisheye image monitoring system KR101839307B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160050986A KR101839307B1 (en) 2016-04-26 2016-04-26 Fisheye image monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160050986A KR101839307B1 (en) 2016-04-26 2016-04-26 Fisheye image monitoring system

Publications (2)

Publication Number Publication Date
KR20170121991A KR20170121991A (en) 2017-11-03
KR101839307B1 true KR101839307B1 (en) 2018-03-16

Family

ID=60383872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160050986A KR101839307B1 (en) 2016-04-26 2016-04-26 Fisheye image monitoring system

Country Status (1)

Country Link
KR (1) KR101839307B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102475523B1 (en) * 2020-12-30 2022-12-07 동의대학교 산학협력단 Dog attachment camera supporting communication function and search method using the same
CN113923357A (en) * 2021-10-09 2022-01-11 上汽通用五菱汽车股份有限公司 Control method for 360-degree panorama of automobile

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001114045A (en) 1999-10-15 2001-04-24 Furukawa Co Ltd Surrounding monitor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001114045A (en) 1999-10-15 2001-04-24 Furukawa Co Ltd Surrounding monitor

Also Published As

Publication number Publication date
KR20170121991A (en) 2017-11-03

Similar Documents

Publication Publication Date Title
US7450165B2 (en) Multiple-view processing in wide-angle video camera
EP1579399B1 (en) Surveillance device
RU2371880C1 (en) Panoramic video surveillance method and device for implementing thereof
US8427538B2 (en) Multiple view and multiple object processing in wide-angle video camera
US8947781B2 (en) Monitoring system for generating 3-dimensional image and method of measuring distance by using the image
ES2704831T3 (en) Surveillance device
AU5213299A (en) A system for digitally capturing and recording panoramic images
JP7282798B2 (en) Imaging device, image processing method, and program
CN108347557A (en) Panorama image shooting apparatus, display device, image pickup method and display methods
KR101839307B1 (en) Fisheye image monitoring system
KR20160094655A (en) The System and Method for Panoramic Video Surveillance with Multiple High-Resolution Video Cameras
KR100972360B1 (en) Omnidirectional monitoring camera system
JP2004289225A (en) Imaging apparatus
KR200429319Y1 (en) Objection System of the midwater ecology
US10495857B2 (en) Large field-of-view imaging systems
KR20090015311A (en) Video surveillance system
JP2004282163A (en) Camera, monitor image generating method, program, and monitoring system
KR101204093B1 (en) Image processing apparatus and controlling method of the same
CN106060481A (en) Video collection method and device of pan-tilt-zoom camera
KR100863507B1 (en) Multi-area monitoring system from single cctv having a camera quadratic curved surface mirror structure and unwrapping method for the same
KR101407119B1 (en) Camera system using super wide angle camera
KR101193129B1 (en) A real time omni-directional and remote surveillance system which is allowable simultaneous multi-user controls
JPH08305841A (en) Distorted image correcting display device
KR20120005664A (en) A device of transforming fish-eye image to flat image in cctv camera
KR20100091847A (en) Apparatus for controlling image processing device and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant