KR20190118076A

KR20190118076A - Camera system and method for processing image thereof

Info

Publication number: KR20190118076A
Application number: KR1020180041246A
Authority: KR
Inventors: 정경전; 김대환
Original assignee: 한화테크윈 주식회사
Priority date: 2018-04-09
Filing date: 2018-04-09
Publication date: 2019-10-17
Also published as: KR102498870B1

Abstract

Disclosed in an embodiment of the present invention are a camera system and an image processing method thereof. The image processing method of a camera system according to an embodiment of the present invention includes: a step of receiving an event including an image processing request for generating a dewarping image from a fisheye image; and a step of generating the dewarping image by applying a first dewarping algorithm or a second dewarping algorithm different from the first dewarping algorithm to the fisheye image in response to receiving the event. It is possible to adaptively provide a dewarped image in which the distortion of the fisheye image is corrected according to a situation.

Description

Camera system and image processing method {CAMERA SYSTEM AND METHOD FOR PROCESSING IMAGE THEREOF}

본 발명의 실시예는 카메라 시스템 및 그의 영상처리방법으로서, 구체적으로 어안 영상을 획득하는 카메라 시스템 및 그의 영상처리방법에 관한 것이다. An embodiment of the present invention relates to a camera system and an image processing method thereof, and more particularly, to a camera system for obtaining a fisheye image and an image processing method thereof.

오늘날 복수의 감시카메라가 도처에 설치되어 있고, 감시카메라가 획득한 영상을 녹화, 저장, 전송하는 기술들이 개발되고 있다. 특히 감시카메라의 설치 대수가 증가함에 따라, 복수의 감시카메라를 포함하는 시스템에 갈음하여 하나의 어안 카메라로 복수의 뷰(View)를 제공하는 시스템을 설치하는 빈도가 증가하고 있다.Today, a plurality of surveillance cameras are installed everywhere, and technologies for recording, storing, and transmitting images acquired by the surveillance cameras are being developed. In particular, as the number of installed surveillance cameras increases, the frequency of installing a system that provides a plurality of views with one fisheye camera in place of a system including a plurality of surveillance cameras increases.

본 발명의 실시예들은 어안 영상의 왜곡을 보정한 디워핑된 영상을 상황에 따라 적응적으로 제공할 수 있는 카메라 시스템 및 그의 영상처리방법을 제공하고자 한다.Embodiments of the present invention provide a camera system and an image processing method thereof capable of adaptively providing a dewarped image in which distortion of a fisheye image is corrected according to a situation.

본 발명의 일 실시예에 따른 카메라 시스템의 영상처리방법은, 어안 영상으로부터 디워핑 영상을 생성하는 영상처리 요청을 포함하는 이벤트를 수신하는 단계; 및 상기 이벤트의 수신에 응답하여 제1 디워핑 알고리즘 또는 상기 제1 디워핑 알고리즘과 상이한 제2 디워핑 알고리즘을 상기 어안 영상에 적용함으로써 상기 디워핑 영상을 생성하는 단계;를 포함한다. An image processing method of a camera system according to an embodiment of the present invention includes: receiving an event including an image processing request for generating a dewarping image from a fisheye image; And generating the dewarping image by applying a first dewarping algorithm or a second dewarping algorithm different from the first dewarping algorithm to the fisheye image in response to receiving the event.

상기 제1 디워핑 알고리즘을 적용한 디워핑 영상 생성 단계는, 픽셀 단위로, 3차원 공간에서 상기 디워핑 영상의 픽셀에 대응하는 상기 어안 영상의 픽셀의 2차원 좌표를 획득하는 단계; 및 상기 어안 영상의 픽셀의 픽셀 값에 대응하여 상기 디워핑 영상의 픽셀의 픽셀 값을 산출하는 단계;를 포함할 수 있다. The dewarping image generation step to which the first dewarping algorithm is applied may include obtaining two-dimensional coordinates of pixels of the fisheye image corresponding to pixels of the dewarping image in a three-dimensional space; And calculating pixel values of the pixels of the dewarping image corresponding to pixel values of the pixels of the fisheye image.

상기 제2 디워핑 알고리즘을 적용한 디워핑 영상 생성 단계는, 상기 어안 영상을 복수의 블록들로 블록화하는 단계; 상기 어안 영상의 블록과 상기 디워핑 영상의 대응블록 간의 특징점 매칭을 통해 블록 단위의 변환함수를 추정하는 단계; 상기 변환함수를 기초로 상기 어안 영상의 블록 내 픽셀들에 대응하는 상기 디워핑 영상의 대응블록 내 픽셀들의 2차원 좌표를 획득하는 단계; 및 상기 어안 영상의 픽셀의 픽셀 값에 대응하여 상기 디워핑 영상의 픽셀의 픽셀 값을 산출하는 단계;를 포함할 수 있다. The dewarping image generation step of applying the second dewarping algorithm may include: blocking the fisheye image into a plurality of blocks; Estimating a transform function in units of blocks through feature point matching between the block of the fisheye image and the corresponding block of the dewarping image; Obtaining two-dimensional coordinates of pixels in a corresponding block of the dewarping image corresponding to pixels in the block of the fisheye image based on the transform function; And calculating pixel values of the pixels of the dewarping image corresponding to pixel values of the pixels of the fisheye image.

상기 방법은, 이전 이벤트의 종료 후 다음 이벤트가 수신될 때까지의 경과 시간을 기초로 상기 제2 디워핑 알고리즘의 블록 사이즈를 결정하는 단계;를 더 포함할 수 있다. The method may further include determining a block size of the second dewarping algorithm based on the elapsed time from the end of the previous event until the next event is received.

상기 디워핑 영상 생성 단계는, 최초 이벤트 수신시 상기 제2 디워핑 알고리즘을 이용하여 디워핑 영상을 생성하는 단계; 및 상기 최초 이벤트 종료 후 다음 이벤트가 수신될 때까지의 경과 시간이 임계시간보다 길면 상기 제1 디워핑 알고리즘을 이용하여 디워핑 영상을 생성하는 단계;를 포함할 수 있다. The dewarping image generating step may include generating a dewarping image by using the second dewarping algorithm when an initial event is received; And generating a dewarping image using the first dewarping algorithm when the elapsed time from the end of the first event until the next event is received is longer than a threshold time.

상기 디워핑 영상 생성 단계는, 이전 이벤트의 종료 후 다음 이벤트가 수신될 때까지의 경과 시간이 제2 임계시간보다 길면 상기 제2 디워핑 알고리즘을 이용하여 디워핑 영상을 생성하는 단계; 및 상기 경과 시간이 제2 임계시간보다 긴 제1 임계시간보다 길면 상기 제1 디워핑 알고리즘을 이용하여 디워핑 영상을 생성하는 단계;를 포함할 수 있다.The dewarping image generating step may include generating a dewarping image by using the second dewarping algorithm when an elapsed time from the end of the previous event until the next event is received is longer than a second threshold time; And generating a dewarping image by using the first dewarping algorithm when the elapsed time is longer than a first threshold time longer than a second threshold time.

본 발명의 실시예들은 상황에 따라 영상 처리 속도 또는 영상 품질을 선택적으로 고려하여 어안 영상의 왜곡을 보정한 디워핑된 영상을 제공할 수 있는 카메라 시스템 및 그의 영상처리방법을 제공할 수 있다.Embodiments of the present invention may provide a camera system and an image processing method thereof capable of providing a dewarped image in which distortion of a fisheye image is corrected in consideration of an image processing speed or image quality according to a situation.

도 1 및 도 2는 본 발명의 일 실시예에 따른 카메라 시스템을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 디워핑 알고리즘을 적용하여 어안 영상을 변환한 보정 영상을 생성하는 과정을 개략적으로 나타낸 도면이다.
도 4 내지 도 7은 본 발명의 일 실시예에 따른 제1 디워핑 알고리즘을 개략적으로 설명하는 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 제2 디워핑 알고리즘을 개략적으로 설명하는 도면이다.
도 10은 제2 디워핑 알고리즘에서 블록 사이즈와 왜곡 보정의 관계를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상획득장치의 적응적 디워핑 방법을 개략적으로 설명하는 흐름도이다.
도 12는 도 11에 도시된 실시예에 따른 영상획득장치의 적응적 디워핑 방법의 예이다.
도 13은 본 발명의 다른 실시예에 따른 영상획득장치의 적응적 디워핑 방법을 개략적으로 설명하는 흐름도이다.
도 14는 본 발명의 다른 실시예에 따른 영상획득장치의 적응적 디워핑 방법을 개략적으로 설명하는 흐름도이다.
도 15는 본 발명의 다른 실시예에 따른 영상획득장치의 적응적 디워핑 방법의 예이다. 1 and 2 are schematic diagrams of a camera system according to an exemplary embodiment of the present invention.
3 is a diagram schematically illustrating a process of generating a corrected image obtained by converting a fisheye image by applying a dewarping algorithm according to an exemplary embodiment of the present invention.
4 to 7 schematically illustrate a first dewarping algorithm according to an embodiment of the present invention.
8 and 9 schematically illustrate a second dewarping algorithm according to an embodiment of the present invention.
FIG. 10 is a diagram illustrating a relationship between block size and distortion correction in a second dewarping algorithm.
11 is a flowchart schematically illustrating an adaptive dewarping method of an image acquisition device according to an embodiment of the present invention.
12 is an example of an adaptive dewarping method of the image acquisition device according to the embodiment shown in FIG. 11.
13 is a flowchart schematically illustrating an adaptive dewarping method of an image acquisition device according to another embodiment of the present invention.
14 is a flowchart schematically illustrating an adaptive dewarping method of an image acquisition device according to another embodiment of the present invention.
15 is an example of an adaptive dewarping method of an image acquisition device according to another embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. Effects and features of the present invention, and methods of achieving them will be apparent with reference to the embodiments described below in detail in conjunction with the drawings. However, the present invention is not limited to the embodiments disclosed below but may be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and the same or corresponding components will be denoted by the same reference numerals, and redundant description thereof will be omitted. .

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. In the following embodiments, the terms first, second, etc. are used for the purpose of distinguishing one component from other components rather than a restrictive meaning. In the following examples, the singular forms "a", "an" and "the" include plural forms unless the context clearly indicates otherwise. In the following examples, the terms including or having have meant that there is a feature or component described in the specification and does not preclude the possibility of adding one or more other features or components. In the drawings, components may be exaggerated or reduced in size for convenience of description. For example, the size and shape of each component shown in the drawings are arbitrarily shown for convenience of description, and thus the present invention is not necessarily limited to the illustrated.

도 1 및 도 2는 본 발명의 일 실시예에 따른 카메라 시스템을 개략적으로 나타낸 도면이다. 1 and 2 are schematic diagrams of a camera system according to an exemplary embodiment of the present invention.

도 1을 참조하면, 일 실시예에 따른 카메라 시스템은 영상획득장치(100) 및 모니터링 장치(200)를 포함할 수 있다. Referring to FIG. 1, a camera system according to an embodiment may include an image acquisition device 100 and a monitoring device 200.

영상획득장치(100)는 감시 영역을 촬영하여 감시 영역에 대한 원본 영상(original image)을 획득한다. 영상획득장치(100)는 감시 또는 보안의 목적으로 감시 영역을 실시간으로 촬영할 수 있다. 영상획득장치(100)는 촬영 대상 공간에 대한 RGB로 구성된 원본 영상, 특히 촬영 대상 공간에 대한 어안 영상을 제공하는 카메라일 수 있다. The image acquisition apparatus 100 acquires an original image of the surveillance region by photographing the surveillance region. The image acquisition apparatus 100 may capture a surveillance area in real time for the purpose of surveillance or security. The image acquisition apparatus 100 may be a camera that provides an original image composed of RGB of the shooting target space, in particular a fisheye image of the shooting target space.

이하에서는 영상획득장치(100)가 180도 이상의 화각을 가지는 어안 카메라(Fisheye camera)로, 촬영 대상 공간에 대한 어안 영상을 제공하는 것을 전제로 설명하지만, 본 발명의 사상이 이에 제한되는 것은 아니다. 본 발명에서 기술하는 '어안 영상(Fisheye image)'은 어안 카메라가 획득한 원본 영상을 의미할 수도 있고, 그 외에 광각의 영상, 왜곡된 영상 등을 의미할 수도 있다.Hereinafter, although the image acquisition apparatus 100 is a fisheye camera having an angle of view of 180 degrees or more, the description is based on the premise of providing a fisheye image of a space to be photographed, but the inventive concept is not limited thereto. The fisheye image described in the present invention may mean an original image obtained by a fisheye camera, or may mean a wide-angle image or a distorted image.

영상획득장치(100)는 원본 영상인 어안 영상을 보정한 디워핑 영상(이하, '보정 영상'이라 함)을 생성할 수 있다. 어안 영상의 왜곡을 보정하는 것을 '왜곡 보정(Distortion Calibration)' 또는 '디워핑(Dewarping)'이라고 한다. 영상획득장치(100)는 설정에 따라 원본 영상의 전체 또는 원본 영상에서 관심영역으로 설정된 적어도 하나의 영역에 대해 보정 영상을 생성할 수 있다. The image acquisition apparatus 100 may generate a dewarping image (hereinafter, referred to as a 'correction image') of correcting a fisheye image, which is an original image. Correcting the distortion of a fisheye image is called "distortion correction" or "dewarping." The image acquisition apparatus 100 may generate a corrected image of the entire original image or at least one region set as a region of interest in the original image according to a setting.

영상획득장치(100)는 네트워크(300)를 통해 모니터링 장치(200)와 통신할 수 있다. The image acquisition apparatus 100 may communicate with the monitoring apparatus 200 through the network 300.

네트워크(300)는 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(global system for mobile communications, GSM) 네트워크, 범용 패킷 무선 네트워크(general packet radio network, GPRS), 근거리 네트워크(local area network, LAN), 광역 네트워크(wide area network, WAN), 거대도시 네트워크(metropolitan area network, MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(public switched telephone network, PSTN), 개인 네트워크(personal area network), 블루투스(bluetooth), Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초 광 대역(Ultra Wide band), 이들의 조합, 또는 임의의 다른 네트워크일 수 있지만, 이에 한정되지 않는다. The network 300 may be a wireless network, a wired network, a public network such as the Internet, a private network, a global system for mobile communications (GSM) network, a general packet radio network (GPRS), Local area network (LAN), wide area network (WAN), metropolitan area network (MAN), cellular network, public switched telephone network (PSTN), private network ( personal area network, Bluetooth, Wi-Fi Direct, Near Field communication, Ultra Wide band, combinations thereof, or any other network However, it is not limited to this.

모니터링 장치(200)는 어안 영상 및/또는 보정 영상을 영상획득장치(100)로부터 수신할 수 있다. 모니터링 장치(200)는 어안 영상 및/또는 보정 영상 중 적어도 하나를 디스플레이할 수 있다. 모니터링 장치(200)는 어안 영상 및/또는 보정 영상을 디스플레이하기 위한 다양한 뷰 모드(view mode)를 제공할 수 있다. 뷰 모드는 복수의 영상들을 디스플레이할 수 있는 방식을 말하며, 사용자는 여러 뷰 모드 가운데 하나를 선택하여 원본 영상 또는 보정 영상을 시청할 수 있다.The monitoring apparatus 200 may receive the fisheye image and / or the corrected image from the image acquisition apparatus 100. The monitoring device 200 may display at least one of the fisheye image and / or the corrected image. The monitoring device 200 may provide various view modes for displaying the fisheye image and / or the corrected image. The view mode refers to a method of displaying a plurality of images, and the user may select one of several view modes to watch the original image or the corrected image.

모니터링 장치(200)는 디스플레이에 그래픽 사용자 인터페이스를 제공할 수 있다. 사용자는 입력장치를 이용하여 그래픽 사용자 인터페이스를 통해 뷰 모드, 시간 구간, 관심영역(ROI), 이벤트 조건 등을 입력하여 영상획득장치(100) 및/또는 모니터링 장치(200)의 기능을 설정할 수 있다. 모니터링 장치(200)는 영상획득장치(100)의 기능을 설정하는 사용자 입력을 영상획득장치(100)로 전송할 수 있다. The monitoring device 200 may provide a graphical user interface on the display. The user may set the functions of the image capturing apparatus 100 and / or the monitoring apparatus 200 by inputting a view mode, a time interval, a region of interest (ROI), an event condition, etc. through a graphical user interface using the input apparatus. . The monitoring apparatus 200 may transmit a user input for setting a function of the image acquisition apparatus 100 to the image acquisition apparatus 100.

모니터링 장치(200)는 개인용 컴퓨터, 스마트폰, 테블릿, 핸드헬드 장치 등의 단말 또는 클라우드 서버, 레코딩 서버, 업그레이드 서버, 알람 서버 등의 서버일 수 있다. The monitoring device 200 may be a terminal such as a personal computer, a smartphone, a tablet, a handheld device, or a server such as a cloud server, a recording server, an upgrade server, and an alarm server.

도 2를 참조하면, 영상획득장치(100)는 영상획득부(102), 제어부(104), 저장부(106) 및 통신부(108)를 포함할 수 있다. 2, the image acquisition apparatus 100 may include an image acquisition unit 102, a control unit 104, a storage unit 106, and a communication unit 108.

영상획득부(102)는 어안 렌즈 및 영상센서를 포함할 수 있다. 어안 렌즈는 다양한 렌즈 요소들(볼록렌즈, 오목 렌즈, 구면, 비구면 렌즈 등)을 적게는 6매, 많게는 10매 이상 겹쳐서 제작함으로써, 180° 이상의 넓은 화각을 가질 수 있다. 영상센서는 CMOS(Complementary Metal Oxide Semiconductor) 소자 또는 CCD(Charge-Coupled Device) 소자 일 수 있다. The image acquisition unit 102 may include a fisheye lens and an image sensor. A fisheye lens can have a wide angle of view of 180 ° or more by stacking at least six, and at least ten, various lens elements (convex, concave, spherical, aspherical, etc.). The image sensor may be a complementary metal oxide semiconductor (CMOS) device or a charge-coupled device (CCD) device.

제어부(104)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The controller 104 may include any kind of device capable of processing data, such as a processor. Here, the 'processor' may refer to a data processing apparatus embedded in hardware having, for example, a circuit physically structured to perform a function represented by code or instructions included in a program. As an example of a data processing device embedded in hardware, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, and an application-specific integrated device (ASIC) It may include a processing device such as a circuit, a field programmable gate array (FPGA), etc., but the scope of the present invention is not limited thereto.

제어부(104)는 이벤트를 수신하고, 어안 영상에서 이벤트가 발생한 영역에 대해 디워핑 알고리즘을 적용하여 보정 영상을 생성할 수 있다. 여기서, 이벤트는 관심영역의 설정 및 변경, 뷰 모드 변경, 뷰어(Viewer)의 형태 변환 등 어안 영상으로부터 보정 영상을 생성 및/또는 재생성하는 영상처리 요청일 수 있다. 일 실시예에서, 이벤트는 어안 영상에서 어안 영상의 일부 영역인 관심영역을 설정하는 입력이고, 이벤트가 발생한 영역은 관심영역일 수 있다. 어안 영상에서 설정된 관심영역이 변환되어 보정 영상이 생성되므로, 관심영역의 영상데이터를 기초로 보정 영상의 영상데이터가 생성될 수 있다. The controller 104 may receive an event and generate a corrected image by applying a dewarping algorithm to a region where the event occurs in the fisheye image. Here, the event may be an image processing request for generating and / or regenerating a corrected image from a fisheye image such as setting and changing a region of interest, changing a view mode, and changing a shape of a viewer. In an embodiment, the event may be an input for setting a region of interest that is a partial region of the fisheye image, and the region where the event occurs may be the region of interest. Since the ROI set in the fisheye image is converted to generate a correction image, the image data of the correction image may be generated based on the image data of the ROI.

관심영역은 어안 영상에서 도형으로 설정될 수 있다. 제어부(104)는 사용자에 의해 입력된 어안 영상의 관심영역을 설정하기 위한 설정 값을 수신하고, 이에 대응하는 관심영역을 어안 영상에 표시할 수 있다. 설정 값은 영상획득부(102)의 팬/틸트/줌 값을 기초로 하는 값일 수 있다. 설정된 관심영역은 도형으로 표시될 수 있다. 여기서 도형은 하나 이상의 점과 하나 이상의 점들을 서로 연결하는 선으로 구성된 다각형을 의미할 수 있다. 예를 들어, 도형은 원형, 타원형, 사각형, 삼각형 및 오각형 등의 다각형일 수 있다. The ROI may be set as a figure in the fisheye image. The controller 104 may receive a setting value for setting an ROI of the fisheye image input by the user and display the ROI corresponding to the fisheye image on the fisheye image. The setting value may be a value based on the pan / tilt / zoom value of the image acquisition unit 102. The set ROI may be displayed as a figure. Here, the figure may mean a polygon consisting of one or more points and a line connecting one or more points to each other. For example, the figure may be a polygon such as a circle, an oval, a rectangle, a triangle, and a pentagon.

제어부(104)는 복수의 관심영역 설정을 입력받고, 관심영역에 대응하는 복수의 보정 영상을 생성할 수 있다. 제어부(104)는 원본 영상인 어안 영상에 디워핑 알고리즘을 적용하여 보정 영상을 생성할 수 있다. 제어부(104)는 이전 이벤트 종료 후부터 경과된 시간(이하, '이벤트 경과 시간'이라 함)의 장단에 따라, 후속하여 수신되는 이벤트에 응답하여 제1 디워핑 알고리즘 또는 제2 디워핑 알고리즘을 어안 영상에 선택적으로 적용하여 적응적으로(adaptively) 보정 영상을 생성할 수 있다. 제1 디워핑 알고리즘 및 제2 디워핑 알고리즘은 후술한다.The controller 104 may receive a plurality of ROI settings and generate a plurality of corrected images corresponding to the ROI. The controller 104 may generate a corrected image by applying a dewarping algorithm to the fisheye image that is the original image. The control unit 104 fishes the first dewarping algorithm or the second dewarping algorithm in response to an event received subsequently according to the length of time elapsed since the end of the previous event (hereinafter, referred to as an 'event elapsed time'). May be selectively applied to generate a corrected image adaptively. The first dewarping algorithm and the second dewarping algorithm will be described later.

원본 영상을 영상 처리한 보정 영상을 사용자에게 제공함에 따라, 사용자 단말 또는 모니터링 장치(200)는 다양한 뷰 모드(view mode)를 지원하거나, 사용자의 UI/UX 상호작용을 충족시키기 위한 이벤트들이 발생할 수 있다. 이벤트 발생 시 성능과 속도의 트래이드 오프(trade off) 관계를 고려할 필요가 있다. As the correction image obtained by processing the original image is provided to the user, the user terminal or the monitoring device 200 may support various view modes or events to satisfy the UI / UX interaction of the user may occur. have. When an event occurs, it is necessary to consider the trade off relationship between performance and speed.

본 발명의 실시예에 따른 영상획득장치(100)는 이벤트 빈도가 높은 상황에 응답하여 원본 영상에 제2 디워핑 알고리즘을 적용함으로써 신속하게 보정 영상을 사용자에게 제공하고, 이벤트 빈도가 낮은 상황에 응답하여 원본 영상에 제1 디워핑 알고리즘을 적용함으로써 고품질/고화질의 보정 영상을 사용자에게 제공할 수 있다. The image acquisition apparatus 100 according to an embodiment of the present invention provides a user with a corrected image quickly by applying a second dewarping algorithm to the original image in response to a high event frequency and responds to a low event frequency. By applying the first dewarping algorithm to the original image, a high quality / high definition image can be provided to the user.

저장부(106)는 영상획득장치(100)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 저장부(106)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 저장부(106)는 디지털 비디오 레코더(DVR: digital video recorder) 또는 네트워크 비디오 레코더(NVR: network video recorder)를 포함할 수 있다. 저장부(106)는 원본 영상 및/또는 보정 영상을 저장할 수 있다. The storage unit 106 performs a function of temporarily or permanently storing data processed by the image acquisition apparatus 100. The storage unit 106 may include a magnetic storage media or a flash storage media, but the scope of the present invention is not limited thereto. The storage unit 106 may include a digital video recorder (DVR) or a network video recorder (NVR). The storage unit 106 may store an original image and / or a corrected image.

통신부(108)는 영상획득장치(100)가 모니터링 장치(200) 및/또는 서버(미도시)와 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. The communication unit 108 may include hardware necessary for the image acquisition apparatus 100 to transmit and receive a signal such as a control signal or a data signal through a wired or wireless connection with the monitoring device 200 and / or another network device such as a server (not shown), and It may be a device including software.

도 3은 본 발명의 일 실시예에 따른 디워핑 알고리즘을 적용하여 어안 영상을 변환한 보정 영상을 생성하는 과정을 개략적으로 나타낸 도면이다. 3 is a diagram schematically illustrating a process of generating a corrected image obtained by converting a fisheye image by applying a dewarping algorithm according to an exemplary embodiment of the present invention.

도 3을 참조하면, 원본 영상인 어안 영상(FI)에서 관심영역(ROI)의 영상 데이터가 디워핑 알고리즘에 의해 보정 영상(CI)의 영상 데이터로 변환될 수 있다. 디워핑 알고리즘은 어안 영상(FI)의 픽셀(Ps)의 위치를 보정 영상(CI)의 픽셀(P)의 위치로 변경하는 기하학 변환(Geometric Transformations)을 수행할 수 있다. Referring to FIG. 3, image data of a region of interest ROI may be converted into image data of a correction image CI by a dewarping algorithm in a fisheye image FI that is an original image. The dewarping algorithm may perform geometric transformation to change the position of the pixel Ps of the fisheye image FI to the position of the pixel P of the corrected image CI.

디워핑 알고리즘은 어안 영상(FI)으로부터 보정 영상(CI)을 생성하기 위해 디워핑 맵을 생성하는 과정을 포함할 수 있다. 보정 영상(CI)의 픽셀(P)의 픽셀 값을 구하기 위해서는 픽셀(P)의 좌표에 대응하는 어안 영상(FI)의 픽셀(Ps)의 좌표를 획득하여야 한다. 디워핑 맵은 보정 영상의 픽셀(P)의 좌표와 이에 대응하는 어안 영상의 픽셀(Ps)의 좌표가 매칭된 정보를 갖는다. 즉, 디워핑 맵의 크기는 보정 영상의 크기에 비례할 수 있다. The dewarping algorithm may include generating a dewarping map to generate the corrected image CI from the fisheye image FI. In order to obtain the pixel value of the pixel P of the corrected image CI, the coordinates of the pixel Ps of the fisheye image FI corresponding to the coordinates of the pixel P must be obtained. The dewarping map has information in which coordinates of the pixel P of the corrected image and coordinates of the pixel Ps of the fisheye image corresponding thereto are matched. That is, the size of the dewarping map may be proportional to the size of the corrected image.

도 4 내지 도 7은 본 발명의 일 실시예에 따른 제1 디워핑 알고리즘을 개략적으로 설명하는 도면이다. 4 to 7 schematically illustrate a first dewarping algorithm according to an embodiment of the present invention.

도 4 및 도 5를 참조하면, 어안 영상(FI)은 렌즈에 대응하는 가상의 반구(S)의 반구면 상에 결상된 피사체를 영상센서에 대응하는 반구(S)의 바닥면인 평면상에 전개한 영상일 수 있다. 반구(S)에 대해, 어안 영상(FI)의 원점(O)에서 직교하는 방향인 X축 및 Y축과 원점(O)에서 반구(S)의 정점으로 연장되는 방향인 Z축으로 정의되는 3차원 좌표계가 설정될 수 있다. R은 원점(O)에서 반구면까지의 거리, 즉 반구의 반지름이다. Referring to FIGS. 4 and 5, the fisheye image FI includes a subject formed on the hemisphere of the virtual hemisphere S corresponding to the lens on a plane that is the bottom surface of the hemisphere S corresponding to the image sensor. It may be an expanded image. 3 defined by the X-axis and Y-axis, which are directions orthogonal to the origin O of the fisheye image FI, and the Z-axis, which extends from the origin O to the vertices of the hemisphere S, with respect to the hemisphere S The dimensional coordinate system can be set. R is the distance from the origin O to the hemisphere, that is, the radius of the hemisphere.

원점(O)에서 본 시선 방향(B)과 직교하고, 원점(O')이 반구면과 접하는 평면(A)에서 임의의 위치는 x축과 y축의 2차원 좌표계의 좌표 P(x, y)로 표현될 수 있다. 평면(A)은 사용자가 보고자 하는 실세계 영역으로서, 도 3의 보정 영상(CI)에 대응할 수 있다. 디워핑 알고리즘은 원본 영상인 어안 영상(FI)으로부터 사용자가 보고자 하는 영역을 보정 영상(CI)으로 재구성하는 과정일 수 있다. In the plane (A) orthogonal to the visual direction (B) seen from the origin (O) and the origin (O ') is in contact with the hemisphere, the arbitrary position is the coordinate P (x, y) of the two-dimensional coordinate system of the x- and y-axes It can be expressed as. The plane A is a real world area that the user wants to see and may correspond to the corrected image CI of FIG. 3. The dewarping algorithm may be a process of reconstructing a region desired by the user from the fisheye image FI, which is the original image, to the corrected image CI.

사용자의 팬(Pan)/틸트(Tilt)/줌(Zoom) 설정에서, 줌은 평면(A)의 크기 변화(a), 즉 화각(FOV, Field of View) 변화를 의미하고, 틸트는 평면(A)의 원점(O')이 반구(S)의 정점에서 반구면을 따라 Z축으로부터 각(α)만큼 회전 이동(b)함을 의미하고, 팬은 평면(A)의 원점(O')이 반구면을 따라 Z축을 중심으로 각(β)만큼 회전 이동(c)함을 의미할 수 있다. In the user's Pan / Tilt / Zoom settings, zoom refers to the change in size (a) of the plane (A), that is, the change of field of view (FOV), and tilt refers to the plane ( Means that the origin O 'of A) is rotated by the angle α from the Z axis along the hemisphere at the apex of the hemisphere S, and the fan is the origin O' of the plane A. Along the hemisphere, it may mean that the rotational movement (c) by the angle (β) around the Z axis.

도 6을 참조하면, 평면(A) 내 임의의 위치의 2차원 좌표 P(x, y)는 회전각(ψ)만큼의 X축 회전, 회전각(φ)만큼의 Y축 회전, 회전각(θ)만큼의 Z축 회전에 의한 변환 행렬을 적용하여 3차원 좌표 P(X', Y', Z')로 변환될 수 있다. Referring to FIG. 6, the two-dimensional coordinates P (x, y) of an arbitrary position in the plane A are X-axis rotation by the rotation angle ψ, Y-axis rotation by the rotation angle φ, and rotation angle ( θ) can be converted into three-dimensional coordinates P (X ', Y', Z ') by applying a transformation matrix by Z-axis rotation.

회전각(φ)만큼 Z축이 회전되고, Z축이 회전된 상태에서 회전각(θ)만큼 Y축이 회전되고, Z축과 Y축이 회전된 상태에서 회전각(ψ)만큼 X축이 회전하는 경우, Z->Y->X축 회전에 따른 좌표 변환 행렬, 예를 들어, 아핀 변환(Affine Transformation)의 변환행렬은 하기 식 (1)과 같다. Affine Transformation은 공지이므로 상세한 설명은 생략한다. The Z axis is rotated by the rotation angle φ, the Y axis is rotated by the rotation angle θ while the Z axis is rotated, and the X axis is rotated by the rotation angle ψ while the Z and Y axes are rotated. In the case of rotation, the coordinate transformation matrix according to the Z-> Y-> X-axis rotation, for example, the transformation matrix of the Affine Transformation is represented by the following equation (1). Since the Affine Transformation is well known, the detailed description is omitted.

...(1)

...(One)

즉, Affine Transformation을 적용한 평면(A) 내 임의의 위치의 3차원 좌표 P(X', Y', Z')는 하기 식 (2)와 같이 표현될 수 있다. That is, the three-dimensional coordinates P (X ', Y', Z ') of an arbitrary position in the plane A to which Affine Transformation is applied may be expressed as in Equation (2) below.

X' = M00 * x + M01 * y + M02 * RX '= M00 * x + M01 * y + M02 * R

Y' = M10 * x + M11 * y + M12 * RY '= M10 * x + M11 * y + M12 * R

Z' = M20 * x + M21 * y + M22 * R ... (2)Z '= M20 * x + M21 * y + M22 * R ... (2)

다음으로, 평면(A) 내 임의의 위치를 반구면에 사영(Projection)시킨 위치의 3차원 좌표 P'(x", y", z")는 하기 식 (3)과 같이 표현될 수 있다. Next, the three-dimensional coordinates P '(x ", y", z ") of the position in which the arbitrary position in the plane A is projected onto the hemispherical surface may be expressed as in the following formula (3).

PO = sqrt(X'²+ Y'² + Z'²)PO = sqrt (X ' ² + Y' ² + Z ' ² )

P'O = RP'O = R

x" = (P'O / PO) * X’ = (sqrt(X'² + Y'² + Z'²) / R) * X'x "= (P'O / PO) * X '= (sqrt (X' ² + Y ' ² + Z' ² ) / R) * X '

y" = (P'O / PO) * Y’ = (sqrt(X'² + Y'² + Z'²) / R) * Y'y "= (P'O / PO) * Y '= (sqrt (X' ² + Y ' ² + Z' ² ) / R) * Y '

z" = (P'O / PO) * Z’ = (sqrt(X'² + Y'² + Z'²) / R) * Z'z "= (P'O / PO) * Z '= (sqrt (X' ² + Y ' ² + Z' ² ) / R) * Z '

도 7을 참조하면, 반구면으로 사영된 위치를 반구(S)의 바닥면으로 사영시킨 위치의 2차원 좌표 Ps(Sx, Sy)는 하기 식 (4)와 같이 표현될 수 있다. Ps의 위치는 렌즈에 따라 달라질 수 있다. Referring to FIG. 7, the two-dimensional coordinates Ps (Sx, Sy) of the positions projected from the hemispherical surface to the bottom surface of the hemisphere S may be expressed as in Equation (4) below. The position of Ps may vary depending on the lens.

α = arccos(z"/R)α = arccos (z "/ R)

temp1 = sqrt(R² - z"²)temp1 = sqrt (R ² -z " ² )

Sx = pp * x"Sx = pp * x "

Sy = pp * y" ... (4)Sy = pp * y "... (4)

여기서, α는 Z축으로부터 반구면 상의 P'(x", y", z")까지의 각이고, pp는 반구면 상의 위치를 바닥면의 위치로 사영하기 위한 비선형 함수일 수 있다. 비선형 함수 pp는 카메라의 렌즈마다 상이할 수 있다. 일 실시예에서, 비선형 함수 pp는 입체 사영(Stereographic Projection) 공식을 이용할 수 있다. Here, α is an angle from the Z axis to P '(x ", y", z ") on the hemisphere, and pp may be a nonlinear function for projecting the position on the hemisphere to the position of the bottom surface. May be different for each lens of the camera In one embodiment, the nonlinear function pp may use a stereoscopic projection formula.

제어부(104)는 제1 디워핑 알고리즘의 Affine Transformation을 이용하여 2회의 사영을 진행함으로써, 픽셀 단위로, 평면(A)의 임의의 픽셀(P)에 대응하는 어안 영상(FI)의 픽셀(Ps)의 XY 좌표계의 좌표를 구할 수 있다. 평면(A)의 픽셀(P)의 픽셀 값은 대응하는 어안 영상(FI)의 픽셀(Ps)의 픽셀 값으로 매칭될 수 있다. The controller 104 performs two projections using the Affine Transformation of the first dewarping algorithm, so that the pixels Ps of the fisheye image FI corresponding to an arbitrary pixel P of the plane A, in pixel units, are projected. You can get the coordinates of the XY coordinate system. The pixel value of the pixel P of the plane A may be matched with the pixel value of the pixel Ps of the corresponding fisheye image FI.

제1 디워핑 알고리즘은 어안 영상으로부터 임의의 시선 방향의 평면에 왜곡이 보정된 보정 영상을 표시하는 비선형 변환 처리로서, 3차원 공간에서 보정 영상의 픽셀에 대응하는 어안 영상의 픽셀의 2차원 좌표를 찾는 과정을 포함할 수 있다. The first dewarping algorithm is a nonlinear transformation process for displaying a corrected image in which distortion is corrected on a plane in an arbitrary gaze direction from a fisheye image, and performing two-dimensional coordinates of pixels of a fisheye image corresponding to pixels of the corrected image in three-dimensional space. Search process.

도 8 및 도 9는 본 발명의 일 실시예에 따른 제2 디워핑 알고리즘을 개략적으로 설명하는 도면이다. 8 and 9 schematically illustrate a second dewarping algorithm according to an embodiment of the present invention.

도 8 및 도 9를 참조하면, 제어부(104)는 어안 영상(FI)을 복수의 블록들로 블록화하고, 호모그래피 사영 변환(Homography Projective Transformation)을 이용하여 블록 단위로 어안 영상(FI)의 픽셀에 대응하는 보정 영상(CI)의 대응 픽셀을 구할 수 있다. 8 and 9, the controller 104 blocks the fisheye image FI into a plurality of blocks, and uses the Homography Projective Transformation to block the pixels of the fisheye image FI in units of blocks. The corresponding pixel of the corrected image CI corresponding to may be obtained.

제어부(104)는 어안 영상(FI)의 복수의 블록들에 대응하게 뷰어에 표시되는 보정 영상(CI)을 복수의 블록들로 블록화할 수 있다. 제어부(104)는 어안 영상(FI)과 보정 영상(CI)의 대응 블록들의 대응 특징점들, 예를 들어, 4쌍의 꼭지점 쌍들로부터 변환함수(H)를 획득할 수 있다. 변환함수(H)는 대응 블록들 간의 기하학적 변환 관계를 나타내는 행렬일 수 있다. 예를 들어, 변환함수(H)는 3차원 공간에 존재하는 두 개의 2차원 평면의 대응 픽셀들의 위치 변환 관계를 n x m 행렬로 표현하는 2차원 호모그래피(2D Homography) 행렬일 수 있다. The controller 104 may block the corrected image CI displayed on the viewer corresponding to the plurality of blocks of the fisheye image FI into a plurality of blocks. The controller 104 may obtain a transform function H from corresponding feature points of the corresponding blocks of the fisheye image FI and the corrected image CI, for example, four pairs of vertex pairs. The transform function H may be a matrix representing a geometric transform relationship between the corresponding blocks. For example, the transform function H may be a 2D homography matrix expressing a position transformation relationship between corresponding pixels of two 2D planes in a 3D space in an n × m matrix.

하기 식 (5)는 한 쌍의 대응 픽셀들 간의 기하학적 변환 관계를 나타내는 3x3 변환함수(H)의 예인 변환행렬이다. Equation (5) below is a transformation matrix that is an example of a 3x3 transform function H that represents a geometric transformation relationship between a pair of corresponding pixels.

... (5)

변환행렬의 각 요소(h11 내지 h33)는 어떤 회전각으로 회전할지를 나타내는 회전(rotation) 정보, x, y, z 방향으로 얼마만큼 이동할지를 나타내는 평행이동(translation) 정보, 및 x, y, z 방향으로 얼마만큼 크기를 변화시킬지를 나타내는 크기 변환(scaling) 정보를 포함한다. Each element h11 to h33 of the transformation matrix includes rotation information indicating at which rotation angle to rotate, translation information indicating how much to move in the x, y and z directions, and x, y and z directions. It includes scaling information indicating how much to change the size.

4쌍의 대응 픽셀들 간의 변환행렬의 크기 및 요소 개수는 식 (5)의 한 쌍의 대응 픽셀에 대한 변환행렬의 크기 및 요소 개수보다 커질 수 있다. The size and number of elements of the transformation matrix between the four pairs of corresponding pixels may be larger than the size and number of elements of the transformation matrix for the pair of corresponding pixels of Equation (5).

제어부(104)는 도 9(a)에 도시된 바와 같이, 어안 영상(FI)의 제1 블록(B1)과 보정 영상(CI)의 제1 대응블록(B1')의 대응하는 4쌍의 꼭지점 쌍들로부터 제1 변환함수(H1)를 획득하고, 제1 변환함수(H1)를 이용하여 제1 블록(B1) 내의 픽셀들에 대응하는 제1 대응블록(B1')의 대응픽셀들의 위치를 획득할 수 있다. As illustrated in FIG. 9A, the control unit 104 includes four pairs of vertices corresponding to the first block B1 of the fisheye image FI and the first corresponding block B1 ′ of the correction image CI. Acquire the first transform function H1 from the pairs, and obtain the positions of the corresponding pixels of the first correspondence block B1 'corresponding to the pixels in the first block B1 using the first transform function H1. can do.

제어부(104)는 도 9(b)에 도시된 바와 같이, 어안 영상(FI)의 제2 블록(B2)과 보정 영상(CI)의 제2 대응블록(B2')의 대응하는 4쌍의 꼭지점 쌍들로부터 제2 변환함수(H2)를 획득하고, 제2 변환함수(H2)를 이용하여 제2 블록(B2) 내의 픽셀들에 대응하는 제2 대응블록(B2')의 대응픽셀들의 위치를 획득할 수 있다. As shown in FIG. 9B, the control unit 104 has four pairs of vertices corresponding to the second block B2 of the fisheye image FI and the second corresponding block B2 ′ of the correction image CI. The second transform function H2 is obtained from the pairs, and the positions of the corresponding pixels of the second corresponding block B2 'corresponding to the pixels in the second block B2 are obtained using the second transform function H2. can do.

제어부(104)는 나머지 각 블록들에 대해, 블록 단위로 어안 영상(FI)의 블록과 보정 영상(CI)의 대응블록의 변환함수를 획득하고, 블록 단위로 변환함수를 이용하여 어안 영상(FI)의 픽셀들에 대응하는 보정 영상(CI)의 대응픽셀들의 위치를 획득할 수 있다. The controller 104 obtains a conversion function of a block of the fisheye image FI and a corresponding block of the correction image CI for each of the remaining blocks, and uses the conversion function for each block to determine the fisheye image FI. The positions of the corresponding pixels of the corrected image CI corresponding to the pixels of the C1 may be obtained.

제어부(104)는 제2 디워핑 알고리즘에 의해 Homography Projective Transformation을 이용하여 블록 단위로 변환함수를 획득하고, 블록별 변환함수를 이용하여 블록 단위로 어안 영상(FI)의 픽셀(Ps)에 대응하는 보정 영상(CI)의 픽셀(P) 위치를 구할 수 있다. 어안 영상(FI)의 픽셀의 픽셀 값이 보정 영상(CI)의 대응픽셀의 픽셀 값으로 매칭될 수 있다. The controller 104 obtains a transform function in units of blocks by using a Homography Projective Transformation by a second dewarping algorithm, and corresponds to the pixel Ps of the fisheye image FI in units of blocks by using a block-by-block transform function. The position of the pixel P of the corrected image CI may be obtained. The pixel value of the pixel of the fisheye image FI may be matched with the pixel value of the corresponding pixel of the correction image CI.

제어부(104)는 블록 사이즈 및/또는 블록 개수에 따라 각 블록의 변환함수를 미리 산출하고, 이를 테이블화하여 저장할 수 있다. 이에 따라 디워핑 연산 속도가 증가할 수 있다. The controller 104 may calculate a conversion function of each block in advance according to the block size and / or the number of blocks, and store the table in a table. Accordingly, the dewarping operation speed may increase.

도 10은 제2 디워핑 알고리즘에서 블록 사이즈와 왜곡 보정의 관계를 나타내는 도면이다. FIG. 10 is a diagram illustrating a relationship between block size and distortion correction in a second dewarping algorithm.

도 10(a)는 왜곡이 없는 피사체(a) 영상이다. 도 10(b)의 보정 영상의 블록 사이즈는 도 10(c)의 보정 영상의 블록 사이즈보다 크다. 블록 사이즈가 작을수록, 즉 블록 개수가 많을수록 피사체의 왜곡 보정이 우수함을 알 수 있다. 한편, 블록 사이즈가 클수록 연산량 및 연산시간이 줄어 연산속도가 빠르다. 10A illustrates an image of a subject a without distortion. The block size of the corrected image of FIG. 10B is larger than the block size of the corrected image of FIG. 10C. It can be seen that the smaller the block size, that is, the larger the number of blocks, the better the distortion correction of the subject. On the other hand, the larger the block size, the shorter the calculation amount and the calculation time, the faster the calculation speed.

제1 디워핑 알고리즘은 Affine Transformation을 이용하여 보정 영상(CI)의 픽셀(Ps)의 위치를 반구면 상의 위치로의 1차 투영(projection) 및 반구면 상의 위치를 반구의 바닥면 상의 위치로의 2차 투영을 진행함으로써 픽셀 대 픽셀로 대응시키므로, 보정 영상은 실제 장면과 유사하다. 즉, 제1 디워핑 알고리즘이 적용된 보정 영상은 왜곡이 최소화된 고품질의 영상일 수 있다. 반면, 제1 디워핑 알고리즘은 두 번의 아핀 변환을 위한 벡터 연산에 의해 연산량이 증가하므로 영상획득장치(100)의 성능에 큰 영향을 준다. 해상도가 증가할수록 그리고 하드웨어 스펙이 부족할수록 성능 이슈는 더 커진다. The first dewarping algorithm uses Affine Transformation to first position the position of pixel Ps of the corrected image CI to a position on the hemispherical surface and a position on the hemisphere to a position on the bottom surface of the hemisphere. The correction image is similar to the actual scene, since the pixel-to-pixel correspondence by the second projection. That is, the corrected image to which the first dewarping algorithm is applied may be a high quality image with minimal distortion. On the other hand, the first dewarping algorithm has a large effect on the performance of the image acquisition apparatus 100 because the amount of computation is increased by vector operations for two affine transformations. As resolution increases and hardware specifications become scarce, performance issues grow.

제2 디워핑 알고리즘은 블록 단위로 특징점들에 대해서만 변환함수를 획득하고, 이를 이용하여 간단하게 나머지 픽셀들을 연산하므로 연산량 및 연산시간이 줄어 연산속도를 높일 수 있다. 반면, 제2 디워핑 알고리즘을 이용하여 생성된 보정 영상은 제1 디워핑 알고리즘을 이용하여 생성된 보정 영상에 비해 왜곡이 클 수 있다. The second dewarping algorithm obtains a transform function only for the feature points in units of blocks, and simply calculates the remaining pixels using the same, thereby reducing the amount of computation and the computation time, thereby increasing the computation speed. On the other hand, the corrected image generated using the second dewarping algorithm may have a larger distortion than the corrected image generated using the first dewarping algorithm.

본 발명의 실시예는 이벤트 빈도에 따라 적응적으로 디워핑 알고리즘을 달리 적용함으로써 이벤트 응답 속도를 제어할 수 있다. Embodiments of the present invention can control the event response rate by applying a different dewarping algorithm adaptively according to the event frequency.

도 11은 본 발명의 일 실시예에 따른 영상획득장치의 적응적 디워핑 방법을 개략적으로 설명하는 흐름도이다. 11 is a flowchart schematically illustrating an adaptive dewarping method of an image acquisition device according to an embodiment of the present invention.

도 11을 참조하면, 영상획득장치(100)의 제어부(104)는 사용자로부터 뷰 모드 설정 등을 수신하고, 어안 영상으로부터 보정 영상의 생성을 위한 영상 처리를 개시하고, 이벤트가 수신되면(S11), 이벤트 경과 시간을 제1 임계시간과 비교할 수 있다(S13). 제어부(104)는 이벤트 경과 시간이 제1 임계시간보다 길면, 수신된 이벤트에 응답하여 제1 디워핑 알고리즘을 이용하여 어안 영상에 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S15). 제어부(104)는 이벤트 경과 시간이 제1 임계시간보다 짧으면 제2 디워핑 알고리즘을 이용하여 어안 영상에 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S17). Referring to FIG. 11, the control unit 104 of the image acquisition apparatus 100 receives a view mode setting, etc. from a user, starts image processing for generating a correction image from a fisheye image, and receives an event (S11). In operation S13, the elapsed time of the event may be compared with the first threshold time. If the event elapsed time is longer than the first threshold time, the controller 104 may generate a corrected image by performing dewarping on the fisheye image using the first dewarping algorithm in response to the received event (S15). If the elapsed time of the event is shorter than the first threshold time, the controller 104 may generate a corrected image by performing dewarping on the fisheye image using the second dewarping algorithm (S17).

제어부(104)는 사용자의 설정에 따라 최초 이벤트 수신시에는 제2 디워핑 알고리즘을 이용할 수 있다. 제어부(104)는 최초 이벤트 종료 후부터 이벤트 경과 시간을 카운팅하여 제1 임계시간과 비교하고, 비교 결과에 따라 두 번째 이후 수신되는 이벤트부터 제1 디워핑 알고리즘 또는 제2 디워핑 알고리즘을 선택적으로 이용할 수 있다. The controller 104 may use the second dewarping algorithm when receiving the first event according to the user's setting. The controller 104 may count an event elapsed time from the end of the first event and compare it with the first threshold time, and selectively use the first dewarping algorithm or the second dewarping algorithm from the second received event according to the comparison result. have.

도 12는 도 11에 도시된 실시예에 따른 영상획득장치의 적응적 디워핑 방법의 예이다. 12 is an example of an adaptive dewarping method of the image acquisition device according to the embodiment shown in FIG. 11.

도 12를 참조하면, 제어부(104)는 사용자로부터 뷰 모드 설정 등을 수신하고(S21), 어안 영상으로부터 보정 영상의 생성을 위한 영상 처리를 개시할 수 있다. 제어부(104)는 최초 이벤트를 수신하면(S23), 제2 디워핑 알고리즘을 이용하여 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S25). 제어부(104)는 최초 이벤트 종료 후부터 이벤트 경과 시간을 카운팅하여 제1 임계시간과 비교하고(S27), 제1 임계시간 이상 이벤트가 수신되지 않으면, 이후 수신되는 이벤트에 응답하여 제1 디워핑 알고리즘을 이용하여 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S29). 제어부(104)는 제1 임계시간 이내에 이벤트가 수신되면, 제2 디워핑 알고리즘을 유지하고, 제2 디워핑 알고리즘을 이용하여 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S25). Referring to FIG. 12, the controller 104 may receive a view mode setting from a user (S21) and may start image processing for generating a corrected image from a fisheye image. When the controller 104 receives the first event (S23), the controller 104 may generate a corrected image by performing dewarping using a second dewarping algorithm (S25). The controller 104 counts the event elapsed time from the end of the first event and compares it with the first threshold time (S27). If the event is not received for more than the first threshold time, the controller 104 performs a first dewarping algorithm in response to the received event. Dewarping may be performed to generate a corrected image (S29). If an event is received within the first threshold time, the controller 104 may maintain the second dewarping algorithm and generate a corrected image by performing dewarping using the second dewarping algorithm (S25).

본 실시예는, 블록 개념을 적용한 제2 디워핑 알고리즘을 이용하여 빠르게 디워핑 맵을 생성하여 디워핑 영상을 사용자에게 제공한 후, 일정 기간 사용자로부터의 이벤트가 발생하지 않는 경우 제1 디워핑 알고리즘을 이용하여 디워핑 맵을 생성하여 왜곡이 최소화된 디워핑 영상을 사용자에게 제공할 수 있다. According to the present embodiment, after a dewarping map is quickly generated by using a second dewarping algorithm to which a block concept is applied and a dewarping image is provided to a user, the first dewarping algorithm is performed when an event from the user does not occur for a certain period of time. By generating a dewarping map by using can provide a user with a dewarping image minimized distortion.

도 13은 본 발명의 다른 실시예에 따른 영상획득장치의 적응적 디워핑 방법을 개략적으로 설명하는 흐름도이다. 13 is a flowchart schematically illustrating an adaptive dewarping method of an image acquisition device according to another embodiment of the present invention.

도 13을 참조하면, 영상획득장치(100)의 제어부(104)는 사용자로부터 뷰 모드 설정 등을 수신하고, 어안 영상으로부터 보정 영상의 생성을 위한 영상 처리를 개시하고, 이벤트가 수신되면(S31), 이벤트 경과 시간을 기초로 제2 디워핑 알고리즘의 블록 사이즈를 결정할 수 있다(S33). 제어부(104)는 결정된 블록 사이즈로 제2 디워핑 알고리즘을 이용하여 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S35). Referring to FIG. 13, the control unit 104 of the image acquisition apparatus 100 receives a view mode setting, etc. from a user, starts image processing for generating a correction image from a fisheye image, and receives an event (S31). In operation S33, the block size of the second dewarping algorithm may be determined based on the elapsed time of the event. The controller 104 may generate a corrected image by performing dewarping using the second dewarping algorithm at the determined block size (S35).

구체적으로 단계 33은, 제어부(104)가 사용자의 설정에 따라 이벤트 경과 시간에 대해 적어도 하나의 제2 임계시간을 설정하고, 제2 임계시간마다 제2 디워핑 알고리즘의 블록 사이즈를 설정할 수 있다. 제2 임계시간이 길수록 블록 사이즈는 작게 설정될 수 있다. In more detail, in step 33, the controller 104 may set at least one second threshold time for the elapsed time of the event according to a user's setting, and may set a block size of the second dewarping algorithm for each second threshold time. The longer the second threshold time, the smaller the block size may be set.

예를 들어, 제어부(104)는 제2-1 임계시간 내지 제2-n 임계시간을 설정하고, n 개의 제2 임계시간마다 제2 디워핑 알고리즘의 블록 사이즈를 설정할 수 있다. 여기서, n이 클수록 시간이 길고, 블록 사이즈는 작을 수 있다. For example, the controller 104 may set the 2-1th threshold time to the 2nd-th threshold time, and set the block size of the second dewarping algorithm for every n second threshold times. Here, the larger n, the longer the time and the smaller the block size.

제어부(104)는 첫번째 수신되는 이벤트(제1 이벤트)의 경우 동작 개시 후부터 이벤트 경과 시간을 카운팅하고, 두번째 수신되는 이벤트(제2 이벤트)부터는 이전 이벤트 종료 후 이벤트 경과 시간을 카운팅할 수 있다. In the case of the first received event (first event), the controller 104 may count the elapsed time of the event from the start of the operation, and count the elapsed time of the event after the end of the previous event from the second received event (the second event).

제어부(104)는 이벤트 경과 시간을 n 개의 제2 임계시간과 비교하여 제2 디워핑 알고리즘의 블록 사이즈를 결정할 수 있다. 예를 들어, 제어부(104)는 제1 이벤트 종료 후부터 제2 이벤트가 수신될 때까지의 이벤트 경과 시간을 n개의 제2-1 임계시간 내지 제2-n 임계시간과 비교하고, (이벤트 경과 시간 > 제2-n 임계시간)의 조건을 만족하는 n을 구할 수 있다. 제어부(104)는 조건을 만족하는 제2 임계시간에 대응하는 블록 사이즈를 결정할 수 있다. The controller 104 may determine the block size of the second dewarping algorithm by comparing the elapsed event time with the n second threshold times. For example, the controller 104 compares the elapsed time of the event from the end of the first event until the second event is received with n 2-1 th threshold times to the 2-n th threshold time (the event elapsed time). N satisfying the condition of " 2-n threshold time) can be obtained. The controller 104 may determine a block size corresponding to the second threshold time that satisfies the condition.

본 실시예에 따라, 제2 디워핑 알고리즘을 이용하여 이벤트에 신속 대응하여 사용자에게 보정 영상을 제공하면서, 일정 시간 이상 이벤트가 발생하지 않는 경우에는 블록 사이즈를 줄이면서 제2 디워핑 알고리즘을 이용함으로써 왜곡이 감소한 보정 영상을 사용자에게 제공할 수 있다. According to the present embodiment, by providing a corrected image to a user in response to an event using a second dewarping algorithm, and using the second dewarping algorithm while reducing the block size when no event occurs for a predetermined time. The user may provide a corrected image having reduced distortion.

도 14는 본 발명의 다른 실시예에 따른 영상획득장치의 적응적 디워핑 방법을 개략적으로 설명하는 흐름도이다. 14 is a flowchart schematically illustrating an adaptive dewarping method of an image acquisition device according to another embodiment of the present invention.

도 14의 실시예는 제2 임계시간 및 제1 임계시간을 모두 고려하여, 제2 디워핑 알고리즘 또는 제1 디워핑 알고리즘을 적응적으로 선택하는 점에서 도 13의 실시예와 차이가 있다. The embodiment of FIG. 14 differs from the embodiment of FIG. 13 in that the second dewarping algorithm or the first dewarping algorithm is adaptively selected in consideration of both the second threshold time and the first threshold time.

도 14를 참조하면, 영상획득장치(100)의 제어부(104)는 사용자로부터 뷰 모드 설정 등을 수신하고, 어안 영상으로부터 보정 영상의 생성을 위한 영상 처리를 개시하고, 이벤트가 수신되면(S41), 이벤트 경과 시간을 기초로 제2 디워핑 알고리즘의 블록 사이즈를 결정할 수 있다(S43). 제어부(104)는 이벤트에 응답하여 결정된 블록 사이즈로 제2 디워핑 알고리즘을 이용하여 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S45). 단계 43은 도 13의 실시예에서 단계 33과 동일하므로 상세한 설명은 생략한다. Referring to FIG. 14, the control unit 104 of the image acquisition apparatus 100 receives a view mode setting, etc. from a user, starts image processing for generating a corrected image from a fisheye image, and receives an event (S41). In operation S43, the block size of the second dewarping algorithm may be determined based on the elapsed time of the event. The controller 104 may generate a corrected image by performing dewarping using the second dewarping algorithm at the block size determined in response to the event (S45). Step 43 is the same as step 33 in the embodiment of FIG. 13, and thus a detailed description thereof will be omitted.

제어부(104)는 이벤트 경과 시간을 제1 임계시간과 비교하고(S47), 이벤트 경과 시간이 제1 임계시간 이상으로 길면, 이후 수신되는 이벤트에 응답하여 제1 디워핑 알고리즘을 이용하여 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S49). 제1 임계시간은 제2 임계시간보다 길 수 있다. The controller 104 compares the event elapsed time with the first threshold time (S47), and if the event elapsed time is longer than the first threshold time, the controller 104 performs dewarping using a first dewarping algorithm in response to an event received thereafter. In operation S49, the corrected image may be generated. The first threshold time may be longer than the second threshold time.

본 실시예는, 이벤트 경과 시간에 따라 적응적으로 블록 사이즈를 변경하며 디워핑 맵을 생성하여 왜곡이 최소화된 디워핑 영상을 사용자에게 제공할 수 있다. In this embodiment, the block size may be adaptively changed according to an elapsed time of an event, and a dewarping map may be generated to provide a user with a dewarping image with minimized distortion.

도 15는 본 발명의 다른 실시예에 따른 영상획득장치의 적응적 디워핑 방법의 예이다. 15 is an example of an adaptive dewarping method of an image acquisition device according to another embodiment of the present invention.

도 15를 참조하면, 제어부(104)는 뷰 모드 설정 등을 수신하고(S51), 어안 영상으로부터 보정 영상의 생성을 위한 영상 처리를 개시할 수 있다. 제어부(104)는 최초 이벤트(제1 이벤트)를 수신하면(S52), 제1 블록 사이즈의 제2 디워핑 알고리즘을 이용하여 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S53). Referring to FIG. 15, the controller 104 may receive a view mode setting and the like (S51), and may start image processing for generating a corrected image from a fisheye image. When the controller 104 receives the first event (first event) (S52), the controller 104 may generate a corrected image by performing dewarping using a second dewarping algorithm having a first block size (S53).

제어부(104)는 이벤트 경과 시간에 대해 적어도 하나의 제2 임계시간, 예를 들어, 제2-1 임계시간 내지 제2-n 임계시간을 설정하고, n 개의 제2 임계시간마다 제2 디워핑 알고리즘의 블록 사이즈를 설정할 수 있다. 여기서, n이 클수록 시간이 길고, 블록 사이즈는 작을 수 있다. The controller 104 sets at least one second threshold time, for example, the 2-1 th time to the 2-n th time for the elapsed time of the event, and the second dewarping every n second threshold times. You can set the block size of the algorithm. Here, the larger n, the longer the time and the smaller the block size.

제어부(104)는 제1 이벤트 종료 후 단계적으로 이벤트 경과 시간을 n 개의 제2 임계시간과 비교하여 제2 디워핑 알고리즘의 블록 사이즈를 결정할 수 있다. The controller 104 may determine the block size of the second dewarping algorithm by comparing the elapsed time of the event with the n second threshold times step by step after the end of the first event.

제어부(104)는 제1 이벤트 종료 후부터 이벤트 경과 시간을 제2-1 임계시간과 비교하고(S54), 제2-1 임계시간 이상 이벤트가 수신되지 않으면, 이후 수신되는 제2 이벤트에 응답하여 제2 블록 사이즈의 제2 디워핑 알고리즘을 이용하여 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S55). 제2 블록 사이즈는 제1 블록 사이즈보다 작을 수 있다. The controller 104 compares the elapsed time of the event with the 2-1th threshold time after the end of the first event (S54). A decoded image may be generated by performing dewarping using a second dewarping algorithm having a two block size (S55). The second block size may be smaller than the first block size.

제어부(104)는 제2 이벤트 종료 후 이벤트 경과 시간을 제2-2 임계시간과 비교하고(S56), 제2-2 임계시간 이상 이벤트가 수신되지 않으면, 이후 수신되는 제3 이벤트에 응답하여 제3 블록 사이즈의 제2 디워핑 알고리즘을 이용하여 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S57). 제3 블록 사이즈는 제2 블록 사이즈보다 작을 수 있다. 제2-2 임계시간은 제2-1 임계시간보다 길 수 있다. 단계 57과 단계 58 사이에서, 제어부(104)는 이벤트 경과 시간을 제2-3 임계시간부터 제2-n 임계시간과 비교하여 제2 디워핑 알고리즘의 블록 사이즈를 단계적으로 줄일 수 있다. n은 사용자 설정에 따라 결정될 수 있다. The controller 104 compares the elapsed time of the event after the end of the second event with the 2-2 threshold time (S56), and if the event is not received for more than the 2-2 threshold time, the controller 104 responds to the third event received thereafter. A decoded image may be generated by performing dewarping using a second dewarping algorithm having a three block size (S57). The third block size may be smaller than the second block size. The 2-2 threshold time may be longer than the 2-1 threshold time. Between steps 57 and 58, the controller 104 may gradually reduce the block size of the second dewarping algorithm by comparing the elapsed time of the event from the 2-3 th time to the 2-n th time. n may be determined according to a user setting.

제어부(104)는 이벤트 경과 시간을 제1 임계시간과 비교하고(S58), 제1 임계시간 이상 이벤트가 발생하지 않으면, 제1 디워핑 알고리즘을 이용하여 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S59). 제어부(104)는 제1 임계시간 이내에 이벤트가 발생하면, 제2 디워핑 알고리즘을 이용하여 디워핑을 수행함으로써 보정 영상을 생성할 수 있다(S53).The controller 104 may generate the corrected image by comparing the elapsed time of the event with the first threshold time (S58), and if the event does not occur for more than the first threshold time, performing dewarping using the first dewarping algorithm. There is (S59). If an event occurs within the first threshold time, the controller 104 may generate a corrected image by performing dewarping using a second dewarping algorithm (S53).

본 실시예는, 블록 개념을 적용하여 제2 디워핑 알고리즘의 큰 사이즈의 블록을 이용하여 빠르게 디워핑 맵을 생성하여 디워핑 영상을 사용자에게 제공한 후, 일정 기간 사용자로부터의 이벤트가 발생하지 않는 경우 블록 사이즈를 점진적으로 줄이며 디워핑 맵을 생성하여 왜곡이 최소화된 디워핑 영상을 사용자에게 제공할 수 있다. In this embodiment, the block concept is applied to quickly generate a dewarping map by using a block of a large size of the second dewarping algorithm to provide a dewarping image to the user, and then an event from the user does not occur for a certain period of time. In this case, the block size may be gradually reduced and a dewarping map may be generated to provide a user with a dewarping image with minimal distortion.

전술된 실시예에서, 도 3 내지 도 15는 영상획득장치(100)에서의 디워핑으로 설명하였으나, 본 발명의 실시예는 이에 한정되지 않고, 영상획득장치(100)의 어안 영상을 수신한 모니터링 장치(200)에서의 디워핑에도 동일하게 적용할 수 있음은 물론이다. In the above-described embodiment, Figures 3 to 15 have been described as dewarping in the image acquisition apparatus 100, the embodiment of the present invention is not limited to this, monitoring the fisheye image received by the image acquisition apparatus 100 The same applies to the dewarping in the device 200 as well.

본 발명의 실시예들은, 네트워크 상황, 사용자 단말의 상황에 따라 적응적으로 제1 디워핑 알고리즘을 이용하여 디워핑 맵을 생성함으로써 디워핑 영상을 사용자에게 제공하거나, 제2 디워핑 알고리즘의 블록 사이즈를 변경하며 디워핑 맵을 생성하여 디워핑 영상을 사용자에게 제공할 수 있다. Embodiments of the present invention provide a dewarping image to a user by generating a dewarping map using a first dewarping algorithm according to a network situation and a situation of a user terminal, or block size of a second dewarping algorithm. The dewarping map may be generated and the dewarping image may be provided to the user.

본 발명의 실시예들은, 다채널 환경에서 새로운 디워핑 맵을 생성하는 디워핑 프로세스가 필요한 상황(예를 들어, 사용자 이벤트, 뷰어의 변화 등)에서 해당 채널의 영상에만 제2 디워핑 알고리즘을 이용하고 나머지 채널에는 제1 디워핑 알고리즘을 이용하여 디워핑 맵을 재생성하여 디워핑 영상을 제공할 수 있다. Embodiments of the present invention use a second dewarping algorithm only for the image of a corresponding channel in a situation in which a dewarping process for generating a new dewarping map in a multichannel environment is required (for example, a user event or a change of a viewer). The dewarping image may be provided to the remaining channels by regenerating the dewarping map using the first dewarping algorithm.

본 발명에 따른 카메라 시스템의 영상처리방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The image processing method of the camera system according to the present invention can be embodied as computer readable codes on a computer readable recording medium. Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.Although the present invention has been described with reference to one embodiment shown in the accompanying drawings, it is merely an example, and those skilled in the art may realize various modifications and equivalent other embodiments therefrom. I can understand. Accordingly, the true scope of protection of the invention should be defined only by the appended claims.

Claims

Receiving an event including an image processing request for generating a dewarping image from the fisheye image; And
Generating the dewarping image by applying a first dewarping algorithm or a second dewarping algorithm different from the first dewarping algorithm to the fisheye image in response to receiving the event. Way.

The method of claim 1,
The dewarping image generation step to which the first dewarping algorithm is applied,
Obtaining, in pixel units, two-dimensional coordinates of pixels of the fisheye image corresponding to pixels of the dewarping image in a three-dimensional space; And
Calculating a pixel value of a pixel of the dewarping image corresponding to a pixel value of the pixel of the fisheye image.

The method of claim 1,
The dewarping image generation step of applying the second dewarping algorithm may include:
Blocking the fisheye image into a plurality of blocks;
Estimating a transform function in units of blocks through feature point matching between the block of the fisheye image and the corresponding block of the dewarping image;
Obtaining two-dimensional coordinates of pixels in a corresponding block of the dewarping image corresponding to pixels in the block of the fisheye image based on the transform function; And
Calculating a pixel value of a pixel of the dewarping image corresponding to a pixel value of the pixel of the fisheye image.

The method of claim 3,
And determining the block size of the second dewarping algorithm based on the elapsed time from the end of the previous event until the next event is received.

The method of claim 1, wherein the dewarping image generation step comprises:
Generating a dewarping image by using the second dewarping algorithm upon receiving an initial event; And
And generating a dewarping image using the first dewarping algorithm when the elapsed time from the end of the first event until the next event is received is longer than a threshold time.

The method of claim 1, wherein the dewarping image generation step comprises:
Generating a dewarping image using the second dewarping algorithm when the elapsed time from the end of the previous event until the next event is received is greater than a second threshold time; And
And generating a dewarping image by using the first dewarping algorithm when the elapsed time is longer than a first threshold time longer than a second threshold time.