KR20190064540A - Apparatus and method for generating panorama image - Google Patents

Apparatus and method for generating panorama image Download PDF

Info

Publication number
KR20190064540A
KR20190064540A KR1020190062445A KR20190062445A KR20190064540A KR 20190064540 A KR20190064540 A KR 20190064540A KR 1020190062445 A KR1020190062445 A KR 1020190062445A KR 20190062445 A KR20190062445 A KR 20190062445A KR 20190064540 A KR20190064540 A KR 20190064540A
Authority
KR
South Korea
Prior art keywords
panorama
camera
image
panoramic
cameras
Prior art date
Application number
KR1020190062445A
Other languages
Korean (ko)
Other versions
KR102138333B1 (en
Inventor
박주형
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020190062445A priority Critical patent/KR102138333B1/en
Publication of KR20190064540A publication Critical patent/KR20190064540A/en
Application granted granted Critical
Publication of KR102138333B1 publication Critical patent/KR102138333B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The present invention relates to an apparatus and a method for generating an image. More specifically, the present invention relates to an apparatus and a method for generating a panoramic image for generating a real-time panoramic image by simultaneously using a plurality of cameras which are radially provided. The apparatus for generating a panoramic image comprises: a plurality of cameras which are radially provided; a setting unit for setting a panoramic surveillance region from an initial panoramic image photographed by the cameras; an adjusting unit for adjusting the cameras to photograph the panoramic surveillance region; and a panoramic image generating unit for generating a final panoramic image for the panoramic surveillance region photographed by the cameras.

Description

파노라마 영상 생성 장치 및 방법{Apparatus and method for generating panorama image}[0001] APPARATUS AND METHOD FOR GENERATING PANORAMA IMAGE [0002]

본 발명은 영상 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 방사상으로 구비된 복수의 카메라를 동시에 이용하여 화각 변화가 가능한 실시간 파노라마 영상을 생성하는 파노라마 영상 생성 장치 및 방법에 관한 것이다.The present invention relates to an image generating apparatus and method, and more particularly, to a panoramic image generating apparatus and method for generating a real-time panorama image capable of changing the angle of view by simultaneously using a plurality of cameras provided in a radial direction.

파노라마 기술은 감시 시스템 분야에서 광역 감시의 목적으로 많이 사용되고 있다. 기존의 CCTV 카메라로서는 정해진 화각 이외의 범위를 관찰할 수 없고, 또한 PTZ 카메라를 이용하다 하더라도 넓은 지역을 동시에 관찰하기에는 불가능하다. 이를 해결하기 위해 파노라마 기술을 사용하며 현재 실내/외를 가리지 않고 다양하게 사용하고 있다. Panorama technology is widely used in surveillance systems for wide area surveillance purposes. As a conventional CCTV camera, it is impossible to observe a range other than the predetermined angle of view, and even if a PTZ camera is used, it is impossible to observe a wide area at the same time. In order to solve this problem, we use panoramic technology, and now we are using it variously regardless of indoor / outdoor.

그러나, 이러한 파노라마 기술에서는 모두 화각이 고정되 있어서 고정된 화각 내의 영상만 감시할 수 있다. 또한 PTZ 카메라를 이용하여 원하는 영역을 주기적으로 스캔하면서 파노라마 영상을 업데이트 할 수 있으나, 항상 사각지대가 존재하고 실시간으로 파노라마 영상 촬영이 불가능하다.However, in this panoramic technology, since the angle of view is fixed, only the images within a fixed angle of view can be monitored. Also, it is possible to update the panoramic image while periodically scanning the desired area using the PTZ camera, but there is always a blind spot and the panoramic image can not be captured in real time.

본 발명이 해결하고자 하는 기술적인 과제는 방사상으로 구비된 복수의 카메라를 동시에 이용하여 사각지대가 없고, 화각 변화가 가능한 실시간 파노라마 영상을 생성할 수 있는 파노라마 영상 생성 장치 및 방법을 제공하는데 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a panoramic image generating apparatus and method capable of generating a real-time panoramic image having no blind spot using a plurality of cameras provided in a radial direction and capable of changing the angle of view.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 파노라마 영상 생성 방법은 방사상으로 구비된 복수의 카메라들을 이용하여 초기 파노라마 영상을 촬영하는 단계; 상기 초기 파노라마 영상으로부터 파노라마 감시영역을 설정하는 단계; 상기 파노라마 감시영역을 촬영하도록 상기 카메라들을 조정하는 단계; 및 상기 카메라들에 의해 촬영된 상기 감시영역에 영상들에 대하여 최종 파노라마 영상을 생성하는 단계;를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of generating a panoramic image, comprising: capturing an initial panoramic image using a plurality of cameras provided in a radial direction; Setting a panoramic surveillance region from the initial panoramic image; Adjusting the cameras to photograph the panoramic surveillance area; And generating a final panorama image for the images in the surveillance region photographed by the cameras.

본 발명에 있어서, 상기 감시영역을 촬영한 각 영상의 픽셀이 상기 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 한다.The method may further include generating map data indicating a position of each of the pixels of each image photographed in the surveillance region on the final panoramic image.

본 발명에 있어서, 상기 맵 데이터가 적용된 상기 감시영역 영상들을 블렌딩 처리하는 단계;를 더 포함하는 것을 특징으로 한다.The method may further include blending the surveillance region images to which the map data is applied.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 파노라마 영상 생성 장치는 방사상으로 구비된 복수의 카메라; 상기 카메라들에 의해 촬영된 초기 파노라마 영상으로부터 파노라마 감시영역을 설정하는 설정부; 상기 파노라마 감시영역을 촬영하도록 상기 카메라들을 조정하는 조정부; 및 상기 카메라들에 의해 촬영된 상기 감시영역에 영상에 대하여 최종 파노라마 영상을 생성하는 파노라마 영상 생성부;를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a panoramic image generation apparatus comprising: a plurality of cameras provided in a radial direction; A setting unit for setting a panoramic surveillance region from an initial panoramic image photographed by the cameras; An adjustment unit for adjusting the cameras to photograph the panoramic surveillance area; And a panorama image generation unit for generating a final panorama image with respect to the image in the surveillance region photographed by the cameras.

본 발명에 있어서, 상기 감시영역을 촬영한 각 영상의 픽셀이 상기 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하는 파노라마 초기화부;를 더 포함하는 것을 특징으로 한다.The panoramic imaging apparatus may further include a panorama initialization unit configured to generate map data indicating a position of each of the pixels of each image photographed in the surveillance region on the final panoramic image.

본 발명에 있어서, 상기 맵 데이터가 적용된 상기 감시영역 영상들을 블렌딩 처리하는 블렌딩 처리부;를 더 포함하는 것을 특징으로 한다.The apparatus may further include a blending processor for blending the surveillance region images to which the map data is applied.

상술한 바와 같이 본 발명에 따르면, 방사상으로 구비된 복수의 카메라를 동시에 이용하여 사각지대가 없고 화각 변화가 가능한 실시간 파노라마 영상을 생성할 수 있다.As described above, according to the present invention, a plurality of cameras provided in a radial direction can be simultaneously used to generate a real-time panoramic image having no blind spots and capable of changing the angle of view.

도 1은 본 발명의 일 실시 예에 따른 파노라마 영상 생성 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 초기 파노라마 영상을 보이는 도면이다.
도 3은 도 1 중 각 카메라가 촬영한 파노라마 설정영역 영상을 보이는 도면이다.
도 4는 도 1 중 각 카메라가 촬영한 파노라마 설정영역 영상의 정합을 설명하기 위한 도면이다.
도 5는 도 1 중 블렌딩 처리를 설명하기 위한 도면이다.
도 6은 도 1 중 파노라마 설정영역에 대한 최종 파노라마 영상을 보이는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 파노라마 영상 생성 방법의 동작을 보이는 흐름도 이다.
도 8은 도 7 중 맵 데이터 생성 방법의 동작을 보이는 흐름도 이다.1 is a block diagram showing a configuration of a panoramic image generating apparatus according to an embodiment of the present invention.
2 is a view showing an initial panoramic image of FIG.
3 is a view showing a panorama setting region image taken by each camera in FIG.
FIG. 4 is a diagram for explaining registration of panoramic setting region images taken by each camera in FIG. 1; FIG.
Fig. 5 is a diagram for explaining the blending process in Fig. 1. Fig.
FIG. 6 is a view showing a final panoramic image of the panoramic setting area in FIG.
7 is a flowchart illustrating an operation of the panoramic image generation method according to an exemplary embodiment of the present invention.
8 is a flowchart showing the operation of the map data generating method in Fig.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by terms. Terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.The present invention may be represented by functional block configurations and various processing steps. These functional blocks may be implemented in a wide variety of hardware and / or software configurations that perform particular functions. For example, the present invention may include integrated circuit configurations, such as memory, processing, logic, look-up tables, etc., that may perform various functions by control of one or more microprocessors or other control devices Can be adopted. Similar to the components of the present invention that may be implemented with software programming or software components, the present invention may be implemented as a combination of C, C ++, and C ++, including various algorithms implemented with data structures, processes, routines, , Java (Java), assembler, and the like. Functional aspects may be implemented with algorithms running on one or more processors. Further, the present invention can employ conventional techniques for electronic environment setting, signal processing, and / or data processing. Terms such as mechanisms, elements, means, and configurations are widely used and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.

이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Referring to the accompanying drawings, the same or corresponding components are denoted by the same reference numerals, do.

도 1은 본 발명의 일 실시 예에 따른 파노라마 영상 생성 장치의 구성을 보이는 블록도 이다.1 is a block diagram showing a configuration of a panoramic image generating apparatus according to an embodiment of the present invention.

도 1을 참조하면, 파노라마 영상 생성 장치는 카메라(100), 관리수단(200) 및 디스플레이부(300)를 포함한다. 도 1에서, 카메라(100)는 방사상으로 구비된 제1 카메라(110) 내지 제4 카메라(140)를 포함할 수 있다. 도 1에서 관리수단(200)은 영역 설정부(210), 카메라 조정부(220), 파노라마 초기화부(230), 블렌딩 처리부(240) 및 파노라마 영상 생성부(250)를 포함할 수 있다.Referring to FIG. 1, the panoramic image generation apparatus includes a camera 100, a management unit 200, and a display unit 300. In FIG. 1, the camera 100 may include a first camera 110 to a fourth camera 140 provided in a radial direction. 1, the management unit 200 may include an area setting unit 210, a camera adjusting unit 220, a panorama initializing unit 230, a blending processing unit 240, and a panorama image generating unit 250.

카메라(100)는 방사상으로 구비된 제1 카메라(110) 내지 제4 카메라(140)를 포함하는데, 제1 카메라(110) 내지 제4 카메라(140) 각각은 줌 렌즈(미도시)가 장착되어 있어서 줌 조절이 가능하며, 줌 변화가 동기화 되어 제1 카메라(110) 내지 제4 카메라(140)를 동시에 똑 같은 레벨의 줌으로 조절할 수 있다. 또한 제1 카메라(110) 내지 제4 카메라(140)는 화각이 겹칠 수 있도록 조절이 가능해 줌 변화에 의해 화각이 좁아지더라도 일정 비율로 겹칠 수 있도록 제1 카메라(110) 내지 제4 카메라(140)는 위치가 변화될 수 있다. 또한 제1 카메라(110) 내지 제4 카메라(140)에는 팬/틸트 모듈이 장착되어 원하는 영역 감시를 위해 팬 또는 틸트 방향으로 이동 가능하다. 제1 카메라(110) 내지 제4 카메라(140) 각각이 감시 가능한 최대 화각은 360도 이다. 여기서 줌 조절, 위치 변화 조절 및 팬/틸트 조정은 후술하는 카메라 조정부(220)에 의해 수행될 수 있다.The camera 100 includes a first camera 110 to a fourth camera 140 provided in a radial fashion and each of the first camera 110 to the fourth camera 140 is equipped with a zoom lens And the zoom change is synchronized so that the first camera 110 to the fourth camera 140 can be simultaneously adjusted to the same level of zoom. The first camera 110 to the fourth camera 140 can be adjusted so that the angle of view can be overlapped with each other so that the first camera 110 to the fourth camera 140 ) Can be changed in position. Also, the first camera 110 to the fourth camera 140 are equipped with a pan / tilt module and are movable in a pan or tilt direction for monitoring a desired area. The maximum view angle that can be monitored by each of the first camera 110 to the fourth camera 140 is 360 degrees. Here, the zoom adjustment, the position change adjustment, and the pan / tilt adjustment may be performed by the camera adjustment unit 220 described later.

관리수단(200)은 제1 카메라(110) 내지 제4 카메라(140)가 촬영한 영상 초기 파노라마 영상으로부터 파노라마 감시영역이 설정되면, 파노라마 감시영역을 촬영하도록 제1 카메라(110) 내지 제4 카메라(140)를 조정하고, 조정된 제1 카메라(110) 내지 제4 카메라(140)에 의해 촬영된 감시영역에 영상에 대하여 최종 파노라마 영상을 생성한다.When the panorama surveillance region is set from the image initial panorama image captured by the first camera 110 to the fourth camera 140, the management means 200 controls the first camera 110 to the fourth camera 140 to photograph the panoramic surveillance region, (140), and generates a final panoramic image for the image in the surveillance region photographed by the adjusted first camera (110) to the fourth camera (140).

영역 설정부(210)는 제1 카메라(110) 내지 제4 카메라(140)에 의해 촬영된 초기 파노라마 영상으로부터 파노라마 감시영역을 설정한다. 디스플레이부(300)에 표시된 초기 파노라마 영상은 현재 감시영역을 확인할 수 있는 영상이다. 초기 파노라마 영상 촬영 시에 카메라 조정부(220)는 제1 카메라(110) 내지 제4 카메라(140)를 360도 최대 광각 모드로 설정할 수 있다. 도 2에는 제1 카메라(110) 내지 제4 카메라(140)에 의해 촬영되어 디스플레이부(300)에 표시되는 초기 파노라마 영상이 도시되어 있다. 영역 설정부(210)는 디스플레이부(300)에 표시되는 초기 파노라마 영상 중 임의의 파노라마 감시영역(310)을 설정한다. 파노라마 감시영역(310) 설정 시에, 마우스 및 기타 입력 장치를 이용하여 원하는 파노라마 감시영역(310)을 설정할 수 있다. 이때 제1 카메라(110) 내지 제4 카메라(140)의 최소 화각 보다 적은 영역은 파노라마 감시영역(310)으로 설정할 수 없다.The area setting unit 210 sets the panorama surveillance area from the initial panorama image photographed by the first camera 110 to the fourth camera 140. [ The initial panorama image displayed on the display unit 300 is an image that can confirm the current surveillance area. The camera adjusting unit 220 may set the first camera 110 to the fourth camera 140 to the maximum wide angle mode of 360 degrees at the time of shooting the initial panoramic image. FIG. 2 shows an initial panorama image taken by the first camera 110 to the fourth camera 140 and displayed on the display unit 300. The area setting unit 210 sets an arbitrary panorama monitoring area 310 among the initial panorama images displayed on the display unit 300. When setting the panoramic surveillance region 310, a desired panoramic surveillance region 310 can be set using a mouse and other input devices. At this time, the area smaller than the minimum angle of view of the first camera 110 to the fourth camera 140 can not be set as the panoramic monitoring area 310. [

카메라 조정부(220)는 설정된 파노라마 감시영역(310)에 맞게 제1 카메라(110) 내지 제4 카메라(140)의 줌(zoom) 및 화각을 조정한다. 제1 카메라(110) 내지 제4 카메라(140)에 대한 개별 이동에 대하여, 카메라 조정부(220)는 개별 카메라 간 일정 부분의 화각이 겹칠 수 있도록 PTZ(pan, tilt, zoom)을 조절한다. 이때 카메라 조정부(220)는 제1 카메라(110) 내지 제4 카메라(140)를 좌우 또는 상하로 이동시킬 수도 있다.The camera adjusting unit 220 adjusts the zoom and angle of view of the first camera 110 to the fourth camera 140 according to the set panorama monitoring area 310. [ For each movement of the first camera 110 to the fourth camera 140, the camera adjusting unit 220 adjusts the PTZ (pan, tilt, zoom) so that the angle of view of a certain portion of the individual cameras can overlap. At this time, the camera adjusting unit 220 may move the first camera 110 to the fourth camera 140 left or right or up and down.

도 3은 설정된 파노라마 감시영역(310)에 맞게 제1 카메라(110) 내지 제4 카메라(140)의 줌(zoom) 및 화각이 조정된 후에, 각 카메라가 촬영한 파노라마 감시영역(310)을 보이는 도면이다. 도 3a는 제1 카메라(110)가 촬영한 파노라마 감시영역(311)을, 도 3b는 제2 카메라(120)가 촬영한 파노라마 감시영역(312)을, 도 3c는 제3 카메라(130)가 촬영한 파노라마 감시영역(313)을, 도 3d는 제4 카메라(140)가 촬영한 파노라마 감시영역(314)을 나타낸다.3 is a view showing a panoramic monitoring area 310 taken by each camera after the zoom and viewing angles of the first camera 110 to the fourth camera 140 are adjusted according to the set panorama monitoring area 310. [ FIG. 3A shows a panoramic surveillance region 311 taken by the first camera 110. FIG. 3B shows a panoramic surveillance region 312 taken by the second camera 120, FIG. 3C shows a panoramic surveillance region 312 taken by the third camera 130 FIG. 3D shows a panoramic surveillance region 314 taken by the fourth camera 140. FIG.

파노라마 초기화부(230)는 파노라마 감시영역(310:311-314)을 촬영한 각 영상의 픽셀이 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하기 위해 제1 카메라(110) 내지 제4 카메라(140)의 캘리브레이션 및 초기화를 수행한다. The panorama initialization unit 230 initializes the first camera 110 to the first camera 110 in order to generate map data on the positions of the pixels of each image photographed in the panorama monitoring area 310 (311-314) 4 The camera 140 is calibrated and initialized.

이를 상세히 설명하면, 파노라마 초기화부(230)는 파노라마 감시영역(310:311-314)을 촬영한 영상들 중 기준 영상 및 대상 영상의 특징점을 추출한다. 여기서 기준 영상 및 대상 영상을 영상의 정합 동작을 수행할 두 개의 영상 즉, 제1 카메라(110)가 촬영한 파노라마 감시영역(311) 영상 및 제2 카메라(120)가 촬영한 감시영역(312) 영상과, 제2 카메라(120)가 촬영한 파노라마 감시영역(312) 영상 및 제3 카메라(130)가 촬영한 감시영역(313) 영상과, 제3 카메라(130)가 촬영한 파노라마 감시영역(313) 영상 및 제4 카메라(140)가 촬영한 감시영역(314) 영상으로부터 특징점들을 추출한다. 특징점 추출 시에, 예를 들어, SIFT(scale invariant feature transform), SURF(speeded up robust feature), MSER(maximum stable extremal region), Harris Laplace, GLOH(gradient location and orientation histogram) 등과 같은 알고리즘을 이용하여 특징점을 추출할 수 있다. 여기서, 추출한 특징점이 일정 개수 이하인 경우, 특징점 추출을 한 번 이상 더 수행할 수 있으며, 사용자가 원하는 경우, 추출한 특징점이 일정 개수 이하이더라도 특징점 추출을 종료할 수 있다. 또한 추출한 특징점이 일정 개수 이하인 경우, 사용자가 직접 대응되는 특징점을 추출할 수 있다. 더 나아가 실내가 아닌 실외의 경우 환경이 열악하여 특징점을 추출할 수 없는 경우가 발생하는데, 이와 같은 경우 사용자가 수동으로 특징점을 추출할 수 있다.In detail, the panorama initialization unit 230 extracts feature points of the reference image and the target image among the images of the panorama monitoring region 310 (311-314). In this case, the reference image and the target image are combined into two images for performing the matching operation of the image, that is, the panoramic monitoring region 311 captured by the first camera 110 and the monitoring region 312 captured by the second camera 120. [ An image of the panoramic surveillance region 312 taken by the second camera 120 and an image of the surveillance region 313 taken by the third camera 130 and a panoramic surveillance region 313) and the image of the surveillance region 314 captured by the fourth camera 140. Algorithms such as a scale invariant feature transform (SIFT), a speeded up robust feature (SURF), a maximum stable extremal region (MSER), a Harris Laplace, a gradient location and orientation histogram Feature points can be extracted. Here, if the extracted feature points are equal to or less than a certain number, the feature point extraction can be performed one or more times, and if the user desires, the feature point extraction can be terminated even if the extracted feature points are less than a certain number. Also, when the extracted feature points are equal to or less than the predetermined number, the user can directly extract the corresponding feature points. Furthermore, in the case of outdoor rather than indoors, the environment is poor and the feature points can not be extracted. In such a case, the user can manually extract the feature points.

파노라마 초기화부(230)는 대상 영상의 특징점들 중 기준 영상의 특징점과 가장 유사한 특징점을 선택하고, 선택된 기준 영상의 특징점과 대상 영상의 특징점을 정합 쌍으로 결정한다. 여기서, 기준 영상 내의 어느 하나의 특징점과 가장 유사한 대상 영상의 특징점을 선택하고 정합쌍으로 결정하는 동작은 정합 동작(matching operation)이라 정해질 수 있다. 파노라마 초기화부(230)는 기준 영상 내의 특징점들에 대하여 정합 동작들을 반복적으로 수행한다. The panorama initialization unit 230 selects feature points most similar to the feature points of the reference image among the feature points of the target image, and determines the feature points of the selected reference image and the feature points of the target image as matching pairs. Here, the operation of selecting the feature points of the object image most similar to any one of the feature points in the reference image and determining the matching pair may be defined as a matching operation. The panorama initialization unit 230 repeatedly performs matching operations on the minutiae in the reference image.

도 4에는 제1 카메라(110) 내지 제4 카메라(140) 촬영한 파노라마 감시영역(310:311-314)의 영상 정합을 설명하는 도면이다. 도 4a는 기준 영상으로써의 제1 카메라(110)가 촬영한 파노라마 감시영역(311) 영상과 대상 영상으로써의 제2 카메라(120)가 촬영한 파노라마 감시영역(312) 영상의 영상 정합 부분 및 추출된 특징점을 도시하고 있다. 도 4b는 기준 영상으로써의 제2 카메라(120)가 촬영한 파노라마 감시영역(312) 영상과 대상 영상으로써의 제3 카메라(130)가 촬영한 파노라마 감시영역(313) 영상의 영상 정합 부분 및 추출된 특징점을 도시하고 있다. 도 4c는 기준 영상으로써의 제3 카메라(130)가 촬영한 파노라마 감시영역(313) 영상과 대상 영상으로써의 제4 카메라(140)가 촬영한 파노라마 감시영역(314) 영상의 영상 정합 부분 및 추출된 특징점을 도시하고 있다.FIG. 4 is a view for explaining the image registration of the panoramic surveillance region 310 (311-314) photographed by the first camera 110 to the fourth camera 140. FIG. 4A shows an image matching portion and an extraction portion of an image of the panoramic monitoring region 311 captured by the first camera 110 as a reference image and an image of the panorama monitoring region 312 captured by the second camera 120 as a target image, Respectively. FIG. 4B is a diagram showing an image matching portion and an image extracting portion of an image of the panoramic surveillance region 313 captured by the third camera 130 as an image of the panoramic surveillance region 312 captured by the second camera 120 as a reference image, Respectively. 4C shows an image matching portion of the panorama monitoring region 313 captured by the third camera 130 as a reference image and an image matching portion of the panorama monitoring region 314 captured by the fourth camera 140 as a target image, Respectively.

파노라마 초기화부(230)는 특징점 매칭쌍들에 대한 정보(매칭쌍들의 좌표 정보)를 수신하여 유사도 연산을 수행 즉, 호모그래피 매트릭스(homography matrix)를 생성을 수행하고, 유사도 연산결과를 기초로 기준 영상 내의 선택된 특징점과 대상 영상 내의 특징점을 정합한다.The panorama initialization unit 230 receives the information about the pair of minutia matching points (coordinate information of matching pairs), performs a similarity calculation, i.e., generates a homography matrix, and generates a homography matrix based on the similarity calculation result Matches the selected feature points in the image with the feature points in the target image.

파노라마 초기화부(230)는 정합 전 영상의 픽셀 위치가 정합 후, 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하여 저장한다. 여기서, 정합 후 영상은 최종 파노라마 영상일 수 있으며, 다시 말해 정합 전 영상의 픽셀 위치가 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하고 저장한다. 즉, 최종 파노라마 영상은 이 맵 데이터를 이용하여 생성된다. 이와 같이 맵 데이터를 생성하여 저장해 놓으면, 이후 영상에 대해서는 특징점 추출 및 정합 과정이 필요 없이 맵 데이터만을 가지고 파노라마 영상 생성이 가능해 진다.The panorama initialization unit 230 generates and stores map data indicating the position of the pixel in the image after matching the pixel position of the pre-registration image. Here, the post-matching image may be the final panorama image, in other words, map data on the position of the pixel of the pre-registration image in the final panorama image is generated and stored. That is, the final panorama image is generated using this map data. When the map data is generated and stored, the panorama image can be generated only with the map data without the minutiae extraction and registration process for the subsequent images.

블렌딩 처리부(240)는 맵 데이터가 적용된 파노라마 감시영역 영상들을 블렌딩 처리한다. 영상 정합 시에 두 영상에서 서로 겹쳐지는 부분이 존재하더라도 영상을 획득한 환경의 차이로 컬러 정보가 급격하게 변할 수 있다. 이때 겹친 부분의 색 블렌딩을 통하여 두 영상이 원할히 이어질 수 있도록 한다. 예를 들어 도 5에서와 같이 A에서 C까지 폭을 가지는 제1 카메라(110)가 촬영한 파노라마 감시영역(311) 영상과 B에서 D까지의 폭을 가지는 제2 카메라(120)가 촬영한 파노라마 감시영역(312) 영상을 연결하는 과정에서 두 영상이 겹치는 부분 B-C에 대하여 양쪽 영상에 리니어한(linear) 가중치 W1(x) 및 W2(x)를 주어 두 영상이 부드럽게 이어질 수 있도록 한다. 마찬가지로 블렌딩 처리부(240)는 제2 카메라(120)가 촬영한 파노라마 감시영역(312) 영상과 제3 카메라(130)가 촬영한 파노라마 감시영역(313) 영상을 연결하는 과정에서, 또한 제3 카메라(130)가 촬영한 파노라마 감시영역(313) 영상과 제4 카메라(140)가 촬영한 파노라마 감시영역(314) 영상을 연결하는 과정에서, 두 영상이 겹치는 부분에 대하여 양쪽 영상에 리니어한(linear) 가중치를 주어 두 영상이 부드럽게 이어질 수 있도록 한다. 여기서 속도 및 화질을 위해 Feathering, 멀티 밴드(multi band) 블렌딩, 그라디언트(gradient) 블랜딩 등 다양한 블렌딩 방법이 사용될 수 있다.The blending processor 240 blends the panorama surveillance region images to which the map data is applied. Even if there are overlapping parts in two images at the time of image matching, the color information may be abruptly changed due to differences in the environment in which the images are acquired. At this time, color blending of overlapping portions allows two images to be connected smoothly. For example, as shown in FIG. 5, a panorama surveillance region 311 captured by a first camera 110 having a width from A to C, and a panorama captured by a second camera 120 having a width from B to D In the process of connecting the surveillance region 312, linear weights W 1 (x) and W 2 (x) are given to the two images overlapping each other so that the two images can be smoothly connected. Similarly, in the process of connecting the image of the panoramic surveillance region 312 photographed by the second camera 120 and the image of the panoramic surveillance region 313 photographed by the third camera 130, In the process of connecting the image of the panoramic surveillance region 313 captured by the first camera 130 to the image of the panoramic surveillance region 314 captured by the fourth camera 140, ) Weights are given so that two images can be smoothly connected. Here, various blending methods such as Feathering, multi-band blending, and gradient blending can be used for speed and image quality.

파노라마 영상 생성부(250)는 제1 카메라(110) 내지 제4 카메라(140) 촬영한 파노라마 감시영역의 영상에 맵 데이터를 적용하고, 블렌딩 처리를 완료한 최종 파노라마 영상을 생성한다. 도 6에는 파노라마 설정영역에 대한 최종 파노라마 영상이 도시되어 있다.The panorama image generation unit 250 applies map data to the images of the panorama surveillance region photographed by the first camera 110 to the fourth camera 140 and generates a final panorama image in which the blending process is completed. FIG. 6 shows a final panorama image for the panorama setting area.

이와 같이 방사상으로 구비된 제1 카메라(110) 내지 제4 카메라(140) 및 맵 데이터를 이용하여 사각지대가 없고, 실시간으로 파노라마 영상을 생성할 수 있다By using the first camera 110 to the fourth camera 140 and the map data, which are radially provided, panorama images can be generated in real time without blind spots

이어서, 도 7 및 도 8을 참조하여 본 발명의 일 실시 예에 따른 파노라마 영상 생성 방법을 설명하기로 한다. 본 발명에 따른 파노라마 영상 생성 방법은 도 1에 도시된 바와 같이 주변 구성 요소들의 도움을 받아 카메라(100), 관리수단(200) 및 디스플레이부(300)에서 수행될 수 있다. 이하의 설명에서, 도 1 내지 도 6에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.Next, a panoramic image generation method according to an embodiment of the present invention will be described with reference to FIGS. 7 and 8. FIG. The panoramic image generation method according to the present invention can be performed in the camera 100, the management unit 200, and the display unit 300 with the help of peripheral components as shown in FIG. In the following description, the description of the parts overlapping with the description of Figs. 1 to 6 will be omitted.

도 7은 본 발명의 일 실시 예에 따른 파노라마 영상 생성 방법의 동작을 보이는 흐름도 이다.7 is a flowchart illustrating an operation of the panoramic image generation method according to an exemplary embodiment of the present invention.

도 7을 참조하면 관리수단(200)은 방사상으로 구비된 제1 카메라(110) 내지 제4 카메라(140)로부터 촬영된 초기 파노라마 영상을 디스플레이부(300)에 디스플레이 하는 단계(S100)를 수행한다. 여기서, 초기 파노라마 영상은 감시 지역을 우선 확인하기 위한 영상일 수 있다.Referring to FIG. 7, the management unit 200 performs a step S100 of displaying an initial panorama image photographed from the first camera 110 to the fourth camera 140 provided on the display unit 300 in a radial manner . Here, the initial panoramic image may be an image for confirming the surveillance area first.

초기 파노라마 영상을 디스플레이부(300)에 디스플레이 되면, 관리수단(200)은 초기 파노라마 영상으로부터 임의의 파노라마 감시영역을 설정하는 단계(S200)를 수행한다. 파노라마 감시영역 설정 시에, 마우스 및 기타 입력 장치를 이용하여 원하는 파노라마 감시영역을 설정할 수 있다. 이때 제1 카메라(110) 내지 제4 카메라(140)의 최소 화각 보다 적은 영역은 파노라마 감시영역(310)으로 설정할 수 없다.When the initial panorama image is displayed on the display unit 300, the management unit 200 performs a step S200 of setting an arbitrary panorama surveillance region from the initial panorama image. When setting the panorama surveillance area, a desired panorama surveillance area can be set using a mouse and other input devices. At this time, the area smaller than the minimum angle of view of the first camera 110 to the fourth camera 140 can not be set as the panoramic monitoring area 310. [

파노라마 감시영역 설정이 완료되면, 관리수단(200)은 설정된 파노라마 감시영역에 맞게 제1 카메라(110) 내지 제4 카메라(140)의 줌(zoom) 및 화각을 조정하는 단계(S300)를 수행한다. 제1 카메라(110) 내지 제4 카메라(140)에 대한 개별 이동에 대하여, 카메라 조정부(220)는 개별 카메라 간 일정 부분의 화각이 겹칠 수 있도록 PTZ(pan, tilt, zoom)을 조절한다. 이때 카메라 조정부(220)는 제1 카메라(110) 내지 제4 카메라(140)를 좌우 또는 상하로 이동시킬 수도 있다.When the setting of the panorama surveillance area is completed, the management unit 200 performs a step S300 of adjusting the zoom and angle of view of the first camera 110 to the fourth camera 140 according to the set panorama surveillance area . For each movement of the first camera 110 to the fourth camera 140, the camera adjusting unit 220 adjusts the PTZ (pan, tilt, zoom) so that the angle of view of a certain portion of the individual cameras can overlap. At this time, the camera adjusting unit 220 may move the first camera 110 to the fourth camera 140 left or right or up and down.

제1 카메라(110) 내지 제4 카메라(140)의 조정이 완료되면, 관리수단(200)은 제1 카메라(110) 내지 제4 카메라(140) 각각이 촬영한 파노라마 감시영역 영상의 픽셀이 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하는 단계(S400)를 수행한다. 도 8에는 맵 데이터 생성 방법의 상세도가 도시되어 있다.When the adjustment of the first camera 110 to the fourth camera 140 is completed, the management unit 200 determines whether the pixels of the panoramic surveillance region images photographed by the first camera 110 to the fourth camera 140 are final A step S400 of generating map data on which position corresponds to the panorama image is performed. Fig. 8 shows a detailed view of the map data generating method.

도 8을 참조하면, 관리수단(200)은 제1 카메라(110) 내지 제4 카메라(140)가 촬영한 파노라마 감시영역 영상들 중 기준 영상 및 대상 영상의 특징점을 추출하는 단계(S410)를 수행한다. 여기서 기준 영상 및 대상 영상을 영상의 정합 동작을 수행할 두 개의 영상 즉, 제1 카메라(110)가 촬영한 파노라마 감시영역) 영상 및 제2 카메라(120)가 촬영한 감시영역 영상과, 제2 카메라(120)가 촬영한 파노라마 감시영역 영상 및 제3 카메라(130)가 촬영한 감시영역 영상과, 제3 카메라(130)가 촬영한 파노라마 감시영역 영상 및 제4 카메라(140)가 촬영한 감시영역 영상으로부터 특징점들을 추출한다. Referring to FIG. 8, the managing unit 200 performs a step S410 of extracting feature points of the reference image and the target image among the panoramic surveillance region images taken by the first camera 110 to the fourth camera 140 do. Here, the reference image and the target image are divided into two images to be subjected to the matching operation of the image, that is, a panoramic surveillance region captured by the first camera 110, a surveillance region image captured by the second camera 120, The panoramic surveillance region image photographed by the camera 120, the surveillance region image photographed by the third camera 130, the panoramic surveillance region image photographed by the third camera 130, Feature points are extracted from the region image.

이어서 관리수단(200)은 추출한 특징점이 일정 개수 이상인가를 판단하는 단계(S420)를 수행한다.Then, the managing unit 200 performs a step S420 of determining whether the extracted feature points are equal to or more than a predetermined number.

추출한 특징점이 일정 개수 이하인 경우, 관리수단(200)은 특징점 추출을 한 번 이상 수행할 수 있으며, 그래도 부족한 경우 사용자가 직접 대응되는 특징점을 수동으로 추출하는 단계(S430)를 수행한다. 여기서, 사용자가 원하는 경우, 추출한 특징점이 일정 개수 이하이더라도 특징점 추출을 종료할 수 있다. 더 나아가 실내가 아닌 실외의 경우 환경이 열악하여 특징점을 추출할 수 없는 경우가 발생하는데, 이와 같은 경우 사용자가 수동으로 특징점을 추출할 수 있다.If the extracted feature points are equal to or less than the predetermined number, the management means 200 can perform the feature point extraction more than once, and if it is insufficient, the user directly extracts the corresponding feature points (S430). Here, if the user desires, the feature point extraction can be terminated even if the extracted feature points are less than a certain number. Furthermore, in the case of outdoor rather than indoors, the environment is poor and the feature points can not be extracted. In such a case, the user can manually extract the feature points.

일정 개수 이상의 특징점 추출이 완료되면, 관리수단(200)은 대상 영상의 특징점들 중 기준 영상의 특징점과 가장 유사한 특징점을 선택하고, 선택된 기준 영상의 특징점과 대상 영상의 특징점을 정합 쌍으로 결정하고, 특징점 매칭쌍들에 대한 정보(매칭쌍들의 좌표 정보)를 수신하여 유사도 연산을 수행 즉, 호모그래피 매트릭스(homography matrix)를 생성을 수행하고, 유사도 연산결과를 기초로 기준 영상 내의 선택된 특징점과 대상 영상 내의 특징점을 정합하는 단계(S440)를 수행한다.  When a predetermined number of feature points are extracted, the management unit 200 selects feature points most similar to the feature points of the reference image among the feature points of the target image, determines the feature points of the selected reference image and feature points of the target image as matching pairs, (Coordinate information of matching pairs) of the feature point matching pairs to perform a similarity calculation, that is, a homography matrix is generated, and based on the result of the similarity calculation, (S440).

특징점 정합이 완료되면, 관리수단(200)은 정합 전 영상의 픽셀 위치가 정합 후, 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하여 저장하는 단계(S450)를 수행한다. 여기서, 정합 후 영상은 최종 파노라마 영상일 수 있으며, 다시 말해 정합 전 영상의 픽셀 위치가 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성하고 저장한다. 즉, 최종 파노라마 영상은 이 맵 데이터를 이용하여 생성된다. 이와 같이 맵 데이터를 생성하여 저장해 놓으면, 이후 영상에 대해서는 특징점 추출 및 정합 과정이 필요 없이 맵 데이터만을 가지고 파노라마 영상 생성이 가능해 진다.After the matching of the minutiae points is completed, the managing unit 200 generates and stores map data on the position of the pixel in the image after matching the pixel positions of the pre-matching image (S450). Here, the post-matching image may be the final panorama image, in other words, map data on the position of the pixel of the pre-registration image in the final panorama image is generated and stored. That is, the final panorama image is generated using this map data. When the map data is generated and stored, the panorama image can be generated only with the map data without the minutiae extraction and registration process for the subsequent images.

도 7로 돌아와서, 맵 데이터 생성 및 저장이 완료되면, 관리수단(200)은 맵 데이터가 적용된 파노라마 감시영역 영상들을 블렌딩 처리하는 단계(S500)를 수행한다. 영상 정합 시에 두 영상에서 서로 겹쳐지는 부분이 존재하더라도 영상을 획득한 환경의 차이로 컬러 정보가 급격하게 변할 수 있다. 이때 겹친 부분의 색 블렌딩을 통하여 두 영상이 원할히 이어질 수 있도록 한다. 여기서 속도 및 화질을 위해 Feathering, 멀티 밴드(multi band) 블렌딩, 그라디언트(gradient) 블랜딩 등 다양한 블렌딩 방법이 사용될 수 있다.Referring back to FIG. 7, when map data creation and storage are completed, the management unit 200 performs a blending process of the panorama surveillance region images to which the map data is applied (S500). Even if there are overlapping parts in two images at the time of image matching, the color information may be abruptly changed due to differences in the environment in which the images are acquired. At this time, color blending of overlapping portions allows two images to be connected smoothly. Here, various blending methods such as Feathering, multi-band blending, and gradient blending can be used for speed and image quality.

블렌딩 처리가 완료되면, 관리수단(200)은 제1 카메라(110) 내지 제4 카메라(140) 촬영한 파노라마 감시영역의 영상에 맵 데이터를 적용하고, 블렌딩 처리를 완료한 최종 파노라마 영상을 생성하는 단계(S600)를 수행한다.When the blending process is completed, the management unit 200 applies the map data to the images of the panorama surveillance region photographed by the first camera 110 to the fourth camera 140, and generates the final panorama image that has been subjected to the blending process Step S600 is performed.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the present invention can be embodied in computer readable code on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also a carrier wave (for example, transmission via the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.The present invention has been described above with reference to preferred embodiments. It will be understood by those skilled in the art that the present invention may be embodied in various other forms without departing from the spirit or essential characteristics thereof. Therefore, the above-described embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100: 카메라
110-140: 제1-제4 카메라
200: 관리 수단
210: 영역 설정부
220: 카메라 조정부
230: 파노라마 초기화부
240: 블렌딩 처리부
250: 파노라마 영상 생성부
300: 디스플레이부100: camera
110-140: 1st to 4th cameras
200: management means
210: area setting unit
220:
230: panorama initialization unit
240: Blending processor
250: panoramic image generation unit
300:

Claims (5)

방사상으로 구비되고, 줌 변화가 동기화되어 동시에 동일 레벨의 줌으로 조절되는 복수의 카메라들; 및
상기 줌 조절된 복수의 카메라들의 화각이 일정 비율로 겹치도록 상기 복수의 카메라들의 위치를 변경하는 조정부;를 포함하는 파노라마 영상 생성 장치.A plurality of cameras provided radially, the zoom changes being synchronized and simultaneously adjusted to the same level of zoom; And
And an adjustment unit for changing a position of the plurality of cameras so that the angle of view of the plurality of zoom-controlled cameras overlap at a predetermined ratio. 제1항에 있어서,
상기 조정부에 의해 360도 최대 광각 모드로 설정된 상기 복수의 카메라들이 촬영한 복수의 영상들을 기초로 생성된 초기 파노라마 영상으로부터 파노라마 감시영역 설정을 수신하는 영역설정부;를 더 포함하는 파노라마 영상 생성 장치.The method according to claim 1,
And an area setting unit for receiving the panorama surveillance area setting from the initial panorama image generated based on the plurality of images taken by the plurality of cameras set to the 360-degree maximum wide-angle mode by the adjustment unit. 제2항에 있어서,
상기 조정부는, 상기 파노라마 감시영역을 촬영하도록 상기 복수의 카메라들의 줌 및 화각을 다시 조정하는, 파노라마 영상 생성 장치.3. The method of claim 2,
Wherein the adjustment unit re-adjusts the zoom and angle of view of the plurality of cameras so as to photograph the panoramic surveillance region. 제3항에 있어서,
상기 복수의 카메라들이 상기 파노라마 감시영역을 촬영하여 획득한 복수의 파노라마 감시 영상들 각각의 픽셀 위치가 상기 복수의 파노라마 감시 영상들을 정합하여 생성되는 최종 파노라마 영상에서 어느 위치에 해당하는지에 대한 맵 데이터를 생성 및 저장하는 파노라마 초기화부; 및
상기 복수의 파노라마 감시 영상들에 상기 맵 데이터를 적용하여 최종 파노라마 영상을 생성하는 파노라마 영상 생성부;를 더 포함하는 것을 특징으로 하는 파노라마 영상 생성 장치.The method of claim 3,
Wherein the plurality of cameras capture map data of a position of each of the plurality of panorama monitoring images obtained by photographing the panorama monitoring area in a final panorama image generated by matching the plurality of panorama monitoring images, A panorama initialization unit for generating and storing panorama images; And
Further comprising: a panorama image generation unit generating the final panorama image by applying the map data to the plurality of panorama monitoring images. 제4항에 있어서,
상기 맵 데이터가 적용된 상기 파노라마 감시영역 영상들을 블렌딩 처리하는 블렌딩 처리부;를 더 포함하는 것을 특징으로 하는 파노라마 영상 생성 장치.5. The method of claim 4,
And a blending processor for blending the panorama surveillance region images to which the map data is applied.
KR1020190062445A 2019-05-28 2019-05-28 Apparatus and method for generating panorama image KR102138333B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190062445A KR102138333B1 (en) 2019-05-28 2019-05-28 Apparatus and method for generating panorama image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190062445A KR102138333B1 (en) 2019-05-28 2019-05-28 Apparatus and method for generating panorama image

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130025260A Division KR20140110624A (en) 2013-03-08 2013-03-08 Apparatus and method for generating panorama image

Publications (2)

Publication Number Publication Date
KR20190064540A true KR20190064540A (en) 2019-06-10
KR102138333B1 KR102138333B1 (en) 2020-07-27

Family

ID=66848848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190062445A KR102138333B1 (en) 2019-05-28 2019-05-28 Apparatus and method for generating panorama image

Country Status (1)

Country Link
KR (1) KR102138333B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102339825B1 (en) * 2021-08-11 2021-12-16 한화시스템(주) Device for situation awareness and method for stitching image thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552326B1 (en) 2023-01-16 2023-07-06 (주)글로벌시스템스 A making method of big landscape photographs using multiple image panoramas about an area of surveillance

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050103597A (en) * 2004-04-26 2005-11-01 주식회사 일리시스 Monitor system use panorama image and control method the system
KR20110041890A (en) * 2009-10-16 2011-04-22 삼성전기주식회사 Panorama camera system mixed stereo
KR20120063858A (en) * 2010-12-08 2012-06-18 한국전자통신연구원 Image registration device and image registration method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050103597A (en) * 2004-04-26 2005-11-01 주식회사 일리시스 Monitor system use panorama image and control method the system
KR20110041890A (en) * 2009-10-16 2011-04-22 삼성전기주식회사 Panorama camera system mixed stereo
KR20120063858A (en) * 2010-12-08 2012-06-18 한국전자통신연구원 Image registration device and image registration method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102339825B1 (en) * 2021-08-11 2021-12-16 한화시스템(주) Device for situation awareness and method for stitching image thereof

Also Published As

Publication number Publication date
KR102138333B1 (en) 2020-07-27

Similar Documents

Publication Publication Date Title
CN110730296B (en) Image processing apparatus, image processing method, and computer readable medium
JP5740884B2 (en) AR navigation for repeated shooting and system, method and program for difference extraction
US20160286138A1 (en) Apparatus and method for stitching panoramaic video
KR20150050172A (en) Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object
US20090086022A1 (en) Method and device for consistent region of interest
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
JP2006262030A (en) Angle of view adjusting apparatus, camera system, and angle of view adjusting method
WO2021168804A1 (en) Image processing method, image processing apparatus and image processing system
EP3629570A2 (en) Image capturing apparatus and image recording method
CN110278366B (en) Panoramic image blurring method, terminal and computer readable storage medium
KR20190064540A (en) Apparatus and method for generating panorama image
JP2003179800A (en) Device for generating multi-viewpoint image, image processor, method and computer program
WO2021200184A1 (en) Information processing device, information processing method, and program
KR20140110624A (en) Apparatus and method for generating panorama image
CN114466143B (en) Shooting angle calibration method and device, terminal equipment and storage medium
CN110796690B (en) Image matching method and image matching device
US11166005B2 (en) Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters
KR100736565B1 (en) Method of taking a panorama image and mobile communication terminal thereof
RU2716896C1 (en) Method for automatic adjustment of spaced-apart camera system for forming panoramic image
WO2023189079A1 (en) Image processing device, image processing method, and program
JPH11275393A (en) Image input device, image input method and recording medium
JP5582924B2 (en) Image processing apparatus, image processing method, and program
US11900635B2 (en) Organic camera-pose mapping
KR20190137386A (en) A focus-context display techinique and apparatus using a mobile device with a dual camera
CN117255247B (en) Method and device for linkage of panoramic camera and detail dome camera

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant