KR20170053256A - monitoring camera - Google Patents

monitoring camera Download PDF

Info

Publication number
KR20170053256A
KR20170053256A KR1020150155520A KR20150155520A KR20170053256A KR 20170053256 A KR20170053256 A KR 20170053256A KR 1020150155520 A KR1020150155520 A KR 1020150155520A KR 20150155520 A KR20150155520 A KR 20150155520A KR 20170053256 A KR20170053256 A KR 20170053256A
Authority
KR
South Korea
Prior art keywords
surveillance camera
camera
camera modules
tilting
panning
Prior art date
Application number
KR1020150155520A
Other languages
Korean (ko)
Other versions
KR102450363B1 (en
Inventor
오재윤
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020150155520A priority Critical patent/KR102450363B1/en
Publication of KR20170053256A publication Critical patent/KR20170053256A/en
Application granted granted Critical
Publication of KR102450363B1 publication Critical patent/KR102450363B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Disclosed is a surveillance camera which can monitor a wider area even without using a wide-angle lens such as a fish eye lens. The surveillance camera comprises: camera modules; a panning-tilting part; an image connection part; and a main control part. The panning-tilting part performs panning and tilting on each of the camera modules. The image connection part connects images from the camera modules. The main control part controls the panning-tilting part and the image connection part.

Description

감시 카메라{monitoring camera}Monitoring camera {monitoring camera}

본 발명은, 감시 카메라에 관한 것으로서, 보다 상세하게는, 패닝(panning) 및 틸팅(tilting)을 수행하는 감시 카메라에 관한 것이다.The present invention relates to a surveillance camera, and more particularly, to a surveillance camera that performs panning and tilting.

패닝(panning) 및 틸팅(tilting)을 수행하는 감시 카메라에 있어서, 보다 넓은 영역을 감시하기 위하여 어안(魚眼) 렌즈와 같은 광각 렌즈가 채용된다. 이 경우, 다음과 같은 문제점들이 있다.In a surveillance camera that performs panning and tilting, a wide-angle lens such as a fish-eye lens is employed to monitor a wider area. In this case, there are the following problems.

첫째, 영상의 주변 영역에서 왜곡(distortion), 수차(aberration), 또는 광량저하(vignetting)이 발생한다.First, distortion, aberration, or vignetting occurs in the peripheral region of the image.

둘째, 고가의 광각 렌즈를 사용하므로, 감시 카메라의 제조 비용이 커진다. Second, since the expensive wide-angle lens is used, the manufacturing cost of the surveillance camera is increased.

셋째, 화각에 대한 영상 센서의 해상도가 상대적으로 낮아진다.Third, the resolution of the image sensor relative to the angle of view is relatively low.

상기 배경 기술의 문제점은, 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 내용으로서, 반드시 본 발명의 출원 전에 일반 공중에게 공지된 내용이라 할 수는 없다.The problem of the background art is that the inventor holds it for the derivation of the present invention or acquires it from the derivation process of the present invention and is not necessarily known to the general public before the application of the present invention.

일본 공개특허 공보 제2011-048283호 (출원인 : 니콘 주식회사)Japanese Laid-Open Patent Publication No. 2011-048283 (filed by Nikon Corporation)

본 발명의 실시예는, 어안(魚眼) 렌즈와 같은 광각 렌즈를 사용하지 않음에도 불구하고 보다 넓은 영역을 감시할 수 있는 감시 카메라를 제공하고자 한다.An embodiment of the present invention seeks to provide a surveillance camera capable of monitoring a wider area even though a wide-angle lens such as a fish-eye lens is not used.

본 발명의 실시예의 감시 카메라는 카메라 모듈들, 패닝-틸팅부, 영상 연결부, 및 주 제어부를 포함한다.The surveillance camera of the embodiment of the present invention includes camera modules, a panning-tilting unit, an image connection unit, and a main control unit.

상기 패닝-틸팅부는 상기 카메라 모듈들 각각에 대하여 개별적으로 패닝(panning) 및 틸팅(tilting)을 수행한다.The panning-tilting unit performs panning and tilting separately for each of the camera modules.

상기 영상 연결부는 상기 카메라 모듈들로부터의 영상들을 연결한다.The video connection unit connects the images from the camera modules.

상기 주 제어부는 상기 패닝-틸팅부 및 상기 영상 연결부를 제어한다.The main control unit controls the panning-tilting unit and the video connection unit.

본 발명의 실시예의 상기 감시 카메라에 의하면, 카메라 모듈들 각각에 대하여 개별적으로 패닝(panning) 및 틸팅(tilting)이 수행되고, 상기 카메라 모듈들로부터의 영상들이 연결된다.According to the surveillance camera of the embodiment of the present invention, panning and tilting are individually performed for each camera module, and images from the camera modules are connected.

이에 따라, 어안(魚眼) 렌즈와 같은 광각 렌즈를 사용하지 않음에도 불구하고 보다 넓은 영역이 감시될 수 있다. 이에 따라 다음과 같은 효과들이 얻어질 수 있다.Accordingly, a wider area can be monitored even though a wide-angle lens such as a fish-eye lens is not used. Accordingly, the following effects can be obtained.

첫째, 영상의 주변 영역에서 왜곡(distortion), 수차(aberration), 또는 광량저하(vignetting)가 발생되지 않는다.First, no distortion, aberration, or vignetting occurs in the peripheral region of the image.

둘째, 저가의 일반 렌즈들이 사용될 수 있으므로, 감시 카메라의 제조 비용이 적어진다. Second, since low-cost general lenses can be used, the manufacturing cost of a surveillance camera is reduced.

셋째, 화각에 대한 영상 센서의 해상도가 상대적으로 높아진다.Third, the resolution of the image sensor relative to the angle of view is relatively high.

도 1은 본 발명의 실시예의 감시 카메라의 구성을 보여주는 도면이다.
도 2는 도 1의 카메라 모듈들이 배치되는 제1 예를 보여주는 도면이다.
도 3은 도 1의 카메라 모듈들이 배치되는 제2 예를 보여주는 도면이다.
도 4는 도 1의 카메라 모듈들이 배치되는 제3 예를 보여주는 도면이다.
도 5는 도 1의 카메라 모듈들이 배치되는 제4 예를 보여주는 도면이다.
도 6은 종래의 단일 카메라 모듈에 의한 감시 카메라를 설명하기 위한 도면이다.
도 7은 도 2의 단일 카메라 모듈들에 의한 감시 카메라를 설명하기 위한 도면이다.
도 8은 도 1의 주 제어부에 의하여 수행되는 스테레오 모드의 동작 알고리즘을 보여주는 흐름도이다.
도 9는 도 8의 단계 S809의 수행에 의하여 얻어지는 깊이(depth) 영상의 예를 보여주는 도면이다.
도 10은 도 1의 주 제어부에 의하여 수행되는 특정-피사체 집중 모드의 동작 알고리즘을 보여주는 흐름도이다.
도 11은 도 1의 주 제어부에 의하여 수행되는 흔들림 보정 모드의 동작 알고리즘을 보여주는 흐름도이다.
도 12는 흔들림에 대한 틸트 각도의 보정 동작을 설명하기 위한 도면이다.
도 13은 흔들림에 대한 팬 각도의 보정 동작을 설명하기 위한 도면이다.
도 14는 도 11의 단계 S1103의 알고리즘을 보여주는 흐름도이다.1 is a view showing a configuration of a surveillance camera according to an embodiment of the present invention.
FIG. 2 is a view showing a first example in which the camera modules of FIG. 1 are arranged.
FIG. 3 is a view showing a second example in which the camera modules of FIG. 1 are arranged.
4 is a view showing a third example in which the camera modules of FIG. 1 are arranged.
FIG. 5 is a view showing a fourth example in which the camera modules of FIG. 1 are arranged.
6 is a view for explaining a surveillance camera by a conventional single camera module.
7 is a view for explaining a surveillance camera by the single camera modules of FIG.
8 is a flowchart showing an operation algorithm of a stereo mode performed by the main control unit of FIG.
9 is a view showing an example of a depth image obtained by performing step S809 of FIG.
10 is a flowchart showing an operation algorithm of the specific-object concentrated mode performed by the main control unit of FIG.
11 is a flowchart showing an operation algorithm of the shake correction mode performed by the main controller of FIG.
12 is a diagram for explaining a correction operation of the tilt angle with respect to the shake.
13 is a diagram for explaining a correction operation of the fan angle with respect to the shake.
14 is a flowchart showing the algorithm of step S1103 of Fig.

하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다. The following description and accompanying drawings are for understanding the operation according to the present invention, and parts that can be easily implemented by those skilled in the art can be omitted.

또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.Furthermore, the specification and drawings are not intended to limit the present invention, and the scope of the present invention should be determined by the claims. The terms used in the present specification should be construed to mean the meanings and concepts consistent with the technical idea of the present invention in order to best express the present invention.

이하 첨부된 도면들을 참조하여 본 발명의 실시예가 상세히 설명된다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예의 감시 카메라의 구성을 보여준다. 도 2는 도 1의 카메라 모듈들(101)이 배치되는 제1 예를 보여준다. 도 3은 도 1의 카메라 모듈들(101)이 배치되는 제2 예를 보여준다. 도 4는 도 1의 카메라 모듈들(101)이 배치되는 제3 예를 보여준다. 도 5는 도 1의 카메라 모듈들(101)이 배치되는 제4 예를 보여준다. 도 1 내지 5를 참조하여 본 실시예의 감시 카메라를 설명하면 다음과 같다.1 shows a configuration of a surveillance camera according to an embodiment of the present invention. Fig. 2 shows a first example in which the camera modules 101 of Fig. 1 are arranged. Fig. 3 shows a second example in which the camera modules 101 of Fig. 1 are arranged. Fig. 4 shows a third example in which the camera modules 101 of Fig. 1 are arranged. Fig. 5 shows a fourth example in which the camera modules 101 of Fig. 1 are arranged. The surveillance camera of the present embodiment will be described with reference to FIGS. 1 to 5. FIG.

본 실시예의 감시 카메라는 카메라 모듈들(101, CA1 내지 CA4), 패닝-틸팅부(102), 영상 연결부(103), 주 제어부(104), 영상 압축부(105), 통신 인터페이스(106), 및 자이로 센서(107)를 포함한다. The surveillance camera of this embodiment includes camera modules 101, CA1 to CA4, a panning-tilting unit 102, an image connection unit 103, a main control unit 104, an image compression unit 105, a communication interface 106, And a gyro sensor 107.

패닝-틸팅부(102)는 카메라 모듈들(101, CA1 내지 CA4) 각각에 대하여 개별적으로 패닝(panning) 및 틸팅(tilting)을 수행한다. The panning-tilting unit 102 performs panning and tilting separately for each of the camera modules 101, CA1 to CA4.

영상 연결부(103)는 카메라 모듈들(101)로부터의 영상들(IM1,IM2)을 연결한다. The video connection unit 103 connects the images IM1 and IM2 from the camera modules 101. [

주 제어부(104)는 패닝-틸팅부(102), 영상 연결부(103), 및 영상 압축부(105)를 제어한다.The main control unit 104 controls the panning-tilting unit 102, the video connection unit 103, and the video compression unit 105.

패닝-틸팅부(102)는 움직임 제어부(102a), 제1 구동부(102b), 제2 구동부(102c), 제1 틸팅 모터(TM1), 제1 패닝 모터(PM1), 제2 틸팅 모터(TM2), 및 제2 패닝 모터(PM2)를 포함한다.The panning and tilting unit 102 includes a motion control unit 102a, a first driving unit 102b, a second driving unit 102c, a first tilting motor TM1, a first panning motor PM1, a second tilting motor TM2 ), And a second panning motor PM2.

주 제어부(104)에 의하여 동작하는 움직임 제어부(102a)는 제1 구동부(102b)와 제2 구동부(102c)의 동작을 제어한다. 제1 구동부(102b)는 제1 틸팅 모터(TM1)와 제1 패닝 모터(PM1)를 구동한다. 제2 구동부(102c)는 제2 틸팅 모터(TM2)와 제2 패닝 모터(PM2)를 구동한다. The motion control unit 102a operated by the main control unit 104 controls the operations of the first driving unit 102b and the second driving unit 102c. The first driving unit 102b drives the first tilting motor TM1 and the first panning motor PM1. The second driving unit 102c drives the second tilting motor TM2 and the second panning motor PM2.

영상 연결부(103)는 정합부(103m)와 스티칭부(103s)를 포함한다.The video connection unit 103 includes a matching unit 103m and a stitching unit 103s.

정합부(103m)는 카메라 모듈들(101)로부터의 영상들(IM1,IM2)이 연결될 수 있도록 영상들(IM1,IM2)의 화소 좌표들을 조정한다. 제1 영상(IM1)의 화소 좌표들이 적용될 경우, 제2 영상(IM2)의 화소 좌표들이 조정된다. 이와 반대로, 제2 영상(IM2)의 화소 좌표들이 적용될 경우, 제1 영상(IM1)의 화소 좌표들이 조정된다. The matching unit 103m adjusts the pixel coordinates of the images IM1 and IM2 so that the images IM1 and IM2 from the camera modules 101 can be connected. When the pixel coordinates of the first image IM1 are applied, the pixel coordinates of the second image IM2 are adjusted. Conversely, when the pixel coordinates of the second image IM2 are applied, the pixel coordinates of the first image IM1 are adjusted.

스티칭부(103s)는 조정된 화소 좌표들에 따라 영상들(IM1,IM2)을 연결한다. 여기에서, 중첩되는 경계 영역에서의 계조들이 적절히 조정된다.The stitching unit 103s connects the images IM1 and IM2 according to the adjusted pixel coordinates. Here, the grayscales in the overlapping boundary region are appropriately adjusted.

영상 압축부(105)는 영상 연결부(103)로부터의 연결 영상(IMc)을 압축하여 출력 영상을 생성한다.The image compression unit 105 compresses the connection image IMc from the image connection unit 103 to generate an output image.

통신 인터페이스(106)는 주 제어부(104)와 클라이언트 단말기 사이의 통신 신호들을 중계한다.The communication interface 106 relays communication signals between the main control unit 104 and the client terminal.

카메라 모듈들(101, CA1 내지 CA4)의 촬영 대상 영역들은 중첩되거나 인접된다. 주 제어부(104)는, 촬영 대상 영역들의 중첩 영역에서의 피사체들과 감시 카메라 사이의 거리를 구한다. 이에 대하여 도 8 내지 도 10을 참조하여 상세히 설명될 것이다.The photographing target areas of the camera modules 101, CA1 to CA4 are overlapped or adjoined. The main control unit 104 obtains the distance between the surveillance camera and the objects in the overlap area of the shooting target areas. This will be described in detail with reference to FIGS. 8 to 10. FIG.

자이로 센서(107)는 카메라 모듈들(101)에 대하여 현재의 틸트 각도 및 팬 각도에서 보정되어야 할 흔들림 틸트 각도 및 흔들림 팬 각도를 검출한다. 주 제어부(104)는, 자이로 센서(107)로부터의 흔들림 정보에 따라, 동영상 촬영 모드에서 감시 카메라의 흔들림으로 인한 틸트 각도 및 팬 각도의 변화를 보정한다. 하지만, 자이로 센서(107)가 없어도 주 제어부(104)는 흔들림 정보를 알 수 있다. 이에 대하여 도 11 내지 도 14를 참조하여 상세히 설명될 것이다.The gyro sensor 107 detects the shake tilt angle and the shake fan angle to be corrected with respect to the camera modules 101 at the current tilt angle and the pan angle. The main control unit 104 corrects the tilt angle and the change of the fan angle due to the shaking of the surveillance camera in the moving image shooting mode in accordance with the shake information from the gyro sensor 107. [ However, even if the gyro sensor 107 is not provided, the main control unit 104 can know the shaking information. This will be described in detail with reference to FIG. 11 to FIG.

도 6은 종래의 단일 카메라 모듈(CA)에 의한 감시 카메라를 설명하기 위한 도면이다. 도 7은 도 1의 카메라 모듈들CA1,CA2)에 의한 감시 카메라를 설명하기 위한 도면이다. 도 6 및 7에서 참조 부호 601과 701은 촬영 대상 영역들을, 602와 702는 촬영 영상들을, Pv는 수직 해상도를, 그리고 Ph는 수평 해상도를 각각 가리킨다.6 is a view for explaining a surveillance camera by a conventional single camera module (CA). 7 is a view for explaining a surveillance camera by the camera modules CA1 and CA2 of FIG. In FIGS. 6 and 7, reference numerals 601 and 701 denote areas to be photographed, reference numerals 602 and 702 denote photographed images, Pv denotes a vertical resolution, and Ph denotes a horizontal resolution.

도 6을 참조하면, 종래의 단일 카메라 모듈(CA)에 의한 감시 카메라의 최대 수평 화각은 Ah이다. 도 7을 참조하면, 본 발명의 실시예의 감시 카메라에 있어서, 두 개의 카메라 모듈들(CA1, CA2)의 촬영 대상 영역들은 수평 방향으로 중첩되거나 인접된다. 두 개의 카메라 모듈들(CA1, CA2)의 촬영 대상 영역들 각각의 최대 수평 화각은 Ah/2이다. 따라서, 도 6 및 도 7을 참조하면, 광각 렌즈가 채용된 종래의 감시 카메라에 비하여 본 발명의 실시예의 감시 카메라에서는 수평 해상도가 2 배로 증가된다. Referring to FIG. 6, the maximum horizontal angle of view of the surveillance camera by the conventional single camera module CA is Ah. Referring to FIG. 7, in the surveillance camera of the embodiment of the present invention, the areas to be photographed of the two camera modules CA1 and CA2 are overlapped or adjacently in the horizontal direction. The maximum horizontal angle of view of each of the photographing target areas of the two camera modules CA1 and CA2 is Ah / 2. 6 and 7, in the surveillance camera of the embodiment of the present invention, the horizontal resolution is doubled as compared with the conventional surveillance camera employing the wide-angle lens.

도 8은 도 1의 주 제어부(104)에 의하여 수행되는 스테레오 모드의 동작 알고리즘을 보여준다. 도 1 및 8을 참조하여 이를 설명하면 다음과 같다.FIG. 8 shows an operation algorithm of the stereo mode performed by the main control unit 104 of FIG. 1 and 8, the following will be described.

주 제어부(104)는 두 카메라 모듈들(예를 들어, CA1, CA2) 각각의 현재 틸트 각도 및 현재 팬 각도를 구한다(단계 S801).The main control unit 104 obtains the current tilt angle and the current pan angle of each of the two camera modules (e.g., CA1 and CA2) (step S801).

다음에, 주 제어부(104)는 두 영상들(IM1, IM2)의 중첩 영역이 점점 넓어지도록 움직임 제어부(102a)를 제어한다(단계 S803). 이에 따라, 움직임 제어부(102a)가 제1 구동부(102b)와 제2 구동부(102c)를 제어함에 의하여, 패닝 및 틸팅이 수행된다.Next, the main control unit 104 controls the motion control unit 102a so that the overlapping area of the two images IM1 and IM2 becomes gradually wider (step S803). Accordingly, the panning and tilting are performed by the motion controller 102a controlling the first driver 102b and the second driver 102c.

상기 단계들 S801 및 S803은 가장 넓은 중첩 영역이 형성될 때까지 반복적으로 수행된다(단계 S805).The steps S801 and S803 are repeatedly performed until the widest overlap area is formed (step S805).

다음에, 주 제어부(104)는 중첩 영역에서의 피사체들의 깊이(depth) 정보를 추출한다(단계 S807). 즉, 주 제어부(104)는 촬영 대상 영역들의 중첩 영역에서의 피사체들과 감시 카메라 사이의 거리를 구한다. Next, the main control unit 104 extracts depth information of the objects in the overlap area (step S807). In other words, the main control unit 104 obtains the distance between the surveillance camera and the objects in the overlap area of the shooting target areas.

다음에, 주 제어부(104)는 깊이(depth) 정보에 따른 깊이 영상을 생성하여 출력한다(단계 S809). Next, the main control unit 104 generates and outputs a depth image according to depth information (step S809).

도 9는 도 8의 단계 S809의 수행에 의하여 얻어지는 깊이(depth) 영상의 예를 보여준다. 도 9를 참조하면, 피사체들과 감시 카메라 사이의 거리에 따라 각 화소의 색상 및 계조가 변한다.FIG. 9 shows an example of a depth image obtained by performing step S809 of FIG. Referring to FIG. 9, the color and gradation of each pixel vary according to the distance between the subject and the surveillance camera.

두 카메라들을 사용하여 중첩 영역에서의 깊이(depth) 정보를 구하는 알고리즘은 잘 알려져 있다. 따라서, 그 설명이 생략된다. An algorithm for obtaining depth information in an overlapping region using two cameras is well known. Therefore, the description thereof is omitted.

도 10은 도 1의 주 제어부(104)에 의하여 수행되는 특정-피사체 집중 모드의 동작 알고리즘을 보여준다. 도 1 및 10을 참조하여 이를 설명하면 다음과 같다.FIG. 10 shows an operation algorithm of the specific-object concentrated mode performed by the main control unit 104 of FIG. 1 and 10, the following will be described.

특정 피사체가 선정되었으면(단계 S1001), 주 제어부(104)는 특정 피사체의 좌표를 구한다(단계 S1002).If a specific subject has been selected (step S1001), the main control unit 104 obtains coordinates of a specific subject (step S1002).

또한, 주 제어부(104)는 두 카메라 모듈들(예를 들어, CA1, CA2) 각각의 광축이 특정 피사체(보다 상세하게는, 특정 피사체의 중앙 지점)를 향하기 위한 틸트 각도들 및 팬 각도들을 구한다(단계 S1003). Further, the main control unit 104 obtains tilt angles and pan angles for directing the optical axis of each of the two camera modules (e.g., CA1 and CA2) to a specific subject (more specifically, a center point of a specific subject) (Step S1003).

다음에, 주 제어부(104)는 구해진 틸트 각도들 및 팬 각도들에 따라 움직임 제어부(102a)를 제어한다(단계 S1004). 이에 따라, 움직임 제어부(102a)가 제1 구동부(102b)와 제2 구동부(102c)를 제어함에 의하여, 패닝 및 틸팅이 수행된다.Next, the main control unit 104 controls the motion control unit 102a according to the obtained tilt angles and fan angles (step S1004). Accordingly, the panning and tilting are performed by the motion controller 102a controlling the first driver 102b and the second driver 102c.

상기 단계들 S1003 및 S1004는 두 카메라 모듈들(예를 들어, CA1, CA2) 각각의 광축이 특정 피사체(보다 상세하게는, 특정 피사체의 중앙 지점)를 향할 때까지 반복적으로 수행된다(단계 S1005).The steps S1003 and S1004 are repeatedly performed until the optical axis of each of the two camera modules (e.g., CA1 and CA2) is directed to a specific subject (more specifically, a center point of a specific subject) (step S1005) .

다음에, 주 제어부(104)는 중첩 영역에서의 피사체들의 깊이(depth) 정보를 추출한다(단계 S1006). 즉, 주 제어부(104)는 촬영 대상 영역들의 중첩 영역에서의 피사체들과 감시 카메라 사이의 거리를 구한다. Next, the main control unit 104 extracts depth information of the objects in the overlap area (step S1006). In other words, the main control unit 104 obtains the distance between the surveillance camera and the objects in the overlap area of the shooting target areas.

다음에, 주 제어부(104)는 깊이(depth) 정보에 따른 깊이 영상을 생성하여 출력한다(단계 S1007, 도 9 참조). Next, the main control unit 104 generates and outputs a depth image according to the depth information (step S1007, see Fig. 9).

도 11은 도 1의 주 제어부(104)에 의하여 수행되는 흔들림 보정 모드의 동작 알고리즘을 보여준다. 도 1 및 11을 참조하여 이를 설명하면 다음과 같다.FIG. 11 shows an operation algorithm of the shake correction mode performed by the main control unit 104 of FIG. 1 and 11, the following will be described.

감시 카메라의 흔들림이 발생되었으면(단계 S1101), 주 제어부(104)는 보정되어야 할 흔들림 틸트 각도 및 흔들림 팬 각도를 구한다(단계 S1103). 여기에서, 자이로 센서(107)는 카메라 모듈들(101)에 대하여 현재의 틸트 각도 및 팬 각도에서 보정되어야 할 흔들림 틸트 각도 및 흔들림 팬 각도를 검출한다. 하지만, 자이로 센서(107)가 없어도 주 제어부(104)는 흔들림 정보를 알 수 있다. 이에 대하여 도 12 내지 도 14를 참조하여 상세히 설명될 것이다. If the surge of the surveillance camera has occurred (step S1101), the main control unit 104 obtains the shake tilt angle and the shake pan angle to be corrected (step S1103). Here, the gyro sensor 107 detects the shake tilt angle and the shake fan angle to be corrected with respect to the camera modules 101 at the current tilt angle and the pan angle. However, even if the gyro sensor 107 is not provided, the main control unit 104 can know the shaking information. This will be described in detail with reference to FIGS. 12 to 14. FIG.

흔들림 틸트 각도 및 흔들림 팬 각도에 따라, 주 제어부(104)는, 각각의 카메라 모듈(예를 들어, CA1,CA2)에 대하여 최종적 틸트 각도 및 팬 각도를 구한다(단계 S1105).The main control unit 104 obtains the final tilt angle and pan angle for each of the camera modules (for example, CA1 and CA2) according to the shake tilt angle and the shake fan angle (step S1105).

최종적 틸트 각도 및 팬 각도에 따라, 주 제어부(104)는 각각의 카메라 모듈(예를 들어, CA1,CA2)에 대하여 현재의 틸트 각도 및 팬 각도를 보정한다(단계 S1107). In accordance with the final tilt angle and fan angle, the main control unit 104 corrects the current tilt angle and pan angle for each of the camera modules (e.g., CA1 and CA2) (step S1107).

상기 단계들 S1101 내지 S1107은 종료 신호가 발생될 때까지 반복적으로 수행된다(단계 S1109).The steps S1101 to S1107 are repeatedly performed until a termination signal is generated (step S1109).

도 12는 흔들림에 대한 틸트 각도의 보정 동작을 설명하기 위한 도면이다. 도 1 및 12를 참조하여 틸트 각도의 보정 동작을 설명하면 다음과 같다.12 is a diagram for explaining a correction operation of the tilt angle with respect to the shake. The correction operation of the tilt angle will be described with reference to FIGS. 1 and 12. FIG.

감시 카메라(CA)의 흔들림으로 인한 감시 카메라(CA)의 광축(1201)의 수직 이동 거리를 Dvs, 피사체(1202)와 감시 카메라(CA) 사이의 거리를 Doc라 하면, 카메라 모듈들(CA1,CA2)에 대하여 현재의 틸트 각도에서 보정되어야 할 흔들림 틸트 각도 Ats는 아래의 수학식 1에 의하여 계산된다.Let Dvs be the vertical movement distance of the optical axis 1201 of the surveillance camera CA caused by the surge of the surveillance camera CA and let Doc be the distance between the surveillance camera CA and the object 1202. The camera modules CA1, CA2), the wobble tilt angle Ats to be corrected at the current tilt angle is calculated by the following equation (1).

Figure pat00001
Figure pat00001

잘 알려져 있는 바와 같이, 피사체(1202)와 감시 카메라(CA) 사이의 거리(Doc)는 감시 카메라(CA)의 초점 거리에 따라 설정되어 있다. 본 실시예의 경우, 피사체(1202)와 감시 카메라(CA) 사이의 거리(Doc)는 카메라 모듈들(CA1,CA2)의 평균 초점 거리에 따라 설정되어 있다. As is well known, the distance Doc between the subject 1202 and the surveillance camera CA is set according to the focal distance of the surveillance camera CA. In this embodiment, the distance Doc between the subject 1202 and the surveillance camera CA is set according to the average focal length of the camera modules CA1 and CA2.

도 13은 흔들림에 대한 팬 각도의 보정 동작을 설명하기 위한 도면이다. 도 1 및 13을 참조하여 팬 각도의 보정 동작을 설명하면 다음과 같다.13 is a diagram for explaining a correction operation of the fan angle with respect to the shake. The correction operation of the fan angle will be described with reference to FIGS. 1 and 13 as follows.

감시 카메라(CA)의 흔들림으로 인한 감시 카메라(CA)의 광축(1301)의 수평 이동 거리를 Dhs, 피사체(1302)와 감시 카메라(CA) 사이의 거리를 Doc라 하면, 카메라 모듈들(CA1,CA2)에 대하여 현재의 팬 각도에서 보정되어야 할 흔들림 팬 각도 Aps는 아래의 수학식 2에 의하여 계산된다.Let Dhs be the horizontal moving distance of the optical axis 1301 of the surveillance camera CA due to the shaking of the surveillance camera CA and let Doc be the distance between the surveillance camera CA and the subject 1302. The camera modules CA1, CA2), the shake fan angle Aps to be corrected at the current fan angle is calculated by the following equation (2).

Figure pat00002
Figure pat00002

물론, 상기 수학식 1 및 2에 의한 흔들림 보정은 동시에 이루어지는 경우가 많을 것이다.Of course, the shake correction according to equations (1) and (2) will often be performed simultaneously.

도 14는 도 11의 단계 S1103의 알고리즘을 보여준다. 도 1 및 도 12 내지 14를 참조하여 이를 설명하면 다음과 같다. Fig. 14 shows the algorithm of step S1103 of Fig. This will be described with reference to FIGS. 1 and 12 to 14. FIG.

주 제어부(104)는 피사체(1202)와 감시 카메라(CA) 사이의 거리 Doc를 구한다(단계 S1401). 상기한 바와 같이, 본 실시예의 경우, 피사체(1202)와 감시 카메라(CA) 사이의 거리(Doc)는 카메라 모듈들(CA1,CA2)의 평균 초점 거리에 따라 설정되어 있다. The main control unit 104 obtains the distance Doc between the subject 1202 and the surveillance camera CA (step S1401). As described above, in this embodiment, the distance Doc between the subject 1202 and the surveillance camera CA is set according to the average focal length of the camera modules CA1 and CA2.

다음에, 주 제어부(104)는, 입력 영상들의 3차원적 성분이 2차원적 성분으로 변환되도록 입력 영상들에 대하여 투영(projection)을 수행하여, 투영 결과의 영상들을 구한다(단계 S1403). 여기에서의 투영(projection) 알고리즘은 잘 알려져 있으므로 그 설명이 생략된다.Next, the main control unit 104 performs projection on the input images so that the three-dimensional components of the input images are converted into two-dimensional components, thereby obtaining images of the projection result (step S1403). The projection algorithm here is well known and its description is omitted.

다음에, 주 제어부(104)는 투영 결과의 영상들을 사용하여 광축의 수직 이동 거리 Dvs 및 광축의 수평 이동 거리 Dhs를 구한다(단계 S1405).Next, the main control unit 104 obtains the vertical movement distance Dvs of the optical axis and the horizontal movement distance Dhs of the optical axis using the images of the projection result (step S1405).

그리고, 주 제어부(104)는 상기 수학식 1 및 2를 사용하여, 보정되어야 할 흔들림 틸트 각도 Ats 및 보정되어야 할 흔들림 팬 각도 Aps를 구한다(단계 S1407).Then, the main control unit 104 obtains the shake tilt angle Ats to be corrected and the shake fan angle Aps to be corrected using the above Equations 1 and 2 (step S1407).

이상 설명된 바와 같이, 본 발명의 실시예의 감시 카메라에 의하면, 카메라 모듈들 각각에 대하여 개별적으로 패닝(panning) 및 틸팅(tilting)이 수행되고, 카메라 모듈들로부터의 영상들이 연결된다.As described above, according to the surveillance camera of the embodiment of the present invention, panning and tilting are individually performed for each of the camera modules, and images from the camera modules are connected.

이에 따라, 어안(魚眼) 렌즈와 같은 광각 렌즈를 사용하지 않음에도 불구하고 보다 넓은 영역이 감시될 수 있다. 이에 따라 다음과 같은 효과들이 얻어질 수 있다.Accordingly, a wider area can be monitored even though a wide-angle lens such as a fish-eye lens is not used. Accordingly, the following effects can be obtained.

첫째, 영상의 주변 영역에서 왜곡(distortion), 수차(aberration), 또는 광량저하(vignetting)가 발생되지 않는다.First, no distortion, aberration, or vignetting occurs in the peripheral region of the image.

둘째, 저가의 일반 렌즈들이 사용될 수 있으므로, 감시 카메라의 제조 비용이 적어진다. Second, since low-cost general lenses can be used, the manufacturing cost of a surveillance camera is reduced.

셋째, 화각에 대한 영상 센서의 해상도가 상대적으로 높아진다.Third, the resolution of the image sensor relative to the angle of view is relatively high.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. The present invention has been described above with reference to preferred embodiments. It will be understood by those skilled in the art that the present invention may be embodied in various other forms without departing from the spirit or essential characteristics thereof.

그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.Therefore, the above-described embodiments should be considered in a descriptive sense rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and the inventions claimed by the claims and the inventions equivalent to the claimed invention are to be construed as being included in the present invention.

본 발명은 감시 카메라 뿐만 아니라 통상적인 카메라에도 이용될 가능성이 있다.The present invention is likely to be used not only in surveillance cameras but also in conventional cameras.

101, CA, CA1 내지 CA4 : 카메라 모듈들, IM1 : 제1 영상,
IM2 : 제2 영상, 102 : 패닝-틸팅부,
102a : 음직임 제어부, 102b : 제1 구동부,
102c : 제2 구동부, TM1 : 제1 틸팅 모터,
PM1 : 제1 패닝 모터, TM2 : 제2 틸팅 모터,
PM2 : 제2 패닝 모터, 103 : 영상 연결부,
103m : 정합부, 103s : 스티칭부,
IMc : 연결 영상, 104 : 주 제어부,
105 : 영상 압축부, 106 : 통신 인터페이스,
107 : 자이로 센서, Ah : 최대 화각,
601, 701 : 촬영 대상 영역, 602, 702 : 촬영 영상,
Pv : 수직 해상도, Ph : 수평 해상도,
Doc : 피사체와 감시 카메라 사이의 거리,
Dvs : 광축의 수직 이동 거리, Dhs : 광축의 수평 이동 거리,
Ats : 흔들림 틸트 각도, Aps : 흔들림 팬 각도.101, CA, CA1 to CA4: camera modules, IM1: first image,
IM2: second image, 102: panning-tilting section,
102a: Negative directive control unit, 102b: First drive unit,
102c: second driving section, TM1: first tilting motor,
PM1: first panning motor, TM2: second tilting motor,
PM2: second panning motor, 103: video connection part,
103m: matching portion, 103s: stitching portion,
IMc: connection video, 104: main control unit,
105: image compression unit, 106: communication interface,
107: Gyro sensor, Ah: Maximum angle of view,
601, 701: photographing target area, 602, 702: photographed image,
Pv: vertical resolution, Ph: horizontal resolution,
Doc: Distance between the subject and the surveillance camera,
Dvs: vertical moving distance of the optical axis, Dhs: horizontal moving distance of the optical axis,
Ats: shake tilt angle, Aps: shake fan angle.

Claims (6)

카메라 모듈들;
상기 카메라 모듈들 각각에 대하여 개별적으로 패닝(panning) 및 틸팅(tilting)을 수행하는 패닝-틸팅부;
상기 카메라 모듈들로부터의 영상들을 연결하는 영상 연결부; 및
상기 패닝-틸팅부 및 상기 영상 연결부를 제어하는 주 제어부;를 포함한, 감시 카메라.Camera modules;
A panning-tilting unit that performs panning and tilting for each of the camera modules;
An image connection unit for connecting images from the camera modules; And
And a main controller for controlling the panning-tilting unit and the video connection unit. 제1항에 있어서, 상기 영상 연결부는,
상기 카메라 모듈들로부터의 영상들이 연결될 수 있도록 상기 영상들의 화소 좌표들을 조정하는 정합부; 및
조정된 화소 좌표들에 따라 상기 영상들을 연결하는 스티칭(stitching)부;를 포함한, 감시 카메라.2. The image processing apparatus according to claim 1,
A matching unit for adjusting pixel coordinates of the images so that images from the camera modules can be connected; And
And a stitching unit for connecting the images according to the adjusted pixel coordinates. 제1항에 있어서,
상기 카메라 모듈들의 촬영 대상 영역들은 중첩되거나 인접되는, 감시 카메라.The method according to claim 1,
Wherein the areas to be photographed of the camera modules are overlapped or adjoined. 제3항에 있어서, 상기 주 제어부는,
촬영 대상 영역들의 중첩 영역에서의 피사체들과 상기 감시 카메라 사이의 거리를 구하는, 감시 카메라.4. The apparatus of claim 3,
And a distance between the surveillance camera and objects in the overlap area of the shooting target areas. 제1항에 있어서, 상기 주 제어부는,
동영상 촬영 모드에서 상기 감시 카메라의 흔들림으로 인한 틸트 각도 및 팬 각도의 변화를 보정하는, 감시 카메라.The apparatus of claim 1,
And changes the tilt angle and the pan angle due to the shaking of the surveillance camera in the moving image shooting mode. 제5항에 있어서,
상기 감시 카메라의 흔들림으로 인한 상기 감시 카메라의 광축의 수직 이동 거리를 Dvs, 상기 감시 카메라의 상기 흔들림으로 인한 상기 감시 카메라의 광축의 수평 이동 거리를 Dhs, 및 상기 피사체와 상기 감시 카메라 사이의 거리를 Doc라 하면,
상기 카메라 모듈들에 대하여 현재의 틸트 각도에서 보정되어야 할 흔들림 틸트 각도 Ats는
Figure pat00003
의 수학식에 의하여 계산되고,
상기 카메라 모듈들에 대하여 현재의 팬 각도에서 보정되어야 할 흔들림 팬 각도 Aps는
Figure pat00004
의 수학식에 의하여 계산되는, 감시 카메라. 6. The method of claim 5,
Dvs is a vertical movement distance of the optical axis of the surveillance camera due to shaking of the surveillance camera, Dhs is a horizontally moving distance of the surveillance camera due to the shaking of the surveillance camera, and Dhs is a distance between the surveillance camera and the surveillance camera If you say Doc,
The wobble tilt angle Ats to be corrected at the current tilting angle with respect to the camera modules is
Figure pat00003
Is calculated by the following equation,
For the camera modules, the shake fan angle Aps to be corrected at the current pan angle is
Figure pat00004
Of the surveillance camera.
KR1020150155520A 2015-11-06 2015-11-06 monitoring camera KR102450363B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150155520A KR102450363B1 (en) 2015-11-06 2015-11-06 monitoring camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150155520A KR102450363B1 (en) 2015-11-06 2015-11-06 monitoring camera

Publications (2)

Publication Number Publication Date
KR20170053256A true KR20170053256A (en) 2017-05-16
KR102450363B1 KR102450363B1 (en) 2022-10-04

Family

ID=59034968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150155520A KR102450363B1 (en) 2015-11-06 2015-11-06 monitoring camera

Country Status (1)

Country Link
KR (1) KR102450363B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019209069A1 (en) * 2018-04-26 2019-10-31 주식회사 텐앤투 Wide-angle image providing method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1164920A (en) * 1997-08-12 1999-03-05 Asahi Optical Co Ltd Exposure controller for camera
KR20110004674A (en) * 2009-07-08 2011-01-14 삼성테크윈 주식회사 Method to control monitoring cameras and control apparatus using the same
JP2011048283A (en) 2009-08-28 2011-03-10 Nikon Corp Photographed image composing device
KR20140071188A (en) * 2012-12-03 2014-06-11 삼성테크윈 주식회사 Method for acquiring horizontal distance between camera and target, camera and surveillance system adopting the method
KR20150076645A (en) * 2013-12-27 2015-07-07 한국해양과학기술원 Omnidirectional monitoring System for ship using PTZ Camera and Omnidirectional monitoring Method using The Same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1164920A (en) * 1997-08-12 1999-03-05 Asahi Optical Co Ltd Exposure controller for camera
KR20110004674A (en) * 2009-07-08 2011-01-14 삼성테크윈 주식회사 Method to control monitoring cameras and control apparatus using the same
JP2011048283A (en) 2009-08-28 2011-03-10 Nikon Corp Photographed image composing device
KR20140071188A (en) * 2012-12-03 2014-06-11 삼성테크윈 주식회사 Method for acquiring horizontal distance between camera and target, camera and surveillance system adopting the method
KR20150076645A (en) * 2013-12-27 2015-07-07 한국해양과학기술원 Omnidirectional monitoring System for ship using PTZ Camera and Omnidirectional monitoring Method using The Same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019209069A1 (en) * 2018-04-26 2019-10-31 주식회사 텐앤투 Wide-angle image providing method
WO2019209067A1 (en) * 2018-04-26 2019-10-31 주식회사 텐앤투 Wide-angle image providing system
US11523054B2 (en) 2018-04-26 2022-12-06 Tenntwo Co., Ltd. Wide-angle image providing method

Also Published As

Publication number Publication date
KR102450363B1 (en) 2022-10-04

Similar Documents

Publication Publication Date Title
CN109842753B (en) Camera anti-shake system, camera anti-shake method, electronic device and storage medium
CN110012224B (en) Camera anti-shake system, camera anti-shake method, electronic device, and computer-readable storage medium
US9832362B2 (en) Image-capturing apparatus
US20190253620A1 (en) Method for processing image, image processing apparatus, multi-camera photographing apparatus, and aerial vehicle
JP4258539B2 (en) Multiple angle of view camera
KR20190000591A (en) Application Processor including function of compensation of disparity, and digital photographing apparatus using the same
CN110233970B (en) Image processing method and device, electronic equipment and computer readable storage medium
US9531938B2 (en) Image-capturing apparatus
US10348969B2 (en) Camera controller, image processing module, and semiconductor system
US9667853B2 (en) Image-capturing apparatus
US9838667B2 (en) Image pickup apparatus, image pickup method, and non-transitory computer-readable medium
US10469728B2 (en) Imaging device having a lens array of micro lenses
KR20180129667A (en) Display control apparatus, display control method, and storage medium
WO2018221209A1 (en) Image processing device, image processing method, and program
US20140210957A1 (en) Stereoscopic imaging apparatus and method of displaying in-focus state confirmation image
US9300860B2 (en) Image-capturing apparatus
KR20210080875A (en) Electronic device comprising image sensor and method of operation thereof
KR102450363B1 (en) monitoring camera
US20150168809A1 (en) Focus control apparatus and focus control method
JP2014146979A (en) Monitor camera system, imaging apparatus, and imaging method
JP5783729B2 (en) Liquid lens driving method and imaging apparatus using liquid lens
WO2017158829A1 (en) Display control device and display control method
US20180069998A1 (en) Imaging apparatus, imaging system, and vehicle
JP2014192745A (en) Imaging apparatus, information processing apparatus, control method and program thereof
KR102029206B1 (en) View-angle tuning method, camera and surveillance system adopting the method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant