WO2019240347A1 - 패닝 및 틸팅 제어가 되는 카메라의 프라이버시 마스크 최적화방법 및 프라이버시 마스크 최적화가 적용된 촬상장치 - Google Patents

패닝 및 틸팅 제어가 되는 카메라의 프라이버시 마스크 최적화방법 및 프라이버시 마스크 최적화가 적용된 촬상장치 Download PDF

Info

Publication number
WO2019240347A1
WO2019240347A1 PCT/KR2019/000545 KR2019000545W WO2019240347A1 WO 2019240347 A1 WO2019240347 A1 WO 2019240347A1 KR 2019000545 W KR2019000545 W KR 2019000545W WO 2019240347 A1 WO2019240347 A1 WO 2019240347A1
Authority
WO
WIPO (PCT)
Prior art keywords
angle
imaging
mask
lens
imaging condition
Prior art date
Application number
PCT/KR2019/000545
Other languages
English (en)
French (fr)
Inventor
박종인
오정석
김대봉
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Publication of WO2019240347A1 publication Critical patent/WO2019240347A1/ko
Priority to US17/118,784 priority Critical patent/US11418717B2/en
Priority to US17/888,950 priority patent/US20220394182A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G01C19/02—Rotary gyroscopes
    • G01C19/04—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Definitions

  • a mask In case of PTZ camera that supports pan / tilt / zoom function, a mask should be created according to the control angle to fit the object. However, due to structural errors such as structural features of the camera or assembly tolerances, the mask may not be applied to the object, and the mask may not be properly masked out of position. In particular, in the case of the asymmetric structure where the center of the camera lens does not coincide with the axis of rotation, the mask's exposed position varies according to the distance between the camera and the object. there is a problem.
  • the second problem to be solved by the present invention is to perform a panning or tilting, and to generate a privacy mask and correct the position in the image picked up by the image pickup device that does not coincide with the axis of rotation of the imaging unit and the lens It is to provide an imaging device.
  • Imaging apparatus 110 is composed of an imaging unit 111, a rotating unit 112, a processor 114, and a memory 113, the distance measuring unit 115, the rotation angle measuring unit 116, or may further include an image output unit 117.
  • the size of the mask applied to the second imaging condition may be corrected and the size may be increased at a preset ratio.
  • the angle change between the actual object and the mask is determined.
  • the mask may deviate from the object as it may differ from ⁇ at a distance. Accordingly, in order to prevent such a case, the mask may be raised at a constant rate so that the mask does not leave the object even when the distance to the object is too close or far from the specific distance used to calculate the angle change ⁇ .
  • the position of the mask generated in the object may be corrected in the image photographed under the second imaging condition according to the distance from the object measured in the first imaging condition.
  • the distance between the actual imaging device and the object is different
  • the mask may be out of the object, and when the size of the mask is increased, the image may be unnecessarily obscured.
  • the distance from the object needs to be measured.
  • an error between the mask generated in the second imaging condition and the object is calculated from the distance between the center point of the lens, the distance of the rotation axis, and the object, and the calculated mask And the position of the mask is corrected to the object using an error between the object and the object.
  • an error may be calculated by Equation 1 above.
  • the error may be calculated by measuring the distance from the object after the flip and not the distance from the object stored before the flip. In this case, the distance to the object is different from the distance and the value of the object stored before the flip, it can be calculated through the following equation.
  • d ' is the distance between the lens center point and the object after flipping.
  • the distance to the object may be measured by using locus data of the lens.
  • the distance of the object (subject) can be estimated based on the focus lens position information focused on the zoom position.
  • the zoom lens position, the focus lens position, and the distance of the object are related.
  • the locus data is used.
  • the locus data is focus position data of the focus lens according to the zoom lens position and the object distance.
  • a frequency modulated continuous wave is transmitted through a frequency modulated continuous wave radar, FMCW, and a distance and a speed can be estimated based on the degree of change in the received frequency.
  • FMCW frequency modulated continuous wave radar
  • LRF makes it easy to measure the distance of a desired point. It is desirable to perform distance measurements using the LRF.
  • the unit 115 is accurate in measuring the distance, but has a disadvantage of being expensive.
  • the panning motor is rotated at unit angle intervals from 0 degrees to 180 degrees, and the actual rotation angle of the imaging unit is measured, and the rotation angle of the panning motor and the imaging unit Actual rotation angles can be compared and stored in the memory.
  • Assembly tolerances occur due to the play between the pan rotating shaft and the pan gear's assembly play / part dispersion. In the case of assembly tolerances, there may be slight differences for each sample. In addition, an error may occur due to the tension of the belt for rotating the panning motor.
  • the rotation angle measuring unit 116 may further include an actual rotation angle measurement unit of the imaging unit.
  • the rotation angle measuring unit 116 may be configured of one or more of a gyro sensor or an acceleration sensor.
  • the rotation angle measuring unit 116 may be used to measure the tilting angle as well as the panning angle.
  • the gyro sensor measures the physical quantity about three axes of angular velocity, and when it is stopped, the angular velocity is 0. If there is motion, the angular velocity is generated. As time passes, the error is also integrated, which may cause a large error.
  • the acceleration sensor measures the physical quantity on the three axes of acceleration and generates 9.8 (m / s ⁇ 2) in the direction of gravity when it is stopped, and estimates how tilted it is in the direction of gravity through the acceleration of gravity when it is stopped. The rotation angle can be measured by the gyro sensor and the acceleration sensor.
  • a drift phenomenon may occur, which is a phenomenon in which it is inclined in one direction compared to the original state.
  • acceleration sensors can be used as complementary filters to compensate for this phenomenon.
  • the rotation angle can be calculated using the following equation.
  • the tilting error angle is calculated according to the position of the lens before the flip and the position of the lens after the flip, and the position of the tilting angle is corrected by rotating the initialized tilting angle 0 degree by half the tilting error angle.
  • Rotating the tilting angle 0 degrees before correction by half the tilting error angle according to the position of the lens before the flip and the position of the lens after the flip rotates the position of the lens before the flip and the position of the lens after the flip.
  • the tilt angle error of the position of can be eliminated.
  • a method of correcting a mask position may include panning or tilting, and a position of a privacy mask in an image captured by an image pickup device in which the rotation axis of the imager does not coincide with the center of the lens. It is about how to calibrate.
  • a mask for the object may be generated under the first imaging condition.
  • a mask is created to fit the object.
  • the imaging condition is information including a panning angle and a tilting angle, wherein the first imaging condition is the same as the second imaging condition and the imaging angle of the lens, but the position of the lens is based on the rotation axis.
  • the first imaging condition and the second imaging condition may have a difference in panning angle of 180 degrees and a sum of tilting angles of 180 degrees.
  • the mask position in consideration of an angle change between the imaging device and the object in the first imaging condition and the second imaging condition in step S21.
  • the error can be corrected.
  • the size of the mask applied to the second imaging condition may be increased at a preset ratio.
  • the mask position error may be corrected by using a distance between the imaging apparatus and the object in the first imaging condition.
  • the mask position error is calculated from the distance between the center point of the lens and the rotation axis and the object in step S31, and the mask position error is calculated using the mask position error calculated in step S32. You can correct it.
  • the distance to the object may be measured using a distance measuring unit or using locus data of the lens.
  • the structural error of the imaging apparatus may be corrected and initialized in operation S41.
  • Step S41 may be performed through steps S51 to S52.
  • step S51 the panning motor is rotated at unit angle intervals from 0 degrees to 180 degrees, and the actual rotation angle of the imaging unit is measured.
  • step S52 the rotation angle of the panning motor and the actual rotation angle of the imaging unit can be compared and stored. have.
  • the actual rotation angle of the imaging unit may be measured using at least one of a gyro sensor or an acceleration sensor, and the information stored by comparing the rotation angle of the panning motor with the rotation angle of the imaging unit may be stored in the panning motor. It can be applied to the actual rotation angle of the imaging unit from 180 to 360 degrees of.
  • the position of the mask may be corrected using a difference between the rotation angle of the stored panning motor and the actual rotation angle of the imaging unit.
  • step S41 may be performed through steps S61 to S63.
  • step S61 the tilting angle 0 degree is initialized to a predetermined position.
  • step S62 the tilting error angle is calculated using the position of the lens at the first tilting angle and the position of the lens at the second tilting angle.
  • the zero tilting angle of the tilting angle is rotated by half of the tilting error angle, thereby correcting the position of the tilting angle 0 degrees, and the second tilting angle is the first tilting angle and the imaging angle of the lens.
  • the position of the lens may be a tilting angle inverted to the first tilting angle with respect to the rotation axis.
  • Embodiments of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs. Examples of program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 프라이버시 마스크의 위치를 보정하는 방법에 관한 것으로, 패닝(panning) 또는 틸팅(tilting)을 수행하고, 촬상부의 회전축과 렌즈의 중심이 일치하지 않는 촬상장치가 촬상한 영상에서 프라이버시 마스크를 이용하여 마스킹을 수행하는 방법에 있어서, 제1 촬상조건에서 대상체에 대한 마스크를 생성하는 단계; 및 제1 촬상조건에서 생성된 마스크를 제2 촬상조건에 적용하는데 있어서 발생하는 마스크 위치오차를 보정하여 상기 제2 촬상조건에서 상기 대상체에 대한 마스킹을 수행하는 단계를 포함하고, 상기 제1 촬상조건은, 상기 제2 촬상조건과 상기 렌즈의 촬상각도는 동일하되, 상기 렌즈의 위치가 상기 회전축을 중심으로 상기 제2 촬상조건과 반전된 촬상조건이며, 상기 마스크 위치오차는, 상기 제1 촬상조건과 제2 촬상조건에서의 상기 촬상장치의 위치 차이에 따라 발생하는 오차인 것을 특징으로 함으로써 플립(flip)을 제공하고, 카메라의 회전축과 렌즈의 중심이 일치하지 않는 촬상장치에서 플립시에도 정상적인 마스킹이 가능하다.

Description

패닝 및 틸팅 제어가 되는 카메라의 프라이버시 마스크 최적화방법 및 프라이버시 마스크 최적화가 적용된 촬상장치
본 발명은 프라이버시 마스크를 생성하고 위치를 보정하는 방법에 관한 것으로서, 보다 상세하게는 패닝(panning) 또는 틸팅(tilting)을 수행하고, 촬상부의 회전축과 렌즈의 중심이 일치하지 않는 촬상장치가 촬상한 영상에서 프라이버시 마스크를 생성하고 위치를 보정하여 최적화하는 방법 및 그 장치에 관한 것이다.
최근 보안에 대한 중요성이 강조되면서, 감시카메라의 설치가 대중화되고 있다. 감시카메라는 보안성을 높이지만, 개인의 정보가 유출될 수 있어 프라이버시를 침해하는 문제가 발생할 수 있고, 이를 해결하기 위하여, 개인의 신상정보에 대해 영상에 프라이버시 마스크를 적용하는 기술들이 발전되고 있다.
팬/틸트/줌 기능을 지원하는 PTZ 카메라의 경우, 제어각도에 따라 마스크를 대상체에 맞게 생성하여야 한다. 하지만, 카메라의 구조적 특징 또는 조립공차와 같은 구조적 오차에 의해 마스크가 대상체에 맞게 적용되지 않고, 위치가 벗어나 마스킹이 적절히 이루어지지 않을 수 있다. 특히, 카메라 렌즈의 중심이 회전축과 일치하지 않고 비대칭적인 구조의 경우, 카메라와 대상체간의 거리에 따라 마스크의 노출되는 접위가 달라져 최대로 노출되는 경우는 고려하여 비효율적으로 마스크의 사이즈를 크게 그려줘야 하는 문제가 있다.
본 발명이 해결하고자 하는 첫 번째 과제는, 패닝(panning) 또는 틸팅(tilting)을 수행하고, 촬상부의 회전축과 렌즈의 중심이 일치하지 않는 촬상장치가 촬상한 영상에서 프라이버시 마스크를 생성하고 위치를 보정하는 방법을 제공하고자 하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는, 패닝(panning) 또는 틸팅(tilting)을 수행하고, 촬상부의 회전축과 렌즈의 중심이 일치하지 않는 촬상장치가 촬상한 영상에서 프라이버시 마스크를 생성하고 위치를 보정하는 촬상장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 첫 번째 과제를 해결하기 위하여, 패닝(panning) 또는 틸팅(tilting)을 수행하고, 촬상부의 회전축과 렌즈의 중심이 일치하지 않는 촬상장치가 촬상한 영상에서 프라이버시 마스크를 이용하여 마스킹을 수행하는 방법에 있어서, 제1 촬상조건에서 대상체에 대한 마스크를 생성하는 단계; 및 제1 촬상조건에서 생성된 마스크를 제2 촬상조건에 적용하는데 있어서 발생하는 마스크 위치오차를 보정하여 상기 제2 촬상조건에서 상기 대상체에 대한 마스킹을 수행하는 단계를 포함하고, 상기 제1 촬상조건은, 상기 제2 촬상조건과 상기 렌즈의 촬상각도는 동일하되, 상기 렌즈의 위치가 상기 회전축을 중심으로 상기 제2 촬상조건과 반전된 촬상조건이며, 상기 마스크 위치오차는, 상기 제1 촬상조건과 제2 촬상조건에서의 상기 촬상장치의 위치 차이에 따라 발생하는 오차인 것을 특징으로 하는 방법을 제공한다.
상기 두 번째 과제를 해결하기 위하여, 회전축과 렌즈의 중심이 일치하지 않는 촬상부; 상기 촬상부를 회전시켜 패닝(panning) 또는 틸팅(tilting)을 수행하는 회전부; 상기 촬상부가 촬상한 영상에서 프라이버시 마스크의 위치를 보정하는 프로그램을 저장하는 메모리; 및 상기 프라이버시 마스크의 위치를 보정하는 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되, 상기 메모리가 저장된 프로그램은, 제1 촬상조건에서 생성된 마스크를 제2 촬상조건에 적용하는데 있어서 발생하는 마스크 위치오차를 보정하여 상기 제2 촬상조건에서 상기 대상체에 대한 마스킹을 수행하고, 상기 제1 촬상조건은, 상기 제2 촬상조건과 상기 렌즈의 촬상각도는 동일하되, 상기 렌즈의 위치가 상기 회전축을 중심으로 상기 제2 촬상조건과 반전된 촬상조건이며, 상기 마스크 위치오차는, 상기 제1 촬상조건과 제2 촬상조건에서의 상기 촬상장치의 위치 차이에 따라 발생하는 것을 특징으로 하는 촬상장치를 제공한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
본 발명에 따르면 플립(flip)을 제공하고, 카메라의 회전축과 렌즈의 중심이 일치하지 않는 촬상장치에서 플립시에도 정상적인 마스킹이 가능하다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 촬상장치의 블록도이다.
도 2 내지 도 4는 회전축과 렌즈의 중심이 일치하지 않는 촬상장치에서 발생하는 오차를 설명하기 위한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 촬상장치에서 마스크 위치를 보정하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 촬상장치에서 촬상장치의 구조적 오차를 보정하여 초기화하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 마스크 위치를 보정하는 방법의 흐름도이다.
도 9 내지 도 12는 본 발명의 실시예에 따른 마스크 위치를 보정하는 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 촬상장치의 블록도이다.
본 발명의 일 실시예에 따른 촬상장치(110)는 촬상부(111), 회전부(112), 프로세서(114), 및 메모리(113)로 구성되며, 거리측정부(115), 회전각도측정부(116), 또는 영상출력부(117)를 더 포함할 수 있다.
촬상부(111)가 촬상한 영상에서 프라이버시 마스크의 위치를 보정하는 프로그램은 적어도 하나 이상의 메모리(113)에 저장되고, 메모리(113)에 저장된 상기 프라이버시 마스크의 위치를 보정하는 프로그램은 적어도 하나 이상의 프로세서(114)에서 구동된다. 마스크의 위치를 보정한 영상은 영상출력부(117)를 통해 디스플레이될 수 있다.
촬상부(111)는 회전부(112)의 회전에 의해 패닝 또는 틸팅 회전하며 영상을 촬상한다. 촬상부(111)가 회전함에 있어서, 회전축과 렌즈의 중심이 일치하지 않는다. 촬상부(111) 정면에 촬상을 위한 렌즈 이외에 다른 구성들이 장착되고, 렌즈와 다른 구성들의 배치에 따라 촬상부(111)의 회전축과 렌즈의 중심이 일치하지 않도록 형성될 수 있다. 도 2 및 도 3과 같이, 렌즈(320) 뿐만 아니라, IR 투광기(320)와 같은 구성이 촬상부(111) 정면에 배치됨에 있어서, 렌즈(310)는 촬상부 회전축을 중심으로 하단에 위치하고, IR 투광기(320)는 촬상부 회전축을 중심으로 상단에 위치할 수 있다. IR 투광기는 렌즈의 줌에 따른 화각에 따라 조사되는 영역을 조절할 수 있다. 다른 구성을 장착하더라도 촬상부(111)의 크기 및 촬상부(111) 정면의 면적을 최소화하기 위하여, 렌즈의 중심이 촬상부의 회전축이 일치하지 않게 형성될 수 있다. 여기서, 촬상부(111)의 회전축은 틸팅 방향의 회전축일 수 있다.
회전부(112)는 촬상부(111)를 회전시켜 패닝(panning) 또는 틸팅(tilting)을 수행한다. 회전부(112)는 패닝 및 틸팅을 수행하도록 두 방향으로 회전할 수 있다. 또는 추가적으로 패닝 및 틸팅과 직교하는 제 3의 방향으로 회전할 수 있다.
회전부(112)의 패닝 및 틸팅 제어되는 촬상부(111)의 경우, 동일한 위치의 대상체를 촬상함에 있어서, 두 가지 촬상조건이 존재한다. 도 2와 같이, 패닝 제어를 통해 패닝각도 A에서 패닝각도 B로 패닝회전한 이후, 틸팅 제어를 통해 틸팅각도 D에서 C로 틸팅회전하는 경우, 렌즈의 촬상각도는 동일하게 된다. 도 2와 같이, 렌즈의 촬상각도는 동일하나, 렌즈의 위치가 회전축을 중심으로 반전된 상태를 플립(flip)이라고 한다. 예를 들어, 플립 전 패닝각도가 30도이고, 틸팅각도가 30도이면, 플립 후 패닝각도는 210도이고, 틸팅각도는 150도이다. 패닝각도와 틸팅각도에 의하면, 플립 전후 동일한 위치의 대상체를 촬상하고 있어야 한다. 이때, 상이 회전축을 중심으로 반전되지만, 이를 영상을 반전시킴으로써 동일한 위치로 인식하도록 처리한다. 하지만, 촬상부(111)의 구조적 특성인 회전축과 렌즈의 중심이 일치하지 않는 경우, 렌즈의 위치는 도 2와 3과 같이, 동일하지 않고 차이가 발생한다. 그 차이는 촬상부의 구조에 의해 촬상부의 회전축과 렌즈의 중심간의 거리의 2배 만큼 발생한다. 도 2 및 도 3은 렌즈의 위치가 상하로 반전되는 경우이나, 렌즈의 위치가 회전축을 중심으로 반전되는 모든 경우에 렌즈의 위치에 차이가 발생할 수 있다.
플립 전후 촬상각도가 동일하기 때문에, 플립 후 영상에서 마스크를 생성할 때, 플립 전에 생성되어 저장된 마스크를 이용할 수 있다. 플립 전 마스크는 플립 후 마스크를 적용할 때 이용되는데, 회전축과 렌즈의 중심이 일치하지 않은 이유로 플립 전후 렌즈의 위치에 차이가 발생하기 때문에, 도 5와 같이, 플립 전 영상에 촬상된 대상체에 생성된 마스크를 플립 후 영상에서 그대로 적용하면 대상체와 마스크의 위치에 오차가 발생한다. 도 5(A)는 플립 전 대상체(520)에 대한 마스크(530)가 적용된 것을 나타낸다. 이후 5(B)와 같이, 플립을 통해 회전축(540)을 중심으로 렌즈의 위치가 510의 위치에서 550의 위치로 이동하는 경우, 마스크 또한 위치의 보정이 없으면 530의 위치에서 560의 위치로 이동한다. 플립 후 마스크(560)의 위치가 대상체(520)를 마스킹하지 못하기 때문에, 마스크 위치오차를 보정한다.
마스크의 위치를 보정함에 있어서, 상기 제1 촬상조건과 상기 제2 촬상조건에서의 상기 촬상장치와 상기 대상체간의 각도변화를 고려하여 상기 마스크 위치오차를 보정할 수 있다. 여기서, 제1 촬상조건은 상기 제2 촬상조건과 상기 렌즈의 촬상각도는 동일하되, 상기 렌즈의 위치가 상기 회전축을 중심으로 상기 제2 촬상조건과 반전된 촬상조건을 의미한다. 여기서, 촬상조건은 패닝각도와 틸팅각도를 포함하는 데이터로, 제1 촬상조건과 제2 촬상조건은 패닝각도의 차이가 180도이고, 틸팅각도의 합이 180도이다. 즉, 제1 촬상조건과 제2 촬상조건은 플립 전후의 촬상조건을 의미한다. 즉, 마스크의 위치를 도 5(B)의 θ만큼 보정한다.
플립 후의 촬상조건인 제2 촬상조건에서의 마스크와 대상체와의 오차는 도 6과 같이, 모델링할 수 있고, 이를 이용하여 오차를 산출할 수 있다. 렌즈의 중심점과 회전축과의 거리는 촬상부의 구조적 특징에 의해 고정되는 값으로, 이미 알고 있는 값이며, 제2 촬상조건에서 마스크는 제1 촬상조건에서 생성되어 저장된 마스크를 이용하는바, 제1 촬상조건에서 마스크의 위치와 제2 촬상조건에서의 마스크의 위치는 제1 촬상조건 또는 제2 촬상조건에서 해당 렌즈의 중심점과 회전축과의 거리의 두 배만큼 차이가 발생한다. 이때, 대상체까지의 거리를 특정 거리로 가정한다면, 제2 촬상조건에서 마스크와 대상체와의 오차를 산출할 수 있다. 대상체까지의 거리는 촬상장치가 적용되는 환경에 따라 달라질 수 있다. 촬상장치가 감시용 촬상장치인 경우, 감시 대상이 되는 대상체들이 위치하는 평균거리를 해당 거리로 이용할 수 있다. 또는 식별이 잘되는 위치 등 마스크를 적용함에 있어서 가장 적합한 거리를 해당 거리로 이용할 수 있다. 해당 오차는 다음 수학식에 의해 산출될 수 있다.
Figure PCTKR2019000545-appb-M000001
여기서, θ는 오차이고, l은 플립 전후 렌즈 중심점 사이의 거리(렌즈의 중심점과 회전축과의 거리의 두배)이고, d는 플립전 렌즈 중심점과 대상체와의 거리이다. 도 6에서 예시하고 있는 플립 전후 렌즈 중심점 사이의 거리가 44mm이고, 대상체까지의 거리가 7m 인 경우, θ는 0.3601이다. 따라서, 해당 θ를 보정함으로써 마스크 위치오차를 보정하여 제2 촬상조건에서 마스킹을 수행할 수 있다.
상기 제2 촬상조건에 적용되는 마스크의 위치를 보정함과 동시에 크기를 미리 설정된 비율로 키울 수도 있다. 촬상장치가 적용되는 환경에 따라 대상체까지의 거리의 범위가 넓은 경우, 상기 각도변화 θ를 산출하는데 이용한 특정 거리보다 대상체까지의 거리가 지나치게 가깝거나 먼 경우, 실제 대상체와 마스크간의 각도변화는 상기 특정거리에서의 θ와 다를 수 있는바, 마스크가 대상체를 벗어날 수 있다. 따라서, 이러한 경우를 방지하기 위하여, 마스크의 크기를 일정 비율로 키워 상기 각도변화 θ를 산출하는데 이용한 특정 거리보다 대상체까지의 거리가 지나치게 가깝거나 먼 경우에도 마스크가 대상체를 벗어나지 않도록 할 수 있다.
이때, 마스크의 크기는 미리 설정된 비율 내지 사용자에 의해 설정되는 비율로 커질 수 있다. 또는 대상체가 위치할 수 있는 모든 위치를 커버할 수 있는 크기까지 커질 수도 있다.
또는, 마스크의 위치를 보정함에 있어서, 제1 촬상조건에서 측정된 대상체와의 거리에 따라 제2 촬상조건에서 촬상한 영상에서 대상체에 생성된 마스크의 위치를 보정할 수 있다. 상기 제1 촬상조건과 상기 제2 촬상조건에서의 상기 촬상장치와 상기 대상체간의 각도변화를 산출함에 있어서, 대상체까지의 거리를 고정거리로 가정하는 경우, 실제 촬상장치와 대상체까지의 거리가 다른 경우, 마스크가 대상체를 벗어나는 경우가 발생할 수 있고, 마스크의 크기를 키우는 경우, 불필요하게 영상을 가리게 될 수 있는바, 정확한 상기 제1 촬상조건과 상기 제2 촬상조건에서의 상기 촬상장치와 상기 대상체간의 각도변화를 산출하여 마스크를 정확히 대상체에 적용하여 마스킹을 수행하고, 마스크의 크기도 대상체의 크기에 맞게 적용할 수 있도록 하기 위하여, 대상체와의 거리를 측정할 필요가 있다.
즉, 마스크의 위치를 정확히 보정하기 위하여, 상기 렌즈의 중심점과 상기 회전축의 거리 및 대상체와의 거리로부터 상기 제2 촬상조건에서 생성된 마스크와 상기 대상체와의 오차를 산출하고, 상기 산출한 상기 마스크와 상기 대상체와의 오차를 이용하여 상기 마스크의 위치를 상기 대상체로 보정한다.
제1 촬상조건에서 마스크를 생성할 때, 대상체와의 거리를 함께 측정하고, 측정된 대상체와의 거리를 이용하여 제2 촬상조건에서 생성된 마스크와 대상체와의 오차를 산출할 수 있다. 해당 오차는 상기 수학식 1에 의해 산출될 수 있다.
도 6에서 예시하고 있는 플립 전후 렌즈 중심점 사이의 거리가 44mm인 경우, 렌즈 중심점과 대상체와의 거리에 따른 오차는 다음과 같이 산출될 수 있다.
대상체와의 거리(m) θ
1.5 1.6802
2.0 1.2603
2.5 1.0083
3.0 0.8403
3.5 0.4203
4.0 0.6302
5.0 0.5042
7.0 0.3601
10 0.2521
20 0.1261
30 0.0840
50 0.0504
70 0.0360
100 0.0252
150 0.0168
200 0.0126
플립 전 저장된 대상체와의 거리를 이용하는 경우, 상기 수학식 1에 의해 오차를 산출할 수 있다. 플립 전 저장된 대상체와의 거리가 아닌 플립 후 대상체와의 거리를 측정하여 상기 오차를 산출할 수도 있다. 이때, 대상체와의 거리는 플립 전 저장된 대상체와의 거리와 값이 달라지는바, 하기의 수학식을 통해 산출될 수 있다.
Figure PCTKR2019000545-appb-M000002
여기서, d'는 플립후 렌즈 중심점과 대상체와의 거리이다.
대상체와의 거리는 렌즈의 로커스 데이터(locus data)를 이용하여 상기 대상체와의 거리를 측정할 수 있다. 줌 위치에서 초점이 맞은 포커스 렌즈 위치 정보를 기반으로 대상체(피사체)의 거리 추정이 가능하다. 줌 렌즈 위치와 포커스 렌즈 위치, 대상체의 거리는 관계성이 있다. 이때, 로커스 데이터를 이용하는데, 로커스 데이터는 줌 렌즈 위치, 대상체 거리에 따른 포커스 렌즈의 초점 위치 데이터로, 초점이 맞는 경우, 줌 렌즈 위치와 포커스 렌즈 위치를 통해 대상체 거리 추정이 가능하다. 예를 들어, 5m 초점 위치가 2500, 10m 초점 위치가 3200인 경우, 줌 위치가 4000, 포커스 위치가 3000이라면, 추정 거리 d = 5 + (5 * 500 / 700) = 8.5 m 산출이 가능하다. 저배율 대비 고배율이 분해능이 더 높다.
또한, 대상체와의 거리를 측정하기 위하여, 상기 대상체와의 거리를 측정하는 거리측정부(115)를 더 포함할 수 있다. 이때, LRF(Laser Range Fibder) 또는 Radar 등을 이용할 수 있다. LRF는 TOF(Time of Flight) 방식 및 Phase-Shift 방식을 이용할 수 있다. TOF 방식은 거리 측정부로부터 광을 방출한 시간과 대상체로부터 거리 측정부로 광이 되돌아온 시간의 차이를 이용하여 거리를 산출하는 방식이고, Phase-Shift 방식은 일정한 주파수를 가진 광을 대상체에 조사하여, 기준광과 대상체로부터 반사되어 거리측정부로 되돌아 온 광 사이의 위상차로 거리를 산출하는 방식이다. Radar의 경우, 주파수변조 연속파 레이더인 FMCW 방식을 통해 주파수 변조된 연속파를 송신하고 수신된 주파수의 바뀐 정도를 통해 거리 및 속도를 추정할 수 있다. Radar는 속도를 가지고 이동하는 피사체의 거리 추정(속도가 없는 경우, Clutter로 판단)하는데 용이하고, LRF는 원하는 지점의 거리를 측정하는데 용이한다. LRF를 이용하여 거리측정을 수행하는 것이 바람직하다.
렌즈의 로커스 데이터를 이용하여 대상체와의 거리를 측정하는 경우, 거리측정을 위한 별도의 장치가 불필요한다, 비용이 적게드나, LRF 등의 거리측정부에 비해 대상체 거리에 대한 정확도가 떨어지고, 거리측정부(115)는 거리 측정은 정확하나, 비용이 많이 드는 단점이 있다.
마스크 영역의 위치를 보다 정확하게 적용하고 보정하기 위하여, 촬상장치의 구조적 오차를 보정하여 초기화할 수 있다. 앞서 살펴본 오차는 렌즈의 중심점이 회전축과 일치하지 않음으로 인해 발생하는 오차이고, 조립공차 또는 회전모터의 텐션 등에 의해 구조적 오차가 발생할 수 있는바, 이를 보정하여 마스크의 위치를 정확하게 적용하고 보정할 수 있다. 촬상장치의 구조적 오차를 보정하여 초기화하는 과정은 촬상장치를 제작한 이후 또는 동작시키고자 하는 위치에 장착한 이후 초기에 수행될 수 있다. 또한, 시간이 지남에 따라 오차가 바뀌거나 커질 수 있는바, 주기적으로 수행될 수도 있다.
먼저, 패닝시 발생할 수 있는 구조적 오차를 보정하기 위하여, 패닝모터를 0도부터 180도까지 단위각도 간격으로 회전시키며, 상기 촬상부의 실제 회전각도를 측정하고, 상기 패닝모터의 회전각도와 상기 촬상부의 실제 회전각도를 비교하여 상기 메모리에 저장할 수 있다. Pan 회전축과 Pan Gear 의 조립 유격/부품 산포에 의한 회전축의 유격으로 인해 조립 공차가 발생한다. 조립 공차의 경우 각 시료마다 조금씩 차이는 날수가 있다. 또한, 패닝모터를 회전시키기 위한 벨트의 텐션에 의해 오차가 발생할 수도 있다. 이와 같은 구조적 오차를 이용하여 마스크의 위치를 보정하기 위하여, 패닝모터를 0도부터 180도까지 회전시키면서 패닝모터의 회전 각도와 촬상부의 실제 회전각도를 비교한다. 0도부터 180도 사이를 단위각도 간격으로 회전시켜 두 개의 값을 비교하여 버퍼 등에 저장한 후 플립되었을 때 그 값을 반영한다면 마스크 위치를 정확히 보정할 수 있다. 패닝은 0도에서 360도까지 제한없이 회전하지만, 180도부터 360도까지의 회전각도는 0도부터 180도까지의 회전각도와 대칭되는바, 상기 패닝모터의 회전각도와 상기 촬상부의 실제 회전각도를 비교하여 저장된 정보는 상기 패닝모터의 180 내지 360도에서의 촬상부의 실제 회전각도에 적용한다.
상기 촬상부의 실제 회전각도를 측정하는 회전각도측정부(116)를 더 포함할 수 있다. 회전각도측정부(116)는 자이로(gyro) 센서, 또는 가속도 센서 중 하나 이상으로 구성될 수 있다. 회전각도측정부(116)는 패닝각도 뿐만 아니라 틸팅각도를 측정하는데 이용될 수 있다.
자이로 센서는 각속도 3축에 대한 물리량을 측정, 정지해 있는 경우 각속도가 0이며, 모션이 있는 경우 각속도가 발생하고, 각속도를 적분하면 회전각도를 측정할 수 있다. 시간이 지날수록 오차도 적분되므로 오차가 커지는 현상이 발생할 수 있는 단점이 있다. 가속도 센서는 가속도 3축에 대한 물리량을 측정, 정지해 있는 경우 중력 방향에 대해 9.8(m/s^2) 발생하고, 정지해 있는 경우 중력가속도를 통해 중력방향에 대해 얼마나 기울여 있는지 추정 가능하다. 자이로 센서와 및 가속도 센서를 통해 회전각도를 측정할 수 있는데, 시간이 지날수록 오차가 커지는바, 초기 상태로 돌아 왔을 때 원 상태 대비 한 방향으로 기울어져 있는 현상인 drift 현상이 발생할 수 있고, 이러한 자이로 센서에 대해 가속도 센서를 이런 현상을 보상하는 상보필터로 이용할 수 있다. 이때, 회전각도는 아래의 식을 이용하여 산출할 수 있다.
Figure PCTKR2019000545-appb-M000003
틸팅시 발생할 수 있는 구조적 오차를 보정하기 위하여, 틸팅각도 0도 위치를 소정의 위치로 초기화하고, 제 1 틸팅각도에서의 렌즈의 위치와 제 2 틸팅각도에서의 렌즈의 위치를 이용하여 상기 틸팅 오차각도를 산출하며, 상기 초기화한 틸팅각도 0도 위치를 상기 틸팅 오차각도의 절반만큼 회전시켜 상기 틸팅각도 0도의 위치를 보정하며, 이때, 제 2 틸팅각도는 상기 제 1 틸팅각도와 상기 렌즈의 촬상각도는 동일하되, 상기 렌즈의 위치가 상기 회전축을 중심으로 상기 제 1 틸팅각도와 반전된 틸팅각도일 수 있다.
틸팅각도의 0도는 소정의 위치를 틸팅각도 0도 위치로 설정하여 초기화한다. 하지만, 해당 위치가 정확한 틸팅각도 0도가 아닐 수 있는바, 정확한 틸팅각도 0도의 위치를 산출하여 적용하기 위하여, 플립 기능을 이용할 수 있다. 소정의 위치로 초기화된 틸팅각도 0도를 기준으로, 제 1 틸팅각도에서의 렌즈의 위치와 플린된 제 2 틸팅각도에서의 렌즈의 위치를 이용하여 상기 틸팅 오차각도를 산출하며, 상기 초기화한 틸팅각도 0도 위치를 상기 틸팅 오차각도의 절반만큼 회전시켜 상기 틸팅각도 0도의 위치를 보정할 수 있다. 초기화된 보정 전 0도에서 플립전 렌즈의 위치와 플립 후 렌즈의 위치는 도 7과 같이, 차이가 발생할 수 있다. 플립전 렌즈의 위치와 플립후 렌즈의 위치에 따른 틸팅 오차각도를 산출하고, 상기 초기화한 틸팅각도 0도 위치를 상기 틸팅 오차각도의 절반만큼 회전시켜 상기 틸팅각도 0도의 위치를 보정한다. 보정 전 틸팅각도 0도를 플립전 렌즈의 위치와 플립후 렌즈의 위치에 따른 틸팅 오차각도의 반만큼 회전시키면 플립전 렌즈의 위치도 회전하고, 플립후 렌즈의 위치도 회전하는바, 플립 전후 렌즈의 위치의 틸팅각도 오차를 제거할 수 있다.
도 8은 본 발명의 일 실시예에 따른 마스크 위치를 보정하는 방법의 흐름도이고, 도 9 내지 도 13는 본 발명의 실시예에 따른 마스크 위치를 보정하는 방법의 흐름도이다. 본 발명의 일 실시예에 따른 마스크 위치를 보정하는 방법에 대한 상세한 설명은 도 1 내지 도 7의 촬상장치(110)에 대한 설명에 대응되는바, 이하 중복되는 설명을 피하기 위해 각 구성의 기능만을 약술하도록 한다.
본 발명의 일 실시예에 따른 마스크 위치를 보정하는 방법은 패닝(panning) 또는 틸팅(tilting)을 수행하고, 촬상부의 회전축과 렌즈의 중심이 일치하지 않는 촬상장치가 촬상한 영상에서 프라이버시 마스크의 위치를 보정하는 방법에 관한 것이다.
S11 단계에서 제1 촬상조건에서 대상체에 대한 마스크를 생성할 수 있다. 마스킹을 수행할 대상체가 영상 내 위치하는 경우, 대상체에 맞게 마스크를 생성한다.
이후, 플립 기능이 수행되는 경우, S12 단계에서 제1 촬상조건에서 생성된 마스크를 제2 촬상조건에 적용하는데 있어서 발생하는 마스크 위치오차를 보정하여 상기 제2 촬상조건에서 상기 대상체에 대한 마스킹을 수행한다. 여기서, 촬상조건은 패닝각도 및 틸팅각도를 포함하는 정보이고, 상기 제1 촬상조건은 상기 제2 촬상조건과 상기 렌즈의 촬상각도는 동일하되, 상기 렌즈의 위치가 상기 회전축을 중심으로 상기 제2 촬상조건과 반전된 촬상조건이다. 상기 제1 촬상조건과 상기 제2 촬상조건은 패닝각도의 차이가 180도이고, 틸팅각도의 합이 180도일 수 있다. S12 단계의 상기 제2 촬상조건에서 상기 대상체에 대한 마스킹을 수행하기 위하여, S21 단계에서 상기 제1 촬상조건과 상기 제2 촬상조건에서의 상기 촬상장치와 상기 대상체간의 각도변화를 고려하여 상기 마스크 위치오차를 보정할 수 있다. 나아가, S22 단계에서 상기 제2 촬상조건에 적용되는 마스크의 크기를 미리 설정된 비율로 키울 수 있다.
S12 단계의 상기 제2 촬상조건에서 상기 대상체에 대한 마스킹을 수행하기 위하여, 상기 제1 촬상조건에서의 상기 촬상장치와 상기 대상체와의 거리를 이용하여 상기 마스크 위치오차를 보정할 수 있다. 이를 위하여, S31 단계에서 상기 렌즈의 중심점과 상기 회전축의 거리 및 상기 대상체와의 거리로부터 상기 마스크 위치오차를 산출하고, S32 단계에서 상기 산출한 마스크 위치오차를 이용하여 상기 마스크의 위치를 상기 대상체로 보정할 수 있다. 상기 대상체와의 거리는, 거리측정부를 이용하거나, 렌즈의 로커스 데이터(locus data)를 이용하여 측정할 수 있다.
S11 단계에서 앞서, 촬상장치를 조립한 이후 또는 장착한 이후 초기에 S41 단계에서 상기 촬상장치의 구조적 오차를 보정하여 초기화할 수 있다.
S41 단계는 S51 단계 내지 S52 단계를 통해 수행될 수 있다. S51 단계에서 패닝모터를 0도부터 180도까지 단위각도 간격으로 회전시키며, 상기 촬상부의 실제 회전각도를 측정하고, S52 단계에서 상기 패닝모터의 회전각도와 상기 촬상부의 실제 회전각도를 비교하여 저장할 수 있다. 상기 촬상부의 실제 회전각도는, 자이로(gyro) 센서, 또는 가속도 센서 중 하나 이상을 이용하여 측정할 수 있고, 상기 패닝모터의 회전각도와 상기 촬상부의 회전각도를 비교하여 저장된 정보는, 상기 패닝모터의 180 내지 360도에서의 촬상부의 실제 회전각도에 적용될 수 있다.
S12 단계는 S52 단계에서 상기 저장된 패닝모터의 회전각도와 촬상부의 실제 회전각도의 차이를 이용하여 마스크의 위치를 보정할 수 있다.
또한, S41 단계는 S61 단계 내지 S63 단계를 통해 수행될 수 있다. S61 단계에서 틸팅각도 0도 위치를 소정의 위치로 초기화하고, S62 단계에서 제1 틸팅각도에서의 렌즈의 위치와 제2 틸팅각도에서의 렌즈의 위치를 이용하여 상기 틸팅 오차각도를 산출하고, S63 단계에서 상기 초기화한 틸팅각도 0도 위치를 상기 틸팅 오차각도의 절반만큼 회전시켜 상기 틸팅각도 0도의 위치를 보정할 수 있고, 상기 제2 틸팅각도는 상기 제1 틸팅각도와 상기 렌즈의 촬상각도는 동일하되, 상기 렌즈의 위치가 상기 회전축을 중심으로 상기 제1 틸팅각도와 반전된 틸팅각도일 수 있다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체 (magnetic media), CD-ROM, DVD와 같은 광기록 매체 (optical media), 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬 (ROM), 램 (RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 패닝(panning) 또는 틸팅(tilting)을 수행하고, 촬상부의 회전축과 렌즈의 중심이 일치하지 않는 촬상장치가 촬상한 영상에서 프라이버시 마스크를 이용하여 마스킹을 수행하는 방법에 있어서,
    제1 촬상조건에서 대상체에 대한 마스크를 생성하는 단계; 및
    제1 촬상조건에서 생성된 마스크를 제2 촬상조건에 적용하는데 있어서 발생하는 마스크 위치오차를 보정하여 상기 제2 촬상조건에서 상기 대상체에 대한 마스킹을 수행하는 단계를 포함하고,
    상기 제1 촬상조건은,
    상기 제2 촬상조건과 상기 렌즈의 촬상각도는 동일하되, 상기 렌즈의 위치가 상기 회전축을 중심으로 상기 제2 촬상조건과 반전된 촬상조건이며,
    상기 마스크 위치오차는,
    상기 제1 촬상조건과 제2 촬상조건에서의 상기 촬상장치의 위치 차이에 따라 발생하는 오차인 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 제1 촬상조건과 상기 제2 촬상조건은 패닝각도의 차이가 180도이고, 틸팅각도의 합이 180도인 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 제2 촬상조건에서 상기 대상체에 대한 마스킹을 수행하는 단계는,
    상기 제1 촬상조건과 상기 제2 촬상조건에서의 상기 촬상장치와 상기 대상체간의 각도변화를 고려하여 상기 마스크 위치오차를 보정하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 제2 촬상조건에 적용되는 마스크의 크기를 미리 설정된 비율로 키우는 단계를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 제2 촬상조건에서 상기 대상체에 대한 마스킹을 수행하는 단계는,
    상기 제1 촬상조건에서의 상기 촬상장치와 상기 대상체와의 거리를 이용하여 상기 마스크 위치오차를 보정하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 제2 촬상조건에서 상기 대상체에 대한 마스킹을 수행하는 단계는,
    상기 렌즈의 중심점과 상기 회전축의 거리 및 상기 대상체와의 거리로부터 상기 마스크 위치오차를 산출하는 단계; 및
    상기 산출한 마스크 위치오차를 이용하여 상기 마스크의 위치를 상기 대상체로 보정하는 단계를 포함하는 방법.
  7. 제5항에 있어서,
    상기 대상체와의 거리는,
    거리측정부를 이용하거나, 렌즈의 로커스 데이터(locus data)를 이용하여 측정하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 촬상장치의 구조적 오차를 보정하여 초기화하는 단계를 더 포함하는 방법.
  9. 제8항에 있어서,
    상기 구조적 오차를 보정하여 초기화하는 단계는,
    패닝모터를 0도부터 180도까지 단위각도 간격으로 회전시키며, 상기 촬상부의 실제회전각도를 측정하는 단계; 및
    상기 패닝모터의 회전각도와 상기 촬상부의 실제회전각도를 비교하여 저장하는 단계를 포함하는 방법.
  10. 제9항에 있어서,
    상기 촬상부의 실제회전각도는,
    자이로(gyro) 센서, 또는 가속도 센서 중 하나 이상을 이용하여 측정하는 것을 특징으로 하는 방법.
  11. 제9항에 있어서,
    상기 패닝모터의 회전각도와 상기 촬상부의 회전각도를 비교하여 저장된 정보는,
    상기 패닝모터의 180 내지 360도에서의 촬상부의 실제회전각도에 적용되는 것을 특징으로 하는 방법.
  12. 제9항에 있어서,
    상기 마스크를 생성하고 보정하는 단계는,
    상기 저장된 패닝모터의 회전각도와 촬상부의 실제회전각도의 차이를 이용하여 마스크의 위치를 보정하는 것을 특징으로 하는 방법.
  13. 제8항에 있어서,
    상기 구조적 오차를 보정하여 초기화하는 단계는,
    틸팅각도 0도 위치를 소정의 위치로 초기화하는 단계;
    제1 틸팅각도에서의 렌즈의 위치와 제2 틸팅각도에서의 렌즈의 위치를 이용하여 틸팅 오차각도를 산출하는 단계; 및
    상기 초기화한 틸팅각도 0도 위치를 상기 틸팅 오차각도의 절반만큼 회전시켜 상기 틸팅각도 0도의 위치를 보정하는 단계를 포함하고,
    상기 제2 틸팅각도는 상기 제1 틸팅각도와 상기 렌즈의 촬상각도는 동일하되, 상기 렌즈의 위치가 상기 회전축을 중심으로 상기 제1 틸팅각도와 반전된 틸팅각도인 것을 특징으로 하는 방법.
  14. 회전축과 렌즈의 중심이 일치하지 않는 촬상부;
    상기 촬상부를 회전시켜 패닝(panning) 또는 틸팅(tilting)을 수행하는 회전부;
    상기 촬상부가 촬상한 영상에서 프라이버시 마스크의 위치를 보정하는 프로그램을 저장하는 메모리; 및
    상기 프라이버시 마스크의 위치를 보정하는 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되,
    상기 메모리가 저장된 프로그램은,
    제1 촬상조건에서 생성된 마스크를 제2 촬상조건에 적용하는데 있어서 발생하는 마스크 위치오차를 보정하여 상기 제2 촬상조건에서 대상체에 대한 마스킹을 수행하고,
    상기 제1 촬상조건은,
    상기 제2 촬상조건과 상기 렌즈의 촬상각도는 동일하되, 상기 렌즈의 위치가 상기 회전축을 중심으로 상기 제2 촬상조건과 반전된 촬상조건이며,
    상기 마스크 위치오차는,
    상기 제1 촬상조건과 제2 촬상조건에서의 촬상장치의 위치 차이에 따라 발생하는 것을 특징으로 하는 촬상장치.
  15. 제14항에 있어서,
    상기 메모리가 저장된 프로그램은,
    상기 제1 촬상조건과 상기 제2 촬상조건에서의 상기 촬상장치와 상기 대상체간의 각도변화를 고려하여 상기 마스크 위치오차를 보정하는 것을 특징으로 하는 촬상장치.
  16. 제14항에 있어서,
    상기 메모리가 저장된 프로그램은,
    상기 제2 촬상조건에 적용되는 마스크의 크기를 미리 설정된 비율로 키워 상기 대상체에 대한 마스킹을 수행하는 것을 특징으로 하는 촬상장치.
  17. 제14항에 있어서,
    상기 메모리가 저장된 프로그램은,
    상기 렌즈의 중심점과 상기 회전축의 거리 및 상기 대상체와의 거리로부터 상기 마스크 위치오차를 산출하고, 상기 산출한 마스크 위치오차를 이용하여 상기 마스크의 위치를 상기 대상체로 보정하는 것을 특징으로 하는 촬상장치.
  18. 제14 항에 있어서,
    상기 대상체와의 거리를 측정하는 거리측정부를 더 포함하는 촬상장치.
  19. 제14항에 있어서,
    상기 메모리가 저장된 프로그램은,
    패닝모터를 0도부터 180도까지 단위각도 간격으로 회전시키며, 상기 촬상부의 실제 회전각도를 측정하고, 상기 패닝모터의 회전각도와 상기 촬상부의 실제 회전각도를 비교하여 상기 메모리에 저장함으로써 상기 촬상장치의 구조적 오차를 보정하여 초기화하는 것을 특징으로 하는 촬상장치.
  20. 제14항에 있어서,
    상기 메모리가 저장된 프로그램은,
    틸팅각도 0도 위치를 소정의 위치로 초기화하고, 제1 틸팅각도에서의 렌즈의 위치와 제2 틸팅각도에서의 렌즈의 위치를 이용하여 틸팅 오차각도를 산출하며, 상기 초기화한 틸팅각도 0도 위치를 상기 틸팅 오차각도의 절반만큼 회전시켜 상기 틸팅각도 0도의 위치를 보정함으로써 상기 촬상장치의 구조적 오차를 보정하여 초기화하며,
    상기 제2 틸팅각도는 상기 제1 틸팅각도와 상기 렌즈의 촬상각도는 동일하되, 상기 렌즈의 위치가 상기 회전축을 중심으로 상기 제1 틸팅각도와 반전된 것을 특징으로 하는 촬상장치.
PCT/KR2019/000545 2018-06-12 2019-01-14 패닝 및 틸팅 제어가 되는 카메라의 프라이버시 마스크 최적화방법 및 프라이버시 마스크 최적화가 적용된 촬상장치 WO2019240347A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/118,784 US11418717B2 (en) 2018-06-12 2020-12-11 Method for optimizing privacy mask of camera with panning and tilting control and imaging device with privacy mask optimization applied
US17/888,950 US20220394182A1 (en) 2018-06-12 2022-08-16 Method for optimizing privacy mask of camera with panning and tilting control and imaging device with privacy mask optimization applied

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180067567A KR102574895B1 (ko) 2018-06-12 2018-06-12 패닝 및 틸팅 제어가 되는 카메라의 프라이버시 마스크 최적화방법 및 프라이버시 마스크 최적화가 적용된 촬상장치
KR10-2018-0067567 2018-06-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/118,784 Continuation US11418717B2 (en) 2018-06-12 2020-12-11 Method for optimizing privacy mask of camera with panning and tilting control and imaging device with privacy mask optimization applied

Publications (1)

Publication Number Publication Date
WO2019240347A1 true WO2019240347A1 (ko) 2019-12-19

Family

ID=68843479

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000545 WO2019240347A1 (ko) 2018-06-12 2019-01-14 패닝 및 틸팅 제어가 되는 카메라의 프라이버시 마스크 최적화방법 및 프라이버시 마스크 최적화가 적용된 촬상장치

Country Status (3)

Country Link
US (2) US11418717B2 (ko)
KR (1) KR102574895B1 (ko)
WO (1) WO2019240347A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022150602A (ja) * 2021-03-26 2022-10-07 キヤノン株式会社 撮像装置、情報処理装置、撮像装置の制御方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100664811B1 (ko) * 2005-06-20 2007-01-04 엘지전자 주식회사 프라이버시 마스크 표시 제어 방법 및 장치
KR20070048841A (ko) * 2005-11-07 2007-05-10 엘지전자 주식회사 감시용 카메라의 프라이버시 마스크 표시 제어방법
KR20130102743A (ko) * 2012-03-08 2013-09-23 엘지전자 주식회사 프라이버시 마스크 표시를 제어하는 감시 시스템 및 그 방법
KR20140117183A (ko) * 2013-03-26 2014-10-07 삼성테크윈 주식회사 프라이버시 마스크 처리 방법
KR20170002308A (ko) * 2015-06-29 2017-01-06 캐논 가부시끼가이샤 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101158819B1 (ko) 2005-07-28 2012-06-26 엘지전자 주식회사 감시용 카메라의 프라이버시 마스크 표시 제어방법
KR101739784B1 (ko) * 2010-11-17 2017-05-25 삼성전자주식회사 무선기기에서 이미지 촬영을 통해 상대기기를 인식 및 연결하기 위한 장치 및 방법
JP6380787B2 (ja) * 2014-04-16 2018-08-29 カシオ計算機株式会社 撮像装置、カメラ、表示装置、撮像方法、表示方法、及びプログラム
JP6429598B2 (ja) * 2014-11-11 2018-11-28 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100664811B1 (ko) * 2005-06-20 2007-01-04 엘지전자 주식회사 프라이버시 마스크 표시 제어 방법 및 장치
KR20070048841A (ko) * 2005-11-07 2007-05-10 엘지전자 주식회사 감시용 카메라의 프라이버시 마스크 표시 제어방법
KR20130102743A (ko) * 2012-03-08 2013-09-23 엘지전자 주식회사 프라이버시 마스크 표시를 제어하는 감시 시스템 및 그 방법
KR20140117183A (ko) * 2013-03-26 2014-10-07 삼성테크윈 주식회사 프라이버시 마스크 처리 방법
KR20170002308A (ko) * 2015-06-29 2017-01-06 캐논 가부시끼가이샤 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법

Also Published As

Publication number Publication date
KR20190140723A (ko) 2019-12-20
KR102574895B1 (ko) 2023-09-05
US20220394182A1 (en) 2022-12-08
US11418717B2 (en) 2022-08-16
US20210099649A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
WO2019237977A1 (zh) 图像补偿方法、计算机可读存储介质和电子设备
WO2022017419A1 (zh) 一种激光雷达校准装置和方法
JP4345014B2 (ja) 機械制御可能な乗り物用の測定および安定化システム
CN106797438B (zh) 控制设备、控制方法和飞行器设备
US8330824B2 (en) Camera, camera system, and camera body
US8243142B2 (en) Mobile object image tracking apparatus and method
US20220086362A1 (en) Focusing method and apparatus, aerial camera and unmanned aerial vehicle
US5903782A (en) Method and apparatus for producing a three-hundred and sixty degree spherical visual data set
CN112129263B (zh) 一种分离移动式立体测距相机的测距方法
WO2021096328A2 (ko) 타겟의 초기 위치 감지 기능을 구비한 레이저 추적 장치 및 추적 방법
CN109211573B (zh) 一种无人机悬停稳定性的评测方法
WO2019240347A1 (ko) 패닝 및 틸팅 제어가 되는 카메라의 프라이버시 마스크 최적화방법 및 프라이버시 마스크 최적화가 적용된 촬상장치
WO2022114455A1 (ko) 노면 영상정보를 이용한 자율주행 차량의 위치신호 보정장치
JP2001317915A (ja) ３次元計測装置
CN110166653B (zh) 摄像机位置和姿态的跟踪系统及方法
JPH04303216A (ja) 無人搬送車の位置検出装置
CN111857188A (zh) 一种空中远距离目标跟拍系统和方法
CN114114955B (zh) 高精度航空面阵ccd相机异速像移物理仿真及验证系统和方法
WO2020062024A1 (zh) 基于无人机的测距方法、装置及无人机
JP2003042760A (ja) 計測装置、計測方法及び計測システム
CN117597532A (zh) 云台控制方法、装置、云台和存储介质
CN112689084A (zh) 一种机载光电侦察成像系统及电子稳像方法
JP3827108B2 (ja) 画像振れ補正装置
WO2017119695A1 (ko) 무인 멀티콥터에 구비된 카메라를 이용한 객체 위치 산출 방법 및 이를 위한 장치
CN111693725B (zh) 一种瞄准目标运动角速率测量方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19818567

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19818567

Country of ref document: EP

Kind code of ref document: A1