KR20240042706A - 감시 장치 및 방법 - Google Patents

감시 장치 및 방법 Download PDF

Info

Publication number
KR20240042706A
KR20240042706A KR1020220121340A KR20220121340A KR20240042706A KR 20240042706 A KR20240042706 A KR 20240042706A KR 1020220121340 A KR1020220121340 A KR 1020220121340A KR 20220121340 A KR20220121340 A KR 20220121340A KR 20240042706 A KR20240042706 A KR 20240042706A
Authority
KR
South Korea
Prior art keywords
masking
image
target object
unit
target
Prior art date
Application number
KR1020220121340A
Other languages
English (en)
Inventor
안병만
최진혁
Original Assignee
한화비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화비전 주식회사 filed Critical 한화비전 주식회사
Priority to KR1020220121340A priority Critical patent/KR20240042706A/ko
Priority to PCT/KR2023/014617 priority patent/WO2024071888A1/ko
Publication of KR20240042706A publication Critical patent/KR20240042706A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 감시 장치 및 방법에 관한 것으로서, 감시 영역에 포함된 객체 중 사생활의 보호를 필요로 하는 객체에 대하여 프라이버시 마스크(privacy mask)를 적용하여 감시 영상을 생성하는 감시 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 감시 장치는 감시 영역을 촬영하여 영상을 생성하는 촬상부, 및 상기 영상에 포함된 목표 객체에 대한 마스킹 조건이 만족되는 경우 상기 목표 객체에 마스킹을 수행하는 영상 처리부를 포함하되, 상기 마스킹 조건은 상기 영상에 포함된 목표 객체와 참조 객체 간의 거리 및 중첩 면적 중 적어도 하나를 포함한다.

Description

감시 장치 및 방법{Apparatus and method for surveillance}
본 발명은 감시 장치 및 방법에 관한 것으로서, 더욱 상세하게는 감시 영역에 포함된 객체 중 사생활의 보호를 필요로 하는 객체에 대하여 프라이버시 마스크(privacy mask)를 적용하여 감시 영상을 생성하는 감시 장치 및 방법에 관한 것이다.
목표로 하는 장소에 대한 감시의 용도로서 카메라가 이용될 수 있다. 사용자는 카메라에 의해 촬영된 영상을 참조하여 해당 장소에 대한 감시를 수행할 수 있다.
한편, 감시 영역에는 서로 다른 복수의 객체가 포함될 수 있다. 객체는 사람을 포함할 수 있으며, 일부 객체는 사생활의 보호를 위하여 신원이 노출되지 않도록 할 필요가 있다.
감시 카메라는 병원, 호텔 또는 백화점 등 사람들의 이동이 빈번한 곳에 설치될 수 있는데, 사생활의 보호를 필요로 하는 사람의 얼굴까지 촬영되는 경우 사생활이 침해될 수 있다.
따라서, 감시 영역에 포함된 객체 중 사생활의 보호를 필요로 하는 객체에 대하여 신원이 노출되지 않도록 하는 발명의 등장이 요구된다.
미국 공개특허공보 2022-0103760호 (2022.03.31)
본 발명이 해결하고자 하는 과제는 감시 영역에 포함된 객체 중 사생활의 보호를 필요로 하는 객체에 대하여 프라이버시 마스크(privacy mask)를 적용하여 감시 영상을 생성하는 감시 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 감시 장치는 감시 영역을 촬영하여 영상을 생성하는 촬상부, 및 상기 영상에 포함된 목표 객체에 대한 마스킹 조건이 만족되는 경우 상기 목표 객체에 마스킹을 수행하는 영상 처리부를 포함하되, 상기 마스킹 조건은 상기 영상에 포함된 목표 객체와 참조 객체 간의 거리 및 중첩 면적 중 적어도 하나를 포함한다.
상기 영상 처리부는, 상기 영상에서 상기 목표 객체 및 참조 객체를 검출하는 객체 검출부, 및 상기 검출된 목표 객체를 추적하는 객체 추적부를 포함한다.
상기 영상 처리부는 상기 마스킹 조건이 만족된 목표 객체에 마스킹을 수행하는 마스킹부를 포함하고, 상기 마스킹부는 상기 목표 객체의 전체 또는 사전에 설정된 일부에 마스킹을 수행한다.
상기 마스킹부는 상기 목표 객체에 대하여 마스킹이 수행된 이후에 마스킹 조건이 만족되지 않는 경우에도 상기 목표 객체에 대한 마스킹을 유지한다.
상기 마스킹부는 상기 영상에 마스킹 조건을 만족하는 목표 객체가 복수 개 포함되는 경우 마스킹 조건을 최초로 만족한 목표 객체에만 마스킹을 수행한다.
본 발명의 실시예에 따른 감시 방법은 감시 영역을 촬영하여 영상을 생성하는 단계, 및 상기 영상에 포함된 목표 객체에 대한 마스킹 조건이 만족되는 경우 상기 목표 객체에 마스킹을 수행하는 단계를 포함하되, 상기 마스킹 조건은 상기 영상에 포함된 목표 객체와 참조 객체 간의 거리 및 중첩 면적 중 적어도 하나를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기한 바와 같은 본 발명의 감시 장치 및 방법에 따르면 감시 영역에 포함된 객체 중 사생활의 보호를 필요로 하는 객체에 대하여 프라이버시 마스크(privacy mask)를 적용하기 때문에 선별된 해당 객체의 신원이 노출되지 않도록 하는 장점이 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 감시 시스템을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 감시 장치의 블록도이다.
도 3은 도 2에 도시된 영상 처리부의 블록도이다.
도 4는 영상에 객체가 포함된 것을 나타낸 도면이다.
도 5는 영상에서 객체가 검출된 것을 나타낸 도면이다.
도 6은 영상에 목표 객체 및 참조 객체가 포함된 것을 나타낸 도면이다.
도 7은 목표 객체가 참조 객체에 중첩된 것을 나타낸 도면이다.
도 8은 목표 객체에 마스킹이 수행된 것을 나타낸 도면이다.
도 9는 목표 객체에 대한 마스킹이 유지되는 것을 나타낸 도면이다.
도 10은 복수의 목표 객체가 참조 객체에 중첩된 것을 나타낸 도면이다.
도 11은 영상에 미설정 객체가 포함된 것을 나타낸 도면이다.
도 12는 사용자에 의해 설정된 목표 객체가 참조 객체에 중첩된 것을 나타낸 도면이다.
도 13은 목표 객체에 마스킹이 수행된 것을 나타낸 도면이다.
도 14는 본 발명의 실시예에 따른 감시 방법의 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 감시 시스템을 나타낸 도면이다.
도 1을 참조하면, 감시 시스템(10)은 감시 장치(100), 관리 장치(200), 사용자 단말기(300) 및 통신망(400)을 포함하여 구성된다.
감시 장치(100)는 감시 영역에 대한 촬영을 수행하고, 촬영의 결과물인 영상을 생성할 수 있다. 감시 장치(100)에 의해 생성된 영상은 정지영상이거나 동영상일 수 있다.
통신망(400)은 감시 장치(100)와 관리 장치(200) 간의 통신 경로를 제공할 수 있다. 예를 들어, 통신망(400)은 유선망 및 무선망 중 적어도 하나를 포함하여 감시 장치(100)와 관리 장치(200) 간의 통신을 수행할 수 있다.
감시 장치(100)에 의해 생성된 영상은 관리 장치(200)로 전달될 수 있다. 관리 장치(200)는 감시 장치(100)로부터 수신된 영상을 저장하고, 저장된 영상을 사용자에게 송신할 수 있다. 예를 들어, 관리 장치(200)는 VMS(Video Management System), NVR(Network Video Recorder) 또는 DVR(Digital Video Recorder)이거나 이 중 적어도 하나를 포함한 것일 수 있다.
감시 시스템(10)은 적어도 하나의 감시 장치(100)를 포함할 수 있다. 관리 장치(200)는 적어도 하나의 감시 장치(100)로부터 수신된 영상을 저장하고, 저장된 영상을 사용자에게 제공할 수 있다.
감시 장치(100)에 의해 생성된 영상에는 사생활의 보호를 필요로하는 객체가 포함될 수 있다. 감시 장치(100)는 병원, 호텔 또는 백화점 등 사람들의 이동이 빈번한 곳에 설치될 수 있는데, 사생활의 보호를 필요로 하는 사람의 얼굴까지 촬영되는 경우 사생활이 침해될 수 있다.
객체의 사생활 보호를 위하여 감시 장치(100)는 일부 객체에 마스킹을 수행하여 관리 장치(200)로 송신할 수 있다. 즉, 감시 장치(100)는 촬영에 따른 영상을 분석하여 사생활 보호가 필요한 객체를 검출하고, 해당 객체에 마스킹을 수행한 이후에 마스킹된 영상을 관리 장치(200)로 송신하는 것이다. 이에, 관리 장치(200)에서 제공되는 영상은 마스킹된 객체가 포함되고, 해당 객체에 대한 사생활이 보호될 수 있다.
관리 장치(200)는 사생활의 보호 대상인 객체를 감시 장치(100)로 송신할 수 있다. 예를 들어, 감시 시스템(10)의 설치 장소가 병원인 경우 관리 장치(200)는 환자를 사생활의 보호 대상인 것으로 감시 장치(100)로 송신할 수 있다. 이러한 경우 감시 장치(100)는 환자에 대하여 마스킹을 수행하고, 마스킹된 영상을 관리 장치(200)로 송신할 수 있다. 이하, 사생활의 보호 대상인 객체를 목표 객체라 한다.
본 발명에서 감시 장치(100)는 영상에서 목표 객체를 선별하기 위하여 별도의 객체와의 공간적 관계를 참조할 수 있다. 제1 객체가 제2 객체에 근접하거나 중첩된 경우 감시 장치(100)는 제1 객체를 목표 객체인 것으로 판단할 수 있다. 이하, 목표 객체의 판단에 이용되는 제2 객체를 참조 객체라 한다.
감시 장치(100)는 감시 장치(100)에 탑재된 인공지능 모델을 이용하여 감시 영상에서 목표 객체를 검출 및 인식할 수 있다. 또한, 관리 장치(200)는 목표 객체 및 참조 객체에 대한 인공지능 모델 데이터를 감시 장치(100)로 송신할 수도 있다. 감시 장치(100)는 탑재된 인공지능 모델이나 관리 장치(200)로부터 수신된 목표 객체 및 참조 객체에 대한 인공지능 모델 데이터를 참조하여 영상에서 목표 객체를 검출하고, 검출된 목표 객체에 마스킹이 수행된 영상을 송신할 수 있다. 즉, 감시 장치(100)는 사전에 설정된 목표 객체 및 참조 객체만을 영상에서 검출하고, 목표 객체에 마스킹을 수행할 수 있는 것이다.
사용자 단말기(300)는 관리 장치(200)에 접속하여 감시 장치(100)에 의해 촬영된 영상을 출력할 수 있다. 사용자는 사용자 단말기(300)에서 출력된 영상을 이용하여 감시 영역에 대한 감시 결과를 확인할 수 있다. 또한, 사용자 단말기(300)는 감시 장치(100)로 제어 명령을 송신할 수 있다. 제어 명령은 감시 장치(100)의 팬, 틸트 또는 줌을 제어하기 위한 명령일 수 있으며, 촬영 개시 또는 촬영 종료를 위한 명령일 수 있다.
도 2는 본 발명의 실시예에 따른 감시 장치의 블록도이다.
도 2를 참조하면, 감시 장치(100)는 촬상부(110), 저장부(120), 제어부(130), 영상 처리부(140) 및 통신부(150)를 포함하여 구성된다.
촬상부(110)는 감시 영역을 촬영하여 영상을 생성할 수 있다. 영상의 생성을 위하여, 촬상부(110)는 CMOS(Complementary Metal-Oxide-Semiconductor) 또는 CCD(Charge-Coupled Device)와 같은 영상 센서(미도시)를 구비할 수 있다. 또한, 촬상부(110)는 촬영 방향의 전환을 위하여 팬-틸트 장비(미도시)를 구비할 수 있으며, 피사체의 확대 또는 축소를 위한 줌 렌즈를 구비할 수도 있다.
저장부(120)는 촬상부(110)에 의해 생성된 영상을 임시로 또는 영구적으로 저장할 수 있다. 또한, 저장부(120)는 영상 처리부(140)에 의해 영상 처리된 영상을 저장할 수도 있다. 또한, 저장부(120)는 후술하는 마스킹 조건을 저장할 수 있다. 영상 처리부(140)는 마스킹 조건에 따라 영상에 마스킹을 수행할 수 있다. 또한, 저장부(120)는 목표 객체 및 참조 객체의 검출에 이용되는 인공지능 모델 데이터를 저장할 수 있다.
영상 처리부(140)는 영상에 포함된 목표 객체에 대한 마스킹 조건이 만족되는 경우 목표 객체에 마스킹을 수행할 수 있다. 영상 처리부(140)는 영상에서 목표 객체를 검출할 수 있다. 영상 처리부(140)는 목표 객체에 대한 마스킹 조건을 지속적으로 확인할 수 있다. 그리고, 목표 객체에 대한 마스킹 조건이 만족되는 경우 영상 처리부(140)는 목표 객체에 마스킹이 수행된 영상을 생성할 수 있다. 한편, 목표 객체에 대한 마스킹 조건이 만족되지 않는 경우 영상 처리부(140)는 마스킹되지 않은 영상을 유지할 수 있다. 이하, 목표 객체에 대하여 마스킹이 수행된 영상을 마스킹 영상이라 한다. 이러한 영상 처리부(140)는 감시 장치(100)에 구비될 수 있고, 관리 장치(200)에 구비될 수도 있다. 영상 처리부(140)가 관리 장치(200)에 구비된 경우 영상 처리부(140)는 통신망(400)을 통해 감시 장치(100)로부터 수신한 영상에서 목표 객체를 검출하고, 목표 객체에 대한 마스킹 조건이 만족되는 경우 목표 객체에 마스킹을 수행할 수 있다.
본 발명에서 마스킹 조건은 영상에 포함된 목표 객체와 참조 객체 간의 거리 및 중첩 면적 중 적어도 하나를 포함할 수 있다. 예를 들어, 목표 객체와 참조 객체 간의 거리가 사전에 설정된 임계 거리의 미만인 경우 마스킹 조건이 만족되어 영상 처리부(140)는 마스킹 영상을 생성할 수 있다. 또는, 목표 객체와 참조 객체의 중첩 면적이 사전에 설정된 임계 면적을 초과하는 경우 마스킹 조건이 만족되어 영상 처리부(140)는 마스킹 영상을 생성할 수 있다.
통신부(150)는 영상 처리부(140)에 의해 영상 처리된 영상을 관리 장치(200)로 송신할 수 있다. 영상 처리부(140)에 의해 영상 처리된 영상은 마스킹 영상일 수 있으며, 마스킹이 수행되지 않은 영상일 수도 있다.
제어부(130)는 촬상부(110), 저장부(120), 영상 처리부(140) 및 통신부(150)에 대한 전반적인 제어를 수행할 수 있다.
도 3은 도 2에 도시된 영상 처리부의 블록도이다.
도 3을 참조하면, 영상 처리부(140)는 객체 검출부(141), 객체 추적부(142), 조건 판단부(143) 및 마스킹부(144)를 포함하여 구성된다.
객체 검출부(141)는 영상에서 객체를 검출하는 역할을 수행한다. 이를 위하여, 객체 검출부(141)는 객체 검출 모델을 이용할 수 있다. 예를 들어, 객체 검출부(141)는 객체 검출 모델로서 R-CNN 또는 욜로(YOLO; You Only Look Once) 알고리즘을 이용하여 영상에서 객체를 검출할 수 있다. 욜로 알고리즘은 영상에서 객체를 검출하는 속도가 상대적으로 빠르기 때문에 실시간 동영상을 처리하는 감시 카메라에 적당한 인공지능 알고리즘이다. 욜로 알고리즘은 Faster R-CNN, R_FCN 또는 FPN-FRCN와 같은 객체 검출 알고리즘과는 다른 방식으로 동작할 수 있다. 즉, 욜로 알고리즘은 한 장의 입력 영상을 리사이즈(Resize)후 단일 신경망을 단 한 번 통과시켜 결과를 출력할 수 있다. 욜로 알고리즘에 의해 출력된 결과는 각 객체의 위치를 나타내는 바운딩 박스(Bounding Box) 및 해당 객체가 무엇인지에 대한 분류 확률을 포함할 수 있다.
본 발명에서 객체 검출부(141)는 영상에서 목표 객체 및 참조 객체를 검출할 수 있다. 목표 객체 및 참조 객체의 검출을 위한 인공지능 모델 데이터는 감시 장치(100)에 탑재된 데이터를 이용하거나 관리 장치(200)로부터 수신될 수 있다. 객체 검출부(141)는 인공지능 모델을 이용하여 목표 객체 및 참조 객체를 영상에서 검출할 수 있다. 예를 들어, 감시 장치(100)는 관리 장치(200) 또는 사용자 단말기(300)에 의한 사용자 입력을 통해 기존의 감시 장치로는 인식할 수 없었던 객체를 현장에서 새롭게 인식할 수 있다. 예를 들어, 사용자는 감시 장치(100)가 촬영한 영상에서 침대를 신규 인식 객체로 지정할 수 있고, 이러한 사용자 지정에 따라 감시 장치(100)는 탑재된 인공지능 모델을 이용하여 현장 학습을 수행하고, 침대에 대한 인식을 가능하게 할 수 있다. 객체 검출부(141)는 영상에 포함된 객체 중 사람을 검출하여 목표 객체인 것으로 판단하고, 영상에 포함된 객체 중 새롭게 인식이 가능하게 된 침대를 검출하여 참조 객체인 것으로 판단할 수 있다.
객체 추적부(142)는 객체 검출부(141)에 의해 검출된 객체를 추적하는 역할을 수행한다. 예를 들어, 객체 추적부(142)는 딥소트(DeepSORT) 알고리즘을 이용하여 객체를 추적할 수 있다. 객체 검출부(141)가 목표 객체를 검출한 경우 객체 추적부(142)는 해당 목표 객체를 추적할 수 있다.
객체 검출부(141)에 의해 이용되는 욜로 알고리즘 및 객체 추적부(142)에 의해 이용되는 딥소트 알고리즘은 경량화된 인공지능 알고리즘으로서, 상대적으로 적은 연산량으로 영상에 포함된 객체의 검출 및 추적이 수행될 수 있다.
조건 판단부(143)는 목표 객체에 대한 마스킹 조건의 만족 여부를 판단할 수 있다. 예를 들어, 마스킹 조건이 목표 객체와 참조 객체 간의 거리인 경우 조건 판단부(143)는 목표 객체와 참조 객체 간의 거리가 임계 거리의 미만인지 여부를 판단할 수 있다. 또는, 마스킹 조건이 목표 객체와 참조 객체의 중첩 면적인 경우 조건 판단부(143)는 목표 객체와 참조 객체의 중첩 면적이 임계 면적을 초과하는지 여부를 판단할 수 있다.
조건 판단부(143)는 촬상부(110)에 의해 생성되는 영상에 대하여 지속적으로 마스킹 조건의 만족 여부를 판단할 수 있다. 촬상부(110)는 실시간으로 영상으로 생성하여 전달하는데, 조건 판단부(143)는 실시간으로 생성된 영상에 대한 마스킹 조건의 만족 여부를 판단할 수 있는 것이다.
마스킹부(144)는 마스킹 조건이 만족된 목표 객체에 마스킹을 수행할 수 있다. 조건 판단부(143)의 판단 결과에 따라 목표 객체에 대한 마스킹 조건이 만족되는 경우 마스킹부(144)는 해당 목표 객체에 마스킹을 수행할 수 있다. 이에, 목표 객체를 은닉하는 프라이버시 마스크(privacy mask)가 영상에 추가되어 마스킹 영상이 생성될 수 있다.
마스킹부(144)는 목표 객체의 전체 또는 사전에 설정된 일부에 마스킹을 수행할 수 있다. 예를 들어, 목표 객체가 사람인 경우 마스킹부(144)는 사람의 전신을 은닉하는 프라이버시 마스크를 생성하여 영상에 추가하거나, 머리를 은닉하는 프라이버시 마스크를 생성하여 영상에 추가할 수 있다.
마스킹부(144)는 목표 객체에 대하여 마스킹이 수행된 이후에 마스킹 조건이 만족되지 않는 경우에도 목표 객체에 대한 마스킹을 유지할 수 있다. 예를 들어, 목표 객체와 참조 객체 간의 거리가 임계 거리의 미만임에 따라 마스킹부(144)는 목표 객체에 마스킹을 수행할 수 있다. 이후에 목표 객체와 참조 객체 간의 거리가 임계 거리의 이상으로 전환될 수 있다. 이러한 경우 마스킹부(144)는 해당 목표 객체에 대한 마스킹을 유지할 수 있다. 또는, 목표 객체와 참조 객체의 중첩 면적이 임계 면적을 초과함에 따라 마스킹부(144)는 목표 객체에 마스킹을 수행할 수 있다. 이후에 목표 객체와 참조 객체의 중첩 면적이 임계 면적의 이하로 전환될 수 있다. 이러한 경우 마스킹부(144)는 해당 목표 객체에 대한 마스킹을 유지할 수 있다.
사생활의 보호를 필요로 하는 목표 객체가 발견된 경우 마스킹부(144)는 지속적으로 마스킹을 수행하여 해당 목표 객체의 사생활이 보호되도록 할 수 있다.
도 4는 영상에 객체가 포함된 것을 나타낸 도면이고, 도 5는 영상에서 객체가 검출된 것을 나타낸 도면이다.
도 4 및 도 5를 참조하면, 영상(400)은 객체(500)를 포함할 수 있으며, 객체 검출부(141)는 영상(400)에 포함된 객체(500)를 검출할 수 있다.
R-CNN 또는 욜로 알고리즘을 이용하여 객체(500)를 검출하는 객체 검출부(141)는 객체(500)에 제1 영역(610) 및 제2 영역(620)을 설정할 수 있다. 제1 영역(610)은 객체(500)의 전체 몸체에 설정되고, 제2 영역(620)은 객체(500)의 일부 몸체에 설정될 수 있다.
객체(500)는 사람을 포함하고, 객체(500)의 일부 몸체는 사람의 머리를 포함할 수 있다. 이러한 경우 객체 검출부(141)는 사람의 전체 몸체에 제1 영역(610)을 설정하고, 사람의 머리에 제2 영역(620)을 설정할 수 있다.
도 4 및 도 5는 영상(400)에 하나의 객체(500)가 포함된 것을 도시하고 있으나, 영상(400)에 복수의 객체(500)가 포함될 수도 있다. 이러한 경우 객체 검출부(141)는 복수의 객체(500)에 대한 검출을 동시에 수행할 수 있다.
객체 검출부(141)에 의해 객체가 검출된 경우 객체 추적부(142)는 영상(400) 내에서 객체(500)를 추적할 수 있다.
객체 추적부(142)가 객체(500)를 추적함에 따라 객체 검출부(141)에 의해 설정된 제1 영역(610) 및 제2 영역(620)도 객체(500)와 함께 영상(400) 내에서 이동할 수 있다.
도 6은 영상에 목표 객체 및 참조 객체가 포함된 것을 나타낸 도면이고, 도 7은 목표 객체가 참조 객체에 중첩된 것을 나타낸 도면이고, 도 8은 목표 객체에 마스킹이 수행된 것을 나타낸 도면이다.
도 6을 참조하면, 영상(400)은 목표 객체(510) 및 참조 객체(520)를 포함할 수 있다.
객체 검출부(141)는 인공지능 알고리즘을 이용하여 영상(400)에서 객체를 검출할 수 있다. 객체 검출부(141)에 의해 검출된 객체는 목표 객체(510) 및 참조 객체(520)를 포함할 수 있다. 영상(400)이 목표 객체(510) 및 참조 객체(520)를 포함하는 경우 객체 검출부(141)는 이를 모두 검출할 수 있다.
도 7을 참조하면, 목표 객체(510)가 이동하여 참조 객체(520)에 중첩될 수 있다.
조건 판단부(143)는 목표 객체(510)에 대한 마스킹 조건 만족 여부를 지속적으로 판단할 수 있다. 마스킹 조건은 목표 객체(510)와 참조 객체(520)의 중첩 면적(A)일 수 있다.
목표 객체(510)와 참조 객체(520)의 중첩 면적(A)이 임계 면적을 초과하는 경우 조건 판단부(143)는 해당 목표 객체(510)가 마스킹 대상임을 마스킹부(144)에 통지할 수 있다.
도 8을 참조하면, 마스킹부(144)는 마스킹 대상인 목표 객체(510)에 마스킹을 수행할 수 있다.
마스킹부(144)는 도 8에 도시된 바와 같이 목표 객체(510)의 전체에 마스킹을 수행하거나, 도시되어 있지는 않으나 목표 객체(510)의 일부에 마스킹을 수행할 수 있다. 마스킹이 수행되는 목표 객체(510)의 일부는 사전에 설정된 것으로 목표 객체(510)가 사람인 경우 머리가 목표 객체(510)의 일부일 수 있다.
마스킹이 수행됨에 따라 목표 객체(510)의 전체 또는 일부를 은닉하는 프라이버시 마스크(PM)가 영상(400)에 추가될 수 있다.
프라이버시 마스크(PM)가 추가된 영상 즉, 마스킹 영상(401)은 통신부(150)를 통해 관리 장치(200)로 송신되고, 관리 장치(200)는 목표 객체(510)에 대한 영상 정보가 제거된 마스킹 영상(401)을 수신하게 된다. 또는, 감시 장치(100)는 마스킹 처리 없이 목표 객체(510)와 참조 객체(520)가 포함된 영상과 객체에 대한 속성 정보만을 관리 장치(200)로 송신하고, 관리 장치(200)가 수신된 영상에 마스킹 처리를 수행하여 마스킹 영상(401)을 생성할 수도 있다.
도 9는 목표 객체에 대한 마스킹이 유지되는 것을 나타낸 도면이다.
도 9를 참조하면, 일단 목표 객체(510)에 대한 마스킹이 수행된 경우 마스킹부(144)는 해당 목표 객체(510)에 대한 마스킹을 유지할 수 있다.
목표 객체(510)에 대한 마스킹이 수행되기 이전의 상태는 해당 목표 객체(510)가 마스킹 대상인지 여부가 확인되지 않은 상태일 수 있다. 따라서, 목표 객체(510)에 마스킹이 수행되지 않은 영상(400)이 관리 장치(200)로 송신될 수 있다.
한편, 목표 객체(510)에 대한 마스킹이 수행된 상태는 해당 목표 객체(510)가 마스킹 대상임이 확인된 상태를 나타낸다. 따라서, 일단 마스킹 대상인 목표 객체(510)에 마스킹이 수행된 이후에는 마스킹부(144)는 해당 목표 객체(510)에 대한 마스킹을 유지하여 해당 목표 객체(510)의 사생활이 보호되도록 할 수 있다.
도 10은 복수의 목표 객체가 참조 객체에 중첩된 것을 나타낸 도면이다.
도 10을 참조하면, 복수의 목표 객체(511, 512)가 참조 객체(520)에 중첩될 수 있다.
조건 판단부(143)는 각각의 목표 객체(511, 512)별로 마스킹 조건의 만족 여부를 판단할 수 있다. 그리하여, 마스킹 조건을 만족한 목표 객체를 마스킹 대상으로 판단하고, 마스킹부(144)에 통지할 수 있다.
한편, 하나의 참조 객체(520)에 대하여 복수의 목표 객체(511, 512)를 마스킹 대상으로 판단하는 경우 불필요하게 정보를 은닉하게 될 수 있다. 예를 들어, 환자의 신원은 보호되어야 하지만 의사 또는 간호사의 신원은 노출되어도 무방할 수 있는 것이다.
이에, 마스킹부(144)는 영상(400)에 마스킹 조건을 만족하는 목표 객체가 복수 개 포함되는 경우 마스킹 조건을 최초로 만족한 목표 객체에만 마스킹을 수행할 수 있다. 대체로, 사생활의 보호 대상인 목표 객체가 참조 객체(520)에 우선적으로 근접할 가능성이 크기 때문에 마스킹부(144)는 마스킹 조건을 최초로 만족한 목표 객체에만 마스킹을 수행하는 것이다.
그러나, 복수의 목표 객체(511, 512) 중 하나의 목표 객체에만 마스킹을 수행하는 것은 예시적인 것으로서 본 발명의 몇몇 실시예에 따르면 마스킹부(144)는 마스킹 조건을 만족하는 복수의 목표 객체(511, 512) 전부에 대하여 마스킹을 수행할 수도 있다.
도 11은 영상에 미설정 객체가 포함된 것을 나타낸 도면이고, 도 12는 사용자에 의해 설정된 목표 객체가 참조 객체에 중첩된 것을 나타낸 도면이며, 도 13은 목표 객체에 마스킹이 수행된 것을 나타낸 도면이다.
도 11을 참조하면, 영상(400)은 미설정 객체(530)를 포함할 수 있다.
본 발명에서 미설정 객체(530)는 목표 객체 또는 참조 객체로 설정되지 않은 객체를 나타낸다. 즉, 미설정 객체(530)는 감시 장치(100)가 사용자의 추가적인 설정이 없는 상태에서는 인식할 수 없는 객체를 나타낸다.
사용자는 사용자 단말기(300) 또는 관리 장치(200)에 연결된 콘솔 등을 이용하여 영상(400)에 포함된 미설정 객체(530)를 목표 객체 또는 참조 객체로 설정할 수 있다. 이를 위하여, 사용자는 영상(400)에 포함된 미설정 객체(530)를 선택할 수 있다. 예를 들어, 사용자는 미설정 객체(530)의 적어도 일부가 포함된 선택 박스(630)를 영상(400)에 형성할 수 있다. 선택 박스(630)에 포함된 미설정 객체(530)는 감시 장치(100)에 탑재된 인공지능 모델을 통해 새롭게 인식해야 할 객체로 지정 및 학습되고, 학습이 완료된 미설정 객체(530)는 영상(400)에서 새롭게 인식 가능하게 된다. 이처럼 현장 학습을 통해 감시 장치(100)는 현장에서 촬영된 영상(400)으로부터 사용자가 새롭게 인식하길 희망하는 객체를 학습하여 인식할 수 있고, 새롭게 인식된 객체를 목표 객체 또는 참조 객체로 지정할 수 있게 된다.
도 11은 동일한 종류인 2개의 미설정 객체(530)가 영상(400)에 포함된 것을 도시하고 있다. 미설정 객체(530)가 사용자 지정에 의해 현장에서 새롭게 학습되고 인식됨으로써 감시 장치(100)는 2개의 미설정 객체(530) 모두를 목표 객체 또는 참조 객체로서 인식할 수 있다. 이하, 2개의 미설정 객체(530)가 참조 객체로 설정된 것을 위주로 설명하기로 한다.
도 12 및 도 13에 도시된 바와 같이 목표 객체(510)가 새롭게 설정된 참조 객체에 근접하거나 중첩된 경우 감시 장치(100)는 목표 객체(510)를 은닉하는 프라이버시 마스크(PM)를 영상(400)에 추가하여 마스킹 영상(401)을 생성할 수 있다.
이와 같은 방식으로 사용자는 영상(400)에 포함된 미설정 객체(530)를 간편하게 목표 객체 또는 참조 객체로 설정할 수 있다.
이상은 미설정 객체(530)에 대한 인공지능 모델 데이터가 관리 장치(200)에 의해 생성되는 것을 설명하였으나, 본 발명의 몇몇 실시예에 따르면 미설정 객체(530)에 대한 인공지능 모델 데이터는 감시 장치(100) 또는 사용자 단말기(300)에 의해 생성될 수도 있다. 예를 들어, 감시 장치(100)의 제어부(130)는 미설정 객체(530)에 대한 인공지능 모델 데이터를 생성할 수 있다. 이러한 경우 감시 장치(100)는 자체적으로 생성한 인공지능 모델 데이터를 이용하거나 사용자 단말기(300)로부터 제공된 인공지능 모델 데이터를 이용하여 목표 객체 또는 참조 객체를 검출할 수 있다.
도 14는 본 발명의 실시예에 따른 감시 방법의 흐름도이다.
도 14를 참조하면, 마스킹 영상(401)을 생성하기 위하여 우선 감시 장치(100)의 촬상부(110)는 감시 영역을 촬영하여 영상(400)을 생성할 수 있다.
촬상부(110)에 의해 생성된 영상(400)에는 복수의 객체가 포함될 수 있다. 복수의 객체 중에는 목표 객체(510) 및 참조 객체(520)가 포함될 수 있다. 객체 검출부(141)는 영상(400)에 포함된 객체 중 목표 객체(510) 및 참조 객체(520)를 검출하고, 객체 추적부(142)는 객체 검출부(141)에 의해 검출된 목표 객체(510) 및 참조 객체(520)를 지속적으로 추적할 수 있다.
조건 판단부(143)는 목표 객체(510)에 대한 마스킹 조건의 만족 여부를 판단할 수 잇다. 마스킹 조건은 영상(400)에 포함된 목표 객체(510)와 참조 객체(520) 간의 거리 및 중첩 면적 중 적어도 하나를 포함할 수 있다.
영상(400)에 포함된 목표 객체(510)에 대한 마스킹 조건이 만족되는 경우 마스킹부(144)는 목표 객체(510)에 마스킹을 수행할 수 있다. 목표 객체(510)는 프라이버시 마스크(PM)에 의해 은닉될 수 있으며, 마스킹 영상(401)은 관리 장치(200)로 송신될 수 있다. 관리 장치(200)는 목표 객체(510)에 대한 영상 정보가 제거된 마스킹 영상(401)만을 보유하기 때문에 관리 장치(200)에 접속한 사용자에게 목표 객체(510)에 대한 영상 정보가 노출되지 않을 수 있다. 또한, 본 발명에 따르면 현장에서 필요에 따라 객체를 새롭게 인식 가능하도록 학습하여 새롭게 인식된 객체와의 중첩이나 거리 관계를 이용하여 새로운 형태의 마스킹이 가능해지는 효과가 있다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 감시 시스템 100: 감시 장치
200: 관리 장치 300: 사용자 단말기
400: 통신망 110: 촬상부
120: 저장부 130: 제어부
140: 영상 처리부 150: 통신부
141: 객체 검출부 142: 객체 추적부
143: 조건 판단부 144: 마스킹부

Claims (6)

  1. 감시 영역을 촬영하여 영상을 생성하는 촬상부; 및
    상기 영상에 포함된 목표 객체에 대한 마스킹 조건이 만족되는 경우 상기 목표 객체에 마스킹을 수행하는 영상 처리부를 포함하되,
    상기 마스킹 조건은 상기 영상에 포함된 목표 객체와 참조 객체 간의 거리 및 중첩 면적 중 적어도 하나를 포함하는 감시 장치.
  2. 제1 항에 있어서,
    상기 영상 처리부는,
    상기 영상에서 상기 목표 객체 및 참조 객체를 검출하는 객체 검출부; 및
    상기 검출된 목표 객체를 추적하는 객체 추적부를 포함하는 감시 장치.
  3. 제1 항에 있어서,
    상기 영상 처리부는 상기 마스킹 조건이 만족된 목표 객체에 마스킹을 수행하는 마스킹부를 포함하고,
    상기 마스킹부는 상기 목표 객체의 전체 또는 사전에 설정된 일부에 마스킹을 수행하는 감시 장치.
  4. 제3 항에 있어서,
    상기 마스킹부는 상기 목표 객체에 대하여 마스킹이 수행된 이후에 마스킹 조건이 만족되지 않는 경우에도 상기 목표 객체에 대한 마스킹을 유지하는 감시 장치.
  5. 제3 항에 있어서,
    상기 마스킹부는 상기 영상에 마스킹 조건을 만족하는 목표 객체가 복수 개 포함되는 경우 마스킹 조건을 최초로 만족한 목표 객체에만 마스킹을 수행하는 감시 장치.
  6. 감시 영역을 촬영하여 영상을 생성하는 단계; 및
    상기 영상에 포함된 목표 객체에 대한 마스킹 조건이 만족되는 경우 상기 목표 객체에 마스킹을 수행하는 단계를 포함하되,
    상기 마스킹 조건은 상기 영상에 포함된 목표 객체와 참조 객체 간의 거리 및 중첩 면적 중 적어도 하나를 포함하는 감시 방법.
KR1020220121340A 2022-09-26 2022-09-26 감시 장치 및 방법 KR20240042706A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220121340A KR20240042706A (ko) 2022-09-26 2022-09-26 감시 장치 및 방법
PCT/KR2023/014617 WO2024071888A1 (ko) 2022-09-26 2023-09-25 감시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220121340A KR20240042706A (ko) 2022-09-26 2022-09-26 감시 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20240042706A true KR20240042706A (ko) 2024-04-02

Family

ID=90478551

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220121340A KR20240042706A (ko) 2022-09-26 2022-09-26 감시 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20240042706A (ko)
WO (1) WO2024071888A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220103760A1 (en) 2020-09-30 2022-03-31 Stryker Corporation Privacy controls for cameras in healthcare environments

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101237975B1 (ko) * 2011-03-15 2013-02-28 삼성테크윈 주식회사 영상 처리 장치
KR101215948B1 (ko) * 2012-04-02 2012-12-27 주식회사 뉴인테크 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
EP2662827B1 (en) * 2012-05-08 2016-01-13 Axis AB Video analysis
KR102474697B1 (ko) * 2016-08-09 2022-12-05 한화테크윈 주식회사 촬상 장치 및 영상 처리 방법
KR102301239B1 (ko) * 2020-05-07 2021-09-09 에스케이텔레콤 주식회사 지능형 카메라 영상에 대한 프라이버시 마스킹장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220103760A1 (en) 2020-09-30 2022-03-31 Stryker Corporation Privacy controls for cameras in healthcare environments

Also Published As

Publication number Publication date
WO2024071888A1 (ko) 2024-04-04

Similar Documents

Publication Publication Date Title
WO2020057346A1 (zh) 视频监控方法及装置、监控服务器及视频监控系统
WO2020057355A1 (zh) 一种三维建模的方法及其装置
KR101425505B1 (ko) 객체인식기술을 이용한 지능형 경계 시스템의 감시 방법
US8451329B2 (en) PTZ presets control analytics configuration
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
JP7553601B2 (ja) プライバシーを保護するための方法、デバイス、およびシステム
KR101890589B1 (ko) 사생활 보호 영상 처리 시스템 및 방법
KR101317961B1 (ko) 스마트기기와 cctv를 활용한 재난 및 방범 관리 시스템
KR101442669B1 (ko) 지능형 객체감지를 통한 범죄행위 판별방법 및 그 장치
KR102078265B1 (ko) 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법
KR102077632B1 (ko) 로컬 영상분석과 클라우드 서비스를 활용하는 하이브리드 지능형 침입감시 시스템
KR101834882B1 (ko) 광학영상카메라와 열영상카메라가 일체형으로 구성되어 객체를 감지하는 카메라 장치
KR102046591B1 (ko) 영상 감시 시스템 및 영상 감시방법
CN106572324A (zh) 一种节能型智能监控装置
KR20240042706A (ko) 감시 장치 및 방법
KR101589823B1 (ko) 이벤트 상황을 효율적으로 검색하기 위한 가변형 디스플레이 환경을 제공하는 cctv모니터링 시스템
JP2008219452A (ja) カメラ監視装置
KR102183689B1 (ko) 실시간 영상의 객체 마스킹 처리 시스템 및 이를 이용한 마스킹 처리 방법
JPH04257190A (ja) 移動物体追跡表示装置
KR101513467B1 (ko) 스쿨존 cctv 감시장치 성능개선 시스템
KR20220003779A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
KR102613443B1 (ko) 선택적으로 개인정보를 비식별화할 수 있는 인공지능 영상 감시장치
KR20160074811A (ko) 가상라인을 이용하여 방향별 발생 이벤트를 감지할 수 있는 cctv모니터링 시스템 및 그 방법
KR101269081B1 (ko) 영상분석을 이용한 폭력방지 시스템
KR102568495B1 (ko) 엣지 컴퓨팅 기술을 이용하여 실시간 모자이킹이 가능한 인공지능 카메라