KR102614012B1 - 영상처리장치 및 그의 영상제공방법 - Google Patents

영상처리장치 및 그의 영상제공방법 Download PDF

Info

Publication number
KR102614012B1
KR102614012B1 KR1020160148189A KR20160148189A KR102614012B1 KR 102614012 B1 KR102614012 B1 KR 102614012B1 KR 1020160148189 A KR1020160148189 A KR 1020160148189A KR 20160148189 A KR20160148189 A KR 20160148189A KR 102614012 B1 KR102614012 B1 KR 102614012B1
Authority
KR
South Korea
Prior art keywords
privacy
image
mode
area
touch
Prior art date
Application number
KR1020160148189A
Other languages
English (en)
Other versions
KR20180051191A (ko
Inventor
장세미
Original Assignee
한화비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화비전 주식회사 filed Critical 한화비전 주식회사
Priority to KR1020160148189A priority Critical patent/KR102614012B1/ko
Priority to US16/345,818 priority patent/US10819904B2/en
Priority to PCT/KR2016/013400 priority patent/WO2018088608A1/ko
Priority to EP16921406.1A priority patent/EP3540620B1/en
Publication of KR20180051191A publication Critical patent/KR20180051191A/ko
Application granted granted Critical
Publication of KR102614012B1 publication Critical patent/KR102614012B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4753—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for user identification, e.g. by entering a PIN or password
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Abstract

본 실시예들은 영상처리장치 및 그의 영상제공방법을 개시한다.
본 발명의 일 실시예에 따른 영상처리장치의 영상제공방법은, 등록된 복수의 객체들 각각의 프라이버시 모드를 설정하는 단계; 카메라로부터 모니터링 영역의 제1 영상을 획득하는 단계; 상기 복수의 객체들 중 상기 모니터링 영역에 최초 출현한 객체의 프라이버시 모드로 전환하는 단계; 및 상기 프라이버시 모드에서, 나머지 객체들 중 적어도 하나로부터의 상기 제1 영상의 요청에 응답하여, 상기 제1 영상에서 상기 출현한 객체에 의해 미리 설정된 프라이버시 영역이 처리된 제2 영상을 생성하는 단계;를 포함한다.

Description

영상처리장치 및 그의 영상제공방법{Aapparatus of processing image and method of providing image thereof}
본 실시예들은 영상처리장치 및 그의 영상제공방법에 관한 것이다.
최근 많은 웹 상의 서비스 증가에 따라 보안 이슈가 크게 대두되고 있으며, 이러한 보안 문제로 인해 보안 카메라의 개인 생활 침해 문제 및 해킹에 대한 두려움 등이 제기되고 있다.
국내 공개특허공보 제2013-0003886호
본 발명의 실시예들은 프라이버시 침해와 보안의 어느 한쪽에 치우치지 않고 모두 만족할 수 있는 보안 시스템을 제공하고자 한다.
본 발명의 일 실시예에 따른 영상처리장치의 영상제공방법은, 등록된 복수의 객체들 각각의 프라이버시 모드를 설정하는 단계; 카메라로부터 모니터링 영역의 제1 영상을 획득하는 단계; 상기 복수의 객체들 중 상기 모니터링 영역에 최초 출현한 객체의 프라이버시 모드로 전환하는 단계; 및 상기 프라이버시 모드에서, 나머지 객체들 중 적어도 하나로부터의 상기 제1 영상의 요청에 응답하여, 상기 제1 영상에서 상기 출현한 객체에 의해 미리 설정된 프라이버시 영역이 처리된 제2 영상을 생성하는 단계;를 포함한다.
상기 프라이버시 영역은, 상기 제1 영상의 전체, 상기 제1 영상의 일부 및 상기 출현한 객체 중 하나일 수 있다.
상기 프라이버시 영역의 크기, 형태 및 위치 중 적어도 하나가 상기 제1 영상 내에서 변경될 수 있다.
상기 프라이버시 모드 전환 단계는, 상기 출현한 객체에 의해 미리 설정된, 상기 제1 영상에서 상기 출현한 객체의 검출, 상기 출현한 객체의 음성인식 및 상기 출현한 객체의 얼굴인식 중 하나를 만족하면, 상기 출현한 객체에 설정된 프라이버시 모드로 전환하는 단계;를 포함할 수 있다.
상기 방법은, 상기 복수의 객체들 중 적어도 하나의 객체의 단말로부터 화면에 제공된 메뉴 숨김 상태를 나타내는 표식의 제1 터치를 검출하고, 상기 제1 터치의 위치를 중심으로 하는 적어도 하나의 메뉴가 표시된 휠 키를 상기 화면에 제공하는 단계; 및 상기 휠 키 상의 제2 터치를 검출하고, 상기 제2 터치의 위치에 대응하는 메뉴의 기능을 수행하는 단계;를 포함할 수 있다.
상기 메뉴 기능 수행 단계는, 상기 제2 터치의 위치에 대응하는 메뉴가 프라이버시 설정인 경우, 상기 프라이버시 모드로의 전환 조건 및 상기 프라이버시 영역의 설정을 포함하는 프라이버시 정보를 수신하는 단계; 및 상기 프라이버시 정보를 상기 터치를 입력한 객체에 매칭시키는 단계;를 포함할 수 있다.
상기 프라이버시 정보 수신 단계는, 상기 제1 영상과 오버랩하여 영역 지정을 위한 블록을 제공하는 단계; 및 상기 제1 영상에서 상기 블록이 둘러싸는 영역 또는 상기 블록이 둘러싸는 영역 외의 영역을 상기 프라이버시 영역으로 지정하는 입력을 수신하는 단계;를 포함할 수 있다.
상기 메뉴 기능 수행 단계는, 상기 제2 터치의 위치에 대응하는 메뉴가 이벤트 열람인 경우, 상기 프라이버시 영역에서 발생한 이벤트인 프라이버시 이벤트의 요청을 수신하면 상기 프라이버시 이벤트를 요청하는 객체의 인증을 요청하는 단계; 및 상기 프라이버시 이벤트를 요청하는 객체가 상기 출현한 객체로 인증되면 상기 프라이버시 이벤트 열람을 허용하는 단계;를 포함할 수 있다.
상기 방법은, 상기 복수의 객체들 중 적어도 하나의 객체의 단말로부터 화면에 제공된 메뉴 숨김 상태를 나타내는 표식의 제3 터치를 검출하고, 상기 제3 터치에 응답하여 상기 제1 영상과 오버랩하여 내비게이션 키를 제공하는 단계; 및 상기 내비게이션 키의 제4 터치를 검출하고, 상기 제4 터치에 대응하는 좌표 값으로 상기 카메라의 뷰를 제어하는 단계;를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상처리장치는, 등록된 복수의 객체들 각각의 프라이버시 모드를 설정하는 설정부; 상기 복수의 객체들 중 상기 모니터링 영역에 최초 출현한 객체의 프라이버시 모드로 전환하는 모드 전환부; 및 상기 프라이버시 모드에서, 객체들 중 적어도 하나로부터의 카메라로부터 획득한 모니터링 영역의 제1 영상 요청에 응답하여, 상기 제1 영상에서 상기 출현한 객체에 의해 미리 설정된 프라이버시 영역이 처리된 제2 영상을 생성하는 마스킹부;를 포함한다.
상기 프라이버시 영역은, 상기 제1 영상의 전체, 상기 제1 영상의 일부 및 상기 출현한 객체 중 하나일 수 있다.
상기 프라이버시 영역의 크기, 형태 및 위치 중 적어도 하나가 상기 제1 영상 내에서 변경될 수 있다.
상기 모드 전환부는, 상기 출현한 객체에 의해 미리 설정된, 상기 제1 영상에서 상기 출현한 객체의 검출, 상기 출현한 객체의 음성인식 및 상기 출현한 객체의 얼굴인식 중 하나를 만족하면, 상기 출현한 객체에 설정된 프라이버시 모드로 전환할 수 있다.
상기 설정부는, 상기 복수의 객체들 중 적어도 하나의 객체의 단말로부터 화면에 제공된 메뉴 숨김 상태를 나타내는 표식의 제1 터치를 검출하고, 상기 제1 터치의 위치를 중심으로 하는 적어도 하나의 메뉴가 표시된 휠 키를 상기 화면에 제공하고, 상기 휠 키 상의 제2 터치를 검출하고, 상기 제2 터치의 위치에 대응하는 메뉴의 기능을 수행할 수 있다.
상기 설정부는, 상기 제2 터치의 위치에 대응하는 메뉴가 프라이버시 설정인 경우, 상기 프라이버시 모드로의 전환 조건 및 상기 프라이버시 영역의 설정을 포함하는 프라이버시 정보를 수신하고, 상기 프라이버시 정보를 상기 터치를 입력한 객체에 매칭시킬 수 있다.
상기 설정부는, 상기 제1 영상과 오버랩하여 영역 지정을 위한 블록을 제공하고, 상기 제1 영상에서 상기 블록이 둘러싸는 영역 또는 상기 블록이 둘러싸는 영역 외의 영역을 상기 프라이버시 영역으로 지정하는 입력을 수신할 수 있다.
상기 설정부는, 상기 제2 터치의 위치에 대응하는 메뉴가 이벤트 열람인 경우, 상기 프라이버시 영역에서 발생한 이벤트인 프라이버시 이벤트의 요청을 수신하면 상기 프라이버시 이벤트를 요청하는 객체의 인증을 요청하고, 상기 프라이버시 이벤트를 요청하는 객체가 상기 출현한 객체로 인증되면 상기 프라이버시 이벤트 열람을 허용할 수 있다.
상기 설정부는, 상기 복수의 객체들 중 적어도 하나의 객체의 단말로부터 화면에 제공된 메뉴 숨김 상태를 나타내는 표식의 제3 터치를 검출하고, 상기 제3 터치에 응답하여 상기 제1 영상과 오버랩하여 내비게이션 키를 제공하고, 상기 내비게이션 키의 제4 터치를 검출하고, 상기 제4 터치에 대응하는 좌표 값으로 상기 카메라의 뷰를 제어할 수 있다.
본 발명의 실시예들은 프라이버시 침해와 보안의 어느 한쪽에 치우치지 않고 모두 만족할 수 있는 보안 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 보안 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상처리장치의 구성을 개략적으로 도시한 블록도이다.
도 3 내지 도 16은 본 발명의 일 실시예에 따른 영상처리장치가 사용자 단말에 제공하는 프라이버시 기능의 일 예를 나타내는 도면이다.
도 17은 본 발명의 일 실시예에 따른 영상처리장치가 사용자 단말에 제공하는 메뉴 실행 방법을 설명하는 흐름도이다.
도 18은 본 발명의 일 실시예에 따른 영상처리장치의 프라이버시 기능 설정 방법을 설명하는 흐름도이다.
도 19는 본 발명의 일 실시예에 따른 영상처리장치의 프라이버시 모드 수행 방법을 설명하는 흐름도이다.
도 20은 본 발명의 일 실시예에 따른 이벤트 열람 방법을 설명하는 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 보안 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 보안 시스템(1)은 카메라 그룹(10), 센서 그룹(30), 단말 그룹(50) 및 영상처리장치(70)를 포함할 수 있다.
카메라 그룹(10)은 적어도 하나의 카메라(CAM1 내지 CAMn)를 포함할 수 있다. 적어도 하나의 카메라(CAM1 내지 CAMn)는 특정 장소의 고정된 위치에 배치되고, 팬(Pan)/틸트(Tilt)/줌(Zoom) 기능을 갖는 PTZ 카메라일 수 있다. 적어도 하나의 카메라(CAM1 내지 CAMn)는 구동장치에 의하여 패닝 및/또는 틸팅 회전하거나, 줌 렌즈를 줌-인 또는 줌-아웃 하여 줌 배율을 조정하면서, 다양한 영상을 획득할 수 있다. 적어도 하나의 카메라(CAM1 내지 CAMn)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외 또는 공원 등의 야외에 설치되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다.
적어도 하나의 카메라(CAM1 내지 CAMn)는 자신에게 할당된 영역을 감시하면서 객체를 탐지할 수 있다. 적어도 하나의 카메라(CAM1 내지 CAMn)에는 고유 식별 정보로서 ID가 부여될 수 있다. 적어도 하나의 카메라(CAM1 내지 CAMn)는 인증되지 않은 객체가 탐지된 경우 객체를 추적하고, 이벤트 발생 신호를 영상처리장치(70) 및/또는 단말 그룹(50)의 적어도 하나의 단말(UE1 내지 UEn)로 출력할 수 있다.
센서 그룹(30)은 적어도 하나의 센서(SEN1 내지 SENn)를 포함할 수 있다. 적어도 하나의 센서(SEN1 내지 SENn)는 상이한 감지 데이터를 획득하는 다수의 이기종 센서들일 수 있다. 적어도 하나의 센서(SEN1 내지 SENn)는 오디오 센서, 모션 센서, 지문 센서, 홍채 센서 등을 포함할 수 있다. 적어도 하나의 센서(SEN1 내지 SENn)는 적어도 하나의 카메라(CAM1 내지 CAMn)와 페어를 이루는 상태로 설치될 수 있다. 그러나, 적어도 하나의 카메라(CAM1 내지 CAMn)가 모션 인식 및 추적 기능을 갖는 경우 적어도 하나의 센서(SEN1 내지 SENn)는 독립적으로 설치될 수 있다.
단말 그룹(50)은 적어도 하나의 사용자 단말(UE1 내지 UEn)을 포함할 수 있다. 적어도 하나의 사용자 단말(UE1 내지 UEn)은 고유 식별 정보로서 ID가 부여될 수 있다. ID는 얼굴, 음성, 지문, 홍채 등의 개인을 인증하는 생체 정보와 매핑될 수 있다. 적어도 하나의 사용자 단말(UE1 내지 UEn)은 각 사용자로부터의 입력을 수신하여 영상처리장치(70)로 전달하고, 영상처리장치(70)로부터 수신한 데이터를 화면에 표시할 수 있다.
적어도 하나의 사용자 단말(UE1 내지 UEn)은 노트북, 핸드헬드 장치, 스마트폰, 탭 등의 모바일 단말, 데스크 탑 컴퓨터, 또는 이러한 장치를 이용하거나 직접적으로 또는 간접적으로 이와 연결된 임의의 적절한 장치일 수 있다.
영상처리장치(70)는 카메라 그룹(10) 및/또는 센서 그룹(30)으로 입력되는 영상 및 감지 데이터를 수신할 수 있다. 영상처리장치(70)는 본 발명의 실시예들에 따른 프라이버시 기능을 수행할 수 있다. 영상처리장치(70)는 수신한 영상을 분석하고, 영상의 일부 또는 전부에 대한 블라인드 처리를 수행할 수 있다. 영상처리장치(70)는 수신한 원본 영상 및 블라인드 처리된 영상을 저장할 수 있다. 영상처리장치(70)는 사용자에게 설정된 액세스 권한에 따라 원본 영상 및/또는 블라인드 처리된 영상을 적어도 하나의 사용자 단말(UE1 내지 UEn)에 선택적으로 제공할 수 있다. 영상처리장치(70)는 수신한 영상 및/또는 감지 데이터를 분석하고 이벤트를 검출할 수 있다. 영상처리장치(70)는 이벤트가 검출되면 적어도 하나의 단말(UE1 내지 UEn)에 알람을 제공할 수 있다.
영상처리장치(70)는 적어도 하나의 사용자 단말(UE1 내지 UEn)로부터 ID/패스워드, 생체 정보, 패턴 중 적어도 하나를 수신하고, 기 저장된 ID/패스워드, 생체 정보, 패턴과 비교하여 사용자를 인증할 수 있다.
영상처리장치(70)는 적어도 하나의 카메라(CAM1 내지 CAMn) 및/또는 적어도 하나의 센서(SEN1 내지 SENn)로부터 입력되는 생체 정보를 수신하고, 사용자를 식별할 수 있다. 영상처리장치(70)는 식별된 사용자가 설정한 프라이버시 기능을 수행할 수 있다.
일 실시예에서, 영상처리장치(70)는 적어도 하나의 카메라(CAM1 내지 CAMn)에 내장된 마이크로 칩이나, 마이크로 칩을 구비하는 회로 보드로 구현될 수 있다.
다른 실시예에서, 영상처리장치(70)는 적어도 하나의 카메라(CAM1 내지 CAMn), 적어도 하나의 센서(SEN1 내지 SENn) 및 적어도 하나의 사용자 단말(UE1 내지 UEn)과 통신 네트워크, 예를 들면, LAN, TCP/IP로 연결될 수 있다. 통신 네트워크는 유선 네트워크 및 3G, 4G(LTE), 와이파이(WiFi), 와이브로(Wibro), 와이맥스(Wimax) 등과 같은 무선 인터넷 및 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등의 근거리 통신을 포함하는 무선 네트워크를 포함할 수 있다. 영상처리장치(70)는 와이파이(Wi-Fi) 통신 방식 및/또는 LTE 통신 방식을 지원하는 무선 접속 장치, 게이트웨이 등의 중계 장치, 디지털 비디오 레코더(DVR: digital video recorder) 또는 네트워크 비디오 레코더(NVR: network video recorder) 등의 레코딩 장치, 인터넷 상에서 저장 기능을 제공하는 클라우드 컴퓨팅 장치 등일 수 있다.
영상처리장치(70)를 구성하는 구성요소들 중 적어도 일부가 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈 중 적어도 하나 이상을 포함하는 소프트웨어나 회로들로 구현될 수 있다.
일반적인 프라이버시 기능은 단지 집안 구성원이 집안에 들어오면 카메라가 오프되거나 카메라의 방향을 집 밖이나 특정 방향으로 돌리는 기능이다. 이 경우 마침 그때에 범죄가 일어났다면 카메라가 영상을 저장하지 못해 보안 카메라의 목적상 설치 의도를 벗어나는 문제가 발생할 수 있다. 즉, 사용자는 사생활 보호 및 보안을 양자택일해야 하는 상황에 놓이게 될 수 있다. 사용자 혼자 집에 있고 타인이 접속을 시도할 경우, 알람에 의해 접속을 차단시키는 기능 등을 예상할 수 있으나, 이 역시 편하게 휴식하고 싶은 사용자에게 지속적으로 알람이 뜨는 문제가 발생하여, 수시로 휴식을 방해받을 수 있다.
본 발명의 실시예는 등록 구성원 중 한 명이 모니터링 영역에 혼자 있는 경우 보안을 유지하면서 개인의 프라이버시를 보호받고자 하는 경우 적용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상처리장치의 구성을 개략적으로 도시한 블록도이다.
도 2를 참조하면, 영상처리장치(70)는 통신부(701), 분석부(702), 모드 전환부(703), 마스킹부(704), 이벤트 관리부(705), 인증부(706), 설정부(707) 및 저장부(708)를 포함할 수 있다.
통신부(701)는 외부 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 통신부(701)는 카메라 그룹(10) 및 센서 그룹(30)과 데이터를 송수신하는 제1 통신모듈 및 단말 그룹(50)과 데이터를 송수신하는 제2 통신모듈을 포함할 수 있다.
제1 통신모듈은 카메라 그룹(10)으로부터 영상을 수신하고, 센서 그룹(30)으로부터 감지 데이터를 수신할 수 있다. 감지 데이터는 음성 데이터, 지문 데이터, 홍채 데이터를 포함할 수 있다. 제1 통신모듈은 카메라 그룹(10)으로 PTZ 값을 포함하는 카메라 제어신호를 전송할 수 있다.
제2 통신모듈은 적어도 하나의 사용자 단말(UE1 내지 UEn)로부터 사용자 인증 정보를 수신하고, 인증된 사용자로부터의 영상 요청 신호에 응답하여 실시간 영상 또는 저장된 영상을 전송할 수 있다. 제2 통신모듈은 적어도 하나의 사용자 단말(UE1 내지 UEn)로부터의 프라이버시 기능 실행 요청에 응답하여 프라이버시 기능 설정 메뉴를 제공하고, 설정 데이터를 수신할 수 있다.
분석부(702)는 입력되는 영상 및 감지 데이터를 포함하는 원본 데이터를 분석하여 생체 정보를 인식하고, 인식된 생체 정보와 기준 생체 정보의 비교를 통해 등록된 객체와 미등록된 객체를 식별할 수 있다. 생체 정보는 얼굴, 음성, 지문 및 홍채 중 적어도 하나를 포함할 수 있다. 등록된 객체는 단말 그룹(50)의 단말을 소유 및 사용하는 사용자이다.
분석부(702)는 원본 데이터를 분석하여 이벤트 발생 조건에 만족하는 경우 이벤트를 발생시킬 수 있다. 여기서 이벤트라 함은, 미등록 객체의 출현, 얼굴 인식이 불가능한 얼굴 등장, 비정상적인 음원(예를 들어, 유리 깨지는 소리, 경보음, 충돌음, 고함, 비명, 울음소리 등) 발생, 임계값 이상의 음성 발생 등과 같이 사용자에 의해 설정된 이벤트를 포함할 수 있다.
분석부(702)는 원본 데이터의 분석 결과를 나타내는 메타데이터를 생성할 수 있다. 메타데이터는 텍스트(text) 기반의 메타데이터 또는 영상(image) 기반의 메타데이터를 포함할 수 있다. 메타데이터는 원본 데이터 정보 및 이벤트 정보를 포함할 수 있다. 원본 데이터 정보는 영상 획득 시간, 영상 내 검출된 객체 정보를 포함할 수 있다. 이벤트 정보는 이벤트 유형, 이벤트 발생 영역, 이벤트 발생 시간을 포함할 수 있다.
모드 전환부(703)는 모니터링 영역의 모니터링 모드를 일반 모드(normal mode) 또는 프라이버시 모드(auto-privacy mode)로 전환할 수 있다. 일반 모드는 원본 데이터를 단말 그룹(50)에 제공하는 모드이다. 원본 데이터는 노이즈 제거 등의 화질 개선 처리된 데이터를 포함할 수 있다. 프라이버시 모드는 원본 데이터에 프라이버시 기능을 부가하도록 처리된 데이터(이하, '프라이버시 데이터'라 함)를 단말 그룹(50)에 제공하는 모드이다. 라이브 뷰 모드에서 일반 모드 및 프라이버시 모드 동안 획득한 영상은 실시간 사용자 단말로 제공될 수 있다.
모드 전환부(703)는 모니터링 영역에 적어도 하나의 사용자 단말(UE1 내지 UEn)의 사용자 중 1인(이하, '제1 등록 사용자'라 함)이 출현할 때, 제1 등록 사용자에 의해 미리 설정된 조건에 따라 자동 실행, 음성인식에 의한 실행 및 얼굴인식에 의한 실행 중 하나에 의해 일반 모드에서 프라이버시 모드로 전환할 수 있다.
프라이버시 모드는 영상의 전체 영역을 프라이버시 영역으로 처리하는 제1 모드, 제1 등록 사용자가 설정한 영상의 일부를 프라이버시 영역으로 처리하는 제2 모드, 및 제1 등록 사용자를 프라이버시 영역으로 처리하는 제3 모드를 포함할 수 있다. 모드 전환부(703)는 제1 등록 사용자의 설정에 따라 제1 모드 내지 제3 모드 중 하나로 프라이버시 모드를 실행할 수 있다.
마스킹부(704)는 프라이버시 모드에서 원본 데이터에 프라이버시 영역을 블라인드 처리한 프라이버시 데이터를 생성할 수 있다. 프라이버시 데이터는 원본 영상이 블라인드 처리된 프라이버시 영상을 포함할 수 있다. 원본 영상 및 프라이버시 영상은 오디오 신호를 포함할 수 있다. 마스킹부(704)는 제1 모드에서 영상의 전체 영역을 프라이버시 영역으로 블라인드 처리할 수 있다. 마스킹부(704)는 제2 모드에서 영상에서 프라이버시 영역으로 설정된 일부를 블라인드 처리할 수 있다. 마스킹부(704)는 제3 모드에서 제1 등록 사용자를 프라이버시 영역으로 블라인드 처리할 수 있다. 제1 모드 및 제2 모드에서 블라인드 처리된 영역은 고정이나, 제3 모드에서 블라인드 처리된 영역은 사용자의 움직임에 따라 크기, 형태 및 위치가 변경될 수 있다.
블라인드 처리는 프라이버시 영역의 모자이크 처리, 외곽선 처리, 외곽선 내부의 투명/또는 불투명 처리, 컬러 및 모양 변경, 블러 처리, 대체 영상으로 대체 또는 오버레이 등을 포함할 수 있으며, 이에 한정되지 않고, 뷰어가 블라인드 처리된 영역을 식별할 수 없도록 하는 다양한 방법을 포함할 수 있다.
이벤트 관리부(705)는 이벤트가 발생되면 알람을 생성할 수 있다. 이벤트 관리부(705)는 알람을 문자 또는 이메일 형식으로 단말 그룹(50)의 각 단말로 전송할 수 있다.
이벤트 관리부(705)는 분석부(702)로부터 이벤트 발생을 수신하고, 소정 기준에 따라 이벤트를 분류할 수 있다. 분류 기준은 발생 날짜, 발생 영역, 발생 위치 등을 포함할 수 있다. 이벤트 관리부(705)는 프라이버시 모드 동안 프라이버시 영역에서 발생한 이벤트는 프라이버시 이벤트로서 분류하고 해당 사용자에 매칭시켜 관리할 수 있다. 이벤트 관리부(705)는 프라이버시 모드 동안 프라이버시 영역 외의 영역에서 발생한 이벤트는 프라이버시 이벤트로 분류하지 않고 일반 모드 동안 발생한 이벤트와 유사하게 분류 기준에 따라 분류할 수 있다. 이벤트 관리부(705)는 이벤트 재생 요청에 응답하여 이벤트가 발생한 시점의 데이터 또는 이벤트가 발생한 시점을 포함하는 소정 시간 구간의 데이터를 이벤트 데이터로서 제공할 수 있다.
이벤트 관리부(705)는 사용자로부터 이벤트 열람 및/또는 검색 요청이 있는 경우, 분류된 이벤트를 그룹으로 제공할 수 있다. 예를 들어, 이벤트 관리부(705)는 이벤트를 날짜별, 영역별(예를 들어, 거실, 룸1, 룸2, ... 등), 위치별(예를 들어, 거실의 일부 등 사용자가 지정한 위치)로 그룹화하여 제공할 수 있다. 이벤트 관리부(705)는 프라이버시 이벤트를 하나의 그룹으로 제공할 수 있다. 이벤트는 텍스트 또는 썸네일과 같은 정지 영상으로 대표되어 제공될 수 있다. 이벤트는 하나 이상의 그룹에 중복하여 제공될 수 있다.
이벤트 관리부(705)는 프라이버시 이벤트 열람이 허용된 인증된 사용자에게는 프라이버시 데이터에서 블라인드 처리를 제거 또는 복원한 이벤트 데이터 또는 원본 데이터로부터 생성된 이벤트 데이터를 제공할 수 있다. 이벤트 관리부(705)는 프라이버시 이벤트 열람이 허용되지 않은 미인증 사용자에게는 프라이버시 이벤트의 열람을 차단하거나 프라이버시 데이터로부터 생성된 이벤트 데이터를 제공할 수 있다.
인증부(706)는 적어도 하나의 사용자 단말(UE1 내지 UEn)에 대한 무선 기기 정보(NIC(network interface controller) MAC 주소 또는 블루투스 MAC 주소 등)를 ID로서 등록하고, 사용자의 패스워드를 등록할 수 있다. 인증부(706)는 사용자의 로그인 인증 및 이벤트 열람 인증을 수행할 수 있다.
인증부(706)는 적어도 하나의 사용자 단말(UE1 내지 UEn)로부터 로그인 요청이 수신되면, 사용자 인증 정보를 요청하고, 수신된 인증 정보를 기초로 사용자의 로그인 인증을 수행할 수 있다. 로그인을 위한 인증 정보는 사용자의 ID/패스워드, 및/또는 사용자의 생체 정보를 포함할 수 있다.
인증부(706)는 적어도 하나의 사용자 단말(UE1 내지 UEn)로부터 프라이버시 이벤트 열람 요청이 수신되면, 사용자 인증 정보를 요청하고, 인증 성공한 사용자 단말로 프라이버시 이벤트를 제공할 수 있다. 프라이버시 이벤트 열람을 위한 인증 정보는 로그인을 위한 인증 정보 외에 블라인드 제거 또는 블라인드 복원을 위한 키 정보를 더 포함할 수 있다.
설정부(707)는 적어도 하나의 사용자 단말(UE1 내지 UEn)로부터 기능 설정 요청이 수신되면, 설정 메뉴를 제공할 수 있다. 설정부(707)는 프라이버시 설정 요청이 수신되면, 제1 내지 제3 모드 중 하나를 선택할 수 있는 창 및 프라이버시 실행 방법을 선택할 수 있는 창을 제공할 수 있다. 설정부(707)는 사용자로부터의 프라이버시 모드 전환 조건 및 프라이버시 영역 설정을 포함하는 프라이버시 정보를 수신하면, 해당 프라이버시 정보를 설정 요청한 단말의 사용자와 매칭시켜 프라이버시 기능을 설정할 수 있다. 이에 따라 사용자마다 프라이버시 기능을 다르게 설정할 수 있어 사용자 기반의 프라이버시 모드 수행이 가능하다.
저장부(708)는 영상처리장치(70)가 처리하는 데이터, 명령어(instructions), 프로그램, 프로그램 코드, 또는 이들의 결합 등을 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 저장부(708)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 저장부(708)는 인터넷 상에서 저장 기능을 수행하는 웹 스토리지(web storage)일 수 있다. 저장부(708)는 카메라 그룹(10)으로부터의 영상 및 센서 그룹(30)으로부터의 감지 데이터를 저장할 수 있다. 저장부(708)는 프라이버시 데이터, 프라이버시 이벤트 데이터를 포함하는 이벤트 데이터를 저장할 수 있다. 저장부(708)는 메타데이터를 저장할 수 있다.
영상처리장치(70)는 실시간 영상 및 저장부(708에 저장된 영상을 통신부(701)를 통해 사용자 단말 /또는 영상처리장치(70)와 연결된 디스플레이부(미도시)로 출력할 수 있다. 일 실시 예로 영상 출력 시에, 보안 시스템을 제어할 수 있는 애플리케이션에 영상을 전송하여 사용자 단말기 화면에 출력하는 방법, TV나 셋탑박스로 스트리밍해서 출력하는 방법, VGA 또는 연결된 HDMI 케이블을 통해서 화면으로 출력하는 방법, 가정용 보안 시스템에 포함된 프로젝션 기능을 이용하여 출력하는 방법 등을 포함할 수 있다.
도 3 내지 도 16은 본 발명의 일 실시예에 따른 영상처리장치가 사용자 단말에 제공하는 프라이버시 기능의 일 예를 나타내는 도면이다. 이하에서는 설명의 편의를 위해 적어도 하나의 사용자 단말(UE1 내지 UEn) 중 하나의 사용자 단말을 예로 설명한다. 또한 이하에서는 설명의 편의를 홈 시큐리티에 적용하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 영상처리장치가 사용자 단말에 제공하는 메뉴의 일 예를 나타내는 도면이다.
도 3(a)를 참조하면, 사용자 단말은 모니터링 애플리케이션을 실행하여 영상처리장치에 접속하고, 영상처리장치로부터 모니터링 영역의 영상을 라이브 뷰로 사용자 단말의 화면(501)에 표시할 수 있다. 영상처리장치는 모니터링 애플리케이션이 실행되면 화면(501)의 일 측에 메뉴 숨김 상태를 나타내는 표식인 메뉴 숨김 아이콘(503)을 제공할 수 있다. 도 3(a)에서 메뉴 숨김 아이콘(503)은 삼각형으로 화면(501) 상의 영상에 오버랩하여 화면(501)의 우측에 제공되고 있으나, 이에 한정되지 않고, 원형, 사각형 등 소정의 도형으로, 좌측, 상측, 하측, 모서리 등에 표시될 수 있다. 사용자는 메뉴 숨김 아이콘(503)을 화면의 경계(외곽)를 따라 드래그하여 원하는 위치에 이동시킬 수 있다. 또한, 메뉴 숨김 아이콘(503)은 사용자가 화면(501) 상의 메뉴를 화면(501) 밖으로 밀어내는 방향의 화면 경계에 제공될 수 있다. 메뉴 숨김 아이콘(503)은 불투명 또는 투명할 수 있다. 메뉴 숨김 아이콘이 최소 공간을 차지하도록 함으로써 사용자는 뷰를 방해받지 않을 수 있다.
도 3(b)를 참조하면, 사용자가 메뉴 숨김 아이콘(503)을 터치하면, 영상처리장치는 터치를 검출하고, 터치 지점을 중심으로 반원형의 휠 키(505)를 영상에 오버랩하여 제공할 수 있다. 휠 키(505)에는 적어도 하나의 메뉴(507)가 소정 간격으로 제공될 수 있다. 사용자가 휠 키(505)에 제공되는 일 메뉴(507)를 터치하면, 영상처리장치는 터치를 검출하고, 터치 위치에 대응하는 메뉴의 기능을 실행할 수 있다. 도 3(b)에는 프라이버시 기능 설정을 위한 프라이버시 메뉴(Auto Privacy), 이벤트 열람을 위한 메뉴(Event), 저장된 영상의 재생을 위한 메뉴(Playback)가 소정 간격으로 휠 키(505)에 제공되고 있다. 메뉴의 위치는 고정될 수도 있고, 휠 키(505)가 표시될 때마다 변경될 수도 있다.
도 3(c)를 참조하면, 사용자가 메뉴 숨김 아이콘(503)을 터치한 채로 화면(501)의 안으로 드래깅하면, 영상처리장치는 원형의 내비게이션 키(509)를 영상에 오버랩하여 제공할 수 있다. 내비게이션 키(509)는 카메라의 360도 패닝 제어를 위한 메뉴이다. 내비게이션 키(509)의 크기 및 위치는 사용자에 의해 변경될 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상처리장치가 단말에 제공하는 프라이버시 기능 설정 메뉴의 일 예를 나타내는 도면이다.
도 4를 참조하면, 사용자가 도 3(b)에 도시된 휠 키(505)의 메뉴들(507) 중 프라이버시 메뉴를 선택한 경우, 영상처리장치는 프라이버시 영역 및 프라이버시 모드 전환 조건을 설정할 수 있는 설정 창(510)을 화면(501)에 제공할 수 있다. 설정 창(510)은 화면(501)에 표시된 영상에 오버랩될 수 있다.
사용자는 설정 창(510)에서 영상 전체를 프라이버시 영역으로 처리하는 제1 모드, 자신이 설정한 영역만 프라이버시 영역으로 처리하는 제2 모드, 자신을 프라이버시 영역으로 처리하는 제3 모드 중 하나를 선택함으로써 프라이버시 영역을 설정할 수 있다.
사용자는 설정 창(510)에서 자신이 모니터링 영역에 출현함이 인식되면 프라이버시 모드로 자동 전환되는 자동 실행, 자신의 음성이 인식되면 프라이버시 모드로 전환되는 음성인식 실행, 자신의 얼굴이 인식되면 프라이버시 모드로 전환되는 얼굴인식 실행 중 하나를 선택함으로써 프라이버시 모드의 전환 조건을 설정할 수 있다.
도 5는 사용자가 설정 창(510)에서 제1 모드를 선택한 예를 도시한다.
도 5를 참조하면, 사용자가 제1 모드를 선택하면, 선택된 제1 모드의 메뉴 항목은 굵게 표시되어, 사용자가 자신의 선택을 확인할 수 있도록 할 수 있다. 영상처리장치는 제1 모드의 선택을 수신하고, 사용자의 프라이버시 모드를 영상의 모든 영역을 프라이버시 영역으로 하는 제1 모드로 설정할 수 있다. 영상처리장치는 제1 모드를 설정한 사용자가 실내에 들어오면 영상의 모든 영역을 블라인드 처리하여 스트리밍 및 저장할 수 있다. 제1 모드를 설정한 사용자는 추후 프라이버시 영역에서 발생한 이벤트를 복원할 수 있다. 제1 모드는 프라이버시를 중요하게 생각하는 사용자에게 자신이 노출되지 않는다는 안심감을 주고, 프라이버시와 보안을 동시에 추구하는 사용자에게는 이벤트를 복원할 수 있는 옵션을 제공함으로써 사용자별 니즈를 모두 충족할 수 있다.
도 6은 사용자가 설정 창(510)에서 제2 모드를 선택한 예를 도시한다.
도 6을 참조하면, 사용자가 제2 모드를 선택하면, 선택된 제2 모드의 메뉴 항목이 굵게 표시되고, 설정 아이콘(520)이 활성화될 수 있다.
도 7a 내지 도 7f는 프라이버시 영역 설정의 예를 도시한다.
도 7a를 참조하면, 사용자가 도 6에 도시된 설정 아이콘(520)을 선택하면, 영상처리장치는 프라이버시 영역을 지정할 수 있는 창(530)을 설정 창(510)에 오버랩하여 제공할 수 있다. 영상처리장치는 창(530)에 현재 카메라에 의해 획득되는 영상 및 영역 지정 블록(532)을 제공할 수 있다. 사용자는 메뉴 숨김 아이콘(503)을 터치 및 드래깅하여 내비게이션 키(509)가 창(530)에 오버랩되게 할 수 있다. 사용자는 내비게이션 키(509)를 이용하여 카메라의 방향을 제어하며 카메라 뷰를 제어할 수 있다.
도 7b를 참조하면, 사용자는 현재 표시된 영상에서 블록(532)을 이동시켜 블록이 둘러싸는 영역을 프라이버시 영역으로 지정할 수 있다. 사용자는 블록(532)의 테두리를 잡아끌면서 확대 또는 축소하여 영역을 자유롭게 지정할 수 있다. 지정된 프라이버시 영역에는 프라이버시 기능을 사용하고 있는 사용자의 정보(예를 들어, ID 또는 썸네일 등), 잠금 표식(533), 텍스트 형식의 영역 식별 정보(예를 들어, Privacy Zone #) 등이 표시될 수 있다. 사용자는 지정된 프라이버시 영역을 드래깅하여 삭제 표식(534)으로 이동시킴으로써 프라이버시 영역 지정을 초기화하여 해제할 수 있다.
도 7c를 참조하면, 사용자가 영역 추가(536)를 선택하면, 영상처리장치는 블록(532)을 추가 표시하고, 사용자는 블록(532)을 이동시켜 프라이버시 영역을 추가 지정할 수 있다. 사용자는 영역 추가(536)를 소정 횟수 선택함으로써, 하나 이상의 프라이버시 영역을 지정할 수 있다. 영상처리장치는 1인당 프라이버시 영역의 개수를 제한할 수 있다.
도 7d를 참조하면, 사용자가 영역 반전(538)을 선택하면, 블록(532)이 둘러싸는 영역 외의 영역이 프라이버시 영역으로 지정될 수 있다. 영역 반전 기능은 프라이버시 영역의 범위가 넓은 경우 유용하게 사용될 수 있다.
영상처리장치는 영역 설정이 완료되면 사용자의 프라이버시 모드를 지정된 영역만을 프라이버시 영역으로 하는 제2 모드로 설정할 수 있다. 제2 모드는 사용자가 개인의 사생활 침해를 방해받고 싶지 않은 특정 영역을 미리 지정함으로써 해당 공간에서 일어난 이벤트에 대해서는 타인에게 노출되지 않고 자신의 계정으로만 이벤트가 기록되도록 한다.
도 7e는, 사용자 A의 프라이버시 모드 실행 중, 사용자 A 외의 타 사용자의 사용자 단말 화면의 예를 도시한다. 도 7e를 참조하면, 영상처리장치는 타 사용자로부터 영상 요청을 수신하면, 잠금 표식(533)이 표시된 프라이버시 영역들(A1, A2)이 블라인드 처리된 영상을 타 사용자의 사용자 단말에 제공할 수 있다. 이에 따라 타 사용자는 사용자 A의 프라이버시 모드가 실행되고 있음을 인식할 수 있다. 프라이버시 영역은 정지 영상화되고 타인에게 해당 영역에서 발생하는 이벤트를 노출시키지 않는다.
사용자 A가 자신이 설정한 프라이버시 영역들(A1, A2)에 위치하면, 사용자 A와 프라이버시 영역의 오버랩되는 부분에서 사용자 A의 적어도 일부가 블라인드 처리에 의해 타 사용자의 화면에 표시되지 않는다. 이에 따라, 타 사용자는 사용자 A가 프라이버시 영역에서 무엇을 하는지 알 수 없어 사용자 A의 프라이버시가 보호될 수 있다.
도 7f는 사용자 A의 프라이버시 모드 실행 중, 사용자 A의 사용자 단말 화면의 예를 도시한다. 도 7f를 참조하면, 영상처리장치는 사용자 A로부터 영상 요청을 수신하면, 원본 영상을 사용자 A의 사용자 단말에 제공할 수 있다. 영상처리장치는 잠금 표식(533a)을 화면의 일측에 제공하여, 사용자 A가 설정한 프라이버시 기능이 수행되고 있음을 나타냄으로써 사용자 A에게 심리적 안정감을 줄 수 있다.
도 8은 사용자가 설정 창(510)에서 제3 모드를 선택한 예를 도시한다. 도 9a 및 도 9b는 제3 모드에 따른 프라이버시 영역의 예를 도시한다.
도 8에 도시된 바와 같이, 사용자가 제3 모드를 선택하면, 도 9a 및 도 9b에 도시된 바와 같이, 영상처리장치는 사용자 자신을 프라이버시 영역으로서 블라인드 처리한 영상을 사용자 단말로 제공할 수 있다. 제3 모드에서의 프라이버시 영역은 적어도 사용자의 윤곽선을 포함하는 도형으로 표시될 수 있고, 사용자의 이동 및 자세에 따라 위치, 크기 및 형태가 변경될 수 있다. 예를 들어, 집안에 혼자 있는 사용자의 이동에 따라 사용자가 블라인드 처리될 수 있다. 사용자 프라이버시 영역에는 타 사용자가 식별 가능하도록 블라인드 처리된 사용자의 정보(예를 들어, ID 또는 썸네일 등)가 제공되고, 잠금 표식(533), 텍스트 형식의 영역 식별 정보(예를 들어, Privacy Zone #)가 표시될 수 있다.
영상처리장치는 제3 모드의 선택을 수신하고, 사용자의 프라이버시 모드를 사용자를 프라이버시 영역으로 하는 제3 모드로 설정할 수 있다.
도 10은 사용자가 설정 창(510)에서 자동 실행을 선택한 예를 도시한다.
영상처리장치는 사용자의 자동 실행 선택을 수신하면, 자동 실행을 선택한 사용자가 모니터링 영역에 출현할 때 사용자가 설정한 프라이버시 모드로 전환할 수 있다. 영상처리장치는 사용자의 모션, 제스처, 음성, 얼굴 등의 특징 검출에 의해 사용자를 검출할 수 있다. 영상처리장치는 사용자별로 지정된 영역에 해당 사용자가 출현하면 자동으로 프라이버시 모드로 전환할 수 있다.
도 11 내지 도 12b는 사용자가 설정 창(510)에서 음성인식 실행을 선택한 예를 도시한다.
도 11을 참조하면, 사용자가 음성인식 실행을 선택하면, 음성 녹음 아이콘(550)이 활성화될 수 있다. 도 12a 및 도 12b를 참조하면, 사용자가 음성 녹음 아이콘(550)을 선택하면, 영상처리장치는 특정 단어 또는 구절의 사용자 음성을 녹음하여 저장할 수 있다. 사용자가 음성인식 실행을 선택한 경우, 영상처리장치는 모니터링 영역에서 사용자가 검출되더라도 녹음된 단어 또는 구절과 동일한 단어 또는 구절의 음성 인식이 되어야 사용자가 설정한 프라이버시 모드로 전환할 수 있다. 영상처리장치는 사용자가 모니터링 영역에서 녹음된 단어 또는 구절과 동일한 단어 또는 구절을 발음하면, 저장된 음성과 비교를 통해 동일 사용자 여부를 판단할 수 있다. 영상처리장치는 동일 사용자로 인식되면, 사용자가 설정한 프라이버시 모드로 전환할 수 있다.
도 13 내지 도 14b는 사용자가 설정 창(510)에서 얼굴인식 실행을 선택한 예를 도시한다.
도 13을 참조하면, 사용자가 얼굴인식 실행을 선택하면, 얼굴 촬영 아이콘(570)이 활성화될 수 있다. 도 14a 및 도 14b를 참조하면, 사용자가 얼굴 촬영 아이콘(570)을 선택하면, 영상처리장치는 사용자의 얼굴을 촬영하여 저장할 수 있다. 사용자가 얼굴인식 실행을 선택한 경우, 영상처리장치는 모니터링 영역에서 사용자가 검출되더라도 촬영된 얼굴과 매칭하는 얼굴이 소정 시간 동안 카메라를 응시하여야 사용자가 설정한 프라이버시 모드로 전환할 수 있다. 영상처리장치는 사용자가 모니터링 영역에서 소정 시간 동안 카메라를 응시하면, 저장된 얼굴과 비교를 통해 동일 사용자 여부를 판단할 수 있다. 영상처리장치는 동일 사용자로 인식되면, 사용자가 설정한 프라이버시 모드로 전환할 수 있다.
도 15 및 도 16은 본 발명의 일 실시예에 따른 영상처리장치가 단말에 이벤트를 제공하는 방법의 일 예를 나타내는 도면이다.
도 15를 참조하면, 사용자가 도 4에 도시된 휠 키(505)의 메뉴들(507) 중 이벤트 메뉴를 선택한 경우, 영상처리장치는 적어도 하나의 이벤트 그룹(580)을 화면(501)에 제공할 수 있다. 이벤트 그룹(580)은 화면(501)에 표시된 영상에 오버랩될 수 있다.
사용자는 이벤트 그룹(580)에서 열람하고자 하는 이벤트 그룹을 선택할 수 있다. 이벤트 그룹은 날짜별 이벤트, 영역별 이벤트, 위치별 이벤트, 및 프라이버시 이벤트를 포함할 수 있다. 프라이버시 이벤트는 사용자의 프라이버시 모드가 수행되는 동안 프라이버시 영역에서 발생한 이벤트이다. 프라이버시 이벤트는 해당 프라이버시 모드의 사용자만이 열람할 수 있다. 사용자는 사용자의 계정(ID 및 패스워드) 또는 생체 정보의 인증을 통해 프라이버시 이벤트의 열람이 가능하다.
도 16을 참조하면, 영상처리장치는 인증 성공한 사용자에게 프라이버시 이벤트를 전체, 모션, 소리 등으로 분류하여 제공할 수 있다. 각 이벤트는 썸네일로 제공되고, 이벤트 정보가 텍스트로 썸네일에 오버랩되어 표시될 수 있다. 사용자가 썸네일을 선택하면, 선택된 썸네일에 연동된 이벤트 데이터가 재생될 수 있다.
도 17은 본 발명의 일 실시예에 따른 영상처리장치가 사용자 단말에 제공하는 메뉴 실행 방법을 설명하는 흐름도이다. 이하에서는 전술된 내용과 중복하는 내용의 상세한 설명은 생략한다.
사용자 단말은 모니터링 애플리케이션을 실행하여 영상처리장치에 접속하고, 영상처리장치는 모니터링 영역을 촬영한 영상 및 메뉴 숨김 아이콘을 제공할 수 있다(S21). 사용자 단말은 라이브 뷰로 영상을 제공하고, 사용자 단말의 화면에는 삼각형 또는 반원 형태의 메뉴 숨김 아이콘이 제공될 수 있다.
영상처리장치는 메뉴 숨김 아이콘 상의 터치를 검출할 수 있다(S22).
영상처리장치는 검출된 터치가 메뉴 숨김 아이콘의 1회 터치인 제1 터치인 경우, 터치 지점을 중심으로 하는 휠 키를 제공할 수 있다(S23). 휠 키에는 소정 간격으로 적어도 하나의 메뉴 항목이 배열될 수 있다. 메뉴 항목은 프라이버시 기능 수행을 위한 프라이버시 메뉴(Auto Privacy), 이벤트 열람을 위한 메뉴(Event), 저장된 영상의 재생을 위한 메뉴(Playback)를 포함할 수 있다. 사용자는 휠 키의 메뉴를 선택함으로써 복잡한 Depth를 통하지 않고 메뉴로 손쉽게 진입할 수 있다.
영상처리장치는 휠 키 상의 제2 터치를 검출하면(S24), 제2 터치의 위치에 대응하는 메뉴 기능을 수행할 수 있다(S25).
영상처리장치는 제2 터치의 위치가 프라이버시 메뉴인 경우, 프라이버시 모드로의 전환 조건 및 프라이버시 영역의 설정을 포함하는 프라이버시 정보를 수신하고, 프라이버시 정보를 제2 터치를 입력한 사용자에게 매칭시켜 사용자별 프라이버시 모드를 설정할 수 있다.
영상처리장치는 제2 터치의 위치가 이벤트 열람 메뉴인 경우, 적어도 하나의 이벤트 그룹을 제공할 수 있다. 이벤트 그룹은 프라이버시 모드 동안 프라이버시 영역에서 발생한 이벤트인 프라이버시 이벤트의 그룹을 포함할 수 있다. 영상처리장치는 프라이버시 이벤트 요청을 수신하면, 이를 요청하는 사용자가 실행된 프라이버시 모드의 사용자로 인증되면 사용자 단말로 프라이버시 이벤트를 제공할 수 있다.
영상처리장치는 제2 터치의 위치가 재생 메뉴인 경우, 재생 조건(시간, 영역 등)을 설정할 수 있는 창을 화면에 제공할 수 있다. 영상처리장치는 저장된 영상들에서 재생 조건에 맞는 영상을 검색하고, 라이브 뷰 모드에서 재생 모드로 전환하여 검색된 영상을 사용자 단말로 제공할 수 있다.
영상처리장치는 메뉴 숨김 아이콘 상의 검출된 터치가 메뉴 숨김 아이콘의 터치 및 화면 내로의 드래깅의 조합인 제3 터치인 경우, 카메라의 패닝을 제어하는 내비게이션 키를 제공할 수 있다(S26). 사용자가 메뉴 숨김 아이콘을 손가락으로 끌어당기면 놓은 위치에 내비게이션 키가 표시될 수 있다. 사용자는 내비게이션 키의 위치 및 크기를 변경할 수 있다.
영상처리장치는 내비게이션 키 상의 제4 터치를 검출하면(S26), 제4 터치에 대응하여 카메라의 패닝을 제어할 수 있다(S28). 제4 터치는 내비게이션 키 상에서 내비게이션 키의 기준 위치로부터 떨어진 소정 위치의 1회 터치, 또는 내비게이션 키 상에서 기준 위치로부터 소정 위치까지의 터치 및 드래깅의 조합일 수 있다. 사용자는 내비게이션 키를 이용하여 카메라 뷰를 이동함으로써 상이한 위치에 복수의 프라이버시 영역을 지정할 수 있다.
도 18은 본 발명의 일 실시예에 따른 영상처리장치의 프라이버시 기능 설정 방법을 설명하는 흐름도이다.
도 18을 참조하면, 영상처리장치는 사용자 단말로부터 프라이버시 설정 정보를 수신할 수 있다(S41). 프라이버시 설정 정보는 프라이버시 모드 전환 조건 및 프라이버시 영역 중 적어도 하나의 설정 정보를 포함할 수 있다.
영상처리장치는 프라이버시 모드 전환 조건을 판단할 수 있다(S42).
영상처리장치는 모드 전환 조건이 자동 실행인 경우, 사용자가 모니터링 영역에서 검출되면 자동으로 프라이버시 모드로 전환하도록 설정할 수 있다(S43).
영상처리장치는 모드 전환 조건이 음성인식 실행인 경우, 사용자의 지정된 단어, 구절 등의 발성이 인식되면 프라이버시 모드로 전환하도록 설정할 수 있다(S44). 영상처리장치는 음성인식 실행인 경우 사용자가 이미 검출된 경우라도, 지정된 단어 등의 발성을 인식하기 전까지 프라이버시 모드로 전환하지 않는다.
영상처리장치는 모드 전환 조건이 얼굴인식 실행인 경우, 사용자가 소정 시간 동안 카메라를 응시하는 것으로 인식되면 프라이버시 모드로 전환하도록 설정할 수 있다(S45). 영상처리장치는 얼굴인식 실행인 경우 사용자가 이미 검출된 경우라도, 소정 시간 동안 정지 상태로 사용자 얼굴이 인식되기 전까지 프라이버시 모드로 전환하지 않는다.
영상처리장치는 프라이버시 영역 설정을 판단할 수 있다(S46).
영상처리장치는 영상 전체를 프라이버시 영역으로 설정하는 전체 지정인 경우, 프라이버시 모드를 영상 전체가 블라인드 처리되는 제1 모드로 설정할 수 있다(S47).
영상처리장치는 영상의 일부를 프라이버시 영역으로 설정하는 일부 지정인 경우, 프라이버시 모드를 사용자가 지정한 적어도 하나의 영역을 블라인드 처리하는 제2 모드로 설정할 수 있다(S48).
영상처리장치는 사용자를 프라이버시 영역으로 지정하는 사용자 지정인 경우, 프라이버시 모드를 사용자를 블라인드 처리하는 제3 모드로 설정할 수 있다(S49).
영상처리장치는 프라이버시 모드 전환 및 프라이버시 모드를 사용자에 매칭시켜 사용자별 프라이버시 기능을 관리할 수 있다.
도 19는 본 발명의 일 실시예에 따른 영상처리장치의 프라이버시 모드 수행 방법을 설명하는 흐름도이다.
도 19를 참조하면, 영상처리장치는 영상을 수신하면(S61), 현재 모드가 일반 모드인지 프라이버시 모드인지를 판단할 수 있다(S62).
영상처리장치는 일반 모드인 경우 영상을 저장 및 출력할 수 있다(S63).
영상처리장치는 프라이버시 모드인 경우 영상을 저장(S63)함과 동시에 영상에 지정된 프라이버시 영역을 블라인드 처리하고(S64), 블라인드 처리된 영상을 저장 및 출력할 수 있다(S65). 프라이버시 영역은 영상 전체, 사용자가 지정한 영상의 일부, 사용자 자신 중 하나일 수 있다.
도 20은 본 발명의 일 실시예에 따른 이벤트 열람 방법을 설명하는 흐름도이다.
도 20을 참조하면, 영상처리장치는 사용자 단말로부터 이벤트 열람 요청을 수신하면(S81), 열람 요청 대상이 일반 이벤트인지 프라이버시 이벤트인지를 판단할 수 있다(S82).
영상처리장치는 일반 이벤트의 열람 요청인 경우, 이벤트 열람을 허용할 수 있다(S83). 영상처리장치는 이벤트 데이터를 사용자 단말로 제공할 수 있다.
영상처리장치는 프라이버시 이벤트의 열람 요청인 경우, 사용자 인증을 수행할 수 있다(S84).
영상처리장치는 사용자 인증이 성공하면, 프라이버시 이벤트 열람을 허용할 수 있다(S85). 블라인드 처리가 제거 또는 복원된 프라이버시 이벤트 데이터를 제공할 수 있다.
영상처리장치는 사용자 인증이 실패하면, 프라이버시 이벤트 열람을 차단하거나, 블라인드 처리된 프라이버시 이벤트 데이터를 제공할 수 있다(S86).
도시되지 않았으나, 본 발명의 영상처리장치는 사용자가 메뉴 또는 기능 등을 선택할 때 가이던스 UI를 제공하고, 사용자가 '다시보지 않기'를 선택하면 이후부터는 제공하지 않을 수 있다. 가이던스 UI는 사용자의 메뉴 선택시 별도의 팝업을 띄워 사용자가 알기 쉽도록 사용방법을 사용자에게 이미지와 함께 제공하는 UI이다.
본 발명의 실시예들에 따른 프라이버시 기능은 홈 시큐리티 모바일 앱(APP), B2C 영역의 홈 시큐리티 카메라(Panning camera 또는 Pan & Tilt camera)에 연동된 모바일 앱(APP)에 사용될 사용자 인터페이스(UX/UI), 앱(APP)이 실행되는 디바이스 태블릿, 스마트 폰, 카메라와 연동된 컴퓨팅 장치(PC)의 소프트웨어(SW) 등에 적용될 수 있다. 프라이버시 기능은 홈 시큐리티에 적용될 때 가족 구성원 모두가 집에 없고 개인 혼자 집안에 있을 때 활성화되는 기능이다. 본 발명에서의 프라이버시 기능에 의해, 사용자는 카메라를 온 상태로 유지함으로써 항시 모니터링되고 있으므로 안심할 수 있고, 자신의 계정으로만 이벤트를 남겨주기 때문에 프라이버시 침해와 보안 문제 중 한쪽에 치우치지 않고 모두 만족할 수 있는 사용성을 제공할 수 있다.
본 발명의 실시예들에 따른 프라이버시 기능은 카메라를 OFF 하거나, 카메라의 방향을 인위적으로 돌려놓을 필요없이 사용자로 하여금 극단적 선택에서 벗어나, 안전과 사생활 침해 문제 양쪽을 모두 해결하여 사용자는 카메라 설치 목적에 가장 부합하는 환경에서 이용이 가능하다.
본 발명의 실시예들에 따른 프라이버시 기능은, 카메라에 접속하는 구성원 모두에 대해 개인이 집에 있을 시, 누군가 나를 감시하거나 개인의 휴식 및 프라이버시를 감시당하는 느낌이 싫기 때문에 카메라 설치가 꺼려지는 문제를 해결해주어 보안 카메라 설치에 대한 반감을 획기적으로 줄일 수 있다.
본 발명의 실시예들에 따른 프라이버시 기능은, 구성원 개인별로 고유의 ID를 가짐으로써 해당 ID별로 개별적으로 프라이버시 존을 쉽게 설정하고 이용할 수 있게 함으로써 구성원 각각의 프라이버시 존중 및 사용자 편의성이 증대될 수 있다. 또한 본 발명의 실시예들에 따른 프라이버시 기능은, 설정이 까다롭지 않고 쉬우면서도 한번 설정을 해두면 지속적으로 별도의 설정을 매번 하지 않아도 됨으로써 번거로움이 줄고 지속적인 편의를 누릴 수 있다.
본 발명의 실시예에 따른 영상처리 및 영상제공 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명의 일 측면들은 첨부된 도면에 도시된 실시예들을 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (18)

  1. 등록된 복수의 객체들 각각의 프라이버시 모드 설정에 의해 상기 등록된 복수의 객체들에 대응한 복수의 프라이버시 모드들을 설정하는 단계;
    카메라로부터 모니터링 영역의 제1 영상을 획득하는 단계;
    상기 복수의 객체들의 상기 복수의 프라이버시 모드들 중 상기 모니터링 영역에 최초 출현한 객체의 프라이버시 모드로 전환하는 단계; 및
    상기 전환된 프라이버시 모드에서, 상기 복수의 등록된 객체들 중 상기 출현한 객체 외의 나머지 객체들 중 적어도 하나로부터의 상기 제1 영상의 요청에 응답하여, 상기 제1 영상에서 상기 출현한 객체에 의해 미리 설정된 프라이버시 영역이 처리된 제2 영상을 생성하는 단계;를 포함하고,
    상기 프라이버시 모드는, 영상의 전체 영역을 프라이버시 영역으로 처리하는 제1 모드, 등록 사용자가 설정한 영상의 일부를 프라이버시 영역으로 처리하는 제2 모드, 및 등록 사용자를 프라이버시 영역으로 처리하는 제3 모드를 포함하고,
    상기 등록된 복수의 객체들 각각은 상기 제1 모드, 제2 모드 및 제3 모드 중 하나를 자신의 프라이버시 모드로 설정하는, 영상처리장치의 영상제공방법.
  2. 제1항에 있어서, 상기 프라이버시 영역은,
    상기 제1 영상의 전체, 상기 제1 영상의 일부 및 상기 출현한 객체 중 하나인, 영상처리장치의 영상제공방법.
  3. 제1항에 있어서,
    상기 프라이버시 영역의 크기, 형태 및 위치 중 적어도 하나가 상기 제1 영상 내에서 변경되는, 영상처리장치의 영상제공방법.
  4. 제1항에 있어서, 상기 프라이버시 모드 전환 단계는,
    상기 출현한 객체에 의해 미리 설정된, 상기 제1 영상에서 상기 출현한 객체의 검출, 상기 출현한 객체의 음성인식 및 상기 출현한 객체의 얼굴인식 중 하나를 만족하면, 상기 출현한 객체에 설정된 프라이버시 모드로 전환하는 단계;를 포함하는 영상처리장치의 영상제공방법.
  5. 제1항에 있어서,
    상기 복수의 객체들 중 적어도 하나의 객체의 단말로부터 화면에 제공된 메뉴 숨김 상태를 나타내는 표식의 제1 터치를 검출하고, 상기 제1 터치의 위치를 중심으로 하는 적어도 하나의 메뉴가 표시된 휠 키를 상기 화면에 제공하는 단계; 및
    상기 휠 키 상의 제2 터치를 검출하고, 상기 제2 터치의 위치에 대응하는 메뉴의 기능을 수행하는 단계;를 포함하는 영상처리장치의 영상제공방법.
  6. 제5항에 있어서, 상기 메뉴의 기능을 수행하는 단계는,
    상기 제2 터치의 위치에 대응하는 메뉴가 프라이버시 설정인 경우,
    프라이버시 모드로의 전환 조건 및 프라이버시 영역의 설정을 포함하는 프라이버시 정보를 수신하는 단계; 및
    상기 프라이버시 정보를 상기 터치를 입력한 객체에 매칭시키는 단계;를 포함하는 영상처리장치의 영상제공방법.
  7. 제6항에 있어서, 상기 프라이버시 정보 수신 단계는,
    상기 제1 영상과 오버랩하여 영역 지정을 위한 블록을 제공하는 단계; 및
    상기 제1 영상에서 상기 블록이 둘러싸는 영역 또는 상기 블록이 둘러싸는 영역 외의 영역을 상기 프라이버시 영역으로 지정하는 입력을 수신하는 단계;를 포함하는 영상제공방법.
  8. 제5항에 있어서, 상기 메뉴의 기능을 수행하는 단계는,
    상기 제2 터치의 위치에 대응하는 메뉴가 이벤트 열람인 경우,
    상기 프라이버시 영역에서 발생한 이벤트인 프라이버시 이벤트의 요청을 수신하면 상기 프라이버시 이벤트를 요청하는 객체의 인증을 요청하는 단계; 및
    상기 프라이버시 이벤트를 요청하는 객체가 상기 출현한 객체로 인증되면 상기 프라이버시 이벤트 열람을 허용하는 단계;를 포함하는 영상처리장치의 영상제공방법.
  9. 제1항에 있어서,
    상기 복수의 객체들 중 적어도 하나의 객체의 단말로부터 화면에 제공된 메뉴 숨김 상태를 나타내는 표식의 제3 터치를 검출하고, 상기 제3 터치에 응답하여 상기 제1 영상과 오버랩하여 내비게이션 키를 제공하는 단계; 및
    상기 내비게이션 키의 제4 터치를 검출하고, 상기 제4 터치에 대응하는 좌표 값으로 상기 카메라의 뷰를 제어하는 단계;를 더 포함하는 영상처리장치의 영상제공방법.
  10. 등록된 복수의 객체들 각각의 프라이버시 모드 설정에 의해 상기 등록된 복수의 객체들에 대응한 복수의 프라이버시 모드들이 설정되는 설정부;
    상기 복수의 객체들의 상기 복수의 프라이버시 모드들 중 모니터링 영역에 최초 출현한 객체의 프라이버시 모드로 전환하는 모드 전환부; 및
    상기 전환된 프라이버시 모드에서, 상기 복수의 등록된 객체들 중 상기 출현한 객체 외의 객체들 중 적어도 하나로부터의 카메라로부터 획득한 모니터링 영역의 제1 영상 요청에 응답하여, 상기 제1 영상에서 상기 출현한 객체에 의해 미리 설정된 프라이버시 영역이 처리된 제2 영상을 생성하는 마스킹부;를 포함하고,
    상기 프라이버시 모드는, 영상의 전체 영역을 프라이버시 영역으로 처리하는 제1 모드, 등록 사용자가 설정한 영상의 일부를 프라이버시 영역으로 처리하는 제2 모드, 및 등록 사용자를 프라이버시 영역으로 처리하는 제3 모드를 포함하고,
    상기 등록된 복수의 객체들 각각은 상기 제1 모드, 제2 모드 및 제3 모드 중 하나를 자신의 프라이버시 모드로 설정하는, 영상처리장치.
  11. 제10항에 있어서, 상기 프라이버시 영역은,
    상기 제1 영상의 전체, 상기 제1 영상의 일부 및 상기 출현한 객체 중 하나인, 영상처리장치.
  12. 제10항에 있어서,
    상기 프라이버시 영역의 크기, 형태 및 위치 중 적어도 하나가 상기 제1 영상 내에서 변경되는, 영상처리장치.
  13. 제10항에 있어서, 상기 모드 전환부는,
    상기 출현한 객체에 의해 미리 설정된, 상기 제1 영상에서 상기 출현한 객체의 검출, 상기 출현한 객체의 음성인식 및 상기 출현한 객체의 얼굴인식 중 하나를 만족하면, 상기 출현한 객체에 설정된 프라이버시 모드로 전환하는, 영상처리장치.
  14. 제10항에 있어서, 상기 설정부는,
    상기 복수의 객체들 중 적어도 하나의 객체의 단말로부터 화면에 제공된 메뉴 숨김 상태를 나타내는 표식의 제1 터치를 검출하고, 상기 제1 터치의 위치를 중심으로 하는 적어도 하나의 메뉴가 표시된 휠 키를 상기 화면에 제공하고,
    상기 휠 키 상의 제2 터치를 검출하고, 상기 제2 터치의 위치에 대응하는 메뉴의 기능을 수행하는, 영상처리장치.
  15. 제14항에 있어서, 상기 설정부는,
    상기 제2 터치의 위치에 대응하는 메뉴가 프라이버시 설정인 경우,
    프라이버시 모드로의 전환 조건 및 프라이버시 영역의 설정을 포함하는 프라이버시 정보를 수신하고,
    상기 프라이버시 정보를 상기 터치를 입력한 객체에 매칭시키는, 영상처리장치.
  16. 제15항에 있어서, 상기 설정부는,
    상기 제1 영상과 오버랩하여 영역 지정을 위한 블록을 제공하고,
    상기 제1 영상에서 상기 블록이 둘러싸는 영역 또는 상기 블록이 둘러싸는 영역 외의 영역을 상기 프라이버시 영역으로 지정하는 입력을 수신하는, 영상처리장치.
  17. 제14항에 있어서, 상기 설정부는,
    상기 제2 터치의 위치에 대응하는 메뉴가 이벤트 열람인 경우,
    상기 프라이버시 영역에서 발생한 이벤트인 프라이버시 이벤트의 요청을 수신하면 상기 프라이버시 이벤트를 요청하는 객체의 인증을 요청하고,
    상기 프라이버시 이벤트를 요청하는 객체가 상기 출현한 객체로 인증되면 상기 프라이버시 이벤트 열람을 허용하는, 영상처리장치.
  18. 제10항에 있어서, 상기 설정부는,
    상기 복수의 객체들 중 적어도 하나의 객체의 단말로부터 화면에 제공된 메뉴 숨김 상태를 나타내는 표식의 제3 터치를 검출하고, 상기 제3 터치에 응답하여 상기 제1 영상과 오버랩하여 내비게이션 키를 제공하고,
    상기 내비게이션 키의 제4 터치를 검출하고, 상기 제4 터치에 대응하는 좌표 값으로 상기 카메라의 뷰를 제어하는, 영상처리장치.
KR1020160148189A 2016-11-08 2016-11-08 영상처리장치 및 그의 영상제공방법 KR102614012B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160148189A KR102614012B1 (ko) 2016-11-08 2016-11-08 영상처리장치 및 그의 영상제공방법
US16/345,818 US10819904B2 (en) 2016-11-08 2016-11-21 Image processing device and image providing method therefor
PCT/KR2016/013400 WO2018088608A1 (ko) 2016-11-08 2016-11-21 영상처리장치 및 그의 영상제공방법
EP16921406.1A EP3540620B1 (en) 2016-11-08 2016-11-21 Image processing device and image providing method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160148189A KR102614012B1 (ko) 2016-11-08 2016-11-08 영상처리장치 및 그의 영상제공방법

Publications (2)

Publication Number Publication Date
KR20180051191A KR20180051191A (ko) 2018-05-16
KR102614012B1 true KR102614012B1 (ko) 2023-12-14

Family

ID=62109533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160148189A KR102614012B1 (ko) 2016-11-08 2016-11-08 영상처리장치 및 그의 영상제공방법

Country Status (4)

Country Link
US (1) US10819904B2 (ko)
EP (1) EP3540620B1 (ko)
KR (1) KR102614012B1 (ko)
WO (1) WO2018088608A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3526964B1 (en) * 2016-10-14 2024-02-21 Genetec Inc. Masking in video stream
JP6938270B2 (ja) * 2017-08-09 2021-09-22 キヤノン株式会社 情報処理装置および情報処理方法
US20190349517A1 (en) * 2018-05-10 2019-11-14 Hanwha Techwin Co., Ltd. Video capturing system and network system to support privacy mode
KR102095968B1 (ko) * 2018-07-03 2020-04-23 한양대학교 에리카산학협력단 영상의 프라이버시 보호 및 변조 방지를 위한 영상 처리 장치, 영상 검증 장치 및 그 방법
US11710064B2 (en) * 2018-07-11 2023-07-25 Sap Se Machine learning analysis of user interface design
US10643667B2 (en) 2018-09-11 2020-05-05 Avigilon Corporation Bounding box doubling as redaction boundary
US11527265B2 (en) * 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
KR102611722B1 (ko) * 2019-01-07 2023-12-07 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 방법
KR102154432B1 (ko) * 2019-04-09 2020-09-09 주식회사 엘지유플러스 영상 촬영 기기 및 이의 동작 방법
KR102150793B1 (ko) * 2019-04-17 2020-09-01 주식회사 엘지유플러스 사용자 인터페이스를 표시하는 단말 및 이의 동작 방법
US11159323B1 (en) 2019-05-20 2021-10-26 Bank Of America Corporation Pseudonymous video data capture and query system
US10990695B2 (en) 2019-09-05 2021-04-27 Bank Of America Corporation Post-recording, pre-streaming, personally-identifiable information (“PII”) video filtering system
CN110675347B (zh) * 2019-09-30 2022-05-06 北京工业大学 一种基于组稀疏表示的图像盲复原方法
CN111159751A (zh) * 2019-12-03 2020-05-15 深圳博脑医疗科技有限公司 三维影像的去隐私化处理方法、装置和终端设备
CN111193831A (zh) * 2019-12-27 2020-05-22 平安国际智慧城市科技股份有限公司 手机app页面刷新方法、装置及计算机可读存储介质
CN111432286B (zh) * 2019-12-31 2022-05-20 杭州海康威视数字技术股份有限公司 视频处理的方法、装置和系统
CN111931148A (zh) * 2020-07-31 2020-11-13 支付宝(杭州)信息技术有限公司 图像处理方法、装置和电子设备
US11895394B2 (en) * 2020-09-30 2024-02-06 Stryker Corporation Privacy controls for cameras in healthcare environments
USD946598S1 (en) 2020-09-30 2022-03-22 Masimo Corporation Display screen or portion thereof with graphical user interface
USD946597S1 (en) 2020-09-30 2022-03-22 Masimo Corporation Display screen or portion thereof with graphical user interface
USD971933S1 (en) * 2020-09-30 2022-12-06 Masimo Corporation Display screen or portion thereof with graphical user interface
USD946596S1 (en) 2020-09-30 2022-03-22 Masimo Corporation Display screen or portion thereof with graphical user interface
US20230222757A1 (en) * 2022-01-13 2023-07-13 Qualcomm Incorporated Systems and methods of media processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120098854A1 (en) * 2010-10-21 2012-04-26 Canon Kabushiki Kaisha Display control apparatus and display control method
US20160148016A1 (en) * 2014-11-25 2016-05-26 Honeywell International Inc. System and Method of Contextual Adjustment of Video Fidelity to Protect Privacy

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6370233B1 (en) 1999-08-03 2002-04-09 Ameritech Corporation Security system with call management functionality
US6509926B1 (en) 2000-02-17 2003-01-21 Sensormatic Electronics Corporation Surveillance apparatus for camera surveillance system
US8311275B1 (en) 2008-06-10 2012-11-13 Mindmancer AB Selective viewing of a scene
US8576282B2 (en) * 2008-12-12 2013-11-05 Honeywell International Inc. Security system with operator-side privacy zones
KR20110086380A (ko) 2010-01-22 2011-07-28 조성구 감시카메라의 영상을 휴대폰으로 확인 가능한 시스템
KR20130003886A (ko) 2011-07-01 2013-01-09 주식회사 인터파크에이치엠 보안 서비스 서버 및 스마트 보안 방법
KR101936802B1 (ko) 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
KR101338341B1 (ko) 2012-08-21 2013-12-06 경북대학교 산학협력단 Ｃｃｔｖ 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법
DE102013019488A1 (de) 2012-11-19 2014-10-09 Mace Wolf Bilderfassung mit schutz der privatsphäre
US9319635B2 (en) 2012-11-30 2016-04-19 Pelco, Inc. Window blanking for pan/tilt/zoom camera
US9179105B1 (en) * 2014-09-15 2015-11-03 Belkin International, Inc. Control of video camera with privacy feedback
KR101624983B1 (ko) 2015-09-18 2016-05-27 김경숙 방범 및 화재 통합관제장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120098854A1 (en) * 2010-10-21 2012-04-26 Canon Kabushiki Kaisha Display control apparatus and display control method
US20160148016A1 (en) * 2014-11-25 2016-05-26 Honeywell International Inc. System and Method of Contextual Adjustment of Video Fidelity to Protect Privacy

Also Published As

Publication number Publication date
KR20180051191A (ko) 2018-05-16
EP3540620A4 (en) 2020-07-01
EP3540620B1 (en) 2023-10-11
EP3540620A1 (en) 2019-09-18
US10819904B2 (en) 2020-10-27
US20190268537A1 (en) 2019-08-29
WO2018088608A1 (ko) 2018-05-17

Similar Documents

Publication Publication Date Title
KR102614012B1 (ko) 영상처리장치 및 그의 영상제공방법
JP6542324B2 (ja) 注視決定とデバイス入力との使用
US11048397B2 (en) Methods and systems for presenting alert event indicators
US20200178027A1 (en) Content display controls based on environmental factors
CN104980653B (zh) 视频监控系统中的照相机参数更新的方法
KR102610013B1 (ko) 프라이버시 보호를 제공하는 단말 장치 및 그 동작 방법
US20170220242A1 (en) Home security system with touch-sensitive control panel
US10157227B2 (en) Apparatus and method for generating a summary image by image processing
EP3241372A1 (en) Contextual based gesture recognition and control
US20170199934A1 (en) Method and apparatus for audio summarization
KR102644782B1 (ko) 모니터링 장치 및 시스템
KR102164454B1 (ko) 개인 페이지 제공 방법 및 이를 위한 디바이스
EP2862362B1 (en) Stream-based media management
US10791258B2 (en) Monitoring apparatus and system
US20080309760A1 (en) Method and apparatus for controlling a video surveillance camera
KR102078265B1 (ko) 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법
KR102187236B1 (ko) 프리뷰 방법 및 이를 구현하는 전자 장치
US10277794B2 (en) Control apparatus, control method, and recording medium
KR20190022307A (ko) 클라이언트 디바이스, 컴패니언 스크린 디바이스 및 그 동작방법
KR20150092480A (ko) 디스플레이 디바이스 및 그 제어 방법
KR20180011608A (ko) 검색 장치
JP2022112917A (ja) 監視カメラおよび学習モデル設定支援システム
JP6064995B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR20180067224A (ko) 사용자 장치 및 그의 로그 관리 방법
JP2007049378A (ja) 画像表示装置、画像表示装置の制御方法、画像表示プログラムおよび記録媒体

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant