KR20220150584A - 화면 촬영의 방지를 위한 장치, 방법 및 시스템 - Google Patents

Abstract

본 발명은 화면 촬영의 방지를 위한 장치에 관한 것으로, 촬영 동작, 렌즈 형태 및 렌즈의 촬영 방향을 학습하고, 상기 학습을 기반으로 화면에 대향하여 적어도 한 명의 촬영 동작과 상기 적어도 한 명이 소지한 기기에서 렌즈의 촬영 방향을 감지하며, 상기 렌즈의 촬영 방향에 따라 화면을 촬영하려는 시도를 판단하는 감지부 및 상기 감지부의 판단에 기반하여 상기 화면을 차단하여 상기 화면의 촬영을 방해하는 화면 차단부를 포함할 수 있다.

Description

화면 촬영의 방지를 위한 장치, 방법 및 시스템{Device, method and system for preventing screen shots}

본 발명은 화면 촬영의 방지를 위한 장치, 방법 및 시스템에 관한 것으로, 더욱 구체적으로는 모니터, 태블릿 등의 전자기기의 화면 촬영을 방지함으로써 보안을 강화할 수 있도록 하는 장치, 방법 및 시스템에 관한 것이다.

국내 다수의 기업이나 기관들이 재택 또는 원격근무제를 실시하고 있으며, 특히 시간과 공간에 제약을 받지 않는 모바일 오피스 업무환경이 급격히 증가하는 추세이다. 이에 따라, 원격근무시스템(VPN), 5G 보안게이트웨이, 개인 및 기업정보 등 데이터 보안 강화는 물론, 단체대화방의 화면캡쳐 방지시스템 및 개인 단말기 내 파일 다운로드 방지 시스템, MDM(Mobile Device Management) 등 다양한 보안시스템을 운용함으로써, 보안 시스템과 보안 대책도 고도화 되고 있는 실정이다.

그 동안 외부인이 해킹을 통해 정보를 탈취하거나 내부에 침입하여 USB 등으로 정보를 탈취하는 극단적인 상황에는 보안이 강화되어 왔으나, 정보관리 당사자가 자신의 이익이나 악의적이고 불순한 의도를 가지고 기존의 보안 시스템을 피해 화면 촬영이라는 단순한 정보의 유출은 보안의 측면에서 개인의 양심에만 호소하는 한계가 있다.

전자결재, 주요 문서 열람 및 작성 등을 비롯하여 재택근무나 모바일 오피스 업무환경은 거스를 수 없는 시대적 추세이지만, 다양한 보안시스템이 존재함에도 불구하고 지속적으로 보안지침을 마련하고 보안인식의 제고라는 양심에 호소할 수밖에 없는 한계도 존재하기 때문에 PC, 모바일 등의 화면 촬영방지 시스템이 필요한 실정이다.

미국 등록특허 US9140444

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 모니터, 태블릿 등의 전자기기의 화면 촬영을 방지하여 보안을 강화하는 데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 화면 촬영의 방지를 위한 장치는 화면에 대향한 영역을 촬영하는 촬영부; 상기 촬영부로부터 촬영된 이미지를 수신하고, 상기 이미지를 기반으로 인공지능 모델을 이용하여 촬영 동작을 감지 및 판단하는 제어부; 및 상기 제어부의 판단을 기반으로 상기 화면을 차단하는 화면 차단부;를 포함하고, 상기 촬영부, 상기 제어부 및 상기 화면 차단부 중에서 적어도 하나는 보안 컨텐츠 및 보안 프로그램 중에서 적어도 하나가 실행될 시 상기 화면의 촬영을 차단하기 위한 동작이 활성화 될 수 있다.

여기서, 상기 인공지능 모델은 모션 감지 인공지능 모델을 포함하고, 상기 모션 감지 인공지능 모델은 이미지에서 사람의 손 또는 팔의 위치를 추적하여 사진을 촬영하는 동작 패턴을 학습한 인공지능 모델이며, 상기 제어부는 상기 모션 감지 인공지능 모델에서 학습된 상기 동작 패턴에 기반하여 상기 촬영 동작을 감지 및 판단할 수 있다.

또한, 상기 인공지능 모델은 객체 검출 인공지능 모델을 포함하고, 상기 객체 검출 인공지능 모델은 이미지에서 촬영기기를 검출하도록 학습된 인공지능 모델이며, 상기 제어부는 상기 객체 검출 인공지능 모델에서 학습된 상기 촬영기기의 검출 결과에 기반하여 상기 촬영 동작을 감지 및 판단할 수 있다.

아울러, 상기 촬영기기는 카메라, 모바일 기기, 안경카메라, 스파이 캠 중에서 적어도 하나를 포함할 수 있다.

또한, 상기 인공지능 모델은 광학 특성 감지 인공지능 모델을 포함하고, 상기 광학 특성 감지 인공지능 모델은 이미지에서 촬영기기에 구비된 렌즈에서 발광하는 플래시의 광학 특성을 학습한 인공지능 모델이며, 촬영기기에 구비된 렌즈에서 발광하는 플래시를 감지하는 플래시 감지부;를 더 포함하고, 상기 제어부는 상기 플래시 감지부가 감지한 플래시의 광학 특성에 따라 상기 광학 특성 감지 인공지능 모델에서 학습된 광학 특성 감지 결과를 기반으로 상기 촬영 동작을 감지 및 판단할 수 있다.

또, 상기 인공지능 모델은 객체 검출 인공지능 모델을 포함하고, 상기 객체 검출 인공지능 모델은 이미지에서 렌즈 형태 및 렌즈의 촬영 방향을 학습한 인공지능 모델이며, 상기 제어부는 상기 객체 검출 인공지능 모델에서 화면에 대향한 영역을 촬영한 이미지에서 적어도 한 명의 촬영 동작과 상기 적어도 한 명이 소지한 촬영기기에서 렌즈의 촬영 방향을 감지한 것을 기반으로 상기 촬영 동작을 감지 및 판단할 수 있다.

또, 상기 제어부가 상기 인공지능 모델을 자가 학습하고, 상기 제어부는 상기 인공지능 모델을 학습하여 상기 화면 차단부가 상기 화면을 차단한 후 상기 화면을 차단하도록 판단하는데 사용된 이미지를 상기 인공지능 모델의 성능 개선을 위한 학습에 재사용할 수 있다.

또, 상기 화면 차단부는 상기 화면을 오프시킴으로써 상기 화면의 촬영을 방해할 수 있다.

또한, 상기 화면 차단부는 상기 화면에 노이즈를 발생시킴으로써 상기 화면의 촬영을 방해할 수 있다.

아울러, 상기 화면의 촬영을 경고하기 위해 경고음을 발생시키는 경고음 발생부;를 더 포함하고, 상기 경고음 발생부는 상기 화면 차단부가 상기 화면을 차단할 시 경고음을 발생시킬 수 있다.

아울러, 상기 화면의 주변에 구비되어, 외부 촬영 모듈이 상기 화면의 주변을 촬영하는 이미지를 수신하는 이미지 수신부;를 더 포함하고, 상기 제어부는 상기 이미지 수신부가 외부 촬영 모듈로부터 수신한 이미지에서 촬영 동작을 감지 및 판단하고, 상기 화면 차단부는 상기 제어부의 판단을 기반으로 상기 화면을 차단하여 상기 화면의 촬영을 방해할 수 있다.

한편, 상기 목적을 달성하기 위한 본 발명에 따른 화면 촬영의 방지를 위한 방법은 제어부가 인공지능 모델을 이용하여 촬영 동작을 학습하는 단계; 촬영부가 화면에 대향한 영역을 촬영한 이미지를 상기 제어부로 전달하는 단계; 상기 제어부가 상기 촬영부로부터 촬영된 이미지를 수신하고, 상기 이미지를 기반으로 인공지능 모델을 이용하여 촬영 동작을 감지 및 판단하는 단계; 및 화면 차단부가 상기 제어부의 판단을 기반으로 상기 화면을 차단하는 단계;를 포함하고, 상기 촬영부, 상기 제어부 및 상기 화면 차단부 중에서 적어도 하나는 보안 컨텐츠 및 보안 프로그램 중에서 적어도 하나가 실행될 시 상기 화면의 촬영 차단을 위한 동작이 활성화 될 수 있다.

본 발명에 따른 화면 촬영의 방지를 위한 장치, 방법 및 시스템은 정보 유출을 방지할 수 있다. 본 발명에서는 화면 촬영 방지 장치가 컴퓨터, 태블릿 또는 모바일 기기에 내장되어 불특정의 사람이 컴퓨터의 화면이나 태블릿, 모바일 기기 등의 화면을 촬영하려고 시도할 시 사용자의 행동을 감지하여 기기의 화면을 오프시킴으로써 화면에 표시된 정보의 유출을 차단하여 방지할 수 있다.

또한, 화면 촬영 방지 장치는 CCTV, 사물인터넷이 구비된 물체 등 실내를 감시하는 감시 모듈과 연동되어, 사용자가 화면을 촬영하는 특정 행동을 감지하고, 이를 화면 촬영 방지 장치 및 관리자에 전달함으로써 화면 촬영을 더욱 견고하게 방지할 수 있다.

도 1은 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 장치의 블록도이다.
도 3은 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 방법의 순서도이다.
도 4는 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 장치에서 제어부가 1-stage detector methods를 사용하여 딥러닝 인퍼런스의 속도를 높이는 것을 개략적으로 나타낸 도면이다.
도 5은 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 장치가 화면에 대향한 사람의 행동을 감지하여 사람의 촬영 동작을 판단하는 것을 개략적으로 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 장치가 화면을 오프시켜 차단함으로써 화면 촬영을 방해하는 것을 개략적으로 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 장치가 화면에 노이즈를 발생시켜 차단함으로써 화면 촬영을 방해하는 것을 개략적으로 나타낸 도면이다.
도 8는 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 장치에서 제어부가 자동화 된 학습 데이터의 피드백을 수행하는 것을 개략적으로 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 시스템에서 외부 촬영 모듈이 화면에 대향한 사람을 촬영하고, 촬영된 이미지를 화면 촬영 방지 장치 및 관리자 단말로 전달하고, 화면 촬영 방지 장치가 화면을 차단하는 것을 개략적으로 나타낸 도면이다.

이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.

도 1은 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 시스템을 개략적으로 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 시스템은 디스플레이 장치, 화면 촬영 방지 장치(1) 및 관리자 단말(4)을 포함할 수 있다.

디스플레이 장치는 문서가 표시되는 구성이다. 이러한 문서는 공공기관 등에서 취급하는 보안이 필요한 문서일 수 있다. 또한, 문서는 디스플레이 장치에 보안 프로그램이 로딩 된 후에 로딩 될 수 있다. 여기서, 디스플레이 장치는 원격 디바이스, 워크스테이션, 컴퓨터, 범용 컴퓨터, 인터넷 어플라이언스, 핸드헬드 디바이스, 무선 디바이스, 휴대형 디바이스, 웨어러블 컴퓨터, 셀룰러 또는 모바일 전화, 개인 휴대 정보 단말기(PDA), 스마트폰, 태블릿, 울트라북, 넷북, 랩탑, 데스크탑, 멀티-프로세서 시스템, 마이크로프로세서 기반의 또는 프로그래밍이 가능한 가전제품, 게임 콘솔, 셋탑박스, 네트워크 PC, 미니 컴퓨터, 프로그램, 앱이나 어플리케이션 등을 포함하지만, 이것으로 제한되는 것은 아니다.

화면 촬영 방지 장치(1)는 디스플레이 장치와 연결되어 디스플레이를 촬영하고자 하는 의도를 가진 사용자로부터 화면(3)의 촬영을 차단 및 방해하는 구성이다. 이러한 화면 촬영 방지 장치(1)는 디스플레이와 연결된 장치 내에 모듈로써 구비되거나, 별도의 프로그램으로 구비될 수 있다. 화면 촬영 방지 장치(1)는 화면(3)에 보안 문서 또는 DRM(Digital Rights Management) 기술이 적용된 문서를 포함하거나 보안이 필요한 영상을 포함한 보안 컨텐츠가 로딩 된 상태이거나, 디스플레이 장치에 보안 프로그램이 작동된 상태에서 특정 사용자가 디스플레이 장치와 대향하여 디스플레이 장치의 화면(3)을 촬영하려고 시도할 시 이를 감지하여 화면(3)의 촬영을 차단할 수 있다. 여기서, 대향이란 화면(3) 앞에 사람이 마주 보고 위치하고 있는 상태를 일컫는다.

관리자 단말(4)은 화면 촬영 방지 장치(1)와 연결되어 화면 촬영 방지 장치(1)를 관리하는 구성이다. 이러한 관리자 단말(4)은 화면 촬영 방지 장치(1)와 네트워크로 연결되어 화면 촬영 방지 장치(1)에 관한 유지 및 보수 등의 관리를 수행할 수 있다. 관리자 단말(4)은 원격 디바이스, 워크스테이션, 컴퓨터, 범용 컴퓨터, 인터넷 어플라이언스, 핸드헬드 디바이스, 무선 디바이스, 휴대형 디바이스, 웨어러블 컴퓨터, 셀룰러 또는 모바일 전화, 개인 휴대 정보 단말기(PDA), 스마트폰, 태블릿, 울트라북, 넷북, 랩탑, 데스크탑, 멀티-프로세서 시스템, 마이크로프로세서 기반의 또는 프로그래밍이 가능한 가전제품, 게임 콘솔, 셋탑박스, 네트워크 PC, 미니 컴퓨터, 프로그램, 앱이나 어플리케이션 등을 포함하지만, 이것으로 제한되는 것은 아니다.

이하에서는 도면을 참고하여 화면 촬영 방지 장치(1)의 구성을 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 장치의 블록도이다.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 화면 촬영 방지 장치(1)는 촬영부(100), 제어부(200), 화면 차단부(300) 및 데이터베이스(400)를 포함할 수 있다.

촬영부(100)는 디스플레이 장치의 화면(3)에 대향한 영역을 촬영하여 이미지를 생성하는 구성이다. 이러한 촬영부(100)는 화면(3)의 전면에 구비되어 화면(3)에 대향한 영역을 촬영하고, 촬영된 영역을 이미지로 생성할 수 있다. 이 때 촬영부(100)는 화면(3)에 보안 문서 또는 DRM(Digital Rights Management) 기술이 적용된 문서를 포함한 보안 컨텐츠가 로딩 된 상태이거나, 디스플레이 장치에 보안 프로그램이 실행이나 작동된 상태에서 활성화 될 수 있다.

제어부(200)는 촬영부(100)로부터 수신한 이미지에서 촬영 동작 및 촬영기기를 감지하여 촬영을 시도하는 것을 판단하는 구성이다. 이러한 제어부(200)는 인공지능 모델을 기반으로 미리 자가 학습을 통해 감지 및 판단할 수 있다. 또는 학습된 결과를 이용하여 촬영 동작 및 촬영기기를 감지하여 화면(3) 촬영을 판단할 수도 있다.

여기서, 촬영 동작이란 사람이 촬영을 하려고 스마트폰이나 태블릿 등의 촬영기기(5)를 소지한 상태와 촬영기기(5)를 소지한 상태에서 촬영을 하기 위해 촬영기기(5)를 두 손으로 들고 있는 모션 등의 촬영을 하기 위한 다양한 동작일 수 있다. 따라서 제어부(200)는 데이터베이스(400)에 저장되어 있는 행동 정보를 기반으로 화면(3)을 촬영하는 사람의 행동을 학습하여 촬영하려는 시도를 감지 및 판단할 수 있다.

즉, 제어부(200)는 화면(3)에 대향한 영역을 촬영한 영상에서 화면(3)에 대향하여 위치한 특정 사람의 행동을 감지 및 판단하는 것이다. 여기서, 특정 사람은 디스플레이 장치의 화면(3) 앞에 대향하여 적어도 한 명 이상일 수 있다.

다시 말해, 제어부(200)는 화면(3)을 촬영하는 사람의 행동에 관한 행동 정보를 미리 학습하고, 학습된 행동 정보에 기반하여 디스플레이 장치에 대향한 사람이 화면(3)을 촬영하려는 것인지를 감지할 수 있다. 여기서, 화면(3)을 촬영하는 사람의 행동에 대한 행동 정보는 학습 데이터로써 데이터베이스(400)에 저장되어 사용될 수 있다.

제어부(200)는 모션 감지 인공지능 모델을 사용하여 이미지에서 사람의 손 또는 팔의 위치를 추적하여 사진을 촬영하는 동작 패턴을 학습할 수 있고, 객체 검출 인공지능 모델을 사용하여 이미지에서 촬영기기를 검출하도록 할 수 있다.

이 때 데이터베이스(400)에는 사람이 촬영을 하려고 스마트폰이나 태블릿 등의 촬영기기(5)를 소지한 모습과 촬영기기(5)를 소지한 상태에서 촬영을 하기 위해 촬영 모션을 취하는 등의 다양한 동작 패턴에 관한 행동 정보들이 저장될 수 있다. 따라서 제어부(200)는 데이터베이스(400)에 저장되어 있는 행동 정보를 기반으로 화면(3)을 촬영하는 사람의 촬영 동작, 촬영기기 등을 학습하여 촬영하려는 시도를 감지 및 판단할 수 있다.

또한, 제어부(200)는 화면(3)에 보안 문서 또는 DRM(Digital Rights Management) 기술이 적용된 문서를 포함한 보안 컨텐츠가 로딩 된 상태이거나, 디스플레이 장치에 보안 프로그램이 실행이나 작동된 상태에서 활성화 될 수 있다.

화면 차단부(300)는 제어부(200)가 디스플레이 장치의 화면(3)에 대향한 적어도 한 명의 사람이 화면(3)을 촬영하는 것으로 판단할 시 화면(3)을 차단하여 촬영할 수 없도록 방해하는 구성이다. 이러한 화면 차단부(300)는 제어부(200)로부터 수신한 판단 정보에 기반하여 화면(3)을 대향하여 위치한 사람이 화면(3)을 촬영하려고 시도할 시 촬영하지 못하도록 방해할 수 있다.

이 때 화면 차단부(300)는 디스플레이 장치의 화면(3)을 오프시켜 화면(3)을 원천적으로 볼 수 없게 하거나, 화면(3)에 노이즈를 발생시켜 제대로 된 화면(3)을 식별할 수 없게 하는 것을 통해 촬영을 방해할 수 있다.

여기서, 화면의 촬영을 차단하기 위한 동작이 활성화 되는 것은 촬영부(100)가 화면(3)에 대향한 영역을 촬영하는 것, 제어부(200)가 촬영부(100)로부터 촬영된 이미지를 수신하고, 이미지를 기반으로 인공지능 모델을 이용하여 촬영 동작을 감지 및 판단하는 것 및 제어부(200)의 판단을 기반으로 화면(3)을 차단하여 화면(3)의 촬영을 방해하는 것을 말한다.

데이터베이스(400)는 제어부(200)가 학습하기 위한 학습 데이터가 저장되어 있는 구성이다. 이러한 데이터베이스(400)는 화면 촬영 방지 장치(1)의 내부에 구비되어 학습 데이터가 제공될 수도 있고, 또는 화면 촬영 방지 장치(1)의 외부에 구비되어 네트워크로 연결됨으로써 네트워크를 통해 학습 데이터가 제공될 수도 있다.

이하에서는 도면을 참고하여 화면(3) 촬영의 방지를 위한 방법을 설명하기로 한다.

도 3은 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 방법의 순서도이다.

도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 방법은 최초에 제어부(100)가 촬영 동작을 학습할 수 있다.<S30>

구체적으로, 제어부(100)는 인공지능 모델 중 딥러닝을 기반으로 촬영된 이미지에서 사람이 취하는 모션 중에서 촬영 동작에 대한 동작 패턴을 학습할 수 있다. 여기서, 사람이 취하는 촬영 동작이란, 사람이 스마트폰과 같은 촬영기기(5)로 촬영을 시도할 시, 촬영기기(5)를 한 손 또는 두 손으로 들고 있는 동작 등 다양하게 촬영을 시도하는 동작들을 모두 일컬어 말할 수 있다.

본 발명에서는 제어부(200)가 촬영 동작을 학습할 시 딥러닝 객체 탐지 알고리즘 또는 객체 검출 알고리즘을 사용할 수 있다. 이러한 알고리즘은 입력부와 출력부의 인터페이스를 가지고 있으며, 입력은 촬영된 이미지이고, 출력은 탐지된 데이터 정보로 구성될 수 있다.

이 때 딥러닝 모델을 개발하기 위해서 딥러닝 학습 데이터의 수집 및 학습 데이터에 그라운드 트루스 라벨링(Ground truth labeling) 작업을 진행하게 되는데, 이 때 다양한 촬영 환경 변수를 고려한 데이터 확보 및 라벨링이 필수적 요소이다. 따라서 딥러닝 객체 탐지 알고리즘 또는 객체 검출 알고리즘을 이용하여 반자동 형태의 라벨링과 검사 기준에 의한 수동 리파인먼트 기법을 이용하여 다양한 사례별 데이터를 라벨링 할 수 있다.

또한, 딥러닝 인퍼런스(inference)의 정확도를 높이기 위하여 이미지 분류(image classification) 및 객체 탐지(object detection) 등의 두 가지 모델을 사용할 수 있다.

아울러, 본 발명에서는 딥러닝 인퍼런스의 속도를 높이기 위하여 1-stage detector 기법을 사용할 수 있다. 이를 도 4를 참고하여 설명하기로 한다.

도 4는 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 장치에서 제어부가 1-stage detector 기법을 사용하여 딥러닝 인퍼런스의 속도를 높이는 것을 개략적으로 나타낸 도면이다.

도 4에 도시된 바와 같이, 본 발명에서는 제어부(200)에 1-stage detector 기법을 적용하여 딥러닝 인퍼런스의 속도를 높일 수 있다.

여기서, 1-stage detector는 영역 찾기(regional proposal)와 이미지 분류(classification)가 동시에 이루어질 수 있다. 즉, 현지화(localization)와 이미지 분류(classification)의 문제를 동시에 해결하는 것이다.

예를 들어, 제어부(200)는 촬영 동작에 대해 1-stage detector를 사용하여 촬영 동작에 대한 영상 이미지의 컨볼루션 레이어(Conv Layer)에서 특징을 추출(feature extraction)하고, 특징 맵(feature maps)을 생성하는 것이다. 이에 따라 각각의 그리드 또는 공간적 위치에 대해 멀티 클래스 분류 및 바운딩 박스 회귀를 처리하는 것이다. 이러한 과정을 통해 딥러닝 인퍼런스의 속도를 높여 딥러닝 학습을 위한 객체 탐지를 실시할 수 있다.

이 때 입력된 이미지에서 카메라 혹은 사용자의 촬영 동작을 찾는 것은 사용자의 손과 팔의 위치를 추적하는 것, 카메라 또는 촬영기기(5)의 렌즈를 추적하는 것, 사용자의 안경 또는 다양한 촬영기기 등을 추적하는 것으로부터 진행될 수 있다.

여기서, 촬영기기(5)는 카메라, 모바일 기기, 안경카메라, 스파이 캠 중에서 적어도 하나를 포함할 수 있다.

이후 보안 문서를 포함한 보안 컨텐츠 또는 보안 프로그램이 실행됨에 따라 촬영부(100)가 화면(3)에 대향한 영역을 촬영한 이미지를 제어부(200)로 전달할 수 있다.<S31>

다음으로, 제어부(200)가 화면(3)에 대향하여 적어도 한 명의 촬영 동작을 감지 및 판단할 수 있다.<S32> 이를 도 5를 참고하여 설명하기로 한다.

도 5는 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 장치가 화면에 대향한 사람의 행동을 감지하여 사람의 촬영 동작을 판단하는 것을 개략적으로 나타낸 도면이다.

도 5에 도시된 바와 같이, 이미지에는 디스플레이 장치의 화면(3)에 대향해서 사람이 적어도 한 명이 위치할 수 있다. 이 때 적어도 한 명의 사람은 각각 서 있거나 앉아있을 수 있다. 즉, 최소 한 명이 화면(3)에 대향하여 위치할 수 있는 것이다. 여기서, 제어부(200)는 사람의 행동을 감지 및 판단하여 판단 정보를 생성할 수 있다.

예를 들어, 제어부(200)는 앉아서 촬영기기(5)로 촬영하는 동작이나, 서있는 상태에서 촬영기기(5)로 촬영하는 동작 등을 미리 학습한 상태에서 디스플레이 장치의 화면(3)에 대향한 사람들의 행동 중 앉아서 촬영기기(5)로 촬영하는 동작이나, 서있는 상태에서 촬영기기(5)로 촬영하는 동작을 감지할 수 있다.

이후 제어부(200)가 감지된 촬영 동작에 따라 화면(3)을 촬영하려는 시도를 판단한 판단 정보를 생성할 수 있다.<S33>

구체적으로, 제어부(200)는 촬영된 이미지에서 디스플레이 장치의 화면(3)에 대향한 사람 중에서 화면(3)을 촬영하고자 하는 의도를 가진 사람이 존재하는 것으로 판단할 수 있고, 이에 따라 화면 차단부(300)에 화면(3)을 촬영하고자 하는 의도를 가진 사람이 존재하는 것으로 판단한 판단 정보를 화면 차단부(300)에 전달할 수 있다.

마지막으로, 화면 차단부(300)가 판단 정보에 따라 화면(3)을 차단하여 화면(3)의 촬영을 방해할 수 있다.<S34> 이를 도 6 및 도 7을 통해 설명하기로 한다.

먼저, 도 6은 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 장치가 화면을 오프시켜 차단함으로써 화면 촬영을 방해하는 것을 개략적으로 나타낸 도면이다.

도 6에 도시된 바와 같이, 화면 차단부(300)는 제어부(200)로부터 판단 정보를 수신하여 화면(3)에 대향한 적어도 한 명의 사람이 화면(3)을 촬영하는 것으로 판단된다면, 화면(3)의 전원을 오프시킴으로써 화면(3)을 차단할 수 있고, 이에 따라 화면(3)에 대향한 사람이 화면(3)을 촬영하려는 것을 방해할 수 있다.

또한, 도 7은 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 장치가 화면에 노이즈를 발생시켜 차단함으로써 화면 촬영을 방해하는 것을 개략적으로 나타낸 도면이다.

도 7에 도시된 바와 같이, 화면 차단부(300)는 제어부(200)로부터 판단 정보를 수신하여 화면(3)에 대향한 적어도 한 명의 사람이 화면(3)을 촬영하는 것으로 판단된다면, 화면(3)에 노이즈를 발생시킴으로써 화면(3)을 차단할 수 있고, 이에 따라 화면(3)에 대향한 사람이 화면(3)을 촬영하려는 것을 방해할 수 있다.

여기서, 노이즈는 화면(3)에 표시된 그림, 문자 및 숫자 등을 육안으로 확인할 수 없도록 하는 노이즈일 수 있다.

예를 들어, 화면(3)에 물결 형상의 노이즈를 발생시켜 그림, 문자 및 숫자 등을 제대로 식별할 수 없도록 할 수도 있고, 또는 그림, 문자 및 숫자 등이 표시된 화면(3)상에서 화면(3) 촬영에 대한 경고문을 포함한 창이 로딩되어 화면(3)에 대향한 사람에게 경고를 함과 동시에 화면(3)을 차단할 수도 있다.

여기서, 화면 차단부(300)는 화면(3)을 차단함과 동시에 화면(3) 촬영의 시도가 있었음을 관리자 단말(4)로 전달할 수 있다.

한편, 본 발명에서는 화면(3)에 대향한 적어도 한 명의 사람이 화면(3)을 촬영하는 시도에 대해 화면(3)을 차단하여 화면(3) 촬영을 방해하는 것뿐만 아니라 화면(3) 촬영을 경고하기 위한 경고음을 발생시킬 수도 있다.

구체적으로, 본 발명에 따른 화면 촬영 방지 장치(1)는 경고음을 발생시키는 경고음 발생부(500)를 포함할 수 있다. 이러한 경고음 발생부(500)는 화면 차단부(300)가 화면(3)의 촬영을 방해할 시 적어도 한 명에게 화면(3)의 촬영을 경고하기 위해 경고음을 발생시키는 구성이다.

예를 들어, 화면 차단부(300)가 화면(3) 촬영을 차단하기 위해 화면(3)의 전원을 오프시키거나 화면(3)에 노이즈를 발생시키면, 동시에 경고음 발생부(500)가 화면(3) 촬영에 대한 경고를 수행하기 위해 경고음을 발생시키는 것이다. 이러한 경고음은 사이렌 소리일 수도 있고, 화재 경보음과 같은 소리일 수도 있다. 아울러, 화면(3) 촬영을 하지 말라는 안내 음성이 출력될 수도 있다.

또한, 경고음은 관리자 단말(4)에도 전송하여 화면(3) 촬영에 대한 시도가 있었음을 공지할 수도 있다.

여기서, 경고음은 관리자가 설정하기에 따라 다양하게 실시될 수 있다. 즉, 관리자가 다양한 소리를 커스터마이징 하여 유니크한 경고음을 적용할 수 있다.

아울러, 본 발명에서는 제어부(200)가 적어도 한 명이 소지한 촬영기기(5)에서 플래시가 발광하는 것을 감지할 수도 있다.

구체적으로, 제어부(200)는 광학 특성 감지 인공지능 모델을 기반으로 광학 특성에 대해 학습한 상태에서, 디스플레이 장치의 화면(3)에 대향한 사람이 촬영기기(5)로 촬영할 시 촬영기기(5)에서 플래시가 발생한다면, 화면(3) 일측에 구비된 플래시 감지부(미도시)가 플래시를 감지하고, 제어부(200)는 감지된 플래시의 광학 특성을 기반으로 디스플레이 장치의 화면(3)에 대향하여 위치한 사람이 화면(3)을 촬영하려고 시도한 것으로 판단하여 판단 정보를 생성할 수 있다.

이후 제어부(200)는 판단 정보를 화단 차단부(300)에 전달할 수 있으며, 화면 차단부(300)는 화면(3)을 차단하기 위해 앞서 설명한 바와 같이, 화면(3)의 전원을 오프시키거나, 화면(3)에 노이즈를 발생시킬 수 있다. 따라서 화면(3)을 차단하여 화면(3) 촬영을 방해할 수 있다.

한편, 본 발명에서는 제어부(200)가 이미지에서 촬영 동작이나 광학 특성을 판단한 판단 정보를 학습 데이터로 사용할 수 있도록 SDK 형태의 라이브러리 인퍼런스를 제공할 수도 있다. 이를 도 8을 참고하여 설명하기로 한다.

도 8는 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 장치에서 제어부가 자동화 된 학습 데이터의 피드백을 수행하는 것을 개략적으로 나타낸 도면이다.

도 8에 도시된 바와 같이, 본 발명에서는 딥러닝 인퍼런스 결과를 필드의 상황에 맞게 사용자 측의 인퍼런스에 사용하였던 이미지 및 제어부(200)가 판단한 판단 정보를 자동으로 딥러닝 학습 프로세스에 공급하여 인퍼런스 결과를 더 좋게 튜닝할 수 있는 학습 피드백을 지원할 수 있다.

즉, 다양한 환경의 촬영 영상을 딥러닝 모델 제작자의 생각만으로 여러 상황을 가정하여 학습 데이터를 준비하고 학습하면, 고정된 환경 및 상황밖에 인지할 수밖에 없지만, 실제 다양한 필드, 분야 등의 상황에서 사용하는 영상을 자동으로 딥러닝 학습 데이터의 피드백으로 제공해주면 제어부(200)가 다양한 촬영 동작을 학습할 수 있다.

따라서 제어부(200)는 화면 차단부(300)가 화면(3)을 차단하여 화면(3)의 촬영을 방해한 후에, 화면(3)을 차단하도록 판단하는데 사용된 이미지를 인공지능 모델을 기반으로 촬영 동작을 학습하는 것에 재사용 하여 학습하여 학습을 효과적으로의 수행할 수 있다.

한편, 제어부(200)는 디스플레이 장치의 화면(3)에 대향하여 위치한 적어도 한 명의 사람이 촬영하려는 동작을 취할 시 해당 사람이 소지한 촬영기기(5)의 촬영 방향을 감지하여 화면(3)을 촬영하는 것으로 판단할 수도 있다.

즉, 제어부(200)는 앞서 화면(3)에 대향한 영역이 촬영된 이미지에서, 사람이 소지한 촬영기기(5)로 화면(3)을 촬영하는 동작을 취할 시 촬영기기(5)에 구비된 렌즈 형태 및 렌즈의 촬영 방향을 감지할 수 있다.

여기서, 렌즈 형태란, 스마트폰과 같은 촬영기기(5)에 구비된 다양한 렌즈 형태를 말할 수 있다.

또, 렌즈의 촬영 방향이란, 앞서 사람이 촬영기기(5)를 한 손 또는 두 손으로 들고 있는 다양한 동작에서 촬영기기(5)에 구비된 렌즈가 어느 방향을 향하고 있는지를 말할 수 있다.

이는 제어부(200)가 촬영기기(5)에 구비된 렌즈의 형태 및 렌즈가 향하여 촬영하는 방향에 관한 렌즈 정보를 객체 검출 인공지능 모델을 통해 미리 학습하고, 학습된 렌즈 정보에 기반하여 이미지에서 촬영기기(5)에 구비된 렌즈의 촬영 방향을 감지함으로써 화면(3)을 촬영하려는 시도를 판단할 수 있다.

여기서, 렌즈의 형태 및 렌즈가 향하여 촬영하는 방향에 관한 정보는 학습 데이터로써 데이터베이스(400)에 저장되어 사용될 수 있다. 이 때 데이터베이스(400)에는 스마트폰이나 태블릿 등의 촬영기기(5)에 구비된 렌즈 형태와, 해당 촬영기기(5)가 촬영 시 렌즈가 향하여 촬영하는 방향에 관한 정보들이 저장될 수 있다.

따라서 제어부(120)는 촬영 동작을 감지하여 판단하는 것뿐만 아니라 사람이 소지한 촬영기기(5)의 렌즈가 디스플레이 장치의 화면(3)을 촬영하려고 하는지를 추가로 감지하여 판단할 수 있다. 제어부(200)는 렌즈의 촬영 방향을 감지 및 판단한 이후에 판단 정보를 화면 차단부(300)로 전달하고, 화면 차단부(300)는 동일하게 화면(3)을 차단하여 화면(3) 촬영을 방해할 수 있다.

한편, 화면(3) 촬영에 대한 시도를 감지하여 차단하는 것에 보조적인 수단으로써, 화면 촬영 방지 장치(1)의 주변에 외부 촬영 모듈(2)이 추가될 수도 있다. 이를 도 9를 통해 설명하기로 한다.

도 9는 본 발명의 실시예에 따른 화면 촬영의 방지를 위한 시스템에서 외부 촬영 모듈이 화면에 대향한 사람을 촬영하고, 촬영된 이미지를 화면 촬영 방지 장치 및 관리자 단말로 전달하고, 화면 촬영 방지 장치가 화면을 차단하는 것을 개략적으로 나타낸 도면이다.

도 9에 도시된 바와 같이, 본 발명에서는 화면(3)의 주변에 적어도 하나의 외부 촬영 모듈(2)이 더 구비될 수 있다. 이러한 외부 촬영 모듈(2)은 이미지 수신부(600)과 서로 연결되어 있고, 이미지 수신부(600)는 외부 촬영 모듈(2)이 촬영한 이미지를 수신할 수 있다.

여기서, 외부 촬영 모듈(2)은 CCTV일 수도 있고, 촬영이 가능한 사물인터넷 기반의 모듈일 수도 있다.

외부 촬영 모듈(2)은 실내 공간에서 천장이나 높은 벽면이나 화면(3)의 주변에 설치될 수 있다. 따라서 디스플레이 장치의 화면(3)에 대향한 적어도 한 명의 사람을 외부 촬영 모듈(2)이 촬영한 이미지를 이미지 수신부(600)로 전달하고, 화면 차단부(300)는 이미지 수신부(600)로부터 수신한 이미지를 촬영부(100)에서 수신한 이미지와 동일하게 감지 및 판단한 판단 정보를 화면 차단부(300)에 전달할 수 있다. 이에 따라, 화면 차단부(300)가 화면(3)을 차단함으로써 화면(3) 촬영을 방해할 수 있다.

이처럼 본 발명에서는 화면(3)에 띄워진 문서에 대해 화면(3) 촬영을 시도하는 것이 감지될 시 화면(3)을 차단하여 화면(3) 촬영을 방해할 수 있다.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.

1 : 화면 촬영 방지 장치
100 : 촬영부
200 : 제어부
300 : 화면 차단부
400 : 데이터베이스
500 : 경고음 발생부
600 : 이미지 수신부
2 : 외부 촬영 모듈
3 : 화면
4 : 관리자 단말
5 : 촬영기기

Claims (12)

1. 화면 촬영의 방지를 위한 장치에 있어서,
   화면에 대향한 영역을 촬영하는 촬영부;
   상기 촬영부로부터 촬영된 이미지를 수신하고, 상기 이미지를 기반으로 인공지능 모델을 이용하여 촬영 동작을 감지 및 판단하는 제어부; 및
   상기 제어부의 판단을 기반으로 상기 화면을 차단하는 화면 차단부;를 포함하고,
   상기 촬영부, 상기 제어부 및 상기 화면 차단부 중에서 적어도 하나는 보안 컨텐츠 및 보안 프로그램 중에서 적어도 하나가 실행될 시 상기 화면의 촬영을 차단하기 위한 동작이 활성화 되는,
   화면 촬영의 방지를 위한 장치.
   
2. 제1항에 있어서,
   상기 인공지능 모델은 모션 감지 인공지능 모델을 포함하고,
   상기 모션 감지 인공지능 모델은 이미지에서 사람의 손 또는 팔의 위치를 추적하여 사진을 촬영하는 동작 패턴을 학습한 인공지능 모델이며,
   상기 제어부는 상기 모션 감지 인공지능 모델에서 학습된 상기 동작 패턴에 기반하여 상기 촬영 동작을 감지 및 판단하는,
   화면 촬영의 방지를 위한 장치.
   
3. 제1항에 있어서,
   상기 인공지능 모델은 객체 검출 인공지능 모델을 포함하고,
   상기 객체 검출 인공지능 모델은 이미지에서 촬영기기를 검출하도록 학습된 인공지능 모델이며,
   상기 제어부는 상기 객체 검출 인공지능 모델에서 학습된 상기 촬영기기의 검출 결과에 기반하여 상기 촬영 동작을 감지 및 판단하는,
   화면 촬영의 방지를 위한 장치.
   
4. 제3항에 있어서,
   상기 촬영기기는 카메라, 모바일 기기, 안경카메라, 스파이 캠 중에서 적어도 하나를 포함하는,
   화면 촬영의 방지를 위한 장치.
   
5. 제1항에 있어서,
   상기 인공지능 모델은 광학 특성 감지 인공지능 모델을 포함하고,
   상기 광학 특성 감지 인공지능 모델은 이미지에서 촬영기기에 구비된 렌즈에서 발광하는 플래시의 광학 특성을 학습한 인공지능 모델이며,
   촬영기기에 구비된 렌즈에서 발광하는 플래시를 감지하는 플래시 감지부;를 더 포함하고,
   상기 제어부는 상기 플래시 감지부가 감지한 플래시의 광학 특성에 따라 상기 광학 특성 감지 인공지능 모델에서 학습된 광학 특성 감지 결과를 기반으로 상기 촬영 동작을 감지 및 판단하는,
   화면 촬영의 방지를 위한 장치.
   
6. 제1항에 있어서,
   상기 인공지능 모델은 객체 검출 인공지능 모델을 포함하고,
   상기 객체 검출 인공지능 모델은 이미지에서 렌즈 형태 및 렌즈의 촬영 방향을 학습한 인공지능 모델이며,
   상기 제어부는 상기 객체 검출 인공지능 모델에서 화면에 대향한 영역을 촬영한 이미지에서 적어도 한 명의 촬영 동작과 상기 적어도 한 명이 소지한 촬영기기에서 렌즈의 촬영 방향을 감지한 것을 기반으로 상기 촬영 동작을 감지 및 판단하는,
   화면 촬영의 방지를 위한 장치.
   
7. 제2항, 제3항 및 제6항 중 어느 한 항에 있어서,
   상기 제어부가 상기 인공지능 모델을 자가 학습하고,
   상기 제어부는 상기 인공지능 모델을 학습하여 상기 화면 차단부가 상기 화면을 차단한 후 상기 화면을 차단하도록 판단하는데 사용된 이미지를 상기 인공지능 모델의 성능 개선을 위한 학습에 재사용하는,
   화면 촬영의 방지를 위한 장치.
   
8. 제1항에 있어서,
   상기 화면 차단부는 상기 화면을 오프시킴으로써 상기 화면의 촬영을 방해하는,
   화면 촬영의 방지를 위한 장치.
   
9. 제1항에 있어서,
   상기 화면 차단부는 상기 화면에 노이즈를 발생시킴으로써 상기 화면의 촬영을 방해하는,
   화면 촬영의 방지를 위한 장치.
   
10. 제1항에 있어서,
    상기 화면의 촬영을 경고하기 위해 경고음을 발생시키는 경고음 발생부;를 더 포함하고,
    상기 경고음 발생부는 상기 화면 차단부가 상기 화면을 차단할 시 경고음을 발생시키는,
    화면 촬영의 방지를 위한 장치.
    
11. 제1항에 있어서,
    상기 화면의 주변에 구비되어, 외부 촬영 모듈이 상기 화면의 주변을 촬영하는 이미지를 수신하는 이미지 수신부;를 더 포함하고,
    상기 제어부는 상기 이미지 수신부가 외부 촬영 모듈로부터 수신한 이미지에서 촬영 동작을 감지 및 판단하고,
    상기 화면 차단부는 상기 제어부의 판단을 기반으로 상기 화면을 차단하여 상기 화면의 촬영을 방해하는,
    화면 촬영의 방지를 위한 장치.
    
12. 화면 촬영의 방지를 위한 방법에 있어서,
    제어부가 인공지능 모델을 이용하여 촬영 동작을 학습하는 단계;
    촬영부가 화면에 대향한 영역을 촬영한 이미지를 상기 제어부로 전달하는 단계;
    상기 제어부가 상기 촬영부로부터 촬영된 이미지를 수신하고, 상기 이미지를 기반으로 인공지능 모델을 이용하여 촬영 동작을 감지 및 판단하는 단계; 및
    화면 차단부가 상기 제어부의 판단을 기반으로 상기 화면을 차단하는 단계;를 포함하고,
    상기 촬영부, 상기 제어부 및 상기 화면 차단부 중에서 적어도 하나는 보안 컨텐츠 및 보안 프로그램 중에서 적어도 하나가 실행될 시 상기 화면의 촬영 차단을 위한 동작이 활성화 되는,
    화면 촬영의 방지를 위한 방법.

Images