KR20220075275A - 카메라 가림 검출 방법, 장치, 기기, 저장 매체 및 프로그램 - Google Patents

Abstract

본 발명은 이미지 인식, 클라우드 서비스, 이상 상태 검출 등 기술분야에 관한 것으로서, 카메라 가림 검출 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램을 제공한다. 상기 방법은 카메라가 이동하지 않은 것에 응답하여, 현재 시간대에 대응되는 배경 이미지를 결정하는 단계; 현재 프레임의 실제 이미지 및 배경 이미지에 따라, 현재 프레임의 전경 이미지를 결정하는 단계; 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적을 결정하는 단계; 및 타깃 면적에 따라 현재 프레임에서 카메라의 가림 상태를 결정하는 단계를 포함한다. 상기 방법은 카메라가 이동하지 않을 경우 대응되는 배경 이미지를 제어하는 것을 통해, 이동한 카메라를 가려진 상태로 잘못 판단하는 것을 방지하고, 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적에 따라 가림 상태를 결정하여, 다수의 작은 이동 물체의 면적의 합이 면적 임계 값을 초과하여 초래되는 오판을 방지하며, 나아가 가림 상태의 판별 정확성을 향상한다.

Description

카메라 가림 검출 방법, 장치, 기기, 저장 매체 및 프로그램{CAMERA OCCLUSION DETECTION METHOD, DEVICE, EQUIPMENT, STORAGE MEDIUM AND PROGRAM PRODUCTS}

본 발명은 이미지 처리 기술분야에 관한 것이고, 구체적으로 이미지 인식, 클라우드 서비스, 이상 상태 검출 등 기술분야에 관한 것이며, 특히 카메라 가림 검출 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램에 관한 것이다.

영상 모니터링 장면에서, 카메라가 이물질에 가려져 정상적인 영역 모니터링이 제대로 되지 않을 수 있으며, 모니터링의 효력이 상실될 수도 있다.

인공 주관적인 검출은 오랜 시간 동안 지속적으로 모니터링 영상을 관찰해야 하므로, 원가가 높고 효율이 낮다. 다수의 카메라를 모니터링하는 상황에 있어서, 전면적으로 제때에 검출할 수 없으므로, 객관적이고 신속하며 효과적인 카메라 검출 방법이 필요하다.

본 발명의 실시예는 카메라 가림 검출 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램을 제시한다.

제1 양태에 따르면, 본 발명의 실시예는 카메라 가림 검출 방법을 제시하는 바, 카메라가 이동하지 않은 것에 응답하여, 현재 시간대에 대응되는 배경 이미지를 결정하는 단계; 현재 프레임의 실제 이미지 및 배경 이미지에 따라, 현재 프레임의 전경 이미지를 결정하는 단계; 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적을 결정하는 단계; 및 타깃 면적에 따라 현재 프레임에서 카메라의 가림 상태를 결정하는 단계를 포함한다.

제2 양태에 따르면, 본 발명의 실시예는 카메라 가림 검출 장치를 제시하는 바, 카메라가 이동하지 않은 것에 응답하여, 현재 시간대에 대응되는 배경 이미지를 결정하도록 구성되는 배경 이미지 결정 유닛; 현재 프레임의 실제 이미지 및 배경 이미지에 따라, 현재 프레임의 전경 이미지를 결정하도록 구성되는 전경 이미지 결정 유닛; 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적을 결정하도록 구성되는 타깃 면적 결정 유닛; 및 타깃 면적에 따라 현재 프레임에서 카메라의 가림 상태를 결정하도록 구성되는 가림 상태 결정 유닛을 포함한다.

제3 양태에 따르면, 본 발명의 실시예는 전자 기기를 제공하는 바, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하고; 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되며, 상기 명령은 적어도 하나의 프로세서에 의해 실행되어, 적어도 하나의 프로세서가 실행될 경우 제1 양태 중 어느 한 구현 형태에 따른 카메라 가림 검출 방법을 구현할 수 있도록 한다.

제4 양태에 따르면, 본 발명의 실시예는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하는 바, 컴퓨터 명령이 저장되고, 상기 컴퓨터 명령은 컴퓨터가 실행될 경우 제1 양태 중 어느 한 구현 형태에 따른 카메라 가림 검출 방법을 구현할 수 있도록 한다.

제5 양태에 따르면, 본 발명의 실시예는, 컴퓨터 프로그램을 제공하는 바, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1 양태 중 어느 한 구현 형태에 따른 카메라 가림 검출 방법을 구현할 수 있다.

본 발명의 실시예에서 제공되는 카메라 가림 검출 방법은, 먼저, 카메라가 이동하지 않은 기초상에서, 현재 시간대에 대응되는 배경 이미지를 결정하고; 다음, 현재 프레임의 실제 이미지 및 배경 이미지에 따라, 현재 프레임의 전경 이미지를 결정하며; 그 다음, 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적을 결정하고; 마지막으로, 타깃 면적에 따라 현재 프레임에서 카메라의 가림 상태를 결정한다.

본 발명은 카메라가 이동하지 않을 경우 대응되는 배경 이미지를 제어하는 것을 통해, 이동한 카메라를 가려진 상태로 잘못 판단하는 것을 방지하고, 동시에 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적에 따라 가림 상태를 결정하여, 다수의 작은 이동 물체의 면적의 합이 면적 임계 값을 초과하여 초래되는 오판을 방지할 수 있으며, 나아가 카메라 가림 상태에 대한 검출 정확성을 향상한다.

이 부분에서 설명되는 내용은 본 발명의 실시예의 핵심적이거나 중요한 특징을 표시하거나 본 발명의 범위를 한정하려는 것이 아님을 이해해야 할 것이다. 본 발명의 다른 특징은 아래의 명세서를 통해 이해하기 용이할 것이다.

아래 첨부 도면에 도시된 비 제한적인 실시예의 상세한 설명에 대한 열독 및 참조를 통해 본 발명의 다른 특징, 목적 및 장점이 보다 명확해질 것이다.
도 1은 본 발명이 이에 응용될 수 있는 예시적 시스템 아키텍처이다.
도 2는 본 발명의 실시예에서 제공되는 카메라 가림 검출 방법의 흐름도이다.
도 3은 본 발명의 실시예에서 제공되는 다른 카메라 가림 검출 방법의 흐름도이다.
도 4는 본 발명의 실시예에서 제공되는 카메라의 이동 여부를 판별하는 방법의 흐름도이다.
도 5는 본 발명의 실시예에서 제공되는 실제 응용 장면을 결합한 카메라 가림 검출 및 조기 경보 방법의 흐름도이다.
도 6은 본 발명의 실시예에서 제공되는 카메라 가림 검출 장치의 구조 블록도이다.
도 7은 본 발명의 실시예에서 제공되는 카메라 가림 검출 방법을 수행하는 전자 기기의 구조 모식도이다.

아래 도면과 결부시켜 본 발명의 예시적 실시예를 설명하되, 여기에 이해를 돕기 위한 본 발명의 실시예의 다양한 세부사항들이 포함되지만, 이들은 단지 예시적인 것으로 이해해야 한다. 따라서, 본 기술분야의 통상의 기술자는 본 발명의 범위 및 정신을 벗어나지 않는 전제 하에 여기서 설명된 실시예에 대해 다양한 변형 및 수정을 진행할 수 있음을 이해해야 한다. 마찬가지로, 명확 및 간략을 위해, 아래의 설명에서 공지 기능 및 구조에 대한 설명을 생략한다. 모순되지 않는 한 본 발명의 실시예 및 실시예의 특징은 서로 조합될 수 있음을 유의해야 한다.

본 발명의 기술적 해결수단에서, 관련되는 사용자 개인 정보의 획득, 저장 및 응용 등은 모두 관련 법규의 규정에 부합되고, 필요한 비밀 유지 조치를 취했으며, 공서양속에 어긋나지 않는다.

도 1은 본 발명의 카메라 가림 검출 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체가 응용될 수 있는 실시예의 예시적 시스템 아키텍처(100)를 나타낸다.

도 1에 도시된 바와 같이, 시스템 아키텍처(100)는 카메라(101), 네트워크(102) 및 서버(103)를 포함할 수 있다. 네트워크(102)는 카메라(101)와 서버(103) 사이에서 통신 링크의 매체를 제공한다. 네트워크(102)는 예를 들면 유선, 무선 통신 링크 또는 광섬유 케이블 등과 같은 다양한 연결 타입을 포함할 수 있다.

카메라(101)에 촬영된 이미지 또는 오디오 영상 데이터는 네트워크(102)를 통해 서버(103)로 전송되어 저장, 분석, 처리될 수 있고, 서버(103)는 사용자가 입력한 제어 명령에 따라 카메라(101)의 작업 상태를 예를 들어 모니터링 방위 회전 제어, 종료, 다시 시작 등으로 조절할 수도 있다. 카메라(101) 및 서버(103)에는 양자 사이의 정보 통신을 구현하는, 모니터링류 애플리케이션, 카메라 제어류 애플리케이션, 인스턴트 통신류 애플리케이션 등과 같은 다양한 애플리케이션이 장착될 수 있다.

카메라(101)는 촬영 기능 또는 카메라 어셈블리가 구비되는 다양한 전자 기기일 수 있고, 예를 들어 카메라가 설치된된 스마트폰, 태블릿PC, 휴대형 랩톱 및 데스크톱, 볼 카메라, 건 카메라 등이다. 서버(103)는 하드웨어 또는 소프트웨어일 수 있다. 서버(103)가 하드웨어인 경우, 다수의 서버로 구성된 분산형 서버 클러스터로 구현될 수 있고, 하나의 서버로 구현될 수도 있다. 서버(103)가 소프트웨인 경우, 다수의 소프트웨어 또는 소프트웨어 모듈로 구현되거나, 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며 여기서는 구체적으로 한정하지 않는다.

서버(103)는 내장된 다양한 애플리케이션을 통해 다양한 서비스를 제공할 수 있고, 수신되는 카메라에 촬영된 이미지에 기반하여 카메라 가림 상태를 분석하는 카메라 가림 판별류 애플리케이션을 제공할 수 있는 것을 예로 들면, 서버(103)는 상술한 타입의 애플리케이션을 실행할 경우 아래와 같은 효과를 구현할 수 있다. 먼저, 네트워크(102)가 카메라(101)로부터 카메라의 작업 상태를 판독하는 것을 통해 카메라(101)가 이동 상태인지 여부를 판별하고; 다음 카메라(101)가 이동하지 않은 것으로 결정할 경우, 현재 시간대에 대응되는 배경 이미지를 결정하며; 그 다음, 현재 프레임의 실제 이미지 및 배경 이미지에 따라, 현재 프레임의 전경 이미지를 결정하고; 나아가, 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적을 결정하며; 마지막으로, 타깃 면적에 따라 현재 프레임에서 카메라의 가림 상태를 결정한다.

나아가, 서버(103)는 결정된 구체적 가림 상태(즉 가림 상태, 가려지지 않은 상태)에 따라 카메라(101)에 상이한 제어 명령을 내려, 카메라(101)가 최대한 빨리 가림림 상태를 벗어나도록 할 수도 있다.

지적해야 할 것은, 각 시간대의 배경 이미지는 카메라(101)로부터 네트워크(102)를 통해 실시간으로 획득할 수 있는 외에도, 다양한 방식을 통해 서버(103) 로컬에 미리 저장될 수도 있다. 따라서, 서버(103)가 로컬에 이미 이러한 데이터가 저장된 것으로 검출할 경우, 직접적으로 로컬로부터 이러한 데이터를 획득하여, 데어터 전송량을 감소할 수 있다.

다수의 이미지에 기반하여 가림 상태를 결정하는 것은 비교적 많은 연산 자원과 비교적 강한 연산 능력을 점용해야 하기에, 본 발명의 후속의 각 실시예에서 제공되는 카메라 가림 검출 방법은 일반적으로 비교적 강한 연산 능력 및 비교적 많은 연산 자원을 구비한 서버(103)에 의해 구현되며, 대응되게, 카메라 가림 검출 장치도 일반적으로 서버(103)에 설치된다. 상기 서버(103)는 로컬 서버(예를 들어 로컬 카메라(101)와 데이터 연결을 구축한 사용자 개인 물리적 기계)일 수 있고, 원격 서버일 수도 있다.

이해해야 할 것은, 도 1 중의 카메라, 네트워크 및 서버의 개수는 예시적인 것일 뿐이며, 실제 필요에 따라 임의의 개수의 카메라, 네트워크 및 서버를 구비할 수 있다.

도 2를 참조하면, 도 2는 본 발명의 실시예에서 제공되는 카메라 가림 검출 방법의 흐름도이고, 프로세스(200)는 하기의 단계를 포함한다.

단계(201)에서, 카메라가 이동하지 않은 것에 응답하여, 현재 시간대에 대응되는 배경 이미지를 결정한다.

본 단계는 카메라 가림 검출 방법의 수행 주체(예를 들어 도 1에 도시된 바와 같은 서버(103))로 카메라(상기 카메라는 즉 가림 상태를 결정할 카메라임)가 이동하지 않은 경우에, 현재 시간대에 대응되는 배경 이미지를 결정하기 위한 것이다.

카메라가 이동하지 않은 것을 기초로 선택하는 것은, 이동하는 카메라는 촬영 방위의 변경으로 인해 촬영되는 내용이 변화되므로, 원래의 배경 이미지는 더이상 적합하지 않고, 배경에 기반하여 모델링되는 통상적인 카메라 가림 방법은 이동 상태에서 전반적인 이미지가 거의 전부 이전의 배경 이미지와 상이한 전경 이미지로 판별되어, 오판을 초래하므로, 오판을 방지하기 위해, 카메라가 이동하지 않은 기초상에서, 획득되는 현재 시간대의 배경 이미지의 유효성을 보장해야 한다.

구체적으로, 카메라의 이동 여부는, 다양한 방식을 통해 판별할 수 있는 바, 예를 들어 카메라의 작업 상태를 직접 판독할 수 있는 상황에서(예를 들어 카메라가 각각의 동작을 실행하는 작업일지를 판독할 수 있음), 판독된 작업 상태에 따라 카메라의 현재 이동 여부를 직접적으로 판별할 수 있으며; 촬영된 이미지 중 동일한 물체의 위치 이동 여부에 따라, 카메라의 이동 여부를 결정할 수도 있고, 구체적으로 어떤 방식을 선택할 지는 실제 상황에 따라 유연하게 선택할 수 있으며, 여기서 구체적으로 한정하지 않는다.

단계(202)에서, 현재 프레임의 실제 이미지 및 배경 이미지에 따라, 현재 프레임의 전경 이미지를 결정한다.

단계(201)의 기초상에서, 본 단계는 상기 수행 주체가 현재 프레임의 실제 이미지 및 배경 이미지에 따라, 현재 프레임의 전경 이미지를 결정하기 위한 것이다. 여기서, 전경 이미지는 실제 이미지 중 배경 이미지와 구별되는 부분 이미지이고, 배경 이미지는 카메라가 이동하지 않고 가려지지 않은 경우에 촬영된 이미지(카메라에 촬영된 적어도 하나의 최초 이미지 프레임이 가려지지 않은 것으로 결정하는 것에 기반하여 얻을 수 있음)이며, 어떤 물체에 가려지면 이때의 실제 이미지 중 새로운 이미지가 별도로 나타나고, 즉 상기 새로운 이미지는 바로 본 발명에서 설명되는 "전경 이미지"이며, 가려지지 않은 경우에 촬영된 이미지는 바로 본 발명에서 설명되는 "배경 이미지"이고, 전경 이미지 중의 이미지 특징으로 카메라의 구체적 가림 상태를 결정하는 데 편리하기 위한 것이다.

단계(203)에서, 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적을 결정한다.

단계(202)의 기초상에서, 본 단계는 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적을 결정하기 위한 것이다.

즉 전경 이미지에는 다수의 독립 물체가 존재할 수 있고, 예를 들어 사람, 나무잎, 튀는 흙탕물 등이며, 여기서 설명되는 독립은 이미지 내용이 서로 독립적인 것을 가리키고, 각 독립은 독립적인 외부 윤곽을 가지므로, 통상적인 가림 판별 알고리즘이 전경 이미지 중 각 독립 물체 각자의 면적의 합을 직접적으로 사용하여 기설정된 면적 임계 값과 비교하는 것을 방지하고, 면적의 합이 기설정된 면적 임계 값을 초과할 경우 카메라가 가림 상태인 것을 판별하기 위한 것이지만, 실제 다수의 작은 물체의 면적의 합을 면적 임계 값과 비교하는 방식을 사용하는 것은, 다수의 작은 이동 물체로 인해 용이하게 오판을 초래하고, 실제로는 이러한 가림 상황의 발생이 아주 적기 때문이다.

따라서, 판별의 정확성을 향상하기 위해, 본 단계는 전경 이미지 중 각 독립 물체의 외부 윤곽에 따라, 최대 외부 윤곽을 갖는 독립 물체를 결정하고, 다음 상기 최대 외부 윤곽을 갖는 독립 물체의 면적을 카메라 현재의 가림 상태를 결정하는 판별 파라미터로 결정한다.

단계(204)에서, 타깃 면적에 따라 현재 프레임에서 카메라의 가림 상태를 결정한다.

단계(203)의 기초상에서, 본 단계는 상기 수행 주체가 타깃 면적의 크기에 따라 상기 카메라가 현재 프레임을 촬영한 시각의 가림 상태, 즉 가려진 상태 또는 정상적인 가려지지 않은 상태인 것으로 결정하기 위한 것이다.

일반적인 상황에서, 타깃 면적이 클수록, 가림 물체가 더 큰 것을 뜻하고, 카메라의 정상 촬영에 영향을 줄 가능성이 더 높으므로, 가려진 상태인 것으로 반드시 결정되어야 하고, 이와 반대되면 가려지지 않은 상태인 것으로 결정되어야 한다. 구체적으로, 타깃 면적이 어떤 타입의 가림 상태인 지를 판단하는 임계치-면적 임계 값을 설정하는 것을 통해, 예를 들어 상기 타깃 면적이 상기 면적 임계 값보다 클 경우, 이때의 카메라를 가려진 상태로 판별하며, 반면에 상기 타깃 면적이 상기 면적 임계 값보다 크지 않을 경우, 이때의 카메라를 가려지지 않은 상태로 판별하고; 상이한 가림 상태에서 각자의 면적 값 구간을 사전에 결정하며, 상기 타깃 면적이 어느 면적 값 구간인 것에 따라 어떤 타입의 가림 상태에 속하는 지를 결정할 수도 있다.

본 발명의 실시예에서 제공되는 카메라 가림 검출 방법에 있어서, 카메라가 이동하지 않을 경우 대응되는 배경 이미지를 제어하는 것을 통해, 이동한 카메라를 가려진 상태로 잘못 판단하는 것을 방지하고, 동시에 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적에 따라 가림 상태를 결정하는 것을 통해, 다수의 작은 이동 물체의 면적의 합이 면적 임계 값을 초과하여 초래되는 오판을 방지할 수 있으며, 나아가 카메라 가림 상태에 대한 검출 정확성을 향상한다.

도 3을 참조하면, 도 3은 본 발명의 실시예에서 제공되는 다른 카메라 가림 검출 방법의 흐름도이고, 프로세스(300)는 하기의 단계를 포함한다.

단계(301)에서, 카메라가 지난번에 이동을 멈춘 타깃 시각을 결정한다.

즉 타깃 시각은 상기 카메라가 현재 시각에서 가장 최근의 이동을 멈춘 시각이고, 현재 시각이 10:01:00이고, 현재 시각에서 가장 최근의 카메라 이동 시간대가 09:54:23~09:56:32이면, 타깃 시각은 적어도 09:56:32이거나 09:56:32보다 조금 늦은 시각, 예를 들어 09:56:33이어야 한다.

단계(302)에서, 타깃 시각 이후 카메라가 다시 촬영한 샘플 이미지 세트를 획득한다.

단계(301)의 기초상에서, 본 단계는 상기 수행 주체로 타깃 시각 이후 상기 카메라가 다시 촬영한 이미지를 획득하고, 이러한 이미지를 샘플 이미지 세트로 종합하기 위한 것이다.

본 단계에 따라 샘플 이미지 세트를 획득하는 목적은 타깃 배경 이미지의 결정에 사용되는 원시 이미지는 카메라가 이동하지 않은 경우에 얻은 것임을 보장하여, 타깃 배경 이미지의 유효성을 보장하기 위한 것이다.

단계(303)에서, 샘플 이미지 세트 및 기설정된 배경 모델에 기반하여, 타깃 배경 이미지를 결정한다.

여기서, 본 단계에서 설명되는 배경 모델은 입력되는 이미지에 따라 실제 이미지 중 어느 부분이 전경 이미지에 속하는 지를 판단하는 모델을 전문적으로 구축하기 위한 것이고, 즉 배경 모델은 입력되는 이미지에 따라 하나의 현재 시간대의 배경 이미지를 유지한다.

포함되나 한정되지 않는 구현 방식은,

샘플 이미지 세트에서 시간축에 따라 배열되는 이전 기설정된 프레임의 샘플 이미지를 선택하는 단계;

각 샘플 이미지를 동일한 사이즈로 수축하거나 확대하고, 사이즈가 일치한 샘플 이미지를 그레이스케일 맵으로 전환하여, 샘플 그레이스케일 맵 세트를 얻는 단계; 및

배경 모델을 이용하여 샘플 그레이스케일 맵 세트에 대응되는 타깃 배경 이미지를 결정하는 단계를 포함할 수 있다.

시간축에 따라 배열하여 이전 기설정된 프레임을 선택하는 것은, 되도록 이른 이미지를 선택하는 것을 통해 후기의 이미지 내용이 변화하는 것을 방지하기 위한 것이고, 사이즈를 일치하게 수축하거나 확대하는 것은 상이한 사이즈 이미지가 후속적으로 배경 이미지를 결정하는 데 주는 영향을 제거하기 위한 것이며, 그레이스케일 맵으로 전환하는 것은 그레이스케일 정보에 따라 배경 이미지를 더 잘 결정하기 위한 것이다. 물론, 상기 구현 방법을 실제 수요에 따라 조절하여, 동일한 또는 유사한 효과를 구현할 수도 있으나, 여기서 더이상 일일이 열거하지 않는다.

단계(304)에서, 타깃 배경 이미지를 현재 시간대에 대응되는 배경 이미지로 한다.

프로세스(200) 중의 단계(201)에 있어서, 상기 단계(301)-단계(304)는 구체적인 구현 방식을 제시하였고, 카메라가 지난번에 이동한 시간 정보를 획득할 수 있는 경우, 획득된 현재 시간대의 배경 이미지가 유효한 것임을 배경 모델을 통해 보장하였다.

단계(305)에서, 현재 프레임의 실제 이미지 및 배경 이미지에 따라, 현재 프레임의 전경 이미지를 결정한다.

단계(306)에서, 전경 이미지에 대해 형태학적 개방 연산을 실행하여, 연산 후 이미지를 얻는다.

여기서, 이미지에 대해 형태학적 개방 연산을 실행하는 것은 실질적으로, 먼저 전경 이미지에 대해 침식 연산을 실행하고, 다음 침식 연산의 결과에 대해 팽창 연산을 실행하는 것이며, 효과는 미세하게 연결된 두 개의 타깃을 분리하는 것과 유사하고, 본 단계 역시 이 연산을 통해 각각의 독립 물체의 외부 윤곽을 더 정확하게 결정한다.

단계(307)에서, 연산 후 이미지 중 각각의 독립 물체의 외부 윤곽을 각각 결정한다.

단계(308)에서, 각 외부 윤곽에 둘러싸인 면적에 따라 대응되는 독립 물체의 실제 면적을 각각 결정한다.

단계(309)에서, 수치가 가장 큰 실제 면적을 타깃 면적으로 결정한다.

프로세스(200) 중의 단계(203)에 있어서, 상기 단계(306)-단계(309)는 구체적인 구현 방식을 제시하였고, 전경 이미지에 대해 형태학적 개방 연산을 실행하는 것을 통해 각 독립 물체의 경계를 더 정확하게 판별한 다음, 각 독립 물체의 외부 윤곽에 따라 대응되는 면적을 결정하며, 마지막으로 면적의 크기에 따라 최대를 선택하여 타깃 면적으로 한다.

단계(310)에서, 타깃 면적이 기설정된 면적보다 큰 지의 여부를 판단하고, 만약 맞다면, 단계(311)를 수행하고, 아니라면 단계(312)를 수행한다.

단계(311)에서, 현재 프레임에서 카메라가 가림 상태인 것으로 결정한다.

본 단계는 단계(310)의 판단 결과가 타깃 면적이 기설정된 면적보다 큰 것인 기초상에서 구축되고, 상기 수행 주체로 하나의 면적이 기설정된 면적보다 큰 독립 가림물이 존재함으로 인해, 현재 프레임에서 카메라가 상기 가림물로 가려진 상태인 것으로 결정하기 위한 것이다.

단계(312)에서, 현재 프레임에서 카메라가 가려지지 않은 상태인 것으로 결정한다.

본 단계는 단계(310)의 판단 결과가 타깃 면적이 기설정된 면적보다 크지 않다는 기초상에서 구축되고, 상기 수행 주체로 의심되는 가림물의 면적이 기설정된 면적보다 크지 않음으로 인해, 카메라가 가려지지 않은 상태인 결론을 잠정 결정하기 위한 것이다.

프로세스(200)에 도시되는 실시예와 구별되게, 본 실시예 중의 단계(301)-단계(304)는 카메라가 이동하지 않은 경우 배경 이미지를 획득하는 구체적인 구현 방식을 제시하였고, 즉 카메라가 지난번에 이동한 시간 정보를 획득할 수 있는 경우, 배경 모델을 빌려 획득된 현재 시간대의 배경 이미지가 유효한 것임을 보장하였다. 단계(306)-단계(309)는 타깃 면적을 구체적으로 결정하는 구현 방식을 제시하였고, 즉 전경 이미지에 대해 형태학적 개방 연산을 실행하는 것을 통해 각 독립 물체의 경계를 더 정확하게 판별한 다음, 각 독립 물체의 외부 윤곽에 따라 대응되는 면적을 결정하며, 마지막으로 면적의 크기에 따라 최대를 선택하여 타깃 면적으로 한다. 단계(310)-단계(312)는 기설정된 면적과의 비교에 기반하여 구체적으로 어떤 타입의 가림 상태인 지를 결정하는 구현 방식을 제시하였다.

이해해야 할 것은, 단계(301)-단계(304), 단계(306)-단계(309) 및 단계(310)-단계(312)가 각각 대응되는 구체적 구현 방식 사이에는 의존 및 인과 관계가 존재하지 않고, 상술한 세 부분은 모두 독립적으로 대응되는 상위 개념의 하위 구현 형태로 될 수 있으며, 완전히 프로세스(200)에 도시된 실시예의 기초상에서 대응되는 상위 개념을 대체하는 방식으로 각각 상이한 실시예를 형성할 수 있고, 본 본실시예는 단지 상기 세 부분을 동시에 포함하는 바람직한 실시예로 존재할 뿐이다.

카메라가 이동 상태인지 여부를 결정하는 것을 더 잘 이해하여, 배경 이미지의 획득 유효성을 보장하고, 대부분 장면에서 작업 상태를 결정하는 실행 일지를 직접적으로 획득할 수 없는 것을 고려하여, 본 발명은 도 4를 통해 촬영된 이미지에 기반하여 카메라 이동 여부를 결정하는 구현 방식을 더 제공하며, 프로세스(400)는 하기의 단계를 포함한다.

단계(401)에서, 시간이 현재 프레임 이전이고, 카메라가 가려지지 않은 상태인 이미지 프레임을 기준 프레임으로 결정한다.

현재 프레임을 프레임 서열 중의 제60 프레임으로 가정하면, 상기 실시예에서 제공되는 해결수단에 따라 인접한 제55 내지 제59 프레임의 카메라는 모두 가려지지 않은 상태인 것으로 결정한다.

배경 이미지의 정확성, 유효성을 되도록 보장하기 위해, 가능한 현재 프레임 시간과 비교적 가까운 프레임을 기준 프레임으로 선택하고, 바람직하게 제59 프레임을 기준 프레임으로 선택할 수 있다(단지 단일 프레임을 기준 프레임으로 선택하는 경우, 다수의 연속 프레임을 연속 기준 프레임으로 선택할 수 있는 경우에도, 제55 내지 제59 프레임을 모두 연속 기준 프레임으로 선택할 수 있음).

단계(402)에서, 기준 프레임과 기준 프레임의 바로 다음 프레임(next frame) 중 위치가 이동된 매칭 특징점이 모든 매칭 특징점에서 차지하는 실제 비율을 결정한다.

상술한 가정을 예로 들면, 본 단계는 제59 프레임과 제60 프레임(현재 프레임) 중 위치가 이동된 매칭 특징점이 모든 매칭 특징점에서 차지하는 실제 비율을 산출하고, 매칭 특징점은 단지 두 개의 프레임 이미지가 대응되는 동일한 물체 상의 동일한 특징점이므로, 매칭 특징점의 위치가 변활할 경우, 상이한 이미지 프레임에서 상기 물체의 위치가 변화하였음을 뜻하고, 상술한 상황이 초래되는 것은 일반적으로 두 가지 원인이 있으며, 첫째, 상기 물체 자체가 이동하였고, 카메라는 이동하지 않았고; 둘째, 상기 물체 자체는 이동하지 않았고, 카메라가 이동하였다.

구체적으로 어떤 타입의 원인에 속하는지, 실제 비율의 크기에 따라 결정할 수 있고, 카메라가 이동한 원인에서, 상기 실제 비율의 크기는 상대적으로 비교적 크기 때문이며, 카메라의 이동은 모든 물체의 매칭 특징점이 모두 이동되는 것을 초래하기 때문이고, 반면에, 상기 실제 비율이 비교적 작다면, 일반적으로 어느 물체가 독립적으로 이동했을 수 있다(모든 물체가 통일적으로 이동할 확율은 비교적 작음).

단계(403)에서, 실제 비율이 기설정된 비율보다 작은 지의 여부를 판단하고, 만약 맞다면, 단계(404)를 수행하며, 아니라면 단계(405)를 수행한다.

본 단계는 상기 수행 주체로 실제 비율과 기설정된 비율 사이의 크기 관계에 따라, 상이한 처리 분기를 선택하기 위한 것이다. 이해해야 할 것은, 본 단계에서 사용되는 기설정된 비율은, 미리 선택된 실제 비율의 판단에 적합한 수치가 구체적으로 카메라의 어떤 타입의 작업 상태에 대응되는 하나의 임계치이고, 상기 임계치의 크기는 실제 상황에 따라 유연하게 선택할 수 있다.

단계(404)에서, 카메라가 고정 상태인 것으로 결정한다.

본 단계는 단계(403)의 판단 결과가 실제 비율이 기설정된 비율보다 작다는 기초상에서 구축되고, 상기 수행 주체로 실제 비율이 비교적 작으므로, 현재 카메라가 고정 상태, 즉 이동하지 않은 것으로 결정하기 위한 것이다.

단계(405)에서, 카메라가 이동 상태인 것으로 결정한다.

본 단계는 단계(403)의 판단 결과가 실제 비율이 기설정된 비율보다 작지 않다는 기초상에서 구축되고, 상기 수행 주체로 실제 비율이 비교적 크므로, 현재 카메라가 이동 상태인 것으로 결정하기 위한 것이다.

상술한 임의의 실시예의 기초상에서, 실제 응용 장면에는 종종 가림 상태인 카메라에 대해 제때에 복구하고 수정하는 요구가 존재하는 것을 고려하여, 본 발명은 합리적인 경보 방식을 통해 관리자 또는 자동화 복구 장치에 알림을 전송하거나 신호를 촉발하도록,

카메라가 가림 상태인 실제 프레임 수를 통계하는 단계;

실제 프레임 수가 제1 프레임 수보다 크고 제2 프레임 수보다 작은 것에 응답하여, 카메라에 가려짐 경보를 생성하는 단계; 및

실제 프레임 수가 제2 프레임 수보다 크고 제3 프레임 수보다 작은 것에 응답하여, 경보 등급을 낮추고 미확인 경보 알림을 보류하는 단계를 더 제공하여 가려짐 경보를 제공한다.

실제 프레임 수가 제1 프레임 수보다 크고 제2 프레임 수보다 작을 경우, 카메라에 가려짐 경보를 생성하는 것을 제어하는 것을 통해, 우연적 요소로 인해 나타난 단일 프레임 가림이 불필요한 경보 또는 틀린 경보를 보내는 것을 방지하고, 경보의 정확율을 향상하며, 동시에 실제 프레임 수가 제2 프레임 수보다 크고 제3 프레임 수보다 작을 경우, 경보 등급을 낮추고 미확인 경보 알림을 보류하는 것을 제어하는 것을 통해, 경보가 장시간 존재하여 불필요한 방해가 초래되는 것을 방지한다.

이해를 깊게 하기 위해, 본 발명은 하나의 구체적 응용 장면을 더 결합하여, 도 5에 도시된 바와 같은 카메라 가림 검출 방법을 제시하였다.

단계(501)에서, 이전 N개의 프레임 이미지를 수축하거나 확대하고 그레이스케일 맵으로 전환하여, 배경 모델(M)을 구축한다.

단계(502)에서, 현재 프레임과 바로 앞의 프레임(previous frame) 이미지에 대해, 특징점 매칭 및 최적화를 수행한다.

단계(503)에서, 매칭 특징점이 이동하는 비율(P)을 산출한다.

단계(504)에서, P가 임계 값(Pt)보다 작은지 또는 바로 앞의 프레임이 가려짐 경보를 발생하는 지의 여부를 판단한다.

단계(505)에서, 만약 P가 Pt보다 작거나 바로 앞의 프레임이 가려짐 경보를 발생하면, 카메라가 이동하지 않은 것으로 결정한다.

단계(506)에서, P가 Pt보다 작지 않고 바로 앞의 프레임이 가려짐 경보를 발생하지 않으며, 최대 외부 윤곽의 면적이 S보다 크지 않거나 가려진 프레임 수(F)가 F0보다 작지 않으면, 가려진 프레임 수(F)를 0으로 설정하고, 다시 획득한 이미지를 사용하여 배경 모델을 업데이트한다.

단계(507)에서, 현재 프레임 이미지에 배경 모델(M)을 입력하여 전경 이미지를 얻는다.

단계(508)에서, 전경 이미지에 대해 형태학적 개방 연산을 실행하여, 최대 외부 윤곽을 찾는다.

단계(509)에서, 최대 외부 윤곽의 면적이 임계 값(S)보다 큰 지의 여부를 판단한다.

단계(510)에서, 임계 값(S)보다 크면, 현재 프레임을 카메라가 가려진 상태에서 촬영된 프레임으로 결정하고, 가려진 프레임 수(F)에 1을 더한다.

단계(511)에서, 가려진 프레임 수(F)가 F0보다 작은 지의 여부를 판단한다.

단계(512)에서, 가려진 프레임 수(F)가 F0보다 작으면, 가려진 프레임 수(F)가 F1보다 크고, F2보다 작은 지의 여부를 더 판단한다.

단계(513)에서, 가려진 프레임 수(F)가 F1보다 크고, F2보다 작으면, 가려짐 경보를 보낸다.

단계(514)에서, 가려진 프레임 수(F)가 F1보다 크지 않으면, 경보하지 않는다.

위의 예에서, F1＜F2＜F0이다.

보다시피, 위의 예에서 단계(502) 내지 단계(504)는 전후 두 개의 프레임 이미지의 이동 여부를 판단하기 위한 것이고, 만약 이동하면 가려지지 않은 것으로 인정하며; 단계(507) 내지 단계(509)는 전경 이미지 중 최대 윤곽의 면적을 산출하기 위한 것이고, 다수의 독립적인 작은 물체가 면적이 큰 것을 초래하는 문제를 방지하였으며, 가림 임계 값을 초과하면 현재 프레임이 가려진 것으로 인정한다. 단계(510) 내지 단계(512)는 가려짐 경보의 생성 여부를 판단하기 위한 것이고, 가려진 프레임 수가 지나치게 클 경우 즉 F0보다 클 경우, 배경 모델을 강제적으로 업데이트하며, 장시간의 지속적인 오판을 방지하고, 가려진 프레임 수가 F1 내지 F2 범위 내일 경우에 가려짐 경보를 생성한다.

즉 위의 예에서, 단계(504)를 제어하는 동시에 P와 Pt의 관계 및 이전 프레임이 가려짐 경보를 생성하는 지의 여부를 판단하는 것을 통해, 카메라가 이동할 경우 오판되는 문제를 해결한다. 단계(508)를 통해 전경 이미지에 대해 형태학적 개방 연산 처리를 실행한 후, 모든 윤곽이 아닌 최대 외부 윤곽을 찾고, 단계(509)에서 최대 외부 윤곽의 면적이 임계 값(S)보다 큰 지의 여부에 기반하여 판단하여, 다수의 독립적인 작은 물체가 이동할 경우, 다수의 외부 윤곽을 얻고 모든 외부 윤곽의 면적을 사용하여 판단함으로써 가림 오판을 초래하는 문제를 방지한다. 이 밖에, 단계(511)를 통해 먼저 가려진 프레임 수가 임계 값(F0)보다 큰 지의 여부를 판단하고, 가려진 프레임 수가 너무 크거나 장시간 지속되는 지의 여부를 판단하며, 만약 조건이 성립되면, 배경 모델을 강제로 업데이트하여, 가림 오판으로 인해 더 장시간 지속적으로 오판되는 문제를 방지한다.

도 6을 더 참조하면, 상술한 각 도에 도시된 방법의 구현으로서, 본 발명은 카메라 가림 검출 장치의 하나의 실시예를 제공하고, 상기 장치 실시예는 도 2에 도시된 방법 실시예에 대응되며, 상기 장치는 구체적으로 다양한 전자 기기에 응용될 수 있다.

도 6에 도시된 바와 같이, 본 실시예의 카메라 가림 검출 장치(600)는 배경 이미지 결정 유닛(601), 전경 이미지 결정 유닛(602), 타깃 면적 결정 유닛(603), 및 가림 상태 결정 유닛(604)을 포함할 수 있다. 배경 이미지 결정 유닛(601)은, 카메라가 이동하지 않은 것에 응답하여, 현재 시간대에 대응되는 배경 이미지를 결정하도록 구성되고; 전경 이미지 결정 유닛(602)은, 현재 프레임의 실제 이미지 및 배경 이미지에 따라, 현재 프레임의 전경 이미지를 결정하도록 구성되며; 타깃 면적 결정 유닛(603)은, 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적을 결정하도록 구성되고; 가림 상태 결정 유닛(604)은, 타깃 면적에 따라 현재 프레임에서 카메라의 가림 상태를 결정하도록 구성된다.

본 실시예에서, 카메라 가림 검출 장치(600)의 배경 이미지 결정 유닛(601), 전경 이미지 결정 유닛(602), 타깃 면적 결정 유닛(603), 및 가림 상태 결정 유닛(604)의 구체적인 처리 및 이에 수반되는 기술적 효과는 각각 도 2에 대응되는 실시예 중의 단계(201)-단계(204)에 관한 설명을 참고할 수 있고, 여기서 더이상 설명하지 않는다.

본 실시예의 일부 선택 가능한 구현 방식에서, 타깃 면적 결정 유닛(603)은 또한,

전경 이미지에 대해 형태학적 개방 연산을 실행하여, 연산 후 이미지를 얻고;

연산 후 이미지 중 각각의 독립 물체의 외부 윤곽을 각각 결정하며;

각 외부 윤곽에 둘러싸인 면적에 따라 대응되는 독립 물체의 실제 면적을 각각 결정하고;

수치가 가장 큰 실제 면적을, 타깃 면적으로 결정하도록 구성될 수 있다.

본 실시예의 일부 선택 가능한 구현 방식에서, 배경 이미지 결정 유닛(601)은,

카메라가 지난번에 이동을 멈춘 타깃 시각을 결정하도록 구성되는 타깃 시각 결정 서브 유닛;

타깃 시각 이후에 카메라에 다시 촬영된 샘플 이미지 세트를 획득하도록 구성되는 샘플 이미지 세트 획득 서브 유닛;

샘플 이미지 세트 및 기설정된 배경 모델에 기반하여, 타깃 배경 이미지를 결정하도록 구성되는 타깃 배경 이미지 결정 서브 유닛; 및

타깃 배경 이미지를 현재 시간대에 대응되는 배경 이미지로 하도록 구성되는 배경 이미지 결정 서브 유닛을 포함할 수 있다.

본 실시예의 일부 선택 가능한 구현 방식에서, 타깃 배경 이미지 결정 서브 유닛은 또한,

샘플 이미지 세트에서 시간축에 따라 배열되는 이전 기설정된 프레임의 샘플 이미지를 선택하고;

각 샘플 이미지를 동일한 사이즈로 수축하거나 확대하고, 사이즈가 일치한 샘플 이미지를 그레이스케일 맵으로 전환하여, 샘플 그레이스케일 맵 세트를 얻으며;

배경 모델을 이용하여 샘플 그레이스케일 맵 세트에 대응되는 타깃 배경 이미지를 결정하도록 구성될 수 있다.

본 실시예의 일부 선택 가능한 구현 방식에서, 가림 상태 결정 유닛(604)은 또한,

타깃 면적이 기설정된 면적보다 큰 것에 응답하여, 현재 프레임에서 카메라가 가림 상태인 것으로 결정하고;

타깃 면적이 기설정된 면적보다 크지 않은 것에 응답하여, 현재 프레임에서 카메라가 가려지지 않은 상태인 것으로 결정하도록 구성될 수 있다.

본 실시예의 일부 선택 가능한 구현 방식에서, 카메라 가림 검출 장치(600)는 카메라의 이동 상태를 결정하도록 구성되는 이동 상태 결정 유닛을 더 포함할 수 있고, 이동 상태 결정 유닛은 또한,

시간이 현재 프레임 이전이고, 카메라가 가려지지 않은 상태인 이미지 프레임을 기준 프레임으로 결정하며;

기준 프레임과 기준 프레임의 바로 다음 프레임 중 위치가 이동된 매칭 특징점이 모든 매칭 특징점에서 차지하는 실제 비율을 결정하고;

실제 비율이 기설정된 비율보다 작은 것에 응답하여, 카메라가 고정 상태인 것으로 결정하며;

실제 비율이 기설정된 비율보다 작지 않은 것에 응답하여, 카메라가 이동 상태인 것으로 결정하도록 구성될 수 있다.

본 실시예의 일부 선택 가능한 구현 방식에서, 카메라 가림 검출 장치(600)는,

카메라가 가림 상태인 실제 프레임 수를 통계하도록 구성되는 가려진 프레임 수 통계 유닛;

실제 프레임 수가 제1 프레임 수보다 크고 제2 프레임 수보다 작은 것에 응답하여, 카메라에 가려짐 경보를 생성하도록 구성되는 가려짐 경보 생성 유닛;

실제 프레임 수가 제2 프레임 수보다 크고 제3 프레임 수보다 작은 것에 응답하여, 경보 등급을 낮추고 미확인 경보 알림을 보류하도록 구성되는 경보 등급 처리 유닛을 더 포함할 수 있다.

본 실시예는 상술한 방법 실시예에 대응되는 장치 실시예로서, 본 실시예에서 제공되는 카메라 가림 검출 장치는, 카메라가 이동하지 않을 경우 대응되는 배경 이미지를 제어하는 것을 통해, 이동한 카메라를 가려진 상태로 잘못 판단하는 것을 방지하고, 동시에 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적에 따라 가림 상태를 결정하는 것은, 다수의 작은 이동 물체의 면적의 합이 면적 임계 값을 초과하여 초래되는 오판을 방지할 수 있으며, 나아가 카메라 가림 상태에 대한 검출 정확성을 향상한다.

본 발명의 실시예에 따라, 본 발명은 전자 기기를 더 제공하는 바, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하고; 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되며, 상기 명령이 적어도 하나의 프로세서에 의해 실행되어, 적어도 하나의 프로세서가 실행될 경우 상술한 어느 한 실시예에 따른 카메라 가림 검출 방법을 구현할 수 있다.

본 발명의 실시예에 따라, 본 발명은 판독 가능 저장 매체를 더 제공하는 바, 컴퓨터 명령이 저장되고, 상기 컴퓨터 명령은 컴퓨터가 실행될 경우 상술한 어느 한 실시예에 따른 카메라 가림 검출 방법을 구현할 수 있도록 한다.

본 발명의 실시예는 컴퓨터 프로그램을 더 제공하는 바, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 상술한 어느 한 실시예에 따른 카메라 가림 검출 방법을 구현할 수 있다.

도 7은 본 발명의 실시예의 예시를 수행할 수 있는 전자 기기(700)의 예시적 블록도를 도시한다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 운영 플랫폼, 개인 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터, 및 다른 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자 기기는 개인 디지털 처리, 셀룰러폰, 스마트폰, 웨어러블 기기 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 이동 장치를 의미할 수도 있다. 본문에서 나타낸 부재, 이들의 연결과 관계, 및 이들의 기능은 단지 예시적인 것으로, 본문에서 설명 및/또는 요구된 본 발명의 구현을 한정하지 않는다.

도 7에 도시된 바와 같이, 기기(700)는 판독 전용 메모리(ROM)(702)에 저장된 컴퓨터 프로그램 또는 저장 유닛(708)으로부터 랜덤 액세스 메모리(RAM)(703)에 로딩된 컴퓨터 프로그램에 따라 다양하고 적절한 동작 및 처리를 수행할 수 있는 컴퓨팅 유닛(701)을 포함한다. RAM(703)에는, 기기(700)의 조작에 필요한 다양한 프로그램 및 데이터가 저장될 수 있다. 컴퓨팅 유닛(701), ROM(702) 및 RAM(703)은 버스(704)를 통해 서로 연결된다. 입/출력(I/O) 인터페이스(705) 역시 버스(704)에 연결된다.

기기(700) 중의 복수의 부재는, 키보드, 마우스 등과 같은 입력 유닛(706); 다양한 유형의 디스플레이, 스피커 등과 같은 출력 유닛(707); 자기 디스크, 광 디스크 등과 같은 저장 유닛(708); 및 랜 카드, 모뎀, 무선 통신 트랜시버 등과 같은 통신 유닛(709)을 포함하는 I/O 인터페이스(705)에 연결된다. 통신 유닛(709)은 기기(700)가 인터넷과 같은 컴퓨터 네트위크 및/또는 다양한 전신망을 통해 다른 기기와 정보/데이터를 교환하도록 허용한다.

컴퓨팅 유닛(701)은 다양한 프로세싱 및 컴퓨팅 능력이 구비되는 범용 및/또는 전용 처리 컴포넌트일 수 있다. 컴퓨팅 유닛(701)의 일부 예시는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 다양한 전용 인공 지능(AI) 컴퓨팅 칩, 다양한 기계 학습 모델 알고리즘을 실행하는 컴퓨팅 유닛, 디지털 신호 프로세서(DSP) 및 임의의 적절한 프로세서, 컨트롤러, 마이크로 컨트롤러 등을 포함하지만 이에 한정되지 않는다. 컴퓨팅 유닛(701)은 카메라 가림 검출 방법과 같은, 위에서 설명된 각 방법 및 프로세싱을 수행한다. 예를 들어, 일부 실시예에서, 카메라 가림 검출 방법은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있고, 이는 기계 판독 가능 매체, 예를 들어 저장 유닛(708)에 물리적으로 포함된다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(702) 및/또는 통신 유닛(709)에 의해 기기(700)에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(703)에 로딩되고 컴퓨팅 유닛(701)에 의해 실행될 경우, 위에서 설명되는 카메라 가림 검출 방법 중 하나 이상의 단계를 수행할 수 있다. 대체 선택 가능하게, 다른 실시예에서, 컴퓨팅 유닛(701)은 다른 임의의 적절한 방식을 통해(예를 들어, 펌웨어를 이용) 카메라 가림 검출 방법을 수행하도록 구성될 수 있다.

본문에서 이상 설명된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 필드 프로그램 가능 게이트 어레이(FPGA), 전용 집적 회로(ASIC), 전용 표준 제품(ASSP), 시스템 온 칩의 시스템(SOC), 복합 프로그램 가능 논리 소자(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 다수의 컴퓨터 프로그램에서의 구현을 포함할 수 있고, 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치, 및 상기 적어도 하나의 출력 장치에 전송할 수 있다.

본 발명의 방법을 구현하는 프로그램 코드는 하나 또는 복수 개의 프로그래밍 언어의 임의의 조합으로 편집할 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공될 수 있으며, 프로그램 코드는 프로세서 또는 컨트롤러에 의해 실행될 경우, 흐름도 및/또는 블록도에 지정된 기능/작동이 구현되도록 할 수 있다. 프로그램 코드는 완전히 기계에서 실행되거나, 부분적으로 기계에서 실행되거나, 독립형 소프트웨어 패키지로서 기계에서 실행되며, 일부는 원격 기계에서 실행되거나 완전히 원격 기계 또는 서버에서 실행될 수 있다.

본 발명의 컨텍스트에서, 기계 판독 가능 매체는 명령 실행 시스템, 장치 또는 기기에 의해 또는 명령 실행 시스템, 장치 또는 기기와 결합하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 유형 매체일 수 있다. 기계 판독 가능 매체는 기계 판독 가능 신호 매체 또는 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 상기 내용의 임의의 적절한 조합을 포함할 수 있지만 이에 한정되지 않는다. 기계 판독 가능 저장 매체의 보다 구체적인 예는 하나 또는 복수 개의 와이어에 기반한 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램 가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, CD-ROM, 광학 저장 기기, 자기 저장 기기 또는 상술한 내용의 임의의 적절한 조합을 포함한다.

사용자와의 인터랙션을 제공하기 위하여, 컴퓨터에서 여기서 설명된 시스템 및 기술을 실시할 수 있고, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시 장치) 모니터); 및 키보드 및 지향 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하며, 사용자는 상기 키보드 및 상기 지향 장치를 통해 컴퓨터에 입력을 제공한다. 다른 타입의 장치는 또한 사용자와의 인터랙션을 제공할 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 검출 피드백(예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력)로 사용자로부터의 입력을 수신할 수 있다.

여기서 설명된 시스템 및 기술을 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비하는 사용자 컴퓨터이고, 사용자는 상기 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 여기서 설명된 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백그라운드 부재, 미들웨어 부재, 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예시로 근거리 통신망(LAN), 광역 통신망(WAN), 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고 일반적으로 통신 네트워크를 통해 서로 인터랙션한다. 대응되는 컴퓨터에서 실행되고 또한 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다. 서버는 클라우드 서버일 수 있고, 클라우드 컴퓨팅 서버 또는 클라우드 호스트라고도 하며, 클라우드 컴퓨팅 시스템 체계 중의 호스트 제품으로서, 종래의 물리적 호스트 및 가상 사설 서버(VPS, Virtual Private Server)서비스 중 관리 난이도가 높으며, 업무 확장성이 약한 결함이 존재한다.

본 발명의 실시예의 기술적 해결수단에 따라, 카메라가 이동하지 않을 경우 대응되는 배경 이미지를 제어하는 것을 통해, 이동한 카메라를 가려진 상태로 잘못 판단하는 것을 방지하고, 동시에 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적에 따라 가림 상태를 결정하는 것은, 다수의 작은 이동 물체의 면적의 합이 면적 임계 값을 초과하여 초래되는 오판을 방지할 수 있으며, 나아가 카메라 가림 상태에 대한 검출 정확성을 향상한다.

위에서 설명한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 발명에 기재된 각 단계는 동시에 수행될 수 있거나 순차적으로 수행될 수 있거나 상이한 순서로 수행될 수 있고, 본 발명에서 공개된 기술적 해결수단이 이루고자 하는 결과를 구현할 수만 있으면, 본문은 여기서 한정하지 않는다.

상기 구체적인 실시형태는 본 발명의 보호 범위를 한정하지 않는다. 본 기술분야의 통상의 기술자는 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진해할 수 있음을 이해해야 한다. 본 발명의 정신 및 원칙 내에서 진행한 임의의 수정, 등가적 대체 및 개선 등은 모두 본 발명의 보호 범위 내에 속해야 한다.

Claims (17)

1. 카메라 가림 검출 방법으로서,
   카메라가 이동하지 않은 것에 응답하여, 현재 시간대에 대응되는 배경 이미지를 결정하는 단계;
   현재 프레임의 실제 이미지 및 상기 배경 이미지에 따라, 상기 현재 프레임의 전경 이미지를 결정하는 단계;
   상기 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적을 결정하는 단계; 및
   상기 타깃 면적에 따라, 상기 현재 프레임에서 상기 카메라의 가림 상태를 결정하는 단계를 포함하는 카메라 가림 검출 방법.
2. 제1항에 있어서,
   상기 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적을 결정하는 상기 단계는,
   상기 전경 이미지에 대해 형태학적 개방 연산을 실행하여, 연산 후 이미지를 얻는 단계;
   상기 연산 후 이미지 중 각각의 독립 물체의 외부 윤곽을 각각 결정하는 단계;
   각 상기 외부 윤곽이 둘러싼 면적에 따라, 대응되는 독립 물체의 실제 면적을 각각 결정하는 단계; 및
   수치가 가장 큰 실제 면적을 상기 타깃 면적으로 결정하는 단계를 포함하는 카메라 가림 검출 방법.
3. 제1항에 있어서,
   상기 현재 시간대에 대응되는 배경 이미지를 결정하는 단계는,
   상기 카메라가 지난번에 이동을 멈춘 타깃 시각을 결정하는 단계;
   상기 타깃 시각 이후 상기 카메라가 다시 촬영한 샘플 이미지 세트를 획득하는 단계;
   상기 샘플 이미지 세트 및 기설정된 배경 모델에 기반하여, 타깃 배경 이미지를 결정하는 단계; 및
   상기 타깃 배경 이미지를 현재 시간대에 대응되는 배경 이미지로 하는 단계를 포함하는 카메라 가림 검출 방법.
4. 제3항에 있어서,
   상기 샘플 이미지 세트 및 기설정된 배경 모델에 기반하여, 타깃 배경 이미지를 결정하는 상기 단계는,
   상기 샘플 이미지 세트에서 시간축에 따라 배열되는 이전 기설정된 프레임의 샘플 이미지를 선택하는 단계;
   각 상기 샘플 이미지를 동일한 사이즈로 축소하거나 확대하고, 사이즈가 일치한 샘플 이미지를 그레이스케일 맵으로 전환하여, 샘플 그레이스케일 맵 세트를 얻는 단계; 및
   상기 배경 모델을 이용하여, 상기 샘플 그레이스케일 맵 세트에 대응되는 타깃 배경 이미지를 결정하는 단계를 포함하는 카메라 가림 검출 방법.
5. 제1항에 있어서,
   상기 타깃 면적에 따라, 상기 현재 프레임에서 상기 카메라의 가림 상태를 결정하는 상기 단계는,
   상기 타깃 면적이 기설정된 면적보다 큰 것에 응답하여, 상기 현재 프레임에서 상기 카메라가 가림 상태인 것으로 결정하는 단계; 및
   상기 타깃 면적이 상기 기설정된 면적보다 크지 않은 것에 응답하여, 상기 현재 프레임에서 상기 카메라가 가려지지 않은 상태인 것으로 결정하는 단계를 포함하는 카메라 가림 검출 방법.
6. 제1항에 있어서,
   카메라의 이동 상태를 결정하는 단계를 더 포함하고,
   카메라의 이동 상태를 결정하는 상기 단계는,
   시간이 상기 현재 프레임 이전이고, 상기 카메라가 가려지지 않은 상태인 이미지 프레임을 기준 프레임으로 결정하는 단계;
   상기 기준 프레임과 상기 기준 프레임의 바로 다음 프레임(next frame) 중 위치가 이동된 매칭 특징점이 모든 매칭 특징점에서 차지하는 실제 비율을 결정하는 단계;
   상기 실제 비율이 기설정된 비율보다 작은 것에 응답하여, 상기 카메라가 고정 상태인 것으로 결정하는 단계; 및
   상기 실제 비율이 상기 기설정된 비율보다 작지 않은 것에 응답하여, 상기 카메라가 이동 상태인 것으로 결정하는 단계를 포함하는 카메라 가림 검출 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 카메라가 가려진 상태인 실제 프레임 수를 통계하는 단계;
   상기 실제 프레임 수가 제1 프레임 수보다 크고 제2 프레임 수보다 작은 것에 응답하여, 상기 카메라에 가려짐 경보를 생성하는 단계; 및
   상기 실제 프레임 수가 상기 제2 프레임 수보다 크고 제3 프레임 수보다 작은 것에 응답하여, 경보 등급을 낮추고 미확인 경보 알림을 보류하는 단계를 더 포함하는 카메라 가림 검출 방법.
8. 카메라 가림 검출 장치로서,
   카메라가 이동하지 않은 것에 응답하여, 현재 시간대에 대응되는 배경 이미지를 결정하도록 구성되는 배경 이미지 결정 유닛;
   현재 프레임의 실제 이미지 및 상기 배경 이미지에 따라, 상기 현재 프레임의 전경 이미지를 결정하도록 구성되는 전경 이미지 결정 유닛;
   상기 전경 이미지 중 최대 외부 윤곽을 갖는 독립 물체의 타깃 면적을 결정하도록 구성되는 타깃 면적 결정 유닛; 및
   상기 타깃 면적에 따라, 상기 현재 프레임에서 상기 카메라의 가림 상태를 결정하도록 구성되는 가림 상태 결정 유닛을 포함하는 카메라 가림 검출 장치.
9. 제8항에 있어서,
   상기 타깃 면적 결정 유닛은 또한,
   상기 전경 이미지에 대해 형태학적 개방 연산을 실행하여, 연산 후 이미지를 얻고;
   상기 연산 후 이미지 중 각각의 독립 물체의 외부 윤곽을 각각 결정하며;
   각 상기 외부 윤곽이 둘러싼 면적에 따라, 대응되는 독립 물체의 실제 면적을 각각 결정하고;
   수치가 가장 큰 실제 면적을 상기 타깃 면적으로 결정하도록 구성되는 카메라 가림 검출 장치.
10. 제8항에 있어서,
    상기 배경 이미지 결정 유닛은,
    상기 카메라가 지난번에 이동을 멈춘 타깃 시각을 결정하도록 구성되는 타깃 시각 결정 서브 유닛;
    상기 타깃 시각 이후 상기 카메라가 다시 촬영한 샘플 이미지 세트를 획득하도록 구성되는 샘플 이미지 세트 획득 서브 유닛;
    상기 샘플 이미지 세트 및 기설정된 배경 모델에 기반하여, 타깃 배경 이미지를 결정하도록 구성되는 타깃 배경 이미지 결정 서브 유닛; 및
    상기 타깃 배경 이미지를 현재 시간대에 대응되는 배경 이미지로 하도록 구성되는 배경 이미지 결정 서브 유닛을 포함하는 카메라 가림 검출 장치.
11. 제10항에 있어서,
    상기 타깃 배경 이미지 결정 서브 유닛은 또한,
    상기 샘플 이미지 세트에서 시간축에 따라 배열되는 이전 기설정된 프레임의 샘플 이미지를 선택하고;
    각 상기 샘플 이미지를 동일한 사이즈로 축소하거나 확대하고, 사이즈가 일치한 샘플 이미지를 그레이스케일 맵으로 전환하여, 샘플 그레이스케일 맵 세트를 얻으며;
    상기 배경 모델을 이용하여, 상기 샘플 그레이스케일 맵 세트에 대응되는 타깃 배경 이미지를 결정하도록 구성되는 카메라 가림 검출 장치.
12. 제8항에 있어서,
    상기 가림 상태 결정 유닛은 또한,
    상기 타깃 면적이 기설정된 면적보다 큰 것에 응답하여, 상기 현재 프레임에서 상기 카메라가 가림 상태인 것으로 결정하고;
    상기 타깃 면적이 상기 기설정된 면적보다 크지 않은 것에 응답하여, 상기 현재 프레임에서 상기 카메라가 가려지지 않은 상태인 것으로 결정하도록 구성되는 카메라 가림 검출 장치.
13. 제8항에 있어서,
    카메라의 이동 상태를 결정하도록 구성되는 이동 상태 결정 유닛을 더 포함하고,
    상기 이동 상태 결정 유닛은 또한,
    시간이 상기 현재 프레임 이전이고, 상기 카메라가 가려지지 않은 상태인 이미지 프레임을 기준 프레임으로 결정하며;
    상기 기준 프레임과 상기 기준 프레임의 바로 다음 프레임 중 위치가 이동된 매칭 특징점이 모든 매칭 특징점에서 차지하는 실제 비율을 결정하고;
    상기 실제 비율이 기설정된 비율보다 작은 것에 응답하여, 상기 카메라가 고정 상태인 것으로 결정하며;
    상기 실제 비율이 상기 기설정된 비율보다 작지 않은 것에 응답하여, 상기 카메라가 이동 상태인 것으로 결정하도록 구성되는 카메라 가림 검출 장치.
14. 제8항 내지 제13항 중 어느 한 항에 있어서,
    상기 카메라가 가려진 상태인 실제 프레임 수를 통계하도록 구성되는 가려진 프레임 수 통계 유닛;
    상기 실제 프레임 수가 제1 프레임 수보다 크고 제2 프레임 수보다 작은 것에 응답하여, 상기 카메라에 가려짐 경보를 생성하도록 구성되는 가려짐 경보 생성 유닛; 및
    상기 실제 프레임 수가 상기 제2 프레임 수보다 크고 제3 프레임 수보다 작은 것에 응답하여, 경보 등급을 낮추고 미확인 경보 알림을 보류하도록 구성되는 경보 등급 처리 유닛을 더 포함하는 카메라 가림 검출 장치.
15. 전자 기기로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세세와 통신 연결되는 메모리를 포함하고;
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되며, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제7항 중 어느 한 항에 따른 카메라 가림 검출 방법을 수행할 수 있도록 하는 전자 기기.
16. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제7항 중 어느 한 항에 따른 카메라 가림 검출 방법을 수행하도록 하는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체.
17. 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제7항 중 어느 한 항에 따른 카메라 가림 검출 방법을 구현하는 프로그램.
    

Images