KR20210036609A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20210036609A
KR20210036609A KR1020190118784A KR20190118784A KR20210036609A KR 20210036609 A KR20210036609 A KR 20210036609A KR 1020190118784 A KR1020190118784 A KR 1020190118784A KR 20190118784 A KR20190118784 A KR 20190118784A KR 20210036609 A KR20210036609 A KR 20210036609A
Authority
KR
South Korea
Prior art keywords
image processing
feature information
image
face
recognized face
Prior art date
Application number
KR1020190118784A
Other languages
English (en)
Inventor
김문민
김덕일
송대원
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020190118784A priority Critical patent/KR20210036609A/ko
Publication of KR20210036609A publication Critical patent/KR20210036609A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

영상 처리 장치 및 방법이 개시된다. 영상 처리 방법은 카메라에 의해 입력 영상을 획득하는 단계, 상기 입력 영상으로부터 하나 이상의 얼굴을 인식하는 단계, 상기 인식된 얼굴로부터 특징 정보를 추출하는 단계, 상기 특징 정보와 미리 저장된 등록 정보를 비교하는 단계 및 상기 특징 정보와 상기 등록 정보가 매칭되지 않는 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 영상 처리를 수행하는 단계를 포함한다.

Description

영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE}
영상 처리 기술에 관한 것으로, 영상에 포함된 사람의 얼굴을 실시간으로 식별하고 열화시키는 기술에 관한 것이다.
5G 통신이 등장함에 따라, 대용량의 데이터 트래픽 처리가 가능해 졌다. 이에, 4k이상 고화질 카메라, 360카메라, 드론 카메라 등의 고성능의 다양한 기능의 카메라들이 등장하고 있다. 또한, 최근 개인 크리에이터의 등장으로 자체 제작 영상의 수가 폭발하고 있는 상황이다. 이에 따라 동영상의 제작 및 공유가 활발해지고 있으며, 실시간 방송도 보편화되고 있는 시점이다. 이에 따라 의도하지 않은 사람이 촬영될 우려가 있고 초상권 침해 등의 문제가 발생할 수 있으며 영상 편집에 보다 많은 비용이 소요될 수 있다.
일 실시예에 따른 영상 처리 방법은, 카메라에 의해 입력 영상을 획득하는 단계; 상기 입력 영상으로부터 하나 이상의 얼굴을 인식하는 단계; 상기 인식된 얼굴로부터 특징 정보를 추출하는 단계; 상기 특징 정보와 미리 저장된 등록 정보를 비교하는 단계; 및 상기 특징 정보와 상기 등록 정보가 매칭되지 않는 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 영상 처리를 수행하는 단계를 포함한다.
상기 영상 처리를 수행하는 단계는, 상기 인식된 얼굴의 영상 품질을 낮추는 영상 처리를 수행하는 단계를 포함할 수 있다.
상기 영상 처리를 수행하는 단계는, 상기 인식된 얼굴에 블러(blur) 처리, 마스킹(masking) 처리 또는 모자이크(mosaic) 처리를 수행하는 단계를 포함할 수 있다.
상기 영상 처리를 수행하는 단계는 상기 인식된 얼굴을 포함하는 영역에 미리 정의된 이미지를 중첩시키는 단계를 포함할 수 있다.
일 실시예에 따른 등록 정보 생성 방법은, 영상 처리가 수행될 얼굴을 포함하는 하나 이상의 등록 영상을 입력하는 단계; 상기 하나 이상의 등록 영상으로부터 상기 얼굴의 하나 이상의 특징 정보를 추출하는 단계; 상기 하나 이상의 특징 정보를 종합하는 단계; 상기 종합된 특징 정보에 대응하는 상기 얼굴에 대응하는 식별자를 할당하는 단계; 및 상기 종합된 특징 정보 및 상기 식별자를 포함하는 등록 정보를 저장하는 단계를 포함하고, 상기 등록 정보는, 카메라에 의해 획득된 입력 영상으로부터 인식된 얼굴로부터 추출된 특징 정보와 비교되고, 상기 특징 정보와 상기 등록 정보가 매칭되지 않는 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 대해 영상 처리가 수행된다.
상기 영상 처리는, 상기 인식된 얼굴의 영상 품질을 낮추는 영상 처리를 포함할 수 있다.
상기 영상 처리는, 블러(blur) 처리, 마스킹(masking) 처리 또는 모자이크(mosaic) 처리를 포함할 수 있다.
상기 영상 처리는, 상기 인식된 얼굴을 포함하는 영역에 미리 정의된 이미지를 중첩시키는 영상 처리를 포함할 수 있다.
일 실시예에 따른 컴퓨터 판독 가능한 저장 매체는 상기 방법을 실행하기 위한 인스트럭션들을 저장할 수 있다.
일 실시예에 따른 영상 처리 장치는 적어도 하나의 프로세서; 카메라; 및 메모리를 포함하고, 상기 카메라는, 입력 영상을 획득하고, 상기 프로세서는, 상기 입력 영상으로부터 하나 이상의 얼굴을 인식하고, 상기 인식된 얼굴로부터 특징 정보를 추출하고, 상기 특징 정보와 미리 저장된 등록 정보를 비교하고, 상기 특징 정보와 상기 등록 정보가 매칭되지 않는 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 영상 처리를 수행한다.
상기 프로세서는, 상기 인식된 얼굴의 영상 품질을 낮추는 영상 처리를 수행할 수 있다.
상기 프로세서는, 상기 인식된 얼굴에 블러(blur) 처리, 마스킹(masking) 처리 또는 모자이크(mosaic) 처리를 수행할 수 있다.
상기 프로세서는, 상기 인식된 얼굴을 포함하는 영역에 미리 정의된 이미지를 중첩시킬 수 있다.
일 실시예에 따른 등록 정보 생성 장치는 적어도 하나의 프로세서; 및 메모리를 포함하고, 상기 프로세서는, 영상 처리가 수행될 얼굴을 포함하는 하나 이상의 등록 영상을 입력하고, 상기 하나 이상의 등록 영상으로부터 상기 얼굴의 하나 이상의 특징 정보를 추출하고, 상기 하나 이상의 특징 정보를 종합하고, 상기 종합된 특징 정보에 대응하는 상기 얼굴에 대응하는 식별자를 할당하고, 상기 종합된 특징 정보 및 상기 식별자를 포함하는 등록 정보를 저장하고, 상기 등록 정보는, 카메라에 의해 획득된 입력 영상으로부터 인식된 얼굴로부터 추출된 특징 정보와 비교되고, 상기 특징 정보와 상기 등록 정보가 매칭되지 않는 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 대해 영상 처리가 수행될 수 있다.
상기 영상 처리는, 상기 인식된 얼굴의 영상 품질을 낮추는 영상 처리를 포함할 수 있다.
상기 영상 처리는, 블러(blur) 처리, 마스킹(masking) 처리 또는 모자이크(mosaic) 처리를 포함할 수 있다.
상기 영상 처리는, 상기 인식된 얼굴을 포함하는 영역에 미리 정의된 이미지를 중첩시키는 영상 처리를 포함할 수 있다.
다른 실시예에 따른 영상 처리 방법은, 카메라에 의해 입력 영상을 획득하는 단계; 상기 입력 영상으로부터 하나 이상의 얼굴을 인식하는 단계; 상기 인식된 얼굴로부터 특징 정보를 추출하는 단계; 상기 특징 정보와 미리 저장된 등록 정보를 비교하는 단계; 및 상기 특징 정보와 상기 등록 정보가 매칭되는 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 영상 처리를 수행하는 단계를 포함한다.
다른 실시예에 따른 영상 처리 장치는 적어도 하나의 프로세서; 카메라; 입출력부; 및 메모리를 포함하고, 상기 카메라는, 입력 영상을 획득하고, 상기 프로세서는, 상기 입력 영상으로부터 하나 이상의 얼굴을 인식하고, 상기 인식된 얼굴로부터 특징 정보를 추출하고, 상기 입출력부는, 상기 특징 정보를 서버로 송신하고, 상기 서버로부터 상기 서버에 저장된 등록 정보와 상기 특징 정보가 매칭되는지 여부에 관한 응답 신호를 수신하고, 상기 프로세서는, 상기 응답 신호를 기초로 상기 특징 정보와 상기 등록 정보가 매칭되지 않는 것으로 판단한 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 영상 처리를 수행한다.
일 실시예에 따르면 영상 처리 장치는 입력 영상에 포함된 사람의 얼굴을 실시간으로 인식하고 등록된 얼굴인지 여부를 판단하고 등록되지 않은 얼굴에 열화 처리를 수행함으로써 편집 비용을 줄이고 법적 분쟁을 예방할 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치에 의해 입력 영상이 처리되는 상황을 도시한 도면이다.
도 2는 일 실시예에 따른 영상 처리 방법의 동작을 도시한 순서도이다.
도 3은 일 실시예에 따른 등록 정보 생성 방법의 동작을 도시한 순서도이다.
도 4는 일 실시예에 따른 영상 처리 장치에 의해 입력 영상에 영상 처리가 수행되는 일례를 도시한 도면이다.
도 5는 일 실시예에 따른 영상 처리 장치의 전체 구성을 도시한 도면이다.
도 6은 일 실시예에 따른 등록 정보 생성 장치의 전체 구성을 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 영상 처리 장치에 의해 입력 영상이 처리되는 상황을 도시한 도면이다.
일 실시예에 따르면, 영상 처리 장치는 카메라를 통해 촬영된 입력 영상에 대해 영상 처리를 수해할 수 있다. 영상 처리 장치는 카메라를 통해 촬영된 입력 영상에 포함된 사람의 얼굴에 대해 영상 처리를 수행할 수 있다. 영상 처리 장치는 입력 영상에 포함된 사람의 얼굴이 사람들에게 인식되지 않도록 영상 처리를 수행할 수 있다. 영상 처리 장치는 미리 등록된 사람의 얼굴을 기초로 등록되지 않은 얼굴이 영상에 캡처되면 자동으로 블러 처리를 수행할 수 있다.
고화질 카메라를 통한 영상 촬영의 보편화에 따라 멀리 떨어져 있는 사람이 의도하지 않게 카메라를 통해 촬영되는 문제가 발생할 수 있다. 특히, 360도 카메라 또는 드론 카메라 등의 넓은 화각을 가지는 카메라의 등장에 따라 의도하지 않은 각도와 화면이 카메라를 통해 캡처되는 상황이 많아질 것으로 예상된다. 의도하지 않은 사람이 촬영되고 해당 영상이 공유되거나 실시간 방송을 통해 송출될 경우, 초상권 침해와 사생활 침해 이슈가 심각하게 대두할 수 있다.
일 실시예에 따르면, 영상 처리 장치는 카메라로 촬영 중인 사람들의 얼굴에 블러 처리를 수행할 수 있다. 영상 처리 장치는 촬영 중에 등장하는 사람들의 얼굴에 대해 실시간으로 블러 처리를 수행할 수 있다. 이를 통해, 영상 처리 장치는 잠재적인 법적 분쟁을 예방할 수 있다. 영상 처리 장치는 사람들에 대한 의도하지 않은 촬영으로 인해 사람들의 초상권이 침해되는 문제를 방지할 수 있다. 영상 처리 장치는 실시간으로 얼굴에 대한 블러 처리를 수행함으로써 촬영의 자유도를 향상시킬 수 있다.
통상 TV 방송국 프로그램에서 야외 촬영 시 출연진을 미리 섭외하고 의도치 않은 제 3자에 대해 블러 처리를 해주지만, 소수 인력이 도맡은 인터넷 개인 방송의 경우 이러한 절차를 생략하는 경우가 많고, 동영상 편집과정에서도 많은 작업시간을 필요로 한다. 또한, 인터넷 실시간 방송 시에는 별도 편집작업을 불가능하기 때문에 의도치 않은 사람과 상황이 노출되는 초상권 또는 사생활 침해 문제가 노출된다.
영상 처리 장치는 등록되지 않은 얼굴에 대해 자동으로 블러 처리를 수행할 수 있다. 영상 처리 장치는 얼굴의 공개가 허락된 사람들을 등록할 수 있고, 입력 영상으로부터 등장하는 얼굴을 인식하여 등록된 얼굴인지 여부를 판단할 수 있다. 영상 처리 장치는 등록된 얼굴만 공개함으로써 컨텐츠의 의도를 살리면서도 초상권 침해를 방지하고 편집에 드는 비용을 줄일 수 있다.
카메라 탑재 디바이스 자체적으로 안면인식기술을 통해 등록된 사람들의 얼굴이 아닌 타인의 안면이 인식되면 자동으로 블러 처리가 되어 영상 촬영과 동시에 의도치 않게 등장하는 타인의 안면에 대해 블러 처리를 해주는 특수 카메라 모드를 지원하여 별도 동영상 편집작업 없이도 인터넷 실시간 방송 또는 동영상 제작을 할 수 있도록 한다.
영상 처리 장치는 네트워크가 없는 카메라 탑재 디바이스에 적용될 수 있다. 영상 처리 장치는 네트워크가 없는 상황에서도 실시간으로 입력 영상에 대해 영상 처리를 수행함으로써 촬영에 대한 공간적인 제약을 타파할 수 있다.
이러한 영상 처리 장치는 카메라에 탑재될 수도 있고, 카메라를 포함하는 컴퓨팅 장치에 탑재될 수 도 있다. 예를 들어, 카메라는 일반적인 휴대용 카메라를 포함하여, 360도 카메라, 드론 카메라 등을 포함할 수 있다. 다만, 이러한 카메라의 종류는 예시이며 이에 한정되지 않는다.
영상 처리 장치는 입력 영상으로부터 얼굴을 실시간으로 탐색할 수 있다. 영상 처리 장치는 탐색된 얼굴을 실시간으로 인식할 수 있다. 영상 처리 장치는 인공신경망을 이용하여 얼굴 인식을 수행할 수 있다. 영상 처리 장치는 딥 러닝 기술을 통하여 입력 영상의 얼굴을 탐색하거나 인식할 수 있다.
등록 정보 생성 장치는 영상 처리 장치가 입력 영상에 포함된 얼굴에 영상 처리를 수행할 것인지 여부를 판단하기 위하여 미리 원하는 얼굴을 등록할 수 있다. 등록 정보 생성 장치는 공개가 허용된 얼굴의 영상을 입력 받고 특징을 분석할 수 있다. 등록 정보 생성 장치는 등록 얼굴에 할당된 식별자에 대응하여 분석된 특징을 저장할 수 있다.
도 1을 참조하면, 드론(100)은 카메라(101)를 탑재할 수 있다. 드론(100)의 이동에 따라 카메라(101)는 다양한 장면을 촬영할 수 있다. 카메라(101)는 사람들(111, 112, 113)을 촬영할 수 있다. 이 중에는 촬영자가 의도한 사람(111) 뿐만 아니라 의도하지 않은 사람(112, 113)이 포함될 수 있다.
일 실시예에 따른 영상 처리 장치는 드론(100) 또는 카메라(101)에 탑재될 수 있다. 영상 처리 장치는 촬영된 결과인 입력 영상에 대해 영상 처리를 수행할 수 있다. 영상 처리 장치는 사람들(111, 112, 113)의 얼굴을 탐색할 수 있다. 영상 처리 장치는 사람들(111, 112, 113)의 얼굴이 미리 등록된 사람(111)의 얼굴과 매칭되는지 여부를 판단할 수 있다. 영상 처리 장치는 미리 등록된 얼굴과 매칭되지 않은 사람(112, 113)의 얼굴에 블러 처리를 자동으로 수행할 수 있다. 다른 실시예에 따르면, 영상 처리 장치는 미리 등록된 얼굴과 매칭되는 사람(112, 113)의 얼굴에 블러 처리를 자동으로 수행할 수도 있다. 또한, 등록 정보는 외부의 서버에 저장되고, 영상 처리 장치는 서버로 특징 정보를 송신하고 서버로부터 매칭 여부의 응답 신호를 수신할 수도 있다.
이처럼, 동영상 공유와 인터넷 실시간 방송이 대중화되고 5G와 함께 고성능, 다기능 카메라가 등장하고 있는 현재 상황에서, 일 실시예에 따른 영상 처리 장치는 동영상 촬영 시 발생할 수 있는 초상권 및 사생활 침해와 관련된 문제에서 자유로울 수 있도록 하며, 동영상 제작 시 의도치 않은 타인에 대한 별도 편집작업 없이도 완성도 높은 영상을 제공할 수 있다.
도 2는 일 실시예에 따른 영상 처리 방법의 동작을 도시한 순서도이다.
일 실시예에 따르면, 단계(201)에서, 영상 처리 장치는 카메라에 의해 입력 영상을 획득한다. 영상 처리 장치는 4k이상 고화질 카메라, 360카메라, 드론 카메라 등을 통해 얼굴이 포함된 입력 영상을 획득할 수 있다. 카메라의 화질이 충분히 높을 경우 촬영된 얼굴은 육안으로 식별할 수 있게 되고 초상권 침해 등의 이슈가 발생할 수 있다.
일 실시예에 따르면, 단계(203)에서, 영상 처리 장치는 입력 영상으로부터 하나 이상의 얼굴을 인식한다. 영상 처리 장치는 미리 학습된 인공신경망을 이용하여 얼굴을 인식할 수 있다. 예를 들어, 인공신경망은 합성곱 신경망을 포함할 수 있다.
일 실시예에 따르면, 단계(205)에서, 영상 처리 장치는 인식된 얼굴로부터 특징 정보를 추출한다. 영상 처리 장치는 미리 학습된 인공신경망에 입력 영상의 얼굴을 입력하고 특징을 추출할 수 있다. 추출된 특징은 인공신경망 내부의 벡터로 표현될 수 있다.
일 실시예에 따르면, 단계(207)에서, 영상 처리 장치는 특징 정보와 미리 저장된 등록 정보를 비교한다. 영상 처리 장치는 인공신경망을 이용하여 입력 영상의 얼굴의 특징 정보와 미리 저장된 등록 정보를 비교할 수 있다. 영상 처리 장치는 입력 영상의 얼굴에 대응하는 벡터와 미리 저장된 등록 얼굴의 벡터를 비교할 수 있다.
일 실시예에 따르면, 단계(209)에서, 특징 정보와 등록 정보가 매칭되는 경우, 영상 처리 장치는 특징 정보에 대응하는 인식된 얼굴에 영상 처리를 수행한다. 영상 처리 장치는 얼굴이 육안으로 식별되기 어렵게 인식된 얼굴에 영상 처리를 수행할 수 있다.
일 실시예에 따르면, 영상 처리 장치는 인식된 얼굴의 영상 품질을 낮추는 영상 처리를 수행할 수 있다. 예를 들어, 영상 처리 장치는 인식된 얼굴에 블러(blur) 처리, 마스킹(masking) 처리 또는 모자이크(mosaic) 처리를 수행할 수 있다. 다만, 이러한 영상 처리들은 예시이며 이에 한정되지 않는다.
다른 실시예에 따르면, 영상 처리 장치는 인식된 얼굴을 포함하는 영역에 미리 정의된 이미지를 중첩시킬 수 있다. 예를 들어, 영상 처리 장치는 다양한 이모티콘을 얼굴에 중첩시킴으로써 얼굴이 육안으로 식별되지 않도록 할 수 있다.
도 3은 일 실시예에 따른 등록 정보 생성 방법의 동작을 도시한 순서도이다.
일 실시예에 따르면, 단계(301)에서, 등록 정보 생성 장치는 영상 처리가 수행될 얼굴을 포함하는 하나 이상의 등록 영상을 입력한다. 등록 정보 생성 장치는 영상 처리 장치가 영상 처리를 수행하지 않을 얼굴을 미리 등록할 수 있다.
일 실시예에 따르면, 단계(303)에서, 등록 정보 생성 장치는 하나 이상의 등록 영상으로부터 얼굴의 하나 이상의 특징 정보를 추출한다. 등록 정보 생성 장치는 인공 신경망의 히든 레이어에서 표현되는 벡터의 형태로 얼굴의 특징 정보를 생성할 수 있다.
일 실시예에 따르면, 단계(305)에서, 등록 정보 생성 장치는 하나 이상의 특징 정보를 종합한다. 얼굴의 특징 정보를 복수일 수 있다. 예를 들어, 얼굴에 포함된 눈, 코, 입 각각의 특징 정보 및 각 부분 간의 비율의 특징 정보 등이 등록 정보 생성 장치에 의해 종합될 수 있다.
일 실시예에 따르면, 단계(307)에서, 등록 정보 생성 장치는 종합된 특징 정보에 대응하는 얼굴에 대응하는 식별자를 할당한다. 등록 정보 생성 장치는 동일한 사람에게는 동일한 식별자를 할당하고, 상이한 사람에게는 상이한 식별자를 할당할 수 있다.
일 실시예에 따르면, 단계(309)에서, 등록 정보 생성 장치는 종합된 특징 정보 및 식별자를 포함하는 등록 정보를 저장한다. 등록 정보 생성 장치는 다양한 데이터 구조의 형태로 식별자에 대응하는 특징 정보를 저장할 수 있다. 예를 들어, 데이터 구조는 테이블, 링크드 리스트, 트리 형태를 포함할 수 있다.
등록 정보는, 카메라에 의해 획득된 입력 영상으로부터 인식된 얼굴로부터 추출된 특징 정보와 비교되고, 특징 정보와 등록 정보가 매칭되는 경우, 특징 정보에 대응하는 인식된 얼굴에 대해 영상 처리가 수행될 수 있다.
여기서, 영상 처리는, 인식된 얼굴의 영상 품질을 낮추는 영상 처리를 포함할 수 있다. 예를 들어, 영상 처리는, 블러(blur) 처리, 마스킹(masking) 처리 또는 모자이크(mosaic) 처리를 포함할 수 있다. 다른 예로, 영상 처리는, 인식된 얼굴을 포함하는 영역에 미리 정의된 이미지를 중첩시키는 영상 처리를 포함할 수 있다.
도 4는 일 실시예에 따른 영상 처리 장치에 의해 입력 영상에 영상 처리가 수행되는 일례를 도시한 도면이다.
도 4를 참조하면, 카메라는 복수의 사람들(411, 412, 413)을 촬영할 수 있다. 입력 영상에는 복수의 사람들(411, 412, 413)이 포함될 수 있다. 복수의 사람들(411, 412, 413) 중 사람(422)는 미리 등록되고 나머지 사람들(411, 413)은 등록되지 않은 사람들일 수 있다.
영상 처리 장치는 복수의 사람들(411, 412, 413) 중에서 미등록된 사람들(411, 413)의 얼굴을 인식하고 이들의 얼굴이 시청자에 의해 식별되지 않도록 영상 처리를 수행할 수 있다. 예를 들어, 영상 처리 장치는 사람(411)의 얼굴에 대해 영상 처리를 수행할 수 있다. 영상 처리 장치는 사람(411)의 얼굴에 대해 블러 처리를 수행할 수 있다. 영상 처리가 수행된 사람(421)은 육안으로 식별하기 어려운 상태가 된다. 예를 들어, 영상 처리 장치는 사람(413)의 얼굴에 대해 영상 처리를 수행할 수 있다. 영상 처리 장치는 사람(413)의 얼굴에 하트 모양의 이모티콘을 중첩시킬 수 있다. 영상 처리가 수행된 사람(423)은 육안으로 식별하기 어려운 상태가 된다.
도 5는 일 실시예에 따른 영상 처리 장치의 전체 구성을 도시한 도면이다.
일 실시예에 따르면, 영상 처리 장치(500)는 적어도 하나의 프로세서(501), 카메라(505) 및 메모리(503)를 포함할 수 있다. 여기서, 카메라(505)는 입력 영상을 획득할 수 있다.
프로세서(501)는 입력 영상으로부터 하나 이상의 얼굴을 인식할 수 있다. 프로세서(501)는 인식된 얼굴로부터 특징 정보를 추출할 수 있다. 프로세서(501)는 특징 정보와 미리 저장된 등록 정보를 비교할 수 있다. 특징 정보와 등록 정보가 매칭되는 경우, 프로세서(501)는 특징 정보에 대응하는 인식된 얼굴에 영상 처리를 수행할 수 있다. 프로세서(501)는 인식된 얼굴의 영상 품질을 낮추는 영상 처리를 수행할 수 있다. 프로세서(501)는 인식된 얼굴에 블러(blur) 처리, 마스킹(masking) 처리 또는 모자이크(mosaic) 처리를 수행할 수 있다. 프로세서(501)는 인식된 얼굴을 포함하는 영역에 미리 정의된 이미지를 중첩시킬 수도 있다.
도 6은 일 실시예에 따른 등록 정보 생성 장치의 전체 구성을 도시한 도면이다.
일 실시예에 따르면, 등록 정보 생성 장치(600)는 적어도 하나의 프로세서(601) 및 메모리(603)를 포함할 수 있다. 프로세서(601)는 영상 처리가 수행될 얼굴을 포함하는 하나 이상의 등록 영상을 입력할 수 있다. 프로세서(601) 하나 이상의 등록 영상으로부터 얼굴의 하나 이상의 특징 정보를 추출할 수 있다. 프로세서(601) 하나 이상의 특징 정보를 종합할 수 있다. 프로세서(601) 종합된 특징 정보에 대응하는 얼굴에 대응하는 식별자를 할당할 수 있다. 프로세서(601) 종합된 특징 정보 및 식별자를 포함하는 등록 정보를 저장할 수 있다.
여기서, 등록 정보는 카메라에 의해 획득된 입력 영상으로부터 인식된 얼굴로부터 추출된 특징 정보와 비교되고, 특징 정보와 등록 정보가 매칭되는 경우, 특징 정보에 대응하는 인식된 얼굴에 대해 영상 처리가 수행될 수 있다. 영상 처리는 인식된 얼굴의 영상 품질을 낮추는 영상 처리를 포함할 수 있다. 영상 처리는 블러(blur) 처리, 마스킹(masking) 처리 또는 모자이크(mosaic) 처리를 포함할 수 있다. 영상 처리는 인식된 얼굴을 포함하는 영역에 미리 정의된 이미지를 중첩시키는 영상 처리를 포함할 수도 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
500: 영상 처리 장치
501: 프로세서
503: 메모리
505: 카메라

Claims (19)

  1. 카메라에 의해 입력 영상을 획득하는 단계;
    상기 입력 영상으로부터 하나 이상의 얼굴을 인식하는 단계;
    상기 인식된 얼굴로부터 특징 정보를 추출하는 단계;
    상기 특징 정보와 미리 저장된 등록 정보를 비교하는 단계; 및
    상기 특징 정보와 상기 등록 정보가 매칭되지 않는 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 영상 처리를 수행하는 단계
    를 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 영상 처리를 수행하는 단계는,
    상기 인식된 얼굴의 영상 품질을 낮추는 영상 처리를 수행하는 단계를 포함하는, 영상 처리 방법.
  3. 제2항에 있어서,
    상기 영상 처리를 수행하는 단계는,
    상기 인식된 얼굴에 블러(blur) 처리, 마스킹(masking) 처리 또는 모자이크(mosaic) 처리를 수행하는 단계
    를 포함하는, 영상 처리 방법.
  4. 제1항에 있어서,
    상기 영상 처리를 수행하는 단계는,
    상기 인식된 얼굴을 포함하는 영역에 미리 정의된 이미지를 중첩시키는 단계를 포함하는, 영상 처리 방법.
  5. 영상 처리가 수행될 얼굴을 포함하는 하나 이상의 등록 영상을 입력하는 단계;
    상기 하나 이상의 등록 영상으로부터 상기 얼굴의 하나 이상의 특징 정보를 추출하는 단계;
    상기 하나 이상의 특징 정보를 종합하는 단계;
    상기 종합된 특징 정보에 대응하는 상기 얼굴에 대응하는 식별자를 할당하는 단계; 및
    상기 종합된 특징 정보 및 상기 식별자를 포함하는 등록 정보를 저장하는 단계를 포함하고,
    상기 등록 정보는, 카메라에 의해 획득된 입력 영상으로부터 인식된 얼굴로부터 추출된 특징 정보와 비교되고, 상기 특징 정보와 상기 등록 정보가 매칭되지 않는 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 대해 영상 처리가 수행되는,
    등록 정보 생성 방법.
  6. 제5항에 있어서,
    상기 영상 처리는, 상기 인식된 얼굴의 영상 품질을 낮추는 영상 처리를 포함하는, 등록 정보 생성 방법.
  7. 제6항에 있어서,
    상기 영상 처리는, 블러(blur) 처리, 마스킹(masking) 처리 또는 모자이크(mosaic) 처리를 포함하는, 등록 정보 생성 방법.
  8. 제5항에 있어서,
    상기 영상 처리는, 상기 인식된 얼굴을 포함하는 영역에 미리 정의된 이미지를 중첩시키는 영상 처리를 포함하는, 등록 정보 생성 방법.
  9. 제1항 내지 제8항 중 어느 하나의 항의 방법을 실행하기 위한 인스트럭션들을 저장하는 컴퓨터 판독 가능한 저장 매체.
  10. 적어도 하나의 프로세서;
    카메라; 및
    메모리를 포함하고,
    상기 카메라는, 입력 영상을 획득하고,
    상기 프로세서는,
    상기 입력 영상으로부터 하나 이상의 얼굴을 인식하고,
    상기 인식된 얼굴로부터 특징 정보를 추출하고,
    상기 특징 정보와 미리 저장된 등록 정보를 비교하고,
    상기 특징 정보와 상기 등록 정보가 매칭되지 않는 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 영상 처리를 수행하는,
    영상 처리 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 인식된 얼굴의 영상 품질을 낮추는 영상 처리를 수행하는, 영상 처리 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 인식된 얼굴에 블러(blur) 처리, 마스킹(masking) 처리 또는 모자이크(mosaic) 처리를 수행하는, 영상 처리 장치.
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 인식된 얼굴을 포함하는 영역에 미리 정의된 이미지를 중첩시키는, 영상 처리 장치.
  14. 적어도 하나의 프로세서; 및
    메모리를 포함하고,
    상기 프로세서는,
    영상 처리가 수행될 얼굴을 포함하는 하나 이상의 등록 영상을 입력하고,
    상기 하나 이상의 등록 영상으로부터 상기 얼굴의 하나 이상의 특징 정보를 추출하고,
    상기 하나 이상의 특징 정보를 종합하고,
    상기 종합된 특징 정보에 대응하는 상기 얼굴에 대응하는 식별자를 할당하고,
    상기 종합된 특징 정보 및 상기 식별자를 포함하는 등록 정보를 저장하고,
    상기 등록 정보는, 카메라에 의해 획득된 입력 영상으로부터 인식된 얼굴로부터 추출된 특징 정보와 비교되고, 상기 특징 정보와 상기 등록 정보가 매칭되지 않는 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 대해 영상 처리가 수행되는,
    등록 정보 생성 장치.
  15. 제14항에 있어서,
    상기 영상 처리는, 상기 인식된 얼굴의 영상 품질을 낮추는 영상 처리를 포함하는, 등록 정보 생성 장치.
  16. 제15항에 있어서,
    상기 영상 처리는, 블러(blur) 처리, 마스킹(masking) 처리 또는 모자이크(mosaic) 처리를 포함하는, 등록 정보 생성 장치.
  17. 제14항에 있어서,
    상기 영상 처리는, 상기 인식된 얼굴을 포함하는 영역에 미리 정의된 이미지를 중첩시키는 영상 처리를 포함하는, 등록 정보 생성 장치.
  18. 카메라에 의해 입력 영상을 획득하는 단계;
    상기 입력 영상으로부터 하나 이상의 얼굴을 인식하는 단계;
    상기 인식된 얼굴로부터 특징 정보를 추출하는 단계;
    상기 특징 정보와 미리 저장된 등록 정보를 비교하는 단계; 및
    상기 특징 정보와 상기 등록 정보가 매칭되는 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 영상 처리를 수행하는 단계
    를 포함하는, 영상 처리 방법.
  19. 적어도 하나의 프로세서;
    카메라;
    입출력부; 및
    메모리를 포함하고,
    상기 카메라는, 입력 영상을 획득하고,
    상기 프로세서는,
    상기 입력 영상으로부터 하나 이상의 얼굴을 인식하고,
    상기 인식된 얼굴로부터 특징 정보를 추출하고,
    상기 입출력부는,
    상기 특징 정보를 서버로 송신하고,
    상기 서버로부터 상기 서버에 저장된 등록 정보와 상기 특징 정보가 매칭되는지 여부에 관한 응답 신호를 수신하고,
    상기 프로세서는,
    상기 응답 신호를 기초로 상기 특징 정보와 상기 등록 정보가 매칭되지 않는 것으로 판단한 경우, 상기 특징 정보에 대응하는 상기 인식된 얼굴에 영상 처리를 수행하는,
    영상 처리 장치.



KR1020190118784A 2019-09-26 2019-09-26 영상 처리 장치 및 방법 KR20210036609A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190118784A KR20210036609A (ko) 2019-09-26 2019-09-26 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190118784A KR20210036609A (ko) 2019-09-26 2019-09-26 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210036609A true KR20210036609A (ko) 2021-04-05

Family

ID=75461811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190118784A KR20210036609A (ko) 2019-09-26 2019-09-26 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210036609A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230030416A (ko) * 2021-08-25 2023-03-06 계명대학교 산학협력단 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치
KR102518190B1 (ko) * 2022-08-12 2023-04-06 주식회사 포딕스시스템 악성 민원인의 돌발상황 사전 예방 시스템
KR102633279B1 (ko) * 2022-08-22 2024-02-05 한양대학교 에리카산학협력단 선택적 비식별화 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230030416A (ko) * 2021-08-25 2023-03-06 계명대학교 산학협력단 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치
KR102518190B1 (ko) * 2022-08-12 2023-04-06 주식회사 포딕스시스템 악성 민원인의 돌발상황 사전 예방 시스템
KR102633279B1 (ko) * 2022-08-22 2024-02-05 한양대학교 에리카산학협력단 선택적 비식별화 장치 및 방법

Similar Documents

Publication Publication Date Title
US11809998B2 (en) Maintaining fixed sizes for target objects in frames
KR102123248B1 (ko) 프라이버시 보호를 위한 얼굴인식 기반 실시간 영상처리 시스템
US10062406B2 (en) Video masking processing method and apparatus
JP5222939B2 (ja) テレビ電話におけるプライバシーを最大にするための浅い被写界深度のシュミレート
US8866910B1 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
KR101458136B1 (ko) 영상 처리 방법, 이를 실행하는 영상 처리 서버, 감시 서버, 영상 처리 시스템 및 이를 저장한 기록 매체
US10021381B2 (en) Camera pose estimation
KR20210036609A (ko) 영상 처리 장치 및 방법
CN106650671A (zh) 人脸识别方法、装置及系统
US20130169760A1 (en) Image Enhancement Methods And Systems
CN108141568B (zh) Osd信息生成摄像机、合成终端设备及共享系统
CN110298862A (zh) 视频处理方法、装置、计算机可读存储介质和计算机设备
CN108848334A (zh) 一种视频处理的方法、装置、终端和存储介质
JP7249766B2 (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
WO2020238324A1 (zh) 一种基于视频会议的图像处理方法和装置
Visentini-Scarzanella et al. Video jitter analysis for automatic bootleg detection
US6701030B1 (en) Deghosting panoramic video
WO2021257881A1 (en) Image frames with unregistered users obfuscated
US10282633B2 (en) Cross-asset media analysis and processing
US11636683B2 (en) Precise object segmentation with multi-modal input for realtime video application
KR102235127B1 (ko) 멀티모달 영상의 적응적 융합 방법 및 그 장치
TWM419956U (en) Ultra-wide-angle camera with function of intelligent identification
US20190034745A1 (en) Information processing module, information processing method, information processing program, and information processing apparatus
KR20240080686A (ko) 원샷 페이스 스왑을 이용한 영상 콘텐츠의 가명 처리 장치 및 방법
JP2021005798A (ja) 撮像装置、撮像装置の制御方法およびプログラム

Legal Events

Date Code Title Description
E601 Decision to refuse application