KR102531287B1 - 자세 인식 기반의 영상 초상권 보호 방법 및 장치 - Google Patents

자세 인식 기반의 영상 초상권 보호 방법 및 장치 Download PDF

Info

Publication number
KR102531287B1
KR102531287B1 KR1020200182151A KR20200182151A KR102531287B1 KR 102531287 B1 KR102531287 B1 KR 102531287B1 KR 1020200182151 A KR1020200182151 A KR 1020200182151A KR 20200182151 A KR20200182151 A KR 20200182151A KR 102531287 B1 KR102531287 B1 KR 102531287B1
Authority
KR
South Korea
Prior art keywords
person
region
posture
interest
eyes
Prior art date
Application number
KR1020200182151A
Other languages
English (en)
Other versions
KR20220091039A (ko
Inventor
김진욱
유성근
문경률
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020200182151A priority Critical patent/KR102531287B1/ko
Publication of KR20220091039A publication Critical patent/KR20220091039A/ko
Application granted granted Critical
Publication of KR102531287B1 publication Critical patent/KR102531287B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G06T3/0093—
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

미리 학습된 사람의 자세를 인식하여 강건하게 얼굴 부분을 찾아내고, 그 위치에 비가역적인 국소 영상 변조를 가하여 초상권을 보호할 수 있는 자세 인식 기반의 영상 초상권 보호 방법 및 장치가 제공된다. 실시예에 따른 자세 인식 기반의 영상 초상권 보호 장치는 입력된 영상 이미지 프레임에서 적어도 한명의 인물의 자세를 인식하고, 상기 인식된 인물의 자세된 자세에 기반하여 관심 영역을 설정하는 관심 영역 설정 모듈; 상기 관심 영역을 구성하는 복수의 픽셀의 위치를 교환하는 셔플링 변조 및 상기 셔플링 변조된 관심 영역에 대해 블러링을 수행하는 제1 변조 모듈; 및 상기 블러링된 관심 영역과 배경의 경계가 구분되지 않도록 블렌딩을 수행하는 제2 변조 모듈을 포함한다.

Description

자세 인식 기반의 영상 초상권 보호 방법 및 장치{Method and device for protecting image portrait rights based on posture recognition}
영상 초상권 보호 방법 및 장치에 관한 것으로, 일반 방송영상, 스포츠 중계영상, 의료 영상, 온라인 영상 플랫폼 등 초상권 보호가 필요한 영상 분야 전반에 적용할 수 있는 자세 인식 기반의 영상 초상권 보호 방법 및 장치에 관한 것이다.
최근 4차 산업 혁명과 함께, 스마트폰을 이용하여 고품질의 영상을 제작, 편집, 전송, 게시하는 플랫폼이 보편화 되고, 개인의 얼굴이 게시되는 것에 대한 초상권 보호의 보편적인 인식 기준이 높아지면서 영상을 촬영하고 다루는 보편적인 산업 전반에서 초상권 보호 방법에 대한 논의가 이루어지고 있다. 즉, 초상권 보호에 대한 필요와 초상권 보호에 대한 보편적 인식 기준이 높아지고 있다.
종래 촬영 영상에 포함된 개인의 초상권을 보호하기 위하여 국소 영상 변조 방법이 제안되어 왔다. 영상의 프레임에 사람이 지정한 영역에 블러(blur)나 모자이크(mosaic), 컬러 매트 등의 마스크와 같은 방법 등이 제안되었다.
다만, 종래 제안된 마스킹 처리 방법은 복원이 가능한 가역적인 처리 방법으로 인물의 초상권을 보호하는 데 한계가 있었다. 또한, 초상권 보호를 위해 적용된 모자이크 영역 및 마스크 영역이 배경과 자연스럽게 융합되지 못하고 확연하게 구분되었기에, 시각적으로 불편함이 있었을 뿐만 아니라 이미지 내에서 특징적인 요소로 강조되어 머신 러닝과 같은 이미지의 특징을 이용하는 이미지 데이터 활용 기법에 적용되기 어려운 문제점이 있었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 구체적으로, 미리 학습된 사람의 자세를 인식하여 관심 영역을 찾아내고, 관심 영역에 비가역적인 영상 변조를 가하여 초상권을 보호할 수 있는 자세 인식 기반의 영상 초상권 보호 방법 및 장치에 관한 것이다.
본 발명의 일 실시예에 따른 영상 초상권 보호 장치는 입력된 영상 이미지 프레임에서 적어도 한명의 인물의 자세를 인식하고, 상기 인식된 인물의 자세된 자세에 기반하여 관심 영역을 설정하는 관심 영역 설정 모듈; 상기 관심 영역을 구성하는 복수의 픽셀의 위치를 교환하는 셔플링 변조 및 상기 셔플링 변조된 관심 영역에 대해 블러링을 수행하는 제1 변조 모듈; 및 상기 블러링된 관심 영역과 배경의 경계가 구분되지 않도록 블렌딩을 수행하는 제2 변조 모듈을 포함한다.
본 발명의 다른 실시예에 따른 영상 초상권 보호 방법은 입력된 영상 이미지 프레임에서 적어도 한명의 인물의 자세를 인식하고, 상기 인식된 인물의 자세된 자세에 기반하여 관심 영역을 설정하는 단계; 상기 관심 영역을 구성하는 복수의 픽셀의 위치를 교환하는 셔플링 변조를 수행하고, 상기 셔플링 변조된 관심 영역에 대해 블러링을 수행하는 단계; 및 상기 관심 영역과 배경의 경계가 구분되지 않도록 블렌딩을 수행하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은 하드웨어와 결합되어 상기 영상 초상권 보호 방법을 실행하도록 매체에 저장된다.
본 발명의 실시예에 따른 영상 초상권 보호 장치 및 방법은 영상 이미지 프레임에서 딥러닝과 같은 기계학습 기법을 이용하여 인물의 자세를 인식하고, 인식된 자세에 기초하여 수정을 수행하는 관심 영역을 용이하게 결정할 수 있다.
본 발명의 실시예에 따른 영상 초상권 보호 장치 및 방법은 인식된 얼굴 위치에 셔플링 변조 및 블러링과 같은 비가역적인 영상 변조를 적용하기에 변조된 영상에 대한 원래대로의 복원이 사실상 불가능해질 수 있으며, 해당 인물의 초상권이 더욱 보호될 수 있다.
본 발명의 실시예에 따른 영상 초상권 보호 장치 및 방법은 얼굴이 있던 부분과 다른 배경이 자연스럽게 합성되도록 블렌딩이 더 진행되고, 변조된 영상에서 변조된 영역이 어떠한 특징이 있는 부분으로 인식되지 못하게 되어 머신 러닝과 같은 기법에 적용이 제한되지 않게 된다.
또한, 본 발명의 실시예에 따른 영상 초상권 보호 장치 및 방법에 따라 수정된 영상 이미지는 기존의 모자이크 기법에 비교하였을 때 시각적으로도 불편함이 덜하기 때문에 많은 영상들에 적용하여도 영상을 감상하는데 불편함이 적을 수 있다.
도 1은 영상 초상권 보호 장치 및 방법의 동작 과정을 개략적으로 도시한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 영상 초상권 보호 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 초상권 보호 장치의 블록도이다.
도 3은 자세 인식 모델에 적용되는 예시적인 딥러닝 네트워크 구조를 도시한다.
도 4는 영상 이미지 프레임에서 인식된 인물의 자세 및 얼굴 위치를 나타낸 예시도이다.
도 5는 얼굴 영역에 해당하는 관심 영역을 설정한 상태를 나타내는 예시도이다.
도 6은 영상 이미지 프레임에서 인식된 인물의 자세 및 신체 부위를 나타낸 예시도이다.
도 7은 전신 영역에 해당하는 관심 영역을 설정한 상태를 나타내는 예시도이다.
도 8은 본 발명의 다른 실시예에 따른 영상 초상권 보호 방법의 순서도이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 인지할 수 있다. 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
도 1은 영상 초상권 보호 장치 및 방법의 동작 과정을 개략적으로 도시한 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 초상권 보호 장치는 원본 영상 이미지를 프레임 단위로 입력받을 수 있으며, 프레임 단위로 이미지 수정을 수행하고, 프레임 단위로 수정된 영상 이미지를 출력할 수 있다.
본 발명의 영상 초상권 보호 장치는 인물의 자세에 기초하여 관심 영역을 추정할 수 있다. 즉, 본 실시예에 따른 영상 초상권 보호 장치(10)는 영상 이미지 프레임에서 인물의 자세를 인식하고, 인식된 자세에 기초하여 수정을 수행하는 관심 영역(RoI, Region of Interest)을 결정할 수 있다. 여기서, 관심 영역은 도 1에 도시된 바와 같은 인물의 얼굴 영역일 수 있으나, 이에 한정되는 것은 아니다. 관심 영역은 인식된 인물의 자세에 기초한 인물의 전신 영역일 수도 있다.
본 발명에서의 이미지 수정은 관심 영역에 대한 셔플링 변조, 관심 영역에 대한 블러링 및 블렌딩을 포함할 수 있다. 셔플링 변조는 관심 영역에 대한 무작위적인 픽셀 위치 변경을 의미한다. 또한, 픽셀의 위치가 변경된 관심 영역에 대한 블러링 처리를 수행하게 된다. 본 발명에서는 얼굴 위치에 상술한 바와 같은 비가역적인 국소 영상 변조를 적용하기에 변조된 영상에 대한 원래대로의 복원이 사실상 불가능해질 수 있으며, 해당 인물의 초상권이 더욱 보호될 수 있다.
또한, 블러링된 관심 영역은 관심 영역과 배경 영역과의 경계선에 대한 블렌딩이 수행되게 된다. 변조된 영역이 배경 영역과 자연스럽게 어울리지 못하는 경우, 해당 영역에 대한 특징이 강조되어 머신 러닝에 적용이 제한될 수 있다. 본 발명의 경우, 얼굴이 있던 부분과 다른 배경이 자연스럽게 합성되도록 블렌딩 변조가 더 진행되어, 변조된 영상에서 변조된 영역이 어떠한 특징이 있는 부분으로 인식되지 못하게 된다. 따라서, 본 발명에 따라 생성되는 변조된 영상은 변조된 관심 영역이 어떠한 특징이 있는 부분으로 인식되기 어려우므로 머신 러닝과 같은 기법에 적용이 제한되지 않게 된다.
또한, 본 발명의 수정된 영상 이미지는 기존의 모자이크 기법에 비교하였을 때 시각적으로도 불편함이 덜하기 때문에 많은 영상들에 적용하여도 영상을 감상하는데 불편함이 적을 수 있다.
이하, 도 2 내지 도 7을 참조하여, 본 발명의 일 실시예에 따른 영상 초상권 보호 장치에 대해 더욱 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 영상 초상권 보호 장치의 블록도이다. 도 3은 자세 인식 모델에 적용되는 예시적인 딥러닝 네트워크 구조를 도시한다. 도 4는 영상 이미지 프레임에서 인식된 인물의 자세 및 얼굴 위치를 나타낸 예시도이다. 도 5는 얼굴 영역에 해당하는 관심 영역을 설정한 상태를 나타내는 예시도이다. 도 6은 영상 이미지 프레임에서 인식된 인물의 자세 및 신체 부위를 나타낸 예시도이다. 도 7은 전신 영역에 해당하는 관심 영역을 설정한 상태를 나타내는 예시도이다.
도 2 내지 도 7을 참조하면, 본 발명의 일 실시예에 따른 영상 초상권 보호 장치(10)은 관심 영역 설정 모듈(100), 제1 변조 모듈(110), 제2 변조 모듈(120) 및 변수 생성 모듈(130)을 포함한다.
영상 초상권 보호 장치(10)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 명세서의 영상 초상권 보호 장치 및 이에 포함된 각 모듈(module)는, 특정 형식 및 내용의 데이터를 전자통신 방식으로 주고받기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부", "모듈(module)", "서버(server)", "시스템", "장치" 또는 "단말" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 영상 초상권 보호 장치(10)를 구성하는 각각의 모듈은 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 도 2에서 관심 영역 설정 모듈(100), 제1 변조 모듈(110), 제2 변조 모듈(120) 및 변수 생성 모듈(130)은 서로 구분되는 별개의 블록으로 도시되나, 이는 영상 초상권 보호 장치를 구성하는 장치를 해당 장치에 의해 실행되는 동작에 의해 단지 기능적으로 구분한 것이다. 따라서, 실시예에 따라서는 관심 영역 설정 모듈(100), 제1 변조 모듈(110), 제2 변조 모듈(120) 및 변수 생성 모듈(130)은 일부 또는 전부가 동일한 하나의 장치 내에 집적화될 수 있고, 하나 이상이 다른 부와 물리적으로 구분되는 별개의 장치로 구현될 수도 있으며, 분산 컴퓨팅 환경 하에서 서로 통신 가능하게 연결된 컴포넌트들일 수도 있다.
관심 영역 설정 모듈(100)은 입력된 영상 이미지 프레임에서 적어도 한명의 인물의 자세를 인식하고, 상기 인식된 인물의 자세된 자세에 기반하여 상기 인물의 관심 영역을 설정하도록 구성된다.
관심 영역 설정 모듈(100)은 입력된 영상 이미지 프레임에서 인물의 자세를 인식하고, 관심 영역을 설정하도록 학습된 자세 인식 모델을 포함할 수 있다.
본 발명의 실시예에 따른 자세 인식 모델은 입력된 영상 이미지 프레임 내의 적어도 한명의 인물의 자세를 인식하고, 상기 인식된 인물의 자세된 자세에 기반하여 관심 영역을 설정하도록 기계 학습된 인공 신경망(artificial neural network, ANN) 모델일 수 있다. 자세 인식 모델은 영상 이미지 프레임을 입력 값으로 사용하고, 인물의 자세를 인식하고 출력 값으로 이미지 변조가 수행되는 영역인 관심 영역을 설정하는 추상화된 모델에 해당한다.
자세 인식 모델은 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계 학습을 수행시키는 딥러닝(deep learning)에 의해 구축된 모델일 수 있다. 자세 인식 모델은 도 3에 도시된 바와 같은 네트워크 구조를 가지며, Real-Time 환경에서 Multi-Person Pose Estimation 및 Tracking 이 가능한 딥러닝 기반의 인식 모델일 수 있으며, 인식된 자세에 기초하여 이미지 변조가 수행되는 영역인 관심 영역을 설정할 수 있다.
일 실시예에서, 자세 인식 모델이 추적하는 인물의 자세는 적어도 상기 인물의 두 눈의 위치, 두 귀의 위치, 목의 위치 및 어깨의 위치 중 적어도 하나를 포함할 수 있으며, 상기 관심 영역은 상기 인물의 두 눈의 위치, 두 귀의 위치, 목의 위치 및 어깨의 위치 중 적어도 하나에 기초하여 추정되는 인물의 얼굴 영역일 수 있다.
도 4에 도시된 바와 같이, 자세 인식 모델은 인물의 자세 중 상반신에 해당하는 신체 부위를 추정할 수 있다. 상기 인물의 두 눈의 위치, 두 귀의 위치, 목의 위치 및 어깨의 위치 중 적어도 하나가 추정될 수 있다. 여기서, 인물이 영상 이미지에서 뒤돌아 서있는 상태인 경우, 즉, 두 눈이 영상 이미지에서 확인되지 않는 경우, 식별된 어깨의 위치 및 목의 위치를 고려하여 두 눈의 위치 및 두 귀의 위치를 추정하여 각각의 위치를 결정할 수 있다.
또한, 자세 인식 모델은 상기 인물의 두 눈의 위치, 두 귀의 위치, 목의 위치 및 어깨의 위치 중 적어도 하나에 기초하여 인물의 얼굴 영역에 해당하는 관심 영역을 설정할 수 있다. 도 5에 도시된 바와 같이, 상기 인물의 두 눈의 중간 점은 얼굴의 중심으로 설정되고, 상기 인물의 얼굴 영역은 상기 얼굴의 중심을 기준으로 단축의 길이 2r, 장축의 길이 2k로 정의되는 타원형으로 정의될 수 있다. 여기서, 상기 r은 상기 두 눈의 간격에 해당하며, 상기 k는 a*r로 정의되고, 상기 a는 상기 인물의 얼굴의 비율을 기반으로 정의되는 계수이다. 예를 들어, 인물의 목의 위치 및 어깨의 위치에 따라 a가 결정될 수 있다.
다른 실시예에서, 도 6에 도시된 바와 같이, 자세 인식 모델은 인물의 자세 중 전신에 해당하는 신체 부위를 추정할 수 있다. 상기 인물의 얼굴 위치, 양 손의 위치, 양 팔꿈치 위치, 골반의 위치, 양 무릎의 위치, 양 발의 위치, 어깨의 위치 중 적어도 하나가 추정될 수 있다.
자세 인식 모델은 도 7에 도시된 바와 같이, 상기 인물의 얼굴 위치, 양 손의 위치, 양 팔꿈치 위치, 골반의 위치, 양 무릎의 위치, 양 발의 위치, 어깨의 위치 중 적어도 하나에 기초하여 인물의 전신 영역에 해당하는 관심 영역을 설정할 수 있다. 자세 인식 모델은 상기 인물의 얼굴 위치, 양 손의 위치, 양 팔꿈치 위치, 골반의 위치, 양 무릎의 위치, 양 발의 위치, 어깨의 위치 중 적어도 하나에 기초하여 인물의 형태를 결정할 수 있으며, 결정된 인물의 형태에 대응하는 관심 영역을 설정할 수 있다.
제1 변조 모듈(110)은 관심 영역 설정 모듈(100)을 통해 설정된 관심 영역에 대한 비가역적인 변조를 수행하게 된다. 제1 변조 모듈(110)은 원본 이미지에 대한 복원이 실질적으로 불가능하도록 관심 영역에 대한 비가역적인 변조를 원본 이미지에 대해 수행할 수 있다.
여기서, 비가역적인 변조는 관심 영역을 구성하는 복수의 픽셀의 위치를 교환하는 셔플링(shuffling) 변조와 셔플링 변조된 관심 영역에 대한 블러링(blurring) 변조를 포함한다.
셔플링 변조에서 변경되는 픽셀의 위치는 랜덤하게 생성되는 변수에 따라 결정될 수 있다. 즉, 변수 생성 모듈(130)은 고유 내부 클럭을 이용하여 랜덤하게 변수를 생성할 수 있으며, 변수 생성 모듈(130)에서 제공되는 변수에 따라 셔플링 변조가 관심 영역에 대해 수행될 수 있다. 생성된 무작위 변수를 기초하여 관심 영역의 복수의 픽셀 위치들이 무작위로 뒤섞는 변조가 수행됨에 따라, 원래 이미지는 복원이 실질적으로 불가능한 비가역적인 변조를 진행될 수 있다.
제1 변조 모듈(110)은 셔플링 변조된 관심 영역에 대한 블러링(blurring) 변조를 더 수행할 수 있다. 제1 변조 모듈(110)은 가우시안 블러(Gaussian blur)와 같은 방법을 통해 셔플링 변조된 관심 영역이 흐려지도록 처리할 수 있다. 블러링 변조를 통해 관심 영역이 선명하지 않게 됨에 따라 관심 영역에 대한 비가역성이 더 강화될 수 있다.
제2 변조 모듈(120)은 블러링된 관심 영역과 관심 영역 외부인 배경의 경계가 구분되지 않도록 블렌딩을 수행할 수 있다. 제2 변조 모듈(120)은 변조된 관심 영역을 관심 영역 외부에 해당하는 배경과 자연스럽게 혼합시킬 수 있다. 제2 변조 모듈(120)은 변조된 관심 영역의 특성(이미지 그래디언트)을 유지하면서 경계면으로부터 배경 영역의 색상을 변조된 관심 영역의 내부 방향으로 혼합을 수행할 수 있다. 예를 들어, 제2 변조 모듈(120)은 포아송 블렌딩(Poisson blending)과 같은 블렌딩 기법을 적용하여 변조된 관심 영역을 관심 영역 외부에 해당하는 배경과 자연스럽게 혼합시킬 수 있으나 이에 한정되는 것은 아니다. 제2 변조 모듈(120)은 상술한 블렌딩변조를 더 수행한 후, 수정된 영상 이미지 프레임을 최종적으로 생성할 수 있다.
제2 변조 모듈(120)에서 수행되는 변조에 의해 변조된 관심 영역의 배경 영역 대비 가지는 특징성이 감소될 수 있으며, 수정된 영상 이미지 프레임에서 관심 영역이 어떠한 특징이 있는 부분으로 인식되지 못하게 된다. 따라서, 수정된 영상 이미지 프레임은 변조된 관심 영역이 어떠한 특징이 있는 부분으로 인식되기 어려우므로 머신 러닝과 같은 기법에 적용이 제한되지 않게 된다.
이하, 본 발명의 다른 실시예에 따른 자세 인식 기반의 영상 초상권 보호 방법에 대해 설명하도록 한다.
도 8은 본 발명의 다른 실시예에 따른 자세 인식 기반의 영상 초상권 보호 방법의 순서도이다.
도 8을 참조하면, 본 발명의 다른 실시예에 따른 자세 인식 기반의 영상 초상권 보호 방법은 입력된 영상 이미지 프레임에서 적어도 한명의 인물의 자세를 인식하고, 상기 인식된 인물의 자세된 자세에 기반하여 관심 영역을 설정하는 단계(S100); 상기 관심 영역을 구성하는 복수의 픽셀의 위치를 교환하는 셔플링 변조를 수행하고, 상기 셔플링 변조된 관심 영역에 대해 블러링을 수행하는 단계(S110); 및 상기 관심 영역과 배경의 경계가 구분되지 않도록 블렌딩을 수행하는 단계(S120)를 포함한다.
입력된 영상 이미지 프레임에서 적어도 한명의 인물의 자세를 인식하고, 상기 인식된 인물의 자세된 자세에 기반하여 관심 영역을 설정하는 단계(S100)는, 상기 영상 이미지 프레임에서 상기 인물의 자세를 인식하고, 인식된 자세에 기초하여 관심 영역을 설정하도록 학습된 딥러닝 기반의 자세 인식 모델에 의해 수행될 수 있다.
일 실시예에서, 상기 인식된 인물의 자세는 상기 인물의 두 눈의 위치, 두 귀의 위치, 목의 위치 및 어깨의 위치 중 적어도 하나를 포함하고, 상기 관심 영역은 상기 인물의 두 눈의 위치, 두 귀의 위치, 목의 위치 및 어깨의 위치 중 적어도 하나에 기초하여 추정되는 인물의 얼굴 영역일 수 있다. 상기 인물의 두 눈의 중간 점은 얼굴의 중심으로 설정되고, 상기 인물의 얼굴 영역은 상기 얼굴의 중심을 기준으로 단축의 길이 2r, 장축의 길이 2k로 정의되는 타원형으로 정의될 수 있다. 여기서, 상기 r은 상기 두 눈의 간격에 해당하며, 상기 k는 a*r로 정의되고, 상기 a는 상기 인물의 얼굴의 비율을 기반으로 정의되는 계수이다.
일 실시예에서, 상기 인식된 인물의 자세는 적어도 상기 인물의 얼굴 위치, 양 손의 위치, 양 팔꿈치 위치, 골반의 위치, 양 무릎의 위치, 양 발의 위치, 어깨의 위치 중 적어도 하나를 포함하고, 상기 관심 영역은 상기 인물의 얼굴 위치, 양 손의 위치, 양 팔꿈치 위치, 골반의 위치, 양 무릎의 위치, 양 발의 위치, 어깨의 위치 중 적어도 하나에 기초하여 추정되는 인물의 전신 영역일 수 있다.
상기 관심 영역을 구성하는 복수의 픽셀의 위치를 교환하는 셔플링 변조를 수행하고, 상기 셔플링 변조된 관심 영역에 대해 블러링을 수행하는 단계(S110)에서, 상기 셔플링 변조에서 변경되는 픽셀의 위치는 랜덤하게 생성되는 변수에 따라 결정될 수 있다. 셔플링 변조된 관심 영역에 대한 블러링(blurring) 변조를 더 수행할 수 있으며, 블러링 변조를 통해 관심 영역이 선명하지 않게 됨에 따라 관심 영역에 대한 비가역성이 더 강화될 수 있다.
상기 관심 영역과 배경의 경계가 구분되지 않도록 블렌딩을 수행하는 단계(S120)는, 변조된 관심 영역의 특성(이미지 그래디언트)을 유지하면서 경계면으로부터 배경 영역의 색상을 변조된 관심 영역의 내부 방향으로 혼합을 수행할 수 있다. 예를 들어, 포아송 블렌딩(Poisson blending)과 같은 블렌딩 기법을 적용하여 변조된 관심 영역을 관심 영역 외부에 해당하는 배경과 자연스럽게 혼합시킬 수 있으나 이에 한정되는 것은 아니다. 본 단계(S120)에서 수행되는 변조에 의해 변조된 관심 영역의 배경 영역 대비 가지는 특징성이 감소될 수 있으며, 수정된 영상 이미지 프레임에서 관심 영역이 어떠한 특징이 있는 부분으로 인식되지 못하게 된다. 따라서, 수정된 영상 이미지 프레임은 변조된 관심 영역이 어떠한 특징이 있는 부분으로 인식되기 어려우므로 머신 러닝과 같은 기법에 적용이 제한되지 않게 된다.
이상에서 설명한 실시예들에 따른 제품 및 성분의 영상 초상권 보호 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 제품 및 성분의 영상 초상권 보호 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다. 상기 컴퓨터 프로그램은 상술한 컴퓨터에서 실행될 수 있는 명령어 세트로 구성되며, 상기 컴퓨터의 형태에 따라 그 명칭이 상이할 수 있다. 예를 들어, 상기 컴퓨터의 형태가 스마트 폰인 경우, 상기 컴퓨터 프로그램은 앱으로 지칭될 수 있다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 영상 초상권 보호 장치
100: 관심 영역 설정 모듈
110: 제1 변조 모듈
120: 제2 변조 모듈
130: 변수 생성 모듈

Claims (13)

  1. 입력된 영상 이미지 프레임에서 적어도 한명의 인물의 자세를 인식하고, 상기 인식된 인물의 자세에 기반하여 관심 영역을 설정하는 단계;
    상기 관심 영역을 구성하는 복수의 픽셀의 위치를 교환하는 셔플링 변조를 수행하고, 상기 셔플링 변조된 관심 영역에 대해 블러링을 수행하는 단계; 및
    상기 관심 영역과 배경의 경계가 구분되지 않도록 블렌딩을 수행하는 단계를 포함하고,
    상기 관심 영역은 상기 인물의 두 눈의 중간 점을 중심으로 단축의 길이 2r, 장축의 길이 2k로 정의되는 타원형으로 정의되는 인물의 얼굴 영역을 포함하고,
    상기 두 눈의 위치가 식별되지 않는 경우, 상기 두 눈의 위치는, 딥러닝 기반의 자세 인식 모델에 기초하여 식별되는 상기 인물의 목의 위치 및/또는 어깨의 위치에 기초하여 추정되는, 자세 인식 기반의 영상 초상권 보호 방법.
    (여기서, 상기 r은 상기 두 눈의 간격에 해당하며, 상기 k는 a*r로 정의되고, 상기 a는 상기 목의 위치 및/또는 어깨의 위치에 기초하여 정의되는 계수이다)
  2. 제1 항에 있어서,
    입력된 영상 이미지 프레임에서 적어도 한명의 인물의 자세를 인식하고, 상기 인식된 인물의 자세된 자세에 기반하여 관심 영역을 설정하는 단계는,
    상기 영상 이미지 프레임에서 상기 인물의 자세를 인식하고, 인식된 자세에 기초하여 관심 영역을 설정하도록 학습된 상기 딥러닝 기반의 자세 인식 모델을 통해 수행되는 것을 특징으로 하는 자세 인식 기반의 영상 초상권 보호 방법.
  3. 제2 항에 있어서,
    상기 인식된 인물의 자세는 상기 인물의 두 눈의 위치, 두 귀의 위치, 목의 위치 및 어깨의 위치 중 적어도 하나를 포함하고,
    상기 관심 영역은 상기 인물의 두 눈의 위치, 두 귀의 위치, 목의 위치 및 어깨의 위치 중 적어도 하나에 기초하여 추정되는 인물의 얼굴 영역인 것을 특징으로 하는 자세 인식 기반의 영상 초상권 보호 방법.
  4. 삭제
  5. 삭제
  6. 제1 항에 있어서,
    상기 셔플링 변조에서 변경되는 픽셀의 위치는 랜덤하게 생성되는 변수에 따라 결정되는 것을 특징으로 하는 자세 인식 기반의 영상 초상권 보호 방법.
  7. 하드웨어와 결합되어 제1 항 내지 제3 항 및 제6 항 중 어느 한 항에 따른 자세 인식 기반의 영상 초상권 보호 방법을 실행하도록 매체에 저장되는 컴퓨터 프로그램.
  8. 입력된 영상 이미지 프레임에서 적어도 한명의 인물의 자세를 인식하고, 상기 인식된 인물의 자세에 기반하여 관심 영역을 설정하는 관심 영역 설정 모듈;
    상기 관심 영역을 구성하는 복수의 픽셀의 위치를 교환하는 셔플링 변조 및 상기 셔플링 변조된 관심 영역에 대해 블러링을 수행하는 제1 변조 모듈; 및
    상기 블러링된 관심 영역과 배경의 경계가 구분되지 않도록 블렌딩을 수행하는 제2 변조 모듈을 포함하고,
    상기 관심 영역은 상기 인물의 두 눈의 중간 점을 중심으로 단축의 길이 2r, 장축의 길이 2k로 정의되는 타원형으로 정의되는 인물의 얼굴 영역을 포함하고,
    상기 두 눈의 위치가 식별되지 않는 경우, 상기 두 눈의 위치는, 딥러닝 기반의 자세 인식 모델에 기초하여 식별되는 상기 인물의 목의 위치 및/또는 어깨의 위치에 기초하여 추정되는, 자세 인식 기반의 영상 초상권 보호 장치.
    (여기서, 상기 r은 상기 두 눈의 간격에 해당하며, 상기 k는 a*r로 정의되고, 상기 a는 상기 인물의 목의 위치 또는 어깨의 위치에 기초하여 정의되는 계수이다)
  9. 제8 항에 있어서,
    상기 관심 영역 설정 모듈은,
    상기 영상 이미지 프레임에서 상기 인물의 자세를 인식하도록 학습된 딥러닝 기반의 자세 인식 모델을 포함하는 자세 인식 기반의 영상 초상권 보호 장치.
  10. 제9 항에 있어서,
    상기 관심 영역은 상기 인물의 얼굴 영역이며,
    상기 인식된 인물의 자세는 상기 인물의 두 눈의 위치, 두 귀의 위치, 목의 위치 및 어깨의 위치 중 적어도 하나를 포함하고,
    상기 인물의 얼굴 영역은 상기 인물의 두 눈의 위치, 두 귀의 위치, 목의 위치 및 어깨의 위치 중 적어도 하나를 기초로 추정되는 것을 특징으로 하는 자세 인식 기반의 영상 초상권 보호 장치.
  11. 삭제
  12. 삭제
  13. 제8 항에 있어서,
    랜덤하게 변수를 생성하는 변수 생성 모듈을 더 포함하고,
    상기 제1 변조 모듈은 상기 랜덤하게 생성된 변수에 따라 상기 셔플링 변조에서 변경되는 픽셀의 위치를 결정하는 자세 인식 기반의 영상 초상권 보호 장치.
KR1020200182151A 2020-12-23 2020-12-23 자세 인식 기반의 영상 초상권 보호 방법 및 장치 KR102531287B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200182151A KR102531287B1 (ko) 2020-12-23 2020-12-23 자세 인식 기반의 영상 초상권 보호 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200182151A KR102531287B1 (ko) 2020-12-23 2020-12-23 자세 인식 기반의 영상 초상권 보호 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220091039A KR20220091039A (ko) 2022-06-30
KR102531287B1 true KR102531287B1 (ko) 2023-05-12

Family

ID=82215002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200182151A KR102531287B1 (ko) 2020-12-23 2020-12-23 자세 인식 기반의 영상 초상권 보호 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102531287B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012120647A (ja) * 2010-12-07 2012-06-28 Alpha Co 姿勢検出装置
KR101736229B1 (ko) * 2016-03-22 2017-05-16 인천대학교 산학협력단 암호화된 이미지를 압축하기 위한 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815975B1 (ko) * 2011-07-27 2018-01-09 삼성전자주식회사 객체 자세 검색 장치 및 방법
IL252657A0 (en) * 2017-06-04 2017-08-31 De Identification Ltd System and method for preventing image recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012120647A (ja) * 2010-12-07 2012-06-28 Alpha Co 姿勢検出装置
KR101736229B1 (ko) * 2016-03-22 2017-05-16 인천대학교 산학협력단 암호화된 이미지를 압축하기 위한 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Quist-Aphetsi Kester et al.,‘ A CRYPTOGRAPHIC IMAGE ENCRYPTION TECHNIQUE FOR FACIAL-BLURRING OF IMAGES’, IJATER ,Vol.3, Issue 3, May 2013.*

Also Published As

Publication number Publication date
KR20220091039A (ko) 2022-06-30

Similar Documents

Publication Publication Date Title
CN109325933B (zh) 一种翻拍图像识别方法及装置
Xu et al. Virtual u: Defeating face liveness detection by building virtual models from your public photos
CN109829396B (zh) 人脸识别运动模糊处理方法、装置、设备及存储介质
US10599914B2 (en) Method and apparatus for human face image processing
CN109952594B (zh) 图像处理方法、装置、终端及存储介质
CN112419170B (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN111542829A (zh) 用于对象辨识的多分辨率特征描述
JP6688277B2 (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
KR101141643B1 (ko) 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
CN112214773B (zh) 基于隐私保护的图像处理方法、装置和电子设备
CN111814194A (zh) 基于隐私保护的图像处理方法、装置和电子设备
Liu et al. Spoof trace disentanglement for generic face anti-spoofing
CN111079613B (zh) 姿势识别方法和装置、电子设备及存储介质
CN111429554A (zh) 运动视频数据处理方法、装置、计算机设备和存储介质
CN109937434A (zh) 图像处理方法、装置、终端和存储介质
CN111783146A (zh) 基于隐私保护的图像处理方法、装置和电子设备
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
CN112115811A (zh) 基于隐私保护的图像处理方法、装置和电子设备
CN113228105A (zh) 一种图像处理方法、装置和电子设备
WO2024104144A1 (zh) 图像合成方法和装置、存储介质及电子设备
CN109726613A (zh) 一种用于检测的方法和装置
KR102531287B1 (ko) 자세 인식 기반의 영상 초상권 보호 방법 및 장치
CN111951408B (zh) 一种基于三维人脸的图像融合方法和设备
CN113837018B (zh) 一种化妆进度检测方法、装置、设备及存储介质
CN111866573B (zh) 视频的播放方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant