KR20230073551A - 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법 - Google Patents

인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법 Download PDF

Info

Publication number
KR20230073551A
KR20230073551A KR1020210160054A KR20210160054A KR20230073551A KR 20230073551 A KR20230073551 A KR 20230073551A KR 1020210160054 A KR1020210160054 A KR 1020210160054A KR 20210160054 A KR20210160054 A KR 20210160054A KR 20230073551 A KR20230073551 A KR 20230073551A
Authority
KR
South Korea
Prior art keywords
person
background
image
area
separating
Prior art date
Application number
KR1020210160054A
Other languages
English (en)
Inventor
이성훈
Original Assignee
주식회사 스파크엑스 (SPARKX Co.,Ltd.)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스파크엑스 (SPARKX Co.,Ltd.) filed Critical 주식회사 스파크엑스 (SPARKX Co.,Ltd.)
Priority to KR1020210160054A priority Critical patent/KR20230073551A/ko
Publication of KR20230073551A publication Critical patent/KR20230073551A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

본 발명은 인물 예측 방법을 이용한 모바일 환경에서 실시간 촬영/재생되는 영상속에서 인물 배경 분리방법에 관한 것으로, 영상에서 인물과 배경을 분리하기 위한 추출 대상이 되는 원본 영상을 입력받는 제 1단계, 상기 제 1단계에서 등록된 원본 영상에서 해당 영상을 프레임별로 세분화하는 제 2단계, 상기 제 2단계에서 세분화된 영상의 프레임별 인물 영역만을 각각 예측하는 제 3단계, 상기 제 3단계에서 예측된 인물 영역에 기초하여 인물과 배경 영역을 분리하는 제 4단계, 상기 제 4단계에서 분리된 인물과 배경 영역에서 인물과 배경의 경계 영역을 예측하는 제 5단계, 상기 제 5단계에서 예측된 인물과 배경의 경계 영역에 기초하여 인물과 배경 영역을 분리하는 제 6단계, 상기 제 6단계 후 영상 프레임별 배경을 삭제하는 제 7단계 및 상기 제 7단계에서 배경이 삭제된 영상 프레임에서 인물 영역만을 추출한 인물 영상을 생성하는 제 8단계를 포함하여 구성된다.
본 발명은 서울특별시 서울산업진흥원 (2021년도 서울혁신챌린지(예선))(과제번호 : SC210037) (과제명 : VFX(Video Effect) Module 개발 기술을 활용한 음원분석 기반 AI 영상자동편집 시스템 개발)을 통해 개발된 기술이다.

Description

인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법{How to separate a person's background in a video using a person prediction method}
본 발명은 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법에 관한 것으로, 좀 더 상세하게는 인물이 적용된 하나의 영상속에서 인물과 배경을 효율적으로 분리시켜 배경 제거 영상을 추출하기 위한 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법에 관한 것이다.
영상에서 사람의 얼굴 위치, 크기 및 수 등을 인식하여 이를 활용하는 기능들을 수행하기 위하여 종래에 다양한 방식으로 영상에서 인간의 얼굴을 자동으로 인식하는 기술이 제안되어 왔다. 이와 같은 얼굴 인식 기술은 현재 디지털 카메라 및 보안 시스템 등 다양한 분야에서 활용되고 있다.
종래의 얼굴 인식 기술들로는, 입력된 얼굴 영상으로부터 인간의 얼굴 형상에 해당하는 눈, 코, 턱 등의 특징을 추출하여 이를 기반으로 얼굴을 인식하는 기술, 얼굴의 피부 텍스쳐를 분석하여 이를 기반으로 얼굴을 인식하는 기술, 얼굴에 대한 마스크 또는 템플릿을 생성하고 이를 기반으로 얼굴을 인식하는 기술 등이 있다.
영화나 드라마와 같은 동영상에서는 주인공을 포함한 다양한 인물이 등장한다. 이러한 동영상에서 시간에 따라 어떤 인물이 등장하는지에 대한 정보를 자동으로 추출하거나, 각각의 인물이 등장하는 구간 또는 위치에 관한 정보를 알게 되면, 그 인물과 관련된 부가정보를 제공하기 편리할 뿐만 아니라 다양한 응용 서비스 제공에 효과적으로 활용할 수 있다.
종래에는 동영상에서 인물 정보를 추출하기 위해서, 다양한 종류의 동영상에서 미리 인물정보를 추출하여 데이터베이스를 구축하고, 이 구축된 정보와, 입력된 동영상에서 검출된 얼굴특징 데이터를 비교함으로써, 현재 입력된 동영상에 대한 인물정보를 추출한다. 그러나 동영상은 계속해서 무수히 많이 제작되고 있고 배우나 가수와 같은 인물도 계속해서 새로 등장하고 사라지는 상황에서, 모든 인물에 대한 데이터를 수집하여 데이터베이스를 구축한다는 것은 쉽지 않다.
최근에 발전된 딥러닝 기술을 이용해 이러한 문제를 해결하는 방안을 생각해 볼 수 있다. 실제로, 인공지능을 학습시키고 모바일 장치에서도 동작할 수 있도록 개량하여 비디오 세그먼테이션 분야에 활용하고 있다. 하지만, 이러한 해법에는 대규모의 사전 훈련이 필요하므로 이를 위해 학습시킬 데이터를 준비하는 과정에 투입되어야 하는 자원과 노력이 매우 크다. 또한, 인공지능의 내부 동작을 이해하기 어려운 점이 있어 결과의 개선을 위해 향후 고려해야 하는 문제를 해결하는 것이 쉽지 않다는 어려움이 발생한다.
통신, 방송 및 매체의 증가, 그리고 디지털 영상 장비의 성장으로 사용자가 접할 수 있는 비디오 콘텐츠의 양이 급증하고 있다. 사람들은 수없이 많은 비디오 콘텐츠 중에 본인이 관심 있는 분야나 정보를 신속하게 얻고 싶어한다. 하지만, 수많은 영화나 드라마들이 제공되고 있어 방대한 양의 콘텐츠로부터 원하는 동영상이나 장면을 검색하는 것은 쉽지 않다. 비디오 콘텐츠 내에서 사람들에게 가장 의미 있고 인기 있는 정보 중의 하나가 '인물'이며, 많은 사람들이 TV를 보면서 또는 동영상을 재생하면서 원하는 배우 또는 인물이 출연한 장면을 검색하고자 하는 요구가 발생하였다.
관련하여, 얼굴 인식을 이용하여 동영상에서 배우가 출연하는 장면을 분석하는 연구가 진행되었으나, 해당 방법에는 한계가 존재한다. 즉, 기존 얼굴 인식 기술은 배경과 조명이 일정하고, 앞모습의 얼굴이 이미지의 중앙에 위치해야 하는 등 제약적인 환경 조건을 만족해야 동작한다는 단점을 가진다. 다양한 시도를 통해 비제약적인 환경에서 성능이 향상되기는 하였으나, 인식 성능을 유지하기 위해서는 여전히 얼굴의 앞모습을 필요로 하다.
따라서, 드라마/영화와 같은 동영상에서 얼굴 인식을 수행하면 여전히 출연자가 인식되지 않는 동영상 구간이 많이 발생하는 문제점이 해소되지 않고 있다.
이처럼 디지털 영상 시장의 폭발적인 성장에 따라 영상 처리 기술이 다양하게 개발되고 있으며, 그 중 영상에서 인물과 배경하는 분리하는 기술이 최근 화두가 되고 있다.
하지만, 현재까지 개발된 인물과 배경을 분리하는 기술들은 사진에서 활용하던 인물 배경 제거 기술을 영상에 적용할 경우 처리속도 대한 한계에 직면하고 있으며, 화소 분석 및 명도 분석을 기반으로 한 영상 배경 제거방법의 경우, 인물 영역만을 예측하고 분리하는데 기술적 한계가 따른다.
또한, 영상 속 인물 영역 추출 방법은 인물 골격/외형 특징을 중심으로만 추출하다보니 인물 영역 경계선 처리가 미흡하여 이질감이 발생되는 문제점이 존재하고 있다.
본 발명은 서울특별시 서울산업진흥원 (2021년도 서울혁신챌린지(예선))(과제번호 : SC210037) (과제명 : VFX(Video Effect) Module 개발 기술을 활용한 음원분석 기반 AI 영상자동편집 시스템 개발)을 통해 개발된 기술이다.
KR 10-1658413호 KR 10-1653812호 KR 10-2020-0095873호 KR 10-2019-0069920호 KR 10-2016-0091119호
상기와 같은 문제점을 해결하기 위한 본 발명은, 영상속에서 인물과 배경을 분리하는 기술을 제공하기 위함에 목적이 있다.
특히, 모바일 환경에서 크로마키 동영상 촬영이나 배경전환 스트리밍 서비스 등을 실행할 시, 인물 경계선이 명확하지 않아 배경-인물 사이의 이질감이 큰 문제가 발생하고 있다. 본 발명은 영상 처리 속도를 크게 개선시키고 인물 영역의 경계선을 선명하게 처리하여 결과적으로 인물과 배경을 선명하게 분리시킬 수 있는 분리방법을 제공하고자 하는데 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은, 영상에서 인물과 배경을 분리하기 위한 추출 대상이 되는 원본 영상을 입력받는 제 1단계, 상기 제 1단계에서 등록된 원본 영상에서 해당 영상을 프레임별로 세분화하는 제 2단계, 상기 제 2단계에서 세분화된 영상의 프레임별 인물 영역만을 각각 예측하는 제 3단계, 상기 제 3단계에서 예측된 인물 영역에 기초하여 인물과 배경 영역을 분리하는 제 4단계, 상기 제 4단계에서 분리된 인물과 배경 영역에서 인물과 배경의 경계 영역을 예측하는 제 5단계, 상기 제 5단계에서 예측된 인물과 배경의 경계 영역에 기초하여 인물과 배경 영역을 분리하는 제 6단계, 상기 제 6단계 후 영상 프레임별 배경을 삭제하는 제 7단계 및 상기 제 7단계에서 배경이 삭제된 영상 프레임에서 인물 영역만을 추출한 인물 영상을 생성하는 제 8단계를 포함하여 구성된다.
또한, 상기 제 3단계는, 상기 영상 프레임별 인물 영역을 예측할 때 인물의 바디(body)전체 영역을 예측하는 제 3-1단계와, 인물의 전체 영역 예측 후 세부 바디 영역을 예측하는 제 3-2단계를 포함하여 구성된다.
또한, 상기 제 8단계 후에는, 배경이 제거된 영상을 추출하는 제 9단계를 더 포함하여 구성된다.
또한, 상기 제 2단계는, 원본 영상에서 해당 영상을 프레임별로 세분화할 때 FPS(Frame Per Second)별 복수의 프레임별로 각각 세분화하고, 상기 복수의 프레임별로 상기 제 3단계 과정을 위해 세분화된 프레임별로 각각 제공하는 것을 특징으로 한다.
또한, 상기 제 3단계는, 상기 영상 프레임별 인물 영역을 예측하는 단계는, 영상 속 인물의 머리, 팔, 다리, 몸통의 영역과 각 부위에 대한 관절축 영역을 기준으로 인물의 바디 영역을 예측한다.
또한, 상기 제 5단계는, HR Image와 Trimap 과정을 거쳐 인물과 배경간의 경계 영역을 예측하게 되고, 상기 제 6단계는 ContexNet, IndexNet, HDMatt(Ours)의 과정을 거쳐 인물과 배경간의 세부 경계간의 영역을 예측하고 예측값을 검출함으로써 인물과 배경간의 경계를 예측하는 것을 특징으로 한다.
상기와 같이 구성되고 작용되는 본 발명은, 동적인 영상 환경에서 수시로 변하는 인물 영역을 예측하고 분리하고, 인물의 골격근을 추적하여 Body 영역별 구분으로 인물 영역 자동 인식을 구현할 수 있는 이점이 있다.
또한, 라이브스트리밍, 메타버스 서비스 등 실시간 영상처리가 필요한 시스템 환경에서 일그러짐 또는 이질감 없이 인물 영역만을 우수하게 추출할 수 있는 장점이 있다.
특히, 본 발명은 영상 속에서 인물 Body의 신체 부분에 대한 인식부터 전체 부분에 대한 인식을 구현함으로써 인물 영역을 정확하게 추출하고, 더 나아가, 정확한 경계선 처리를 통해 배경영상을 변화시키는 서비스 환경에서 배경과 인물간의 이질감 없는 우수한 화질감의 분리 기술을 제공할 수 있는 효과가 있다.
도 1은 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법의 순서도,
도 2는 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법의 세부 순서도,
도 3은 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법에서 인물 영역 예측방법의 세부 예시도,
도 4는 도 3에 따른 인물 영역 예측방법의 세부 설명도,
도 5는 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법에서 인물과 배경 분리의 세부 예시도,
도 6은 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법에서 인물과 배경 경계 예측 분리의 세부 예시도,
도 7은 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법의 실시예에 따른 순서도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법을 상세히 설명하면 다음과 같다.
본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법은, 영상에서 인물과 배경을 분리하기 위한 추출 대상이 되는 원본 영상을 입력받는 제 1단계, 상기 제 1단계에서 등록된 원본 영상에서 해당 영상을 프레임별로 세분화하는 제 2단계, 상기 제 2단계에서 세분화된 영상의 프레임별 인물 영역만을 각각 예측하는 제 3단계, 상기 제 3단계에서 예측된 인물 영역에 기초하여 인물과 배경 영역을 분리하는 제 4단계, 상기 제 4단계에서 분리된 인물과 배경 영역에서 인물과 배경의 경계 영역을 예측하는 제 5단계, 상기 제 5단계에서 예측된 인물과 배경의 경계 영역에 기초하여 인물과 배경 영역을 분리하는 제 6단계, 상기 제 6단계 후 영상 프레임별 배경을 삭제하는 제 7단계 및 상기 제 7단계에서 배경이 삭제된 영상 프레임에서 인물 영역만을 추출한 인물 영상을 생성하는 제 8단계를 포함하여 구성된다.
본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법은, 포즈디텍터 기반의 인물 예측 기법을 적용하여 영상속에서 인물의 전전 뿐만 아니라, 바디부분샷, 착샷, 측면샷 등의 다양한 인물 영역을 검출하고, 이를 배경으로부터 선명하고 신속하게 분리시킬 수 있는 인물-배경 분리기술을 제공하고자 하는데 목적이 있다.
도 1은 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법의 순서도이다.
본 발명의 인물-배경 분리방법은, 포즈디텍터 기반의 인물 예측을 통해 영상속에서 인물과 배경을 분리하는 방법을 제공한다. 이를 위하여 본 발명은 크게, 입력된 영상물을 프레임별로 분리한 후 해당 프레임에서 인물 영역을 예측하고, 예측된 결과값에 따라 인물-배경을 분리, 경계 예측, 경계 세부 분리를 통해 영상속에서 배경을 삭제하고 인물 영역의 영상을 생성하여 최종적으로 인물과 배경이 분리된 영상을 획득하는 것이 주요 기술적 요지에 해당한다.
구체적으로 설명하면, 본 발명은 제 1단계(S100) 내지 제 8단계(S800)로 구성되며, 상세 과정은 다음과 같다.
인물과 배경을 분리하고자 하는 원본 영상은 하나의 디바이스 또는 저장장치로 등록(저장)되는데, 이는 단일 저장장치 또는 클라우드와 같은 온라인상의 저장소에 원본 영상을 입력받는 제 1단계(S100)를 수행한다.
상기 제 1단계(S100)에서 입력된 원본 영상을 다음으로는 프레임별로 세분화하는 제 2단계(S200)를 진행하는데, 프레임별 세분화 작업은 시간단위별로 세분화시킬 수 있는데, 이는 프레임 레이트(Frame Rate)를 의미하는 것으로, FPS(Frame Per Second)로써 영상물의 특성에 따라 약 15fps 내지 30fps로 세분화된 프레임을 획득할 수 있다.
따라서, 상기 제 2단계(S200)는 원본 영상에 따라 FPS 기준으로 영상 프레임을 세분화하게 된다.
다음으로 세분화된 프레임에서 인물 영역을 예측하는 과정인 제 3단계(S300)를 수행한다. 상기 제 3단계(S300)는 인물과 배경을 분리하기 전에 영상에서 인물의 영역을 선명하게 분리하기 위한 전처리 과정으로써, 도 2에 도시된 바와 같이 크게 2단계의 과정으로 구분된다.
도 2는 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법의 세부 순서도, 도 3은 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법에서 인물 영역 예측방법의 세부 예시도이다.
프레임별 인물 영역의 예측 과정은 인물의 바디(body) 전체 영역을 예측하는 제 3-1단계(S310)와 전체 영역 예측 후 세부 영역을 예측하는 제 3-2단계(S320)로 각각 구성되어 인물의 경계를 예측한다. 이때 기본적으로 인물 영역을 예측하는 방법은, 동적 영상 속 인물의 머리, 팔, 다리, 몸통의 영역과 각 부위에 대한 관절축 영역을 기준으로 인물의 바디 영역을 예측하여 전체 영역을 예측하게 되고, 다음으로 상기 전체 영역을 기초로 하여 각각의 영역을 세부적으로 예측한다. 이는 도 3에 나타낸 바와 같이 인물의 바디 영역의 예측과 세부 영역 예측 과정에 해당하는 제 3-1단계(S310)와 제 3-2단계(S320)의 과정을 각각 통해 구현된다.
도 4는 도 3에 따른 인물 영역 예측방법의 세부 설명도이다. 도시된 바와 같이 인물 영역의 예측 과정에 해당하는 상기 제 3단계에서는 동적 영상에서 동적 영상에서 인물의 움직임을 추적하고 이에 따른 인물 전체 형상에서 골격 분석을 통해 각 부위에 해당하는 머리, 팔, 몸통, 다리의 움직임을 추적하여 인물 영역에만 해당하는 영상 영역을 프레임별로 예측하게 된다.
도 5는 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법에서 인물과 배경 분리의 세부 예시도이다.
상기 제 3단계(S300)를 통해 인물 영역 예측을 완료하면 인물과 배경의 영역을 분리하는 제 4단계(S400)를 수행한다. 이때, 상기 제 3단계에서 예측된 인물 영역의 예측 범위를 기초로 하여 인물과 배경 영역을 분리하는데, 상기 인물과 배경 영역의 분리 과정은 인물과 배경 경계를 예측하는 제 5단계(S500)를 수행한 후 인물과 배경의 경계를 세부적으로 분리하는 제 6단계(S600)로 각각 구성된다.
도 6은 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법에서 인물과 배경 경계 예측 분리의 세부 예시도이다.
상기 제 5단계(S500)와 제 6단계(S600)는 인물과 배경을 분리하기 위한 가장 중요한 과정으로써, 인물을 배경에서 분리할 때 1차적으로 경계 영역에 대한 예측 과정을 인물과 배경의 경계를 예측 분석하게 되고, 여기서 분석된 예측값에 기초하여 세부적으로 인물과 배경 영역의 경계를 완전히 분리함으로써 분리 과정을 거친다.
상기 제 5단계(S500)는 HR Image와 Trimap 과정을 거쳐 인물과 배경간의 경계 영역을 예측하게 되고, 제 6단계(S600)에서는 ContexNet, IndexNet, HDMatt(Ours)의 과정을 거쳐 인물과 배경간의 세부 경계간의 영역을 예측하고 예측값을 검출함으로써 배경 영역의 경계를 완전히 분리하게 된다. 이러한 과정에서 도면에 나타낸 바와 같이 인물과 배경간의 영역을 예측하는 단계적인 과정으로써, 최초 하나의 원본 프레임에서 Trimap 과정을 거쳐 경계 영역을 분리하여 상기 5단계를 수행한 후 세부 영역 예측과정에서는 각 순서별 확대 이미지에서 나타낸 바와 같이 세부영역을 예측하는 과정을 통해 인물과 배경의 경계를 예측값을 최종적으로 검출한다.
상기 과정을 거쳐 인물과 배경 영역을 분리되면 영상 프레임별 배경을 삭제하는 제 7단계(S700)를 통해 프레임별 배경 영상을 제거한 후 최종적으로 영상에서 인물 영상만을 생성하는 제 8단계(S800)를 수행한다.
마지막으로 상기 제 8단계에서 생성된 프레임별 인물 영상을 병합함으로써, 최종적으로 배경이 제거된 인물만 출력되는 영상을 출력한다(제 9단계(S900)).
도 7은 본 발명에 따른 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법의 실시예에 따른 순서도이다.
앞서 설명한 바와 같이 본 발명은 인물 영역 예측 과정과 인물-배경의 경계 영역을 예측하여 예측값을 생성하고, 상기 예측값에 기초하여 분리 과정을 수행하기 때문에 경계의 이질감을 없애고 선명한 영상 분리 작업이 가능한 이점이 있다.
본 발명은 영상 속에서 인물 바디(Body)의 신체 부분에 대한 인식부터 전체 부분에 대한 인식을 이루어 냄으로써, 인물 영역을 정확하게 추출하고, 더 나아가 정확한 경계선 처리를 통해, 배경영상을 변화시키는 서비스 환경에서 배경-인물간의 이질감을 없애고 빠른 처리 속도로 분리가 가능한 것이 특징이다.
이와 같이 구성되는 본 발명은 영상 속에서 인물 Body의 신체 부분에 대한 인식부터 전체 부분에 대한 인식을 구현함으로써 인물 영역을 정확하게 추출하고, 더 나아가, 정확한 경계선 처리를 통해 배경영상을 변화시키는 서비스 환경에서 배경과 인물간의 이질감 없는 우수한 화질감의 분리 기술을 제공할 수 있는 효과가 있다.
이상, 본 발명의 원리를 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 그와 같이 도시되고 설명된 그대로의 구성 및 작용으로 한정되는 것이 아니다. 오히려, 첨부된 청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
S100 : 제 1단계
S200 : 제 2단계
S300 : 제 3단계
S310 : 제 3-1단계
S320 : 제 3-2단계
S400 : 제 4단계
S500 : 제 5단계
S600 : 제 6단계
S700 : 제 7단계
S800 : 제 8단계

Claims (6)

  1. 영상에서 인물과 배경을 분리하기 위한 추출 대상이 되는 원본 영상을 입력받는 제 1단계;
    상기 제 1단계에서 등록된 원본 영상에서 해당 영상을 프레임별로 세분화하는 제 2단계;
    상기 제 2단계에서 세분화된 영상의 프레임별 인물 영역만을 각각 예측하는 제 3단계;
    상기 제 3단계에서 예측된 인물 영역에 기초하여 인물과 배경 영역을 분리하는 제 4단계;
    상기 제 4단계에서 분리된 인물과 배경 영역에서 인물과 배경의 경계 영역을 예측하는 제 5단계;
    상기 제 5단계에서 예측된 인물과 배경의 경계 영역에 기초하여 인물과 배경 영역을 분리하는 제 6단계;
    상기 제 6단계 후 영상 프레임별 배경을 삭제하는 제 7단계; 및
    상기 제 7단계에서 배경이 삭제된 영상 프레임에서 인물 영역만을 추출한 인물 영상을 생성하는 제 8단계;를 포함하여 구성되는 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법.
  2. 제 1항에 있어서, 상기 제 3단계는,
    상기 영상 프레임별 인물 영역을 예측할 때 인물의 바디(body) 전체 영역을 예측하는 제 3-1단계와, 인물의 전체 영역 예측 후 세부 바디 영역을 예측하는 제 3-2단계;를 포함하여 구성되는 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법.
  3. 제 1항에 있어서, 상기 제 8단계 후에는,
    배경이 제거된 영상을 추출하는 제 9단계를 더 포함하여 구성되는 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법.
  4. 제 1항에 있어서, 상기 제 2단계는,
    원본 영상에서 해당 영상을 프레임별로 세분화할 때 FPS(Frame Per Second)별 복수의 프레임별로 각각 세분화하고, 상기 복수의 프레임별로 상기 제 3단계 과정을 위해 세분화된 프레임별로 각각 제공하는 것을 특징으로 하는 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법.
  5. 제 2항에 있어서, 상기 제 3단계는,
    상기 영상 프레임별 인물 영역을 예측하는 단계는, 영상 속 인물의 머리, 팔, 다리, 몸통의 영역과 각 부위에 대한 관절축 영역을 기준으로 인물의 바디 영역을 예측하는 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법.
  6. 제 1항 내지 제 5항 중 한 항에 있어서, 상기 제 5단계는,
    HR Image와 Trimap 과정을 거쳐 인물과 배경간의 경계 영역을 예측하게 되고,
    상기 제 6단계는 ContexNet, IndexNet, HDMatt(Ours)의 과정을 거쳐 인물과 배경간의 세부 경계간의 영역을 예측하고 예측값을 검출함으로써 인물과 배경간의 경계를 예측하는 것을 특징으로 하는 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법.

KR1020210160054A 2021-11-19 2021-11-19 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법 KR20230073551A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210160054A KR20230073551A (ko) 2021-11-19 2021-11-19 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210160054A KR20230073551A (ko) 2021-11-19 2021-11-19 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법

Publications (1)

Publication Number Publication Date
KR20230073551A true KR20230073551A (ko) 2023-05-26

Family

ID=86536997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210160054A KR20230073551A (ko) 2021-11-19 2021-11-19 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법

Country Status (1)

Country Link
KR (1) KR20230073551A (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160091119A (ko) 2015-01-23 2016-08-02 한국전자통신연구원 영상 기반 인물 특성 추정 장치 및 방법
KR101653812B1 (ko) 2014-12-05 2016-09-05 연세대학교 산학협력단 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법
KR101658413B1 (ko) 2009-09-22 2016-09-22 삼성전자주식회사 동영상에서의 인물 정보 추출방법 및 그 장치
KR20190069920A (ko) 2017-12-12 2019-06-20 한국전자통신연구원 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법
KR20200095873A (ko) 2019-02-01 2020-08-11 한국전자통신연구원 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658413B1 (ko) 2009-09-22 2016-09-22 삼성전자주식회사 동영상에서의 인물 정보 추출방법 및 그 장치
KR101653812B1 (ko) 2014-12-05 2016-09-05 연세대학교 산학협력단 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법
KR20160091119A (ko) 2015-01-23 2016-08-02 한국전자통신연구원 영상 기반 인물 특성 추정 장치 및 방법
KR20190069920A (ko) 2017-12-12 2019-06-20 한국전자통신연구원 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법
KR20200095873A (ko) 2019-02-01 2020-08-11 한국전자통신연구원 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템

Similar Documents

Publication Publication Date Title
US11637971B2 (en) Automatic composition of composite images or videos from frames captured with moving camera
Song et al. Temporal–spatial mapping for action recognition
KR102433393B1 (ko) 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법
EP3147817A1 (en) Method and apparatus for video and image match searching
KR102148392B1 (ko) 동영상 메타데이터 태깅 시스템 및 그 방법
CN111582122B (zh) 一种监控视频多维度行人行为智能分析系统及方法
Lee et al. Automatic video parsing using shot boundary detection and camera operation analysis
EP1570649A2 (en) Video camera
GB2395781A (en) Face detection
CN113538480A (zh) 图像分割处理方法、装置、计算机设备和存储介质
Thomas et al. Perceptual video summarization—A new framework for video summarization
CN108921032B (zh) 一种新的基于深度学习模型的视频语义提取方法
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN112183334A (zh) 一种基于多模态特征融合的视频深度关系分析方法
CN113343950A (zh) 一种基于多特征融合的视频行为识别方法
CN110765314A (zh) 一种视频语义结构化提取与标注的方法
Gündüz et al. Turkish sign language recognition based on multistream data fusion
CN112383824A (zh) 视频广告过滤方法、设备及存储介质
KR20230073551A (ko) 인물 예측 방법을 이용한 영상속에서 인물 배경 분리방법
Supangkat et al. Moving Image Interpretation Models to Support City Analysis
Li et al. Trajectory-pooled spatial-temporal architecture of deep convolutional neural networks for video event detection
CN115801977A (zh) 分割视频的多模态系统、分割多媒体的多模态系统及方法
CN115063880A (zh) 一种基于YOLOv5和GME的采样方法
Deotale et al. Optimized hybrid RNN model for human activity recognition in untrimmed video
ÇAKAR et al. Thumbnail Selection with Convolutional Neural Network Based on Emotion Detection