KR102247719B1 - 실시간 동영상에서의 인물 선별 송출 시스템 - Google Patents

실시간 동영상에서의 인물 선별 송출 시스템 Download PDF

Info

Publication number
KR102247719B1
KR102247719B1 KR1020190129149A KR20190129149A KR102247719B1 KR 102247719 B1 KR102247719 B1 KR 102247719B1 KR 1020190129149 A KR1020190129149 A KR 1020190129149A KR 20190129149 A KR20190129149 A KR 20190129149A KR 102247719 B1 KR102247719 B1 KR 102247719B1
Authority
KR
South Korea
Prior art keywords
transmission target
person
transmission
target person
person object
Prior art date
Application number
KR1020190129149A
Other languages
English (en)
Other versions
KR20210045746A (ko
Inventor
우채윤
박나형
정유진
백지윤
김명주
Original Assignee
서울여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울여자대학교 산학협력단 filed Critical 서울여자대학교 산학협력단
Priority to KR1020190129149A priority Critical patent/KR102247719B1/ko
Publication of KR20210045746A publication Critical patent/KR20210045746A/ko
Application granted granted Critical
Publication of KR102247719B1 publication Critical patent/KR102247719B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 일 예에 따른 실시간 동영샹에서의 인물 선별 송출 시스템은 각각의 인물 객체의 이미지 영역 및 사운드 스트림을 식별하고 매칭시키는 식별모듈; 상기 각각의 인물 객체를 송출대상 인물과 비송출대상 인물로 구분하는 구분모듈; 상기 비송출대상 인물 객체의 이미지 영역 및 사운드 스트림을 삭제하는 삭제모듈; 및 상기 비송출대상 인물 객체의 이미지 영역에 의해 가려졌던 블라인드 영역을 복원하는 복원모듈;을 포함한다.

Description

실시간 동영상에서의 인물 선별 송출 시스템{SYSTEM THAT SELECTIVELY TRANSMIT CHARACTERS IN REAL-TIME VIDEO}
본 발명은 실시간 동영상에서의 인물 선별 송출 시스템에 관한 것으로, 더 상세하게는 실시간 화상채팅 서비스에서 화면에 잡힌 특정 인물에 대한 존재감을 없앰으로써 해당 인물에 대한 프라이버시를 보호하도록 하기 위한 실시간 동영상에서의 인물 선별 송출 시스템에 관한 것이다.
오늘날 실시간 스트리밍 서비스(ex. 유튜브 스트리밍, 인스타그램 라이브 방송 등)가 급격하게 성장하면서 그에 따른 개인정보 노출 사고도 증가하고 있다.
스트리밍 서비스에서는 본인도 모르는 사이에 자신의 얼굴이 노출되는 등 개인정보 노출 문제가 빈번하게 발생하지만, 이에 따른 개인정보를 보호하기 위한 기술은 부족한 것이 현실이다.
현재 개발되어있는 기술은 동영상 편집 기술과 실시간 스트리밍 기술, 크게 두 가지로 나눌 수 있다.
먼저 동영상 편집 기술에는 영상에서 사람 객체를 인식하여 제거한 뒤, 그 자리를 주변 배경과 유사하게 채워주는 기술이 개발되어있다. 이 기술은 동영상 편집 기술로, 실시간으로 다수의 객체를 구별해줄 수 없다는 한계를 지닌다.
또한, 실시간 스트리밍 관련 선행기술로는 대한민국 공개특허 10-2017-7029496(비디오 회의에서의 배경 수정)가 제시되어 있다. 이 선행기술은 얼굴들을 인식하여 사람의 얼굴과 배경을 분리한 뒤, 배경은 흐리게 처리하고 얼굴은 원본 품질을 유지하게 하여 네트워크 요구사항들을 감소시키는 기술을 개시하고 있다.
그러나 이 선행기술은 한 화면에 복수의 사람이 들어올 경우, 각 사람의 얼굴을 인식한 다음 특정 사람 객체만 나오도록 하고 다른 사람 객체는 가릴 수 없으며, 그러한 존재 자체를 지울 수도 없다는 한계를 지닌다.
본 발명에 따른 실시간 동영상에서의 인물 선별 송출 시스템은 실시간으로 송출되는 동영상 안에 등장하는 인물들의 영상과 음성을 식별하고 추적하며 필요에 따라 특정 인물을 블라인드 처리하려는 것으로, “복수의 인물”을 다룬다는 점에 초점을 맞추고 있다.
본 발명에 따른 실시간 동영상에서의 인물 선별 송출 시스템은 복수의 인물이 화면에 인식될 때 상대방의 화면에 보여질 최종송출화면을 송출자가 먼저 보면서 송출대상 인물에 대한 송출여부표식(On 또는 Off)을 선택함으로써 최종송출화면에서 제거하여 상대방에게 보이지 않게 하며, 이와 반대로 송출여부표식을 역전함으로써 보이지 않았던 사람을 다시 보이게 하여 사용자가 원하는 범위까지 프라이버시를 보호할 수 있도록 하는 것을 목적으로 한다.
특히 본 발명에 따른 실시간 동영상에서의 인물 선별 송출 시스템은 송출하지 않아야 할 인물이 송출할 인물의 이미지 앞에 있어 겹치게 되는 경우, 송출하지 않아야할 인물의 존재감 자체를 사라지도록 하는 목적을 가진다.
본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 시스템은 각각의 인물 객체의 이미지 영역 및 사운드 스트림을 식별하고 매칭시키는 식별모듈; 상기 각각의 인물 객체를 송출대상 인물과 비송출대상 인물로 구분하는 구분모듈; 상기 비송출대상 인물 객체의 이미지 영역 및 사운드 스트림을 삭제하는 삭제모듈; 및 상기 비송출대상 인물의 이미지 영역에 의해 가려졌던 블라인드 영역을 복원하는 복원모듈;을 포함할 수 있다.
또한, 상기 식별모듈은: 외부로부터 복수의 시구간들에 걸쳐서 인물 및 배경의 이미지 정보를 수신하여 인물 각각의 이미지 영역을 식별하는 이미지식별유닛; 외부로부터 복수의 시구간들에 걸쳐서 인물 및 배경의 사운드 정보를 수신하여 인물 각각의 사운드 스트림을 식별하는 사운드식별유닛; 상기 인물 각각의 상기 이미지 영역 및 상기 사운드 스트림을 서로 매칭시키는 매칭유닛;을 포함할 수 있다.
또한, 상기 구분모듈은: 상기 각각의 인물을 송출대상 인물과 비송출대상 인물로 구분하는 송출대상구분유닛; 실시간 동영상 송출 중 새로운 인물이 추가되는 것으로 판단한 경우 상기 새로운 인물의 최초 송출대상 구분을 비송출대상 인물로 구분해 설정하는 신규인물관리유닛; 및 실시간 동영상 송출 중 상기 송출대상 인물 및 상기 비송출대상 인물의 송출대상 구분을 사용자의 선택에 따라 변경하도록 하는 송출대상변경유닛;을 포함할 수 있다.
또한, 상기 삭제모듈은: 상기 비송출대상 인물의 이미지를 삭제하는 이미지삭제유닛; 및 상기 비송출대상 인물의 사운드 스트림을 삭제하는 사운드삭제유닛;을 포함할 수 있다.
또한, 상기 복원모듈은: 상기 블라인드 영역을 기 설정된 색상으로 대입하여 복원할 수 있다.
또한, 상기 복원모듈은: 상기 블라인드 영역의 과거 이미지 정보가 있었는지를 검출하여 검출된 경우에는 비송출대상 인물에 의해 가려지기 전의 시구간의 이미지 정보 중 상기 블라인드 영역에 대응되는 영역의 이미지 정보를 상기 블라인드 영역에 대입하여 복원할 수 있다.
또한, 상기 복원모듈은: 상기 블라인드 영역의 과거 이미지 정보가 있었는지를 검출하여 검출되지 않은 경우에는 블라인드 영역 주변의 픽셀값을 이용하여 유추한 추정치를 통해 상기 블라인드 영역을 복원할 수 있다.
또한, 상기 송출대상구분유닛은: 상기 각각의 인물을 송출대상 인물과 비송출대상 인물로 구분하도록 출력된 상기 각각의 인물의 각각 이미지 영역에 송출대상 인물을 선택을 위한 선택버튼을 출력할 수 있다.
또한, 상기 송출대상변경유닛은: 실시간 동영상 송출 중 상기 송출대상 인물 및 상기 비송출대상 인물의 송출대상 구분을 사용자의 선택에 따라 변경 또는 전환하도록 상기 각각의 인물의 각각 이미지 영역에 선택버튼을 출력할 수 있다.
또한, 상기 송출대상구분유닛은: 상기 각각의 인물을 송출대상 인물과 비송출대상 인물로 구분한 경우에 송출자인 사용자 디스플레이에는 송출대상 인물 및 비송출대상 인물을 모두 출력하고, 상기 사용자 디스플레이에는 상기 선택버튼을 출력하도록 설정할 수 있다.
본 발명에 따른 실시간 동영상에서의 인물 선별 송출 시스템에 의하면, 동영상에 등장하는 인물에 대한 존재 프라이버시를 자율적으로 선택하여 보호할 수 있다.
또한 본 발명에 따른 실시간 동영상에서의 인물 선별 송출 시스템에 의하면, 화상 채팅에만 국한된 것이 아닌 방송 분야, 재난/사고 분야에서도 많이 활용될 수 있다. 예를 들면, 다수 출연자가 있는 토론 방송에서 특정 출연자만 선별하여 영상과 음성으로 나갈 수 있도록 할 수 있으며, 재난 상황 속에 처해 있는 여러 사람들을 식별하여 특정 인물을 특정하여 그 사람의 상황과 목소리를 들을 수도 있게 할 수 있다.
도 1은 본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 시스템을 설명하기 위한 블록도이다.
도 2는 도 1에 도시된 구분모듈을 보다 구체적으로 설명하기 위한 블록도이다.
도 3은 도 1에 도시된 삭제모듈을 보다 구체적으로 설명하기 위한 블록도이다.
도 4는 본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 방법을 설명하기 위한 흐름도이다.
도 5는 도 4의 S100에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 6은 도 4의 S200에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 7은 도 4의 S300에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 8은 도 4의 S400에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 9 및 도 10은 본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 방법을 설명하기 위한 도면이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~유닛', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~유닛', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다.
따라서, 일 예로서 '~부', '~유닛', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~유닛', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~유닛', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~유닛', '~블록', '~모듈'들로 더 분리될 수 있다.
이하, 본 발명의 실시 예를 첨부된 도면들을 참조하여 더욱 상세하게 설명한다.
도 1은 본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 시스템을 설명하기 위한 블록도이다. 상기 실시간 동영상에서의 인물 선별 송출 시스템(10)은 식별모듈(100), 구분모듈(200), 삭제모듈(300) 및 복원모듈(400)을 포함한다.
도 1을 참고하면, 상기 식별모듈(100)은 미리 정해진 알고리즘을 통해 인물로 인식한 인물 객체가 다수 존재하는 경우, 각각의 인물 객체의 이미지 영역 및 사운드 스트림을 식별하고 매칭시킨다.
이때, 상기 식별모듈(100)은 도 1에는 도시되지 않았으나, 이미지식별유닛, 사운드식별유닛 및 매칭유닛을 포함할 수 있는데, 상기 이미지식별유닛은 외부로부터 복수의 시구간들에 걸쳐서 인물 및 배경의 이미지 정보를 수신하여 인물 각각의 이미지 영역을 식별할 수 있고, 상기 사운드식별유닛은 외부로부터 복수의 시구간들에 걸쳐서 인물 및 배경의 사운드 정보를 수신하여 인물 각각의 사운드 스트림을 식별할 수 있으며, 상기 매칭유닛은 상기 인물 각각의 상기 이미지 영역 및 상기 사운드 스트림을 서로 매칭시킬 수 있다.
상기 구분모듈(200)은 상기 각각의 인물 객체를 송출대상 인물과 비송출대상 인물로 구분할 수 있다. 상기 구분모듈(200)에 대해서는 도 2에서 보다 구체적으로 설명하기로 한다.
상기 삭제모듈(300)은 상기 비송출대상 인물의 이미지 영역 및 사운드 스트림을 삭제한다. 상기 삭제모듈(300)에 대해서는 도 3에서 보다 구체적으로 설명하기로 한다.
상기 복원모듈(400)은 상기 비송출대상 인물의 이미지 영역에 의해 가려졌던 블라인드 영역을 복원한다. 이때의 복원은 상기 비송출대상 인물이 없었을 때의 배경을 나타내는 부분을 복원하는 것을 의미할 수 있다.
구체적으로, 상기 복원모듈(400)은 상기 비송출대상 인물에 의해 가려지기 전의 시구간의 이미지 정보 중 상기 블라인드 영역에 대응되는 영역의 이미지 정보를 상기 블라인드 영역에 대입하여 복원할 수 있다. 즉, 과거의 상기 블라인드 영역의 이미지 정보를 이용해 복원할 수 있는 것이다.
또한 상기 복원모듈(400)은 상기 블라인드 영역을 기 설정된 색으로 복원하거나, 상기 블라인드 영역 주변의 픽셀값을 이용하여 유추한 추정치를 통해 복원할 수 있다. 즉, 과거의 상기 블라인드 영역의 이미지 정보가 없는 경우에는 상기 블라인드 영역 주변의 픽셀값을 이용하여 복원을 수행하는 것이다.
이때, 상기 복원모듈(400)은 상기 블라인드 영역의 과거 이미지 정보가 있었는지를 검출하고, 그 유무에 따라 가려지기 전의 시구간의 이미지 정보를 이용하여 복원하거나 주변의 픽셀값을 이용한 추정치를 통해 복원할 수 있다.
도 2는 도 1에 도시된 구분모듈을 보다 구체적으로 설명하기 위한 블록도이다. 상기 구분모듈(200)은 송출대상구분유닛(210), 신규인물관리유닛(220) 및 송출대상변경유닛(230)을 포함한다.
도 2를 참고하면, 상기 송출대상구분유닛(210)은 각각의 인물을 송출대상 인물과 비송출대상 인물로 구분할 수 있다. 예컨대, 상기 송출대상구분유닛(210)은 2 이상의 인물 객체를 인식하는 경우, 이 중 화면에 내보낼 인물 객체 외에는 비송출대상 인물로 구분할 수 있다.
상기 신규인물관리유닛(220)은 실시간 동영상 송출 중 새로운 인물이 추가되는 것으로 판단한 경우 상기 새로운 인물의 최초 송출대상 구분을 비송출대상 인물로 구분한다. 예컨대, 화상 통화 또는 화상 채팅이 진행 중인 경우, 기존에 송출대상 객체 외에 새로이 추가되는 인물 객체의 경우에는 기본적으로 비송출대상 객체로 인식하여 프라이버시를 보장할 수 있게 한다.
상기 송출대상변경유닛(230)은 실시간 동영상 송출 중 상기 송출대상 인물 및 상기 비송출대상 인물의 송출대상 구분을 사용자의 선택에 따라 변경할 수 있다. 예컨대, 상기 송출대상구분유닛(210) 또는 상기 송출대상변경유닛(230)은 인식되는 적어도 하나의 인물 객체에 송출여부를 선택할 수 있는 선택버튼을 ON 또는 OFF로 출력하여 사용자로 하여금 선택할 수 있게 하며, 상기 선택버튼을 통해 필요에 따라 송출 대상을 선택 또는 전환할 수 있게 할 수 있다.
사용자는 화면에서 현재 선택되어 송출되는 객체인지 선택되지 않아 송출되지 않는 객체인지에 대해 표식을 통해 확인할 수 있어, 상기 송출대상변경유닛(230)을 통해 필요에 따라 송출 대상을 변경 선택하여 전환할 수 있게 한다.
사용자는 선택에 따라 상기 표식을 가릴 수 있도록 설정할 수 있다.
도 3은 도 1에 도시된 삭제모듈을 보다 구체적으로 설명하기 위한 블록도이다. 상기 삭제모듈(300)은 이미지삭제유닛(310) 및 사운드삭제유닛(320)을 포함할 수 있다.
도 3을 참고하면, 상기 이미지삭제유닛(310)은 상기 비송출대상 인물의 이미지를 삭제할 수 있으며, 삭제가 이루어진 후, 상기 복원모듈(400)에 의해 삭제가 이루어진 부분에 배경 복원이 이루어지도록 한다.
또한 상기 사운드삭제유닛(320)은 상기 비송출대상 인물의 사운드 스트림을 삭제하여 비송출대상 인물의 사운드가 송출되지 않도록 할 수 있다.
도 4는 본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 방법을 설명하기 위한 흐름도이다. 상기 인물 선별 송출 방법은 도 1에 도시된 실시간 동영상에서의 인물 선별 송출 시스템(10)에 의해 수행될 수 있다.
도 4를 참고하면, 상기 인물 선별 송출 시스템(10)의 식별모듈(100)은 각각의 인물의 이미지 영역 및 사운드 스트림을 식별하고 매칭시킨다(S100). 즉, 인물에 따른 사운드를 매칭시키는 작업을 수행한다.
다음으로, 상기 인물 선별 송출 시스템(10)의 구분모듈(200)은 상기 각각의 인물을 송출대상 인물과 비송출대상 인물로 구분한다(S200). 이러한 구분을 통해 송출대상 인물만 화상 통화 또는 화상 채팅에 출력될 수 있게 하고 비송출대상 인물은 배경으로 처리하여 출력되지 않게 할 수 있다.
다음으로, 상기 인물 선별 송출 시스템(10)의 삭제모듈(300)은 상기 비송출대상 인물의 이미지 영역 및 사운드 스트림을 삭제한다(S300). 비송출대상 인물의 사운드는 출력되지 않아야 하므로 비송출대상 인물에 상응하는 사운드는 삭제토록 한다.
다음으로, 상기 인물 선별 송출 시스템(10)의 복원모듈(400)은 상기 비송출대상 인물의 이미지 영역에 의해 가려졌던 블라인드 영역을 복원한다(S400). 비송출대상 인물은 출력되지 않을 경우 가려졌던 부분이 출력되어야 자연스러운 화면이 될 것이므로 해당 영역을 복원한다.
다음으로, 상기 인물 선별 송출 시스템(10)의 구분모듈(200)은 실시간 동영상 송출 중 새로운 인물이 추가되는 경우 상기 S100 내지 S400을 진행하되, 상기 S200에서 초기 송출대상 구분 시 비송출대상 인물로 구분하고(S500), 실시간 동영상 송출 중 상기 S200에서 구분된 송출대상 인물 및 비송출대상 인물의 송출 구분을 사용자의 선택에 따라 변경할 수 있게 한다(S600).
도 5는 도 4의 S100에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 5를 참고하면, 촬영장치를 통해 복수의 시구간들에 걸쳐서 인물 및 배경의 이미지 정보를 수신한다(S110).
다음으로, 상기 인물 및 배경의 이미지 정보에서 인물 각각의 이미지 영역을 식별한다(S120). 예컨대, 인물 각각의 이미지 영역을 식별하기 위하여, 인물 영역의 특징 벡터(ex. 인물의 형태적 특징 등을 이용하여 인물을 표현하는 특징 벡터)를 생성하고, 특징 벡터를 블록화 처리(ex. 특징 벡터를 블록 크기 정보에 대응되는 열 길이를 갖는 행렬로 변환 처리)하여 블록화 벡터를 생성하며, 블록화 벡터와 기저장된 특징 벡터(ex. 미리 저장된 다수의 인물 이미지로부터 생성된 특징 벡터) 간의 행 단위의 유사도를 산출하고, 행 단위의 유사도 중에서 유효한 유사도들의 평균값을 블록화 벡터와 기저장된 특징 벡터의 유사도를 결정하며, 결정된 유사도에 기초해 이미지에 대응되는 인물을 식별할 수 있다.
만일, 인물 각각의 이미지 영역이 잘못 식별되어 인물이 아닌 객체를 인물로 인식하는 경우 또는 2인의 인물을 1인으로 인식하는 경우에는 사용자의 설정을 통해 인식된 인물을 제거 또는 인식되지 않은 인물을 추가하도록 할 수 있다. 예컨대, 인물 인식 수정 메뉴의 객체 지정 포인터를 통해 사용자 선택이 이루어지는 부분을 인물로 인식하도록 하거나 해당 부분을 재인식하도록 설정할 수 있다.
다음으로, 마이크를 통해 복수의 시구간들에 걸쳐서 인물 및 배경의 사운드 정보를 수신한다(S130).
다음으로, 상기 인물 및 배경의 사운드 정보에서 인물 각각의 사운드 스트림을 식별한다(S140).
예컨대, 특정 음성을 다른 음성과 구별하여 식별하기에 충분한 다양한 음소를 포함하는 음성학적 데이터를 수집하고, 소정의 음성을 다른 음성으로부터 구분할 수 있는 충분한 음성학적 데이터가 수집되었다고 판단된 경우 해당 음성학적 데이터를 저장한 뒤, 임의의 적합한 타입의 음성 인식 기술을 기초로 사운드 스트림을 프로세싱하여 복수의 음성에서 인물 각각의 개별 음성을 식별할 수 있다.
다음으로, 상기 인물 각각의 이미지 영역 및 사운드 스트림을 서로 매칭시킨다(S150).
예컨대, 식별되는 음성을 수신되는 이미지의 인물들에 매칭시킬 때 서로 다른 인물들의 위치 및 서로 다른 시간에서 추정된 음성의 소스 위치를 샘플링하여 음성과 인물들 간의 연관 레벨을 도출하여 매칭을 수행할 수 있다. 이때, 연관 레벨은 음성의 소스의 추정 위치가 특정 인물과 얼마나 가까운지, 음성의 개수, 특정 인물에서 음성 소스 추정 위치까지의 근접도, 음성 소스가 수신되는 이미지의 중앙 부분에 근접한지 가장자리에 근접한지 등을 포함한 팩터로서 도출될 수 있다.
도 6은 도 4의 S200에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
송출용 디스플레이에 상기 복수의 인물 각각의 이미지 영역을 출력한다(S210). 예컨대, 3인의 인물이 인식되는 경우에는 3인의 이미지 영역이 수신자 화면이 아닌 사용자(즉, 송신자) 화면에 출력된다.
상기 송출용 디스플레이에 상기 복수의 인물 각각의 이미지 영역 및 사운드 스트림의 송출 여부를 선택하는 버튼을 출력한다(S220). 예컨대, 상기 3인의 인물 중 어느 인물이 상대방 화면에 송출되도록 할지를 선택하도록 하는 선택버튼을 출력하며, 상기 선택버튼은 인물 각각에 ON 또는 OFF 형태로 출력될 수 있다.
상기 S220에서의 선택 결과에 따라 상기 복수의 인물 각각을 송출대상 인물과 비송출대상 인물로 구분한다(S230). 사용자가 ON 또는 OFF를 인물별 설정을 하면 ON 설정된 인물은 송출대상 인물로, OFF 설정된 인물은 비송출대상 인물로 구분할 수 있다.
도 7은 도 4의 S300에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 7을 참고하면, 비송출대상 인물의 이미지 영역인 비송출 이미지 영역을 확정한다(S310).
다음으로, 상기 비송출 이미지 영역의 이미지 정보를 삭제하고(S320), 상기 비송출 이미지 영역에 해당함을 표시하는 이미지를 상기 송출용 디스플레이에 출력한다(S330).
다음으로, 상기 비송출대상 인물의 사운드 스트림인 비송출 사운드 스트림을 확정하고(S340), 상기 비송출 사운드 스트림에 해당하는 사운드 정보를 삭제한다(S350).
도 8은 도 4의 S400에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다. 구체적으로, 도 8은 도 4의 상기 인물 선별 송출 시스템(10)의 복원모듈(400)이 비송출대상 인물의 이미지 영역에 의해 가려졌던 블라인드 영역을 복원하는 과정에 대해 보다 구체적으로 설명하기 위한 것이다.
도 8을 참고하면, 도 4에서 설명한 비송출대상 인물의 이미지 영역에 의해 가려졌던 영역에 해당하는 블라인드 영역을 기 설정된 색으로 복원한다(S410).
다음으로, 상기 블라인드 영역의 과거 이미지 정보가 있었는지를 검출한다(S420).
검출결과, 상기 블라인드 영역의 과거 이미지 정보가 있었을 경우, 비송출대상 인물에 의해 가려지기 전의 시구간의 이미지 정보 중 상기 블라인드 영역에 대응되는 영역의 이미지 정보를 상기 블라인드 영역에 대입하여 복원할 수 있다(S430). 즉, 과거의 상기 블라인드 영역의 이미지 정보를 이용해 복원할 수 있는 것이다.
만일, 상기 블라인드 영역의 과거 이미지 정보가 없었을 경우, 상기 블라인드 영역 주변의 픽셀값을 이용하여 유추한 추정치를 통해 복원할 수 있다(S440). 즉, 과거의 상기 블라인드 영역의 이미지 정보가 없는 경우에는 상기 블라인드 영역 주변의 픽셀값을 이용하여 복원을 수행하는 것이다. 예컨대, 상기 블라인드 영역을 제외한 나머지 영역 이미지의 RGB값과 기저장된 이미지의 RGB값의 유사도를 비교하여 유사도가 임계치 이상인 경우 해당 이미지를 불러오거나, 또는 상기 블라인드 영역의 특정 거리 내의 픽셀 RGB값을 기록하여 기록된 RGB값들의 유사 수치값을 가지는 픽셀들의 방향성을 고려, 유사 수치값의 방향성에 따라 차이값을 감안해 상기 블라인드 영역을 복원할 수 있다.
도 9 및 도 10은 본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 방법을 설명하기 위한 도면이다.
도 9를 참고하면, 송출자 디스플레이의 화면에서 인물이 2명이 인식된 것이고, 각 인물에 대해서는 ON 또는 OFF의 선택버튼이 인물 주변에 출력된다. 도 9에서는 사용자가 우측의 인물은 OFF로 설정한 것이고, 중앙의 인물은 ON으로 설정한 것으로, 이 경우 도 9에서와 같이 송출자 디스플레이에서 OFF 로 설정된 우측의 인물은 반투명한 상태로 출력되어, 송출자가 수신자 화면에 출력되는 상태를 확인할 수 있다.
사용자는 수신자 디스플레이에 출력될 인물에 대해서는 ON으로 설정할 수 있으며, OFF로 설정된 인물은 수신자 디스플레이에 출력되지 않는다.
도 10은 구체적으로 사용자가 도 9에서 중앙의 인물을 ON으로 우측의 인물을 OFF로 설정한 경우의 수신자 디스플레이에 출력되는 화면을 나타낸다.
도 9에서 우측의 인물 뒤에 가려졌던 배경은 앞서 설명한 알고리즘을 통한 복원을 통해 복원되어 수신자 디스플레이에 출력될 수 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 저술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.

Claims (9)

  1. 각각의 인물 객체의 이미지 영역 및 사운드 스트림을 식별하고 매칭시키는 식별모듈;
    상기 각각의 인물 객체를 송출대상 인물 객체와 비송출대상 인물 객체로 구분하는 구분모듈;
    상기 비송출대상 인물 객체의 이미지 영역 및 사운드 스트림을 삭제하는 삭제모듈; 및
    상기 비송출대상 인물 객체의 이미지 영역에 의해 가려졌던 블라인드 영역을 복원하는 복원모듈을 포함하고,
    상기 구분모듈은:
    상기 각각의 인물 객체를 송출대상 인물 객체와 비송출대상 인물 객체로 구분하는 송출대상구분유닛;
    실시간 동영상 송출 중 새로운 인물이 추가되는 것으로 판단한 경우 상기 새로운 인물의 최초 송출대상 구분을 비송출대상 인물 객체로 구분해 설정하는 신규인물관리유닛; 및
    실시간 동영상 송출 중 상기 송출대상 인물 객체 및 상기 비송출대상 인물 객체의 송출대상 구분을 사용자의 선택에 따라 변경하도록 하는 송출대상변경유닛을 포함하고,
    상기 송출대상구분유닛은 상기 각각의 인물 객체를 송출대상 인물과 비송출대상 인물로 구분하도록 출력된 상기 각각의 인물 객체의 각각 이미지 영역에 송출대상 인물 객체의 선택을 위한 선택버튼을 출력하고,
    상기 송출대상변경유닛은 실시간 동영상 송출 중 상기 송출대상 인물 객체 및 상기 비송출대상 인물 객체의 송출대상 구분을 사용자의 선택에 따라 변경 또는 전환하도록 상기 각각의 인물 객체의 각각 이미지 영역에 선택버튼을 출력하고,
    사용자의 디스플레이 화면에는 상기 송출대상구분유닛에 의한 상기 각각의 인물 객체의 송출 여부 구분을 확인할 수 있는 표식을 표시하여 상기 송출대상변경유닛에 의한 송출 여부 변경이 용이하게 하되, 상기 표식은 상기 사용자의 선택에 따라 가려질 수 있는 실시간 동영상에서의 인물 선별 송출 시스템.
  2. 제1항에 있어서,
    상기 식별모듈은:
    외부로부터 복수의 시구간들에 걸쳐서 인물 및 배경의 이미지 정보를 수신하여 인물 각각의 이미지 영역을 식별하는 이미지식별유닛;
    외부로부터 복수의 시구간들에 걸쳐서 인물 및 배경의 사운드 정보를 수신하여 인물 각각의 사운드 스트림을 식별하는 사운드식별유닛;
    상기 인물 각각의 상기 이미지 영역 및 상기 사운드 스트림을 서로 매칭시키는 매칭유닛;을 포함하는 실시간 동영상에서의 인물 선별 송출 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 삭제모듈은:
    상기 비송출대상 인물 객체의 이미지를 삭제하는 이미지삭제유닛; 및
    상기 비송출대상 인물 객체의 사운드 스트림을 삭제하는 사운드삭제유닛;을 포함하는 실시간 동영상에서의 인물 선별 송출 시스템.
  5. 제1항에 있어서,
    상기 복원모듈은:
    상기 블라인드 영역을 기 설정된 색상으로 대입하여 복원하는 실시간 동영상에서의 인물 선별 송출 시스템.
  6. 제1항에 있어서,
    상기 복원모듈은:
    상기 블라인드 영역의 과거 이미지 정보가 있었는지를 검출하여 검출된 경우에는 비송출대상 인물 객체에 의해 가려지기 전의 시구간의 이미지 정보 중 상기 블라인드 영역에 대응되는 영역의 이미지 정보를 상기 블라인드 영역에 대입하여 복원하는 실시간 동영상에서의 인물 선별 송출 시스템.
  7. 제1항에 있어서,
    상기 복원모듈은:
    상기 블라인드 영역의 과거 이미지 정보가 있었는지를 검출하여 검출되지 않은 경우에는 블라인드 영역 주변의 픽셀값을 이용하여 유추한 추정치를 통해 상기 블라인드 영역을 복원하는 실시간 동영상에서의 인물 선별 송출 시스템.
  8. 제1항에 있어서,
    상기 송출대상구분유닛은:
    상기 각각의 인물 객체를 송출대상 인물 객체와 비송출대상 인물 객체로 구분한 경우에 송출자인 사용자 디스플레이에는 송출대상 인물 객체 및 비송출대상 인물 객체를 모두 출력하는 실시간 동영상에서의 인물 선별 송출 시스템.
  9. 삭제
KR1020190129149A 2019-10-17 2019-10-17 실시간 동영상에서의 인물 선별 송출 시스템 KR102247719B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190129149A KR102247719B1 (ko) 2019-10-17 2019-10-17 실시간 동영상에서의 인물 선별 송출 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190129149A KR102247719B1 (ko) 2019-10-17 2019-10-17 실시간 동영상에서의 인물 선별 송출 시스템

Publications (2)

Publication Number Publication Date
KR20210045746A KR20210045746A (ko) 2021-04-27
KR102247719B1 true KR102247719B1 (ko) 2021-04-30

Family

ID=75725857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190129149A KR102247719B1 (ko) 2019-10-17 2019-10-17 실시간 동영상에서의 인물 선별 송출 시스템

Country Status (1)

Country Link
KR (1) KR102247719B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019092025A (ja) * 2017-11-14 2019-06-13 株式会社日立国際電気 編集システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101105034B1 (ko) * 2010-02-09 2012-01-16 주식회사 팬택 촬영 기능을 보유한 단말기
US9124730B2 (en) * 2011-12-16 2015-09-01 Empire Technology Development Llc Automatic privacy management for image sharing networks
KR20150065045A (ko) * 2013-12-04 2015-06-12 엘지전자 주식회사 단말기 및 그 제어 방법
KR20170117786A (ko) * 2016-04-14 2017-10-24 이래오토모티브시스템 주식회사 영상매체에 등장하는 유명인사 얼굴 차단 및 대체 시스템 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019092025A (ja) * 2017-11-14 2019-06-13 株式会社日立国際電気 編集システム

Also Published As

Publication number Publication date
KR20210045746A (ko) 2021-04-27

Similar Documents

Publication Publication Date Title
CN109658572B (zh) 图像处理方法及装置、电子设备和存储介质
US7907165B2 (en) Speaker predicting apparatus, speaker predicting method, and program product for predicting speaker
JP4616702B2 (ja) 画像処理
KR101636716B1 (ko) 발언자를 구별하는 영상 회의 장치 및 방법
JP2009510877A (ja) 顔検出を利用したストリーミングビデオにおける顔アノテーション
KR102107334B1 (ko) 이미지 프레임에서의 픽셀 위치가 배경 또는 전경에 속하는지를 결정하기 위한 방법, 장치 및 시스템
GB2414615A (en) Object detection, scanning and labelling
CN1849613A (zh) 用于特征识别的设备和方法
US10964326B2 (en) System and method for audio-visual speech recognition
US11405584B1 (en) Smart audio muting in a videoconferencing system
KR20090111939A (ko) 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치
KR101900471B1 (ko) 반응 효과가 삽입된 방송 시스템
CN111753783B (zh) 手指遮挡图像检测方法、装置及介质
CN112307800A (zh) 视频会议中电子铭牌的显示方法和装置
CN114333853A (zh) 一种音频数据的处理方法、设备和系统
CN111626240A (zh) 一种人脸图像识别方法、装置、设备及可读存储介质
KR102247719B1 (ko) 실시간 동영상에서의 인물 선별 송출 시스템
JP2007312271A (ja) 監視システム
JPH07193748A (ja) 動画像処理方法および装置
CN112613483A (zh) 一种基于语义分割和识别的户外火灾预警方法
KR102194511B1 (ko) 대표 영상프레임 결정시스템 및 이를 이용한 방법
EP3195550B1 (en) Method and apparatus for computing the perceived quality of a multiparty audio or audiovisual telecommunication service or system
JP3625935B2 (ja) 動画像の重要画像抽出装置および重要画像抽出方法
JPS62209985A (ja) テレビ会議装置
JP7388188B2 (ja) 発話者認識システム、発話者認識方法、及び発話者認識プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant