KR20210045746A - System that selectively transmit characters in real-time video - Google Patents
System that selectively transmit characters in real-time video Download PDFInfo
- Publication number
- KR20210045746A KR20210045746A KR1020190129149A KR20190129149A KR20210045746A KR 20210045746 A KR20210045746 A KR 20210045746A KR 1020190129149 A KR1020190129149 A KR 1020190129149A KR 20190129149 A KR20190129149 A KR 20190129149A KR 20210045746 A KR20210045746 A KR 20210045746A
- Authority
- KR
- South Korea
- Prior art keywords
- transmission target
- person
- target person
- transmission
- image
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 143
- 238000012217 deletion Methods 0.000 claims abstract description 21
- 230000037430 deletion Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 27
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000000903 blocking effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
본 발명은 실시간 동영상에서의 인물 선별 송출 시스템에 관한 것으로, 더 상세하게는 실시간 화상채팅 서비스에서 화면에 잡힌 특정 인물에 대한 존재감을 없앰으로써 해당 인물에 대한 프라이버시를 보호하도록 하기 위한 실시간 동영상에서의 인물 선별 송출 시스템에 관한 것이다.The present invention relates to a system for selecting and transmitting people in a real-time video, and more particularly, a person in a real-time video to protect the privacy of a specific person caught on the screen in a real-time video chat service. It relates to a sorting transmission system.
오늘날 실시간 스트리밍 서비스(ex. 유튜브 스트리밍, 인스타그램 라이브 방송 등)가 급격하게 성장하면서 그에 따른 개인정보 노출 사고도 증가하고 있다. Today, as real-time streaming services (ex. YouTube streaming, Instagram live broadcasting, etc.) are growing rapidly, accidents of personal information exposure are also increasing.
스트리밍 서비스에서는 본인도 모르는 사이에 자신의 얼굴이 노출되는 등 개인정보 노출 문제가 빈번하게 발생하지만, 이에 따른 개인정보를 보호하기 위한 기술은 부족한 것이 현실이다.In streaming services, personal information exposure problems frequently occur, such as revealing one's face without even knowing it, but the reality is that there is a lack of technology to protect personal information accordingly.
현재 개발되어있는 기술은 동영상 편집 기술과 실시간 스트리밍 기술, 크게 두 가지로 나눌 수 있다.Currently developed technologies can be divided into two broad categories: video editing technology and real-time streaming technology.
먼저 동영상 편집 기술에는 영상에서 사람 객체를 인식하여 제거한 뒤, 그 자리를 주변 배경과 유사하게 채워주는 기술이 개발되어있다. 이 기술은 동영상 편집 기술로, 실시간으로 다수의 객체를 구별해줄 수 없다는 한계를 지닌다.First, in video editing technology, a technology that recognizes and removes a human object from an image and then fills the position similarly to the surrounding background has been developed. This technology is a video editing technology, and has a limitation in that it cannot distinguish multiple objects in real time.
또한, 실시간 스트리밍 관련 선행기술로는 대한민국 공개특허 10-2017-7029496(비디오 회의에서의 배경 수정)가 제시되어 있다. 이 선행기술은 얼굴들을 인식하여 사람의 얼굴과 배경을 분리한 뒤, 배경은 흐리게 처리하고 얼굴은 원본 품질을 유지하게 하여 네트워크 요구사항들을 감소시키는 기술을 개시하고 있다.In addition, as a prior art related to real-time streaming, Korean Patent Application Laid-Open No. 10-2017-7029496 (a background correction in a video conference) is proposed. This prior art discloses a technology for reducing network requirements by recognizing faces, separating a human face from a background, blurring the background and maintaining the original quality of the face.
그러나 이 선행기술은 한 화면에 복수의 사람이 들어올 경우, 각 사람의 얼굴을 인식한 다음 특정 사람 객체만 나오도록 하고 다른 사람 객체는 가릴 수 없으며, 그러한 존재 자체를 지울 수도 없다는 한계를 지닌다.However, this prior art has a limitation in that when a plurality of people enter a screen, each person's face is recognized and then only a specific person object appears, and the other person object cannot be covered, and such existence itself cannot be erased.
본 발명에 따른 실시간 동영상에서의 인물 선별 송출 시스템은 실시간으로 송출되는 동영상 안에 등장하는 인물들의 영상과 음성을 식별하고 추적하며 필요에 따라 특정 인물을 블라인드 처리하려는 것으로, “복수의 인물”을 다룬다는 점에 초점을 맞추고 있다. The system for selecting and transmitting people in a real-time video according to the present invention identifies and tracks the images and voices of people appearing in the video that is transmitted in real time, and blinds a specific person as necessary, and deals with "multiple people". Focusing on the point.
본 발명에 따른 실시간 동영상에서의 인물 선별 송출 시스템은 복수의 인물이 화면에 인식될 때 상대방의 화면에 보여질 최종송출화면을 송출자가 먼저 보면서 송출대상 인물에 대한 송출여부표식(On 또는 Off)을 선택함으로써 최종송출화면에서 제거하여 상대방에게 보이지 않게 하며, 이와 반대로 송출여부표식을 역전함으로써 보이지 않았던 사람을 다시 보이게 하여 사용자가 원하는 범위까지 프라이버시를 보호할 수 있도록 하는 것을 목적으로 한다.In the system for selecting and transmitting people in real-time video according to the present invention, when a plurality of people are recognized on the screen, the sender first sees the final transmission screen to be displayed on the other party's screen, and the transmission indicator (On or Off) for the transmission target person By selecting it, it is removed from the final transmission screen to make it invisible to the other party, and on the contrary, the purpose is to make the invisible person visible again by reversing the transmission status mark to protect the privacy to the extent desired by the user.
특히 본 발명에 따른 실시간 동영상에서의 인물 선별 송출 시스템은 송출하지 않아야 할 인물이 송출할 인물의 이미지 앞에 있어 겹치게 되는 경우, 송출하지 않아야할 인물의 존재감 자체를 사라지도록 하는 목적을 가진다.In particular, the system for selecting and transmitting a person in a real-time video according to the present invention has the purpose of disappearing the presence of the person not to be transmitted when the person to be transmitted overlaps in front of the image of the person to be transmitted.
본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 시스템은 각각의 인물 객체의 이미지 영역 및 사운드 스트림을 식별하고 매칭시키는 식별모듈; 상기 각각의 인물 객체를 송출대상 인물과 비송출대상 인물로 구분하는 구분모듈; 상기 비송출대상 인물 객체의 이미지 영역 및 사운드 스트림을 삭제하는 삭제모듈; 및 상기 비송출대상 인물의 이미지 영역에 의해 가려졌던 블라인드 영역을 복원하는 복원모듈;을 포함할 수 있다. A system for selecting and transmitting people in a real-time video according to an example of the present invention includes an identification module for identifying and matching an image area and a sound stream of each person object; A classification module for dividing each of the person objects into a transmission target person and a non-transmission target person; A deletion module for deleting the image area and sound stream of the non-transmission target person object; And a restoration module for restoring a blind area covered by the image area of the non-transmission target person.
또한, 상기 식별모듈은: 외부로부터 복수의 시구간들에 걸쳐서 인물 및 배경의 이미지 정보를 수신하여 인물 각각의 이미지 영역을 식별하는 이미지식별유닛; 외부로부터 복수의 시구간들에 걸쳐서 인물 및 배경의 사운드 정보를 수신하여 인물 각각의 사운드 스트림을 식별하는 사운드식별유닛; 상기 인물 각각의 상기 이미지 영역 및 상기 사운드 스트림을 서로 매칭시키는 매칭유닛;을 포함할 수 있다.In addition, the identification module includes: an image identification unit that receives image information of a person and a background over a plurality of time periods from the outside to identify an image area of each person; A sound identification unit that receives sound information of a person and a background over a plurality of time periods from outside to identify a sound stream of each person; And a matching unit for matching the image area and the sound stream of each of the people.
또한, 상기 구분모듈은: 상기 각각의 인물을 송출대상 인물과 비송출대상 인물로 구분하는 송출대상구분유닛; 실시간 동영상 송출 중 새로운 인물이 추가되는 것으로 판단한 경우 상기 새로운 인물의 최초 송출대상 구분을 비송출대상 인물로 구분해 설정하는 신규인물관리유닛; 및 실시간 동영상 송출 중 상기 송출대상 인물 및 상기 비송출대상 인물의 송출대상 구분을 사용자의 선택에 따라 변경하도록 하는 송출대상변경유닛;을 포함할 수 있다.In addition, the classification module includes: a transmission target classification unit for classifying each of the persons into a transmission target person and a non-transmission target person; A new person management unit that divides and sets an initial transmission target classification of the new person as a non-transmission target person when it is determined that a new person is added during real-time video transmission; And a transmission target change unit configured to change the transmission target classification of the transmission target person and the non-transmission target person during real-time video transmission according to a user's selection.
또한, 상기 삭제모듈은: 상기 비송출대상 인물의 이미지를 삭제하는 이미지삭제유닛; 및 상기 비송출대상 인물의 사운드 스트림을 삭제하는 사운드삭제유닛;을 포함할 수 있다.In addition, the deletion module may include: an image deletion unit for deleting an image of the non-transmission target person; And a sound deletion unit that deletes the sound stream of the non-transmission target person.
또한, 상기 복원모듈은: 상기 블라인드 영역을 기 설정된 색상으로 대입하여 복원할 수 있다.In addition, the restoration module: may restore the blind area by replacing it with a preset color.
또한, 상기 복원모듈은: 상기 블라인드 영역의 과거 이미지 정보가 있었는지를 검출하여 검출된 경우에는 비송출대상 인물에 의해 가려지기 전의 시구간의 이미지 정보 중 상기 블라인드 영역에 대응되는 영역의 이미지 정보를 상기 블라인드 영역에 대입하여 복원할 수 있다.In addition, the restoration module: If detected by detecting whether there was past image information of the blind area, the image information of the area corresponding to the blind area among the image information of the time period before being covered by the non-transmission target person It can be restored by replacing it in the blind area.
또한, 상기 복원모듈은: 상기 블라인드 영역의 과거 이미지 정보가 있었는지를 검출하여 검출되지 않은 경우에는 블라인드 영역 주변의 픽셀값을 이용하여 유추한 추정치를 통해 상기 블라인드 영역을 복원할 수 있다.In addition, the restoration module may: detect whether there is past image information of the blind area and, if not detected, restore the blind area through an estimated value inferred using pixel values around the blind area.
또한, 상기 송출대상구분유닛은: 상기 각각의 인물을 송출대상 인물과 비송출대상 인물로 구분하도록 출력된 상기 각각의 인물의 각각 이미지 영역에 송출대상 인물을 선택을 위한 선택버튼을 출력할 수 있다.In addition, the transmission target classification unit: may output a selection button for selecting a transmission target person in each image area of each of the people output so as to classify each person into a transmission target person and a non-transmission target person. .
또한, 상기 송출대상변경유닛은: 실시간 동영상 송출 중 상기 송출대상 인물 및 상기 비송출대상 인물의 송출대상 구분을 사용자의 선택에 따라 변경 또는 전환하도록 상기 각각의 인물의 각각 이미지 영역에 선택버튼을 출력할 수 있다.In addition, the transmission target change unit: outputs a selection button in each image area of each person to change or switch the transmission target classification of the transmission target person and the non-transmission target person during real-time video transmission according to the user's selection. can do.
또한, 상기 송출대상구분유닛은: 상기 각각의 인물을 송출대상 인물과 비송출대상 인물로 구분한 경우에 송출자인 사용자 디스플레이에는 송출대상 인물 및 비송출대상 인물을 모두 출력하고, 상기 사용자 디스플레이에는 상기 선택버튼을 출력하도록 설정할 수 있다.In addition, the transmission target classification unit: When each of the persons is divided into a transmission target person and a non-transmission target person, both the transmission target person and the non-transmission target person are output on the user display as the sender, and the user display includes the It can be set to output a selection button.
본 발명에 따른 실시간 동영상에서의 인물 선별 송출 시스템에 의하면, 동영상에 등장하는 인물에 대한 존재 프라이버시를 자율적으로 선택하여 보호할 수 있다. According to the system for selecting and transmitting a person in a real-time video according to the present invention, it is possible to autonomously select and protect the privacy of a person appearing in the video.
또한 본 발명에 따른 실시간 동영상에서의 인물 선별 송출 시스템에 의하면, 화상 채팅에만 국한된 것이 아닌 방송 분야, 재난/사고 분야에서도 많이 활용될 수 있다. 예를 들면, 다수 출연자가 있는 토론 방송에서 특정 출연자만 선별하여 영상과 음성으로 나갈 수 있도록 할 수 있으며, 재난 상황 속에 처해 있는 여러 사람들을 식별하여 특정 인물을 특정하여 그 사람의 상황과 목소리를 들을 수도 있게 할 수 있다.In addition, according to the system for selecting and transmitting people in real-time video according to the present invention, it is not limited to video chat, but can be widely used in broadcast fields and disaster/accident fields. For example, in a discussion broadcast with a large number of performers, only specific performers can be selected for video and audio, and various people in a disaster situation can be identified and a specific person can be identified to hear the person's situation and voice. You can also do it.
도 1은 본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 시스템을 설명하기 위한 블록도이다.
도 2는 도 1에 도시된 구분모듈을 보다 구체적으로 설명하기 위한 블록도이다.
도 3은 도 1에 도시된 삭제모듈을 보다 구체적으로 설명하기 위한 블록도이다.
도 4는 본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 방법을 설명하기 위한 흐름도이다.
도 5는 도 4의 S100에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 6은 도 4의 S200에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 7은 도 4의 S300에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 8은 도 4의 S400에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 9 및 도 10은 본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 방법을 설명하기 위한 도면이다.1 is a block diagram illustrating a system for selecting and transmitting a person in a real-time video according to an example of the present invention.
FIG. 2 is a block diagram illustrating the classification module illustrated in FIG. 1 in more detail.
FIG. 3 is a block diagram illustrating the deletion module shown in FIG. 1 in more detail.
4 is a flowchart illustrating a method for selecting and transmitting a person in a real-time video according to an example of the present invention.
FIG. 5 is a flowchart illustrating a method of selecting and transmitting a person in S100 of FIG. 4 in more detail.
6 is a flowchart illustrating a method of selecting and transmitting a person in S200 of FIG. 4 in more detail.
7 is a flowchart illustrating a method of selecting and transmitting a person in S300 of FIG. 4 in more detail.
FIG. 8 is a flowchart illustrating a method of selecting and transmitting a person in S400 of FIG. 4 in more detail.
9 and 10 are diagrams for explaining a method for selecting and transmitting a person in a real-time video according to an example of the present invention.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.The terms used in the present specification are for describing exemplary embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification,'include' and/or various conjugated forms of this verb, for example,'including','including','including','including', and the like refer to the mentioned composition, ingredient, component, Steps, operations and/or elements do not exclude the presence or addition of one or more other compositions, components, components, steps, operations and/or elements. In the present specification, the term'and/or' refers to each of the listed components or various combinations thereof.
한편, 본 명세서 전체에서 사용되는 '~부', '~유닛', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~유닛', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. Meanwhile, terms such as'~ unit','~ unit','~ block', and'~ module' used throughout this specification may mean a unit that processes at least one function or operation. For example, it can mean software, hardware components such as FPGAs or ASICs. However,'~ unit','~ unit','~ block', and'~ module' are not meant to be limited to software or hardware.
따라서, 일 예로서 '~부', '~유닛', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~유닛', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~유닛', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~유닛', '~블록', '~모듈'들로 더 분리될 수 있다.Therefore, as an example,'~ unit','~ unit','~ block', and'~ module' are components such as software components, object-oriented software components, class components, and task components. S, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and Include variables. Components and functions provided in'~unit','~unit','~block', and'~module' include a smaller number of components and'~unit','~unit','~block. It may be combined into','modules' or further separated into additional components and'~ unit','~ unit','~ block', and'~ module'.
이하, 본 발명의 실시 예를 첨부된 도면들을 참조하여 더욱 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings.
도 1은 본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 시스템을 설명하기 위한 블록도이다. 상기 실시간 동영상에서의 인물 선별 송출 시스템(10)은 식별모듈(100), 구분모듈(200), 삭제모듈(300) 및 복원모듈(400)을 포함한다.1 is a block diagram illustrating a system for selecting and transmitting a person in a real-time video according to an example of the present invention. The system for selecting and transmitting people in the real-
도 1을 참고하면, 상기 식별모듈(100)은 미리 정해진 알고리즘을 통해 인물로 인식한 인물 객체가 다수 존재하는 경우, 각각의 인물 객체의 이미지 영역 및 사운드 스트림을 식별하고 매칭시킨다.Referring to FIG. 1, the
이때, 상기 식별모듈(100)은 도 1에는 도시되지 않았으나, 이미지식별유닛, 사운드식별유닛 및 매칭유닛을 포함할 수 있는데, 상기 이미지식별유닛은 외부로부터 복수의 시구간들에 걸쳐서 인물 및 배경의 이미지 정보를 수신하여 인물 각각의 이미지 영역을 식별할 수 있고, 상기 사운드식별유닛은 외부로부터 복수의 시구간들에 걸쳐서 인물 및 배경의 사운드 정보를 수신하여 인물 각각의 사운드 스트림을 식별할 수 있으며, 상기 매칭유닛은 상기 인물 각각의 상기 이미지 영역 및 상기 사운드 스트림을 서로 매칭시킬 수 있다.At this time, the
상기 구분모듈(200)은 상기 각각의 인물 객체를 송출대상 인물과 비송출대상 인물로 구분할 수 있다. 상기 구분모듈(200)에 대해서는 도 2에서 보다 구체적으로 설명하기로 한다.The
상기 삭제모듈(300)은 상기 비송출대상 인물의 이미지 영역 및 사운드 스트림을 삭제한다. 상기 삭제모듈(300)에 대해서는 도 3에서 보다 구체적으로 설명하기로 한다.The
상기 복원모듈(400)은 상기 비송출대상 인물의 이미지 영역에 의해 가려졌던 블라인드 영역을 복원한다. 이때의 복원은 상기 비송출대상 인물이 없었을 때의 배경을 나타내는 부분을 복원하는 것을 의미할 수 있다.The
구체적으로, 상기 복원모듈(400)은 상기 비송출대상 인물에 의해 가려지기 전의 시구간의 이미지 정보 중 상기 블라인드 영역에 대응되는 영역의 이미지 정보를 상기 블라인드 영역에 대입하여 복원할 수 있다. 즉, 과거의 상기 블라인드 영역의 이미지 정보를 이용해 복원할 수 있는 것이다.Specifically, the
또한 상기 복원모듈(400)은 상기 블라인드 영역을 기 설정된 색으로 복원하거나, 상기 블라인드 영역 주변의 픽셀값을 이용하여 유추한 추정치를 통해 복원할 수 있다. 즉, 과거의 상기 블라인드 영역의 이미지 정보가 없는 경우에는 상기 블라인드 영역 주변의 픽셀값을 이용하여 복원을 수행하는 것이다.In addition, the
이때, 상기 복원모듈(400)은 상기 블라인드 영역의 과거 이미지 정보가 있었는지를 검출하고, 그 유무에 따라 가려지기 전의 시구간의 이미지 정보를 이용하여 복원하거나 주변의 픽셀값을 이용한 추정치를 통해 복원할 수 있다.At this time, the
도 2는 도 1에 도시된 구분모듈을 보다 구체적으로 설명하기 위한 블록도이다. 상기 구분모듈(200)은 송출대상구분유닛(210), 신규인물관리유닛(220) 및 송출대상변경유닛(230)을 포함한다.FIG. 2 is a block diagram illustrating the classification module illustrated in FIG. 1 in more detail. The
도 2를 참고하면, 상기 송출대상구분유닛(210)은 각각의 인물을 송출대상 인물과 비송출대상 인물로 구분할 수 있다. 예컨대, 상기 송출대상구분유닛(210)은 2 이상의 인물 객체를 인식하는 경우, 이 중 화면에 내보낼 인물 객체 외에는 비송출대상 인물로 구분할 수 있다. Referring to FIG. 2, the transmission
상기 신규인물관리유닛(220)은 실시간 동영상 송출 중 새로운 인물이 추가되는 것으로 판단한 경우 상기 새로운 인물의 최초 송출대상 구분을 비송출대상 인물로 구분한다. 예컨대, 화상 통화 또는 화상 채팅이 진행 중인 경우, 기존에 송출대상 객체 외에 새로이 추가되는 인물 객체의 경우에는 기본적으로 비송출대상 객체로 인식하여 프라이버시를 보장할 수 있게 한다.When it is determined that a new person is added during real-time video transmission, the new
상기 송출대상변경유닛(230)은 실시간 동영상 송출 중 상기 송출대상 인물 및 상기 비송출대상 인물의 송출대상 구분을 사용자의 선택에 따라 변경할 수 있다. 예컨대, 상기 송출대상구분유닛(210) 또는 상기 송출대상변경유닛(230)은 인식되는 적어도 하나의 인물 객체에 송출여부를 선택할 수 있는 선택버튼을 ON 또는 OFF로 출력하여 사용자로 하여금 선택할 수 있게 하며, 상기 선택버튼을 통해 필요에 따라 송출 대상을 선택 또는 전환할 수 있게 할 수 있다. The transmission
사용자는 화면에서 현재 선택되어 송출되는 객체인지 선택되지 않아 송출되지 않는 객체인지에 대해 표식을 통해 확인할 수 있어, 상기 송출대상변경유닛(230)을 통해 필요에 따라 송출 대상을 변경 선택하여 전환할 수 있게 한다.The user can check whether it is an object that is currently selected and transmitted on the screen or an object that is not transmitted because it has not been selected, and can change and select a transmission target as needed through the transmission
사용자는 선택에 따라 상기 표식을 가릴 수 있도록 설정할 수 있다.The user can set the mark to be hidden according to the selection.
도 3은 도 1에 도시된 삭제모듈을 보다 구체적으로 설명하기 위한 블록도이다. 상기 삭제모듈(300)은 이미지삭제유닛(310) 및 사운드삭제유닛(320)을 포함할 수 있다.FIG. 3 is a block diagram illustrating the deletion module shown in FIG. 1 in more detail. The
도 3을 참고하면, 상기 이미지삭제유닛(310)은 상기 비송출대상 인물의 이미지를 삭제할 수 있으며, 삭제가 이루어진 후, 상기 복원모듈(400)에 의해 삭제가 이루어진 부분에 배경 복원이 이루어지도록 한다.Referring to FIG. 3, the
또한 상기 사운드삭제유닛(320)은 상기 비송출대상 인물의 사운드 스트림을 삭제하여 비송출대상 인물의 사운드가 송출되지 않도록 할 수 있다.In addition, the
도 4는 본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 방법을 설명하기 위한 흐름도이다. 상기 인물 선별 송출 방법은 도 1에 도시된 실시간 동영상에서의 인물 선별 송출 시스템(10)에 의해 수행될 수 있다.4 is a flowchart illustrating a method for selecting and transmitting a person in a real-time video according to an example of the present invention. The person selection and transmission method may be performed by the person
도 4를 참고하면, 상기 인물 선별 송출 시스템(10)의 식별모듈(100)은 각각의 인물의 이미지 영역 및 사운드 스트림을 식별하고 매칭시킨다(S100). 즉, 인물에 따른 사운드를 매칭시키는 작업을 수행한다.Referring to FIG. 4, the
다음으로, 상기 인물 선별 송출 시스템(10)의 구분모듈(200)은 상기 각각의 인물을 송출대상 인물과 비송출대상 인물로 구분한다(S200). 이러한 구분을 통해 송출대상 인물만 화상 통화 또는 화상 채팅에 출력될 수 있게 하고 비송출대상 인물은 배경으로 처리하여 출력되지 않게 할 수 있다.Next, the
다음으로, 상기 인물 선별 송출 시스템(10)의 삭제모듈(300)은 상기 비송출대상 인물의 이미지 영역 및 사운드 스트림을 삭제한다(S300). 비송출대상 인물의 사운드는 출력되지 않아야 하므로 비송출대상 인물에 상응하는 사운드는 삭제토록 한다.Next, the
다음으로, 상기 인물 선별 송출 시스템(10)의 복원모듈(400)은 상기 비송출대상 인물의 이미지 영역에 의해 가려졌던 블라인드 영역을 복원한다(S400). 비송출대상 인물은 출력되지 않을 경우 가려졌던 부분이 출력되어야 자연스러운 화면이 될 것이므로 해당 영역을 복원한다.Next, the
다음으로, 상기 인물 선별 송출 시스템(10)의 구분모듈(200)은 실시간 동영상 송출 중 새로운 인물이 추가되는 경우 상기 S100 내지 S400을 진행하되, 상기 S200에서 초기 송출대상 구분 시 비송출대상 인물로 구분하고(S500), 실시간 동영상 송출 중 상기 S200에서 구분된 송출대상 인물 및 비송출대상 인물의 송출 구분을 사용자의 선택에 따라 변경할 수 있게 한다(S600).Next, when a new person is added during real-time video transmission, the
도 5는 도 4의 S100에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다. FIG. 5 is a flowchart illustrating a method of selecting and transmitting a person in S100 of FIG. 4 in more detail.
도 5를 참고하면, 촬영장치를 통해 복수의 시구간들에 걸쳐서 인물 및 배경의 이미지 정보를 수신한다(S110).Referring to FIG. 5, image information of a person and a background is received over a plurality of time periods through a photographing device (S110).
다음으로, 상기 인물 및 배경의 이미지 정보에서 인물 각각의 이미지 영역을 식별한다(S120). 예컨대, 인물 각각의 이미지 영역을 식별하기 위하여, 인물 영역의 특징 벡터(ex. 인물의 형태적 특징 등을 이용하여 인물을 표현하는 특징 벡터)를 생성하고, 특징 벡터를 블록화 처리(ex. 특징 벡터를 블록 크기 정보에 대응되는 열 길이를 갖는 행렬로 변환 처리)하여 블록화 벡터를 생성하며, 블록화 벡터와 기저장된 특징 벡터(ex. 미리 저장된 다수의 인물 이미지로부터 생성된 특징 벡터) 간의 행 단위의 유사도를 산출하고, 행 단위의 유사도 중에서 유효한 유사도들의 평균값을 블록화 벡터와 기저장된 특징 벡터의 유사도를 결정하며, 결정된 유사도에 기초해 이미지에 대응되는 인물을 식별할 수 있다.Next, an image area of each person is identified from the image information of the person and the background (S120). For example, in order to identify each image region of a person, a feature vector of the person region (ex. a feature vector representing a person using morphological features of the person, etc.) is generated, and the feature vector is processed into a block (ex. feature vector). Is transformed into a matrix having a column length corresponding to the block size information) to generate a blocking vector, and the degree of similarity in row units between the blocking vector and a pre-stored feature vector (e.g., a feature vector generated from a plurality of pre-stored person images) Is calculated, the average value of the valid similarities among the similarities in row units is determined to determine the similarity between the block vector and the previously stored feature vector, and a person corresponding to the image can be identified based on the determined similarity.
만일, 인물 각각의 이미지 영역이 잘못 식별되어 인물이 아닌 객체를 인물로 인식하는 경우 또는 2인의 인물을 1인으로 인식하는 경우에는 사용자의 설정을 통해 인식된 인물을 제거 또는 인식되지 않은 인물을 추가하도록 할 수 있다. 예컨대, 인물 인식 수정 메뉴의 객체 지정 포인터를 통해 사용자 선택이 이루어지는 부분을 인물로 인식하도록 하거나 해당 부분을 재인식하도록 설정할 수 있다. If an object other than a person is recognized as a person because the image area of each person is incorrectly identified, or when two persons are recognized as one person, the recognized person is removed or the unrecognized person is added through the user's setting. You can do it. For example, a part in which a user selection is made through an object designation pointer of a person recognition correction menu may be recognized as a person or a corresponding part may be re-recognized.
다음으로, 마이크를 통해 복수의 시구간들에 걸쳐서 인물 및 배경의 사운드 정보를 수신한다(S130).Next, sound information of a person and a background is received over a plurality of time periods through a microphone (S130).
다음으로, 상기 인물 및 배경의 사운드 정보에서 인물 각각의 사운드 스트림을 식별한다(S140).Next, a sound stream of each person is identified from the person and the background sound information (S140).
예컨대, 특정 음성을 다른 음성과 구별하여 식별하기에 충분한 다양한 음소를 포함하는 음성학적 데이터를 수집하고, 소정의 음성을 다른 음성으로부터 구분할 수 있는 충분한 음성학적 데이터가 수집되었다고 판단된 경우 해당 음성학적 데이터를 저장한 뒤, 임의의 적합한 타입의 음성 인식 기술을 기초로 사운드 스트림을 프로세싱하여 복수의 음성에서 인물 각각의 개별 음성을 식별할 수 있다.For example, when it is determined that phonetic data including various phonemes sufficient to distinguish and identify a specific voice from other voices has been collected, and it is determined that sufficient phonetic data to distinguish a predetermined voice from other voices has been collected, the corresponding phonetic data After storing, it is possible to process the sound stream based on any suitable type of speech recognition technique to identify individual voices of each person in the plurality of voices.
다음으로, 상기 인물 각각의 이미지 영역 및 사운드 스트림을 서로 매칭시킨다(S150).Next, the image regions and sound streams of each of the people are matched with each other (S150).
예컨대, 식별되는 음성을 수신되는 이미지의 인물들에 매칭시킬 때 서로 다른 인물들의 위치 및 서로 다른 시간에서 추정된 음성의 소스 위치를 샘플링하여 음성과 인물들 간의 연관 레벨을 도출하여 매칭을 수행할 수 있다. 이때, 연관 레벨은 음성의 소스의 추정 위치가 특정 인물과 얼마나 가까운지, 음성의 개수, 특정 인물에서 음성 소스 추정 위치까지의 근접도, 음성 소스가 수신되는 이미지의 중앙 부분에 근접한지 가장자리에 근접한지 등을 포함한 팩터로서 도출될 수 있다.For example, when matching the identified voice to the people in the received image, matching can be performed by sampling the positions of different people and the source positions of the voices estimated at different times to derive the level of association between the voice and the people. have. At this time, the association level is how close the estimated location of the voice source is to a specific person, the number of voices, the proximity from a specific person to the estimated location of the voice source, and whether the voice source is close to the center of the received image or close to the edge. It can be derived as a factor including Korean paper and the like.
도 6은 도 4의 S200에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.6 is a flowchart illustrating a method of selecting and transmitting a person in S200 of FIG. 4 in more detail.
송출용 디스플레이에 상기 복수의 인물 각각의 이미지 영역을 출력한다(S210). 예컨대, 3인의 인물이 인식되는 경우에는 3인의 이미지 영역이 수신자 화면이 아닌 사용자(즉, 송신자) 화면에 출력된다.An image area of each of the plurality of people is output on the transmission display (S210). For example, when three people are recognized, the image area of the three people is displayed on the screen of the user (ie, the sender) rather than the screen of the recipient.
상기 송출용 디스플레이에 상기 복수의 인물 각각의 이미지 영역 및 사운드 스트림의 송출 여부를 선택하는 버튼을 출력한다(S220). 예컨대, 상기 3인의 인물 중 어느 인물이 상대방 화면에 송출되도록 할지를 선택하도록 하는 선택버튼을 출력하며, 상기 선택버튼은 인물 각각에 ON 또는 OFF 형태로 출력될 수 있다.A button for selecting whether to transmit the image area and sound stream of each of the plurality of people is output on the transmission display (S220). For example, a selection button for selecting which one of the three people to be transmitted to the other's screen is output, and the selection button may be output to each person in the form of ON or OFF.
상기 S220에서의 선택 결과에 따라 상기 복수의 인물 각각을 송출대상 인물과 비송출대상 인물로 구분한다(S230). 사용자가 ON 또는 OFF를 인물별 설정을 하면 ON 설정된 인물은 송출대상 인물로, OFF 설정된 인물은 비송출대상 인물로 구분할 수 있다.According to the selection result in S220, each of the plurality of people is divided into a transmission target person and a non-transmission target person (S230). When the user sets ON or OFF for each person, the person set ON can be classified as the person to be transmitted, and the person set OFF can be classified as the person to be transmitted.
도 7은 도 4의 S300에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다.7 is a flowchart illustrating a method of selecting and transmitting a person in S300 of FIG. 4 in more detail.
도 7을 참고하면, 비송출대상 인물의 이미지 영역인 비송출 이미지 영역을 확정한다(S310).Referring to FIG. 7, a non-transmission image area, which is an image area of a non-transmission target person, is determined (S310).
다음으로, 상기 비송출 이미지 영역의 이미지 정보를 삭제하고(S320), 상기 비송출 이미지 영역에 해당함을 표시하는 이미지를 상기 송출용 디스플레이에 출력한다(S330).Next, the image information of the non-transmission image area is deleted (S320), and an image indicating that the non-transmission image area corresponds to the non-transmission image area is output on the transmission display (S330).
다음으로, 상기 비송출대상 인물의 사운드 스트림인 비송출 사운드 스트림을 확정하고(S340), 상기 비송출 사운드 스트림에 해당하는 사운드 정보를 삭제한다(S350).Next, a non-transmission sound stream, which is a sound stream of the non-transmission target person, is determined (S340), and sound information corresponding to the non-transmission sound stream is deleted (S350).
도 8은 도 4의 S400에서의 인물 선별 송출 방법을 보다 구체적으로 설명하기 위한 흐름도이다. 구체적으로, 도 8은 도 4의 상기 인물 선별 송출 시스템(10)의 복원모듈(400)이 비송출대상 인물의 이미지 영역에 의해 가려졌던 블라인드 영역을 복원하는 과정에 대해 보다 구체적으로 설명하기 위한 것이다.FIG. 8 is a flowchart illustrating a method of selecting and transmitting a person in S400 of FIG. 4 in more detail. Specifically, FIG. 8 is for explaining in more detail a process in which the
도 8을 참고하면, 도 4에서 설명한 비송출대상 인물의 이미지 영역에 의해 가려졌던 영역에 해당하는 블라인드 영역을 기 설정된 색으로 복원한다(S410). Referring to FIG. 8, the blind area corresponding to the area covered by the image area of the non-transmission target person described in FIG. 4 is restored to a preset color (S410).
다음으로, 상기 블라인드 영역의 과거 이미지 정보가 있었는지를 검출한다(S420). Next, it is detected whether there is past image information of the blind area (S420).
검출결과, 상기 블라인드 영역의 과거 이미지 정보가 있었을 경우, 비송출대상 인물에 의해 가려지기 전의 시구간의 이미지 정보 중 상기 블라인드 영역에 대응되는 영역의 이미지 정보를 상기 블라인드 영역에 대입하여 복원할 수 있다(S430). 즉, 과거의 상기 블라인드 영역의 이미지 정보를 이용해 복원할 수 있는 것이다.As a result of detection, when there is past image information of the blind area, the image information of the area corresponding to the blind area among the image information of the time period before being covered by the non-transmission target person can be restored by substituting the image information of the area corresponding to the blind area ( S430). That is, it can be restored using image information of the blind area in the past.
만일, 상기 블라인드 영역의 과거 이미지 정보가 없었을 경우, 상기 블라인드 영역 주변의 픽셀값을 이용하여 유추한 추정치를 통해 복원할 수 있다(S440). 즉, 과거의 상기 블라인드 영역의 이미지 정보가 없는 경우에는 상기 블라인드 영역 주변의 픽셀값을 이용하여 복원을 수행하는 것이다. 예컨대, 상기 블라인드 영역을 제외한 나머지 영역 이미지의 RGB값과 기저장된 이미지의 RGB값의 유사도를 비교하여 유사도가 임계치 이상인 경우 해당 이미지를 불러오거나, 또는 상기 블라인드 영역의 특정 거리 내의 픽셀 RGB값을 기록하여 기록된 RGB값들의 유사 수치값을 가지는 픽셀들의 방향성을 고려, 유사 수치값의 방향성에 따라 차이값을 감안해 상기 블라인드 영역을 복원할 수 있다.If there is no past image information of the blind area, it may be reconstructed through an inferred estimate using pixel values around the blind area (S440). That is, when there is no image information of the blind area in the past, restoration is performed using pixel values around the blind area. For example, by comparing the similarity of the RGB value of the image of the remaining area excluding the blind area with the RGB value of the previously stored image, and when the similarity is greater than or equal to a threshold, the corresponding image is loaded, or the RGB value of the pixel within a specific distance of the blind area is recorded. The blind area may be restored in consideration of the directionality of pixels having similar numerical values of the recorded RGB values, and taking into account a difference value according to the directionality of the similar numerical values.
도 9 및 도 10은 본 발명의 일 예에 따른 실시간 동영상에서의 인물 선별 송출 방법을 설명하기 위한 도면이다.9 and 10 are diagrams for explaining a method for selecting and transmitting a person in a real-time video according to an example of the present invention.
도 9를 참고하면, 송출자 디스플레이의 화면에서 인물이 2명이 인식된 것이고, 각 인물에 대해서는 ON 또는 OFF의 선택버튼이 인물 주변에 출력된다. 도 9에서는 사용자가 우측의 인물은 OFF로 설정한 것이고, 중앙의 인물은 ON으로 설정한 것으로, 이 경우 도 9에서와 같이 송출자 디스플레이에서 OFF 로 설정된 우측의 인물은 반투명한 상태로 출력되어, 송출자가 수신자 화면에 출력되는 상태를 확인할 수 있다.Referring to FIG. 9, two people are recognized on the screen of the sender display, and for each person, an ON or OFF selection button is output around the person. In Fig. 9, the person on the right is set to OFF by the user, and the person in the center is set to ON. In this case, the person on the right set to OFF in the sender display as in Fig. 9 is output in a semi-transparent state, You can check the status that the sender is displayed on the receiver screen.
사용자는 수신자 디스플레이에 출력될 인물에 대해서는 ON으로 설정할 수 있으며, OFF로 설정된 인물은 수신자 디스플레이에 출력되지 않는다.The user can set the person to be displayed on the recipient display to ON, and the person set to OFF is not displayed on the recipient display.
도 10은 구체적으로 사용자가 도 9에서 중앙의 인물을 ON으로 우측의 인물을 OFF로 설정한 경우의 수신자 디스플레이에 출력되는 화면을 나타낸다.FIG. 10 specifically shows a screen output on the receiver display when the user sets the person in the center to ON and the person on the right to OFF in FIG. 9.
도 9에서 우측의 인물 뒤에 가려졌던 배경은 앞서 설명한 알고리즘을 통한 복원을 통해 복원되어 수신자 디스플레이에 출력될 수 있다.In FIG. 9, the background hidden behind the person on the right may be restored through restoration through the algorithm described above and may be output on the receiver's display.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 저술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.The detailed description above is illustrative of the present invention. In addition, the above description shows and describes preferred embodiments of the present invention, and the present invention can be used in various other combinations, modifications, and environments. That is, changes or modifications may be made within the scope of the concept of the invention disclosed in the present specification, the scope equivalent to the disclosed contents, and/or the technology or knowledge in the art. The above-described embodiments are to describe the best state for implementing the technical idea of the present invention, and various changes required in the specific application fields and uses of the present invention are also possible. Therefore, the detailed description of the invention is not intended to limit the invention to the disclosed embodiment. In addition, the appended claims should be construed as including other embodiments.
Claims (9)
상기 각각의 인물 객체를 송출대상 인물 객체와 비송출대상 인물 객체로 구분하는 구분모듈;
상기 비송출대상 인물 객체의 이미지 영역 및 사운드 스트림을 삭제하는 삭제모듈; 및
상기 비송출대상 인물 객체의 이미지 영역에 의해 가려졌던 블라인드 영역을 복원하는 복원모듈;을 포함하는 실시간 동영상에서의 인물 선별 송출 시스템.
An identification module for identifying and matching the image area and sound stream of each person object;
A classification module for dividing each of the person objects into a transmission target person object and a non-transmission target person object;
A deletion module for deleting the image area and sound stream of the non-transmission target person object; And
And a restoration module for restoring a blind area covered by the image area of the non-transmission target person object.
상기 식별모듈은:
외부로부터 복수의 시구간들에 걸쳐서 인물 및 배경의 이미지 정보를 수신하여 인물 각각의 이미지 영역을 식별하는 이미지식별유닛;
외부로부터 복수의 시구간들에 걸쳐서 인물 및 배경의 사운드 정보를 수신하여 인물 각각의 사운드 스트림을 식별하는 사운드식별유닛;
상기 인물 각각의 상기 이미지 영역 및 상기 사운드 스트림을 서로 매칭시키는 매칭유닛;을 포함하는 실시간 동영상에서의 인물 선별 송출 시스템.
The method of claim 1,
The identification module:
An image identification unit that receives image information of a person and a background over a plurality of time periods from outside to identify an image area of each person;
A sound identification unit that receives sound information of a person and a background over a plurality of time periods from outside to identify a sound stream of each person;
And a matching unit for matching the image area and the sound stream of each of the people with each other.
상기 구분모듈은:
상기 각각의 인물 객체를 송출대상 인물 객체와 비송출대상 인물 객체로 구분하는 송출대상구분유닛;
실시간 동영상 송출 중 새로운 인물이 추가되는 것으로 판단한 경우 상기 새로운 인물의 최초 송출대상 구분을 비송출대상 인물 객체로 구분해 설정하는 신규인물관리유닛; 및
실시간 동영상 송출 중 상기 송출대상 인물 객체 및 상기 비송출대상 인물 객체의 송출대상 구분을 사용자의 선택에 따라 변경하도록 하는 송출대상변경유닛;을 포함하는 실시간 동영상에서의 인물 선별 송출 시스템.
The method of claim 1,
The classification module is:
A transmission target classification unit for dividing each of the person objects into a transmission target person object and a non-transmission target person object;
A new person management unit that classifies and sets an initial transmission target classification of the new person as a non-transmission target person object when it is determined that a new person is added during real time video transmission; And
A transmission target change unit configured to change the transmission target classification of the transmission target person object and the non-transmission target person object during real-time video transmission according to a user's selection.
상기 삭제모듈은:
상기 비송출대상 인물 객체의 이미지를 삭제하는 이미지삭제유닛; 및
상기 비송출대상 인물 객체의 사운드 스트림을 삭제하는 사운드삭제유닛;을 포함하는 실시간 동영상에서의 인물 선별 송출 시스템.
The method of claim 1,
The deletion module is:
An image deletion unit for deleting the image of the non-transmission target person object; And
And a sound deletion unit for deleting the sound stream of the non-transmission target person object.
상기 복원모듈은:
상기 블라인드 영역을 기 설정된 색상으로 대입하여 복원하는 실시간 동영상에서의 인물 선별 송출 시스템.
The method of claim 1,
The restoration module:
A system for selecting and transmitting people in a real-time video for restoring by replacing the blind area with a preset color.
상기 복원모듈은:
상기 블라인드 영역의 과거 이미지 정보가 있었는지를 검출하여 검출된 경우에는 비송출대상 인물 객체에 의해 가려지기 전의 시구간의 이미지 정보 중 상기 블라인드 영역에 대응되는 영역의 이미지 정보를 상기 블라인드 영역에 대입하여 복원하는 실시간 동영상에서의 인물 선별 송출 시스템.
The method of claim 1,
The restoration module:
If it is detected by detecting whether there was past image information of the blind area, the image information of the area corresponding to the blind area among the image information of the time period before being covered by the non-transmission target person object is substituted into the blind area and restored. A system for selecting and transmitting people in real-time video.
상기 복원모듈은:
상기 블라인드 영역의 과거 이미지 정보가 있었는지를 검출하여 검출되지 않은 경우에는 블라인드 영역 주변의 픽셀값을 이용하여 유추한 추정치를 통해 상기 블라인드 영역을 복원하는 실시간 동영상에서의 인물 선별 송출 시스템.
The method of claim 1,
The restoration module:
A system for selecting and transmitting a person in a real-time video for restoring the blind area through an estimation value inferred by using a pixel value around the blind area if it is not detected by detecting whether there is past image information of the blind area.
상기 송출대상구분유닛은:
상기 각각의 인물 객체를 송출대상 인물과 비송출대상 인물로 구분하도록 출력된 상기 각각의 인물 객체의 각각 이미지 영역에 송출대상 인물 객체의 선택을 위한 선택버튼을 출력하고, 상기 각각의 인물 객체를 송출대상 인물 객체와 비송출대상 인물 객체로 구분한 경우에 송출자인 사용자 디스플레이에는 송출대상 인물 객체 및 비송출대상 인물 객체를 모두 출력하는 실시간 동영상에서의 인물 선별 송출 시스템.
The method of claim 3,
The transmission target classification unit is:
Outputs a selection button for selecting a transmission target person object in each image area of each of the person objects output to distinguish each person object into a transmission target person and a non-transmission target person, and transmits each of the person objects. A system for selecting and transmitting people in a real-time video that outputs both the sending target person object and the non-transmission target person object on the sender's user display when the target person object and the non-transmission target person object are classified.
상기 송출대상변경유닛은:
실시간 동영상 송출 중 상기 송출대상 인물 객체 및 상기 비송출대상 인물 객체의 송출대상 구분을 사용자의 선택에 따라 변경 또는 전환하도록 상기 각각의 인물 객체의 각각 이미지 영역에 선택버튼을 출력하는 실시간 동영상에서의 인물 선별 송출 시스템.The method of claim 3,
The transmission target change unit is:
A person in a real-time video outputting a selection button in each image area of each person object to change or switch the transmission target classification of the transmission target person object and the non-transmission target person object during real-time video transmission according to the user's selection Sorting transmission system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190129149A KR102247719B1 (en) | 2019-10-17 | 2019-10-17 | System that selectively transmit characters in real-time video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190129149A KR102247719B1 (en) | 2019-10-17 | 2019-10-17 | System that selectively transmit characters in real-time video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210045746A true KR20210045746A (en) | 2021-04-27 |
| KR102247719B1 KR102247719B1 (en) | 2021-04-30 |
Family
ID=75725857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190129149A KR102247719B1 (en) | 2019-10-17 | 2019-10-17 | System that selectively transmit characters in real-time video |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102247719B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110092481A (en) * | 2010-02-09 | 2011-08-18 | 주식회사 팬택 | Apparatus having photograph function |
| KR20140063839A (en) * | 2011-12-16 | 2014-05-27 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | Automatic privacy management for image sharing networks |
| KR20150065045A (en) * | 2013-12-04 | 2015-06-12 | 엘지전자 주식회사 | Terminal and image photographing method |
| KR20170117786A (en) * | 2016-04-14 | 2017-10-24 | 이래오토모티브시스템 주식회사 | Celebrity Face Cut-out and Alternative Method that Appear in the Visual Media |
| JP2019092025A (en) * | 2017-11-14 | 2019-06-13 | 株式会社日立国際電気 | Editing system |
-
2019
- 2019-10-17 KR KR1020190129149A patent/KR102247719B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110092481A (en) * | 2010-02-09 | 2011-08-18 | 주식회사 팬택 | Apparatus having photograph function |
| KR20140063839A (en) * | 2011-12-16 | 2014-05-27 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | Automatic privacy management for image sharing networks |
| KR20150065045A (en) * | 2013-12-04 | 2015-06-12 | 엘지전자 주식회사 | Terminal and image photographing method |
| KR20170117786A (en) * | 2016-04-14 | 2017-10-24 | 이래오토모티브시스템 주식회사 | Celebrity Face Cut-out and Alternative Method that Appear in the Visual Media |
| JP2019092025A (en) * | 2017-11-14 | 2019-06-13 | 株式会社日立国際電気 | Editing system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102247719B1 (en) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109658572B (en) | Image processing method and device, electronic equipment and storage medium | |
| US7907165B2 (en) | Speaker predicting apparatus, speaker predicting method, and program product for predicting speaker | |
| KR101636716B1 (en) | Apparatus of video conference for distinguish speaker from participants and method of the same | |
| KR100669837B1 (en) | Extraction of foreground information for stereoscopic video coding | |
| JP2009510877A (en) | Face annotation in streaming video using face detection | |
| JP2006031678A (en) | Image processing | |
| GB2414615A (en) | Object detection, scanning and labelling | |
| KR20090111939A (en) | Method and apparatus for separating foreground and background from image, Method and apparatus for substituting separated background | |
| US11405584B1 (en) | Smart audio muting in a videoconferencing system | |
| KR101900471B1 (en) | Broadcasting system inserted user reaction effect | |
| CN111753783B (en) | Finger shielding image detection method, device and medium | |
| CN112307800A (en) | Method and device for displaying electronic nameplate in video conference | |
| CN114333853A (en) | Audio data processing method, equipment and system | |
| JP5088463B2 (en) | Monitoring system | |
| CN111832434A (en) | Campus smoking behavior recognition method under privacy protection and processing terminal | |
| KR102247719B1 (en) | System that selectively transmit characters in real-time video | |
| KR20180129339A (en) | Method for image compression and method for image restoration | |
| JPH07193748A (en) | Method and device for processing moving image | |
| CN112613483A (en) | Outdoor fire early warning method based on semantic segmentation and recognition | |
| Pingali et al. | Audio-visual tracking for natural interactivity | |
| KR102194511B1 (en) | Representative video frame determination system and method using same | |
| JP4434720B2 (en) | Intercom device | |
| JPS62209985A (en) | Video conference equipment | |
| JP3625935B2 (en) | Important image extracting apparatus and important image extracting method for moving images | |
| KR101688910B1 (en) | Method and apparatus for masking face by using multi-level face features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |