KR20230054988A - 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템 및 방법 - Google Patents

피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템 및 방법 Download PDF

Info

Publication number
KR20230054988A
KR20230054988A KR1020210138150A KR20210138150A KR20230054988A KR 20230054988 A KR20230054988 A KR 20230054988A KR 1020210138150 A KR1020210138150 A KR 1020210138150A KR 20210138150 A KR20210138150 A KR 20210138150A KR 20230054988 A KR20230054988 A KR 20230054988A
Authority
KR
South Korea
Prior art keywords
video
viewing
image
editing
images
Prior art date
Application number
KR1020210138150A
Other languages
English (en)
Other versions
KR102540893B1 (ko
Inventor
최동준
Original Assignee
주식회사 투익트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 투익트 filed Critical 주식회사 투익트
Priority to KR1020210138150A priority Critical patent/KR102540893B1/ko
Publication of KR20230054988A publication Critical patent/KR20230054988A/ko
Application granted granted Critical
Publication of KR102540893B1 publication Critical patent/KR102540893B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 일 실시예에 따른 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템은 동일한 공간 내에서 촬영위치 또는 촬영동선이 서로 다른 대상을 촬영하는 복수 개의 카메라의 촬영영상을 수신하는 영상수신부; 방송출연자를 식별하기 위한 식별 데이터(이름, 형상, 형상의 색 등)을 촬영영상에서 추출한 후, 방송출연자별로 식별코드와 연동하여 데이터베이스에 등록하는 형상인식 분석 및 등록부; 시청자 단말에서 선택한 시청방식을 수신하는 신호입력부; 상기 영상수신부에서 수신된 촬영영상을 상기 시청방식에 기초하여 상기 복수 개의 촬영영상을 다분할 영상 또는 선택적 분할 영상 또는 선택적 단일 영상으로 편집하는 영상편집부; 및 상기 영상편집부에서 편집된 영상을 상기 시청자 단말 또는 중계단말로 송출하는 영상송출부를 포함하는 멀티 소스 영상 서버를 포함하고, 상기 시청방식은 출연자 선택시청, 분할화면시청 또는 편집영상시청인 것을 특징으로 한다.

Description

피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템 및 방법{Internet broadcast studio systems and methods for providing multi-source images}
본 발명은 카메라가 촬영한 영상의 피사체를 구별 인식, 식별하여 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템 및 방법에 관한 것이다.
국내에서 수십만명의 BJ가 활동중이고, 1인 방송 컨텐츠 크리에이터는 각광받는 신규업종으로 자리매김하고 있는 추세이다.
아프리카 tv 자료에 의하면 일평균 동시방송수가 5000건에 이를 만큼 수많은 컨텐츠가 방송중에 있다. 다양한 1인 방송 미디어 컨텐츠를 소비하는 시청자는 편집자의 의도에 따라 편집된 내용을 일방적으로 시청하는 공중파 방송과 같은 수동적 시청 방식을 유지하고 있다.
공개특허공보 제10-2018-0092411호
본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있도록 출연자 등의 영상 피사체를 식별하여 카메라 선택이 아닌 출연자등의 피사체의 선택 시청이 가능하도록 하는 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템 및 방법을 제공하는 데 그 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템은 동일한 공간 내에서 촬영위치 또는 촬영동선이 서로 다른 대상을 촬영하는 복수 개의 카메라의 촬영영상을 수신하는 영상수신부; 방송출연자를 식별하기 위한 식별 데이터(이름, 형상, 형상의 색 등)을 촬영영상에서 추출한 후, 방송출연자별로 식별코드와 연동하여 데이터베이스에 등록하는 형상인식 분석 및 등록부; 시청자 단말에서 선택한 시청방식을 수신하는 신호입력부; 상기 영상수신부에서 수신된 촬영영상을 상기 시청방식에 기초하여 상기 복수 개의 촬영영상을 다분할 영상 또는 선택적 분할 영상 또는 선택적 단일 영상으로 편집하는 영상편집부; 및 상기 영상편집부에서 편집된 영상을 상기 시청자 단말 또는 중계단말로 송출하는 영상송출부를 포함하는 멀티 소스 영상 서버를 포함하고, 상기 시청방식은 출연자 선택시청, 분할화면시청 또는 편집영상시청인 것을 특징으로 한다.
일 실시예에서, 상기 식별 데이터는 신장, 체형, 의상색상, 의상스타일, 헤어스타일 중 적어도 하나 이상인 것을 특징으로 한다.
일 실시예에서, 상기 복수의 카메라 중 어느 하나의 메인 카메라이고, 나머지는 보조 카메라이고, 상기 영상편집부는 다분할 영상 또는 선택적 분할 영상을 편집시에 상기 메인 카메라의 촬영영상이 고정된 프레임에 배치되도록 편집하는 것을 특징으로 한다.
일 실시예에서, 상기 영상편집부는 상기 시청자 단말에서 시청방식에 대한 정보입력이 없을 경우, 편집영상시청으로 방송을 송출하는 것을 특징으로 한다.
일 실시예에서, 상기 시청자 단말에서 입력된 영상전환패턴에 기초하여 상기 영상편집부에서 편집된 다분할 영상 또는 선택적 분할 영상 또는 선택적 단일 영상을 기 설정된 시간 단위로 전환시키는 영상전환부를 더 포함한다.
일 실시예에서, 상기 시청자 단말은 수신되는 멀티영상 소스의 수, 영상분할 수, 상기 복수의 카메라의 촬영위치 또는 촬영동선을 표시하는 제1 사용자 인터페이스; 시청할 영상의 분할방식을 설정하기 위한 수단을 포함하는 제2 사용자 인터페이스; 해당 방송에 출연하는 출연자를 선택하기 위한 수단을 포함하는 제3 사용자 인터페이스; 선택된 영상들의 전환패턴을 설정하는 제4 인터페이스를 지원하는 영상시청 플랫폼을 실행하는 단말인 것을 특징으로 한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 방법은 시청자 단말에서 영상시청 플랫폼을 통해 방송 시스템에 접속하는 단계; 상기 시청자 단말에서 상기 영상시청 플랫폼을 이용하여 시청할 방송, 방송 출연자, 방송시청방식을 선택하는 단계; 멀티 소스 영상 서버에서 시청자 단말의 선택정보에 따라 영상을 편집하는 단계; 및 편집한 방송영상을 송출하는 단계를 포함한다.
일 실시예에서, 상기 영상을 편집하는 단계 이후, 상기 시청자 단말에서 입력된 영상전환패턴에 기초하여 상기 멀티 소스 영상 서버에서 편집된 다분할 영상 또는 선택적 분할 영상 또는 선택적 단일 영상을 기 설정된 시간 단위로 전환시키는 단계를 더 포함한다.
일 실시예에서, 상기 방송시청방식은 출연자 선택시청 또는 분할화면시청 또는 편집영상시청인 것을 특징으로 한다.
일 실시예에서, 상기 영상을 편집하는 단계는 다분할 영상 또는 선택적 분할 영상을 편집시에 상기 메인 카메라의 촬영영상이 고정된 프레임에 배치되도록 편집하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 영상을 편집하는 단계는 상기 시청자 단말에서 입력한 시청방식에 대한 정보입력이 없을 경우, 편집영상시청으로 방송을 송출하는 단계를 포함하는 것을 특징으로 한다.
따라서, 본 발명의 일 실시예에 따른 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템을 이용하면, BJ는 미디어 콘텐츠의 취합 및 분할, 편집을 위한 별도의 스튜디오 공간과 고가의 프로듀싱용 장비없이, 인터넷 방송 스튜디오 시스템을 활용하여 미디어 컨텐츠의 프로듀싱을 진행할 수 있고, 실시간 생방송 또는 편집 제작한 컨텐츠의 녹화방송을 송출할 수 있다는 이점이 있다.
또한, 시청자는 시청용 플레이어를 통해 복수의 영상을 하나의 화면으로 동시 시청을 하거나 또는 복수의 영상 중에 형상인식을 통한 특정 출연자의 영상을 선택하여 시청가능함에 따라 출연자, 방송환경, 상황 등 취향과 선호도에 맞는 영상을 취사선택할 수 있다는 이점이 있다.
또한, BJ의 현장 인터넷 생방송의 경우, 편집자의 프로듀싱 작성이 가능하고, 시청자는 프로듀싱 화면 시청 또는 직접 화면 선택 기능이 가능함으로 현장 방송 BJ
미디어 컨텐츠의 일방적, 수동적인 기존의 시청방식에서 주문형 선택적 시청방식으로의 개선된 미디어 컨텐츠 시청문화를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 라이브 스튜디오 시스템의 네트워크 구성도이다.
도 2는 도 1에 도시된 멀티 소스 영상 서버의 세부구성을 나타낸 블록도이다.
도 3은 도 2에 도시된 영상편집부에서 편집된 멀티 소스 영상이 시청자 단말에서 표시된 일 예시도이다.
도 4는 시청자 단말에서 1번 카메라를 시청한 예를 나타내 시청 화면이다.
도 5는 본 발명에서 제시하는 영상시청 플랫폼의 일 예시도이다.
도 6은 도 5에 도시된 영상시청 플랫폼의 세부 인터페이스의 예시도이다.
도 7은 본 발명의 일 실시예에 따른 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 방법을 설명한 흐름도이다.
도 8은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 멀티 소스 영상을 제공하는 인터넷 방송 시스템 및 방법을 보다 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 라이브 스튜디오 시스템의 네트워크 구성도이고, 도 2는 도 1에 도시된 멀티 소스 영상 서버의 세부구성을 나타낸 블록도이고, 도 3은 도 2에 도시된 영상편집부에서 편집된 멀티 소스 영상이 시청자 단말에서 표시된 일 예시도이고, 도 4는 시청자 단말에서 1번 카메라를 시청한 예를 나타내 시청 화면이고, 도 5는 본 발명에서 제시하는 영상시청 플랫폼의 일 예시도이고, 도 6은 도 5에 도시된 영상시청 플랫폼의 세부 인터페이스의 예시도이다.
먼저, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 제공 시스템(100)은 시청자 단말(200) 및 멀티 소스 영상 서버(300)를 포함한다.
상기 시청자 단말(200)과 멀티 소스 영상 서버(300)는 네트워크로 통신하며, 상기 네트워크는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다할 것이다.
또한, 상기 시청자 단말(200)은 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기(영상 캠, 콘솔 조작부 등)과 통신 연결한다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 각 단말(200, 400)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.
상기 시청자 단말(200)은 수신되는 멀티영상 소스의 수, 영상분할 수, 상기 복수의 카메라의 촬영위치 또는 촬영동선을 표시하는 제1 사용자 인터페이스(11), 시청할 영상의 분할방식을 설정하기 위한 수단을 포함하는 제2 사용자 인터페이스(12), 해당 방송에 출연하는 출연자를 선택하기 위한 수단을 포함하는 제3 사용자 인터페이스(13) 및 선택된 영상들의 전환패턴을 설정하는 제4 인터페이스(14)를 지원하는 영상시청 플랫폼(10)을 실행하는 단말일 수 있다.
상기 영상시청 플랫폼(10)은 네트워크를 통하여 시청자 단말(200)에 설치 또는 구동되는 애플리케이션, 프로그램, 웹 페이지 등을 포함할 수 있다.
여기서, 상기 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up languge)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다.
또한, 애플리케이션은 단말 상의 응용프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다. 앱(app)은 모바일 콘텐츠를 자유롭게 사고 파는 가상의 장터인 애플리케이션 마켓에서 다운로드 받아서 설치할 수 있다.
다음으로, 멀티 소스 영상 서버(300)는 시청자 단말(200)로 멀티 소스 영상을 다양한 화면구도로 표시되도록 제공하는 구성일 수 있다.
보다 구체적으로, 상기 멀티 소스 영상 서버(300)는 영상수신부(310), 형상인식 분석 및 등록부(320), 신호입력부(330), 영상편집부(340), 영상송출부(350) 및 영상전환부(360)를 포함한다.
상기 영상수신부(310)는 상기 동일한 공간 내에서 촬영위치 또는 촬영동선이 서로 다른 대상을 촬영하는 복수 개의 카메라의 촬영영상을 수신하는 구성일 수 있다.
상기 형상인식 분석 및 등록부(320)는 방송출연자를 식별하기 위한 식별 데이터(이름, 형상, 형상의 색 등)을 촬영영상에서 추출한 후, 방송출연자별로 식별코드와 연동하여 데이터베이스에 등록하는 구성일 수 있다. 상기 식별 데이터는 신장, 체형, 의상색상, 의상스타일, 헤어스타일 중 적어도 하나 이상일 수 있다.
상기 형상인식 분석 및 등록부(320)는 트랙킹(tracking) 알고리즘을 포함한다. 트랙킹 알고리즘은 객체 트랙킹 알고리즘을 포함한다.
즉, 객체 트랙킹 알고리즘은 움직이는 피사체의 움직임을 따라가기 위한 정보를 획득하는 알고리즘으로, 시청자가 지정한 방송출연자의 특정 피사체(예컨대, 신체부위(얼굴, 또는 얼굴 중에서도 입, 코 등등), 악세서리, 옷 등)의 적어도 하나의 특징점을 특정하고, 특정된 적어도 하나의 특징점의 움직임을 추적하는 프로그램일 수 있다.
상기 형상인식 및 등록부(320)는 시청자 단말에서 지정한 방송출연자의 식별 데이터를 입력받으면, 해당 식별 데이터와 관련된 피사체와 관련된 특징정보를 인식 및 등록하는 구성일 수 있다.
참고로, 영상에서 객체를 추적하거나 인식할 때, 영상과 영상을 매칭할 때 가장 일반적인 방법은 영상에서 주요 특징점(keypoint)을 뽑아서 매칭하는 것으로, 특징점은 keypoint 또는 interesting point라 명명된다.
영상에서 특징점을 추출하는 일반적인 방법은 SIFT, SURF, BRIEF, ORB, FREAK 등과 같은 지역적 불변 특징량(local invariant feature descriptor) 방법들을 이용하며, 해당 방법들의 특징점(keypoint)은 다음과 같이 구분할 수 있다.
지역 불변 특징량(descriptor)과 특징점(keypoint)을 서로 구분할 필요가 있는데 keypoint는 특징이 되는 점의 영상좌표 (x,y)를 의미하고(scale space까지 고려한다면 (x,y,s)), descriptor는 해당 keypoint 위치에서 추출한 지역적 영상 특징 정보(ex. gradient 분포 히스토그램 등)를 의미한다.
신호입력부(330)는 시청자 단말(200)에서 선택한 방송시청방식, 수신되는 멀티영상 소스의 수, 영상분할 수, 시청할 영상의 분할방식, 해당 방송에 출연하는 출연자들 중 하나를 선택한 선택정보, 선택된 영상들의 전환패턴 설정정보를 수신하는 구성일 수 있다.
영상편집부(340)는 상기 영상수신부(310)에서 수신된 촬영영상을 상기 방송시청방식에 기초하여 상기 복수 개의 촬영영상을 다분할 영상 또는 선택적 분할 영상 또는 선택적 단일 영상으로 편집하는 구성일 수 있다.
영상송출부(350)는 상기 영상편집부에서 편집된 영상을 상기 시청자 단말 또는 중계단말로 송출하는 구성일 수 있다.
한편, 영상수신부(310)로 전송하는 복수의 카메라 중 어느 하나의 메인 카메라이고, 나머지는 보조 카메라일 수 있고, 메인 카메라 및 보조 카메라의 위치정보는 채널 별로 저장 및 등록된다.
또한, 상기 영상편집부(340)는 다분할 영상 또는 선택적 분할 영상을 편집시에 상기 메인 카메라의 촬영영상이 고정된 프레임에 배치되도록 편집할 수 있다.
한편, 본 발명의 일 실시예에 따른 멀티 소스 영상 서버(300)는 상기 시청자 단말(200)에서 입력된 영상전환패턴에 기초하여 상기 영상편집부(340)에서 편집된 다분할 영상 또는 선택적 분할 영상 또는 선택적 단일 영상을 기 설정된 시간 단위로 전환시키는 영상전환부(360)를 더 포함할 수 있다.
도 7은 본 발명의 일 실시예에 따른 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 방법을 설명한 흐름도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방법 방법(S700)은 먼저, 시청자 단말(200)에서 영상시청 플랫폼을 통해 방송 시스템에 접속(S710)한 후, 상기 시청자 단말(200)에서 상기 영상시청 플랫폼을 이용하여 시청할 방송, 방송 출연자, 방송시청방식을 선택(S720)하고, 멀티 소스 영상 서버에서 시청자 단말의 선택정보에 따라 영상을 편집(S730)한 후, 편집한 방송영상을 송출(S740)하는 과정을 포함한다.
상기 S700 과정은 S710 과정 이후, 동일한 공간 내에서 촬영위치 또는 촬영동선이 서로 다른 대상을 촬영하는 복수 개의 카메라의 촬영영상 내에서 방송출연자를 식별하기 위한 이름, 형상이미지를 추출한 후, 등록하는 과정(S715)을 더 포함할 수 있고, 상기 형상이미지는 신장, 체형, 의상색상, 의상스타일, 헤어스타일 중 적어도 하나 이상일 수 있다.
상기 S715 과정은 방송출연자를 식별하기 위한 식별 데이터(이름, 형상, 형상의 색 등)을 촬영영상에서 추출한 후, 방송출연자별로 식별코드와 연동하여 데이터베이스에 등록하는 단계로서, 트랙킹(tracking) 알고리즘을 이용하여 움직이는 피사체의 움직임을 따라가기 위한 정보를 획득하고, 시청자가 지정한 방송출연자의 특정 피사체(예컨대, 신체부위(얼굴, 또는 얼굴 중에서도 입, 코 등등), 악세서리, 옷 등)의 적어도 하나의 특징점을 특정하고, 특정된 적어도 하나의 특징점의 움직임을 추적하는 과정을 포함한다.
즉, S715 과정은 시청자 단말에서 지정한 방송출연자의 식별 데이터를 입력받으면, 해당 식별 데이터와 관련된 피사체와 관련된 특징정보를 인식 및 등록하는 과정이다.
상기 S700 과정은 상기 영상을 편집하는 단계(S730) 이후, 상기 시청자 단말에서 입력된 영상전환패턴에 기초하여 상기 멀티 소스 영상 서버에서 편집된 다분할 영상 또는 선택적 분할 영상 또는 선택적 단일 영상을 기 설정된 시간 단위로 전환시키는 단계(S735)를 더 포함할 수 있다.
상기 방송시청방식은 출연자 선택시청 또는 분할화면시청 또는 편집영상시청일 수 있다.
상기 S730 과정은 다분할 영상 또는 선택적 분할 영상을 편집시에 상기 메인 카메라의 촬영영상이 고정된 프레임에 배치되도록 편집하는 단계를 포함할 수 있고, 상기 시청자 단말에서 입력한 시청방식에 대한 정보입력이 없을 경우, 편집영상시청으로 방송을 송출하는 과정일 수 있다.
따라서, 본 발명의 일 실시예에 따른 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템을 이용하면, BJ는 미디어 콘텐츠의 취합 및 분할, 편집을 위한 별도의 스튜디오 공간과 고가의 프로듀싱용 장비없이, 인터넷 방송 스튜디오 시스템을 활용하여 미디어 컨텐츠의 프로듀싱을 진행할 수 있고, 실시간 생방송 또는 편집 제작한 컨텐츠의 녹화방송을 송출할 수 있다는 이점이 있다.
또한, 시청자는 시청용 플레이어를 통해 복수의 영상을 하나의 화면으로 동시 시청을 하거나 또는 복수의 영상 중에 특정 영상을 선택하여 시청가능함에 따라 출연자, 방송환경, 상황 등 취향과 선호도에 맞는 영상을 취사선택할 수 있다는 이점이 있다.
또한, BJ의 현장 인터넷 생방송의 경우, 편집자의 프로듀싱 작성이 가능하고, 시청자는 프로듀싱 화면 시청 또는 직접 화면 선택 기능이 가능함으로 현장 방송 BJ
미디어 컨텐츠의 일방적, 수동적인 기존의 시청방식에서 주문형 선택적 시청방식으로의 개선된 미디어 컨텐츠 시청문화를 제공할 수 있다.
도 8은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.
컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다. 또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다.
여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다. 또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다.
여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다. 상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호접속될 수도 있다. 본 명세서에서 사용되는 "구성요소", "시스템" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다.
예를 들어, 구성요소는 프로세서상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템
200: 시청자 단말
300: 멀티 소스 영상 서버
310: 영상수신부
320: 형상인식 등록부
330: 신호입력부
340: 영상편집부
350: 영상송출부
360: 영상전환부
10: 영상시청 플랫폼
S700 : 형상인식 인터넷 방송 순서도

Claims (11)

  1. 동일한 공간 내에서 촬영위치 또는 촬영동선이 서로 다른 대상을 촬영하는 복수 개의 카메라의 촬영영상을 수신하는 영상수신부;
    방송출연자를 식별하기 위한 식별 데이터(이름, 형상, 형상의 색 등)을 촬영영상에서 추출한 후, 방송출연자별로 식별코드와 연동하여 데이터베이스에 등록하는 형상인식 분석 및 등록부;
    시청자 단말에서 선택한 시청방식을 수신하는 신호입력부;
    상기 영상수신부에서 수신된 촬영영상을 상기 시청방식에 기초하여 상기 복수 개의 촬영영상을 다분할 영상 또는 선택적 분할 영상 또는 선택적 단일 영상으로 편집하는 영상편집부; 및
    상기 영상편집부에서 편집된 영상을 상기 시청자 단말 또는 중계단말로 송출하는 영상송출부를 포함하는 멀티 소스 영상 서버를 포함하고,
    상기 시청방식은
    출연자 선택시청, 분할화면시청 또는 편집영상시청인 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템.
  2. 제1항에 있어서,
    상기 식별 데이터는
    신장, 체형, 의상색상, 의상스타일, 헤어스타일 중 적어도 하나 이상인 것을 특징으로 하는 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템.
  3. 제1항에 있어서,
    상기 복수의 카메라 중 어느 하나의 메인 카메라이고, 나머지는 보조 카메라이고,
    상기 영상편집부는
    다분할 영상 또는 선택적 분할 영상을 편집시에 상기 메인 카메라의 촬영영상이 고정된 프레임에 배치되도록 편집하는 것을 특징으로 하는 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템.
  4. 제1항에 있어서,
    상기 영상편집부는
    상기 시청자 단말에서 시청방식에 대한 정보입력이 없을 경우, 편집영상시청으로 방송을 송출하는 피사체 형상인식 기반의 멀티소스 영상을 제공하는 인터넷 방송 스튜디오 시스템.
  5. 제1항에 있어서,
    상기 시청자 단말에서 입력된 영상전환패턴에 기초하여 상기 영상편집부에서 편집된 다분할 영상 또는 선택적 분할 영상 또는 선택적 단일 영상을 기 설정된 시간 단위로 전환시키는 영상전환부를 더 포함하는 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템.
  6. 제1항에 있어서,
    상기 시청자 단말은
    수신되는 멀티영상 소스의 수, 영상분할 수, 상기 복수의 카메라의 촬영위치 또는 촬영동선을 표시하는 제1 사용자 인터페이스;
    시청할 영상의 분할방식을 설정하기 위한 수단을 포함하는 제2 사용자 인터페이스;
    해당 방송에 출연하는 출연자를 선택하기 위한 수단을 포함하는 제3 사용자 인터페이스;
    선택된 영상들의 전환패턴을 설정하는 제4 인터페이스를 지원하는 영상시청 플랫폼을 실행하는 단말인 것을 특징으로 하는 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템.
  7. 시청자 단말에서 영상시청 플랫폼을 통해 방송 시스템에 접속하는 단계;
    상기 시청자 단말에서 상기 영상시청 플랫폼을 이용하여 시청할 방송, 방송 출연자, 방송시청방식을 선택하는 단계; 및
    멀티 소스 영상 서버에서 시청자 단말의 선택정보에 따라 촬영영상을 편집하는 단계;
    편집한 방송영상을 송출하는 단계를 포함하는 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 방법.
  8. 제7항에 있어서,
    상기 영상을 편집하는 단계 이후,
    상기 시청자 단말에서 입력된 영상전환패턴에 기초하여 상기 멀티 소스 영상 서버에서 편집된 다분할 영상 또는 선택적 분할 영상 또는 선택적 단일 영상을 기 설정된 시간 단위로 전환시키는 단계를 더 포함하는 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 방법.
  9. 제7항에 있어서,
    상기 방송시청방식은
    출연자 선택시청 또는 분할화면시청 또는 편집영상시청인 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 방법.
  10. 제7항에 있어서,
    상기 영상을 편집하는 단계는
    다분할 영상 또는 선택적 분할 영상을 편집시에 상기 메인 카메라의 촬영영상이 고정된 프레임에 배치되도록 편집하는 단계를 포함하는 것을 특징으로 하는 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 방법.
  11. 제7항에 있어서,
    상기 영상을 편집하는 단계는
    상기 시청자 단말에서 입력한 시청방식에 대한 정보입력이 없을 경우, 편집영상시청으로 방송을 송출하는 피사체 형상인식 기반의 멀티소스 영상을 제공하는 인터넷 방송 방법.
KR1020210138150A 2021-10-18 2021-10-18 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템 및 방법 KR102540893B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210138150A KR102540893B1 (ko) 2021-10-18 2021-10-18 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210138150A KR102540893B1 (ko) 2021-10-18 2021-10-18 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20230054988A true KR20230054988A (ko) 2023-04-25
KR102540893B1 KR102540893B1 (ko) 2023-06-12

Family

ID=86101750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210138150A KR102540893B1 (ko) 2021-10-18 2021-10-18 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102540893B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990068367A (ko) * 1999-04-29 1999-09-06 제영도,노창영 복합형폐쇄회로카메라모니터링장치
KR20090041655A (ko) * 2007-10-24 2009-04-29 주식회사 디엠유 다중분할화면 영상 자동전환 시스템
KR20090068711A (ko) * 2007-12-24 2009-06-29 이원일 방송카메라와 연동된 주문형 방송서비스시스템 및 그 방법
KR20120044821A (ko) * 2010-10-28 2012-05-08 엘지이노텍 주식회사 복수의 네트워크 카메라로부터의 영상 제어 방법 및 네트워크 카메라
KR20120054971A (ko) * 2010-11-22 2012-05-31 엘지이노텍 주식회사 네트워크 카메라 및 이를 이용한 대상 추적 방법
KR20180092411A (ko) 2017-02-09 2018-08-20 주식회사 아프리카티비 다원 방송 송출 방법 및 장치
KR20200116378A (ko) * 2019-04-01 2020-10-12 주식회사 케이티 복수의 방송 채널의 영상을 표시하는 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990068367A (ko) * 1999-04-29 1999-09-06 제영도,노창영 복합형폐쇄회로카메라모니터링장치
KR20090041655A (ko) * 2007-10-24 2009-04-29 주식회사 디엠유 다중분할화면 영상 자동전환 시스템
KR20090068711A (ko) * 2007-12-24 2009-06-29 이원일 방송카메라와 연동된 주문형 방송서비스시스템 및 그 방법
KR20120044821A (ko) * 2010-10-28 2012-05-08 엘지이노텍 주식회사 복수의 네트워크 카메라로부터의 영상 제어 방법 및 네트워크 카메라
KR20120054971A (ko) * 2010-11-22 2012-05-31 엘지이노텍 주식회사 네트워크 카메라 및 이를 이용한 대상 추적 방법
KR20180092411A (ko) 2017-02-09 2018-08-20 주식회사 아프리카티비 다원 방송 송출 방법 및 장치
KR20200116378A (ko) * 2019-04-01 2020-10-12 주식회사 케이티 복수의 방송 채널의 영상을 표시하는 장치 및 방법

Also Published As

Publication number Publication date
KR102540893B1 (ko) 2023-06-12

Similar Documents

Publication Publication Date Title
CN110602554B (zh) 封面图像确定方法、装置及设备
CN111739027B (zh) 一种图像处理方法、装置、设备及可读存储介质
KR20170016961A (ko) 텔레비전 채널 정보를 식별하기 위한 방법 및 장치
CN106462766A (zh) 在预览模式中进行图像捕捉参数调整
CN108236784B (zh) 模型的训练方法和装置、存储介质、电子装置
CN108713322A (zh) 具有可选标记覆盖辅助图片的视频
CN202998337U (zh) 视频节目识别系统
CN105933738B (zh) 视频直播方法、装置和系统
US9196154B2 (en) Method and electronic device for controlling display device using watermark
US11748955B2 (en) Network-based spatial computing for extended reality (XR) applications
CN110149551B (zh) 媒体文件播放方法和装置、存储介质及电子装置
CN104284234B (zh) 多个终端间共享同步图像的方法及系统
KR20210087001A (ko) 이미지 심사 방법, 장치, 전자 기기 및 저장 매체
CN104837065B (zh) 电视终端与移动终端间的二维码信息共享方法及系统
US9986066B2 (en) Collective output system, collective output method and terminal device
KR102540893B1 (ko) 피사체 형상인식 기반의 멀티 소스 영상을 제공하는 인터넷 방송 스튜디오 시스템 및 방법
CN109769130A (zh) 基于收视大数据的遥控器个性化设置方法及系统
CN108320331B (zh) 一种生成用户场景的增强现实视频信息的方法与设备
CN104185069A (zh) 一种台标识别方法及其识别系统
JP6246441B1 (ja) 画像解析システム、画像解析方法、およびプログラム
KR20190028046A (ko) 증강현실을 이용한 역사 공부 방법
CN110673737A (zh) 基于智能家居操作系统的显示内容的调整方法及装置
WO2023078281A1 (zh) 图片处理方法、装置、设备、存储介质和程序产品
CN112967194B (zh) 目标图像生成方法及装置、计算机可读介质和电子设备
CN113709584B (zh) 视频划分方法、装置、服务器、终端及存储介质

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right