KR20220104434A - 인물 별 직캠 영상 제작 방법 및 서비스 서버 - Google Patents

Abstract

본 발명의 일 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법은 (a) 서비스 서버가 카메라로부터 수신한 영상을 인코딩하여 저장하는 단계, (b) 상기 서비스 서버가 상기 인코딩하여 저장한 영상을 프레임 단위로 추출하는 단계, (c) 상기 서비스 서버가 상기 프레임 단위로 추출한 영상에서 인물 프레임을 추출하고, 상기 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 좌표 박스를 추출하는 단계, (d) 상기 서비스 서버가 상기 추출한 인물 프레임에서 상기 추출한 좌표 박스의 이동을 추적하는 단계 및 (e) 상기 서비스 서버가 상기 추적한 좌표 박스의 이동을 상기 특정 아티스트 멤버에 대한 직캠 영상으로 제작하는 단계를 포함한다.

Description

인물 별 직캠 영상 제작 방법 및 서비스 서버{METHOD FOR GENERATING FANCAM VIDEO FOR EACH PERSON AND SERVICE SERVER THEREOF}

본 발명은 인물 별 직캠 영상 제작 방법 및 서비스 서버에 관한 것이다. 보다 자세하게는 스테이지 전체를 촬영한 영상을 사용하여 멤버 별 직캠 영상을 제작할 수 있는 인물 별 직캠 영상 제작 방법 및 서비스 서버에 관한 것이다.

자신이 좋아하는 아티스트의 영상만을 보고 싶어하는 팬심이 늘어남에 따라 이를 반영한 직캠 영상이 활발하게 제작되고 있으며, 여러 아티스트 멤버를 포함하는 아티스트 그룹의 경우, 해당 아티스트 그룹에 속한 특정 아티스트 멤버의 직캠 영상이 유명세를 타면서 그룹 자체가 인기를 얻는 현상도 빈번하게 발생하는바, 팬들과 아티스트 모두에게 있어서 직캠 영상은 매우 중요한 요소로 작용하고 있다.

기존의 직캠 영상의 제작 방식은 크게 두 가지였던바, 하나는 팬들 스스로 자신이 좋아하는 아티스트의 영상을 카메라, 스마트폰 등으로 직접 촬영하여 제작하는 방식이며, 다른 하나는 방송국이나 아티스트가 속한 기획사에서 스테이지 앞에 아티스트 멤버의 수에 대응하는 카메라를 설치하고 카메라 감독을 일일이 배치해 특정 아티스트 멤버만을 촬영한 영상을 제작하는 방식이다.

그러나 전자는 팬의 촬영 위치가 스테이지로부터 멀리 떨어져 있는 경우가 대부분이기에 카메라, 스마트폰 등을 무리하게 확대하여 촬영함으로써 영상의 화질이 떨어지고 흔들림이 심해 제작된 직캠 영상의 품질이 열악함과 동시에 아티스트에게 열광하고 있는 사이 아티스트가 영상 속에서 벗어나게 되는 경우가 빈번하다는 문제점이 있으며, 후자는 스테이지 바로 앞에서 전문가들에 의해 촬영을 진행하기 때문에 전자와 같은 문제점은 거의 발생하지 않으나 아티스트 멤버의 수에 대응하는 카메라 그리고 카메라 감독의 수 역시 이에 대응되어야 하므로 직캠 영상 제작에 과다한 비용이 소모된다는 문제점이 있다.

이러한 기존 직캠 영상 제작 방식의 문제점에도 불구하고 직캠 영상은 나날이 다량으로 제작되고 있으며, 이러한 추세는 앞으로도 계속될 것으로 예상되기에 팬들의 입장에서 고품질의 직캠 영상을 즐길 수 있는, 방송국이나 아티스트가 속한 기획사의 입장에서 합리적인 비용으로 직캠 영상을 제작할 수 있는 새롭고 혁신적인 기술이 요구된다. 본 발명은 이에 관한 것이다.

대한민국 공개특허공보 제10-2019-0123993호(2019.11.04)

본 발명이 해결하고자 하는 기술적 과제는 팬들의 입장에서 힘들게 직접 촬영하고 편집하여 열악한 품질의 직캠 영상을 제작함이 없이, 고품질의 직캠 영상을 손쉽게 즐길 수 있는 인물 별 직캠 영상 제작 방법 및 서비스 서버를 제공하는 것이다.

본 발명에 해결하고자 하는 또 다른 기술적 과제는 방송국이나 아티스트가 속한 기획사의 입장에서 아티스트 멤버의 수에 대응하는 카메라와 카메라 감독을 배치하지 않고도 합리적인 비용으로 직캠 영상을 제작할 수 있는 인물 별 직캠 영상 제작 방법 및 서비스 서버를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법은 (a) 서비스 서버가 카메라로부터 수신한 영상을 인코딩하여 저장하는 단계, (b) 상기 서비스 서버가 상기 인코딩하여 저장한 영상을 프레임 단위로 추출하는 단계, (c) 상기 서비스 서버가 상기 프레임 단위로 추출한 영상에서 인물 프레임을 추출하고, 상기 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 좌표 박스를 추출하는 단계, (d) 상기 서비스 서버가 상기 추출한 인물 프레임에서 상기 추출한 좌표 박스의 이동을 추적하는 단계 및 (e) 상기 서비스 서버가 상기 추적한 좌표 박스의 이동을 상기 특정 아티스트 멤버에 대한 직캠 영상으로 제작하는 단계를 포함한다.

일 실시 예에 따르면, 상기 카메라는, 스테이지(Stage) 전체를 촬영하는 고정되어 설치된 4K 또는 8K 카메라일 수 있다.

일 실시 예에 따르면, 상기 (a) 단계 및 (b) 단계 사이에, (a′) 상기 인코딩하여 저장한 영상의 화질을 저화질로 낮추는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 (b) 단계 및 (c) 단계 사이에, (b′) 상기 프레임 단위로 추출한 영상이 포함하는 아티스트 명칭, 멤버 수 및 영상 사이즈 중 어느 하나 이상을 관리자로부터 선택 받는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 (b) 단계 및 (c) 단계 사이에, (b′′) 상기 프레임 단위로 추출한 영상의 상단 일부 및 하단 일부 중 어느 하나 이상을 제거하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 (b) 단계 및 (c) 단계 사이에, (b′′′) 상기 프레임 단위로 추출한 영상에서 아티스트 멤버를 제외한 오브젝트를 관리자로부터 선택 받아 제거하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 (c) 및 (d) 단계 사이에, (c′) 상기 추출한 좌표 박스의 개수가 전체 아티스트 멤버의 수와 동일한지 판단하는 단계 및 (c′′) 상기 (c′) 단계의 판단 결과, 상기 추출한 좌표 박스의 개수가 전체 아티스트 멤버의 수와 동일하지 않다면, 상기 (c) 단계로 회귀하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 (d) 단계와 (e) 단계 사이에, (d′) 상기 이동을 추적한 좌표 박스가 포함하는 특정 아티스트 멤버와 상이한 아티스트 멤버가 상기 이동을 추적한 좌표 박스에 포함되는지 판단하는 단계 및 (d′′) 상기 (d′) 단계의 판단 결과, 상기 이동을 추적한 좌표 박스가 포함하는 특정 아티스트 멤버와 상이한 아티스트 멤버가 상기 이동을 추적한 좌표 박스에 포함된다면, 상기 (c) 단계로 회귀하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 (d) 단계와 (e) 단계 사이에, (d′) 상기 이동을 추적한 좌표 박스가 포함하는 특정 아티스트 멤버와 상이한 아티스트 멤버가 상기 이동을 추적한 좌표 박스에 포함되는지 판단하는 단계 및 (d′′′) 상기 (d′) 단계의 판단 결과, 상기 이동을 추적한 좌표 박스가 포함하는 특정 아티스트 멤버와 상이한 아티스트 멤버가 상기 이동을 추적한 좌표 박스에 포함된다면, 상기 관리자로부터 상기 특정 아티스트 멤버를 선택 받아 상기 이동을 추적한 좌표 박스가 포함하는 상이한 아티스트 멤버와 교체하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 (d) 단계 및 (e) 단계 사이에, (d′) 상기 추적한 좌표 박스의 이동이 포함하는 특정 아티스트 멤버를 RTMP(Real Time Messaging Protocol)로 송출하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 (d′) 단계에서의 좌표 박스는, 시각적으로 출력되지 않을 수 있다.

일 실시 예에 따르면, 상기 서비스 서버는, 상기 좌표 박스에 상기 특정 아티스트 멤버의 인식률을 0 내지 1 중 어느 하나의 숫자로 병기하여 출력할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시 예에 따른 서비스 서버는 하나 이상의 프로세서, 네트워크 인터페이스, 상기 프로세서에 의해 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 대용량 네트워크 데이터 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은 상기 하나 이상의 프로세서에 의해, (A) 카메라로부터 수신한 영상을 인코딩하여 저장하는 오퍼레이션, (B) 상기 인코딩하여 저장한 영상을 프레임 단위로 추출하는 오퍼레이션, (C) 상기 프레임 단위로 추출한 영상에서 인물 프레임을 추출하고, 상기 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 좌표 박스를 추출하는 오퍼레이션, (D) 상기 추출한 인물 프레임에서 상기 추출한 좌표 박스의 이동을 추적하는 오퍼레이션 및 (E) 상기 추적한 좌표 박스의 이동을 상기 특정 아티스트 멤버에 대한 직캠 영상으로 제작하는 오퍼레이션을 실행한다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시 예에 따른 매체에 저장된 컴퓨터 프로그램은 컴퓨팅 장치와 결합하여 (AA) 카메라로부터 수신한 영상을 인코딩하여 저장하는 단계, (BB) 상기 인코딩하여 저장한 영상을 프레임 단위로 추출하는 단계, (CC) 상기 프레임 단위로 추출한 영상에서 인물 프레임을 추출하고, 상기 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 좌표 박스를 추출하는 단계, (DD) 상기 추출한 인물 프레임에서 상기 추출한 좌표 박스의 이동을 추적하는 단계 및 (EE) 상기 추적한 좌표 박스의 이동을 상기 특정 아티스트 멤버에 대한 직캠 영상으로 제작하는 단계를 실행한다.

상기와 같은 본 발명에 따르면, 팬들이 입장에서 힘들게 직접 촬영하고 편집하여 열악한 품질의 직캠 영상을 제작함이 없이, 서비스 서버만 구비하면 고품질의 직캠 영상을 자동으로 제작할 수 있기에 팬들의 노력과 수고가 획기적으로 줄어들 수 있다는 효과가 있다.

또한, 고정 설치되어 스테이지 전체를 촬영하는 한 대의 카메라로부터 영상을 수신하기만 하면 서비스 서버가 직캠 영상을 자동으로 제작할 수 있는바, 아티스트 멤버의 수에 대응하는 카메라와 카메라 감독의 배치가 요구되지 않으므로 합리적인 비용으로 직캠 영상을 제작할 수 있다는 효과가 있다.

또한, 카메라로부터 수신한 영상의 화질을 저화질로 낮춘 후에 후속적인 과정을 수행하는바, 서비스 서버의 과부화를 방지함과 동시에 특정 아티스트 멤버의 이동의 추적이 보다 효율적으로 진행될 수 있다는 효과가 있다.

또한, 아티스트 명칭, 멤버 수 및 영상 사이즈 중 어느 하나 이상을 관리자로부터 선택 받는 바, 제작된 직캠 영상의 네이밍 또는 업로드 과정에서 이용될 수 있으며, 멤버 수의 경우 좌표 박스 추출의 검증에 이용될 수 있다는 효과가 있다.

또한, 프레임 단위로 추출한 영상의 상단 일부 및 하단 일부 중 어느 하나 이상을 제거하고, 동적 객체인 아티스트 멤버의 인식 이전에 아티스트 멤버를 제외한 오브젝트를 관리자로부터 직접 선택 받아 제거할 수 있는바, 동적 객체의 인식이 보다 효율적으로 수행될 수 있다는 효과가 있다.

또한, 아티스트 멤버의 추적 과정에서 좌표 박스에 상이한 아티스트 멤버가 포함되는지 판단하고 이를 해결하기 위해 좌표 박스 추출 단계로 회귀하거나 관리자로부터 올바른 아티스트 멤버를 선택 받아 교체하는바, 특정 아티스트만을 담은 양질의 직캠 영상을 제공할 수 있다는 효과가 있다.

또한, 좌표 박스의 이동이 포함하는 특정 아티스트 멤버를 RTMP로 송출하는바, 팬들의 입장에서 현장감 있는 직캠 영상을 즐길 수 있으며, 소정의 지연 시간을 두고 RTMP로 송출할 수도 잇는바, 아티스트 멤버의 인식 및 추적 과정에서 발생한 의도치 않은 오류 및 이에 대한 해결 과정을 제외시킨 온전한 상태의 직캠 영상을 팬들에게 제공할 수 있다는 효과가 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.

도 1은 본 발명의 제1 실시 예에 따른 서비스 서버가 포함하는 전체 구성을 나타낸 도면이다.
도 2는 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.
도 3은 관리자의 컴퓨터에 출력되는 좌표 박스와 인식률을 예시적으로 도시한 도면이다.
도 4는 관리자의 컴퓨터에 출력되는 특정 아티스트 멤버를 포함하는 좌표 박스의 이동 추적 모습을 예시적으로 도시한 도면이다.
도 5는 본 발명의 제3 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.
도 6은 본 발명의 제4 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.
도 7은 도 3에 도시된 도면에서 상단 및 하단이 모두가 제거되어 출력되는 모습을 예시적으로 도시한 도면이다.
도 8은 관리자의 컴퓨터에 출력되는 관리자 인터페이스를 예시적으로 도시한 도면이다.
도 9는 본 발명의 제5 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.
도 10 은 본 발명의 제6-1 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.
도 11은 본 발명의 제6-2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.
도 12는 본 발명의 제7 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

본 명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 제1 실시 예에 따른 서비스 서버(100)와 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법에 대하여 설명하도록 한다. 본 발명은 2차원 코드에 보다 심도 있는 기능으로서 단순히 정보를 불러오는 것에서 더 나아가, 2차원 코드에 특정 행위를 부여함으로써 산업 현장에서 다양한 용도로 활용할 수 있도록 하고자 한다.

도 1은 본 발명의 제1 실시 예에 따른 서비스 서버(100)가 포함하는 전체 구성을 나타낸 도면이다.

그러나 이는 본 발명의 목적을 달성하기 위한 바람직한 실시 예일 뿐이며, 필요에 따라 일부 구성이 추가되거나 삭제될 수 있고, 어느 한 구성이 수행하는 역할을 다른 구성이 함께 수행할 수도 있음은 물론이다.

본 발명의 제1 실시 예에 따른 서비스 서버(100)는 프로세서(10), 네트워크 인터페이스(20), 메모리(30), 스토리지(40) 및 이들을 연결하는 데이터 버스(50)를 포함할 수 있으며, 인하우스 시스템 및 공간 임대형 시스템 등과 같은 유형의 물리적인 서버 또는 무형의 클라우드(Cloud) 서버 등과 같이 실질적인 구현 형태는 어느 것이라도 무방하다.

프로세서(10)는 각 구성의 전반적인 동작을 제어한다. 프로세서(10)는 CPU(Central Processing Unit), MPU(Micro Processer Unit), MCU(Micro Controller Unit) 또는 본 발명이 속하는 기술 분야에서 널리 알려져 있는 형태의 프로세서 중 어느 하나일 수 있다. 아울러, 프로세서(10)는 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법을 수행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.

네트워크 인터페이스(20)는 본 발명의 제1 실시 예에 따른 서비스 서버(100)의 유무선 인터넷 통신을 지원하며, 그 밖의 공지의 통신 방식을 지원할 수도 있다. 따라서 네트워크 인터페이스(20)는 그에 따른 통신 모듈을 포함하여 구성될 수 있다.

메모리(30)는 각종 정보, 명령 및/또는 정보를 저장하며, 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법을 수행하기 위해 스토리지(40)로부터 하나 이상의 컴퓨터 프로그램(41)을 로드할 수 있다. 도 1에서는 메모리(30)의 하나로 RAM을 도시하였으나 이와 더불어 다양한 저장 매체를 메모리(30)로 이용할 수 있음은 물론이다.

스토리지(40)는 하나 이상의 컴퓨터 프로그램(41) 및 대용량 네트워크 정보(42)를 비임시적으로 저장할 수 있다. 이러한 스토리지(40)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 널리 알려져 있는 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체 중 어느 하나일 수 있다.

컴퓨터 프로그램(41)은 메모리(30)에 로드되어, 하나 이상의 프로세서(10)가 (A) 카메라로부터 수신한 영상을 인코딩하여 저장하는 오퍼레이션, (B) 상기 인코딩하여 저장한 영상을 프레임 단위로 추출하는 오퍼레이션, (C) 상기 프레임 단위로 추출한 영상에서 인물 프레임을 추출하고, 상기 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 박스(Box)의 좌표를 추출하는 오퍼레이션, (D) 상기 추출한 인물 프레임에서 상기 추출한 좌표 박스 이동을 추적하는 오퍼레이션 및 (E) 상기 추적한 좌표 박스 이동을 상기 특정 아티스트 멤버에 대한 직캠 영상으로 제작하는 오퍼레이션을 실행할 수 있다.

지금까지 간단하게 언급한 컴퓨터 프로그램(41)이 수행하는 오퍼레이션은 컴퓨터 프로그램(41)의 일 기능으로 볼 수 있으며, 보다 자세한 설명은 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법에 대한 설명에서 후술하도록 한다.

데이터 버스(50)는 이상 설명한 프로세서(10), 네트워크 인터페이스(20), 메모리(30) 및 스토리지(40) 사이의 명령 및/또는 정보의 이동 경로가 된다.

이상 설명한 본 발명의 제1 실시 예에 따른 서비스 서버(100)는 관리 권한을 보유한 관리자가 자신의 업무용 또는 개인용 컴퓨터 등을 통해 원격에서 접속할 수 있으며, 이 경우 관리자의 컴퓨터 등에는 인물 별 직캠 영상 제작을 관리하는 관리자 인터페이스(Interface)가 출력될 수 있으나, 이에 대해서는 후술하도록 한다.

이하, 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법에 대하여 도 2 내지 도 4를 참조하여 설명하도록 한다.

도 2는 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.

그러나 이는 본 발명의 목적을 달성함에 있어서 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 추가 또는 삭제될 수 있음은 물론이며, 어느 한 단계가 다른 단계에 포함되어 수행될 수도 있다.

우선, 서비스 서버(100)가 카메라(미도시)로부터 수신한 영상을 인코딩하여 저장한다(S210).

여기서 카메라(미도시)는 스테이지 전체가 한 화면에 들어오도록 촬영하는 4K 또는 8K 카메라 한 대 일 수 있으며, 스테이지 앞에 고정되어 설치될 수 있다.

이러한 카메라(미도시)는 통신 모듈을 포함함으로써 촬영한 영상을 서비스 서버(100)에 실시간으로 송신할 수 있는바, 서비스 서버(100)의 위치에 따라 유선으로 연결되어 영상을 송신하거나, 무선으로 연결되어 영상을 송신할 수도 있을 것이며, 후자의 경우 고화질 영상의 용량으로 인해 대용량 데이터를 신속하게 송신할 수 있는 5G 네트워크를 이용함이 바람직하다 할 것이다.

한편, 수신한 영상을 인코딩하여 저장하는 것은 영상을 처리 및 관리하는 통상적인 서버가 수행하는 인코딩 및 저장에 대한 공지 기술이 적용될 수 있으므로 자세한 설명은 생략하도록 한다.

카메라(미도시)로부터 수신한 영상을 인코딩하여 저장했다면, 서비스 서버(100)가 인코딩하여 저장한 영상을 프레임 단위로 추출한다(S220).

여기서 인코딩하여 저장한 영상을 프레임 단위로 추출함은 직캠 영상을 제작하고자 하는 인물, 보다 구체적으로 특정 아티스트 멤버를 추출하기 위한 영상 처리의 시작 단계로 볼 수 있으며, 프레임 추출에 대한 공지 기술이 적용될 수 있으므로 자세한 설명은 생략하도록 한다.

인코딩하여 저장한 영상을 프레임 단위로 추출했다면, 서비스 서버(100)가 프레임 단위로 추출한 영상에서 인물 프레임을 추출하고, 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 좌표 박스(Box)를 추출한다(S230).

이러한 S230 단계에서 인물 프레임을 추출하거나, 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 좌표 박스를 추출함에 있어서는 인공지능 객체 인식 기술, 보다 구체적으로 동적 객체 인식 기술이 적용되어야 하는바, 이를 위해 서비스 서버(100)가 포함하는 프로세서(10)에 이를 위한 알고리즘이 탑재되어 있을 수 있다.

조금 더 구체적으로 설명하면, 서비스 서버(100)가 인물 프레임을 추출하고 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 좌표 박스를 추출하기 위해 프레임 단위로 추출한 영상에서 특징점(Feature Point)을 추출하고, 이로부터 모션 벡터(Motion Vector)를 추출하여 모션 맵(Motion Map)을 생성한 뒤, 모션 벡터의 방향 및 강도에 따라 클러스터링(Clustering)한 후, 배경과 대비되는 오브젝트(Object)의 모션 구분을 통해 스테이지 위에서 움직이는 특정 아티스트 멤버를 인식할 수 있으며, 좌표 박스는 인식한 특정 아티스트 멤버를 내부에 포함할 수 있을 정도로 생성할 수 있다.

한편, 직캠 영상은 1명의 아티스트 멤버만 포함되도록 제작하는 것이 일반적이며, 해당 아티스트 멤버가 속한 아티스트 그룹이 복수 명의 아티스트 멤버를 포함하는 경우 S230 단계가 어떠한 방식으로 수행되는지 설명해야 하는바, 앞서 설명했듯이 서비스 서버(100)에 영상을 송신하는 카메라(미도시)가 스테이지 전체를 촬영하기에, 촬영한 영상 내에는 모든 아티스트 멤버들이 포함되어 있을 것이기 때문이다.

아티스트 그룹이 복수 명의 아티스트 멤버를 포함하는 경우, 서비스 서버(100)는 특정 아티스트 멤버를 포함하는 좌표 박스를 아티스트 멤버의 수만큼 추출한다. 예를 들어, A라는 그룹의 멤버가 a, b, c, d, e 5명인 경우, 아티스트 멤버 a를 포함하는 좌표 박스, 아티스트 멤버 b를 포함하는 좌표 박스, 아티스트 멤버 c를 포함하는 좌표 박스, 아티스트 멤버 d를 포함하는 좌표 박스, 아티스트 멤버 e를 포함하는 좌표 박스가 개별적으로 추출될 수 있으며, 그 전제는 서비스 서버(100)가 5개의 동적 객체를 인식했다는 것이 될 것이다.

한편, 서비스 서버(100)는 좌표 박스를 추출함에 있어서 해당 좌표 박스가 포함하는 특정 아티스트 멤버의 인식률을 0 내지 1 중 어느 하나의 숫자로 병기하여 출력할 수 있는바, 0에 가까울수록 해당 아티스트 멤버의 인식률이 낮고, 1에 가까울수록 해당 아티스트 멤버의 인식률이 높을 것이며, 이를 통해 관리자의 입장에서 서비스 서버(100)에 따른 특정 아티스트 멤버의 인식률을 실시간으로 확인할 수 있다는 장점을 얻을 수 있다.

도 3에는 관리자의 컴퓨터에 출력되는 좌표 박스와 인식률을 예시적으로 도시한바, 7명의 아티스트 멤버 각각을 포함하는 7개의 좌표 박스가 왼쪽 상단 모서리에 인식률과 함께 출력되고 있음을 확인할 수 있다.

특정 아티스트 멤버를 포함하는 좌표 박스를 추출했다면, 서비스 서버(100)가 추출한 인물 프레임에서 추출한 좌표 박스의 이동을 추적한다(S240).

여기서 좌표 박스의 이동을 추적한다 함은 해당 좌표 박스가 포함하는 특정 아티스트 멤버의 이동을 추적하는 것으로 볼 수 있는바, 좌표 박스의 이동을 추적함에 있어서는 앞서 S230 단계에서 언급한 모션 벡터의 방향 및 강도를 해당 좌표 박스가 포함하는 특정 아티스트 멤버에게 적용하여 그 이동을 추적할 수 있다.

도 4에는 관리자의 컴퓨터에 출력되는 특정 아티스트 멤버를 포함하는 좌표 박스의 이동 추적 모습을 예시적으로 도시한바, 격동적인 움직임이나 뒤로 도는 안무, 다른 아티스트 멤버에게 가려짐 등으로 인해 의도치 않게 좌표 박스가 특정 아티스트 멤버를 놓치는 경우가 발생할 수 있으며, 이에 대해서는 후술하도록 한다.

좌표 박스의 이동까지 추적했다면, 서비스 서버(100)가 추적한 좌표 박스의 이동을 특정 아티스트 멤버에 대한 직캠 영상으로 제작한다(S250).

여기서 제작은 생성의 의미를 포함하고 있으며, 추적한 좌표 박스의 이동은 앞서 도 4에서 예시적으로 도시한 4장의 화면 내에 순차적으로 포함된 좌표 박스의 이동을 의미하는바, 이를 직캠 영상으로 제작하면 해당 좌표 박스가 포함하는 특정 아티스트 멤버에 대한 직캠 영상, 일종의 VOD가 제작될 수 있다.

이는 추적한 좌표 박스에는 특정 아티스트 멤버만이 포함되기 때문이며, 좌표 박스의 이동에 따라 일부 프레임에는 다른 아티스트 멤버가 포함될 여지도 있으나 영상의 중심 인물이 특정 아티스트 멤버이기 때문이다.

한편, 서비스 서버(100)가 특정 아티스트 멤버에 대한 직캠 영상으로 제작함에 있어 추적한 좌표 박스의 이동만을 확대하여 제작할 수도 있는바, 카메라(미도시)가 4K 또는 8K 화질의 영상을 촬영하기 때문에 확대한다 하여도 화질에 큰 저하는 발생하지 않을 것이며, 이 경우 팬들의 입장에서 자신이 좋아하는 아티스트의 표정, 몸짓 등을 보다 자세하게 관찰할 수 있는 장점이 있을 것이다.

지금까지 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법에 대하여 설명하였다. 본 발명에 따르면, 팬들이 입장에서 힘들게 직접 촬영하고 편집하여 열악한 품질의 직캠 영상을 제작함이 없이, 서비스 서버(100)만 구비하면 고품질의 직캠 영상을 자동으로 제작할 수 있기에 팬들의 노력과 수고가 획기적으로 줄어들 수 있다. 또한, 고정 설치되어 스테이지 전체를 촬영하는 한 대의 카메라(미도시)로부터 영상을 수신하기만 하면 서비스 서버(100)가 직캠 영상을 자동으로 제작할 수 있는바, 아티스트 멤버의 수에 대응하는 카메라와 카메라 감독의 배치가 요구되지 않으므로 합리적인 비용으로 직캠 영상을 제작할 수 있다.

한편, 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법을 기본 구조로 하되, 일부 단계들을 추가적으로 포함함으로써 일부 성능을 향상시키거나 예상치 못한 오류를 해결할 수 있는바, 이하 본 발명의 제3 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법 내지 제7 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법을 설명하도록 한다.

도 5는 본 발명의 제3 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.

그러나 이는 본 발명의 목적을 달성함에 있어서 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 추가 또는 삭제될 수 있음은 물론이며, 어느 한 단계가 다른 단계에 포함되어 수행될 수도 있다.

도 5를 참조하면, 본 발명의 제3 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법은 도 2에 도시된 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법과 비교하여 S210 단계 내지 S250 단계를 그대로 포함하되, S210 단계와 S220 단계 사이에 S215 단계가 추가되어 있음을 확인할 수 있으며, 중복 서술을 방지하기 위해 차이점에 대해서만 설명하도록 한다.

카메라(미도시)로부터 수신한 영상을 인코딩하여 저장했다면, 서비스 서버(100)가 인코딩하여 저장한 영상의 화질을 저화질로 낮춘다(S215).

이는 작업의 효율적인 진행을 위한 것인바, 카메라(미도시)로부터 수신한 영상이 4K 또는 8K의 고품질 영상이기에, 이를 이용하여 S220 단계 내지 S250 단계를 수행하는 경우 서비스 서버(100)에 과부하가 걸려 전체 작업에 소요되는 시간이 늘어나거나 중간에 에러가 발생하여 작업 자체가 멈출 가능성도 존재하며, 4K 또는 8K의 고품질 영상을 이용하여 과부하 없이 작업을 진행하기 위해서는 초고성능의 서비스 서버(100)를 구비해야 할 것인바, 이는 비용의 측면에서 비효율적이기 때문이다.

한편, 인코딩하여 저장한 영상의 화질을 저화질로 낮춘다는 것은 프록시 파일 이용하도록 한다는 것인바, 이를 통해 S230 단계에서 수행될 좌표 박스, 보다 구체적으로 특정 아티스트 멤버의 추출과 S240 단계에서 수행될 좌표 박스의 이동의 추적, 보다 구체적으로 특정 아티스트 멤버의 이동의 추적이 보다 효율적으로 진행될 수 있다는 일석이조의 장점이 있다.

도 6은 본 발명의 제4 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.

그러나 이는 본 발명의 목적을 달성함에 있어서 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 추가 또는 삭제될 수 있음은 물론이며, 어느 한 단계가 다른 단계에 포함되어 수행될 수도 있다.

도 6을 참조하면, 본 발명의 제4실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법은 도 2에 도시된 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법과 비교하여 S210 단계 내지 S250 단계를 그대로 포함하되, S220 단계와 S230 단계 사이에 S222 단계, S224 단계 및 S226 단계가 추가되어 있음을 확인할 수 있으며, 중복 서술을 방지하기 위해 차이점에 대해서만 설명하도록 한다.

인코딩하여 저장한 영상을 프레임 단위로 추출했다면, 서비스 서버(100)가 프레임 단위로 추출한 영상이 포함하는 아티스트 명칭, 멤버 수 및 영상 사이즈 중 어느 하나 이상을 관리자로부터 선택 받는다(S222).

여기서 아티스트 명칭은 아티스트가 솔로라면 해당 아티스트의 명칭, 그룹이라면 해당 아티스트 그룹의 명칭일 수 있으며, 멤버 수 역시 아티스트가 솔로라면 1명, 그룹이라면 해당 아티스트 그룹의 인원일 수 있고, 영상 사이즈는 16:9, 4:3 등과 같은 가로/세로의 비율뿐만 아니라 이에 대응되는 해상도까지 포함할 수 있다.

관리자로부터 선택 받는 이상의 정보들은 제작된 직캠 영상에 대한 정보에 관한 것이므로 영상 네이밍 또는 업로드 과정에서 이용될 수 있으며, 멤버 수의 경우 S230 단계에서 좌표 박스를 추출하는데 이용될 수 있는바, 관리자로부터 선택 받은 멤버 수가 7명인데 S230 단계에서 추출한 좌표 박스의 수가 6개라면 1명에 해당하는 좌표 박스가 추출되지 않은 것이므로 좌표 박스 추출의 검증에 이용될 수 있다.

인코딩하여 저장한 영상을 프레임 단위로 추출했다면, 서비스 서버(100)가 프레임 단위로 추출한 영상의 상단 일부 및 하단 일부 중 어느 하나 이상을 제거한다(S224).

영상의 상단 일부 및 하단 일부는 배경에 관한 것이 대부분이므로 이를 제거함으로써 객체 인식, 보다 구체적으로 동적 객체 인식인 아티스트 멤버의 인식을 효율적으로 수행할 수 있는바, 앞서 S230 단계에 대한 설명에서 동적 객체의 인식에는 배경과 대비되는 오브젝트(Object)의 모션 구분을 통해 스테이지 위에서 움직이는 특정 아티스트 멤버를 인식하는 과정이 포함된다 하였기에, 배경에 해당하는 상단 일부 및 하단 일부 중 어느 하나 이상이 제거되는 경우 동적 객체의 인식이 보다 효율적으로 수행될 수 있는 것이다.

도 7에는 도 3에 도시된 7명의 아티스트 멤버 각각을 포함하는 7개의 좌표 박스가 왼쪽 상단 모서리에 인식률과 함께 출력되고 있는 모습에서 상단 일부가 제거되어 출력되는 모습을 예시적으로 도시한바, 상단 일부 및 하단 일부 중 어느 하나 이상이 제거된 영상은 도 7과 같이 기존 영상에서 상단 일부 및 하단 일부 중 어느 하나 이상이 단순 제거된 영상일 수 있으며, 이뿐만 아니라 인식한 동적 객체, 보다 구체적으로 아티스트 멤버를 영상에 꽉 찰 수 있을 정도로 확대함으로써 상단 일부 및 하단 일부 중 어느 하나 이상이 영상에서 자연스럽게 제외된 영상일 수도 있다.

인코딩하여 저장한 영상을 프레임 단위로 추출했다면, 서비스 서버(100)가 프레임 단위로 추출한 영상에서 아티스트 멤버를 제외한 오브젝트를 관리자로부터 선택 받아 제거한다(S226).

댄스 장르의 아티스트나 아티스트 그룹의 경우, 스테이지 위에서 아티스트들뿐만 아니라 많은 수의 댄서들과 함께 스테이지를 구성하는 경우가 빈번한바, 이들 역시 동적 객체에 해당하므로 직캠 영상 제작을 위한 아티스트 멤버 인식에 악영향을 줄 수 있으므로 사전에 이를 제거하는 것이며, 이를 통해 아티스트 멤버의 인식을 효율적으로 수행할 수 있다.

이상 설명한 본 발명의 제4 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법에서 S222 단계, S224 단계 및 S226 단계는 반드시 모두 포함되어야 하는 것은 아니며, S222 단계, S224 단계 및 S226 단계 중 어느 하나 이상의 단계만을 포함하면 충분하기에, 각 단계의 설명의 시작을 S220 단계로 통일시켰다.

한편, S222 단계와 S226 단계는 관리자로부터 선택 받는 항목이 포함되기 때문에 앞서 설명을 보류한 관리자 인터페이스에 대하여 설명할 필요성이 있다. 이하 설명하도록 한다.

도 8은 관리자의 컴퓨터에 출력되는 관리자 인터페이스를 예시적으로 도시한 도면이다.

관리자 인터페이스는 입력 영상 항목(①), 선택 영상 항목(②), 멤버 영상 항목(③), 인식 영상 항목(④), 타임라인 항목(⑤) 및 객체 정보 항목(⑥) 중 어느 하나 이상을 포함할 수 있다.

입력 영상 항목(①)에는 S210 단계에서 인코딩하여 저장한 영상이 출력되며, 선택 영상 항목(②)에는 직캠 영상을 제작하고자 하는 아티스트 멤버의 영상, 보다 구체적으로 S230 단계에서의 특정 아티스트 멤버의 영상이 출력되고, 멤버 영상 항목(③)에는 특정 아티스트 멤버를 포함하여 같은 아티스트 그룹에 포함되는 다른 아티스트 멤버의 영상이 출력된다.

한편, 인식 영상 항목(④)은 선택 영상 항목(②)에서 출력되고 있는 특정 아티스트 멤버의 영상이 프레임 단위로 쪼개져서 출력되며, 타임라인 항목(⑤)은 영상의 전체 재상 시간, 현재 재생 시간, 재상, 앞으로 넘기기, 뒤로 돌리기, 다음 영상, 이전 영상 등과 같은 선택 항목이 출력되며, 객체 정보 항목(⑥)은 선택 영상 항목(②)에서 출력되고 있는 특정 아티스트를 아티스트 명칭과 함께 타임라인으로 출력하며, 관리자가 멤버 영상 항목(③)에서 출력되고 있는 다른 아티스트를 선택하여 선택 영상 항목(②)으로 드래그(Drag)한 경우, 객체 정보 항목(⑥)이 출력하는 타임라인에는 다른 아티스트 명칭이 특정 아티스트 명칭에 연속되어 출력된다.

관리자로부터의 선택 또는 관리자가 이상의 관리자 인터페이스에 일정한 조작을 입력함에 있어서는 관리자의 컴퓨터와 연결된 키보드, 마우스 등과 같은 입력 수단을 이용할 수 있으며, 관리자의 컴퓨터가 스마트폰인 경우 터치 스크린 또는 키패드 등을 이용할 수 있다.

그에 따라 앞서 S222 단계에서 아티스트 명칭, 멤버 수 및 영상 사이즈 중 어느 하나 이상의 선택 역시 이러한 입력 수단을 이용하여 이루어지며, 그에 따라 관리자 인터페이스에 관리자로부터 선택 받은 사항이 출력될 수 있고, S226 단계에서 아티스트 멤버를 제외한 오브젝트의 선택 역시 이러한 입력 수단을 이용하여 이루어지되, 입력 영상 항목(①), 선택 영상 항목(②), 멤버 영상 항목(③) 및 인식 영상 항목(④) 중 어느 하나 이상에서 아티스트 멤버를 제외한 오브젝트를 관리자가 직접 선택해 출력되고 있는 영상 바깥쪽으로 드래그 앤 드롭(Drag and Drop)하면 영상 내에서 제거되도록 구현할 수 있을 것이다.

도 9는 본 발명의 제5 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.

그러나 이는 본 발명의 목적을 달성함에 있어서 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 추가 또는 삭제될 수 있음은 물론이며, 어느 한 단계가 다른 단계에 포함되어 수행될 수도 있다.

도 9를 참조하면, 본 발명의 제5실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법은 도 6에 도시된 본 발명의 제4 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법과 비교하여 S210 단계 내지 S250 단계 그리고 S222 단계를 그대로 포함하되, S230 단계와 S240 단계 사이에 S232 단계 및 S234 단계가 추가되어 있음을 확인할 수 있으며, 중복 서술을 방지하기 위해 차이점에 대해서만 설명하도록 한다.

특정 아티스트 멤버를 포함하는 좌표 박스를 추출했다면, 서비스 서버(100)가 추출한 좌표 박스의 개수와 전체 아티스트 멤버의 수와 동일한지 판단하며(S232), S232 단계의 판단 결과, 추출한 좌표 박스의 개수가 전체 아티스트 멤버의 수와 동일하지 않다면, S230 단계로 회귀한다(S234).

앞서, S232 단계에 대한 설명에서 관리자로부터 아티스트 멤버 수를 선택 받는 경우 좌표 박스 추출의 검증에 이용될 수 있다고 했던바, S234 단계는 이에 관한 것이다.

예를 들어, S232 단계에서 관리자로부터 선택 받은 아티스트 멤버의 수가 7명임에도 불구하고 추출한 좌표 박스의 수가 6개라면 1명에 해당하는 좌표 박스가 추출되지 않은 것이며, 동적 객체인 아티스트 멤버의 재인식의 필요성이 있기에 S230 단계로 회귀하는 것이다.

한편, S230 단계로의 회귀는 S230 단계가 프레임 단위로 추출한 영상에서 인물 프레임을 추출하는 항목 및 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 좌표 박스를 추출하는 항목 크게 두 가지로 나뉘어져 있기 때문에 어떠한 항목으로 전 단계로 회귀할지는 관리자의 설정에 따를 것이나, 전자의 전 단계로 회귀하는 경우 인물 프레임까지 다시 추출해야 하기에 소정의 시간이 더 소요되기는 하나, 이를 통해 보다 정확한 동적 객체 인식이 가능해질 수 있으며, 후자의 전 단계로 회귀하는 경우 인물 프레임을 다시 추출하지 않아도 되기에 시간이 더 소요되지는 않으나, 동일한 인물 프레임 내에서 특정 아티스트 멤버를 포함하는 좌표 박스만을 다시 추출하는 것이기에 기존의 인식 결과와 동일한 결과가 얻어질 가능성이 있다. 그에 따라 직캠 영상을 VOD 형식으로 제작하여 동영상 플랫폼 등에 업로드하는 경우에는 소요 시간이 크게 중요하지 않으므로 전자로, 후술할 실시간 스트리밍의 경우 소요 시간이 길어진다면 스트리밍 지연이 될 수 있기에 후자로 설정함으로써 최적의 결과를 얻을 수 있을 것이다.

도 10및 도 11은 본 발명의 제6-1 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법 및 제6-2실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.

그러나 이는 본 발명의 목적을 달성함에 있어서 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 추가 또는 삭제될 수 있음은 물론이며, 어느 한 단계가 다른 단계에 포함되어 수행될 수도 있다.

도 10 및 도 11을 참조하면, 본 발명의 제6-1실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법은 도 6에 도시된 본 발명의 제4 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법과 비교하여 S210 단계 내지 S250 단계 그리고 S226 단계를 그대로 포함하되, S240 단계와 S250 단계 사이에 S242 단계 및 S244 단계가, 본 발명의 제6-2실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법은, S240 단계와 S250 단계 사이에 S242 단계 및 S246 단계가 추가되어 있음을 확인할 수 있으며, 중복 서술을 방지하기 위해 차이점에 대해서만 설명하도록 한다.

좌표 박스의 이동까지 추적했다면, 서비스 서버(100)가 이동을 추적한 좌표 박스가 포함하는 특정 아티스트 멤버와 상이한 아티스트 멤버가 이동을 추적한 좌표 박스에 포함되는지 판단한다(S242).

앞서 도 4에 대한 설명에서 격동적인 움직임이나 뒤로 도는 안무, 다른 아티스트 멤버에게 가려짐 등으로 인해 좌표 박스가 특정 아티스트 멤버를 놓치는 경우가 발생할 수 있다고 했던바, 본 발명의 제6 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법에 따르면 이를 해결할 수 있으며, 예를 들어 설명하면 이동을 추적한 좌표 박스에 아티스트 멤버 A가 포함되어 있어야 하는데 어느 순간 아티스트 멤버 B가 포함되어 있는 경우이다.

서비스 서버(100)가 좌표 박스가 포함하는 특정 아티스트 멤버와 상이한 아티스트 멤버가 이동을 추적한 좌표 박스에 포함되는지 여부를 판단함은 S230 단계에서 추출한 특징점, 보다 구체적으로 특정 아티스트 멤버로부터 추출한 특징점을 이용할 수 있으며, 좌표 박스는 특정 아티스트 멤버의 이동에 따라 실시간으로 함께 이동하기 때문에 S242 단계 역시 실시간으로 계속 수행되는 것으로 보아야 할 것이다.

S242 단계 이후에 본 발명의 제6-1 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법은 S244 단계가, 본 발명의 제6-2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법은 S246 단계가 수행되며, 도 10을 참조하여 S244 단계부터 설명하도록 한다.

서비스 서버(100)가 이동을 추적한 좌표 박스가 포함하는 특정 아티스트 멤버와 상이한 아티스트 멤버가 이동을 추적한 좌표 박스에 포함된다고 판단했다면, 서비스 서버(100)가 S230 단계로 회귀한다(S244).

이는 동적 객체인 특정 아티스트 멤버를 인식하고 이를 추척하는 과정에서 의도치 않은 오류가 발생한 경우 특정 아티스트 멤버의 인식, 보다 구체적으로 좌표 박스의 추출부터 다시 수행한다는 것인바, 앞서 본 발명의 제5실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법에 따른 S234 단계와 유사한 단계로 볼 수 있다.

한편, 도 11을 참조하여 서비스 서버(100)가 이동을 추적한 좌표 박스가 포함하는 특정 아티스트 멤버와 상이한 아티스트 멤버가 이동을 추적한 좌표 박스에 포함된다고 판단했다면, 서비스 서버(100)가 관리자로부터 특정 아티스트 멤버를 선택 받아 이동을 추적한 좌표 박스가 포함하는 상이한 아티스트 멤버와 교체한다(S246).

앞서 관리자 인터페이스와 S226 단계에 대한 설명에서 아티스트 멤버를 제외한 오브젝트를 입력 영상 항목(①), 선택 영상 항목(②), 멤버 영상 항목(③) 및 인식 영상 항목(④) 중 어느 하나 이상에서 관리자가 직접 선택해 출력되고 있는 영상 바깥쪽으로 드래그 앤 드롭하면 영상에서 제거된다고 했던바, S246 단계는 이와 유사한 단계로 볼 수 있다.

보다 구체적으로 관리자는 멤버 영상 항목(③)에서 출력되고 있는 특정 아티스트 멤버를 입력 수단을 이용하여 선택한 뒤, 상이한 아티스트 멤버가 출력되고 있는 선택 영상 항목(②)으로 끌어오는 입력을 통해 추적한 좌표 박스가 포함하는 상이한 아티스트 멤버를 특정 아티스트 멤버로 교체할 수 있다.

도 12는 본 발명의 제7 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법의 대표적인 단계를 나타낸 순서도이다.

그러나 이는 본 발명의 목적을 달성함에 있어서 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 추가 또는 삭제될 수 있음은 물론이며, 어느 한 단계가 다른 단계에 포함되어 수행될 수도 있다.

도 12를 참조하면, 본 발명의 제7 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법은 도 2에 도시된 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법과 비교하여 S210 단계 내지 S250 단계를 그대로 포함하되, S240 단계와 S250 단계 사이에 S248 단계가 추가되어 있음을 확인할 수 있으며, 중복 서술을 방지하기 위해 차이점에 대해서만 설명하도록 한다.

좌표 박스의 이동까지 추적했다면, 서비스 서버(100)가 추적한 좌표 박스의 이동이 포함하는 특정 아티스트 멤버를 RTMP(Real Time Messaging Protocol)로 송출한다(S248).

추적한 좌표 박스의 이동이 포함하는 특정 아티스트 멤버를 RTMP로 송출하는 것은 일종의 실시간 스트리밍으로 볼 수 있으며, 다양한 온라인 동영상/방송 플랫폼을 대상으로 하여 송출함으로써 팬들은 자신의 단말기 등을 통해 해당 플랫폼에 접속하여 실시간으로 스트리밍되는 특정 아티스트 멤버에 대한 직캠 영상을 시청할 수 있다.

한편, S248 단계에서 추적한 좌표 박스의 이동이 포함하는 특정 아티스트 멤버를 RTMP로 송출함에 있어서 실시간으로 송출하기 보다는 추적한 좌표 박스의 이동으로부터 소정의 지연 시간, 예를 들어, 10초 정도의 지연 시간을 두고 RTMP로 송출할 수도 있는바, 앞서 설명한 바와 같이 동적 객체의 인식 및 추적 과정에서 의도치 않은 오류가 발생할 경우에 이 역시도 실시간으로 송출될 것이기 때문이며, 소정의 지연 시간을 두는 경우 S236 단계, S244 단계 및 S246 단계 등과 같이 이를 해결하는 과정에 소요되는 시간을 벌 수 있으며, 팬들에게는 오류 발생 및 해결 과정을 제외시킨 온전한 상태의 직캠 영상을 송출할 수 있으므로 서비스 서버(100)가 제공하는 직캠 영상 제공 서비스에 만족을 느껴 재차 방문하여 서비스를 이용하게 될 것이다.

한편, S248 단계에서의 좌표 박스는 시각적으로 출력되지 않음이 바람직한바, 관리자의 컴퓨터에서 출력되는 관리자 인터페이스와 달리 팬들이 시청하는 직캠 영상 내에서까지 좌표 박스가 출력된다면 팬들의 시청에 오히려 악영향을 미칠 수 있기 때문이다.

지금까지 본 발명의 제3 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법 내지 제7 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법에 대하여 설명하였다. 본 발명에 따르면, 카메라(미도시)로부터 수신한 영상의 화질을 저화질로 낮춘 후에 후속적인 과정을 수행하는바, 서비스 서버(100)의 과부화를 방지함과 동시에 특정 아티스트 멤버의 이동의 추적이 보다 효율적으로 진행될 수 있다. 또한, 아티스트 명칭, 멤버 수 및 영상 사이즈 중 어느 하나 이상을 관리자로부터 선택 받는 바, 제작된 직캠 영상의 네이밍 또는 업로드 과정에서 이용될 수 있으며, 멤버 수의 경우 좌표 박스 추출의 검증에 이용될 수 있다. 아울러, 프레임 단위로 추출한 영상의 상단 일부 및 하단 일부 중 어느 하나 이상을 제거하고, 동적 객체인 아티스트 멤버의 인식 이전에 아티스트 멤버를 제외한 오브젝트를 관리자로부터 직접 선택 받아 제거할 수 있는바, 동적 객체의 인식이 보다 효율적으로 수행될 수 있다. 또한, 아티스트 멤버의 추적 과정에서 좌표 박스에 상이한 아티스트 멤버가 포함되는지 판단하고 이를 해결하기 위해 좌표 박스 추출 단계로 회귀하거나 관리자로부터 올바른 아티스트 멤버를 선택 받아 교체하는바, 특정 아티스트만을 담은 양질의 직캠 영상을 제공할 수 있다. 마지막으로, 좌표 박스의 이동이 포함하는 특정 아티스트 멤버를 RTMP로 송출하는바, 팬들의 입장에서 현장감 있는 직캠 영상을 즐길 수 있으며, 소정의 지연 시간을 두고 RTMP로 송출할 수도 잇는바, 아티스트 멤버의 인식 및 추적 과정에서 발생한 의도치 않은 오류 및 이에 대한 해결 과정을 제외시킨 온전한 상태의 직캠 영상을 팬들에게 제공할 수 있다.

이상 설명의 편의를 위해 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법 내지 제7 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법을 나누어 설명하였으나, 각 실시 예가 포함하는 개별적인 단계들은 서로 다른 실시 예들 사이에서 혼합될 수 있으며, 모든 실시 예가 포함하는 단계들 전부가 포함된 상태로 서비스 서버(100)를 구현함이 가장 바람직하다 할 것이다.

아울러, 서비스 서버(100)의 과부화를 막고 팬들에게 양질의 직캠 영상을 제공하기 위해서는 서비스 서버(100) 자체를 병렬 프로세싱이 가능한 고성능 서버로 구현함으로써 아티스트 멤버의 수가 많은 경우라 할지라도 빠른 속도로 직캠 영상을 제작하여 제공하도록 함이 바람직하다 할 것이다.

한편, 본 발명의 제1 실시 예에 따른 서비스 서버(100), 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법 내지 제7 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법은 모든 기술적 특징을 동일하게 포함하는 본 발명의 제8 실시 예에 따른 매체에 저장된 컴퓨터 프로그램으로 구현할 수도 있는바, 이 경우 컴퓨팅 장치와 결합하며, (AA) 카메라로부터 수신한 영상을 인코딩하여 저장하는 단계, (BB) 상기 인코딩하여 저장한 영상을 프레임 단위로 추출하는 단계, (CC) 상기 프레임 단위로 추출한 영상에서 인물 프레임을 추출하고, 상기 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 박스(Box)의 좌표를 추출하는 단계, (DD) 상기 추출한 인물 프레임에서 상기 추출한 박스의 좌표 이동을 추적하는 단계 및 (EE) 상기 추적한 박스의 좌표 이동을 상기 특정 아티스트 멤버에 대한 직캠 영상으로 제작하는 단계를 실행할 수 있으며, 중복 서술을 위해 자세히 기술하지는 않지만 본 발명의 제1 실시 예에 따른 서비스 서버(100), 본 발명의 제2 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법 내지 제7 실시 예에 따른 인물 별 직캠 영상 제작 및 실시간 송출 방법에 적용되는 모든 기술적 특징은 본 발명의 제8 실시 예에 따른 매체에 저장된 컴퓨터 프로그램에 모두 동일하게 적용될 수 있음은 물론이라 할 것이다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 서비스 서버
10: 프로세서
20: 네트워크 인터페이스
30: 메모리
40: 스토리지
41: 컴퓨터 프로그램
50: 정보 버스

Claims (14)

1. (a) 서비스 서버가 카메라로부터 수신한 영상을 인코딩하여 저장하는 단계;
   (b) 상기 서비스 서버가 상기 인코딩하여 저장한 영상을 프레임 단위로 추출하는 단계;
   (c) 상기 서비스 서버가 상기 프레임 단위로 추출한 영상에서 인물 프레임을 추출하고, 상기 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 좌표 박스(Box)를 추출하는 단계;
   (d) 상기 서비스 서버가 상기 추출한 인물 프레임에서 상기 추출한 좌표 박스의 이동을 추적하는 단계; 및
   (e) 상기 서비스 서버가 상기 추적한 좌표 박스의 이동을 상기 특정 아티스트 멤버에 대한 직캠 영상으로 제작하는 단계;
   를 포함하는 인물 별 직캠 영상 제작 및 실시간 송출 방법.
   
2. 제1 항에 있어서,
   상기 카메라는,
   스테이지(Stage) 전체를 촬영하는 고정되어 설치된 4K 또는 8K 카메라인,
   인물 별 직캠 영상 제작 및 실시간 송출 방법.
   
3. 제1항에 있어서,
   상기 (a) 단계 및 (b) 단계 사이에,
   (a′) 상기 인코딩하여 저장한 영상의 화질을 저화질로 낮추는 단계;
   를 더 포함하는 인물 별 직캠 영상 제작 및 실시간 송출 방법.
   
4. 제1항에 있어서,
   상기 (b) 단계 및 (c) 단계 사이에,
   (b′) 상기 프레임 단위로 추출한 영상이 포함하는 아티스트 명칭, 상기 아티스트 멤버 수 및 영상 사이즈 중 어느 하나 이상을 관리자로부터 선택 받는 단계;
   를 더 포함하는 인물 별 직캠 영상 제작 및 실시간 송출 방법.
   
5. 제1항에 있어서,
   상기 (b) 단계 및 (c) 단계 사이에,
   (b′′) 상기 프레임 단위로 추출한 영상의 상단 일부 및 하단 일부 중 어느 하나 이상을 제거하는 단계;
   를 더 포함하는 인물 별 직캠 영상 제작 및 실시간 송출 방법.
   
6. 제1항에 있어서,
   상기 (b) 단계 및 (c) 단계 사이에,
   (b′′′) 상기 프레임 단위로 추출한 영상에서 아티스트 멤버를 제외한 오브젝트(Object)를 관리자로부터 선택 받아 제거하는 단계;
   를 더 포함하는 인물 별 직캠 영상 제작 및 실시간 송출 방법.
   
7. 제1항에 있어서,
   상기 (c) 및 (d) 단계 사이에,
   (c′) 상기 추출한 좌표 박스의 개수가 전체 아티스트 멤버의 수와 동일한지 판단하는 단계; 및
   (c′′) 상기 (c′) 단계의 판단 결과, 상기 추출한 좌표 박스의 개수가 전체 아티스트 멤버의 수와 동일하지 않다면, 상기 (c) 단계로 회귀하는 단계;
   를 더 포함하는 인물 별 직캠 영상 제작 및 실시간 송출 방법.
   
8. 제1항에 있어서,
   상기 (d) 단계와 (e) 단계 사이에,
   (d′) 상기 이동을 추적한 좌표 박스가 포함하는 특정 아티스트 멤버와 상이한 아티스트 멤버가 상기 이동을 추적한 좌표 박스에 포함되는지 판단하는 단계; 및
   (d′′) 상기 (d′) 단계의 판단 결과, 상기 이동을 추적한 좌표 박스가 포함하는 특정 아티스트 멤버와 상이한 아티스트 멤버가 상기 이동을 추적한 좌표 박스에 포함된다면, 상기 (c) 단계로 회귀하는 단계;
   를 더 포함하는 인물 별 직캠 영상 제작 및 실시간 송출 방법.
   
9. 제1항에 있어서,
   상기 (d) 단계와 (e) 단계 사이에,
   (d′) 상기 이동을 추적한 좌표 박스가 포함하는 특정 아티스트 멤버와 상이한 아티스트 멤버가 상기 이동을 추적한 좌표 박스에 포함되는지 판단하는 단계; 및
   (d′′′) 상기 (d′) 단계의 판단 결과, 상기 이동을 추적한 좌표 박스가 포함하는 특정 아티스트 멤버와 상이한 아티스트 멤버가 상기 이동을 추적한 좌표 박스에 포함된다면, 상기 관리자로부터 상기 특정 아티스트 멤버를 선택 받아 상기 이동을 추적한 좌표 박스가 포함하는 상이한 아티스트 멤버와 교체하는 단계;
   를 더 포함하는 인물 별 직캠 영상 제작 및 실시간 송출 방법.
   
10. 제1항에 있어서,
    상기 (d) 단계 및 (e) 단계 사이에,
    (d′) 상기 추적한 좌표 박스의 이동이 포함하는 특정 아티스트 멤버를 RTMP(Real Time Messaging Protocol)로 송출하는 단계;
    를 더 포함하는 인물 별 직캠 영상 제작 및 실시간 송출 방법.
    
11. 제10항에 있어서,
    상기 (d′) 단계에서의 좌표 박스는,
    시각적으로 출력되지 않는,
    인물 별 직캠 영상 제작 및 실시간 송출 방법.
    
12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 서비스 서버는,
    상기 좌표 박스에 상기 특정 아티스트 멤버의 인식률을 0 내지 1 중 어느 하나의 숫자로 병기하여 출력하는,
    인물 별 직캠 영상 제작 및 실시간 송출 방법.
    
13. 하나 이상의 프로세서;
    네트워크 인터페이스;
    상기 프로세서에 의해 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리; 및
    대용량 네트워크 데이터 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은 상기 하나 이상의 프로세서에 의해,
    (A) 카메라로부터 수신한 영상을 인코딩하여 저장하는 오퍼레이션;
    (B) 상기 인코딩하여 저장한 영상을 프레임 단위로 추출하는 오퍼레이션;
    (C) 상기 프레임 단위로 추출한 영상에서 인물 프레임을 추출하고, 상기 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 좌표 박스를 추출하는 오퍼레이션;
    (D) 상기 추출한 인물 프레임에서 상기 추출한 좌표 박스의 이동을 추적하는 오퍼레이션; 및
    (E) 상기 추적한 좌표 박스의 이동을 상기 특정 아티스트 멤버에 대한 직캠 영상으로 제작하는 오퍼레이션;
    을 실행하는 행위를 부여한 서비스 서버.
    
14. 컴퓨팅 장치와 결합하며,
    (AA) 카메라로부터 수신한 영상을 인코딩하여 저장하는 단계;
    (BB) 상기 인코딩하여 저장한 영상을 프레임 단위로 추출하는 단계;
    (CC) 상기 프레임 단위로 추출한 영상에서 인물 프레임을 추출하고, 상기 추출한 인물 프레임에서 특정 아티스트 멤버를 포함하는 좌표 박스를 추출하는 단계;
    (DD) 상기 추출한 인물 프레임에서 상기 추출한 좌표 박스의 이동을 추적하는 단계; 및
    (EE) 상기 추적한 좌표 박스의 이동을 상기 특정 아티스트 멤버에 대한 직캠 영상으로 제작하는 단계;
    을 실행하는 매체에 저장된 컴퓨터 프로그램.

Images