KR20240053895A

KR20240053895A - Ar 콘텐츠를 이용한 스트리밍 영상 출력 방법 및 시스템

Info

Publication number: KR20240053895A
Application number: KR1020220133993A
Authority: KR
Inventors: 전필규
Original assignee: 주식회사 버넥트
Priority date: 2022-10-18
Filing date: 2022-10-18
Publication date: 2024-04-25

Abstract

본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력 방법은, 단말의 적어도 하나의 프로세서에 의하여 실행되는 스트리밍 애플리케이션이 스트리밍 영상 출력 서비스를 제공하는 방법으로서, 실시간 스트리밍 영상을 재생하는 단계; AR 콘텐츠 설정 입력 인터페이스를 기초로 상기 실시간 스트리밍 영상에 포함된 소정의 객체를 기준으로 표시되는 AR 콘텐츠를 설정하는 단계; 및 상기 AR 콘텐츠 설정에 따라서 상기 소정의 객체를 기준으로 상기 실시간 스트리밍 영상 상에 AR 콘텐츠가 증강된 오버레이 스트리밍 영상을 표시하도록 제어하는 단계를 포함한다.

Description

AR 콘텐츠를 이용한 스트리밍 영상 출력 방법 및 시스템{Streaming video output method and system using AR contents}

본 발명은 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템에 관한 것이다. 보다 자세하게는, 시청자가 설정한 AR 콘텐츠가 증강(Overlay)된 스트리밍 영상의 출력방법 및 시스템에 관한 것이다.

최근 증강현실(AR: Augmented Reality)에 대한 기술이 발전함에 따라, 스마트폰, 태블릿 PC 등을 사용하는 현대인들은 어플리케이션 등을 통해 증강현실 서비스를 접할 수 있는 기회가 많아졌다. 예를 들어, 사용자가 영상을 촬영하면, 동물 등과 같은 이미지를 사용자의 얼굴에 적용하는 증강현실 서비스 등이 많이 제공되고 있다.

그리고 네트워크의 발전과 컴퓨팅의 고속화 및 대용량화로 인하여, 기존의 정보전달이 이미지와 텍스트로 구성된 블로그(Blog) 문화에서 유튜브(Youtube)나 트위치(Twitch) 같은 동영상을 위주로 하는 문화로 변화하면서 개인이 새로운 콘텐츠를 기획하고 제작하여 방송을 진행하는 상황에 이르러 인터넷 방송이 만연하게 되었다.

종래의 인터넷 방송은, 인터넷 방송의 진행자(이하, 방송자)(예컨대, 스트리머(Streamer) 및 인터넷 BJ(Internet Broadcasting Jockey) 등)가 콘텐츠를 사전에 기획 및 제작하여 상기 콘텐츠를 스트리밍하거나 라이브로 방송을 하는 형식으로 진행되었다.

또한, 종래의 인터넷 방송은, 방송 도중 욕설이나 도배 등을 방지하기 위한 채팅 제한 조건이 설정되어있고 방송자 본인 및 채팅방 관리자가 특정 시청자를 추방시키는 기능 등을 통해 방송 퀄리티를 관리하고 있다.

한편, 이러한 종래의 인터넷 방송에는 증강현실의 활용도가 높지 않은 상태이며, 증강현실을 이용하더라도 단순히 광고나 추가적인 정보 전달에만 사용할 뿐 방송자가 증강현실을 이용하여 방송 콘텐츠를 진행하는 사례는 매우 적은 실정이다.

또한, 사전에 제작된 콘텐츠를 활용하는 것이기 때문에, 증강현실 서비스에 이용되는 가상객체와 방송자의 인터랙션이 매우 제한적이라는 한계가 존재했다.

또한, 블로킹(Blocking) 기능으로 방송 퀄리티를 관리하더라도 여전히 소정의 텍스트, 스티커, 브러쉬, 이미지 및 영상 등을 활용하여 스트리밍 화면에 노출되는 도네이션(Donation)으로 방송을 방해할 수 있는 여지가 남아있게 된다.

또한, 관리자가 없는 방송자의 경우 직접 방해되는 인물을 추방시켜야 하며, 이러한 경우 방송의 흐름이 끊겨 타 시청자들에게 불편함이 야기된다는 단점이 있으므로, 이러한 문제점들을 해결하기 위한 시스템의 도입이 시급한 실정이다.

KR

10-2017-0113901

A

본 발명은, 상기와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 소정의 객체를 실시간으로 추적하여 그에 대응되는 가상객체를 생성하는 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명은, AR 콘텐츠를 직접 제작하여 스트리밍되는 방송 영상에 적용하는 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템을 제공하고자 한다.

또한, 본 발명은, 타 시청자의 시야를 가리는 방송 방해 요소를 차단하는 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템을 제공하고자 한다.

또한, 본 발명은, 도네이션을 기초로 관리 권한을 부여받는 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템을 제공하고자 한다.

또한, 본 발명은, AR 콘텐츠 표시제한을 설정하는 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템을 제공하고자 한다.

또한, 본 발명은, 소정의 금액 추가 결제가 가상으로 수행된 프리뷰 영상을 제공하는 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템을 제공하고자 한다.

다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

또한, 상기 소정의 객체를 기준으로 표시되는 AR 콘텐츠를 설정하는 단계는, 상기 실시간 스트리밍 영상에 포함된 객체 중 앵커링 대상 객체를 결정하는 단계와, 상기 결정된 앵커링 대상 객체를 기준으로 표시되는 AR 콘텐츠를 결정하는 단계와, 상기 결정된 앵커링 대상 객체의 포즈에 따라서 상기 결정된 AR 콘텐츠의 매칭 정보에 따라 상대적인 포즈를 결정하는 단계를 포함한다.

또한, 상기 소정의 객체를 기준으로 표시되는 AR 콘텐츠를 설정하는 단계는, 표시하고자 하는 AR 콘텐츠를 결정하는 단계와, 상기 실시간 스트리밍 영상에서 앵커링 대상 객체를 결정하는 단계와, 상기 결정된 앵커링 대상 객체의 포즈에 따라서 상기 결정된 AR 콘텐츠의 매칭 정보에 따라 상대적인 포즈를 결정하는 단계를 포함한다.

또한, 상기 실시간 스트리밍 영상에서 앵커링 대상 객체를 결정하는 단계는, 상기 실시간 스트리밍 영상 내에 포함된 후보 객체를 검출하는 단계와, 상기 검출된 후보 객체 중 제1 객체를 앵커링 대상 객체로 결정하는 단계를 포함한다.

또한, 상기 앵커링 대상 객체가 사람 또는 사람 형태의 캐릭터인 경우, 상기 앵커링 대상 객체를 소정의 딥러닝 뉴럴 네트워크를 기초로 상기 제1 객체에 포함된 윤곽 키포인트 및 신체부위 키포인트 중 적어도 하나 이상의 키포인트를 검출하는 단계를 더 포함한다.

또한, 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력 방법은, 상기 실시간 스트리밍 영상에 AR 콘텐츠의 증강을 제한하는 AR 콘텐츠 표시제한을 설정하는 단계를 더 포함한다.

또한, 상기 AR 콘텐츠 표시제한을 설정하는 단계는, AR 콘텐츠 표시영역 제한을 설정하는 단계와, AR 콘텐츠 스케일 제한을 설정하는 단계 및 AR 콘텐츠 표시시간 제한을 설정하는 단계 중 적어도 하나 이상의 제한을 설정하는 단계를 포함한다.

또한, 상기 AR 콘텐츠 표시영역 제한을 설정하는 단계는, 상기 실시간 스트리밍 영상 상에 아웃라인을 설정하여 비표시 영역을 설정하는 단계와, 상기 실시간 스트리밍 영상 내에 포함된 객체를 선택하여 상기 객체의 영역을 비표시 영역으로 설정하는 단계와, 상기 실시간 스트리밍 영상에 포함된 복수의 화면 중 적어도 하나의 화면을 표시제한 화면으로 설정하는 단계 중 적어도 하나를 포함한다.

또한, 상기 AR 콘텐츠 표시영역 제한을 설정하는 단계는, 상기 실시간 스트리밍 영상 내에 포함된 객체 중 적어도 하나의 객체를 앵커링 금지하는 표시제한 설정하는 단계를 포함한다.

또한, 상기 AR 콘텐츠 표시제한이 설정된 경우, 상기 AR 콘텐츠 표시제한의 설정을 변경 및 해제할 수 있는 권한을 부여받는 단계를 더 포함한다.

또한, 상기 실시간 스트리밍 영상에서 앵커링 대상 객체를 검출하는 단계와, 상기 검출된 앵커링 대상 객체의 6 자유도를 기초로 상기 AR 콘텐츠의 6 자유도를 결정하는 단계와, 상기 실시간 스트리밍 영상 상에 상기 결정된 AR 콘텐츠의 6 자유도에 따라서 렌더링 하는 단계를 포함한다.

또한, 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력 방법은, 상기 AR 콘텐츠가 렌더링된 상기 실시간 스트리밍 영상을 프리뷰 영상으로 제공하는 단계를 더 포함한다.

한편, 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력 시스템은, 적어도 하나 이상의 메모리; 적어도 하나 이상의 프로세서;를 포함하고, 상기 메모리에 저장되고 상기 프로세서에 의해 실행되어 스트리밍 영상 출력 서비스를 제공하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은, 실시간 스트리밍 영상을 재생하고, AR 콘텐츠 설정 입력 인터페이스를 기초로 상기 실시간 스트리밍 영상에 포함된 소정의 객체를 기준으로 표시되는 AR 콘텐츠를 설정하고, 상기 AR 콘텐츠 설정에 따라서 상기 소정의 객체를 기준으로 상기 실시간 스트리밍 영상 상에 AR 콘텐츠가 증강된 오버레이 스트리밍 영상을 표시하도록 제어한다.

또한, 상기 애플리케이션은, 상기 AR 콘텐츠 설정 입력 인터페이스를 기초로 상기 실시간 스트리밍 영상에 포함된 객체 중 앵커링 대상 객체를 결정하고, 상기 결정된 앵커링 대상 객체를 기준으로 표시되는 AR 콘텐츠를 결정하고, 6 자유도를 기초로 상기 결정된 앵커링 대상 객체의 포즈에 따라서 상기 결정된 AR 콘텐츠의 매칭 정보에 따라 상대적인 포즈를 결정한다.

또한, 상기 애플리케이션은, 상기 AR 콘텐츠 설정 입력 인터페이스를 기초로 상기 실시간 스트리밍 영상에서 앵커링 대상 객체를 결정하고, 상기 실시간 스트리밍 영상 내에 포함된 후보 객체를 검출하고, 상기 검출된 후보 객체 중 제1 객체를 앵커링 대상 객체로 결정한다.

또한, 상기 애플리케이션은, 상기 앵커링 대상 객체가 사람 또는 사람 형태의 캐릭터인 경우, 상기 앵커링 대상 객체를 소정의 딥러닝 뉴럴 네트워크를 기초로 상기 제1 객체에 포함된 윤곽 키포인트 및 신체부위 키포인트 중 적어도 하나 이상의 키포인트를 검출한다.

또한, 상기 애플리케이션은, 상기 실시간 스트리밍 영상에 AR 콘텐츠의 증강을 제한하는 AR 콘텐츠 표시제한을 더 설정하고, 상기 AR 콘텐츠 표시제한은, AR 콘텐츠 표시영역 제한, AR 콘텐츠 스케일 제한 및 AR 콘텐츠 표시시간 제한 중 적어도 하나 이상의 제한이다.

또한, 상기 AR 콘텐츠 표시영역 제한은, 상기 실시간 스트리밍 영상 상에 아웃라인을 설정하여 비표시 영역을 설정하고, 상기 실시간 스트리밍 영상 내에 포함된 객체를 선택하여 상기 객체의 영역을 비표시 영역으로 설정하고, 상기 실시간 스트리밍 영상에 포함된 복수의 화면 중 적어도 하나의 화면을 표시제한 화면으로 설정하고, 상기 실시간 스트리밍 영상 내에 포함된 객체 중 적어도 하나의 객체에 앵커링을 금지하도록 설정하는 제한 중 적어도 하나를 포함하는 제한이다.

또한, 상기 애플리케이션은, 상기 AR 콘텐츠가 렌더링된 상기 실시간 스트리밍 영상을 프리뷰 영상으로 더 제공한다.

본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템은, 소정의 객체를 실시간으로 추적하여 그에 대응되는 가상객체를 생성함으로써, 가상객체 및 방송자간 인터랙션이 이루어져 위치 조정 등에 따른 절차가 간소화되어 효율성이 향상되는 효과가 있다.

또한, 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템은, AR 콘텐츠를 직접 제작하여 스트리밍되는 방송 영상에 적용함으로써, 온라인 방송에 적용될 수 있는 AR 콘텐츠의 퀄리티가 향상됨과 동시에 사용자의 만족도를 높이는 효과가 있다.

또한, 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템은, 타 시청자의 시야를 가리는 방송 방해 요소를 차단함으로써, 방송을 방해하는 요소를 제거하여 온라인 방송의 퀄리티를 향상시키는 효과가 있다.

또한, 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템은, 도네이션을 기초로 관리 권한을 부여함으로써, 방송에 방해가 되는 요소를 직접 제거하거나, 타 시청자들의 이목을 집중시키기 위한 소정의 행위를 직접 수행할 수 있도록 하여 사용자의 직접적인 방송 참여율을 높여 사용자의 만족도를 증가시킴과 동시에, 도네이션 욕구를 자극하여 온라인 방송에 따른 수익 창출률을 증가시켜 온라인 방송 시장을 활성화하는 효과가 있다.

또한, 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템은, AR 콘텐츠 표시제한을 설정함으로써, AR 콘텐츠의 크기 및/또는 위치 등을 포함하는 속성에 따라 스트리밍 영상에 포함된 게임 화면, 방송자 모습, 도네이션 멘트 및/또는 통합 채팅창 등 방송에 필수적으로 표시되어야 하는 부분을 보호하여 방송 진행을 원활히 하는 효과가 있다.

또한, 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템은, 소정의 금액 추가 결제가 가상으로 수행된 프리뷰 영상을 제공함으로써, 추가 구매를 하지 않았거나 추가 구매 방법을 몰랐던 사용자에게 추가 구매에 대한 결제를 유도하거나, 타 시청자들의 AR 콘텐츠 추가 구매 욕구를 자극하여 온라인 방송에 따른 수익 창출률을 증가시키는 효과가 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.

도 1은 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 시청자 단말의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 스트리밍 영상의 일례이다.
도 5는 본 발명의 실시예에 따른 AR 콘텐츠를 설정하는 방법을 설명하기 위한 세부 흐름도이다.
도 6은 본 발명의 실시예에 따른 앵커링 대상 객체로부터 검출된 신체부위 키포인트를 설명하기 위한 도면의 일례이다.
도 7은 본 발명의 실시예에 따라 프리뷰 영상을 포함하는 AR 콘텐츠 설정 입력 인터페이스의 일례이다.
도 8은 본 발명의 실시예에 따른 오리지널 모드 및 어드밴스드 모드로 제공된 프리뷰 영상의 일례이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력 시스템의 개념도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력 서비스 제공 시스템(이하, 서비스 제공 시스템)은, 시청자가 설정한 AR 콘텐츠가 증강(Overlay)된 스트리밍 영상을 출력하는 AR 콘텐츠를 이용한 스트리밍 영상 출력 서비스(이하, 스트리밍 영상 출력 서비스)를 제공할 수 있다.

여기서, 실시예에 따른 AR 콘텐츠(AR Contents)란, 실제 환경에 가상의 객체가 혼합되는 증강현실을 이용한 소정의 콘텐츠로, 스트리밍 영상에 포함된 소정의 객체를 실시간으로 추적하여 상기 객체에 적용되는 콘텐츠일 수 있다.

이때, 상기 소정의 객체는 상기 스트리밍 영상에 표시되는 실제/가상의 사람 및/또는 사물을 포함하고, 자세히는 상기 스트리밍 영상에 등장하는 출연진 및/또는 게임 상의 캐릭터 등을 포함할 수 있다.

또한, 상기 AR 콘텐츠는, 이미지, 영상, 사운드 및/또는 텍스트 등 인간이 시각 또는 청각을 통하여 인식 가능한 모든 형태를 포함할 수 있다. 이러한 상기 AR 콘텐츠는 애플리케이션(111) 상에서 기본으로 제공될 수도 있고, 시청자 단말(100)을 기초로 시청자가 직접 제작할 수도 있다.

또한, 실시예에 따른 스트리밍 영상이란, 인터넷을 기초로 인터넷 방송의 진행자(이하, 방송자)(예컨대, 인터넷 BJ(Internet Broadcasting Jockey), 스트리머(Streamer), 크리에이터(Creator), 유투버 및 틱톡커 등)에 의해 실시간으로 재생되어 제공되는 영상을 의미할 수 있다. 이때, 상기 스트리밍 영상은, 파일 또는 패킷 형태일 수 있다.

이러한 스트리밍 영상은, 게임, 잡담, 음악 및/또는 음식 등 다양한 주제를 가진 영상일 수 있으며, 상기 주제에 따라 방송자의 모습이 화면에 노출 및/또는 비노출 될 수 있다.

실시예에서, 위와 같은 스트리밍 영상 출력 서비스를 구현하는 서비스 제공 시스템은, 시청자 단말(100), 스트리머 단말(200), 스트리밍 보조 서버(300), 스트리밍 플랫폼 서버(400) 및 네트워크(10: Network)를 통하여 연결될 수 있다.

여기서, 실시예에 따른 시청자 단말(100)은, 소정의 스트리밍 영상을 시청하는 시청자가 이용하는 단말로, 스트리밍 및/또는 출력중인 영상에 소정의 AR 콘텐츠를 설정하는 단말일 수 있다.

또한, 실시예에 따른 스트리머 단말(200)은, 스트리밍 영상을 생성 및 제공하는 방송자가 이용하는 단말로, 시청자 단말(100), 스트리밍 보조 서버(300) 및/또는 스트리밍 플랫폼 서버(400)로 상기 생성된 스트리밍 영상을 제공할 수 있다.

또한, 실시예에 따른 스트리밍 보조 서버(300)는, 스트리밍 영상에 중첩되어 표시되는 소정의 AR 콘텐츠가 저장된 서버로, 시청자 단말(100), 스트리머 단말(200) 및/또는 스트리밍 플랫폼 서버(400)로 상기 저장된 AR 콘텐츠를 제공할 수 있다.

또한, 실시예에 따른 스트리밍 플랫폼 서버(400)는, 스트리밍 영상 및/또는 소정의 AR 콘텐츠가 중첩된 스트리밍 영상(이하에서는, 오버레이 스트리밍 영상)을 수신하여 인터넷을 통해 다수의 단말에게 송출하는 서버로, 예컨대, 유투브(Youtube), 아프리카TV(AfreecaTV) 및/또는 트위치(Twitch) 등을 포함하는 소정의 플랫폼 서비스 환경을 구현하는 서버일 수 있다.

여기서, 실시예에 따른 상기 네트워크(10)는, 상기 시청자 단말(100), 스트리머 단말(200), 스트리밍 보조 서버(300) 및/또는 스트리밍 플랫폼 서버(400) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(10)의 일례에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

이하, 첨부된 도면을 참조하여 서비스 제공 시스템을 구현하는 시청자 단말(100), 스트리머 단말(200), 스트리밍 보조 서버(300) 및/또는 스트리밍 플랫폼 서버(400)에 대해 상세히 설명한다.

- 시청자 단말(100: Viewer Terminal)

본 발명의 실시예에 따른 시청자 단말(100)은, 스트리밍 영상 출력 서비스를 제공하는 스트리밍 애플리케이션(이하, 애플리케이션)이 설치된 소정의 컴퓨팅 디바이스일 수 있다.

이때, 실시예에 따라서 상기 애플리케이션은, 스트리밍 영상 출력 서비스를 제공하는 소정의 웹 애플리케이션(Web Application)을 포함할 수도 있다.

자세히, 하드웨어적 관점에서 시청자 단말(100)은, 애플리케이션이 설치된 모바일 타입 컴퓨팅 장치 및/또는 데스크탑 타입 컴퓨팅 장치 등을 포함할 수 있다.

여기서, 모바일 타입 컴퓨팅 장치는, 애플리케이션이 설치된 스마트 폰이나 태블릿 PC와 같은 모바일 장치일 수 있다.

예를 들어, 모바일 타입 컴퓨팅 장치는, 스마트 폰(smart phone), 휴대폰, 디지털방송용 디바이스, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC) 등이 포함될 수 있다.

또한, 데스크탑 타입 컴퓨팅 장치는, 애플리케이션이 설치된 고정형 데스크탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 스트리밍 영상 출력 서비스를 실행하기 위한 프로그램이 설치된 장치 등을 포함할 수 있다.

또한, 실시예에 따라서 시청자 단말(100)은, 스트리밍 영상 출력 서비스 환경을 제공하는 소정의 서버(Server) 컴퓨팅 디바이스를 더 포함할 수도 있다.

도 2는 본 발명의 실시예에 따른 시청자 단말(100)의 내부 블록도이다.

도 2를 참조하면, 기능적 관점에서 시청자 단말(100)은, 메모리(110), 프로세서 어셈블리(120), 통신 프로세서(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 이러한 구성요소들은 시청자 단말(100)의 하우징 내에 포함되도록 구성될 수 있다.

자세히, 메모리(110)에는, 애플리케이션(111)이 저장되며, 애플리케이션(111)은 스트리밍 영상 출력 서비스 환경을 제공하기 위한 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.

즉, 메모리(110)는, 스트리밍 영상 출력 서비스 환경을 생성하기 위하여 사용될 수 있는 명령 및 데이터 등을 저장할 수 있다.

또한, 상기 메모리(110)는, 프로그램 영역과 데이터 영역을 포함할 수 있다.

여기서, 실시예에 따른 프로그램 영역은, 시청자 단말(100)을 부팅하는 운영체제(OS: Operating System) 및 기능요소들 사이에 연계될 수 있으며, 데이터 영역은, 시청자 단말(100)의 사용에 따라 발생하는 데이터가 저장될 수 있다.

또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다.

예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet) 상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.

프로세서 어셈블리(120)는, 스트리밍 영상 출력 서비스 환경을 생성하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 애플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.

실시예에서 프로세서 어셈블리(120)는, 스트리밍 영상 출력 서비스를 제공하기 위하여 메모리(110)의 애플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.

이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽처리장치(GPU) 등이 포함된 시청자 단말(100)에 적합한 시스템 온 칩(SOC)일 수 있으며, 메모리(110)에 저장된 운영체제(OS) 및/또는 응용 프로그램 등을 실행할 수 있고, 시청자 단말(100)에 탑재된 각 구성요소들을 제어할 수 있다.

또한, 프로세서 어셈블리(120)는, 각 구성요소와 내부적으로 시스템 버스(System Bus)에 의해 통신을 수행할 수 있고, 로컬 버스(Local Bus)를 비롯한 소정의 버스 구조들을 하나 이상 포함할 수 있다.

또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.

통신 프로세서(130)는, 외부의 장치와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 프로세서(130)는, 무선 네트워크를 통해 통신할 수 있다.

자세히, 통신 프로세서(130)는, 스트리밍 영상 출력 서비스 환경을 구현하기 위한 콘텐츠 소스를 저장한 시청자 단말(100)과 통신할 수 있으며, 유저 입력을 받는 컨트롤러와 같은 다양한 유저 입력 컴포넌트와 통신할 수 있다.

실시예에서, 통신 프로세서(130)는, 스트리밍 영상 출력 서비스와 관련된 각종 데이터를 타 단말 및/또는 외부의 서버 등과 송수신할 수 있다.

이러한 통신 프로세서(130)는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.

센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서(165), 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.

여기서, 이미지 센서(161)는, 시청자 단말(100) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.

실시예에서, 이미지 센서(161)는, 스트리밍 영상 출력 서비스와 관련된 각종 이미지 및/또는 영상 등을 촬영하여 획득할 수 있다.

또한, 이미지 센서(161)는, 시청자 단말(100)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 시청자 단말(100)의 외부를 향해 배치된 카메라를 통해 물리적 공간을 촬영할 수 있다.

이러한 이미지 센서(161)는, 이미지 센서장치와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서장치(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.

또한, 이미지 센서(161)는, 이미지 인식 프로세스(예컨대, OCR 등) 및/또는 영상 처리 모듈을 이용하여 이미지 센서장치를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.

이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.

또한, 위와 같은 이미지 센서(161)는, 실시예에 따라서 시청자 단말(100)에 포함되어 동작할 수도 있고, 외부의 장치(예컨대, 외부의 서버 등)에 포함되어 상술된 통신 프로세서(130) 및/또는 인터페이스 모듈(140)에 기초한 연동을 통하여 동작할 수도 있다.

위치 센서(IMU, 163)는, 시청자 단말(100)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어질 수 있다.

또한, 위치 센서(IMU, 163)는, 통신 프로세서(130)의 GPS와 같은 위치 통신 프로세서(130)과 연동하여, 시청자 단말(100) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.

오디오 센서(165)는, 시청자 단말(100) 주변의 소리를 인식할 수 있다.

자세히, 오디오 센서(165)는, 시청자 단말(100)을 사용하는 유저의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.

실시예에서 오디오 센서(165)는 스트리밍 영상 출력 서비스를 위해 필요한 음성 데이터를 유저로부터 입력 받을 수 있다.

인터페이스 모듈(140)은, 시청자 단말(100)을 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.

이러한 인터페이스 모듈(140)을 통해 시청자 단말(100)은, 여러 입출력 장치들과 연결될 수 있다.

예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.

예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 시청자 단말(100) 내부에 설치되는 실시예도 포함될 수 있다.

또한, 예를 들면 인터페이스 모듈(140)은, 키보드 및/또는 마우스와 같은 입력장치와 연결되어, 유저 입력을 획득할 수도 있다.

이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.

입력 시스템(150)은 스트리밍 영상 출력 서비스와 관련된 유저의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.

자세히, 입력 시스템(150)은 소정의 버튼, 터치 센서 및/또는 유저 모션 입력을 수신하는 이미지 센서(161) 등을 포함할 수 있다.

또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 유저의 입력을 수신할 수 있다.

디스플레이 시스템(170)은, 스트리밍 영상 출력 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.

실시예로, 디스플레이 시스템(170)은, 스트리밍 영상 출력 서비스를 위한 각종 사용자 인터페이스(실시예로, AR 콘텐츠 설정 입력 인터페이스 등) 등을 표시할 수 있다.

이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

이러한 시청자 단말(100)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 유저 터치 입력을 수신하도록 구성된 디스플레이(171) 상에 터치 센서(173)를 포함할 수 있다.

자세히, 디스플레이 시스템(170)은, 이미지를 출력하는 디스플레이(171)와, 유저의 터치 입력을 감지하는 터치 센서(173)를 포함할 수 있다.

예시적으로 디스플레이(171)는 터치 센서(173)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 시청자 단말(100)과 유저 사이의 입력 인터페이스를 제공하는 유저 입력부로써 기능함과 동시에, 시청자 단말(100)과 유저 사이의 출력 인터페이스를 제공할 수 있다.

상술한 구성요소를 포함하는 시청자 단말(100)은, 실시예에 따라 메모리(110)에 적어도 하나 이상의 AR 콘텐츠, 스트리밍 영상, 프리뷰 영상 및/또는 오버레이 스트리밍 영상 등을 저장할 수 있다.

실시예에 따른 시청자 단말(100)은, 스트리밍 애플리케이션을 기초로 스트리밍 영상을 시청할 수 있다.

또한, 실시예에서 시청자 단말(100)은, 상기 스트리밍 영상에 AR 콘텐츠를 설정하기 위한 사용자 인터페이스(UI)를 실행할 수 있다.

또한, 실시예에서 시청자 단말(100)은, 앵커링 대상 객체를 선택할 수 있다.

또한, 실시예에서 시청자 단말(100)은, 상기 선택된 앵커링 대상 객체에 설정할 AR 콘텐츠를 선택할 수 있다.

또한, 실시예에서 시청자 단말(100)은, 상기 선택된 AR 콘텐츠의 속성을 설정할 수 있다.

또한, 실시예에서 시청자 단말(100)은, 소정의 AR 콘텐츠 표시제한을 설정할 수 있다.

또한, 실시예에서 시청자 단말(100)은, 상기 앵커링 대상 객체 및 AR 콘텐츠가 기 설정된 AR 콘텐츠 표시제한에 해당하는지 여부를 판단할 수 있다.

또한, 실시예에서 시청자 단말(100)은, 상기 선택된 앵커링 대상 객체에 상기 선택되어 설정된 속성을 포함하는 AR 콘텐츠를 앵커링할 수 있다.

또한, 실시예에서 시청자 단말(100)은, 앵커링된 객체 및 AR 콘텐츠를 조정 및 표시할 수 있다.

또한, 실시예에서 시청자 단말(100)은, 입력된 정보를 기초로 프리뷰 영상을 생성할 수 있다.

또한, 실시예에서 시청자 단말(100)은, AR 콘텐츠 설정 입력을 완료하여 상기 입력 완료된 AR 콘텐츠의 표시를 요청할 수 있다.

또한, 실시예에서 시청자 단말(100)은, 오버레이 스트리밍 영상을 제공할 수 있다.

한편, 실시예에 따라서 시청자 단말(100)은, 후술되는 스트리밍 보조 서버(300) 및/또는 스트리밍 플랫폼 서버(400)에서 수행하는 기능 동작의 적어도 일부를 더 수행할 수도 있다.

- 스트리머 단말(200: Streamer Terminal)

본 발명의 실시예에 따른 스트리머 단말(200)은, 스트리밍 영상 출력 서비스를 제공하기 위한 스트리머 전용 애플리케이션이 설치된 소정의 컴퓨팅 디바이스일 수 있다.

이때, 실시예에 따라서 상기 애플리케이션은, 스트리밍 영상 출력 서비스를 제공하기 위한 소정의 웹 애플리케이션(Web Application)을 포함할 수도 있다.

하드웨어적 관점에서 상기 스트리머 단말(200)은, 상술한 시청자 단말(100)과 동일하게 애플리케이션이 설치된 모바일 타입 컴퓨팅 장치 및/또는 데스크탑 타입 컴퓨팅 장치일 수 있고, 애플리케이션이 수행하는 프로세스만이 상이할 수 있다. 즉, 시청자 단말(100)에서 상술한 구성요소 설명과 동일한 내용은 그를 준용하여 생략하도록 한다.

실시예에서 스트리머 단말(200)은, 스트리밍 영상을 생성할 수 있다.

또한, 실시예에서 스트리머 단말(200)은, 상기 생성된 스트리밍 영상을 소정의 단말 및/또는 서버(실시예로, 시청자 단말(100), 스트리밍 보조 서버(300) 및/또는 스트리밍 플랫폼 서버(400) 등)로 제공할 수 있다.

또한, 실시예에서 스트리머 단말(200)은, 상기 스트리머 단말(200)의 사용자 입력을 기초로 AR 콘텐츠 표시제한을 설정할 수 있다.

한편, 실시예에 따라서 스트리머 단말(200)은, 후술되는 스트리밍 보조 서버(300) 및/또는 스트리밍 플랫폼 서버(400)에서 수행하는 기능 동작의 적어도 일부를 더 수행할 수도 있다.

- 스트리밍 보조 서버(300: Streaming Secondary Server)

한편, 본 발명의 실시예에 따른 스트리밍 보조 서버(300)는, 스트리밍 영상 출력 서비스를 제공하기 위한 일련의 프로세스를 수행할 수 있다.

자세히, 실시예에서 스트리밍 보조 서버(300)는, 시청자 단말(100)과 같은 외부의 장치에서 스트리밍 영상 출력 서비스 프로세스가 구동되게 하기 위해 필요한 데이터를 상기 외부의 장치와 교환함으로써, 상기 스트리밍 영상 출력 서비스를 제공할 수 있다.

보다 상세히, 실시예에서 스트리밍 보조 서버(300)는, 외부의 장치(실시예에서, 모바일 타입 컴퓨팅 장치 및/또는 데스크탑 타입 컴퓨팅 장치 등)에서 애플리케이션(111)이 동작할 수 있는 환경을 제공할 수 있다.

이를 위해, 스트리밍 보조 서버(300)는, 애플리케이션(111)이 동작하기 위한 응용 프로그램, 데이터 및/또는 명령어 등을 포함할 수 있고, 이에 기초한 각종 데이터를 상기 외부의 장치와 송수신할 수 있다.

또한, 실시예에서 스트리밍 보조 서버(300)는, 딥러닝 뉴럴 네트워크(Deep-learning Neural Network)와 연동하여 스트리밍 영상 출력 서비스를 위한 각종 딥러닝(Deep Learning)을 수행할 수 있다.

여기서, 실시예에 따른 상기 딥러닝 뉴럴 네트워크는, 컨볼루션 뉴럴 네트워크(CNN, Convolution Neural Network), R-CNN(Regions with CNN features), Fast R-CNN, Faster R-CNN, Mask R-CNN, 안면인식 알고리즘 및/또는 행동 특성 검출 알고리즘 등을 포함할 수 있으며, 후술되는 실시예를 수행할 수 있는 알고리즘을 포함하는 딥러닝 뉴럴 네트워크라면 어떠한 것이든 포함할 수 있으며, 본 발명의 실시예에서는 이러한 딥러닝 뉴럴 네트워크 자체를 한정하거나 제한하지는 않는다.

이때, 실시예에 따라서 상기 딥러닝 뉴럴 네트워크는, 스트리밍 보조 서버(300)에 직접 설치되거나, 스트리밍 보조 서버(300)와는 별개의 장치로서 동작하여 상기 스트리밍 영상 출력 서비스를 위한 딥러닝을 수행할 수 있다.

이하의 실시예에서는, 딥러닝 뉴럴 네트워크가 스트리밍 보조 서버(300)에 직접 설치되어 딥러닝을 수행하는 실시예를 기준으로 설명한다.

또한, 실시예에서 스트리밍 보조 서버(300)는, 상기 딥러닝을 수행하기 위해 구축되어 있는 소정의 딥러닝 뉴럴 네트워크 구동 프로그램을 메모리로부터 독출하여, 상기 독출된 소정의 딥러닝 뉴럴 네트워크 시스템에 따라 하기 기술하는 딥러닝을 수행할 수 있다.

실시예에서 스트리밍 보조 서버(300)는, 스트리밍 영상에 중첩(overlay)되어 표시되는 소정의 AR 콘텐츠를 저장할 수 있다.

또한, 실시예에서 스트리밍 보조 서버(300)는, 상기 저장된 AR 콘텐츠를 소정의 단말 및/또는 서버(실시예로, 시청자 단말(100), 스트리밍 보조 서버(300) 및/또는 스트리밍 플랫폼 서버(400) 등)로 제공할 수 있다.

또한, 실시예에서 스트리밍 보조 서버(300)는, 스트리밍 영상 출력 서비스를 구현하기 위한 각종 응용 프로그램, 명령어 및/또는 데이터 등을 저장하고 관리할 수 있다.

실시예로, 스트리밍 보조 서버(300)는, AR 콘텐츠 설정 입력 인터페이스 등을 저장 및 관리할 수 있다.

다만, 본 발명의 실시예에서 스트리밍 보조 서버(300)가 수행할 수 있는 기능 동작은 상술된 바에 한정되지 않으며, 또 다른 기능 동작을 더 수행할 수도 있다.

한편, 도 1을 더 참조하면, 실시예에서 위와 같은 스트리밍 보조 서버(300)는, 데이터 처리를 위한 적어도 하나 이상의 프로세서 모듈(310: Processor Module)과, 외부의 장치와의 데이터 교환을 위한 적어도 하나 이상의 커뮤니케이션 모듈(320: Communication Module)과, 스트리밍 영상 출력 서비스의 제공을 위한 각종 응용 프로그램, 데이터 및/또는 명령어들을 저장하는 적어도 하나 이상의 메모리 모듈(330: Memory Module)을 포함하는 소정의 컴퓨팅 장치로 구현될 수 있다.

여기서, 상기 메모리 모듈(330)은, 스트리밍 영상 출력 서비스를 제공하기 위한 운영체제(OS), 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.

또한, 상기 메모리 모듈(330)은, 프로그램 영역과 데이터 영역을 포함할 수 있다.

여기서, 실시예에 따른 프로그램 영역은, 서버를 부팅하는 운영체제(OS: Operating System) 및 기능요소들 사이에 연계될 수 있으며, 데이터 영역은, 서버의 사용에 따라 발생하는 데이터가 저장될 수 있다.

실시예에서, 이러한 메모리 모듈(330)은, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리 모듈(330)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.

또한, 메모리 모듈(330)은, 서버 상에 탈착 가능한 형태의 기록매체일 수 있다.

한편, 상기 프로세서 모듈(310)은, 스트리밍 영상 출력 서비스를 구현하기 위하여 전술한 각 유닛(unit)의 전반적인 동작을 컨트롤할 수 있다.

이러한 프로세서 모듈(310)은, 중앙처리장치(CPU) 및/또는 그래픽처리장치(GPU) 등이 포함된 서버에 적합한 시스템 온 칩(SOC)일 수 있으며, 메모리 모듈(230)에 저장된 운영체제(OS) 및/또는 응용 프로그램 등을 실행할 수 있고, 서버에 탑재된 각 구성요소들을 제어할 수 있다.

또한, 프로세서 모듈(310)은, 각 구성요소와 내부적으로 시스템 버스(System Bus)에 의해 통신을 수행할 수 있고, 로컬 버스(Local Bus)를 비롯한 소정의 버스 구조들을 하나 이상 포함할 수 있다.

또한, 프로세서 모듈(310)은, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

이상의 설명에서는, 본 발명의 실시예에 따른 스트리밍 보조 서버(300)가 상술된 바와 같은 기능 동작을 수행한다고 설명하였으나, 실시예에 따라서 스트리밍 보조 서버(300)에서 수행하는 기능 동작의 적어도 일부를 외부의 장치(예컨대, 시청자 단말(100) 등)에서 수행할 수도 있고, 상기 외부의 장치에서 수행하는 기능 동작의 적어도 일부를 상기 스트리밍 보조 서버(300)에서 더 수행할 수도 있는 등 다양한 실시예가 가능할 수 있다.

- 스트리밍 플랫폼 서버(400: Streaming Platform Server)

한편, 본 발명의 실시예에 따른 스트리밍 플랫폼 서버(400)는, 스트리밍 영상 및/또는 오버레이 스트리밍 영상을 수신하여 인터넷을 통해 다수의 단말(실시예로, 시청자 단말(100))에게 송출함으로써 스트리밍 영상 출력 서비스를 제공하기 위한 소정의 플랫폼의 서버일 수 있다.

실시예에서 이러한 스트리밍 플랫폼 서버(400)는, 스트리밍 영상 및/또는 오버레이 스트리밍 영상 재생을 지원하기 위한 서비스 환경을 제공하는 서버일 수 있다.

예시적으로, 스트리밍 플랫폼 서버(400)는, 유투브(Youtube) 서버, 아프리카TV(AfreecaTV) 서버 및/또는 트위치(Twitch) 서버 등과 같은 플랫폼 서버를 포함할 수 있다.

또한, 실시예에서 스트리밍 플랫폼 서버(400)는, 스트리밍 영상 및/또는 오버레이 스트리밍 영상을 수신하여 인터넷을 통해 적어도 하나 이상의 단말로 송출할 수 있다.

또한, 실시예에서 스트리밍 플랫폼 서버(400)는, 방송자가 플레이하고 있는 게임 화면 및/또는 방송자의 모습을 보여주는 캠 화면을 제공할 수 있다.

또한, 실시예에서 스트리밍 플랫폼 서버(400)는, 소정의 유저에 의해 작성된 채팅 내용을 제공할 수 있으며, 이에 따라 채팅 내용이 표시되는 통합 채팅창 화면을 표시할 수 있다.

또한, 실시예에서 스트리밍 플랫폼 서버(400)는, 방송 표시 조건에 따라 노출되는 콘텐츠를 표시하는 화면(실시예로, 도네이션 콘텐츠 등)을 제공할 수 있다.

또한, 실시예에서 스트리밍 플랫폼 서버(400)는, 채팅 서비스를 이용하기 위한 채팅방을 표시할 수 있다.

또한, 실시예에서 스트리밍 플랫폼 서버(400)는, 인터넷 방송과 관련된 다양한 기능 및/또는 링크를 제공하는 패널을 표시할 수 있다.

한편, 도 1을 더 참조하면, 실시예에서 위와 같은 스트리밍 플랫폼 서버(400)는, 데이터 처리를 위한 적어도 하나 이상의 제어부(410)와, 외부의 장치와의 데이터 교환을 위한 적어도 하나 이상의 통신 모듈(420)과, 스트리밍 영상 출력 서비스의 제공을 위한 각종 응용 프로그램, 데이터 및/또는 명령어들을 저장하는 적어도 하나 이상의 데이터베이스(430)을 포함하는 소정의 컴퓨팅 장치로 구현될 수 있다.

이러한 상기 스트리밍 플랫폼 서버(400)는, 상술한 스트리밍 보조 서버(300)와 동일하게 스트리밍 영상 출력 서비스를 제공하기 위한 일련의 프로세스를 수행하는 서버일 수 있고, 상기 수행되는 프로세스만이 상이할 수 있다. 즉, 스트리밍 보조 서버(300)에서 상술한 구성요소 설명과 동일한 내용은 그를 준용하여 생략하도록 한다.

- AR 콘텐츠를 이용한 스트리밍 영상 출력 서비스를 제공하는 방법

이하, 본 발명의 실시예에 따른 시청자 단말(100)의 적어도 하나 이상의 프로세서에 의하여 실행되는 애플리케이션(111)이 AR 콘텐츠를 이용한 스트리밍 영상 출력 서비스를 제공하는 방법을 첨부된 도 3 내지 도 8을 참조하여 상세히 설명한다.

본 발명의 실시예에서 상기 시청자 단말(100)의 적어도 하나 이상의 프로세서는, 적어도 하나 이상의 메모리(110)에 저장된 적어도 하나 이상의 애플리케이션(111)을 실행하거나 백그라운드 상태로 동작하게 할 수 있다.

이하, 상기 적어도 하나 이상의 프로세서가 상기 애플리케이션(111)의 명령어를 실행하기 위해 동작하여 상술된 AR 콘텐츠를 이용한 스트리밍 영상 출력 서비스를 제공하는 방법을 수행하는 것을 상기 애플리케이션(111)이 수행하는 것으로 단축하여 설명한다.

도 3은 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 실시예에서 애플리케이션(111)은, 실시간 스트리밍 영상을 재생할 수 있다. (S101)

자세히, 실시예에서 애플리케이션(111)은, 시청자 단말(100)을 통해 스트리밍 영상을 시청하는 사용자(이하, 사용자)의 입력을 기초로 스트리밍 영상을 재생할 수 있다.

이때, 상기 사용자는, 시청하고자 하는 스트리밍 영상을 선택하는 입력을 수행할 수 있고, 이에 따라 실시예에서 애플리케이션(111)은, 선택된 스트리밍 영상을 재생할 수 있다.

도 4는 본 발명의 실시예에 따른 스트리밍 영상의 일례이다.

도 4를 참조하면, 실시예에서 애플리케이션(111)은, 제1 화면 내지 제4 화면을 포함하는 스트리밍 영상을 재생할 수 있다.

실시예에 따른 스트리밍 영상 영역(610)은, 제1 화면 내지 제4 화면(611, 612, 613, 614)을 포함할 수 있다.

제1 화면(611)은, 방송자가 플레이하고 있는 게임 화면 및/또는 방송자가 스트리머 단말(200)이나 별도의 카메라 디바이스를 통해 실시간으로 촬영한 캠 화면일 수 있다.

또한, 제2 화면(612)은, 게임을 플레이하고 있는 방송자가 촬영한 캠 화면 및/또는 방송자가 플레이하는 실시간 게임 화면을 캡처한 영상일 수 있다. 이때, 상기 제1 화면(611) 및 제2 화면(612)은 스트리밍 영상의 주제 및/또는 컨셉에 따라 그 개수가 더 많거나 적을 수 있다.

예를 들어, 스트리밍 영상은, 제1 화면(611)으로 실시간 게임 화면과, 제2 화면(612으로 실시간으로 게임을 하는 방송자를 촬영한 캠 화면을 포함할 수 있다.

그리고 제3 화면(613)은, 스트리밍 보조 서버(300) 및/또는 스트리밍 플랫폼 서버(400)로부터 시청자들이 입력한 채팅 내용을 포함하는 채팅창을 포함할 수 있다.

자세히, 제3 화면(613)은, 제1 스트리밍 플랫폼에서 수신한 시청자들의 채팅과, 제2 스트리밍 플랫폼에서 수신한 시청자들의 채팅을 수신된 시간 순으로 결합하여 표시하는 통합 채팅창일 수 있다.

또한, 제4 화면(614)은, 시청자 단말(100)이 방송자 또는/및 스트리밍 플랫폼에서 설정한 소정의 방송 표시 조건을 충족하면 충족된 방송 표시 조건에 따라 노출되는 콘텐츠를 표시하는 화면일 수 있다.

예컨대, 상기 제4 화면(614)은 방송자에게 소정의 도네이션(Donation: 인터넷 방송에서 시청자가 방송자에게 제공하는 금전적 후원)을 수행한 시청자의 닉네임 및/또는 후원금액을 표시하는 콘텐츠(이하, 도네이션 콘텐츠)를 제1 화면(611) 영상 상에 오버레이하여 표시하는 화면일 수 있다.

이때, 상기 도네이션 콘텐츠는, 텍스트, 스티커, 브러쉬, 이미지 및/또는 영상 중 적어도 하나 이상을 포함하는 콘텐츠일 수 있다.

또한, 실시예에서 애플리케이션(111)은, 재생되는 스트리밍 영상 영역(610) 외부에 채팅 서비스를 이용하기 위한 채팅창(620)을 더 표시할 수 있다.

이때, 사용자는, 시청자 단말(100)을 기초로 일부 영역에 표시된 채팅창(620)에 키보드, 마우스, 터치스크린 등의 입력 인터페이스를 이용하여 텍스트 등을 입력하여 방송자 및 타 시청자들과 상호 작용을 수행할 수 있다.

또한, 실시예에서 애플리케이션(111)은, 재생되는 스트리밍 영상 영역(610) 외부에 인터넷 방송과 관련된 다양한 기능 및/또는 링크를 제공하는 패널(630)을 더 표시할 수 있다.

실시예로, 상기 패널(630)은, 인터넷 방송사(예컨대, 플랫폼)의 정책 및/또는 방송자의 커스터마이징에 따라 기 설정된 개체를 포함하는 영역일 수 있다.

예컨대, 상기 패널(630)은, 유료 도네이션 링크, 타 플랫폼 링크, 나중에 보기, 즐겨찾기, 추천하기, 공유하기, 방송자 개인 홈페이지 링크 및/또는 방송자 팬 커뮤니티 링크 등의 기능을 수행하는 개체를 포함할 수 있다.

그리고 제2 화면(612) 내지 제4 화면(614)은, 제1 화면(611) 상에 오버레이되어 표시될 수 있다. 또한, 제2 화면(612) 내지 제4 화면(614)은 방송자가 제1 화면(611) 상에 설정한 위치 및 영역 내에서만 표시될 수 있다.

또한, 실시예에서 애플리케이션(111)은, 상기 실시간 스트리밍 영상에 AR 콘텐츠를 설정하기 위한 사용자 인터페이스를 실행할 수 있다. (S103)

자세히, 실시예에서 애플리케이션(111)은, 상기 스트리밍 영상을 시청중인 사용자의 입력을 기초로 상기 스트리밍 영상에 적어도 하나 이상의 AR 콘텐츠를 설정하기 위한 AR 콘텐츠 설정 입력 인터페이스를 실행할 수 있다.

이를 위해, 실시예에서 애플리케이션(111)은, 소정의 콘텐츠 구매 프로세스를 기초로 스트리밍 영상에 AR 콘텐츠를 표시할 수 있는 권한을 구매할 수 있다.

이하, AR 콘텐츠를 표시하는 권한을 표시하고자 하는 AR 콘텐츠를 구매하는 것으로서 설명한다.

이때, 상기 AR 콘텐츠는, 종류, 크기, 색상, 앵커링 대상 객체 및/또는 스트리밍 영상 내 적용 범위 등의 AR 콘텐츠의 표시 특성이 차등적으로 설정된 콘텐츠일 수 있다.

즉, 실시예에서 애플리케이션(111)은, AR 콘텐츠 설정 입력 인터페이스를 기초로 스트리밍 보조 서버(300) 또는/및 스트리밍 플랫폼 서버(400)에서 제공하는 복수의 AR 콘텐츠 중 적어도 하나 이상의 AR 콘텐츠를 선택하고, 다음으로 선택된 AR 콘텐츠를 상기 스트리밍 영상 상에 표시하기 위한 AR 콘텐츠 설정을 수행할 수 있다.

도 5는 본 발명의 실시예에 따른 AR 콘텐츠 설정을 수행하는 방법을 설명하기 위한 세부 흐름도이다.

도 5를 참조하면, 먼저, 실시예에서 애플리케이션(111)은, AR 콘텐츠가 앵커링(Anchoring: AR 콘텐츠의 위치 및 자세의 기준이 되는 대상 객체를 결정하는 것)되는 대상 객체를 결정할 수 있다. (S301)

자세히, 실시예에서 애플리케이션(111)은, 상기 AR 콘텐츠 설정 입력 인터페이스를 기초로 상기 스트리밍 영상 내 앵커링 대상 객체를 사용자가 선택 입력을 수신하여, 수신된 사용자의 선택 입력에 따라서 스트리밍 영상 내의 객체 중 적어도 하나의 객체를 대상 객체로 결정할 수 있다.

또한, 실시예에서 애플리케이션(111)은, 표시하고자 하는 AR 콘텐츠에 디폴트로 설정된 대상 객체를 스트리밍 영상 내에서 검출하고, 검출된 객체를 대상 객체로 결정할 수 있다.

이때, 상기 앵커링 대상 객체는, 상기 AR 콘텐츠 설정 입력 인터페이스가 실행되는 동안 상기 스트리밍 영상 내 지속적으로 존재하는 소정의 객체일 수 있고, AR 콘텐츠를 설정하는 동안 상기 앵커링 대상 객체가 소멸할 시, 실시예에서 애플리케이션(111)은, 앵커링 대상 객체를 재선택하기 위해 선택 가능한 앵커링 대상 객체를 재추출할 수 있다.

상기 스트리밍 영상 내 앵커링 대상 객체를 선택하기 위하여, 실시예에서 애플리케이션(111)은, 상기 스트리밍 영상 내 제1 화면(611) 및/또는 제2 화면(612)에서 선택 가능한 앵커링 대상 객체를 추출할 수 있다. 다른 측면에서, 앵커링 대상 객체는, 방송자가 촬영한 캠 화면 또는/및 방송자가 캡쳐링한 게임 화면 내에 포함된 적어도 하나의 객체일 수 있다.

또한, 실시예에서 애플리케이션(111)은, 상기 추출된 선택 가능한 앵커링 후보 객체 중 하나의 객체를 사용자가 선택하도록 제공하고, 사용자가 선택한 객체를 대상 객체로 결정할 수 있다.

이때, 상기 결정된 앵커링 대상 객체는 실제 사람의 형상이 아닌 게임 내에 포함된 캐릭터 중 하나일 수 있다. 또한, 앵커링 대상 객체는, 캐릭터를 구성하는 객체(예컨대, 신체부위) 중 하나일 수 있다. 또한, 결정된 앵커링 대상 객체는, 방송자를 촬영한 캠 화면 내에 포함된 객체일 수 있다. 예를 들어, 앵커링 대상 객체는, 방송자을 촬영한 실시간 캠 화면에 포함된 사람의 전체 형상, 일부 형상뿐만 아니라 촬영된 물건, 애완 동물, 바탕이되는 벽 등 구분 가능한 모든 객체를 포함할 수 있다.

이를 위해 애플리케이션(111)은, 스트리밍 영상에서 오브젝트를 검출하는 디텍팅(object detecting)과, 오브젝트 타입을 구분하는 클래시피케이션(object classification)과, 오브젝트의 영역을 추출하는 세그멘테이션(segmentation)을 포함하는 후보객체 검출을 수행할 수 있다.

자세히, 애플리케이션(111)은, AR 콘텐츠를 표시하는 대상 화면이 게임 화면인 경우, 게임에 특성에 맞게 설계된 후보객체 검출 딥러닝 뉴럴 네트워크를 통해서, 게임에 포함된 객체들을 검출, 분류하고 영역을 결정할 수 있다.

또한, 애플리케이션(111)은, AR 콘텐츠를 표시하는 대상 화면이 캠 화면인 경우, 일반적인 사람, 애완동물 및 물건 등 일상생활에 특성에 맞게 설계된 후보객체 검출 딥러닝 뉴럴 네트워크를 통해서, 캠 화면에 포함된 객체들을, 검출 및 분류하고, 영역을 결정할 수 있다.

즉, 애플리케이션(111)은, 대상 화면의 특성에 따라서 후보객체를 검출하기 위한 복수의 딥러닝 뉴럴 네트워크 중 하나를 결정한 후 결정된 딥러닝 뉴럴 네트워크로 후보대상 객체를 검출하고 트래킹할 수 있다.

또한, 애플리케이션(111)은, 후보대상 객체가 사람 또는 사람형 캐릭터인 경우, 사람의 신체부위 별로 객체를 구분하기 위해서 사람 또는 사람형 캐릭터 전체 영역에서 키포인트를 검출할 수 있다.

또한, 실시예에서 애플리케이션(111)은, 상기 검출된 소정의 키포인트 중 AR 콘텐츠를 설정할 키포인트를 포함하는 제1 신체부위를 선택하는 사용자 입력을 감지할 수 있다.

즉, 실시예에서 애플리케이션(111)은, 상기 키포인트를 선택하는 사용자 입력을 감지함에 따라 상기 선택된 제1 신체부위를 앵커링 대상 객체로 결정할 수 있다.

예컨대, 애플리케이션(111)은, 상기 스트리밍 영상 내에서 사람의 형상의 캐릭터에 키포인트를 검출하고, 검출된 키포인트들을 군집 별로 구분하여 제1 내지 제5 객체를 추출할 수 있고, 그 중 추출된 제1 객체를 사용자가 선택하면, 해당 제1 객체를 앵커링 대상 객체로 결정할 수 있다.

한편, 다른 실시예에서 애플리케이션(111)은, 상기 앵커링 대상 객체가 실제 사람의 형상인 경우, 사람의 신체부위 검출용 딥러닝 뉴럴 네트워크 등을 기초로 상기 선택된 앵커링 대상 객체에 포함된 적어도 하나 이상의 신체부위 키포인트를 검출할 수 있다.

이때, 상기 딥러닝 뉴럴 네트워크는, 안면인식 알고리즘 및/또는 행동 특성 검출 알고리즘 등 소정의 영상 내 사람의 모습을 검출할 수 있는 알고리즘을 포함하는 딥러닝 뉴럴 네트워크 중 적어도 하나 이상의 알고리즘을 활용하여 딥러닝을 수행할 수 있다.

여기서, 상기 소정의 딥러닝 뉴럴 네트워크는, 소정의 영상 내 신체 키포인트를 추출 가능한 알고리즘을 포함하는 딥러닝 뉴럴 네트워크라면 어떠한 것이든 포함할 수 있으며, 본 발명의 실시예에서는 이러한 딥러닝 뉴럴 네트워크 자체를 한정하거나 제한하지는 않는다.

도 6은 본 발명의 실시예에 따른 앵커링 대상 객체로부터 검출된 신체부위 키포인트를 설명하기 위한 도면의 일례이다.

도 6을 참조하면, 다른 실시예에서 애플리케이션(111)은, 상기 스트리밍 영상을 기초로 딥러닝 분석을 수행하여 상기 선택된 앵커링 대상 객체에 포함된 적어도 하나 이상의 신체부위 키포인트를 검출할 수 있다.

이때, 다른 실시예에 따른 상기 신체부위 키포인트는, 얼굴 키포인트(face key point)(30), 손 키포인트(hand key point)(40), 어깨 키포인트(shoulder key point)(50) 및/또는 팔 키포인트(arm key point)(60) 등을 포함할 수 있다.

또한, 다른 실시예에서 상기 신체부위 키포인트는, 스트리밍 영상에 포함되는 방송자의 신체부위 노출 정도에 따라 더 많거나(예컨대, 무릎 키포인트 및/또는 발 키포인트 등) 적을 수 있다.

또한, 다른 실시예에서 상기 얼굴 키포인트(30)는, 방송자의 얼굴 형상을 특정할 수 있는 적어도 하나 이상의 서브 얼굴 키포인트를 포함할 수 있다.

다른 실시예로, 상기 얼굴 키포인트(30)는, 방송자의 눈 형상을 특정하는 눈 키포인트(eye key point), 코 형상을 특정하는 코 키포인트(nose key point), 입 형상을 특정하는 입 키포인트(mouth key point) 및/또는 귀 형상을 특정하는 귀 키포인트(ear key point) 등을 서브 얼굴 키포인트로서 포함할 수 있다.

이때, 다른 실시예에 따른 상기 서브 얼굴 키포인트는, 방송자의 얼굴 확대 정도에 따라 눈동자 키포인트 및/또는 입술 키포인트 등을 더 포함할 수도 있다.

마찬가지로, 다른 실시예에서 애플리케이션(111)은, 방송자의 신체 형상을 특정할 수 있는 적어도 하나 이상의 손 (서브) 키포인트, 어깨 (서브) 키포인트 및/또는 팔 (서브) 키포인트를 포함하는 신체부위 키포인트를 검출할 수 있다.

또한, 다른 실시예에서 애플리케이션(111)은, 상기 검출된 소정의 신체부위 키포인트 중 AR 콘텐츠를 설정할 신체부위에 포함된 키포인트를 선택하는 사용자 입력을 감지할 수 있다.

즉, 다른 실시예에서 애플리케이션(111)은, 상기 신체부위 키포인트를 선택하는 사용자 입력을 감지함에 따라 상기 선택된 신체부위 키포인트를 포함하는 신체부위를 앵커링 대상 객체로 결정할 수 있다.

예컨대, 애플리케이션(111)은, 상기 스트리밍 영상 내에서 사람의 형상을 구분하는 제1 내지 제5 객체를 추출할 수 있고, 그 중 추출된 제1 객체에 포함된 제1 신체부위에 포함된 키포인트를 선택함으로써 앵커링 대상 객체를 제1 객체로 선택할 수 있다.

전술한 실시예는, 표시할 AR 콘텐츠를 결정하고, 결정된 AR 콘텐츠가 표시되기 위한 기준이되는 앵커링 대상 객체를 결정하는 순서로 AR 콘텐츠 설정이 이루어지는 것으로 설명하였다.

이하에서는, 스트리밍 영상에서 앵커링 대상 객체를 먼저 결정하고, 결정된 앵커링 대상 객체에 매칭되어 표시 가능한 AR 콘텐츠들이 제공되며, 사용자 선택에 따라서 표시될 AR 콘텐츠가 결정되는 순서로 AR 콘텐츠 설정이 이루어지는 것을 설명하기로 한다.

또한, 실시예에서 애플리케이션(111)은, 상기 결정된 앵커링 대상 객체에 설정할 AR 콘텐츠를 결정할 수 있다. (S303)

자세히, 실시예에서 애플리케이션(111)은, 상기 AR 콘텐츠 설정 입력 인터페이스를 기초로 사용자에 의해 소정의 콘텐츠 구매 프로세스를 거쳐서 기 결정된 AR 대상 객체를 기준으로 표시될 수 잇는 AR 콘텐츠 중 하나를 사용자 선택에 따라서 결정할 수 있다.

한편, 상기 AR 콘텐츠 각각에는, 앵커링 대상 객체를 기준으로 표시되는 상대적인 위치 및 자세를 포함하는 매칭 정보가 기 설정될 수 있다.

예컨대, 안경 모양의 AR 콘텐츠에는 눈에 포함된 키포인트를 기준으로 안경테의 위치 및 자세가 설정되고, 코에 포함된 키포인트를 기준으로 코받침의 위치 및 자세가 설정되고, 귀에 포함된 키포인트를 기준으로 안경 다리의 위치 및 자세가 설정된 매칭 정보가 포함될 수 있다.

다시 말하면, 실시예에서 애플리케이션(111)은, 각 AR 콘텐츠에 기 설정되어있는 매칭 정보를 기초로 상기 선택된 앵커링 대상 객체의 소정의 키포인트에 설정 가능한 AR 콘텐츠만을 선택할 수 있다.

예를 들어, 상기 선택된 앵커링 대상 객체의 키포인트가 눈 키포인트라면, 사용자는 안경, 컬러 렌즈 및/또는 눈화장 효과 등을 포함하는 AR 콘텐츠를 선택할 수 있으나, 고양이 귀, 반지 및/또는 머리 염색 효과 등을 포함하는 AR 콘텐츠는 선택이 불가할 수 있다.

따라서, 대상 객체가 먼저 결정된 경우, 애플리케이션(111)은, 결정된 대상 객체를 앵커링하여 표시되는 AR 콘텐츠들을 검출하고, 검출된 AR 콘텐츠들을 리스트로 사용자에게 제공하며, 사용자가 선택한 AR 콘텐츠를 최종 표시하기 위한 AR 콘텐츠로 결정할 수 있다.

추가로, 실시예에서 애플리케이션(111)은, AR 콘텐츠와 대상 객체를 결정한 후 상기 결정된 AR 콘텐츠의 추가 표시 속성을 설정할 수 있다. (S305)

자세히, 실시예에서 애플리케이션(111)은, 상기 AR 콘텐츠 설정 입력 인터페이스를 기초로 상기 결정된 AR 콘텐츠의 크기, 색상 및/또는 형상 등을 포함하는 속성을 설정할 수 있다.

또한, 애플리케이션(111)은, 대상 객체와 AR 콘텐츠의 매칭 정보인 상대적인 위치 및 자세 또한 사용자 선택에 따라 변경하는 속성 설정 인터페이스를 제공할 수 있다.

한편, 실시예에서 애플리케이션(111)은, 상기 스트리밍 영상 내 특정 객체에 대하여 소정의 AR 콘텐츠를 정상적으로 설정하였더라도, 상기 설정된 AR 콘텐츠의 속성(예컨대, 크기 및 위치 등)에 따라 스트리밍 영상에 포함된 게임 화면 및/또는 통합 채팅창을 가려 스트리머의 방송이 방해될 수 있으므로, 원활한 방송 진행을 위해 AR 콘텐츠 표시제한을 기 설정할 수 있다.

이를 위해, 실시예에서 애플리케이션(111)은, 소정의 AR 콘텐츠 표시제한을 설정할 수 있다.

자세히, 실시예에서 애플리케이션(111)은, 스트리머 단말(200)의 사용자(즉, 스트리머) 및/또는 권한 있는 시청자 단말(100)의 사용자의 입력을 기초로 AR 콘텐츠 표시제한을 설정할 수 있다.

이때, 상기 권한 있는 시청자 단말(100)의 사용자는, 관리자 및/또는 소정 금액 이상 도네이션을 수행한 시청자 등일 수 있다. 다시 말해, 실시예에 따른 사용자는 소정 금액 이상 도네이션을 수행하면 소정의 AR 콘텐츠 표시제한을 설정하는 관리 권한을 획득할 수 있고, 이에 따라 AR 콘텐츠 표시제한의 설정 범위를 확장하여 방송에 방해가 되는 요소를 직접 제거하거나, 설정 범위를 축소하여 타 시청자들의 이목을 집중시키기 위한 소정의 행위를 직접 수행할 수 있도록 하여 사용자의 방송 참여율을 높여 만족도를 증가시키는 효과가 있다.

실시예에 따른 AR 콘텐츠 표시제한은, 1) AR 콘텐츠 표시영역 제한 설정, 2) AR 콘텐츠 스케일 제한 설정 및/또는 3) AR 콘텐츠 표시시간 제한 설정 중 적어도 하나의 제한 설정을 포함할 수 있다.

실시예에서 애플리케이션(111)은, 1) AR 콘텐츠가 오버레이 되지 못하는 비표시영역을 설정하는 표시영역 제한을 설정할 수 있다.

예를 들어 애플리케이션(111)은, 제1 화면(611) 및/또는 제2 화면(612)에 포함된 소정의 객체에만 AR 콘텐츠를 설정할 수 있도록 표시영역 제한을 설정(이하에서는, 허용영역 설정)할 수 있다.

바꿔 말하면, 실시예에서 애플리케이션(111)은, 제3 화면, 제4 화면, 채팅창 및/또는 패널에 포함된 소정의 객체에는 AR 콘텐츠를 설정할 수 없도록 표시영역 제한을 설정(이하에서는, 금지영역 설정)할 수 있다.

이는, 도네이션에 포함된 시청자의 콘텐츠 및/또는 스트리밍 영상을 시청중인 다수 명의 시청자들의 채팅 내용이 원활히 노출되게 하기 위함일 수 있다.

또한, 애플리케이션(111)은, 오버레이 대상이 되는 표시화면(예컨대, 제1 화면(611) 또는 제2 화면(612)에서 일정 영역을 비표시 영역으로 설정하는 표시영역 제한을 설정할 수 있다.

자세히, 애플리케이션(111)은, 표시화면에서 아웃라인(outline)을 설정하여 상기 아웃라인 안의 영역을 비표시 영역으로 설정하는 인터페이스를 제공할 수 있다.

또한, 애플리케이션(111)은, 표시화면에 포함된 객체를 결정하면, 결정된 객체의 영역을 비표시 영역으로 설정하는 인터페이스를 제공할 수 있다. 이 경우, 애플리케이션(111)은, AR 콘텐츠 표시할 때, 대상 객체뿐만 아니라 비표시 영역의 객체를 함께 검출/추적하여 AR 콘텐츠 표시를 제한할 수 있다. 여기서, 비표시 영역은, AR 콘텐츠가 표시되는 영역의 비율이 추가 설정될 수 있다.

예를 들어, 비표시 영역에 대해 AR 콘텐츠 표시비율이 0%인 경우 비표시 영역에는 AR 콘텐츠가 표시될 수 없고, AR 콘텐츠의 표시 비율이 20%인 경우, 비표시 영역의 크기 대비 20%의 영역까지만 표시되도록 설정될 수 있다.

또한, 실시예에서 애플리케이션(111)은, 2) AR 콘텐츠 스케일 제한을 설정할 수 있다.

자세히, 실시예에서 애플리케이션(111)은, 설정된 AR 콘텐츠가 허용영역 및/또는 금지영역을 소정의 비율 이상 차지 및/또는 침범하는 것을 방지하기 위하여 AR 콘텐츠 스케일 제한을 설정할 수 있다.

예컨대, 표시화면의 크기 대비 AR 콘텐츠가 기 설정된 비율(예컨대, 60%) 이하로 표시되도록 스케일 제한이 설정될 수 있다.

또한, 실시예에서 애플리케이션(111)은, 3) AR 콘텐츠 표시시간 제한을 설정할 수 있다.

자세히, 실시예에서 애플리케이션(111)은, 설정된 AR 콘텐츠가 소정의 시간 이상 지속적으로 노출되어 타 시청자의 AR 콘텐츠 설정을 방해하는 것을 방지하기 위하여 AR 콘텐츠 표시시간 제한을 설정할 수 있다.

예컨대, 소정의 AR 콘텐츠 표시시간은 10초로 제한이 설정되어있을 수 있다.

즉, 실시예에서 애플리케이션(111)은, 소정의 AR 콘텐츠 표시제한을 설정함으로써, 상기 설정된 AR 콘텐츠의 속성(예컨대, 크기 및 위치 등)에 따라 스트리밍 영상에 포함된 게임 화면, 방송자 모습, 도네이션 멘트 및/또는 통합 채팅창 등 방송에 필수적으로 표시되어야 하는 부분을 보호하여 방송 진행을 원활히 하는 효과가 있다.

이러한 AR 콘텐츠 표시제한에 있어, 실시예에서 애플리케이션(111)은, 소정의 금액 추가 결제 및/또는 추가 도네이션을 기초로 상기 AR 콘텐츠 표시제한을 변경하거나 해제할 수 있다.

자세히, 실시예에서 애플리케이션(111)은, 소정의 금액 추가 결제 및/또는 추가 도네이션을 기초로 AR 콘텐츠 표시영역 제한 범위, AR 콘텐츠 스케일 제한 범위 및/또는 AR 콘텐츠 표시시간 제한 범위를 축소하거나 상기 제한을 해제할 수 있다.

예컨대, 애플리케이션(111)은, 사용자가 소정의 금액 추가 결제 시 허용영역을 제1 및 제2 화면에서 제1 내지 제3 화면으로 변경하거나, AR 콘텐츠의 스케일 제한을 허용영역의 60%에서 80%로 변경하거나, AR 콘텐츠의 표시시간 제한을 10초에서 20초로 변경하는 등 상기 AR 콘텐츠 표시제한을 변경 및 해제할 수 있다.

즉, 실시예에서 애플리케이션(111)은, 소정의 AR 콘텐츠 표시제한을 금액 추가 결제 및/또는 추가 도네이션을 기초로 변경 및 해제할 수 있도록 함으로써, 방송을 방해하는 요소를 시청자가 직접 제거하여 스트리밍 영상의 퀄리티를 향상시킴과 동시에 도네이션 욕구를 자극하여 스트리밍 방송에 따른 수익 창출률의 증가로 온라인 방송 시장을 활성화할 수 있는 효과가 있다.

또한, 실시예에서 애플리케이션(111)은, 앵커링 대상 객체에 대한 선택을 금지하는 표시제한 설정을 제공할 수 있다. 이경우, 애플리케이션(111)은, 권한을 부여받은 시청자가 AR 콘텐츠의 표시설정을 진행할 때, 표시제한 설정에 따라 비활성화된 후보객체, 금지된 객체에 앵커링되는 AR 콘텐츠 비활성화 등을 표시할 수 있다. 또한, 실시예에서 애플리케이션(111)은, 기 설정된 AR 콘텐츠 표시제한을 기초로 상기 선택된 AR 콘텐츠의 표시 여부를 결정할 수 있다. (S307)

이를 위해, 실시예에서 애플리케이션(111)은, 상기 앵커링 대상 객체, AR 콘텐츠 및/또는 AR 콘텐츠의 속성과 상기 기 설정된 AR 콘텐츠 표시제한을 비교할 수 있다.

이때, 실시예에서 애플리케이션(111)은, 상기 앵커링 대상 객체 및 AR 콘텐츠가 기 설정된 AR 콘텐츠 표시영역, 스케일 및/또는 표시시작 제한 중 하나 이상에 해당하면, AR 콘텐츠를 표시설정하는 사용자에게 제한에 따른 안내 이미지를 표시할 수 있다.

또한, 애플리케이션(111)은, 사용자가 표시설정한 AR 콘텐츠의 제한이 있는 경우, 상기 AR 콘텐츠의 표시설정을 리셋하고 S301 단계로 회귀하여 상기 앵커링 대상 객체, AR 콘텐츠 및/또는 AR 콘텐츠의 속성을 재 설정하도록 제공할수도 있다.

또한, 실시예에서 애플리케이션(111)은, 상기 앵커링 대상 객체 및 AR 콘텐츠가 기 설정된 AR 콘텐츠 표시영역, 스케일 및/또는 표시시작 제한 중 어느 하나에도 미해당하면, 상기 결정된 앵커링 대상 객체에 상기 설정된 추가 표시 속성을 포함하는 AR 콘텐츠를 앵커링할 수 있다. (S309)

실시예에서 상기 앵커링은, 위치 관계, 자세 관계 및/또는 스케일 관계를 포함할 수 있다.

또한, 실시예에서 애플리케이션(111)은, 실시간 스트리밍 영상에서 앵커링된 객체에 따라서 AR 콘텐츠(이하, 오버레이 셋)를 생성할 수 있다. (S311)

자세히, 실시예에서 애플리케이션(111)은, 앵커링된 객체의 위치 및/또는 자세(이하, 포즈)를 기초로 상기 오버레이 셋에 포함된 AR 콘텐츠를 조정하여 생성할 수 있다.

실시예에서 애플리케이션(111)은, 상기 오버레이 셋에 포함된 객체가 실제 사람의 형상이 아닌 경우, 상기 앵커링된 객체의 포즈를 기초로 상기 오버레이 셋에 포함된 AR 콘텐츠의 포즈를 조정하여 스트리밍 영상 상에 렌더링할 수 있다.

한편, 다른 실시예에서 애플리케이션(111)은, 상기 오버레이 셋에 포함된 객체가 실제 사람의 형상(이하에서는, 방송자로 가정함)인 경우, 실시간 스트리밍 영상의 앵커링된 객체의 포즈를 기초로 상기 오버레이 셋에 포함된 AR 콘텐츠를 포즈를 결정하여 생성할 수 있다.

자세히, 다른 실시예에서 애플리케이션(111)은, 상기 방송자의 포즈를 기초로 상기 검출된 방송자의 소정의 신체부위 키포인트에 맞게 상기 오버레이 셋에 포함된 AR 콘텐츠를 조정하여 생성할 수 있다.

실시예로 상기 조정되는 AR 콘텐츠는, 크기, 방향 및/또는 위치 등이 검출된 방송자의 소정의 신체부위 키포인트에 따른 방송자의 신체구조에 맞게 변경될 수 있다.

이와 같은 방법으로, 실시예에서 애플리케이션(111)은, 조정된 AR 콘텐츠를 포함하는 오버레이 셋을 표시할 수 있다.

다시 돌아와서, 실시예에서 애플리케이션(111)은, 입력된 정보(실시예로, 상기 조정된 AR 콘텐츠를 포함하는 오버레이 셋)를 기초로 프리뷰 영상을 생성할 수 있다. (S105)

자세히, 실시예에서 애플리케이션(111)은, 상기 AR 콘텐츠 설정 입력 인터페이스를 이용하여 입력 및/또는 선택된 상기 조정된 AR 콘텐츠를 포함하는 오버레이 셋을 기초로 프리뷰 영상을 생성할 수 있다.

도 7은 본 발명의 실시예에 따라 프리뷰 영상을 포함하는 AR 콘텐츠 설정 입력 인터페이스의 일례이다.

도 7을 참조하면, 실시예에서 애플리케이션(111)은, AR 콘텐츠 설정 입력 인터페이스(700)를 기초로 상기 오버레이 셋(710)을 포함하는 프리뷰 영상(PV)을 생성할 수 있다.

자세히, 실시예에서 애플리케이션(111)은, AR 콘텐츠 설정 입력 인터페이스(700)를 기초로 스트리밍 중인 스트리밍 영상 내에서 앵커링 대상 객체로 결정된 제1 객체(711)의 포즈에 따라서제1 AR 콘텐츠(712)가 렌더링(Rendering: 이미지 합성)된 상기 오버레이 셋(710)을 포함하는 프리뷰 영상(PV)을 생성할 수 있다.

이때, 실시예에 따른 상기 프리뷰 영상(PV)은, 소정의 AR 콘텐츠 설정 입력을 수행한 사용자 본인에게만 노출되는 영상일 수 있으며, 스트리밍 영상에 합성되어 다수의 시청자들이 시청하기 이전에 생성되어 상기 사용자에게 확인 차 제공될 수 있다.

한편, 실시예에서 애플리케이션(111)은, 상기 프리뷰 영상(PV)을 오리지널 모드(OM) 및/또는 어드밴스드 모드(AM)로 제공할 수 있다.

도 8은 본 발명의 실시예에 따른 오리지널 모드 및 어드밴스드 모드로 제공된 프리뷰 영상의 일례이다.

도 8을 참조하면, 실시예에서 애플리케이션(111)은, 상기 프리뷰 영상(PV)을 오리지널 모드(OM) 및/또는 어드밴스드 모드(AM)로 병렬적으로 제공할 수 있다.

여기서, 실시예에 따른 오리지널 모드(OM)는, 상술한 S103 단계를 거쳐 AR 콘텐츠 설정 입력 인터페이스(700)를 기초로 입력된 오버레이 셋(710a)을 그대로 포함하는 프리뷰 영상(PV)을 의미할 수 있다. 이하, 상기 오리지널 모드에 포함된 오버레이 셋을 오리지널 오버레이 셋(710a)라고 지칭할 수 있다.

반면, 실시예에 따른 어드밴스드 모드(AM)는, 소정의 금액 추가 결제가 가상으로 수행되어 기 설정된 AR 콘텐츠 표시제한이 변경 및/또는 해제되면, 상기 인터페이스를 기초로 입력된 AR 콘텐츠(712b)의 크기(스케일), 위치 및/또는 표시시간이 상기 가상으로 수행된 금액 추가 결제에 따라 가상으로 변경된 오버레이 셋(710b)을 포함하는 프리뷰 영상(PV)일 수 있다. 이하, 상기 어드밴스드 모드에 포함된 오버레이 셋을 어드밴스드 오버레이 셋(710b)라고 지칭할 수 있다.

이때, 상기 오리지널 오버레이 셋(710a)에 포함된 객체(711a) 및 상기 어드밴스드 오버레이 셋(710b)에 포함된 객체(711b)는 동일한 객체일 수 있다.

한편, 상기 오리지널 오버레이 셋(710a)에 포함된 AR 콘텐츠(712a) 및 상기 어드밴스드 오버레이 셋(710b)에 포함된 AR 콘텐츠(712b)는 동일한 종류의 AR 콘텐츠이지만, 가상으로 수행된 금액 추가 결제에 따라 크기, 위치 및/또는 표시시간 등의 속성이 상이한 AR 콘텐츠일 수 있다.

또한, 상기 어드밴스드 오버레이 셋(710b)에 포함된 AR 콘텐츠(712b)는, 기 설정된 AR 콘텐츠 표시제한이 가상으로 변경 및/또는 해제됨에 따라, 상기 제3 화면(613) 및/또는 제4 화면(614)과 상기 AR 콘텐츠(712b)의 일부가 중첩될 수도 있다.

이와 같은 방법으로, 실시예에서 애플리케이션(111)은, 상기 프리뷰 영상(PV)을 오리지널 모드(OM) 및/또는 어드밴스드 모드(AM)로 병렬적으로 제공할 수 있다.

즉, 실시예에서 애플리케이션(111)은, 상기 프리뷰 영상(PV)을 오리지널 모드(OM) 및/또는 어드밴스드 모드(AM)로 병렬적으로 제공함으로써, 추가 구매를 하지 않은 사용자에게 결제를 유도하거나 추가 구매 욕구를 자극하여 결과적으로 온라인 방송에 따른 수익 창출률을 증가시키는 효과가 있다.

또한, 실시예에서 애플리케이션(111)은, AR 콘텐츠 설정 입력을 완료한 후 상기 입력 완료된 AR 콘텐츠의 표시를 요청할 수 있다. (S107)

자세히, 실시예에서 애플리케이션(111)은, 어드밴스드 모드(AM) 제공에 따라 추가 결제 여부 등을 수행하여 AR 콘텐츠 설정 입력을 완료하여 상기 입력 완료된 AR 콘텐츠의 표시를 요청할 수 있다.

실시예에서 애플리케이션(111)은, 오리지널 모드(OM) 제공에 따라 오리지널 오버레이 셋(710a)을 그대로 유지하거나, 어드밴스드 모드(AM) 제공에 따라 어드밴스드 오버레이 셋(710b)으로의 업그레이드를 위해 추가 결제 등을 수행함으로써 AR 콘텐츠 설정 입력을 완료할 수 있다.

또한, 실시예에서 애플리케이션(111)은, 상기 입력 완료된 AR 콘텐츠의 표시를 요청할 수 있다.

또한, 실시예에서 애플리케이션(111)은, 실시간 스트리밍 영상에 AR 콘텐츠가 증강된 오버레이 스트리밍 영상을 제공할 수 있다. (S109)

자세히, 실시예에서 애플리케이션(111)은, AR 콘텐츠 설정 입력 인터페이스를 기초로 최종적으로 설정 완료된 AR 콘텐츠가 증강된 스트리밍 영상인 오버레이 스트리밍 영상을 제공할 수 있다.

이때, 실시예에 따른 상기 증강된 AR 콘텐츠는, 실시간 스트리밍 영상에서 앵커링 대상 객체의 움직임 및/또는 변화에 맞게 위치, 자세, 크기 및/또는 형상 등이 실시간으로 변화할 수 있다.

또한, 실시예에 따른 오버레이 스트리밍 영상은, 사용자가 스트리밍 중인 영상 상에서 소정의 객체(실시예로, 상기 사용자가 선택한 객체)에 소정의 AR 콘텐츠(실시예로, 상기 사용자가 설정한 AR 콘텐츠)만이 증강될 뿐, 상기 스트리밍 중인 영상의 제1 내지 제4 화면(611, 612, 613, 614), 채팅창(620) 및/또는 패널(630)에 포함된 모든 요소들은 실시간으로 변화할 수 있다.

한편, 실시예에 따라 상기 AR 콘텐츠가 증강된 앵커링 대상 객체는, 게임 종료, 게임 시점 변경, 방송자 및/또는 캐릭터 교체 등 다양한 이유로 스트리밍 영상에서 삭제 및/또는 소멸될 수 있다.

이에 따라, 실시예에서 애플리케이션(111)은, 소정의 시간 동안 상기 앵커링 대상 객체가 검출될 때까지 상기 스트리밍 영상 상에서 상기 앵커링 대상 객체를 검색할 수 있다.

이때, 실시예에서 애플리케이션(111)은, 3차원 공간상의 객체에 대해 객체를 트래킹(tracking)하는 객체추적 모듈 등을 이용하여 상기 스트리밍 영상 상에서 상기 앵커링 대상 객체를 지속적으로 추적하여 포즈를 결정할 수 있다.

이를 통해, 실시예에서 애플리케이션(111)은, 상기 결정된 포즈를 기초로 상대적인 포즈를 결정하는 매칭 정보에 따라서 AR 콘텐츠의 실시간 포즈를 결정할 수 있다.

또한, 애플리케이션(111)은, 실시간 포즈에 따라 AR 콘텐츠가 표시될 때, 표시제한 설정을 적용하여, 표시제한 설정이 적용되는 경우, 표시제한 설정에 따라 표시할 수 있다.

실시예에서 애플리케이션(111)은, 상기 앵커링 대상 객체를 일시적으로 추적에 실패한 경우, 상기 앵커링 대상 객체가 실시간 스트리밍 영상에서 사라진것으로 판단할 수 있다.

그리고 애플리케이션(111)은, 앵커링 대상 객체를 재검색하는 동시에, 마지막으로 표시된 AR 콘텐츠의 표시를 유지하거나, AR 콘텐츠를 삭제할 수 있다.

그리고 애플리케이션(111)은, 앵커링 대상 객체가 재 검출된 경우, 상기 재 검출된 앵커링 대상 객체에 따라서 상기 AR 콘텐츠를 재 증강할 수 있다.

이때, 실시예에서 애플리케이션(111)은, 상기 앵커링 대상 객체가 일시적으로 삭제되었던 시간인 제1 시간을 제외한 표시시간동안 상기 재 증강된 AR 콘텐츠를 표시할 수 있다.

또한, 실시예에서 애플리케이션(111)은, 상기 앵커링 대상 객체가 소정의 시간동안 검출되지 않는 경우, 상기 앵커링 대상 객체가 영구적으로 삭제된 것으로 간주하고 상기 AR 콘텐츠의 증강을 취소할 수 있다.

또한, AR 콘텐츠 증강이 취소된 경우, 애플리케이션(111)은, 상기 AR 콘텐츠의 증강 취소에 따라 앵커링 대상 객체를 재 설정하기 위해 1) AR 콘텐츠 설정 입력 인터페이스를 제공하거나, 2) 앵커링 가능한 대체 객체를 자동으로 검출할 수 있다.

실시예에서 애플리케이션(111)은, 상기 AR 콘텐츠의 증강 취소에 따라 상술한 S103 단계로 회귀하여 AR 콘텐츠 설정 입력 인터페이스를 기초로 앵커링 대상 객체를 재 설정할 수 있다.

이에 따라, 실시예에서 애플리케이션(111)은, 제공된 AR 콘텐츠 설정 인터페이스를 이용하여 앵커링 대상 객체를 선택하는 사용자 입력을 기초로 앵커링 대상 객체를 재 설정할 수 있다.

또한, 실시예에서 애플리케이션(111)은, 상기 AR 콘텐츠의 증강 취소에 따라 앵커링 가능한 대체 객체를 자동으로 검출함으로써 앵커링 대상 객체를 재 설정할 수 있다.

이를 위해, 실시예에서 애플리케이션(111)은, 스트리밍 영상 내에서 소정의 앵커링 대상 객체를 재 추출할 수 있다.

또한, 실시예에서 애플리케이션(111)은, 재 추출된 소정의 앵커링 대상 객체 중 제1 대체 객체를 랜덤으로 결정할 수 있다.

이에 따라, 실시예에서 애플리케이션(111)은, 랜덤으로 결정된 제1 대체 객체를 앵커링 대상 객체로 설정함으로써 앵커링 대상 객체를 재 설정할 수 있다.

이상, 본 발명의 실시예에 따른 AR 콘텐츠를 이용한 스트리밍 영상 출력방법 및 시스템은, 소정의 객체를 실시간으로 추적하여 그에 대응되는 가상객체를 생성함으로써, 가상객체 및 방송자간 인터랙션이 이루어져 위치 조정 등에 따른 절차가 간소화되어 효율성이 향상되는 효과가 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims

단말의 적어도 하나의 프로세서에 의하여 실행되는 스트리밍 애플리케이션이 스트리밍 영상 출력 서비스를 제공하는 방법으로서,
실시간 스트리밍 영상을 재생하는 단계;
AR 콘텐츠 설정 입력 인터페이스를 기초로 상기 실시간 스트리밍 영상에 포함된 소정의 객체를 기준으로 표시되는 AR 콘텐츠를 설정하는 단계; 및
상기 AR 콘텐츠 설정에 따라서 상기 소정의 객체를 기준으로 상기 실시간 스트리밍 영상 상에 AR 콘텐츠가 증강된 오버레이 스트리밍 영상을 표시하도록 제어하는 단계를 포함하는
AR 콘텐츠를 이용한 스트리밍 영상 출력방법.
제1 항에 있어서,
상기 소정의 객체를 기준으로 표시되는 AR 콘텐츠를 설정하는 단계는,
상기 실시간 스트리밍 영상에 포함된 객체 중 앵커링 대상 객체를 결정하는 단계와,
상기 결정된 앵커링 대상 객체를 기준으로 표시되는 AR 콘텐츠를 결정하는 단계와,
상기 결정된 앵커링 대상 객체의 포즈에 따라서 상기 결정된 AR 콘텐츠의 매칭 정보에 따라 상대적인 포즈를 결정하는 단계를 포함하는
AR 콘텐츠를 이용한 스트리밍 영상 출력방법.
제1 항에 있어서,
상기 소정의 객체를 기준으로 표시되는 AR 콘텐츠를 설정하는 단계는,
표시하고자 하는 AR 콘텐츠를 결정하는 단계와,
상기 실시간 스트리밍 영상에서 앵커링 대상 객체를 결정하는 단계와,
상기 결정된 앵커링 대상 객체의 포즈에 따라서 상기 결정된 AR 콘텐츠의 매칭 정보에 따라 상대적인 포즈를 결정하는 단계를 포함하는
AR 콘텐츠를 이용한 스트리밍 영상 출력방법.
제2 항 또는 제3 항에 있어서,
상기 실시간 스트리밍 영상에서 앵커링 대상 객체를 결정하는 단계는,
상기 실시간 스트리밍 영상 내에 포함된 후보 객체를 검출하는 단계와,
상기 검출된 후보 객체 중 제1 객체를 앵커링 대상 객체로 결정하는 단계를 포함하는
AR 콘텐츠를 이용한 스트리밍 영상 출력방법.
제4 항에 있어서,
상기 앵커링 대상 객체가 사람 또는 사람 형태의 캐릭터인 경우, 상기 앵커링 대상 객체를 소정의 딥러닝 뉴럴 네트워크를 기초로 상기 제1 객체에 포함된 윤곽 키포인트 및 신체부위 키포인트 중 적어도 하나 이상의 키포인트를 검출하는 단계를 더 포함하는
AR 콘텐츠를 이용한 스트리밍 영상 출력방법.
제1 항에 있어서,
상기 실시간 스트리밍 영상에 AR 콘텐츠의 증강을 제한하는 AR 콘텐츠 표시제한을 설정하는 단계를 더 포함하는
AR 콘텐츠를 이용한 스트리밍 영상 출력방법.
제6 항에 있어서,
상기 AR 콘텐츠 표시제한을 설정하는 단계는, AR 콘텐츠 표시영역 제한을 설정하는 단계와, AR 콘텐츠 스케일 제한을 설정하는 단계 및 AR 콘텐츠 표시시간 제한을 설정하는 단계 중 적어도 하나 이상의 제한을 설정하는 단계를 포함하는
AR 콘텐츠를 이용한 스트리밍 영상 출력방법.
제7 항에 있어서,
상기 AR 콘텐츠 표시영역 제한을 설정하는 단계는,
상기 실시간 스트리밍 영상 상에 아웃라인을 설정하여 비표시 영역을 설정하는 단계와, 상기 실시간 스트리밍 영상 내에 포함된 객체를 선택하여 상기 객체의 영역을 비표시 영역으로 설정하는 단계와, 상기 실시간 스트리밍 영상에 포함된 복수의 화면 중 적어도 하나의 화면을 표시제한 화면으로 설정하는 단계 중 적어도 하나를 포함하는
AR 콘텐츠를 이용한 스트리밍 영상 출력방법.
제7 항에 있어서,
상기 AR 콘텐츠 표시영역 제한을 설정하는 단계는,
상기 실시간 스트리밍 영상 내에 포함된 객체 중 적어도 하나의 객체를 앵커링 금지하는 표시제한 설정하는 단계를 포함하는
AR 콘텐츠를 이용한 스트리밍 영상 출력방법.
제7 항에 있어서,
상기 AR 콘텐츠 표시제한이 설정된 경우, 상기 AR 콘텐츠 표시제한의 설정을 변경 및 해제할 수 있는 권한을 부여받는 단계를 더 포함하는
AR 콘텐츠를 이용한 스트리밍 영상 출력방법.
제2 항 또는 제3 항에 있어서,
상기 실시간 스트리밍 영상에서 앵커링 대상 객체를 검출하는 단계와, 상기 검출된 앵커링 대상 객체의 6 자유도를 기초로 상기 AR 콘텐츠의 6 자유도를 결정하는 단계와, 상기 실시간 스트리밍 영상 상에 상기 결정된 AR 콘텐츠의 6 자유도에 따라서 렌더링 하는 단계를 포함하는
AR 콘텐츠를 이용한 스트리밍 영상 출력방법.
제1 항에 있어서,
상기 AR 콘텐츠가 렌더링된 상기 실시간 스트리밍 영상을 프리뷰 영상으로 제공하는 단계를 더 포함하는
AR 콘텐츠를 이용한 스트리밍 영상 출력방법.
적어도 하나 이상의 메모리;
적어도 하나 이상의 프로세서;를 포함하고,
상기 메모리에 저장되고 상기 프로세서에 의해 실행되어 스트리밍 영상 출력 서비스를 제공하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은,
실시간 스트리밍 영상을 재생하고,
AR 콘텐츠 설정 입력 인터페이스를 기초로 상기 실시간 스트리밍 영상에 포함된 소정의 객체를 기준으로 표시되는 AR 콘텐츠를 설정하고,
상기 AR 콘텐츠 설정에 따라서 상기 소정의 객체를 기준으로 상기 실시간 스트리밍 영상 상에 AR 콘텐츠가 증강된 오버레이 스트리밍 영상을 표시하도록 제어하는
AR 콘텐츠를 이용한 스트리밍 영상 출력 시스템.
제13 항에 있어서,
상기 애플리케이션은,
상기 AR 콘텐츠 설정 입력 인터페이스를 기초로 상기 실시간 스트리밍 영상에 포함된 객체 중 앵커링 대상 객체를 결정하고,
상기 결정된 앵커링 대상 객체를 기준으로 표시되는 AR 콘텐츠를 결정하고,
6 자유도를 기초로 상기 결정된 앵커링 대상 객체의 포즈에 따라서 상기 결정된 AR 콘텐츠의 매칭 정보에 따라 상대적인 포즈를 결정하는
AR 콘텐츠를 이용한 스트리밍 영상 출력 시스템.
제14 항에 있어서,
상기 애플리케이션은,
상기 AR 콘텐츠 설정 입력 인터페이스를 기초로 상기 실시간 스트리밍 영상에서 앵커링 대상 객체를 결정하고,
상기 실시간 스트리밍 영상 내에 포함된 후보 객체를 검출하고,
상기 검출된 후보 객체 중 제1 객체를 앵커링 대상 객체로 결정하는
AR 콘텐츠를 이용한 스트리밍 영상 출력 시스템.
제15 항에 있어서,
상기 애플리케이션은,
상기 앵커링 대상 객체가 사람 또는 사람 형태의 캐릭터인 경우, 상기 앵커링 대상 객체를 소정의 딥러닝 뉴럴 네트워크를 기초로 상기 제1 객체에 포함된 윤곽 키포인트 및 신체부위 키포인트 중 적어도 하나 이상의 키포인트를 검출하는
AR 콘텐츠를 이용한 스트리밍 영상 출력 시스템.
제13 항에 있어서,
상기 애플리케이션은,
상기 실시간 스트리밍 영상에 AR 콘텐츠의 증강을 제한하는 AR 콘텐츠 표시제한을 더 설정하고,
상기 AR 콘텐츠 표시제한은,
AR 콘텐츠 표시영역 제한, AR 콘텐츠 스케일 제한 및 AR 콘텐츠 표시시간 제한 중 적어도 하나 이상의 제한인
AR 콘텐츠를 이용한 스트리밍 영상 출력 시스템.
제17 항에 있어서,
상기 AR 콘텐츠 표시영역 제한은,
상기 실시간 스트리밍 영상 상에 아웃라인을 설정하여 비표시 영역을 설정하고,
상기 실시간 스트리밍 영상 내에 포함된 객체를 선택하여 상기 객체의 영역을 비표시 영역으로 설정하고,
상기 실시간 스트리밍 영상에 포함된 복수의 화면 중 적어도 하나의 화면을 표시제한 화면으로 설정하고,
상기 실시간 스트리밍 영상 내에 포함된 객체 중 적어도 하나의 객체에 앵커링을 금지하도록 설정하는 제한 중 적어도 하나를 포함하는 제한인
AR 콘텐츠를 이용한 스트리밍 영상 출력 시스템.
제13 항에 있어서,
상기 애플리케이션은,
상기 AR 콘텐츠가 렌더링된 상기 실시간 스트리밍 영상을 프리뷰 영상으로 더 제공하는
AR 콘텐츠를 이용한 스트리밍 영상 출력 시스템.