KR102624423B1 - 라이브셰어 다면 공연장 ar 특수 효과 재현 및 인터랙션 기술 - Google Patents

라이브셰어 다면 공연장 ar 특수 효과 재현 및 인터랙션 기술 Download PDF

Info

Publication number
KR102624423B1
KR102624423B1 KR1020220132115A KR20220132115A KR102624423B1 KR 102624423 B1 KR102624423 B1 KR 102624423B1 KR 1020220132115 A KR1020220132115 A KR 1020220132115A KR 20220132115 A KR20220132115 A KR 20220132115A KR 102624423 B1 KR102624423 B1 KR 102624423B1
Authority
KR
South Korea
Prior art keywords
information
interaction
emoticon
computer system
live
Prior art date
Application number
KR1020220132115A
Other languages
English (en)
Inventor
김증섭
허재일
반재경
Original Assignee
주식회사 에이투텍
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이투텍, 경북대학교 산학협력단 filed Critical 주식회사 에이투텍
Priority to KR1020220132115A priority Critical patent/KR102624423B1/ko
Application granted granted Critical
Publication of KR102624423B1 publication Critical patent/KR102624423B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

라이브셰어 다면 공연장 AR 특수 효과 재현 및 인터랙션 기술이 개시된다. 일 실시예에 따른 라이브셰어 다면 공연장 AR 특수 효과 재현 및 인터랙션을 위한 컴퓨터 시스템은, 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 복수 개의 카메라의 제어에 기초하여 원격지의 라이브 공연장에 대한 복수 개의 영상 정보를 획득하고, 상기 획득된 복수 개의 영상 정보에 대한 특수 효과 및 사용자의 인터랙션을 위한 콘텐츠 저작 도구를 제공하고, 상기 제공된 콘텐츠 저작 도구를 통해 입력된 효과 정보 및 인터랙션 정보를 렌더링하고, 상기 렌더링된 효과 정보 및 인터랙션 정보와 상기 획득된 복수 개의 영상 정보를 매핑함에 따라 생성된 AR 특수 효과가 재현된 다면 영상 기반의 인터랙션 콘텐츠를 라이브셰어 공연장의 스크린을 통해 출력할 수 있다.

Description

라이브셰어 다면 공연장 AR 특수 효과 재현 및 인터랙션 기술{LIVE SHARE MULTI-FACETED PERFORMANCE HALL AR SPECIAL EFFECT REPRODUCTION AND INTERACTION TECHNOLOGY}
아래의 설명은 라이브셰어 다면 공연장 AR 특수 효과 재현 및 인터랙션 기술에 관한 것이다.
최근, 현장감 실현을 위한 영상 콘텐츠가 제공되고 있다. 영상 콘텐츠는 실제 공연장과 같은 현장에서 진행되는 공연에 대한 촬영 영상으로부터 제작되며, 해당 현장으로부터 떨어진 장소에 설치된 적어도 하나의 디스플레이를 통해 재생되며, 이로써, 해당 장소에서 가상 공연장이 구현된다. 이때, 영상 콘텐츠가 복수의 디스플레이들을 이용하여 입체적으로 재생됨에 따라, 가상 공연장에서 현장감 실현이 가능하다. 이에 따라, 관객이 현장에 있지 않더라도, 현장에서 공연을 관람하는 것과 같은 현장감을 경험할 수 있다.
공연자와 관람객 간의 감정 전달이 가능한 AR/VR 인터랙션 콘텐츠를 제공할 수 있다.
라이브셰어 다면 공연장 AR 특수 효과 재현 및 인터랙션을 위한 컴퓨터 시스템은, 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 복수 개의 카메라의 제어에 기초하여 원격지의 라이브 공연장에 대한 복수 개의 영상 정보를 획득하고, 상기 획득된 복수 개의 영상 정보에 대한 특수 효과 및 사용자의 인터랙션을 위한 콘텐츠 저작 도구를 제공하고, 상기 제공된 콘텐츠 저작 도구를 통해 입력된 효과 정보 및 인터랙션 정보를 렌더링하고, 상기 렌더링된 효과 정보 및 인터랙션 정보와 상기 획득된 복수 개의 영상 정보를 매핑함에 따라 생성된 AR 특수 효과가 재현된 다면 영상 기반의 인터랙션 콘텐츠를 라이브셰어 공연장의 스크린을 통해 출력할 수 있다.
상기 적어도 하나의 프로세서는, 플라잉/동적 이모티콘 편집을 통해 이모티콘 이미지, 색상, 텍스트, 프로필 이미지를 포함하는 이모티콘 정보를 선택하고, 상기 선택된 이모티콘 정보와 이모티콘 목록 템플릿을 이용하여 플라잉/동적 이모티콘 템플릿을 생성하고, 상기 생성된 플라잉/동적 이모티콘 템플릿을 통해 플라잉/동적 이모티콘을 선택하고, 상기 선택된 플라잉/동적 이모티콘에 대하여 사용자의 터치 제스쳐를 이용하여 AR 특수 효과를 반영할 수 있다.
상기 적어도 하나의 프로세서는, 공연장 내 카메라의 위치 정보와 카메라의 센서 정보를 이용하여 AR 특수 효과 렌더링을 위한 부가 정보를 생성하고, 상기 생성된 부가 정보에 포함된 카메라의 위치 정보, 자세 정보, 줌 정보를 이용하여 AR 콘텐츠 재현 플레이어의 카메라 정보를 동기화하여 다면 영상 콘텐츠에 렌더링된 AR 특수 효과의 뷰 시점을 전환할 수 있다.
현장에서 진행되는 공연에 대한 영상 콘텐츠에 대해 관람객이 현장으로부터 이격된 다른 장소에서 AR 특수 효과가 재현된 다면 영상 기반의 인터랙션 콘텐츠를 관람함으로써, 현장에 있지 않더라도, 현장에서 공연을 관람하는 것과 같은 현장감, 실감나는 미디어 아트 AR 특수 효과를 재현할 수 있다.
또한, 공연 중 관람객의 참여가 가능한 사용자 인터랙션 콘텐츠를 통해 공연자와 관람객 간의 상호작용이 가능하며, 사용자 편의성을 제공할 수 있다.
도 1은 일 실시예에 있어서, 라이브셰어 공연장 AR 특수 효과 재현 및 인터랙션의 개괄적인 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 있어서, 라이브셰어 공연장의 AR 특수 효과 재현 동작을 설명하기 위한 도면이다.
도 3 내지 도 7은 일 실시예에 있어서, 사용자 인터랙션 동작을 설명하기 위한 도면이다.
도 8은 일 실시예에 있어서, AR 특수 효과를 설명하기 위한 도면이다.
도 9 및 도 10은 일 실시예에 있어서, 리소스 관리 동작을 설명하기 위한 도면이다.
도 11은 일 실시예에 있어서, 실증지 라이브 실황중계 공연 정보를 표시하는 동작을 설명하기 위한 도면이다.
도 12는 일 실시예에 있어서, 다수 군집제어 인터랙션 동작을 설명하기 위한 도면이다.
도 13은 일 실시예에 있어서, 라이브셰어 공연장의 활용 동작을 설명하기 위한 도면이다.
도 14는 일 실시예에 있어서, 컴퓨터 시스템의 구성을 설명하기 위한 블록도이다.
도 15는 일 실시예에 있어서, 라이브셰어 공연장 AR 특수 효과 재현 및 인터랙션 방법을 설명하기 위한 흐름도이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 일 실시예에 있어서, 라이브셰어 공연장 AR 특수 효과 재현 및 인터랙션의 개괄적인 동작을 설명하기 위한 도면이다.
컴퓨터 시스템은 복수 개의 카메라의 제어에 기초하여 원격지의 라이브 공연장에 대한 복수 개의 영상 콘텐츠를 획득할 수 있다. 예를 들면, 컴퓨터 시스템은 4대 이상의 카메라 제어를 위한 카메라 리그 기술을 이용하여 다면 영상(4K×4)을 획득할 수 있다. 원격지의 라이브 공연장에서 4대 이상의 카메라 제어를 위한 카메라 리그 기술을 이용하여 획득된 복수 개의 영상이 무선 통신(예를 들면, 5G) 또는 유선 통신을 통해 라이브로 전송될 수 있다(초저지연). 이때, 다채널 음성도 함께 전송될 수 있다. 컴퓨터 시스템은 원격지의 라이브 공연장으로부터 획득된 복수 개의 영상을 라이브셰어 공연장으로 전송할 수 있다. 컴퓨터 시스템은 5G를 통해 360 영상의 화질 최적화를 중계하고, 멀티뷰 영상 화질 최적화를 중계할 수 있고, 360 기반 영상 사운드를 전송하고, 5G 다면 스크린을 생중계할 수 있다.
컴퓨터 시스템은 라이브셰어 공연장을 통해 8K LED+를 기반으로 4K 프로젝트 영상을 출력할 수 있다. 컴퓨터 시스템은 4K 프로젝트 영상에 대한 다면 라이브셰어 상영 및 통합을 제어할 수 있다. 컴퓨터 시스템은 라이브셰어 공연장에 이기종 다면 스크린을 제공할 수 있다. 컴퓨터 시스템은 다채널 음성을 통해 입체 오디오 서라운드를 제공할 수 있다.
컴퓨터 시스템은 공연자와 관객 간의 감정전달 AR/VR 인터랙션을 위한 콘텐츠를 제공할 수 있다. 컴퓨터 시스템은 공연장 스크린에서 실감있게 볼 수 있는 미디어 아트 AR 콘텐츠를 구현하여 AR 특수 효과를 재현할 수 있다. 컴퓨터 시스템은 공연장 내 다수의 이용자에게 실시간 화면 제어 인터랙션 콘텐츠를 제공할 수 있다. 컴퓨터 시스템은 번역 자막, 음성, 공연영상 실시간 서비스를 제공할 수 있다. 컴퓨터 시스템은 사회적 약자를 위한 자막 번역 및 음성서비스(TTS)를 제공할 수 있다. 컴퓨터 시스템은 플라잉 이모티콘 등 공연 중 관람객의 참여가 가능한 사용자 인터랙션 콘텐츠를 제공할 수 있다.
컴퓨터 시스템은 효과 정보 및 인터랙션 정보를 획득된 다면 영상 콘텐츠를 매핑함에 따라 AR 특수 효과가 재현된 다면 영상 기반의 인터랙션 콘텐츠를 라이브셰어 공연장의 스크린을 통해 출력할 수 있다.
일 실시예에 따르면, 이기종 다면 공연장을 재생할 수 있고, 인공지능을 기반으로 실시간 화질 증진을 개선할 수 있으며, 초저지연 화질 최적화된 영상을 생중계할 수 있다.
도 2는 일 실시예에 있어서, 라이브셰어 공연장의 AR 특수 효과 재현 동작을 설명하기 위한 도면이다.
컴퓨터 시스템은 실감 연출 인터랙션을 위한 콘텐츠 저작 도구를 제공할 수 있다. 다시 말해서, 콘텐츠 저작 도구는 AR/VR 연출 및 콘텐츠 저작을 위한 것으로, 전자 기기를 통해 사용자의 효과 정보 및 인터랙션 정보가 입력되도록 제공되는 것일 수 있다.
컴퓨터 시스템은 AR 특수 효과를 제작하여 라이브셰어 공연장을 통해 AR 특수 효과를 재현할 수 있다. 컴퓨터 시스템은 AR 특수 효과5종을 객체 렌더링할 수 있다. 컴퓨터 시스템은 공연장 내에서 카메라의 위치 정보와 카메라의 자이로 센서 정보를 이용하여 3차원 효과 렌더링을 위한 부가 정보를 생성할 수 있다.
컴퓨터 시스템은 이모티콘 렌더링을 제공할 수 있다. 또한, 컴퓨터 시스템은 메타데이터 기반 AR 객체 렌더링 기능을 설계할 수 있다. 컴퓨터 시스템은 AR 객체 메타 데이터를 생성할 수 있고, AR 객체에 대한 Type, Transform, Action을 명세할 수 있다.
컴퓨터 시스템은 3차원의 AR 특수 효과 객체(콘텐츠)를 렌더링할 수 있다. 도 8을 참고하면, AR 특수 효과를 설명하기 위한 도면이다. 컴퓨터 시스템은 다양한 공연 장르에 활용 가능한 AR 특수 효과 객체를 구현할 수 있다. 컴퓨터 시스템은 홀로그램 물체/레이어, 레이어, 폭죽, 별똥별, 이퀄라이저를 포함하는 AR 특수 효과를 구현할 수 있다. 홀로그램 물체/레이저는 물체/구체/심볼 등 공연에 범용적으로 많이 사용하는 물체로 제작된 것으로, 허공에 떠있거나 방향 설정에 따라 움직일 수 있다. 레이저는 설정에 따라 레이저 움직임이 설정될 수 있고, 빠른 움직임, 느린 움직임 등 속도가 조절될 수 있다. 예를 들면, Laser Set 1은 레이저 1개, Laser Set 2은 레이저 5개, Laser Set 3은 랜덤 방식, Laser Set 4은 교차, 또는 일렬 동작을 의미할 수 있다. 폭죽은 폭죽의 모양, 색상, 개수 및 움직임에 대하여 설정될 수 있다. 파생되는 폭죽의 개수, 모양, 빠르고 느리게 퍼지는 정도 등이 설정될 수 있다. 별똥별은 설정에 따라 별똥별의 움직임이 설정될 수 있다. 예를 들면, 빠르고 많이 떨어지거나, 느리고 적게 떨어지는 등의 별똥별의 움직임이 설정될 수 있다. 보다 상세하게는, 원형을 따라 빠르게 움직이거나, 원형을 따라 느리게 움직임/움직이지 않는 것으로 설정될 수 있다. 이퀄라이저는 음악에 따른 이퀄라이저의 움직임, 색상, 속도가 조정될 수 있다.
또한, 컴퓨터 시스템은 이모티콘 렌더링 기능을 설계할 수 있다. 도 3 내지 도 6은 일 실시예에 있어서, 사용자 인터랙션 동작을 설명하기 위한 도면이다. 도 3을 참고하면, 이모티콘 제공 및 템플릿 기반 편집 기능을 제공할 수 있다. 예를 들면, AR 콘텐츠 재현 플레이어에 인터랙션 활성화가 온(On)됨에 따라 인터랙션 서버(예를 들면, 컴퓨터 시스템)로부터 전자 기기에서 실행되는 사용자 인터랙션 앱(app)으로 인터랙션 템플릿 및 편집 리소스를 로드할 수 있다. 전자 기기에서 실행되는 사용자 인터랙션 앱을 통해 입력된 사용자의 인터랙션 정보가 인터랙션 서버로 전달될 수 있다. 이때, 사용자는 사용자 인터랙션 앱을 통해 플라잉/동적 이모티콘을 편집할 수 있다. 보다 상세하게는, 사용자는 사용자 인터랙션 앱을 통해 이모티콘 이미지, 색상, 텍스트, 프로필 이미지를 포함하는 이모티콘 정보를 선택하고, 선택된 이모티콘 정보와 이모티콘 목록 템플릿을 이용하여 플라잉/동적 이모티콘 템플릿을 구성할 수 있다. 인터랙션 서버는 구성된 플라잉/동적 이모티콘 템플릿을 포함하는 사용자의 인터랙션 정보를 AR 콘텐츠 재현 플레이로 전달할 수 있고, 인터랙션 템플릿을 로드할 수 있다. 또한, 인터랙션 서버는 AR 콘텐츠 재현 플레이로 편집 정보 AR을 구성하고, 다면 스크린을 렌더링할 수 있다.
도 4를 참고하면, 실시간 이모티콘 및 다중 사용자 전송 관리 기능을 제공할 수 있다. 예를 들면, AR 콘텐츠 재현 플레이어에 인터랙션 활성화가 온(On) 및 사용자 참여 알림에 따라 인터랙션 서버(예를 들면, 컴퓨터 시스템)로부터 전자 기기에서 실행되는 사용자 인터랙션 앱(app)으로 인터랙션 템플릿 및 편집 리소스를 로드할 수 있다. 사용자 인터랙션 앱을 통해 사용자로부터 선택된 이모티콘을 포함하는 사용자의 인터랙션 정보를 인터랙션 서버로 전송할 수 있다. 인터랙션 서버는 사용자 인터랙션 정보를 전달하거나 인터랙션 목록 정보를 제공할 수 있다. 인터랙션 서버는 AR 콘텐츠 재현 플레이어로 인터랙션 템플릿과 리소스를 로드할 수 있다. 인터랙션 서버는 AR 콘텐츠 재현 플레이어에 편집 정보 AR을 구성하고, 다면 스크린을 렌더링할 수 있다. AR 콘텐츠 재현 플레이를 통해 다면 스크린 영상이 송출될 수 있다.
도 5를 참고하면, 사용자 인터랙션을 위한 제스쳐, 터치 인식 기능을 제공할 수 있다. AR 콘텐츠 재현 플레이어로부터 인터랙션 서버로 제스쳐 정보가 전달될 수 있다. 인터랙션 서버는 제스쳐 정보를 전자 기기에서 실행되는 사용자 인터랙션 앱(app)으로 전송할 수 있다. 사용자는 사용자 인터랙션 앱을 통해 터치 제스쳐를 이용한 인터랙션을 수행할 수 있다. 사용자 인터랙션 앱을 통해 입력된 터치 제스쳐 정보를 포함하는 사용자 인터랙션 정보가 인터랙션 서버로 전송될 수 있다. 인터랙션 서버에서 AR 콘텐츠 재현 플레이어로 사용자 인터랙션 정보가 전달될 수 있다. 이때, 인터랙션 서버는 사용자 인터랙션 정보를 전달하거나, 인터랙션 목록 정보를 제공할 수 있다. AR 콘텐츠 재현 플레이어에 인터랙션 템플릿 및 템플릿 리소스가 로드될 수 있다. AR 콘텐츠 재현 플레이어는 사용자 인터랙션 편집 정보 AR 객체를 구성하고, 사용자 제스쳐 정보로 AR 특수 효과를 반영한 인터랙션 콘텐츠 다면 스크린을 렌더링할 수 있다.
도 6을 참고하면, 사용자 인터랙션을 위한 플라잉/동적 이모티콘 선택 및 모바일 전송 앱을 설명하기 위한 도면이다. 사용자 인터랙션 앱은 인터랙션 가능 목록을 제공함에 따라 사용자로부터 플라잉/동적 이모티콘이 선택됨을 수신할 수 있다. 사용자 인터랙션 앱은 플라잉/동적 이모티콘 편집 기능을 제공함에 따라 사용자로부터 플라잉/동적 이모티콘이 편집됨을 수신할 수 있다. 사용자 인터랙션 앱은 편집된 플라잉/동적 이모티콘에 대해 사용자의 터치 제스쳐를 이용하여 인터랙션 서버로 전송할 수 있다. 인터랙션 서버는 AR 콘텐츠 재현 플레이어를 통해 다면 공연장 AR 특수 효과를 재현할 수 있다. 예를 들면, AR 콘텐츠 재현 플레이어는 인터랙션 템플릿 로드, 인터랙션 알림, 배경 효과를 재생할 수 있고, 사용자 인터랙션 정보를 수신하여 플라잉/동적 이모티콘을 재현할 수 있다.
도 7을 참고하면, 카메라 센서 정보 기반 AR 특수 효과 뷰 시점을 전환하는 기능을 제공할 수 있다. 인터랙션 서버는 카메라 위치, 회전, 거리 값 정보 동기화 및 AR 특수 효과 뷰 시점을 제공할 수 있다. AR 콘텐츠 재현 플레이어를 통해 카메라 Live가 활성화될 수 있다. 공연장 카메라 정보가 인터랙션 서버로 전송될 수 있다. 인터랙션 서버는 공연장 내 카메라의 위치 정보와 카메라의 센서 정보를 이용하여 AR 특수 효과 렌더링을 위한 부가 정보를 생성할 수 있다. 인터랙션 서버는 생성된 부가 정보에 포함된 카메라의 위치 정보, 자세 정보, 줌 정보를 AR 콘텐츠 재현 플레이어에 반영할 수 있다. 인터랙션 서버는 AR 콘텐츠 재현 플레이어에 카메라 정보를 동기화하여 다면 영상 콘텐츠에 렌더링된 AR 특수 효과의 뷰 시점을 전환할 수 있다.
도 9 및 도 10은 일 실시예에 있어서, 리소스 관리 동작을 설명하기 위한 도면이다.
컴퓨터 시스템은 사용자 인터랙션 앱을 통해 입력되는 인터랙션 정보를 수신할 수 있다. 이때, 컴퓨터 시스템은 사용자 인터랙션 정보를 관리하는 시스템일 수 있다. 컴퓨터 시스템은 인터랙션 관리, 인터랙션 리소스 관리, 인터랙션 동작 관리, 인터랙션 유형 관리, 인터랙션 제스쳐 관리, 인터랙션 렌더링 관리를 수행할 수 있다. 컴퓨터 시스템은 사용자 인터랙션 정보의 관리를 통해 AR 특수 효과, 사용자 인터랙션 및 제어 인터랙션을 제공할 수 있다.
도 10을 참고하면, 컴퓨터 시스템은 컴퓨터 시스템은 유저 인터페이스(예를 들면, 웹 페이지)를 통해 다면 공연장 AR/VR 콘텐츠 별 리소스 및 메타데이터 관리 기능을 제공할 수 있다. 예를 들면, 콘텐츠 관리 웹 페이지를 통해 아이디와 패스워드의 입력을 통해 로그인될 수 있다. 사용자는 로그인을 통해 접속된 콘텐츠 관리 웹 페이지에서 AR/VR 콘텐츠 및 AR/VR 리소스를 관리할 수 있다. 또한, 콘텐츠 관리 웹 페이지를 통해 계정을 관리할 수도 있다.
도 11을 참고하면, 실증지 라이브 실황중계 공연 정보를 표시하는 동작을 설명하기 위한 도면이다. 사용자 인터랙션 앱을 통해 공연장의 공연 정보를 제공할 수 있다. 예를 들면, 사용자는 사용자 인터랙션 앱을 통해 공연장의 공지사항, 공연일정, 공연영상 등 공연장 부가 서비스 정보를 확인할 수 있다.
도 12를 참고하면, 다수 군집제어 인터랙션 동작을 설명하기 위한 도면이다. 실시예에서는 사용자 단말 그룹 별로 유무선 연결이 가능한 무선 메쉬 환경이 고려될 수 있다. 무선 컨트롤러 및 복수 개의 인터랙션 제어 컨트롤러를 이용하여 콘트롤러 당 복수 대(예를 들면, 100대) 이내의 사용자 단말이 동시에 제어될 수 있다.
도 13을 참고하면, 라이브셰어 공연장의 활용 동작을 설명하기 위한 도면이다. 컴퓨터 시스템은 라이브셰어 공연이라는 목적과, 원래의 문화, 공연 목적의 첨단화 극대화가 가능한 2가지 방식을 활용할 수 있다. 컴퓨터 시스템은 라이브셰어 공연장과 첨단 CT 공연장을 동시에 활용할 수 있다. 이에, 외부 공연을 5G 네트워크를 통해 라이브셰어 공연장의 다면 스크린 및 실감 콘텐츠로 관람할 수 있다. 또한, 실증지의 뮤지컬, 연극, 공연에 다면 스크린 및 실감 인터랙션 기술을 활용하여 첨단 무대 공연을 연출할 수 있다.
도 14는 일 실시예에 있어서, 컴퓨터 시스템의 구성을 설명하기 위한 블록도이다.
컴퓨터 시스템(100)은 복수 개의 카메라의 제어에 기초하여 원격지의 라이브 공연장에 대한 복수 개의 영상 정보를 획득하고, 획득된 복수 개의 영상 정보에 대한 특수 효과 및 사용자의 인터랙션을 위한 콘텐츠 저작 도구를 제공하고, 제공된 콘텐츠 저작 도구를 통해 입력된 효과 정보 및 인터랙션 정보를 렌더링하고, 렌더링된 효과 정보 및 인터랙션 정보를 획득된 복수 개의 영상 정보를 매핑함에 따라 생성된 AR 특수 효과가 재현된 다면 영상 기반의 인터랙션 콘텐츠를 라이브셰어 공연장의 스크린을 통해 출력하는 동작을 수행할 수 있다. 컴퓨터 시스템은 메모리(1410) 및 프로세서(1420)를 포함할 수 있다.
메모리(1410)는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하여 구성될 수 있으며, 컴퓨터 시스템(100)의 적어도 하나의 다른 구성요소에 관계된 명령어 또는 데이터를 저장한다.
프로세서(1420)는 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 예를 들면, 프로세서(1420)는 컴퓨터 시스템(100)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
도 15는 일 실시예에 있어서, 라이브셰어 공연장 AR 특수 효과 재현 및 인터랙션 방법을 설명하기 위한 흐름도이다.
단계(1510)에서 컴퓨터 시스템은 복수 개의 카메라의 제어에 기초하여 원격지의 라이브 공연장에 대한 복수 개의 영상 정보를 획득할 수 있다.
단계(1520)에서 컴퓨터 시스템은 획득된 복수 개의 영상 정보에 대한 특수 효과 및 사용자의 인터랙션을 위한 콘텐츠 저작 도구를 제공할 수 있다. 컴퓨터 시스템은 플라잉/동적 이모티콘 편집을 통해 이모티콘 이미지, 색상, 텍스트, 프로필 이미지를 포함하는 이모티콘 정보를 선택하고, 선택된 이모티콘 정보와 이모티콘 목록 템플릿을 이용하여 플라잉/동적 이모티콘 템플릿을 생성하고, 생성된 플라잉/동적 이모티콘 템플릿을 통해 플라잉/동적 이모티콘을 선택하고, 선택된 플라잉/동적 이모티콘에 대하여 사용자의 터치 제스쳐를 이용하여 AR 특수 효과를 반영할 수 있다.
단계(1530)에서 컴퓨터 시스템은 제공된 콘텐츠 저작 도구를 통해 입력된 효과 정보 및 인터랙션 정보를 렌더링할 수 있다.
단계(1540)에서 컴퓨터 시스템은 렌더링된 효과 정보 및 인터랙션 정보와 획득된 복수 개의 영상 정보를 매핑함에 따라 생성된 AR 특수 효과가 재현된 다면 영상 기반의 인터랙션 콘텐츠를 라이브셰어 공연장의 스크린을 통해 출력할 수 있다. 컴퓨터 시스템은 공연장 내 카메라의 위치 정보와 카메라의 센서 정보를 이용하여 AR 특수 효과 렌더링을 위한 부가 정보를 생성하고, 생성된 부가 정보에 포함된 카메라의 위치 정보, 자세 정보, 줌 정보를 이용하여 AR 콘텐츠 재현 플레이어의 카메라 정보를 동기화하여 다면 영상 콘텐츠에 AR 특수 효과의 뷰 시점을 전환할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (3)

  1. 라이브셰어 다면 공연장 AR 특수 효과 재현 및 인터랙션을 위한 컴퓨터 시스템에 있어서,
    메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    복수 개의 카메라의 제어에 기초하여 원격지의 라이브 공연장에 대한 복수 개의 영상 정보를 획득하고,
    상기 획득된 복수 개의 영상 정보에 대한 특수 효과 및 사용자의 인터랙션을 위한 콘텐츠 저작 도구를 제공하고,
    상기 제공된 콘텐츠 저작 도구를 통해 입력된 효과 정보 및 인터랙션 정보를 렌더링하고,
    상기 렌더링된 효과 정보 및 인터랙션 정보와 상기 획득된 복수 개의 영상 정보를 매핑함에 따라 생성된 AR 특수 효과가 재현된 다면 영상 기반의 인터랙션 콘텐츠를 라이브셰어 공연장의 스크린을 통해 출력하는
    것을 특징으로 하는 컴퓨터 시스템.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    플라잉/동적 이모티콘 편집을 통해 이모티콘 이미지, 색상, 텍스트, 프로필 이미지를 포함하는 이모티콘 정보를 선택하고, 상기 선택된 이모티콘 정보와 이모티콘 목록 템플릿을 이용하여 플라잉/동적 이모티콘 템플릿을 생성하고, 상기 생성된 플라잉/동적 이모티콘 템플릿을 통해 플라잉/동적 이모티콘을 선택하고, 상기 선택된 플라잉/동적 이모티콘에 대하여 사용자의 터치 제스쳐를 이용하여 AR 특수 효과를 반영하는 것을 특징으로 하는 컴퓨터 시스템.
  3. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    공연장 내 카메라의 위치 정보와 카메라의 센서 정보를 이용하여 AR 특수 효과 렌더링을 위한 부가 정보를 생성하고, 상기 생성된 부가 정보에 포함된 카메라의 위치 정보, 자세 정보, 줌 정보를 이용하여 AR 콘텐츠 재현 플레이어의 카메라 정보를 동기화하여 다면 영상 콘텐츠에 렌더링된 AR 특수 효과의 뷰 시점을 전환하는
    것을 특징으로 하는 컴퓨터 시스템.
KR1020220132115A 2022-10-14 2022-10-14 라이브셰어 다면 공연장 ar 특수 효과 재현 및 인터랙션 기술 KR102624423B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220132115A KR102624423B1 (ko) 2022-10-14 2022-10-14 라이브셰어 다면 공연장 ar 특수 효과 재현 및 인터랙션 기술

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220132115A KR102624423B1 (ko) 2022-10-14 2022-10-14 라이브셰어 다면 공연장 ar 특수 효과 재현 및 인터랙션 기술

Publications (1)

Publication Number Publication Date
KR102624423B1 true KR102624423B1 (ko) 2024-01-15

Family

ID=89542901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220132115A KR102624423B1 (ko) 2022-10-14 2022-10-14 라이브셰어 다면 공연장 ar 특수 효과 재현 및 인터랙션 기술

Country Status (1)

Country Link
KR (1) KR102624423B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180131687A (ko) * 2017-05-31 2018-12-11 김경복 실시간기반 및 컨텐츠 기반 실시간 공연공유 서비스 제공시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180131687A (ko) * 2017-05-31 2018-12-11 김경복 실시간기반 및 컨텐츠 기반 실시간 공연공유 서비스 제공시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
허재일, "5G기반 실시간 라이브 공연실황 공유 기술개발 및 실증" 사이언스 온, 2021.10.30.* *

Similar Documents

Publication Publication Date Title
Sulema Mulsemedia vs. Multimedia: State of the art and future trends
TWM549381U (zh) 互動式教學系統
CN105938541B (zh) 利用数字内容增强现场表演的系统和方法
US20170347427A1 (en) Light control
KR102371031B1 (ko) 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템, 방법 및 프로그램
CN112543344A (zh) 直播控制方法、装置、计算机可读介质及电子设备
KR20230166957A (ko) 3차원 가상 환경에서 내비게이션 보조를 제공하기 위한 방법 및 시스템
KR20160069663A (ko) 교육용 콘텐츠 제작 시스템, 제작방법, 및 그에 사용되는 서비스 서버, 저작자 단말, 클라이언트 단말
O’Dwyer et al. Samuel Beckett in Virtual Reality: Exploring narrative using free viewpoint video
KR20200035696A (ko) 가상현실 영상 편집 시스템 및 방법
KR102624423B1 (ko) 라이브셰어 다면 공연장 ar 특수 효과 재현 및 인터랙션 기술
CN112153472A (zh) 一种画面特效的生成方法及装置、存储介质及电子设备
US20230326489A1 (en) Generation of visual effects based on text
Butterworth Beyond sonic realism: a cinematic sound approach in documentary 360 film
JP7365076B2 (ja) 映像配信装置、映像配信システム、映像配信方法、及びプログラム
Torpey et al. Powers live: a global interactive opera simulcast
Kuchelmeister The virtual (reality) museum of immersive experiences
KR20140088052A (ko) 복합 컨텐츠 제공 서버
US20170287521A1 (en) Methods, circuits, devices, systems and associated computer executable code for composing composite content
KR102568940B1 (ko) 구형 조형물에 대한 복수개의 프로젝션을 활용한 몰입형 미디어아트 콘텐츠 재현 방법, 장치 및 시스템
KR102595431B1 (ko) 실감형 영상 콘텐츠 제작 및 배포 시스템 및 방법
Cohen et al. Directional selectivity in panoramic and pantophonic interfaces: Flashdark, Narrowcasting for Stereoscopic Photospherical Cinemagraphy, Akabeko Ensemble
CN115277650B (zh) 投屏显示控制方法、电子设备及相关装置
CN110430454B (zh) 一种多设备实时交互显示的方法和装置
WO2024078209A1 (zh) 视频评论的显示方法、装置、终端及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant