KR101855397B1 - 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버 - Google Patents

모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버 Download PDF

Info

Publication number
KR101855397B1
KR101855397B1 KR1020160161570A KR20160161570A KR101855397B1 KR 101855397 B1 KR101855397 B1 KR 101855397B1 KR 1020160161570 A KR1020160161570 A KR 1020160161570A KR 20160161570 A KR20160161570 A KR 20160161570A KR 101855397 B1 KR101855397 B1 KR 101855397B1
Authority
KR
South Korea
Prior art keywords
performance
mobile terminal
evaluation
real
site
Prior art date
Application number
KR1020160161570A
Other languages
English (en)
Inventor
천솔지
김영욱
Original Assignee
(주)잼투고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)잼투고 filed Critical (주)잼투고
Priority to KR1020160161570A priority Critical patent/KR101855397B1/ko
Priority to PCT/KR2017/013851 priority patent/WO2018101749A1/ko
Application granted granted Critical
Publication of KR101855397B1 publication Critical patent/KR101855397B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q2230/00—Voting or election arrangements

Abstract

본 발명은 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버에 관한 것으로, 보다 자세하게는 모바일 단말기에서 촬영하여 전송한 실세계 영상을 이용하여 실세계 영상에 촬영된 공연을 특정하고, 모바일 단말기의 현장평가 증강 UI를 통해 특정된 공연에 대한 현장평가를 입력 받을 수 있도록 하기 위한 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버에 관한 것이다.
본 발명에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법은 현장평가 서버가, 공연장에서 수행되는 공연을 특정할 수 있는 하나 이상의 이미지로 이루어진 공연 특징점을 포함하는 공연 스케줄 정보를 생성하여 저장하는 제1 단계와 상기 현장평가 서버가, 모바일 단말기로부터 상기 공연이 진행되는 공연장을 촬영한 실세계 영상을 수신하고, 수신한 상기 실세계 영상 내에서 하나 이상의 이미지로 이루어진 영상 특징점을 추출하는 제2 단계와 상기 현장평가 서버가, 추출된 상기 영상 특징점과 상기 공연 스케줄 정보에 포함된 상기 공연 특징점을 비교하여, 상기 영상 특징점에 대응하는 공연을 상기 공연 스케줄 정보에서 도출하는 제3 단계와 상기 현장평가 서버가, 도출된 상기 공연에 대한 현장평가를 상기 모바일 단말기로부터 입력 받기 위해, 상기 모바일 단말기에 저장 또는 설치된 현장평가 증강 UI가 활성화되도록 상기 모바일 단말기를 제어하는 제4 단계 및 상기 현장평가 서버가, 상기 제어에 따라 상기 모바일 단말기에서 출력되는 상기 실세계 영상에 증강되어 활성화된 상기 현장평가 증강 UI를 이용하여 입력된 현장평가 데이터를 상기 모바일 단말기로부터 수신하는 제5 단계를 포함하여 이루어짐에 기술적 의의가 있다.

Description

모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버{On site evaluation method and server using real world images of mobile terminal}
본 발명은 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버에 관한 것으로, 보다 자세하게는 모바일 단말기에서 촬영하여 전송한 실세계 영상을 이용하여 실세계 영상에 촬영된 공연을 특정하고, 모바일 단말기의 현장평가 증강 UI를 통해 특정된 공연에 대한 현장평가를 입력 받을 수 있도록 하기 위한 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버에 관한 것이다.
다수의 컨텐츠에 대한 랭킹을 설정하는 방법과 컨텐츠를 관람한 관람자의 호감도를 표시하는 방법은 온라인 및 오프라인 환경을 이용하는 다양한 기술을 통해 실시되었다.
특히, 온라인 환경을 이용하는 기술은 컨텐츠의 랭킹 또는 호감도를 표시하기 용이한 수단으로 이용되었다. 온라인 환경을 이용하는 대부분의 기술은 완성된 컨텐츠에 대한 랭킹 산정 및 호감도 표시를 위한 투표(평가)에 그치고 있고, 다수의 공연자가 공연 현장에서 경합하는 컨테스트에서는, 투표를 수행하는 관람자를 위한 적합하고 직관적인 솔루션이 필요하다.
특히, 관람자의 공연 관람에 따라 공연 현장에서 평가(투표)를 수행받기 위한 솔루션은 관람자가 항상 휴대할 수 있는 모바일 단말기를 사용하는 것이 바람직하다. 그러나, 공연에 대한 평가(투표)에 관람자의 모바일 단말기를 사용하는 경우에도, 관람자는 모바일 단말기를 이용하여 평가(투표) 전용 URL에 접속하거나, 평가(투표)를 위한 별도의 어플리케이션을 실행해야 하는 등의 모바일 단말기에 대한 별도의 조작을 수행하거나, 별도의 사용방법 등을 숙지해야 하는 불편함이 발생한다.
따라서, 모바일 단말기에 증강현실 UI(User Interface) 솔루션을 적용하면, 관람자(사용자)가 보다 직관적으로 평가(투표)를 수행할 수 있다. 또한, 증강현실 UI를 모바일 단말기에 구비(설치)된 카메라 어플리케이션과 연동하여 터치 형태의 입력 방식을 적용하면, 관람자(사용자)가 평가(투표)를 위한 전용 URL 접속 또는 전용 어플리케이션 실행 등의 동작을 수행하지 않고도, 매우 직관적으로 관람중인 공연에 대한 평가(투표)를 진행할 수 있다.
Google, Inc.의 미국공개특허공보 US2008/0189272호 "Collective ranking of digital content"는 웹사이트에서 디지털 컨텐츠 항목의 랭킹을 결정할 수 있는 기술에 관한 것이다.
이러한 종래기술 1은 업로드 된 디지털 컨텐츠(영상, video)을 사용자가 검색을 통해 접근할 수 있도록 하고, 사용자로부터 디지털 컨텐츠(영상, video)에 대한 투표를 피드백하여 각 디지털 컨텐츠(영상, video)의 랭킹을 설정하도록 되어 있다.
종래기술 1에 적용된 온라인 환경은 사용자의 접근을 언제든지 허용하고 있으며, 사용자는 온라인상에서 관람한 컨텐츠의 랭킹을 위한 투표를 보유한 단말기를 이용하여 손쉽게 수행할 수 있다.
그러나, 종래기술 1을 현장평가의 투표에 적용하면, 사용자(관람자)는 보유한 단말기를 통해 투표를 위한 전용 URL 접속 또는 전용 어플리케이션의 실행, 사용자 인증, 투표 대상 공연 검색 등의 복잡한 절차를 수행해야 한다. 더욱이, 모바일 단말기에서 제공되는 제한된 입력 인터페이스는 복잡한 투표 절차에서 사용자에게 상당한 불편함을 제공하고 있어서 이에 대한 개선이 필요하다.
900seconds, Inc.의 미국공개특허공보 US2007/0244570호 "Network-based contest creation"은 컨텐츠에 대한 컨테스트를 생성 및 관리하고, 생성된 컨테스트에 대한 투표를 진행한다. 또한, 컨테스트 결과에 대한 수상내역을 설정하여 컨테스트 종료 이후에 컨텐츠에 대한 수상을 진행할 수 있는 기술이다.
이러한 종래기술 2는 컨텐츠를 위한 컨테스트에서 컨텐츠의 타입 및 주제를 설정하고, 타입 및 주제에 맞는 컨텐츠를 이용한 컨테스트를 수행할 수 있는 특징도 있다. 이를 통해 종래기술 2에서와 같이 생성된 컨테스트는 온라인상에서 다양한 사용자에게 투표를 수행 받고, 투표 결과에 따라 컨텐츠를 선발할 수 있다.
하지만, 종래기술 2에서도 종래기술 1과 같은 문제점이 있으며, 여전히 해결되지 않고 있다.한편, 방송국에서 진행되는 공개 방송 등의 공연에서는 공연이 완료된 이후, 관람자(방청객)로부터 설문 형태의 질의서를 배포하고, 이에 대한 관람자의 피드백(설문 결과)을 이용하여 공연에 대한 투표 또는 컨테스트를 진행할 수 있었다.
하지만, 다수의 공연 이후에 일괄적으로 수행되는 설문은 관람자의 실시간 판단을 피드백 받을 수 없으며, 각 관람자의 설문 결과를 취합하여 투표 결과 또는 컨테스트 결과를 산출하는 시간도 오래 소요되는 문제점이 있다.
이러한 문제점을 해결하기 위해서 공연을 관람하는 관람자에게 전자 투표를 진행할 수 있는 투표 단말기를 제공하고, 각 공연이 종료된 이후에 관람자로부터 해당 공연에 대한 투표를 즉시 수행하도록 하는 방법이 사용되고 있다. 투표 단말기에 입력된 투표 데이터는 유선 또는 무선으로 투표 집계기에 수신되고, 각 공연이 수행된 이후 또는 최종 공연이 수행된 이후에 각 투표 결과를 공개할 수 있다.
예를 들어, 미국의 FOX TV에서 진행되었던 방송 프로그램인 "아메리칸 아이돌"은 시청자, 현장 관람자 및 심사위원 앞에서 공연이 진행되며, 각 시청자, 현장 관람자 및 심사위원 등의 투표 결과에 따라 공연 순위를 가리는 오디션 프로그램이다.
이때, 공연 현장에 위치한 현장 관람자 및 심사위원은 별도의 투표 단말기를 이용하여 오디션 공연의 합격 여부에 대한 투표를 진행할 수 있으며, 투표는 각 공연이 종료된 이후 또는 공연 중에 실시간으로 집계되어 투표 결과가 현장 및 방송으로 공지된다.
방송국 등의 한정된 관람자들을 수용할 수 있는 공연장에서는 각 관람자들에게 투표 단말기가 제공되고, 관람자들은 투표 단말기를 통해 투표를 수행 할 수 있다.
그러나, 불특정 다수의 관람자가 공연을 관람할 수 있도록 공개 및 개방된 장소(공연장)에서는 도난 등의 문제로 인해 관람자에게 투표 단말기를 제공하지 못하는 문제점이 있다.
Soul Purpose Limited, Coventry의 미국공개특허공보 US2015/0262444호 “Method and apparatus for processing user votes for locations”은 사용자 위치에 따른 사용자 투표를 수신하여 위치를 평가할 수 있는 기술이다.
이러한 종래기술 3은 현장에서 진행되는 투표 형태의 문제점을 해결하기 위한 것으로, 사용자가 보유한 모바일 단말기를 이용하여 특정 장소(위치)에 대한 투표를 수행할 수 있도록 하는 서비스를 제공하고 있다.
종래기술 3을 공연에 대한 투표에 응용하는 경우, 사용자는 모바일 단말기를 통해 현재 위치, 현재 날짜 및 현재 시간 등의 정보를 서버로 전송하고, 서버는 수신된 정보에 대응하는 투표 서비스를 사용자의 모바일 단말기로 제공할 수 있다.
그러나, 종래기술 3을 이용한 투표를 진행하는 경우에 다음과 같은 문제점이 발생한다.
첫 번째, 사용자는 투표 서비스를 제공받기 위해 보유한 모바일 단말기를 이용하여 투표 전용 URL 접속 또는 전용 어플리케이션의 실행을 직접적으로 수행해야만 하는 모바일 단말기의 조작 행위가 수반되는 문제점이 있다.
두 번째, 종래기술 3과 같은 위치 기반 투표는 동일한 장소에서 둘 이상의 투표가 진행되는 경우, 사용자로부터 복수의 투표 대상 중에서 어느 하나의 투표 대상을 직접 선택해야만 투표 서비스를 제공받을 수 있기 때문에 투표 절차가 간소화되지 못하는 문제점이 있다.
세 번째, 종래기술 3은 사용자의 위치에 기반한 투표 서비스를 제공하고 있어, 투표와 상관없는 사용자들로부터의 투표 행위를 차단해야만 허수 투표를 방지하고 이를 통해 투표 결과의 신뢰도를 높일 수 있는 문제점이 있다.
특허문헌 0001 미국공개특허공보 US2008/0189272호 (2008.08.07) 특허문헌 0002 미국공개특허공보 US2007/0244570호 (2007.10.18) 특허문헌 0003 미국공개특허공보 US2015/0262444호 (2015.09.17)
본 발명은 상기의 문제점을 해결하기 위한 것으로, 본 발명에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버는, 모바일 단말기에 구비된 카메라 모듈을 이용하여 관람중인 공연을 촬영하고, 촬영된 실세계 영상을 현장평가 서버에 전송하는 경우, 모바일 단말기를 통해 관람중인 공연에 대한 현장평가(투표)를 입력할 수 있는 서비스를 제공함으로써, 현장에 위치한 관람자(사용자)가 모바일 단말기의 카메라 어플리케이션(어플 또는 앱)을 활성화하여 공연 현장을 촬영하는 행위만으로 공연에 대한 현장평가(투표)가 자동으로 시작될 수 있고, 현장평가 증강 UI를 통해 공연 형장에서 현장평가(투표)를 실시간 진행함으로써, 별도의 인스트럭션(instruction)을 받거나 복잡한 절차 없이 현장에서 바로 용이하게 공연 또는 공연자에 대한 현장평가(투표) 서비스를 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버는, 공연을 관람하는 관람자(사용자)가 모바일 단말기에 구비된 카메라 어플리케이션을 실행(활성화)하고, 카메라를 이용하여 공연을 촬영하는 동작에 따라서 모바일 단말기에서 공연에 대한 현장평가가 시작되도록 하는 것을 목적으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버는, 공연에 대한 현장평가를 수행함에 있어서, 모바일 단말기의 카메라로 촬영된 촬영영상에서, 예컨데 공연자를 촬영하는 행위를 통해 촬영된 공연 또는 공연자에 대한 직관적인 투표가 수행되도록 하는 것을 목적으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버는, 복수의 공연자가 공연을 수행할 때, 투표를 진행할 공연자를 카메라를 이용하여 선택적으로 촬영을 수행하는 경우에 다수의 공연자 중에서 촬영에 포함된 공연자에 대한 투표가 진행되도록 함으로써, 공연에 대한 더욱 세분화된 투표 행위가 가능하도록 하기 위한 목적이 있다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버는, 종래기술에서 공연을 촬영하다가 현장평가를 진행하는 경우에는 모바일 단말기의 촬영을 종료하고, 별도의 현장평가를 위한 URL 접속 또는 다른 전용 어플리케이션을 이용하여 현장평가를 수행해야 하기 때문에 관람자(사용자)의 공연 몰입도가 반감되는 현상이 있으나, 본 발명에서는 공연 현장에서 관람자(사용자)가 모바일 단말기의 카메라로 공연을 촬영하는 일상적인 행위 중에 공연 또는 공연자에 대한 투표가 진행되도록 하여 관람자(사용자)가 공연에 대해 지속적으로 몰입할 수 있는 모바일 단말기의 환경을 제공하는 것을 목적으로 한다.
상기의 목적을 달성하기 위해 본 발명에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법은, 현장평가 서버가, 공연장에서 수행되는 공연을 특정할 수 있는 하나 이상의 이미지로 이루어진 공연 특징점을 포함하는 공연 스케줄 정보를 생성하여 저장하는 제1 단계;와 상기 현장평가 서버가, 모바일 단말기로부터 상기 공연이 진행되는 공연장을 촬영한 실세계 영상을 수신하고, 수신한 상기 실세계 영상 내에서 하나 이상의 이미지로 이루어진 영상 특징점을 추출하는 제2 단계;와 상기 현장평가 서버가, 추출된 상기 영상 특징점과 상기 공연 스케줄 정보에 포함된 상기 공연 특징점을 비교하여, 상기 영상 특징점에 대응하는 공연을 상기 공연 스케줄 정보에서 도출하는 제3 단계;와 상기 현장평가 서버가, 도출된 상기 공연에 대한 현장평가를 상기 모바일 단말기로부터 입력 받기 위해, 상기 모바일 단말기에 저장 또는 설치된 현장평가 증강 UI가 활성화되도록 상기 모바일 단말기를 제어하는 제4 단계; 및 상기 현장평가 서버가, 상기 제어에 따라 상기 모바일 단말기에서 출력되는 상기 실세계 영상에 증강되어 활성화된 상기 현장평가 증강 UI를 이용하여 입력된 현장평가 데이터를 상기 모바일 단말기로부터 수신하는 제5 단계;를 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 현장평가 방법은, 상기 공연에 대한 상기 현장평가 데이터를 포함하는 현장평가 결과를 산출하는 제6 단계;를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 제2 단계에서 상기 영상 특징점은, 상기 공연장의 형태, 상기 공연장을 구분할 수 있는 공연장 식별자, 상기 공연을 구분할 수 있는 공연 식별자, 공연자의 얼굴, 공연 장면 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 공연장 식별자 또는 상기 공연 식별자는, 상기 공연장에서 어느 하나의 위치에 표시될 수 있는 텍스트(text), 큐알 코드(QR code), 바코드(bar code), 이미지(image), 조형물(sculpture) 중 적어도 어느 하나 이상으로 이루어지고, 상기 공연장 식별자는 각 공연장 별로 서로 상이하며, 상기 공연 식별자는 상기 공연장에서 수행되는 각 공연에 따라 서로 상이한 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 제3 단계에서 상기 공연의 도출은, 상기 실세계 영상에 대한 시간정보 - 상기 실세계 영상의 촬영시간 또는 상기 모바일 단말기로부터의 수신시간 - 를 포함하는 부가정보를 더 포함하여 도출되는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 부가정보는, 상기 모바일 단말기의 위치정보 - 상기 실세계 영상을 촬영한 위치 - 를 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 제4 단계는, 상기 모바일 단말기에 상기 현장평가 증강 UI가 포함되지 않은 경우에 상기 현장평가 증강 UI를 상기 모바일 단말기로 제공하는 과정을 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 제4 단계는, 상기 공연에 대한 평가현황 정보를 상기 모바일 단말기로 전송하며, 상기 평가현황 정보는 상기 모바일 단말기에서 출력되는 상기 실세계 영상에 증강되어 출력되는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 평가현황 정보는, 상기 현장평가 결과를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 제4 단계는, 상기 제3 단계에서 도출된 상기 공연 이외의 적어도 하나 이상의 다른 공연에 대한 평가현황 정보를 더 포함하여 상기 모바일 단말기로 전송하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 다른 공연에 대한 평가현황 정보는, 상기 다른 공연에 대한 현장평가 결과를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 평가현황 정보는, 상기 공연 또는 상기 다른 공연이 컨테스트에 참여되는 경우, 상기 컨테스트에 대한 랭킹 정보를 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 제4 단계는, 상기 공연에 대한 공연 정보를 상기 모바일 단말기로 전송하며, 상기 공연 정보는 상기 모바일 단말기에서 출력되는 상기 실세계 영상에 증강되어 출력되는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 모바일 데이터의 상기 현장평가 증강 UI는, 상기 모바일 단말기에서 상기 실세계 영상이 출력될 때 활성화되는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 현장평가 증강 UI는, 상기 모바일 단말기에서 활성화된 이후, 상기 실세계 영상의 출력이 종료되는 경우에도 활성화가 유지되는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법에 있어서, 상기 제6 단계에서, 산출된 상기 현장평가 결과는 상기 모바일 단말기로 전송되는 것을 특징으로 한다.
본 발명에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버는, 공연장에서 수행되는 공연을 특정할 수 있는 하나 이상의 이미지로 이루어진 공연 특징점을 포함하는 공연 스케줄 정보를 생성하는 공연 스케줄 생성 모듈;과 공연이 진행되는 공연장을 촬영한 실세계 영상을 모바일 단말기로부터 수신하여 저장하는 저장모듈;과 상기 실세계 영상 내에서 상기 공연을 특정할 수 있는 하나 이상의 이미지로 이루어진 영상 특징점을 추출하는 영상 특징점 추출 모듈; 및 추출된 상기 영상 특징점과 상기 공연 스케줄 정보에 포함된 상기 공연 특징점을 비교하여, 상기 영상 특징점에 대응하는 공연을 상기 공연 스케줄 정보에서 도출하고, 도출된 상기 공연에 대한 현장평가를 상기 모바일 단말기로부터 입력 받기 위해 상기 모바일 단말기에 저장 또는 설치된 현장평가 증강 UI가 활성화되도록 상기 모바일 단말기를 제어하는 제어 모듈;을 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 현장평가 서버는, 상기 모바일 단말기에서 활성화된 상기 현장평가 증강 UI를 이용하여 입력되고 전송된 현장평가 데이터를 포함하여 상기 공연에 대한 현장평가 결과를 산출하는 평가결과 산출 모듈; 및 상기 모바일 단말기에 상기 현장평가 증강 UI가 포함되지 않아 상기 제어 모듈의 상기 현장평가 증강 UI의 상기 활성화를 위한 상기 제어를 수행하지 못하는 경우, 상기 현장평가 증강 UI를 상기 모바일 단말기에 제공하기 위한 현장평가 증강 UI 제공 모듈;을 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 영상 특징점 추출 모듈은, 상기 공연장의 형태, 상기 공연장을 구분할 수 있는 공연장 식별자, 상기 공연을 구분할 수 있는 공연 식별자, 공연자의 얼굴, 공연 장면 중 적어도 어느 하나 이상을 상기 영상 특징점으로 추출하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 공연장 식별자 또는 상기 공연 식별자는, 상기 공연장에서 어느 하나의 위치에 표시될 수 있는 텍스트(text), 큐알 코드(QR code), 바코드(bar code), 이미지(image), 조형물(sculpture) 중 적어도 어느 하나 이상으로 이루어고, 상기 공연장 식별자는 각 공연장 별로 서로 상이하며, 상기 공연 식별자는 상기 공연장에서 수행되는 각 공연에 따라 서로 상이한 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 제어 모듈은, 상기 실세계 영상에 대한 시간정보 - 상기 실세계 영상의 촬영시간 또는 상기 모바일 단말기로부터의 수신시간 - 를 포함하는 부가정보를 더 포함하여 상기 공연을 도출하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 부가정보는, 상기 모바일 단말기의 위치정보 - 상기 실세계 영상을 촬영한 위치 - 를 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 제어모듈은, 도출된 상기 공연에 대한 공연 정보를 상기 모바일 단말기로 전송하며, 상기 공연 정보는 상기 모바일 단말기에서 출력되는 상기 실세계 영상에 증강되어 출력되는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 제어 모듈은, 도출된 상기 공연에 대한 평가현황 정보를 상기 모바일 단말기로 전송하며, 상기 평가현황 정보는 상기 모바일 단말기에서 출력되는 상기 실세계 영상에 증강되어 출력되는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 평가현황 정보는, 상기 현장평가 결과를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 제어 모듈은, 도출된 상기 공연 이외의 적어도 다른 하나 이상의 공연에 대한 평가현황 정보를 더 포함하여 상기 모바일 단말기로 전송하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 다른 공연에 대한 상기 평가현황 정보는, 상기 다른 공연에 대한 현장평가 결과를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 평가현황 정보는, 상기 공연 또는 상기 다른 공연이 컨테스트에 참여되는 경우, 상기 컨테스트에 대한 랭킹 정보를 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 제어 모듈이 상기 현장평가 증강 UI의 활성화시키기 위한 제어는, 상기 모바일 단말기에 상기 실세계 영상이 출력되고 있을 때 수행되는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 모바일 단말기에서 활성화된 상기 현장평가 증강 UI 는, 상기 실세계 영상의 출력이 종료되는 경우에도 활성화가 유지되는 것을 특징으로 한다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 서버에 있어서, 상기 제어 모듈은, 상기 평가결과 산출 모듈에서 산출된 상기 현장평가 결과를 상기 모바일 단말기로 전송하는 것을 특징으로 한다.
본 발명의 상기의 구성을 통해, 본 발명에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버는, 모바일 단말기에 구비된 카메라 모듈을 이용하여 관람중인 공연을 촬영하고, 촬영된 실세계 영상을 현장평가 서버에 전송하는 경우, 모바일 단말기를 통해 관람중인 공연에 대한 현장평가(투표)를 입력할 수 있는 서비스를 제공함으로써, 현장에 위치한 관람자(사용자)가 모바일 단말기의 카메라 어플리케이션을 활성화하여 공연 현장을 촬영하는 행위만으로 공연에 대한 현장평가(투표)가 자동으로 시작될 수 있고, 현장평가 증강 UI를 통해 공연 현장에서 현장평가(투표)를 진행함으로써, 별도의 인스트럭션(instruction)을 받거나 복잡한 절차 없이 현장에서 바로 용이하게 공연 또는 공연자에 대한 현장평가(투표) 서비스를 제공할 수 있는 효과가 있다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버는, 공연을 관람하는 관람자(사용자)가 모바일 단말기에 구비된 카메라 어플리케이션을 실행(활성화)하고, 카메라를 이용하여 공연을 촬영하는 동작에 따라서 모바일 단말기에서 공연에 대한 현장평가가 시작되도록 하는 효과가 있다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버는, 공연에 대한 현장평가를 수행함에 있어서, 모바일 단말기의 카메라로 촬영된 촬영영상에서, 예컨데 공연자를 촬영하는 행위를 통해 촬영된 공연 또는 공연자에 대한 직관적인 투표가 수행되도록 하는 효과가 있다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버는, 복수의 공연자가 공연을 수행할 때, 투표를 진행할 공연자를 카메라를 이용하여 선택적으로 촬영을 수행하는 경우에 다수의 공연자 중에서 촬영에 포함된 공연자에 대한 투표가 진행되도록 함으로써, 공연에 대한 더욱 세분화된 투표 행위가 가능하도록 할 수 있는 효과가 있다.
본 발명의 실시예에 따른 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버는, 종래기술에서 공연을 촬영하다가 현장평가를 진행하는 경우에는 모바일 단말기의 촬영을 종료하고, 별도의 현장평가를 위한 URL 접속 또는 다른 전용 어플리케이션을 이용하여 현장평가를 수행해야 하기 때문에 관람자(사용자)의 공연 몰입도가 반감되는 현상이 있으나, 본 발명에서는 공연 현장에서 관람자(사용자)가 모바일 단말기의 카메라로 공연을 촬영하는 일상적인 행위 중에 공연 또는 공연자에 대한 투표가 진행되도록 하여 관람자(사용자)가 공연에 대해 지속적으로 몰입할 수 있는 모바일 단말기의 환경을 제공할 수 있는 효과가 있다.
도 1은 본 발명에 따른 현장평가를 위한 시스템 구성도,
도 2는 본 발명에 따른 현장평가 서버를 나타내기 위한 구성도,
도 3은 본 발명에 따른 현장평가 방법을 나타내기 위한 순서도,
도 4는 본 발명에 따른 현장평가 방법의 제1 실시예를 나타내기 위한 흐름도,
도 5는 본 발명에 따른 현장평가 방법의 제2 실시예를 나타내기 위한 흐름도,
도 6은 본 발명의 일구현예에 따라 공연장에서 실세계 영상 촬영의 제1 실시예를 나타내기 위한 제1 예시도,
도 7은 본 발명의 일구현예에 따라 공연장에서 실세계 영상 촬영의 제2 실시예를 나타내기 위한 제2 예시도,
도 8은 본 발명의 일구현예에 따라 공연장에서 실세계 영상 촬영의 제3 실시예를 나타내기 위한 제3 예시도,
도 9는 본 발명의 일구현예에 따라 실세계 영상에서 영상 특징점의 추출을 나타내기 위한 제4 예시도,
도 10은 본 발명의 일구현예에 따라 공연 특징점 정보를 포함하는 공연 스케줄 정보를 나타내기 위한 제5 예시도,
도 11은 본 발명의 일구현예에 따라 실세계 영상에 추출된 영상 특징점을 이용하여 공연을 특정하는 방법을 나타내기 위한 제6 예시도,
도 12는 본 발명의 일구현예에 따라 모바일 단말기에 출력되는 현장평가 증강 UI의 제1 실시예를 나타내기 위한 제7 예시도,
도 13은 본 발명의 일구현예에 따라 모바일 단말기에 출력되는 현장평가 증강 UI의 제2 실시예를 나타내기 위한 제8 예시도이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되어서는 안되며, 발명자는 자신의 발명을 최선의 방법으로 설명하기 위해 용어와 개념을 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 해당하며, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로 해당 구성은 본 발명의 출원시점에서 이를 대체할 다양한 균등물과 변형 예가 있을 수 있다.
명세서 전반에서 어떠한 부분이 어떤 구성요소를 “포함”한다는 기재는, 이에 대한 특별한 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 명세서에 기재된 “..모듈”, “..부”, “..서버”, “..시스템” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 하나의 장치 또는 각각 다른 장치에 포함될 수 있다.
이하에서는 도면을 참조하여 본 발명에 따른 현장평가 서버를 이용한 현장평가 방법을 설명한다.
도 1은 본 발명에 따른 현장평가를 위한 시스템 구성도이며, 도 2는 본 발명에 따른 현장평가 서버를 나타내기 위한 구성도이다. 도 1 내지 도 2에 도시된 바와 같이, 현장평가 서버(100)는 공연장에서 수행되는 공연을 특정할 수 있는 하나 이상의 이미지로 이루어진 공연 특징점을 포함하는 공연 스케줄 정보를 생성하는 공연 스케줄 생성 모듈(170)과 공연이 진행되는 공연장을 촬영한 실세계 영상을 모바일 단말기로부터 수신하여 저장하는 저장모듈(160)과 실세계 영상 내에서 공연 또는 공연장을 특정할 수 있는 하나 이상의 이미지로 이루어진 영상 특징점을 추출하는 영상 특징점 추출 모듈(130) 및 추출된 영상 특징점과 공연 스케줄 정보에 포함된 공연 특징점을 비교하여, 영상 특징점에 대응하는 공연을 공연 스케줄 정보에서 도출하고, 도출된 공연에 대한 현장평가를 모바일 단말기로부터 입력 받기 위해 모바일 단말기에 저장 또는 설치된 현장평가 증강 UI가 활성화되도록 모바일 단말기를 제어하는 제어 모듈(110)을 포함하여 구성된다.
또한, 현장평가 서버(100)는 모바일 단말기에서 활성화된 현장평가 증강 UI를 이용하여 입력되고 전송된 현장평가 데이터를 포함하여 공연에 대한 현장평가 결과를 산출하는 평가결과 산출 모듈(150) 및 모바일 단말기(200)에 현장평가 증강 UI가 포함되지 않아 제어 모듈(110)의 현장평가 증강 UI의 활성화를 위한 제어를 수행하지 못하는 경우, 현장평가 증강 UI를 모바일 단말기(200)에 제공하기 위한 현장평가 증강 UI 제공 모듈(140)을 더 포함하여 구성되는 것을 특징으로 한다.
또한, 현장평가 서버(100)는 모바일 단말기(200)와의 데이터 송수신을 위한 통신 모듈(120)을 더 포함하여 구성되는 것을 특징으로 한다.
현장평가 서버(100)는 공연장 A에 위치한 모바일 단말기(200-a, 200-b, 200-c) 및 공연장 B에 위치한 모바일 단말기(200-d, 200-e, 200-f) 등의 모바일 단말기(200)와 통신망을 이용하여 연결되어 있다.
공연장 A 또는 공연장 B는 실내 또는 실외에 위치한 공연장이며, 연극, 오페라, 뮤지컬 등을 공연하기 위한 극장식 공연장을 비롯하여, 방송 등을 촬영하기 위한 방송국, 영화를 관람하기 위한 영화 극장, 음악을 녹음하기 위한 스튜디오 등이 공연장에 포함될 수 있다. 즉, 공연장은 무대 또는 무대가 구비되지 않은 위치에서 수행되는 공연을 모바일 단말기(200)를 소유한 관람자들이 직접 실시간 관람할 수 있는 장소를 포함한다.
따라서, 공연장은 하나 이상으로 구성되며, 공연장에는 모바일 단말기(200)를 소유한 적어도 하나 이상의 관람자가 공연을 관람하는 것이 바람직하다.
모바일 단말기(200)는 공연장에서 수행되는 공연 또는 공연장을 촬영할 수 있는 카메라 모듈(미도시)을 포함하며, 카메라 모듈을 이용하여 촬영된 실세계 영상을 현장평가 서버(100)로 전송할 수 있는 유선 또는 무선의 통신 모듈(미도시)을 포함한다.
또한, 모바일 단말기(200)는 현장평가 서버(100)의 제어 모듈(110)에서 현장평가 증강 UI를 활성화시키는 제어에 따라 모바일 단말기(200)에 저장 또는 설치된 현장평가 증강 UI를 활성화하고, 모바일 단말기(200)에서 활성화된 현장평가 증강 UI를 이용하여 현장평가 데이터를 입력 받을 수 있는 입력 모듈(미도시)을 포함한다.
모바일 단말기(200)의 입력 모듈은 마우스, 키보드 등의 보조 입력 장치를 포함하며, 모바일 단말기(200)의 디스플레이 모듈에 구비된 터치 스크린을 포함한다. 모바일 단말기(200)의 입력 모듈은 상기에 제시된 보조 입력 장치 또는 터치 스크린 이외에 음성 입력 등의 모바일 단말기(200)에 데이터를 입력할 수 있는 장치 또는 수단 등의 어떠한 입력 장치를 사용할 수 있다.
현장평가 서버(100)의 저장 모듈(160)은 모바일 단말기(200)에서 촬영되어 전송되는 실세계 영상을 저장한다. 실세계 영상은 모바일 단말기(200)가 공연 현장을 촬영한 영상이며, 공연장, 공연 장면, 공연 음향, 공연장을 구분하기 위한 공연장 식별자, 공연을 구분하기 위한 공연 식별자, 공연자(특히 공연자의 얼굴) 등이 포함되어 있다. 따라서, 실세계 영상은 비디오 데이터를 포함하는 것이 바람직하나, 공연 음향만을 포함하는 경우에는 오디오 데이터가 포함될 수 있다.
저장 모듈(160)은 실세계 영상의 속성 정보에 포함된 위치정보(GPS 신호 등의 위치정보)와 시간정보를 추출하여 함께 저장한다. 만약, 모바일 단말기(200)로부터 수신된 실세계 영상의 속성 정보에 위치정보 또는 시간정보 중 적어도 어느 하나 이상이 포함되어 있지 않은 경우에는 모바일 단말기(200)로부터 별도의 위치정보 또는 시간정보를 추가로 수신하여 저장 모듈(160)에 저장한다.
또한, 저장 모듈(160)은 모바일 단말기(200)를 소유한 관람자(사용자)의 관람자 정보가 저장된다. 관람자 정보는 관람자의 이름, 성별, 나이, 모바일 단말기(200)의 전화번호, 기기번호 등을 포함하며, 필요에 따라 추가적인 개인정보 등이 관람자의 동의 하에 더 저장될 수 있다.
관람자 정보는 공연에 대한 현장평가가 관람자 공개로 진행되는 경우, 각 관람자의 현장평가를 저장할 때 사용된다. 만약 현장평가가 비공개로 진행되는 경우에는 관람자 정보는 사용되지 않는다.
저장 모듈(160)은 공연을 관람한 관람자가 모바일 단말기(200)에서 활성화된 현장평가 증강 UI를 통해 입력한 현장평가 데이터를 저장하는 평가 DB(161)와 각 공연장에서 수행되는 공연의 스케줄과 이에 대한 정보를 저장한 공연 스케줄 DB(162)를 포함한다.
평가 DB(161)는 모바일 단말기(200)에서 생성되어 전송된 현장평가 데이터를 저장한다. 현장평가 데이터는 각각의 공연 또는 공연자에 따라 저장되며, 평가결과 산출 모듈(150)에서 해당 현장평가 데이터와 다른 관람자의 현장평가 데이터를 포함하여 산출된 현장평가 결과를 저장한다.
현장평가 결과는 특정 공연(또는 공연자)에 따라 전송된 현장평가 데이터의 합계 또는 평균 등으로 산출할 수 있으나, 필요에 따라 현장평가 데이터의 각 평가 지표에 따라 다른 방식으로 산출할 수 있다.
또한, 현장평가 결과는 각 공연장에서 수행된 공연 별로 대응하는 현장평가 데이터를 이용하여 산출되고, 저장된다.
또한, 둘 이상의 공연으로 진행되는 공연 컨테스트에 대한 컨테스트 정보와 컨테스트 진행에 따른 컨테스트 결과 정보도 함께 저장될 수 있다.
또한, 공연 스케줄 DB(162)는 각 공연장에서 진행되는 공연에 따른 공연 정보를 저장하고 있다.
도 10은 본 발명의 일구현예에 따라 공연 특징점 정보를 포함하는 공연 스케줄 정보를 나타내기 위한 제5 예시도이다. 도 10에 도시된 바와 같이, 일구현예에 따른 공연 스케줄 DB(162)에 저장된 공연 스케줄 정보는 공연장, 공연시간, 공연자, 공연 내용, 공연 특징점, 평가횟수, 평가결과 등의 공연 정보를 포함한다. 도면에 도시되지 않았으나, 각 공연 스케줄 정보에는 공연 날짜를 더 포함하고 있다.
예를 들어, 공연장 A, 공연장 B, 공연장 C와 같이 3개의 공연장에서 각 하나의 공연이 수행되는 경우, 해당 공연이 수행되는 공연시간과 해당 공연을 진행하는 공연자의 이름이 저장된다.
또한, 공연의 장르를 나타낼 수 있는 공연내용이 포함되어 있는데, 공연내용의 각 항목에는 하위의 세부항목으로 추가 분류될 수 있다. 도면에 도시된 바와 같이, 공연 내용인 노래(sing)인 경우, 하위의 세부항목에는 제목, 가사, 제작자, 노래 대표 이미지 등의 정보를 포함할 수 있다.
공연 특징점은 공연장, 공연 장면, 공연 음향, 공연장을 구분하기 위한 공연장 식별자, 공연을 구분하기 위한 공연 식별자, 공연자(특히 공연자의 얼굴) 등이 포함되며, 모바일 단말기(200)에서 전송된 실세계 영상을 이용하여 추출된 영상 특징점과 공연 스케줄 정보에 포함된 공연 특징점을 상호 비교하여 각각의 영상 특징점과 공연 특징점이 상호 부합함에 따라 도출되는 공연을 해당 모바일 단말기(200)가 촬영한 공연이라고 특정할 수 있다.
이에 따라 공연 스케줄 정보에 포함된 공연 특징점은 현장평가가 수행되기 이전에 미리 저장되어 있어야 하며, 공연이 시작되면서 전송되는 실세계 영상에서 도출된 영상 특징점과 상호 비교할 수 있다.
다음으로 평가횟수는 해당 공연에 대해 관람자의 평가를 수신한 횟수를 포함한다. 이때, 평가횟수와 관련된 현장평가 및 온라인평가 등의 평가 위치에 따른 분류, 전문가 평가 및 일반인 평가 등의 평가자 등급에 따른 분류, 남성 평가 및 여성 평가 등의 평가자 성별에 따른 분류 등의 하위 세부항목 등에 따른 정보는 평가 DB(161)에 저장되는 것이 바람직하다
평가결과는 평가횟수 및 세부항목에 대한 평가 중 적어도 어느 하나 이상을 이용하여 산출된 평가결과가 포함된다.
공연 스케줄 생성 모듈(170)은 공연 스케줄 정보를 생성하기 위한 것으로, 각 공연장 및 공연 시간 별로 공연을 설정하고, 이에 대한 관련 정보를 이용하여 공연 스케줄 정보를 생성하고, 생성된 공연 스케줄 정보를 저장 모듈(160)의 공연 스케줄 DB(162)에 저장한다.
공연 스케줄 생성 모듈(170)은 저장 모듈(160)에 미리 저장된 공연자 정보 등을 이용하여 공연 스케줄 정보를 생성하고, 추가적으로 현장평가 서버(100)의 관리자에 의해 입력되는 정보를 이용하여 생성된다.
만약, 특정 공연자의 공연에 관련된 정보가 저장 모듈(160)에 미리 저장되어 있으며, 공연 스케줄이 확정되는 경우, 저장 모듈(160)에 미리 저장된 공연에 관련된 정보를 이용하여 공연 스케줄 정보를 생성한다. 그러나, 특정 공연자의 공연에 관련된 정보가 저장 모듈(160)에 미리 저장되지 않은 경우에는 현장평가 서버(100)의 관리자에 의해 입력되는 공연에 관련된 정보를 이용하여 공연 스케줄 정보가 생성된다.
공연 스케줄 생성 모듈(170)은 각 공연장 별로 각 공연이 시작되기 이전에 공연 스케줄 정보의 생성 및 공연 스케줄 DB(162)에 저장을 완료하여, 공연이 시작된 이후에 진행되는 현장평가에서 실세계 영상에서 추출된 영상 특징점과 공연 스케줄 DB(162)의 공연 특징점을 상호 비교한다. 또한, 관람자의 모바일 단말기(200)로 현장평가를 위한 공연의 공연 정보를 제공할 수 있다.
영상 특징점 추출 모듈(130)은 모바일 단말기(200)에서 전송된 실세계 영상에서 공연을 특정할 수 있는 영상 특징점을 추출한다. 영상 특징점은 도 10의 공연 스케줄 정보에 저장된 공연 특징점에 대응할 수 있는 공연장, 공연 장면, 공연 음향(공연자 목소리 포함), 공연장을 구분하기 위한 공연장 식별자, 공연을 구분하기 위한 공연 식별자, 공연자(특히 공연자의 얼굴) 등이 식별될 수 있도록 실세계 영상 내에서 상기의 이미지, 음향 등을 추출한다.
영상 특징점 추출 모듈(130)은 이미지 추출 부분과 음향 추출 부분으로 분리되어 운영될 수 있으며, 모바일 단말기(200)가 전송한 실세계 영상에서 공연장, 공연 장면, 공연장을 구분하기 위한 공연장 식별자, 공연을 구분하기 위한 공연 식별자, 공연자 등의 이미지 추출은 이미지 추출 부분에서 수행하며, 공연 음향(공연자 목소리 포함) 등의 음향 추출은 음향 추출 부분에서 수행한다.
영상 특징점 추출 모듈(130)은 실세계 영상에서 이미지 또는 음향 중 적어도 어느 하나 이상의 영상 특징점을 추출하지 못하는 경우, 영상 특징점 추출 불가 메시지를 제어 모듈(110)로 전송한다.
영상 특징점 추출 모듈(130)에서 영상 특징점을 추출하기 위해 분석하는 실세계 영상은 정지영상(음향 포함), 정지영상(음향 미포함), 동영상(음향 포함), 동영상(음향 미포함), 음향(영상 미포함) 중 적어도 어느 하나의 포맷으로 이루어질 수 있으며, 영상 특징점 추출 모듈(130)은 다양한 포맷으로 이루어진 실세계 영상을 인식하여 영상 특징점을 추출할 수 있다.
영상 특징점 추출 모듈(130)은 모바일 단말기(200)에서 전송된 실세계 영상이 동영상을 포함하고 있는 경우, 동영상에 포함된 모든 프레임(정지영상)을 이용하여 이미지 추출을 진행하는 것이 바람직하나, 현장평가 서버(100)의 과부하를 방지하기 위해 동영상에 포함된 다수의 프레임(정지영상) 중에서 일부의 프레임을 추출하고, 추출된 프레임(정지영상)을 이용하여 이미지 추출을 진행할 수 있다.
영상 특징점 추출 모듈(130)은 수신된 실세계 영상에서 공연에 대한 영상 특징점을 추출하고, 추출된 영상 특징점은 제어 모듈(110)에 의해 저장 모듈(160)에 포함된 공연 스케줄 DB(162) 내의 공연 특징점과 비교되어 공연을 특정하도록 할 수 있으나, 필요에 따라서는 영상 특징점 추출모듈(130)이 추출된 영상 특징점과 저장 모듈(160)에 포함된 공연 스케줄 DB(162) 내의 공연 특징점을 상호 비교하여 공연을 특정하고, 특정된 공연에 대한 공연 정보를 제어 모듈(110)에 전달하는 방법을 사용할 수 있다.
이때, 영상 특징점 추출 모듈(130)에서 제어 모듈(110)로 전달하는 공연 정보는 공연의 이름, 공연을 구분하기 위한 공연 식별자, 공연 스케줄 등의 특정된 공연을 식별할 수 있는 정보를 포함한다.
제어 모듈(110)은 영상 특징점 추출 모듈(130)이 실세계 영상에서 추출한 영상 특징점과 공연 스케줄 정보에 저장된 공연 특징점을 상호 비교하여, 부합하는 공연 특징점이 있는 경우, 해당 공연 특징점에 대응하는 공연을 실세계 영상에 촬영된 공연으로 특정한다.
이때, 제어 모듈(110)의 일구현예에 따르면, 제어 모듈(110)은 영상 특징점 추출 모듈(130)이 추출한 영상 특징점과 공연 스케줄 DB(162)에 저장된 공연 스케줄 정보의 공연 특징점을 상호 비교하여, 부합하는 공연 특징점이 있는 경우, 해당 공연 특징점에 대응하는 공연을 실세계 영상에 촬영된 공연으로 특정할 수 있다. 즉, 추출된 영상 특징점과 공연 특징점을 비교한다.
또한, 제어 모듈(110)의 다른 구현예에 따르면, 모바일 단말기(200)로부터 실세계 영상을 수신한 이후, 실세계 영상과 공연 스케줄 DB(162)에 저장된 공연 스케줄 정보의 공연 특징점을 상호 비교하여, 실세계 영상에서 공연 특징점과 부합하는 이미지, 음향 등이 존재하는지를 판단하고, 부합하는 공연 특징점이 존재하는 경우, 해당 공연 특징점에 대응하는 공연을 실세계 영상에 촬영된 공연으로 특정할 수 있다. 즉, 실세계 영상과 공연 특징점을 비교한다.
만약, 제어 모듈(110)은 영상 특징점 추출 모듈(130)이 영상 특징점을 추출하지 못하여 전송하는 영상 특징점 추출 불가 메시지를 전달받는 경우, 수신된 영상 특징점 추출 불가 메시지를 실세계 영상을 전송한 모바일 단말기(200)로 전송한다.
또한, 제어 모듈(110)은 실세계 영상에서 공연 스케줄 DB(162)에 저장된 공연 스케줄 정보의 공연 특징점에 부합하는 영상 특징점을 추출하지 못하는 경우, 전송된 실세계 영상에서 영상 특징점을 추출하지 못한다는 실세계 영상 인식 불가 메시지를 생성하고, 생성된 실세계 영상 인식 불가 메시지를 모바일 단말기(200)로 전송한다.
제어 모듈(110)은 모바일 단말기(200)의 위치정보와 실세계 영상에 대한 시간정보 중 적어도 어느 하나 이상을 포함하는 부가정보를 추가 또는 단독으로 이용하여 실세계 영상에 포함된 공연을 특정할 수 있다. 위치정보는 실세계 영상을 촬영한 장소에 대한 정보를 포함하며, 실세계 영상의 속성정보에 포함되어 있을 수 있다. 또한, 위치정보가 실세계 영상의 속성정보에 포함되지 않은 경우에는 모바일 단말기(200)에서 생성된 별도의 위치정보(GPS 신호 등)를 수신하여 사용한다. 또한, 시간정보는 실세계 영상의 촬영시간 또는 모바일 단말기(200)로부터 실세계 영상을 수신한 수신시간이다.
이에 따라, 제어 모듈(110)은 영상 특징점 추출 모듈(130)에서 추출된 영상 특징점 이외에 공연이 촬영된 위치정보 또는 공연을 촬영한 시간정보(또는 실세계 영상을 수신한 시간정보) 중 적어도 어느 하나 이상을 더 포함하여 실세계 영상에 촬영된 공연을 특정할 수 있다.
이러한 위치정보와 시간정보는 모바일 단말기(200)의 사용자(관람자)가 공연 현장에 위치하고 있다는 것을 간접적으로 인증할 수 있다.
제어 모듈(110)은 모바일 단말기(200)에서 전송된 실세계 영상에 대응하는 공연이 특정되면, 특정된 해당 공연에 대해 모바일 단말기(200)로부터 현장평가를 수행 받을 수 있는 현장평가 증강 UI를 활성화시키기 위한 모바일 단말기(200)의 제어를 수행한다.
한편, 제어 모듈(110)을 대체하여 영상 특징점 추출 모듈(130)이 영상 특징점을 추출하고, 이를 이용하여 공연을 특정하는 경우, 제어 모듈(110)은 영상 특징점 추출 모듈(130)이 특정한 공연에 대한 공연 정보를 영상 특징점 추출 모듈(130)로부터 제공 받을 수 있다.
모바일 단말기(200)는 현장평가 서버(100)의 제어 모듈(110)에서 수행된 제어에 따라, 모바일 단말기(200) 내에 저장 또는 설치된 현장평가 증강 UI를 활성화한다.
모바일 단말기(200)에서 활성화되는 현장평가 증강 UI는 모바일 단말기(200)의 카메라 모듈이 동작되어 실세계 영상을 촬영하고 있는 경우에만 실행된다. 즉, 모바일 단말기(200)를 소유한 관람자가 해당 공연을 지속적으로 관람하고 있다는 것을 확인하기 위해 모바일 단말기(200)의 카메라 모듈이 지속적으로 공연에 대한 실세계 영상을 촬영하고 있는 경우에만 현장평가 증강 UI가 활성화된다.
그러나 모바일 단말기(200)에서 전송된 실세계 영상을 이용하여 공연이 특정된 경우에는 모바일 단말기(200)의 카메라 모듈이 종료되어 실세계 영상을 촬영하지 않아도 현장평가 증강 UI 활성화 제어에 따라 현장평가 증강 UI가 활성화될 수 있다.
한편, 모바일 단말기(200)는 현장평가 서버(100)에서 전송되는 제어 모듈(110)의 현장평가 증강 UI의 활성화 제어에 따라 현장평가 증강 UI를 활성화시킬 수 있으나, 모바일 단말기(200) 내에 현장평가 증강 UI가 설치되거나 저장되지 않은 경우에는 현장평가 증강 UI 부재 메시지를 생성하여 현장평가 서버(100)로 전송한다.
제어 모듈(110)은 모바일 단말기(200)로부터 현장평가 증강 UI 부재 메시지를 수신하면, 현장평가 증강 UI 제공 모듈(140)의 제어를 수행하여, 현장평가 증강 UI가 모바일 단말기(200)로 제공될 수 있도록 한다.
즉, 현장평가 증강 UI 제공 모듈(140)은 제어 모듈(110)의 요청에 따라 현장평가 증강 UI가 필요한 모바일 단말기(200)에게 현장평가 증강 UI를 제공할 수 있다. 현장평가 증강 UI 제공 모듈(140)에 의해 모바일 단말기(200)로 제공되는 현장평가 증강 UI는 저장 모듈(160) 또는 현장평가 증강 UI 전송 모듈(140)에 저장되어 있다.
제어 모듈(110)은 모바일 단말기(200)의 현장평가 증강 UI를 활성화시키기 위한 제어를 수행할 때, 모바일 단말기(200)로부터 전송된 실세계 영상에 대응하는 공연의 공연 정보를 함께 전송할 수 있다. 모바일 단말기(200)는 현장평가 증강 UI의 활성화 제어와 함께 전송되는 공연 정보를 모바일 단말기(200)의 화면에 출력되는 실세계 영상에 증강하여 출력한다.
제어 모듈(110)은 모바일 단말기(200)에서 활성화된 현장평가 증강 UI를 통해 입력된 현장평가 데이터를 모바일 단말기(200)로부터 수신하면, 수신된 현장평가 데이터를 저장 모듈(160)의 평가 DB(161)에 저장한 후, 수신된 현장평가 데이터를 포함하여 해당 공연에 대한 현장평가 결과를 산출하도록 평가결과 산출모듈(150)을 제어한다.
제어 모듈(110)은 현장평가 데이터를 전송한 모바일 단말기(200)에게 평가결과 산출모듈(150)에서 산출된 평가결과를 제공하기 위한 평가결과 알림 메시지를 생성한다. 제어 모듈(110)에서 모바일 단말기(200)로 제공되는 평가결과 알림 메시지는 모바일 단말기(200)에서 현장평가 데이터가 입력된 공연에 대한 평가결과를 포함하며, 모바일 단말기(200)가 평가결과의 제공을 요청하는 경우에 제공된다.
제어 모듈(110)은 모바일 단말기(200)의 요청에 따라 다른 모바일 단말기로부터 전송된 현장평가 데이터를 이용하여 산출된 현장평가 결과를 해당 모바일 단말기(200)로 전송할 수 있다.
평가결과 산출모듈(150)은 제어 모듈(110)의 제어에 따라 모바일 단말기(200)로부터 수신되는 특정 공연에 대한 현장평가 데이터를 이용하여 해당 공연에 대한 현장평가 결과를 산출한다.
한편, 공연장에서 수행되는 각각의 공연은 별도로 촬영되어 공연 컨텐츠로 생성되고, 생성된 각 공연 컨텐츠는 온라인상에 게시됨에 따라 온라인 관람자로부터 온라인평가를 수행 받을 수 있다. 평가결과 산출모듈(150)은 도면에 도시되지 않았으나, 각각의 공연 컨텐츠에 대한 온라인 관람자의 온라인평가 데이터를 수신하고, 수신된 온라인평가 데이터를 이용하여 해당 공연 컨텐츠에 대한 온라인평가 결과를 산출한다.
이에 따라 평가결과 산출모듈(150)은 현장평가 결과와 온라인평가 결과를 포함하여 각 공연(공연 컨텐츠 포함)에 대한 평가결과를 산출할 수 있으며, 공연에 대한 컨테스트가 진행되는 경우에는 각각의 공연들이 평가된 각각의 평가결과를 이용하여 컨테스트에 따른 공연 순위를 산출할 수 있다.
즉, 평가결과 산출모듈(150)은 현장평가 데이터 및 온라인평가 데이터를 이용하여 평가결과를 산출하고, 다수의 공연들에 대한 평가결과를 이용하여 컨테스트의 공연 순위를 산출하고, 이러한 평가결과 및 컨테스트의 순위 등의 정보를 모두 포함하는 평가현황 정보를 생성할 수 있다.
평가결과 산출모듈(150)의 상기와 같은 일구현예에서는 현장평가 및 온라인평가를 모두 진행하는 경우에 대해 설명하였으나, 다른 구현예에서는 공연 컨텐츠를 제외한 공연에 대한 현장평가 데이터 만을 이용하여 평가결과를 산출하고, 각각의 공연들에 대한 평가결과를 이용하여 컨테스트를 수행하고, 이에 대한 평가현황 정보를 생성할 수 있다.
현장평가 증강 UI 제공 모듈(140)은 현장평가 증강 UI의 활성화시키기 위한 제어 대상의 모바일 단말기(200)에 현장평가 증강 UI가 존재하지 않아, 현장평가 증강 UI가 활성화되지 못하는 경우, 현장평가 증강 UI 부재 메시지를 수신한 제어 모듈(110)의 제어에 따라 현장평가 증강 UI를 모바일 단말기(200)로 제공한다.
현장평가 증강 UI는 현장평가 증강 UI 제공 모듈(140) 또는 저장 모듈(160)에 저장되어 있으며, 현장평가 증강 UI 제공 모듈(140)은 저장된 현장평가 증강 UI를 모바일 단말기(200)로 제공한다.
현장평가 증강 UI는 모바일 단말기(200)에 저장 또는 설치되며, 현장평가 서버(100)에 포함된 제어 모듈(100)이 모바일 단말기(200)의 현장평가 증강 UI의 활성화를 제어함에 따라 현장평가 증강 UI가 모바일 단말기(200)에서 활성화된다.
모바일 단말기(200)에서 활성화된 현장평가 증강 UI는 모바일 단말기(200)의 사용자(관람자)로부터 현장평가 데이터를 입력 받을 수 있도록 모바일 단말기(200)의 입력 UI를 활성화시키며, 입력된 현장평가 데이터가 현장평가 서버(100)로 전송될 수 있도록 모바일 단말기(200)를 제어한다.
도 3은 본 발명에 따른 현장평가 방법을 나타내기 위한 순서도, 도 4는 본 발명에 따른 현장평가 방법의 제1 실시예를 나타내기 위한 흐름도 및 도 5는 본 발명에 따른 현장평가 방법의 제2 실시예를 나타내기 위한 흐름도이다.
도 3 내지 도 4에 도시된 바와 같이, 현장평가 서버(100)의 공연 스케줄 생성 모듈(170)은 각 공연장에서 진행될 공연 별로 공연 스케줄 정보를 생성한다(S105).
도 10은 공연 스케줄 정보의 예시도이며, 도 10에 도시된 일구현예와 같이, 공연 스케줄 정보는 각 공연장에서 진행되는 공연에 따라 공연장, 공연시간, 공연자, 공연내용, 공연 특징점, 공연의 평가횟수, 공연의 평가결과 등의 정보를 저장하고 있다.
이때, S105 단계는 공연이 시작되기 이전에 공연 스케줄에 대한 정보를 생성하게 되므로, 공연의 평가횟수 및 공연의 평가결과 등의 정보는 생성되지 않는다. 그러나 공연에 대한 공연 정보인 공연장, 공연시간, 공연자, 공연내용, 공연 특징점 등의 정보는 S105 단계에서 생성되어 저장 모듈(160)에 저장된다.
이후, 공연 스케줄에 따라 각 공연장에서는 해당 공연시간에 공연자에 의해 공연이 수행된다. 공연장에 위치한 관람자(사용자)는 공연을 관람하고, 필요한 경우에는 관람하는 공연에 대한 현장평가를 수행할 수 있다. 관람자(사용자)는 현장평가를 수행하기 위해 보유한 모바일 단말기(200)를 이용하여 공연에 대한 실세계 영상을 촬영한다(S106).
도 6은 본 발명의 일구현예에 따라 공연장에서 실세계 영상 촬영의 제1 실시예를 나타내기 위한 제1 예시도, 도 7은 본 발명의 일구현예에 따라 공연장에서 실세계 영상 촬영의 제2 실시예를 나타내기 위한 제2 예시도, 도 8은 본 발명의 일구현예에 따라 공연장에서 실세계 영상 촬영의 제3 실시예를 나타내기 위한 제3 예시도이다. 도 6 내지 도 8에 도시된 바와 같이, 공연장에서 진행되는 공연은 관람자(사용자)가 보유한 모바일 단말기(200)에 의해 촬영될 수 있다.
이때, 모바일 단말기(200)의 카메라 모듈을 통해 촬영되는 영상은 해당 공연에 대한 실세계 영상이며, 촬영된 실세계 영상을 현장평가 서버(100)로 전송함에 따라 관람자(사용자)는 모바일 단말기(200)를 사용하여 현장평가를 수행할 수 있다.
공연장은 실내, 실외 등의 다양한 위치에 개방, 폐쇄 등의 다양한 형태로 이루어져 있으며, 공연장에는 공연장 식별자(410), 공연을 나타낼 수 있는 공연 식별자(420), 공연자(430) 등이 위치하며, 관람자는 이들 공연장 식별자(410), 공연 식별자(420), 공연자(430) 중 적어도 어느 하나 이상을 포함하는 실세계 영상을 모바일 단말기(200)의 카메라 모듈을 이용하여 촬영한다.
이에 따라, 도 6의 (b)에 도시된 모바일 단말기(200)는 공연자(430) 위주의 실세계 영상을 촬영한 예시를 나타내고 있다. 도 7의 (b)에 도시된 모바일 단말기(200)는 공연장 식별자(410) 및 공연자(430) 위주의 실세계 영상을 촬영한 예시를 나타내고 있다. 도 8의 (b)에 도시된 모바일 단말기(200)는 공연 식별자(420) 및 공연자(430) 위주의 실세계 영상을 촬영한 것의 예시를 나타내고 있다.
모바일 단말기(200)에는 카메라 모듈(미도시)이 구비되어 있으며, 모바일 단말기(200)의 카메라 모듈에 의해 촬영되는 실세계 영상은 모바일 단말기(200)로부터 현장평가 서버(100)로 전송된다(S107).
모바일 단말기(200)의 카메라 모듈을 통해 촬영되는 실세계 영상은 촬영과 동시에 현장평가 서버(100)로 실시간 전송되는 것이 바람직하나, 필요에 따라서 촬영되는 실세계 영상은 모바일 단말기(200)의 저장 모듈에 저장된 이후, 현장평가 서버(100)로 전송될 수 있다.
모바일 단말기(200)는 카메라 모듈을 통해 촬영한 실세계 영상을 현장평가 서버(100)로 전송하기 위해서 현장평가 서버(100)에서 제공하는 전용 프로그램(어플리케이션, 어플 또는 앱)을 이용하여 공연에 대한 촬영을 진행할 수 있다. 또는 모바일 단말기(200)에 기본적으로 설치된 카메라 어플리케이션을 이용하여 공연을 촬영하고, 촬영된 실세계 영상은 현장평가 서버(100)에서 제공하는 홈페이지 등의 온라인 환경의 웹 서버(미도시)에 접속한 후 전송할 수 있다.
현장평가 서버(100)는 모바일 단말기(200)로부터 전송되는 실세계 영상을 통신 모듈(120)을 통해 수신하고, 수신된 실세계 영상을 저장 모듈(160)에 저장한다(S110).
현장평가 서버(100)의 영상 특징점 추출 모듈(130)은 저장 모듈(160)에 저장된 실세계 영상에서 영상 특징점을 추출한다(S115).
영상 특징점은 공연을 촬영한 실세계 영상에 포함된 공연이 어떠한 공연인지를 특정하기 위해, 공연을 특정할 수 있는 이미지 및 음향 등을 포함한다.
영상 특징점은 실세계 영상에 촬영된 공연장의 형태, 공연 장면, 공연 음향(공연자 목소리 포함), 공연장을 구분할 수 있는 공연장 식별자, 공연을 구분할 수 있는 공연 식별자, 공연자(특히 공연자의 얼굴) 등이 될 수 있으며, 이미지 추출 또는 음향 추출 등의 검출 알고리즘을 이용하여 수행할 수 있다. 이때, 추출 알고리즘은 공지된 영상 검출 또는 음향 검출 알고리즘 등을 이용할 수 있다.
도 9는 본 발명의 일구현예에 따라 실세계 영상에서 영상 특징점의 추출을 나타내기 위한 제4 예시도이다. 도 9의 (a)에 도시된 바와 같이, 공연장 식별자(410)와 공연자(430)가 함께 촬영된 실세계 영상에서 영상 특징점을 추출하게 되면, 각각의 공연장 식별자(410)와 공연자(430)가 제1 영상 특징점(310)과 제2 영상 특징점(320)으로 추출된다.
도 9의 (b)에 도시된 바와 같이, 공연자(430)가 촬영된 실세계 영상에서 영상 특징점을 추출하게 되면, 공연자(430)가 영상 특징점(320)으로 추출된다.
도 9의 (c)에 도시된 바와 같이, 공연 식별자(420)와 공연자(430)가 함께 촬영된 실세계 영상에서 영상 특징점을 추출하게 되면, 각각의 공연 식별자(420)와 공연자(430)가 제1 영상 특징점(330)과 제2 영상 특징점(320)으로 추출된다.
이때, 실세계 영상 내의 공연자(430)를 이용하여 영상 특징점을 추출하는 경우에는 공연자(430)의 영상 중에서 얼굴 부분을 영상 특징점(320)으로 추출하는 것이 바람직하다.
한편, 도 9의 (b)의 실세계 영상에서 좌측 및 우측 일부분만 촬영된 공연장 식별자(410)와 공연 식별자(420)는 영상 특징점으로 추출되지 않으나, 필요한 경우에는 각 공연장 식별자(410) 및 공연 식별자(420)의 부분 이미지를 영상 특징점으로 추출하여, 공연을 특정하기 위해 공연 특징점과 비교될 수 있다.
영상 특징점 추출 모듈(130)은 실세계 영상을 이용하여 추출한 영상 특징점을 제어 모듈(110)로 전송하거나, 추출한 영상 특징점을 이용하여 공연을 특정할 수 있다.
즉, 영상 특징점 추출 모듈(130)에서 추출된 영상 특징점은 제어 모듈(110) 또는 영상 특징점 추출 모듈(130)을 통해 저장 모듈(160)에 저장된 공연 스케줄 DB(162) 내에 저장된 공연 스케줄 정보의 공연 특징점과 비교되어 실세계 영상에 촬영된 공연을 특정할 수 있도록 한다(S120).
공연 스케줄 DB(162)의 일구현예는 도 10에 도시된 바와 같이, 공연장, 공연시간, 공연자, 공연 내용, 공연 특징점, 평가횟수, 평가결과 등의 공연 스케줄 정보를 포함한다. 이러한 공연 스케줄 DB(162)의 다양한 정보 중에서 공연 특징점과 추출된 영상 특징점을 상호 비교하여 실세계 영상에 촬영된 공연을 특정할 수 있다.
이때, 제어 모듈(110) 또는 영상 특징점 추출 모듈(130)이 공연 스케줄 DB(162)의 공연 특징점과 비교하여 공연을 특정할 때에는 영상 특징점 이외에 실세계 영상을 촬영한 위치정보 또는 실세계 영상을 촬영하거나 전송한 시간정보 등을 포함하는 부가정보를 추가로 이용하여 공연을 특정할 수 있다.
도 10의 공연 스케줄 DB(162)는 본 발명의 일구현예를 설명하기 위한 예시이며, 필요 시 다른 정보를 추가하거나 수정하여 사용할 수 있다.
도 11은 본 발명의 일구현예에 따라 실세계 영상에 추출된 영상 특징점을 이용하여 공연을 특정하는 방법을 나타내기 위한 제6 예시도이다. 도 11의 (a), (b), (c)에 도시된 바와 같이, 영상 특징점 추출 모듈(130)에서 추출된 각각의 영상 특징점들(310, 320, 330)은 도 6 내지 도 8에서 각각 촬영된 실세계 영상의 화각 등으로 인해 영상 특징점이 서로 다르게 추출될 수 있다.
즉, 도 6에서 (b)의 일구현예와 같이, 실세계 영상에 촬영된 공연자(430)는 도 11의 (a)에서 공연자(430)에 대한 제1 영상 특징점(330)으로 추출된다.
도 7에서 (b)의 일구현예와 같이, 실세계 영상에 촬영된 공연장 식별자(410) 및 공연자(430)는 도 11의 (b)에서 공연장 식별자(410)에 대한 제1 영상 특징점(310)과 공연자(430)에 대한 제2 영상 특징점(330)으로 추출된다.
도 8에서 (b)의 일구현예와 같이, 실세계 영상에 촬영된 공연 식별자(420) 및 공연자(430)는 도 11의 (c)에서 공연 식별자(420)에 대한 제1 영상 특징점(320)과 공연자(430)에 대한 제2 영상 특징점(330)으로 추출된다.
따라서, 도 11의 (a)와 같이 공연자(430)에 대한 제1 영상 특징점(330)과 도 11의 (d)에 도시된 공연 스케줄 DB(162) 내에 저장된 공연 스케줄 정보의 공연 특징점을 상호 비교하여 제1 영상 특징점(330)에 대응하는 공연을 도출할 수 있다.
또한, 도 11의 (b)와 같이 공연장 식별자(410)에 대한 제1 영상 특징점(310) 및 공연자(430)에 대한 제2 영상 특징점(330)과 도 11의 (d)에 도시된 공연 스케줄 DB(162) 내에 저장된 공연 스케줄 정보의 공연 특징점을 상호 비교하여 제1 영상 특징점(310) 및 제2 영상 특징점(330)에 대응하는 공연을 도출할 수 있다.
또한, 도 11의 (c)와 같이 공연 식별자(420)에 대한 제1 영상 특징점(320) 및 공연자(430)에 대한 제2 영상 특징점(330)과 도 11의 (d)에 도시된 공연 스케줄 DB(162) 내에 저장된 공연 스케줄 정보의 공연 특징점을 상호 비교하여 제1 영상 특징점(320) 및 제2 영상 특징점(330)에 대응하는 공연을 도출할 수 있다.
한편, 공연이 진행되는 공연장이 복수이거나, 시간대 별로 다수의 공연이 진행되는 경우에는 추출된 영상 특징점과 비교되는 공연 특징점의 개수가 많기 때문에 다수의 공연에 대한 공연 특징점을 모두 비교하지 못하고, 실세계 영상에 대한 위치정보 또는 시간정보 중 적어도 어느 하나 이상을 포함하는 부가정보를 이용하여 공연이 진행되는 공연장의 위치 및 공연 시간을 비교하여 공연 특징점의 필터링(filtering)을 수행한다.
이후, 위치정보 또는 시간정보 중 적어도 어느 하나 이상에 의해 필터링 된 공연 특징점과 영상 특징점을 비교하여 공연을 특정할 수 있다.
제어 모듈(110) 또는 영상 특징점 추출 모듈(130)이 공연을 특정하기 위해 영상 특징점과 공연 특징점을 비교한 결과, 영상 특징점에 대응하는 공연 특징점이 도출되지 않아 공연을 특정할 수 없는 경우, 제어 모듈(100) 또는 영상 특징점 추출 모듈(130)은 이에 대한 공연 특정 불가 메시지를 생성한다(S125).
공연 특정 불가 메시지는 실세계 영상을 전송하여 현장평가를 요청한 모바일 단말기(200)로 전송될 수 있다. 공연 특정 불가 메시지가 영상 특징점 추출 모듈(130)에서 생성되면, 영상 특징점 추출 모듈(130)은 생성한 공연 특정 불가 메시지를 제어 모듈(110)로 전송한다.
다음으로, 제어 모듈(110)은 생성하거나, 영상 특징점 추출 모듈(130)로부터 전송 받은 공연 특정 불가 메시지를 모바일 단말기(200)로 전송한다(S130).
만약, 모바일 단말기(200)가 현장평가 서버(100)로부터 공연 특정 불가 메시지를 수신하면, 모바일 단말기(200)의 사용자(관람자)는 공연 특정 불가 메시지를 확인한 이후, 관람중인 공연의 현장평가를 위해 S106 단계부터 재수행 하거나, 현장평가 단계를 종료할 수 있다.
현장평가 서버(100)의 제어 모듈(110)은 영상 특징점을 이용하여 특정된 공연에 대한 현장평가를 모바일 단말기(200)에서 수행할 수 있도록 현장평가 증강 UI를 활성화 시키기 위한 제어를 수행한다(S135).
모바일 단말기(200)에는 현장평가를 위한 현장평가 증강 UI가 저장 또는 설치되어 있다. 현장평가 서버(100)의 제어 모듈(110)로부터 현장평가 증강 UI의 활성화를 위한 제어가 수행되는 경우, 모바일 단말기(200)에 저장 또는 설치된 현장평가 증강 UI는 제어 모듈(110)의 제어에 따라 활성화되고, 활성화된 현장평가 증강 UI는 사용자(관람자)로부터 현장평가 데이터를 입력 받을 수 있다.
그러나 모바일 단말기(200)가 제어 모듈(110)의 현장평가 증강 UI 활성화를 위한 제어를 실행하였으나, 모바일 단말기(200) 내에 현장평가 증강 UI가 저장 또는 설치되지 않았을 경우, 모바일 단말기(200)는 현장평가 증강 UI 부재 메시지를 생성한다(S136). 그리고 모바일 단말기(200)는 생성된 현장평가 증강 UI 부재 메시지를 현장평가 서버(100)로 전송한다(S137).
현장평가 서버(100)의 제어 모듈(110)은 수신된 현장평가 증강 UI 부재 메시지에 대응하여, 현장평가 증강 UI가 모바일 단말기(200)로 전송될 수 있도록 현장평가 증강 UI 제공 모듈(140)을 제어한다(S140).
제어 모듈(110)의 제어에 따라 현장평가 증강 UI 제공 모듈(140)은 현장평가 증강 UI를 모바일 단말기(200)로 전송한다(S145).
모바일 단말기(200)는 S135 단계에서 현장평가 증강 UI의 제어가 실행된 이후, 또는 S145 단계에서 전송된 현장평가 증강 UI를 수신한 이후에 현장평가 증강 UI를 활성화 한다(S146).
모바일 단말기(200)에서 활성화되는 현장평가 증강 UI는 사용자로부터 현장평가 데이터를 입력 받을 수 있는 사용자 인터페이스(User Interface)이다. 본 발명의 일구현예에 따르면, 현장평가 증강 UI는 사용자가 식별할 수 있도록 모바일 단말기(200)의 화면에 출력될 수 있다. 이 경우, 사용자는 출력된 현장평가 증강 UI를 이용하여 관람중인 공연에 대한 현장평가 데이터를 입력할 수 있다(S147).
도 12는 본 발명의 일구현예에 따라 모바일 단말기에 출력되는 현장평가 증강 UI의 제1 실시예를 나타내기 위한 제7 예시도이다. 도 12의 (a)에 도시된 바와 같이, 모바일 단말기(200)에서 활성화된 아이콘 형태의 현장평가 증강 UI(510)는 모바일 단말기(200)의 카메라 모듈을 통해 촬영되어 화면에 출력되는 실세계 영상에 중첩되어 출력되도록 제어된다.
이후, (b)에 도시된 바와 같이, 사용자(관람자)가 실세계 영상에 증강되어 출력되는 아이콘 형태의 현장평가 증강 UI(510)를 선택(터치)하면, 아이콘 형태의 현장평가 증강 UI(510)는 입력된 선택(터치)에 대응하는 현장평가 데이터를 생성한다.
다음으로, 사용자의 선택(터치)에 의해 현장평가 데이터가 생성되면 (c)에 도시된 바와 같이, 실세계 영상에 증강되어 출력되는 아이콘 형태의 현장평가 증강 UI(510)는 활성화가 종료되고, 화면에 출력되지 않는다.
또한, 본 발명의 다른 구현예에 따르면, 현장평가 증강 UI는 모바일 단말기(200)의 화면에 아무런 표시를 수행하지 않으며, 단지 사용자의 화면 터치(선택)만을 인식할 수 있다. 이 경우, 사용자는 화면의 터치 등을 통해 모바일 단말기(200)의 화면에 출력되지 않고 백그라운드에서 활성화 중인 현장평가 증강 UI에 현장평가 데이터를 입력할 수 있다(S147).
도 13은 본 발명의 일구현예에 따라 모바일 단말기에 출력되는 현장평가 증강 UI의 제2 실시예를 나타내기 위한 제8 예시도이다. 도 13의 (a)에 도시된 바와 같이, 모바일 단말기(200)에서 활성화된 현장평가 증강 UI는 모바일 단말기(200)의 화면에 출력되지 않으며, 모바일 단말기(200)의 실세계 영상이 출력되는 터치 화면에서 사용자의 입력(터치)을 대기한다.
이후, (b)에 도시된 바와 같이, 사용자(관람자)가 실세계 영상이 출력되는 화면에서 임의의 위치를 선택(터치)하면, 화면에 출력되지 않도록 활성화된 현장평가 증강 UI는 사용자(관람자)의 선택(터치)을 입력 받고, 입력된 선택(터치)에 대응하는 현장평가 데이터를 생성한다.
다음으로, (c)에 도시된 바와 같이, 사용자(관람자)에 의해 터치된 임의의 위치에 선택(터치)에 대응하는 현장평가 아이콘(520)이 실세계 영상에 증강되어 출력되며, 실세계 영상에 출력되지 않도록 활성화된 현장평가 증강 UI는 활성화가 종료된다.
한편, S146 단계에서 현장평가 증강 UI는 모바일 단말기(200)의 화면에 카메라 모듈을 통한 실세계 영상이 출력되고 있는 경우에 활성화 되어, 모바일 단말기(200)의 실세계 영상에 현장평가 증강 UI가 증강되어 출력되도록 한다.
모바일 단말기(200)는 실세계 영상이 출력되는 화면에 증강되어 출력된 현장평가 증강 UI를 이용하여 사용자로부터 현장평가 데이터를 입력 받은 후, 현장평가 서버(100)로 입력된 현장평가 데이터를 전송한다(S148).
현장평가 서버(100)의 제어 모듈(110)은 모바일 단말기(200)로부터 전송되는 현장평가 데이터를 저장 모듈(160)의 평가 DB(161)에 저장한다(S150).
제어 모듈(110)은 현장평가 데이터를 이용하여 공연의 평가결과를 산출하기 위해 평가결과 산출 모듈(150)을 제어하고, 평가결과 산출 모듈(150)은 제어 모듈(110)의 제어에 따라 평가 DB(161)에 저장된 현장평가 데이터를 포함하여 해당 공연에 대한 현장평가 결과를 산출한다(S155).
제어 모듈(110)은 평가결과 산출 모듈(150)에서 해당 공연에 대해 모바일 단말기(200)로부터 전송된 현장평가 데이터를 이용하여 산출된 현장평가 결과를 모바일 단말기(200)의 사용자에게 전달하기 위한 평가결과 알림 메시지를 생성한다(S160).
제어 모듈(110)은 생성된 평가결과 알림 메시지를 모바일 단말기(200)로 전송한다(S165).
현장평가 서버(100)에서 생성되는 평가결과 알림 메시지는 단문 문자 메시지(SMS), 멀티미디어 문자 메시지(MMS) 등의 형태로 생성될 수 있으며, 현장평가 서버(100)에서 제공한 전용 어플리케이션 등을 이용하여 출력될 수 있도록 생성할 수 있다.
본 명세서에서의 발명의 설명은 바람직한 실시예를 설명하는 것으로, 본 발명은 이러한 실시예에 한정되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 이상의 실시예에 대한 다양한 변경과 수정이 가능하고, 본 발명의 기술적 사상은 이러한 다양한 변경과 수정을 모두 포함한다.
100 : 현장평가 서버 110 : 제어 모듈
120 : 통신 모듈 130 : 영상 특징점 추출 모듈
140 : 현장평가 증강 UI 제공 모듈
150 : 평가결과 산출 모듈 160 : 저장 모듈
161 : 평가 DB 162 : 공연 스케줄 DB
200 : 모바일 단말기 310 : 공연장 식별자의 영상 특징점
320 : 공연 식별자의 영상 특징점 330 : 공연자의 영상 특징점
410 : 공연장 식별자 420 : 공연 식별자
430 : 관람자 510 : 아이콘 형태의 현장평가 증강 UI
520 : 현장평가 아이콘

Claims (31)

  1. 현장평가 서버가, 공연장에서 수행되는 공연을 특정할 수 있는 하나 이상의 이미지로 이루어진 공연 특징점을 포함하는 공연 스케줄 정보를 생성하여 저장하는 제1 단계;
    상기 현장평가 서버가, 모바일 단말기로부터 상기 공연이 진행되는 공연장을 촬영한 실세계 영상을 수신하고, 수신한 상기 실세계 영상 내에서 하나 이상의 이미지로 이루어진 영상 특징점을 추출하는 제2 단계;
    상기 현장평가 서버가, 추출된 상기 영상 특징점과 상기 공연 스케줄 정보에 포함된 상기 공연 특징점을 비교하여, 상기 영상 특징점에 대응하는 공연을 상기 공연 스케줄 정보에서 도출하는 제3 단계;
    상기 현장평가 서버가, 도출된 상기 공연에 대한 현장평가를 상기 모바일 단말기로부터 입력 받기 위해, 상기 모바일 단말기에 저장 또는 설치된 현장평가 증강 UI가 활성화되도록 상기 모바일 단말기를 제어하는 제4 단계; 및
    상기 현장평가 서버가, 상기 제어에 따라 상기 모바일 단말기에서 출력되는 상기 실세계 영상에 증강되어 활성화된 상기 현장평가 증강 UI를 이용하여 입력된 현장평가 데이터를 상기 모바일 단말기로부터 수신하는 제5 단계;를 포함하고,
    상기 공연에 대한 상기 현장평가 데이터를 포함하는 현장평가 결과를 산출하는 제6 단계;를 더 포함하고,
    상기 제4 단계는,
    상기 현장평가 서버가 상기 공연에 대한 평가현황 정보를 상기 모바일 단말기로 전송하는 과정을 추가적으로 포함하며, 상기 평가현황 정보는 상기 모바일 단말기에서 출력되는 상기 실세계 영상에 증강되어 출력되는 것을 특징으로 하고,
    상기 평가현황 정보는,
    상기 현장평가 결과를 포함하는 것을 특징으로 하고,
    상기 모바일 단말기의 상기 현장평가 증강 UI는,
    상기 모바일 단말기에서 상기 실세계 영상이 출력될 때 활성화되는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 방법.
  2. 삭제
  3. 제 1 항에 있어서, 상기 제2 단계에서 상기 영상 특징점은,
    상기 공연장의 형태, 상기 공연장을 구분할 수 있는 공연장 식별자, 상기 공연을 구분할 수 있는 공연 식별자, 공연자의 얼굴, 공연 장면 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 방법.
  4. 제 3 항에 있어서, 상기 공연장 식별자 또는 상기 공연 식별자는,
    상기 공연장에서 어느 하나의 위치에 표시될 수 있는 텍스트(text), 큐알 코드(QR code), 바코드(bar code), 이미지(image), 조형물(sculpture) 중 적어도 어느 하나 이상으로 이루어지고, 상기 공연장 식별자는 각 공연장 별로 서로 상이하며, 상기 공연 식별자는 상기 공연장에서 수행되는 각 공연에 따라 서로 상이한 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 방법.
  5. 제 1 항에 있어서, 상기 제3 단계에서 상기 공연의 도출은,
    상기 실세계 영상에 대한 시간정보 - 상기 실세계 영상의 촬영시간 또는 상기 모바일 단말기로부터의 수신시간 - 를 포함하는 부가정보를 더 포함하여 도출되는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 방법.
  6. 제 5 항에 있어서, 상기 부가정보는,
    상기 모바일 단말기의 위치정보 - 상기 실세계 영상을 촬영한 위치 - 를 더 포함하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 방법.
  7. 제 1 항에 있어서, 상기 제4 단계는,
    상기 모바일 단말기에 상기 현장평가 증강 UI가 포함되지 않은 경우에 상기 현장평가 증강 UI를 상기 모바일 단말기로 제공하는 과정을 더 포함하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 방법.
  8. 삭제
  9. 삭제
  10. 제 1 항에 있어서, 상기 제4 단계는,
    상기 제3 단계에서 도출된 상기 공연 이외의 적어도 하나 이상의 다른 공연에 대한 평가현황 정보를 더 포함하여 상기 모바일 단말기로 전송하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 방법.
  11. 제 10 항에 있어서, 상기 다른 공연에 대한 평가현황 정보는,
    상기 다른 공연에 대한 현장평가 결과를 포함하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 방법.
  12. 제 1항 및 제 10항 중 어느 한 항에 있어서, 상기 평가현황 정보는,
    상기 공연 또는 다른 공연이 컨테스트에 참여되는 경우, 상기 컨테스트에 대한 랭킹 정보를 더 포함하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 방법.
  13. 제 1 항에 있어서, 상기 제4 단계는,
    상기 공연에 대한 공연 정보를 상기 모바일 단말기로 전송하며, 상기 공연 정보는 상기 모바일 단말기에서 출력되는 상기 실세계 영상에 증강되어 출력되는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 방법.
  14. 삭제
  15. 제 1 항에 있어서, 상기 현장평가 증강 UI는,
    상기 모바일 단말기에서 활성화된 이후, 상기 실세계 영상의 출력이 종료되는 경우에도 활성화가 유지되는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 방법.
  16. 제 1 항에 있어서, 상기 제6 단계에서,
    산출된 상기 현장평가 결과는 상기 모바일 단말기로 전송되는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 방법.
  17. 공연장에서 수행되는 공연을 특정할 수 있는 하나 이상의 이미지로 이루어진 공연 특징점을 포함하는 공연 스케줄 정보를 생성하는 공연 스케줄 생성 모듈;
    공연이 진행되는 공연장을 촬영한 실세계 영상을 모바일 단말기로부터 수신하여 저장하는 저장모듈;
    상기 실세계 영상 내에서 상기 공연을 특정할 수 있는 하나 이상의 이미지로 이루어진 영상 특징점을 추출하는 영상 특징점 추출 모듈; 및
    추출된 상기 영상 특징점과 상기 공연 스케줄 정보에 포함된 상기 공연 특징점을 비교하여, 상기 영상 특징점에 대응하는 공연을 상기 공연 스케줄 정보에서 도출하고, 도출된 상기 공연에 대한 현장평가를 상기 모바일 단말기로부터 입력 받기 위해 상기 모바일 단말기에 저장 또는 설치된 현장평가 증강 UI가 활성화되도록 상기 모바일 단말기를 제어하는 제어 모듈;을 포함하고,
    상기 모바일 단말기에서 활성화된 상기 현장평가 증강 UI를 이용하여 입력되고 전송된 현장평가 데이터를 포함하여 상기 공연에 대한 현장평가 결과를 산출하는 평가결과 산출 모듈; 및
    상기 모바일 단말기에 상기 현장평가 증강 UI가 포함되지 않아 상기 제어 모듈의 상기 현장평가 증강 UI의 상기 활성화를 위한 상기 제어를 수행하지 못하는 경우, 상기 현장평가 증강 UI를 상기 모바일 단말기에 제공하기 위한 현장평가 증강 UI 제공 모듈;을 더 포함하고,
    상기 제어 모듈은,
    도출된 상기 공연에 대한 평가현황 정보를 상기 모바일 단말기로 전송하며, 상기 평가현황 정보는 상기 모바일 단말기에서 출력되는 상기 실세계 영상에 증강되어 출력되고,
    상기 평가현황 정보는, 상기 현장평가 결과를 포함하고,
    상기 제어 모듈이 상기 현장평가 증강 UI의 활성화시키기 위한 제어는, 상기 모바일 단말기에 상기 실세계 영상이 출력되고 있을 때 수행되는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 서버.
  18. 삭제
  19. 제 17 항에 있어서, 상기 영상 특징점 추출 모듈은,
    상기 공연장의 형태, 상기 공연장을 구분할 수 있는 공연장 식별자, 상기 공연을 구분할 수 있는 공연 식별자, 공연자의 얼굴, 공연 장면 중 적어도 어느 하나 이상을 상기 영상 특징점으로 추출하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 서버.
  20. 제 19 항에 있어서, 상기 공연장 식별자 또는 상기 공연 식별자는,
    상기 공연장에서 어느 하나의 위치에 표시될 수 있는 텍스트(text), 큐알 코드(QR code), 바코드(bar code), 이미지(image), 조형물(sculpture) 중 적어도 어느 하나 이상으로 이루어지고, 상기 공연장 식별자는 각 공연장 별로 서로 상이하며, 상기 공연 식별자는 상기 공연장에서 수행되는 각 공연에 따라 서로 상이한 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 서버.
  21. 제 17 항에 있어서, 상기 제어 모듈은,
    상기 실세계 영상에 대한 시간정보 - 상기 실세계 영상의 촬영시간 또는 상기 모바일 단말기로부터의 수신시간 - 를 포함하는 부가정보를 더 포함하여 상기 공연을 도출하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 서버.
  22. 제 21 항에 있어서, 상기 부가정보는,
    상기 모바일 단말기의 위치정보 - 상기 실세계 영상을 촬영한 위치 - 를 더 포함하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 서버.
  23. 제 17 항에 있어서, 상기 제어 모듈은,
    도출된 상기 공연에 대한 공연 정보를 상기 모바일 단말기로 전송하며, 상기 공연 정보는 상기 모바일 단말기에서 출력되는 상기 실세계 영상에 증강되어 출력되는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 서버.
  24. 삭제
  25. 삭제
  26. 제 17 항에 있어서, 상기 제어 모듈은,
    도출된 상기 공연 이외의 적어도 다른 하나 이상의 공연에 대한 평가현황 정보를 더 포함하여 상기 모바일 단말기로 전송하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 서버.
  27. 제 26 항에 있어서, 상기 다른 공연에 대한 상기 평가현황 정보는,
    상기 다른 공연에 대한 현장평가 결과를 포함하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 서버.
  28. 제 17 항 및 제 26 항 중 어느 한 항에 있어서, 상기 평가현황 정보는,
    상기 공연 또는 다른 공연이 컨테스트에 참여되는 경우, 상기 컨테스트에 대한 랭킹 정보를 더 포함하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 서버.
  29. 삭제
  30. 제 17 항에 있어서, 상기 모바일 단말기에서 활성화된 상기 현장평가 증강 UI 는,
    상기 실세계 영상의 출력이 종료되는 경우에도 활성화가 유지되는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 서버.
  31. 제 17항에 있어서, 상기 제어 모듈은,
    상기 평가결과 산출 모듈에서 산출된 상기 현장평가 결과를 상기 모바일 단말기로 전송하는 것을 특징으로 하는 모바일 단말기의 실세계 영상을 이용한 현장평가 서버.
KR1020160161570A 2016-11-30 2016-11-30 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버 KR101855397B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160161570A KR101855397B1 (ko) 2016-11-30 2016-11-30 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버
PCT/KR2017/013851 WO2018101749A1 (ko) 2016-11-30 2017-11-29 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160161570A KR101855397B1 (ko) 2016-11-30 2016-11-30 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버

Publications (1)

Publication Number Publication Date
KR101855397B1 true KR101855397B1 (ko) 2018-06-08

Family

ID=62241585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160161570A KR101855397B1 (ko) 2016-11-30 2016-11-30 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버

Country Status (2)

Country Link
KR (1) KR101855397B1 (ko)
WO (1) WO2018101749A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200097543A (ko) * 2019-02-08 2020-08-19 주식회사 로봇스퀘어 Ar 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070244570A1 (en) 2006-04-17 2007-10-18 900Seconds, Inc. Network-based contest creation
US20080189272A1 (en) 2007-02-03 2008-08-07 Michael Powers Collective Ranking of Digital Content
KR20110012514A (ko) * 2009-07-30 2011-02-09 에스케이 텔레콤주식회사 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR101347818B1 (ko) * 2013-07-23 2014-01-03 송지은 경연 관리 시스템 및 방법
US20150262444A1 (en) 2014-03-17 2015-09-17 Soul Purpose Limited Method and apparatus for processing user votes for locations

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100034657A (ko) * 2008-09-24 2010-04-01 김학선 평가정보 처리 방법 및 시스템과 이를 위한 기록매체
KR20100124947A (ko) * 2009-05-20 2010-11-30 삼성에스디에스 주식회사 증강현실을 이용하여 휴대형 단말기에 실시간 지역정보를 제공하는 ａｒ컨텐츠 제공시스템 및 그 제공방법
KR101518833B1 (ko) * 2013-05-27 2015-05-13 테크빌닷컴 주식회사 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070244570A1 (en) 2006-04-17 2007-10-18 900Seconds, Inc. Network-based contest creation
US20080189272A1 (en) 2007-02-03 2008-08-07 Michael Powers Collective Ranking of Digital Content
KR20110012514A (ko) * 2009-07-30 2011-02-09 에스케이 텔레콤주식회사 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR101347818B1 (ko) * 2013-07-23 2014-01-03 송지은 경연 관리 시스템 및 방법
US20150262444A1 (en) 2014-03-17 2015-09-17 Soul Purpose Limited Method and apparatus for processing user votes for locations

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200097543A (ko) * 2019-02-08 2020-08-19 주식회사 로봇스퀘어 Ar 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법
KR102268337B1 (ko) * 2019-02-08 2021-06-22 주식회사 로봇스퀘어 Ar 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법

Also Published As

Publication number Publication date
WO2018101749A1 (ko) 2018-06-07

Similar Documents

Publication Publication Date Title
CN110662083B (zh) 数据处理方法、装置、电子设备及存储介质
US20180152736A1 (en) Live video recording, streaming, viewing, and storing mobile application, and systems and methods of use thereof
KR101680714B1 (ko) 실시간 동영상 제공 방법, 장치, 서버, 단말기기, 프로그램 및 기록매체
CN107087224B (zh) 内容同步设备和方法
US10070192B2 (en) Application for determining and responding to user sentiments during viewed media content
US11409817B2 (en) Display apparatus and method of controlling the same
CN112653902B (zh) 说话人识别方法、装置及电子设备
CN106331761A (zh) 直播列表显示方法及装置
CN109151565B (zh) 播放语音的方法、装置、电子设备及存储介质
CN107767846B (zh) Ktv联机远程k歌的方法、装置及存储介质
CN106254913A (zh) 多媒体数据的处理方法及装置
CN114025189B (zh) 虚拟对象生成方法、装置、设备及存储介质
US20200053395A1 (en) Video distribution system, user terminal device, and video distribution method
CN104933071A (zh) 一种信息检索方法及相应装置
CN109819324A (zh) 一种信息推荐方法和装置及计算机可读存储介质
CN113573092A (zh) 直播数据处理方法、装置、电子设备及存储介质
KR101923441B1 (ko) 전자 장치 및 컨텐츠 추천 서비스 제공 방법
KR101490506B1 (ko) 동영상 컨텐츠 편집 방법 및 장치
CN111479119A (zh) 直播中反馈信息的收集方法、装置、系统及存储介质
KR101855397B1 (ko) 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버
KR20160012269A (ko) 소셜 네트워크 서비스 시스템에서 멀티미디어 랭킹 서비스 제공 방법 및 장치
JP6560503B2 (ja) 盛り上がり通知システム
KR101334127B1 (ko) 클라이언트 단말기를 이용한 동영상 콘텐츠 공유 서비스 제공 시스템 및 방법
WO2021031940A1 (zh) 放映厅业务管理方法、互动方法、显示设备及移动终端
KR102208916B1 (ko) 영상 인식 기반의 방송 프로그램 인식 시스템

Legal Events

Date Code Title Description
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant