KR20150117354A - 가상 공동 체감형 관람 시스템 - Google Patents

가상 공동 체감형 관람 시스템 Download PDF

Info

Publication number
KR20150117354A
KR20150117354A KR1020140042500A KR20140042500A KR20150117354A KR 20150117354 A KR20150117354 A KR 20150117354A KR 1020140042500 A KR1020140042500 A KR 1020140042500A KR 20140042500 A KR20140042500 A KR 20140042500A KR 20150117354 A KR20150117354 A KR 20150117354A
Authority
KR
South Korea
Prior art keywords
information
user
script
providing
voice
Prior art date
Application number
KR1020140042500A
Other languages
English (en)
Inventor
최연준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140042500A priority Critical patent/KR20150117354A/ko
Publication of KR20150117354A publication Critical patent/KR20150117354A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 가상 체감형 관람 시스템에 관한 것으로서, 공동 관람 체감을 함과 동시에 정보 공유가 가능하도록 하는 시스템에 관한 것이다. 본 발명의 일 측면에 따르면, 모션 캡처 장비를 통해 수집된 정보 제공 사용자의 영상을 시각적 정보로 제공하거나 상기 정보 제공 사용자의 영상을 이용하여 상기 정보 제공 사용자의 리액션을 묘사하는 아바타를 시각적 정보로 제공하는 모션 추출 관리 시스템, 음성 캡쳐 장비를 통해 수집된 원음을 청각적 정보로 제공하거나 상기 원음을 스크립트로 변환한 텍스트 정보를 제공하며, 스크립트 입력 장치를 통해 수집된 스크립트를 음성으로 변환한 청각적 정보를 제공하는 음성/스크립트 정보 관리 시스템 및 상기 시각적 정보 및 상기 청각적 정보를 방송의 장면 시간과 동시화하여 정보 이용 사용자의 가상 체험 장치에 제공하는 방송 부가 정보/액션 조합 시스템을 포함하는 가상 공동 체감형 관람 시스템이 제공된다.

Description

가상 공동 체감형 관람 시스템{System for virtual joint interactive viewing}
본 발명은 가상 체감형 관람 시스템에 관한 것으로서, 공동 관람 체감을 함과 동시에 정보 공유가 가능하도록 하는 시스템에 관한 것이다.
IPTV나 인터넷/모바일 등을 이용하여 사용자가 시간과 장소에 구애 받지 않고 스포츠와 같은 방송을 관람할 수 있다. 그러나, 종래의 기술은 단순히 원하는 시간대에 방송을 볼 수 있도록 인터넷과 IPTV를 이용하여 방송을 제공하는 정도에 그친다. 한편, 프로젝션 매핑 기술을 이용하여 방 전체에 3차원적인 실시간 화상을 구현할 수도 있지만, 사용자가 방송을 시청하는 장소에 한정하여 개인 감각과 정보만으로 시청하므로 현장감이나 공동 관람 체감과 같은 감각은 제한될 수 밖에 없다.
한국 특허등록번호 제10-1323659호
본 발명은 정보 제공 사용자가 방송을 보면서 공유하고자 하는 정보를 입력하여 공유할 수 있고, 정보 이용 사용자가 시청하는 방송의 현실감을 높일 수 있는 가상 공동 체감형 관람 시스템을 제공하고자 한다. 즉, 정보 제공 사용자는 방송의 부가 정보인 사용자 반응, 장면 정보 및 장면 부가 정보에 대한 음성/텍스트 정보를 매핑하여 가상 사용자 정보로 제공하여 정보 이용 사용자가 시청하는 방송의 현실감을 높이는 데에 사용하고자 한다.
본 발명의 일 측면에 따르면, 모션 캡처 장비를 통해 수집된 정보 제공 사용자의 영상을 시각적 정보로 제공하거나 상기 정보 제공 사용자의 영상을 이용하여 상기 정보 제공 사용자의 리액션을 묘사하는 아바타를 시각적 정보로 제공하는 모션 추출 관리 시스템, 음성 캡쳐 장비를 통해 수집된 원음을 청각적 정보로 제공하거나 상기 원음을 스크립트로 변환한 텍스트 정보를 제공하며, 스크립트 입력 장치를 통해 수집된 스크립트를 음성으로 변환한 청각적 정보를 제공하는 음성/스크립트 정보 관리 시스템 및 상기 시각적 정보 및 상기 청각적 정보를 방송의 장면 시간과 동시화하여 정보 이용 사용자의 가상 체험 장치에 제공하는 방송 부가 정보/액션 조합 시스템을 포함하는 가상 공동 체감형 관람 시스템이 제공된다.
본 발명에 따르면, 정보 제공 사용자가 방송을 보면서 공유하고자 하는 정보를 입력하여 공유할 수 있고, 정보 이용 사용자가 시청하는 방송의 현실감을 높일 수 있는 가상 공동 체감형 관람 시스템이 제공된다.
이하에서, 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다.
도 1은 가상 공동 체감형 관람 시스템의 구현예를 도시한 도면이다.
도 2는 가상 공동 체감형 관람 시스템의 구성을 예시적으로 도시한 도면이다.
도 3은 도 2에 도시된 방송 부가정보/액션 조합 시스템의 세부 기능을 예시적으로 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 가상 공동 체감형 관람 시스템의 구현예를 도시한 도면이다.
도 1을 참조하면, 가상 공동 체감형 관람 시스템의 일 구현예로서, 프로젝션 매핑이 도시되어 있다. 프로젝션 매핑을 복수의 프로젝터(120) 및/또는 음향 장치를 이용하여 정보 이용 사용자(100)에게 가상 사용자 정보를 제공할 수 있다. 복수의 프로젝터(120)는 정보 이용 사용자(100)가 관람할 영상 그리고 동일한 장소에 위치하고 있지 않은 정보 제공 사용자(110)가 제공한 가상 사용자 정보를 재생하여 정보 이용 사용자(100)에게 제공한다. 가상 사용자 정보는 정보 제공 사용자(110)가 다양한 입력 장비를 통해 입력하며, 프로젝션 매핑을 통해 정보 이용 사용자(100)가 가상적으로 이용할 수 있다.
도 2는 가상 공동 체감형 관람 시스템의 구성을 예시적으로 도시한 도면이다.
도 2를 참조하면, 정보 제공 사용자(110)는 컴퓨터(138)를 이용하여 가상 사용자 정보를 생성한다. 여기서, 가상 사용자 정보는 시각적 정보, 청각적 정보, 및 텍스트 정보 중 적어도 어느 하나일 수 있다.
시각적 정보는 모션 캡처 장비(135)로 수집하는 방송에 대한 시각적 반응, 예를 들어, 방송을 보는 시청자의 리액션에 관한 정보로서, 정보 제공 사용자(110)가 원하는 범위의 시각적 데이터이다. 모션 추출 관리 시스템(203)은 모션 캡처 장비(135)를 통해 수집된 정보 제공 사용자(110)의 영상을 이용하여 정보 제공 사용자(110)의 리액션을 묘사하는 아바타로 구성하여 제공하거나 정보 이용 사용자(100) 및/또는 정보 제공 사용자(110)가 원할 경우 수집된 원 영상을 제공할 수 있다.
청각적 정보는 음성 캡쳐 장비(136)로 수집하는 음성 및/또는 음향에 관한 정보로서, 예를 들어, 환호성과 같은 청각적 감정 데이터 또는 장면 해설이나 기술 해설, 상황 설명과 같은 정보성 데이터일 수 있다. 수집된 청각적 감정 데이터 및/또는 정보성 데이터는 이후 음성/스크립트 관리 시스템(202)을 통하여 청각적 정보로 변환되어 제공될 수 있다. 음성/스크립트 관리 시스템(202)은 청각적 감정 데이터를 규격화된 감정 규약, 예를 들어, 여성의 환호성 등으로 변화하여 제공하거나 음성 캡쳐 장비(136)에 의해 수집된 원음으로 제공할 수 있다. 한편, 음성/스크립트 관리 시스템(202)은 정보성 데이터를 텍스트로 변환하여 스크립트로 제공되거나 수집된 원음으로 제공할 수 있다.
텍스트 정보는 스크립트 입력 장비(137)을 통하여 입력되며, 음성/스크립트 관리 시스템(202)을 통하여 원래의 스크립트나 음성으로 변환하여 제공될 수 있다.
방송 부가 정보/액션 조합 시스템(201)은 모션 추출 관리 시스템(203)이 관리하고 제공하는 정보 제공 사용자(110)의 시각적 정보와 음성/스크립트 정보 관리 시스템(202)이 제공하는 청각적 정보 및 스크립트 정보를 방송 시스템(200)으로부터 송출되는 방송의 각 장면 시간과 동기화하여 정보 이용 사용자(100)의 가상 체험 장치를 통해 정보 이용 사용자(100)에게 제공한다. 가상 체험 장치는, 예를 들어, IPTV 셋톱박스(131), TV(132), 프로젝터(133) 및/또는 스피커(134)의 조합일 수 있다. 여기서, 프로젝터(133)는 프로젝션 매핑을 통해 정보 제공 사용자(110)가 제공하는 가상 사용자 정보를 입체적으로 제공할 수 있다. 한편, 가상 체험 장치는, 공간의 종류나 영상 제공 시스템 구성에 따라 프로젝터가 아닌 다른 방식, 예를 들어, 3D TV 또는 구글 글래스와 같은 HMD(Head-Mounted Display)일 수도 있다.
한편, 정보 이용 사용자(100)는 가상 공동 체감형 관람 시스템과 상호 작용할 수 있다. 이를 위해, 정보 이용 사용자(100)는 음성 캡쳐 장비(136) 및/또는 스크립트 입력 장비(137)를 이용하여 장면에 대한 질문을 입력할 수 있다. 입력된 질문이 컴퓨터(138)를 통하여 방송 부가 정보/액션 조합 시스템(201)에 전달되면 방송 부가 정보/액션 조합 시스템(201)은 정보 이용 사용자(100)가 질문을 입력한 장면 또는 시간대에 해당하는 음성/스크립트 정보를 음성/스크립트 정보 관리 시스템(202)에 조회하여 획득한 후, 컴퓨터(138)를 통해 정보 이용 사용자(100)에게 제공할 수 있다. 여기서, 정보 이용 사용자(100)가 청각적 정보를 요구하는 경우 음성/스크립트 정보 관리 시스템(202)은 스크립트 정보를 청각적 정보로 변환하여 스피커(104)를 통해 제공한다. 청각적 정보는 정보 이용 사용자(100)가 원하는 정도에 따라 사람 수와 몰입감을 조정할 수 있으며, 횟수와 음향 또한 조정하여 제공될 수 있다.
도 3은 도 2에 도시된 방송 부가정보/액션 조합 시스템의 세부 기능을 예시적으로 도시한 도면이다.
방송에 동기화된 청각적 정보 및 스크립트 정보를 컴퓨터(138)를 통해 정보 이용 사용자(100)에게 제공하는 기능에 추가하여, 방송 부가정보/액션 조합 시스템(201)은 음성/스크립트 정보 관리 시스템(202) 및/또는 모션 추출 관리 시스템(203)에 의해 수집된 정보를 가공하는 기능을 수행할 수 있다. 예를 들어, 방송 부가 정보/액션 조합 시스템(201)은 음성/스크립트 정보 관리 시스템(202)과 모션 추출 관리 시스템(203)과 인터페이스하며 사용자 선호 특성 분석, 사용자 그룹핑, 사용자 선호 분위기 프로파일, 표현 및 내용 필터링 등을 수행할 수 있다.
사용자 선호 특성 분석은 정보 제공 사용자 및/또는 정보 이용 사용자가 사용한 리액션을 분류하고, 리액션별 발생 빈도 및/또는 횟수, 리액션별 특성을 분석하는 기능이다.
사용자 그룹핑은 유사 리액션을 선호하는 정보 제공 사용자 및/또는 정보 이용 사용자들을 그룹핑하여 관리하는 기능이다. 사용자 그룹핑은 사용자 특성 군집(클러스터)을 형성하여 유사한 사용자들끼리 소셜 연결(social connection)을 가지도록 할 수 있다.
사용자 선호 분위기 프로파일은 정보 제공 사용자 및/또는 정보 이용 사용자가 선호하는 리액션 집합에 대한 표현을 프로파일화하여 표준화된 방식으로 제공하는 기능이다.
표현 및 내용 필터링은 음성/스크립트/모션을 표현하기 위한 방법 및 그 표현 내용을 필터링하여 자동 조정하는 기능이다. 예를 들어, 정보 제공 사용자 및/또는 정보 이용 사용자가 다소의 비속어를 허용하는 경우에 표현 및 내용 필터링은 해당 비속어의 수위를 자동 조정할 수 있다. 또한, 정보 제공 사용자 및/또는 정보 이용 사용자가 성인인 경우, 표현 및 내용 필터링은 미성년자에게는 부적합한 표현 등을 허용할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
본 발명의 실시예는 컴퓨터로 구현되는 방법 또는 컴퓨터 실행가능 명령어들이 저장된 비휘발성 컴퓨터 기록매체로 구현될 수 있다. 명령어들은 프로세서에 의해 실행될 때 본 발명의 적어도 일실시예에 따른 방법을 수행할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 정보 이용 사용자
110: 정보 제공 사용자
120, 133: 프로젝터
131: IPVT 셋톱박스
132: TV
134: 스피커
135: 모션 캡쳐 장비
136: 음성 캡쳐 장비
137: 스크립트 입력 장비
138: 컴퓨터
200: 방송 시스템
201: 방송 부가 정보/액션 조합 시스템
202: 음성/스크립트 정보 관리 시스템
203: 모션 추출 관리 시스템

Claims (1)

  1. 모션 캡처 장비를 통해 수집된 정보 제공 사용자의 영상을 시각적 정보로 제공하거나 상기 정보 제공 사용자의 영상을 이용하여 상기 정보 제공 사용자의 리액션을 묘사하는 아바타를 시각적 정보로 제공하는 모션 추출 관리 시스템;
    음성 캡쳐 장비를 통해 수집된 원음을 청각적 정보로 제공하거나 상기 원음을 스크립트로 변환한 텍스트 정보를 제공하며, 스크립트 입력 장치를 통해 수집된 스크립트를 음성으로 변환한 청각적 정보를 제공하는 음성/스크립트 정보 관리 시스템; 및
    상기 시각적 정보 및 상기 청각적 정보를 방송의 장면 시간과 동시화하여 정보 이용 사용자의 가상 체험 장치에 제공하는 방송 부가 정보/액션 조합 시스템을 포함하는 가상 공동 체감형 관람 시스템.
KR1020140042500A 2014-04-09 2014-04-09 가상 공동 체감형 관람 시스템 KR20150117354A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140042500A KR20150117354A (ko) 2014-04-09 2014-04-09 가상 공동 체감형 관람 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140042500A KR20150117354A (ko) 2014-04-09 2014-04-09 가상 공동 체감형 관람 시스템

Publications (1)

Publication Number Publication Date
KR20150117354A true KR20150117354A (ko) 2015-10-20

Family

ID=54399713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140042500A KR20150117354A (ko) 2014-04-09 2014-04-09 가상 공동 체감형 관람 시스템

Country Status (1)

Country Link
KR (1) KR20150117354A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113571087A (zh) * 2020-04-29 2021-10-29 宏达国际电子股份有限公司 依据音频信号产生动作的方法及电子装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113571087A (zh) * 2020-04-29 2021-10-29 宏达国际电子股份有限公司 依据音频信号产生动作的方法及电子装置
CN113571087B (zh) * 2020-04-29 2023-07-28 宏达国际电子股份有限公司 依据音频信号产生动作的方法及电子装置

Similar Documents

Publication Publication Date Title
US11917221B2 (en) Encoding device and method, reproduction device and method, and program
EP3175442B1 (en) Systems and methods for performing asr in the presence of heterographs
CN103649904A (zh) 自适应内容呈现
JP7439203B2 (ja) 家庭内で話されている言語に対応するコンテンツを識別するためのシステムおよび方法
US20200074994A1 (en) Information processing apparatus and information processing method
Popovici et al. Understanding users' preferences for augmented reality television
US10511767B2 (en) Information processing device, information processing method, and program
CA3099936A1 (en) Systems and methods for seamlessly outputting embedded media from a digital page on nearby devices most suitable for access
Kasuya et al. LiVRation: Remote VR live platform with interactive 3D audio-visual service
JP2015061112A (ja) 携帯デバイスへのセカンドスクリーン情報の提供方法
Climent et al. VR360 subtitling: requirements, technology and user experience
WO2013183697A1 (ja) 表示制御装置、表示制御方法、表示システム、表示制御プログラム、記録媒体およびメタデータ。
KR20150117354A (ko) 가상 공동 체감형 관람 시스템
WO2021124680A1 (ja) 情報処理装置及び情報処理方法
KR20150048961A (ko) 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치
KR20140084463A (ko) 화자 정보를 표시하는 장치 및 방법 그리고, 동영상을 편집하는 서버
KR101619153B1 (ko) 스마트 기기를 이용한 시각 또는 청각 장애인의 디지털 영상 콘텐츠 간편 시청 시스템 및 그 방법
KR20140051040A (ko) 실감 방송 제공 장치 및 방법
US20220264193A1 (en) Program production apparatus, program production method, and recording medium
US11936940B2 (en) Accessibility enhanced content rendering
CN109496433A (zh) 用于选择在用户设备上呈现媒体资产期间在用户设备附近显示的补充内容的方法和系统
KR20160041038A (ko) 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치
US20220014688A1 (en) Image processing method and display device thereof
Series Collection of usage scenarios of advanced immersive sensory media systems
WO2018207197A1 (en) System and method for building and seamless playing of content modules

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination