KR20210072842A - 인터랙션을 수행하는 모션 캡쳐 방송 시스템 - Google Patents

인터랙션을 수행하는 모션 캡쳐 방송 시스템 Download PDF

Info

Publication number
KR20210072842A
KR20210072842A KR1020190162410A KR20190162410A KR20210072842A KR 20210072842 A KR20210072842 A KR 20210072842A KR 1020190162410 A KR1020190162410 A KR 1020190162410A KR 20190162410 A KR20190162410 A KR 20190162410A KR 20210072842 A KR20210072842 A KR 20210072842A
Authority
KR
South Korea
Prior art keywords
motion
viewer
image
time
broadcasting
Prior art date
Application number
KR1020190162410A
Other languages
English (en)
Inventor
박영신
Original Assignee
주식회사 라차박스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라차박스 filed Critical 주식회사 라차박스
Priority to KR1020190162410A priority Critical patent/KR20210072842A/ko
Publication of KR20210072842A publication Critical patent/KR20210072842A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에 따른 인터랙션을 수행하는 모션 캡쳐 방송 시스템은 모션 센서로부터 측정된 모션 센싱 데이터를 분석하여 모션 데이터를 생성하고, 상기 모션 데이터를 기초하여 모션 캐릭터 영상을 생성하는 방송 장치; 상기 모션 캐릭터 영상을 시청하는 시청자를 촬영하여 시청자 영상을 생성하는 시청자 장치; 및 상기 방송 장치로부터 상기 모션 캐릭터 영상을 수신한 모션 캐릭터 영상 수신 시점으로부터 제1 지연 시간이 경과되면 상기 모션 캐릭터 영상을 상기 시청자 장치로 송신하고, 상기 시청자 장치로부터 상기 시청자 영상을 수신한 시청자 영상 수신 시점으로부터 제2 지연 시간이 경과되면 상기 시청자 영상을 상기 방송 장치로 송신하는 방송 서버;를 포함한다.

Description

인터랙션을 수행하는 모션 캡쳐 방송 시스템{Motion capture broadcast system for performing interaction}
본 발명은 인터랙션을 수행하는 모션 캡쳐 방송 시스템에 관한 것으로, 보다 구체적으로 방송자의 신체 움직임을 모션 캡쳐하여 생성된 모션 캐릭터 영상을 방송하고, 방송자와 시청자가 상호 작용할 수 있는 인터랙션을 수행하는 모션 캡쳐 방송 시스템에 관한 것이다.
모션 캡쳐 기법은 사람이나 동물 등의 움직임을 추출하여 얻어낸 3차원 데이터를 컴퓨터에 의해 모델링된 캐릭터에 적용하여 자연스러운 모션 영상을 생성하는 영상 기법이다. 이를 위해 사람 등이 광학 센서나 자기 센서를 신체에 부착한 후 동작을 하면 각 센서는 위치와 각도를 기록하게 되는데, 이러한 센싱 데이터를 3D 캐릭터에 적용시켜 캐릭터의 동작을 구현하게 된다. 이때, 캐릭터의 동작을 최대한 자연스럽게 구하기 위해서는 신체 각 관절 부위의 움직임을 모두 기록해야 하므로 신체에는 많은 센서가 부착되어야 한다.
종래의 모션 캡쳐 방송 시스템은 신체 각 부위에 부착된 무선 모듈(모션 센서)들이 유선 또는 무선 통신을 통해 모션 캡쳐 장치에 설치된 모션 캡쳐 프로그램으로 센싱 데이터를 전송한다. 상세하게는 무선 통신을 통해 모선 모듈이 모션 캡쳐 장치로 직접 센싱 데이터를 전송하거나, 메인 모듈이 유선 통신을 통해 센싱 데이터를 수집한 후 모션 캡쳐 장치로 유선 또는 무선통신을 통해 센싱 데이터가 수집된 수집데이터를 전송할 수도 있다. 유선통신의 경우 데이터 전송이 안정적이라는 장점이 있으나 신체 움직임이 제한된다는 문제점으로 있어, 무선통신을 이용한 센싱 데이터 전송이 일반적으로 이용된다.
이후, 센싱 데이터에 기초하여 모션 영상을 생성하고, 생성된 영상을 무선통신을 통해 시청자 장치로 송신하고, 시청자 장치는 시청자를 촬영한 시청자 영상을 모션 영상 방송을 진행하는 방송자가 시청할 수 있는 장치로 송신한다.
하지만, 무선통신 과정, 센싱 데이터 측정 과정, 모션 영상 생성 과정에서 발생하는 시간 지연으로 시청자 영상과 모션 영상 간의 출력 시점이 상이하여 방송자와 시청자 간에 인터랙션이 원활히 수행되지 않는 문제점이 있다.
한국공개특허 제10-2006-0061564　호
본 발명은 모션 캡쳐를 이용하여 생성된 모션 캐릭터 영상을 시청자에게 출력하고 시청자를 촬영한 시청자 영상을 방송자에게 출력하여 방송자와 시청자 간에 인터랙션을 수행할 수 있는 인터랙션을 수행하는 모션 캡쳐 방송 시스템을 제공하는 것이다.
또한, 본 발명은 모션 캐릭터 영상과 시청자 영상 중 어느 하나를 지연시켜 송신함으로써, 인터랙션을 수행하는 과정에서 모션 캐릭터 영상과 시청자 영상 각각이 출력되는 출력 시점이 동일하도록 할 수 있는 인터랙션을 수행하는 모션 캡쳐 방송 시스템을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 인터랙션을 수행하는 모션 캡쳐 방송 시스템은 모션 센서로부터 측정된 모션 센싱 데이터를 분석하여 모션 데이터를 생성하고, 상기 모션 데이터를 기초하여 모션 캐릭터 영상을 생성하는 방송 장치; 상기 모션 캐릭터 영상을 시청하는 시청자를 촬영하여 시청자 영상을 생성하는 시청자 장치; 및 상기 방송 장치로부터 상기 모션 캐릭터 영상을 수신한 모션 캐릭터 영상 수신 시점으로부터 제1 지연 시간이 경과되면 상기 모션 캐릭터 영상을 상기 시청자 장치로 송신하고, 상기 시청자 장치로부터 상기 시청자 영상을 수신한 시청자 영상 수신 시점으로부터 제2 지연 시간이 경과되면 상기 시청자 영상을 상기 방송 장치로 송신하는 방송 서버;를 포함한다.
바람직하게, 상기 방송 장치는 상기 모션 센싱 데이터가 측정된 측정 시간 정보와 상기 모션 캐릭터 영상을 매핑시켜 상기 방송 서버로 송신하고, 상기 시청자 영상을 상기 방송 서버로부터 수신하여 출력하고, 상기 시청자 영상이 출력된 제1 출력 시간 정보를 상기 방송 서버로 송신할 수 있다.
바람직하게, 상기 시청자 장치는 상기 시청자 영상이 촬영된 촬영 시간 정보와 상기 시청자 영상을 매핑시켜 상기 방송 서버로 송신하고, 상기 모션 캐릭터 영상을 상기 방송 서버로부터 수신하여 출력하고, 상기 모션 캐릭터 영상이 출력된 제2 출력 시간 정보를 상기 방송 서버로 송신할 수 있다.
바람직하게, 상기 방송 서버는 상기 측정 시간 정보와 상기 제1 출력 시간 정보 간의 제1 시간차를 산출하고, 상기 촬영 시간 정보와 상기 제2 출력 시간 정보 간의 제2 시간차를 산출하고, 상기 제1 시간차와 상기 제2 시간차 간의 장단을 비교하고, 상기 비교 결과에 기초하여 상기 제1 지연 시간과 상기 제2 지연 시간을 설정할 수 있다.
바람직하게, 상기 방송 서버는 상기 제1 시간차와 상기 제2 시간차 간의 장단 비교 결과, 상기 제1 시간차가 상기 제2 시간차 보다 긴 경우, 상기 제1 시간차와 상기 제2 시간차 간의 제3 시간차를 상기 제2 지연 시간으로 설정하고, 상기 제1 시간차가 상기 제2 시간차 보다 짧은 경우, 상기 제3 시간차를 상기 제1 지연 시간으로 설정할 수 있다.
바람직하게, 상기 방송 서버는 상기 모션 캐릭터 영상과 상기 시청자 영상 중 하나 이상이 인터랙트 모드 조건을 만족하는지 여부를 판단하고, 판단 결과 상기 모션 캐릭터 영상과 상기 시청자 영상 중 하나 이상이 인터랙트 모드 조건을 만족하는 경우, 상기 제1 지연 시간과 상기 제2 지연 시간을 설정할 수 있다.
바람직하게, 상기 방송 서버는 상기 모션 캐릭터 영상과 상기 시청자 영상 중 하나 이상으로부터 미리 설정된 동작 정보 및 음성 정보 중 하나 이상이 검출되면 검출된 영상이 상기 인터랙트 모드 조건을 만족하는 것으로 판단할 수 있다.
본 발명에 따르면, 방송자와 시청자 간에 인터랙션을 수행함으로써, 시청자의 흥미를 유발시켜 방송의 시청률을 향상시킬 있다.
또한, 본 발명은 방송자와 시청자 간에 인터랙션을 수행하는 과정에서 모션 캐릭터 영상과 시청자 영상 각각이 출력되는 출력 시점이 동일하도록 함으로써, 인터랙션의 정확도를 향상시킬 수 있다.
도 1은 본 발명에 따른 인터랙션을 수행하는 모션 캡쳐 방송 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 방송 장치를 설명하기 위한 기능 블록도의 일 예를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 시청자 장치를 설명하기 위한 기능 블록도의 일 예를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 방송 서버를 설명하기 위한 기능 블록도의 일 예를 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명에 따른 방송 서버가 제1 지연 시간 및 제2 지연 시간을 설정하는 과정을 설명하기 위한 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형 태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/ 또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대 해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현 은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중 요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성 요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합 한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성 (또는 설정)된 제어부"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
명세서에서 사용되는 “~부”라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, “~부”는 어떤 역할들을 수행한다. 그렇지만 “~부”는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. “~부”는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수 있다. 따라서, 일 예로서 “~부”는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 “~부”를 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 “~부”들로 결합되거나 추가적인 구성요소들과 “~부”들로 더 분리될 수 있다.
특히, 본 명세서에서, “프로세서”는 중앙처리장치(Central Processing Unit (CPU)), 애플리케이션 프로세서(Application Processor (AP)) 및 커뮤니케이션 프로세서(Communication Processor (CP)) 중 하나 이상을 포함할 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한 정하려는 의도가 아닐 수 있다. 단수의 표현은 컨텍스트 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 컨텍스트 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명에 따른 인터랙션을 수행하는 모션 캡쳐 방송 시스템(10)을 설명하기 위한 도면이다.
도 1을 참조하면, 인터랙션을 수행하는 모션 캡쳐 방송 시스템(10)은 모션 센서(1'), 방송 장치(100), 시청자 장치(200) 및 방송 서버(300)를 포함할 수 있다.
본 발명에 따른 인터랙션을 수행하는 모션 캡쳐 방송 시스템(10)은 방송을 진행하는 방송자(1)의 신체 움직임으로부터 생성된 모션 캐릭터 영상을 시청자(2)가 시청하도록 하고, 시청자(2)를 촬영한 시청자 영상을 방송자(1)가 시청하도록 함으로써, 방송자(1)와 시청자(2) 간의 인터랙션을 제공할 수 있다.
모션 센서(1')는 방송을 진행하는 방송자(1)의 신체에 복수로 부착되어 방송자(1)의 신체 움직임으로부터 모션 센싱 데이터를 측정할 수 있다.
이를 위해, 모션 센서(1')는 방위를 감지하는 지자기센서, 가속도 및 가속도 방향 감지하는 가속도센서 및 회전 관성을 감지하는 자이로센서 중 하나 이상을 포함할 수 있다.
일 실시 예에서, 모션 센서(1')는 자기식 공간 안에서 방송자(1)의 각 관절의 위치와 각도를 측정하는 자기식 모션 캡쳐 방식을 이용하여 모션 센싱 데이터를 측정할 수 있다.
일 실시 예에서, 모션 센서(1')가 자기식 모션 캡쳐 방식을 이용하여 모션 센싱 데이터를 측정하는 것으로 설명하였으나, 방송자(1)의 움직임으로부터 모션 센싱 데이터를 측정할 수 있는 한, 모션 캡쳐 방식의 종류는 제한되지 않음을 유의한다. 예를 들어, 모션 센서(1')는 기계식 모션 캡쳐 방식, 광학식 모션 캡쳐 방식 중 하나 이상을 이용하여 방송자(1)의 움직임으로부터 모션 센싱 데이터를 측정할 수 있다.
한편, 모션 센서(1')는 측정된 모션 센싱 데이터와 모션 센싱 데이터가 측정된 측정 시간 정보를 매핑시켜 방송 장치(100)로 송신할 수 있다.
방송 장치(100)는 모션 센싱 데이터를 수신하고, 모션 센싱 데이터를 분석하여 모션 데이터를 생성할 수 있다. 이후, 방송 장치(100)는 모션 데이터에 기초하여 방송자(1)의 움직임과 동일하게 캐릭터가 움직이는 영상인 모션 캐릭터 영상을 생성할 수 있다.
여기서, 모션 캐릭터 영상은 방송자(1)의 움직으로부터 생성된 캐릭터의 영상, 방송자(1) 주변을 촬영한 배경 영상, 방송자(1)의 음성, 컴퓨터 그래픽 및 효과음 중 하나 이상을 포함할 수 있다.
방송 장치(100)는 생성된 모션 캐릭터 영상을 방송 서버(300)로 송신할 수 있다.
시청자 장치(200)는 모션 캐릭터 영상을 시청하는 시청자(2)를 촬영하여 시청자 영상을 생성할 수 있다. 이후, 시청자 장치(200)는 생성된 모션 캐릭터 영상을 방송 서버(300)로 송신할 수 있다.
여기서, 시청자 영상은 시청자(2)를 촬영한 영상 및 시청자(2)의 음성 중 하나 이상을 포함할 수 있다.
일 실시 예에서, 시청자 장치(200)는 스마트폰, 태블릿 PC, 데스크톱 및 노트북 중 어느 하나일수 있다.
방송 서버(300)는 방송 장치(100)로부터 모션 캐릭터 영상을 수신하고, 시청자 장치(200)로부터 시청자 영상을 수신할 수 있다. 이후, 방송 서버(300)는 방송 장치(100)로 시청자 영상을 송신하고, 시청자 장치(200)로 모션 캐릭터 영상을 송신할 수 있다.
이때, 시청자 장치(200)는 수신된 모션 캐릭터 영상을 출력하여 시청자(2)가 시청하도록 할 수 있고, 방송 장치(100)는 수신된 시청자 영상을 출력하여 방송자(1)가 모션 캐릭터 영상을 시청하는 시청자(2)를 확인하면서 방송을 진행하도록 할 수 있다.
한편, 방송 서버(300)는 모션 캐릭터 영상의 모션 센싱 데이터가 측정된 시점과 동일한 시점에 촬영된 시청자 영상이 모션 캐릭터 영상과 동일한 시점에 방송 장치(100)와 시청자 장치(200)에 출력되도록 시청자 영상과 모션 캐릭터 영상을 지연시켜 방송 장치(100)와 시청자 장치(200)로 각각 송신할 수 있다.
방송 서버(300)가 시청자 영상과 모션 캐릭터 영상을 지연시켜 송신하는 내용은 후술하도록 한다.
도 2는 본 발명에 따른 방송 장치(100)를 설명하기 위한 기능 블록도의 일 예를 설명하기 위한 도면이다.
도 2를 더 참조하면, 방송 장치(100)는 통신부(110), 프로세서(120), 출력부(130), 입력부(140) 및 저장부(150)를 포함할 수 있다.
통신부(110)는 통신망에 연결되어 무선 통신 또는 유선 통신을 이용하여 모션 센서(1')로부터 모션 센싱 데이터를 수신할 수 있다. 또한, 통신부(110)는 범용 통신을 이용하여 프로세서(120)에 의해 생성되고 측정 시간 정보가 매핑된 모션 캐릭터 영상을 서버(300)로 송신하고, 서버(300)로부터 시청자 영상을 수신할 수 있다.
여기서, 모션 센싱 데이터는 센서 식별 정보, 데이터 종류 식별 정보, 모션 센싱 정보 및 데이터 길이 정보를 포함할 수 있다. 또한, 모션 센싱 데이터는 측정된 측정 시간 정보와 매핑될 수 있다. 한편, 상술된 모션 센싱 데이터는 일 실시 예로서 상술된 구성에 한정되지 않으며, 상술된 요소(element) 이외에도 다른 요소의 정보를 더 포함하여 생성될 수 있다
프로세서(120)는 모션 센서(1')로부터 수신된 모션 센싱 데이터를 분석하여 모션 데이터를 생성할 수 있다. 구체적으로, 프로세서(120)는 모션 센싱 데이터를 분석하여 부위별로 모션 데이터를 생성할 수 있다. 이를 위해, 프로세서(120)는 센서 식별 정보에 기초하여 모션 센싱 데이터에 대응되는 신체 부위를 검출하고, 데이터 종류 식별 정보에 기초하여 모션 센싱 데이터의 데이터 종류를 검출할 수 있다. 또한, 프로세서(120)는 모션 센싱 정보를 디코딩하여 방송자(1)의 움직임에 대한 정보를 추출하고, 데이터 길이 정보에 대응되는 데이터 길이가 기준 데이터 길이 이하인지 여부를 확인하고, 기준 데이터 길이 이하이면 모션 센싱 데이터가 유효한 데이터인 것으로 판단할 수 있다.
한편, 프로세서(120)는 상술된 모션 데이터 생성 방법 외에 다양한 모션 데이터 생성 방법을 이용하여 모션 데이터를 생성할 수 있다.
프로세서(120)는 생성된 모션 데이터에 기초하여 모션 캐릭터 영상을 생성할 수 있다. 구체적으로, 프로세서(120)는 모션 데이터에 미리 저장된 캐릭터 이미지를 매칭시켜 캐릭터 영상을 생성할 수 있다.
이후, 프로세서(120)는 캐릭터 영상에 방송자(1)의 주변을 촬영한 배경 영상, 방송자(1)의 음성, 컴퓨터 그래픽 및 효과음 중 하나 이상을 합성하여 모션 캐릭터 영상을 생성할 수 있다. 이를 위해, 방송 장치(100)는 배경 영상을 촬영하고, 방송자(1)의 음성을 녹음하는 촬영부(미도시)를 더 포함할 수 있다. 일 실시 예에서, 촬영부는 카메라 모듈 및 마이크 모듈로 구현될 수 있다.
프로세서(120)는 모션 센싱 데이터와 매핑된 측정 시간 정보를 모션 캐릭터 영상에 매핑시킬 수 있다. 일 실시 예에서, 프로세서(120)는 모션 캐릭터 영상의 모션 캐릭터 영상 프레임 마다 측정 시간 정보를 매핑시킬 수 있다. 이를 통해, 프로세서(120)는 모션 캐릭터 영상 프레임 각각을 생성하는데 이용된 모션 센싱 데이터의 측정 시간 정보를 각 모션 캐릭터 영상 프레임에 매핑시킬 수 있다.
출력부(130)는 수신된 시청자 영상을 출력할 수 있다. 이를 위해, 출력부(130)는 영상을 표시하는 디스플레이 모듈과 소리를 출력하는 스피커 모듈을 포함할 수 있다.
이를 통해, 방송자(1)는 모션 캐릭터 영상을 시청하는 시청자(2)가 촬영된 시청자 영상을 방송을 진행하면서 시청할 수 있다.
한편, 프로세서(120)는 출력부(130)가 시청자 영상을 출력하면, 시청자 영상을 출력한 제2 출력 시간 정보를 서버(300)로 송신하도록 통신부(110)를 제어할 수 있다.
입력부(140)는 방송자(1)로부터 인터랙트 모드 요청을 입력받을 수 있다. 구체적으로, 입력부(140)는 방송자(1)와 시청자(2) 간에 인터랙트를 수행할 수 있는 인터랙트 모드를 요청하는 인터랙트 모드 요청을 입력 받을 수 있다. 이를 위해, 입력부(140)는 출력부(130)의 디스플레이 모듈과 결합된 터치 입력 모듈 및 버튼으로 요청을 입력받는 버튼 모듈 중 하나 이상을 포함할 수 있다.
이때, 프로세서(120)는 입력부(140)로부터 인터랙트 모드 요청이 입력되면, 서버(300)로 인터랙트 모드 요청 신호를 송신하도록 통신부(110)를 제어할 수 있다.
저장부(150)는 방송 장치(100)가 프로세서(120)에 의해 제어되기 위해 프로그래밍된 동작 프로그램을 저장할 수 있다.
또한, 저장부(150)는 모션 캐릭터 영상을 생성하기 위한 모션 캡쳐 프로그램, 캐릭터 이미지 및 효과음 파일을 저장할 수 있다.
이러한 저장부(150)는 비휘발성 메모리 및 휘발성 메모리를 포함할 수 있고, 동작 프로그램은 상기 비휘발성 메모리에 저장되고 상기 휘발성 메모리로 로드되어 동작할 수 있다.
도 3을 더 참조하면, 시청자 장치(200)는 통신부(210), 출력부(220), 촬영부(230), 프로세서(240), 입력부(250) 및 저장부(260)를 포함할 수 있다.
통신부(210)는 통신망에 연결되어 범용 통신을 이용하여 서버(300)로부터 모션 캐릭터 영상을 수신할 수 있다. 또한, 통신부(210)는 범용 통신을 이용하여 촬영부(230)로부터 촬영된 시청자 영상, 시청자 영상에 매핑된 촬영 시간 정보를 서버(300)로 송신할 수 있다.
여기서, 시청자 영상은 시청자(2)를 촬영한 영상 및 시청자(2)의 음성 중 하나 이상을 포함할 수 있다.
출력부(220)는 수신된 모션 캐릭터 영상을 출력할 수 있다. 이를 위해, 출력부(220)는 영상을 표시하는 디스플레이 모듈과 소리를 출력하는 스피커 모듈을 포함할 수 있다.
이를 통해, 시청자(2)는 방송자(1)의 움직임에 캐릭터 이미지가 합성된 영상을 포함하는 방송을 시청할 수 있다.
한편, 후술되는 프로세서(240)는 출력부(220)가 모션 캐릭터 영상을 출력하면, 모션 캐릭터 영상을 출력한 제1 출력 시간 정보를 서버(300)로 송신하도록 통신부(210)를 제어할 수 있다.
촬영부(230)는 모션 캐릭터 영상을 시청하는 시청자(2)를 촬영하고, 시청자(2)의 음성을 녹음하여 시청자 영상을 생성할 수 있다. 일 실시 예에서, 촬영부(230)는 카메라 모듈 및 마이크 모듈로 구현될 수 있다.
프로세서(240)는 시청자 영상이 촬영된 촬영 시간 정보와 시청자 영상을 매핑시킬 수 있다. 일 실시 예에서, 프로세서(240)는 시청자 영상의 시청자 영상 프레임 마다 촬영 시간 정보를 매핑시킬 수 있다.
입력부(250)는 시청자(2)로부터 인터랙트 모드 요청을 입력받을 수 있다. 구체적으로, 입력부(250)는 방송자(1)와 시청자(2) 간에 인터랙트를 수행할 수 있는 인터랙트 모드를 요청하는 인터랙트 모드 요청을 입력 받을 수 있다. 이를 위해, 입력부(250)는 출력부(220)의 디스플레이 모듈과 결합된 터치 입력 모듈 및 버튼으로 요청을 입력받는 버튼 모듈 중 하나 이상을 포함할 수 있다.
이때, 프로세서(240)는 입력부(250)로부터 인터랙트 모드 요청이 입력되면, 서버(300)로 인터랙트 모드 요청 신호를 송신하도록 통신부(210)를 제어할 수 있다.
저장부(250)는 시청자 장치(200)가 프로세서(240)에 의해 제어되기 위해 프로그래밍된 동작 프로그램을 저장할 수 있다.
이러한 저장부(250)는 비휘발성 메모리 및 휘발성 메모리를 포함할 수 있고, 동작 프로그램은 상기 비휘발성 메모리에 저장되고 상기 휘발성 메모리로 로드되어 동작할 수 있다.
도 4는 본 발명에 따른 방송 서버(300)를 설명하기 위한 기능 블록도의 일 예를 설명하기 위한 도면이고, 도 5 및 도 6은 본 발명에 따른 방송 서버가 제1 지연 시간 및 제2 지연 시간을 설정하는 과정을 설명하기 위한 도면이다.
도 4 내지 도 6을 더 참조하면, 방송 서버(300)는 통신부(310), 프로세서(320) 및 저장부(330)를 포함할 수 있다.
통신부(310)는 통신망에 연결되어 범용 통신을 통해 측정 시간 정보가 매핑된 모션 캐릭터 영상을 방송 장치(100)로부터 수신하고, 수신된 모션 캐릭터 영상을 시청자 장치(200)로 송신할 수 있다. 이때, 통신부(310)는 프로세서(320)의 제어에 의해 모션 캐릭터 영상을 수신한 모션 캐릭터 영상 수신 시점으로부터 제1 지연 시간이 경과되면 모션 캐릭터 영상을 시청자 장치(200)로 송신할 수 있다.
또한, 통신부(310)는 범용 통신을 통해 촬영 시간 정보가 매핑된 시청자 영상을 시청자 장치(200)로부터 수신하고, 수신된 시청자 영상을 방송 장치(100)로 송신할 수 있다. 이때, 통신부(310)는 프로세서(320)의 제어에 의해 시청자 영상을 수신한 시청자 영상 수신 시점으로부터 제2 지연 시간이 경과되면 시청자 영상을 방송 장치(100)로 송신할 수 있다.
상술된 제1 지연 시간 및 제2 지연 시간에 대해서는 후술하도록 한다.
한편, 통신부(310)는 통신망에 연결되어 범용 통신을 통해 제2 출력 시간 정보 및 인터랙트 모드 요청 신호를 방송 장치(100)로부터 수신할 수 있다. 또한, 통신부(310)는 범용 통신을 통해 제1 출력 시간 정보 및 인터랙트 모드 요청 신호를 시청자 장치(200)로부터 수신할 수 있다.
프로세서(320)는 수신된 모션 캐릭터 영상과 수신된 시청자 영상 중 하나 이상이 인터랙트 모드 조건을 만족하거나 방송 장치(100)와 시청자 장치(200) 중 하나 이상으로부터 인터랙트 모드 요청 신호가 수신되면 제1 지연 시간과 제2 지연 시간을 설정할 수 있다.
반대로, 프로세서(320)는 수신된 모션 캐릭터 영상과 수신된 시청자 영상 모두가 인터랙트 모드 조건을 만족하지 않고, 방송 장치(100)와 시청자 장치(200) 모두로부터 인터랙트 모드 요청 신호가 수신되지 않으면 제1 지연 시간과 제2 지연 시간을 설정하지 않을 수 있다. 여기서, 프로세서(320)가 제1 지연 시간과 제2 지연 시간을 설정하지 않는 경우, 제1 지연 시간과 제2 지연 시간은 “0 초”일 수 있다.
프로세서(320)는 측정 시간 정보와 촬영 시간 정보 각각이 나타내는 시간이 동일한 모션 캐릭터 영상과 시청자 영상에 대해 제1 지연 시간과 제2 지연 시간을 각각 설정되거나 설정되지 않을 수 있다.
한편, 프로세서(320)는 모션 캐릭터 영상과 시청자 영상 중 하나 이상으로부터 미리 설정된 동작 정보 및 음성 정보 중 하나 이상이 검출되면 검출된 영상이 인터랙트 모드 조건을 만족하는 것으로 판단할 수 있다.
여기서, 동작 정보는 방송자(1) 또는 시청자(2)가 인터랙트를 시작하려는 동작을 나타내는 정보일 수 있고, 음성 정보는 방송자(1) 또는 시청자(2)가 인터랙트를 시작하려는 방송자(1) 또는 시청자(2)의 음성을 나타내는 정보일 수 있다.
예를 들어, 인터랙트가 게임인 경우, 동작 정보는 게임을 시작하려는 동작을 취하는 경우, 신체의 모습을 나타내는 정보일 수 있고, 음성 정보는 게임을 시작할 때, 발화되는 “게임 시작”과 같은 음성을 나타내는 정보일 수 있다.
이후, 프로세서(320)는 방송자(1) 및 시청자(2) 간의 인터랙트를 수행하기 위한 제1 지연 시간과 제2 지연 시간을 설정할 수 있다. 구체적으로, 프로세서(320)는 모션 캐릭터 영상과 시청자 영상 중 하나 이상이 인터랙트 모드 조건을 만족하고, 인터랙트 모드 요청 신호가 수신되면, 도 5에 도시된 바와 같이, 제1 지연 시간과 제2 지연 시간을 설정하지 않고, 모션 캐릭터 영상과 시청자 영상을 각각 시청자 장치(200)와 방송 장치(100)로 송신하여 제1 출력 시간 정보(t1-4)와 제2 출력 시간 정보(t2-4)를 획득할 수 있다.
이후, 프로세서(320)는 시청자 장치(200)로 송신된 모션 캐릭터 영상의 측정 시간 정보(t1-1)와 제1 출력 시간 정보(t1-4) 간의 제1 시간차(t1)를 산출할 수 있다. 또한, 프로세서(320)는 방송 장치(100)로 송신된 시청자 영상의 촬영 시간 정보(t2-1)와 제2 출력 시간 정보(t2-4) 간의 제2 시간차(t2)를 산출할 수 있다.
프로세서(320)는 시간차 산출 과정 이후, 제1 시간차(t1)와 제2 시간차(t2) 간의 장단을 비교하교, 비교 결과에 기초하여 제1 지연 시간과 제2 지연 시간을 설정할 수 있다.
여기서, 제1 시간차(t1)는 모션 센서(1')에 의해 모션 센싱 데이터가 측정되어 방송 장치(100)에 수신되기까지 소요되는 시간(t1-1 내지 t1-2), 방송 장치(100)에 의해 모션 센싱 데이터가 모션 캐릭터 영상으로 생성되어 서버(300)에 수신되기까지 소요되는 시간(t1-2 내지 t1-3) 및 서버(300)에 의해 모션 캐릭터 영상이 시청자 장치(200)로 송신되어 시청자 장치(200)에 의해 출력되기까지 소요되는 시간(t1-2 내지 t1-3)의 시간합일 수 있다.
여기서, 제2 시간차(t2)는 시청자 장치(200)에 의해 시청자(2)가 촬영되어 시청자 영상이 생성되기까지 소요되는 시간(t2-1 내지 t2-2), 시청자 장치(200)에 의해 시청자 영상이 서버(300)에 수신되기까지 소요되는 시간(t2-2 내지 t2-3) 및 서버(300)에 의해 시청자 영상이 방송 장치(100)로 송신되어 방송 장치(100)에 의해 출력되기까지 소요되는 시간(t2-2 내지 t2-3)의 시간합일 수 있다.
프로세서(320)는 제1 시간차(t1)와 제2 시간차(t2) 간의 장단 비교 결과, 도 5에 도시된 바와 같이, 제1 시간차(t1)가 제2 시간차(t2) 보다 긴 경우, 도 6에 도시된 바와 같이, 제1 시간차(t1)와 제2 시간차(t2) 간의 제3 시간차(t3)를 제2 지연 시간(T)으로 설정할 수 있다. 반대로, 프로세서(320)는 제1 시간차(t1)가 제2 시간차(t2) 보다 짧은 경우, 제3 시간차(t3)를 제1 지연 시간으로 설정할 수 있다.
즉, 프로세서(320)는 모션 센서(1')에 의해 모션 센싱 데이터가 측정된 시점(t1-1)으로부터 시청자 장치(200)에 의해 모션 캐릭터 영상이 출력되는 시점(t1-4)까지의 경과 시간인 제1 시간차(t1)와 시청자 장치(200)에 의해 시청자(2)가 촬영되는 시점(t2-1)으로부터 방송 장치(100)에 의해 시청자 영상이 출력되는 시점(t2-4)까지의 경과 시간인 제2 시간차(t2)가 동일해지도록 제3 시간차(t3)를 제1 지연 시간 또는 제2 지연 시간(T)으로 설정할 수 있다.
이에 따라, 측정 시간 정보의 시간과 촬영 시간 정보의 시간이 동일한 모션 캐릭터 영상과 시청자 영상은 각각 시청자 장치(200)와 방송 장치(100)에 의해 동일한 시점에 출력될 수 있다.
저장부(330)는 방송 서버(300)의 프로세서(320) 에 의해 제어되기 위해 프로그래밍된 동작 프로그램을 저장할 수 있다.
이러한 저장부(330)는 비휘발성 메모리 및 휘발성 메모리를 포함할 수 있고, 동작 프로그램은 상기 비휘발성 메모리에 저장되고 상기 휘발성 메모리로 로드되어 동작할 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
이상과 같이, 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
10: 인터랙션을 수행하는 모션 캡쳐 방송 시스템
100: 방송 장치
200: 시청자 장치
300: 방송 서버

Claims (7)

  1. 모션 센서로부터 측정된 모션 센싱 데이터를 분석하여 모션 데이터를 생성하고, 상기 모션 데이터를 기초하여 모션 캐릭터 영상을 생성하는 방송 장치;
    상기 모션 캐릭터 영상을 시청하는 시청자를 촬영하여 시청자 영상을 생성하는 시청자 장치; 및
    상기 방송 장치로부터 상기 모션 캐릭터 영상을 수신한 모션 캐릭터 영상 수신 시점으로부터 제1 지연 시간이 경과되면 상기 모션 캐릭터 영상을 상기 시청자 장치로 송신하고, 상기 시청자 장치로부터 상기 시청자 영상을 수신한 시청자 영상 수신 시점으로부터 제2 지연 시간이 경과되면 상기 시청자 영상을 상기 방송 장치로 송신하는 방송 서버;를 포함하는 것을 특징으로 하는 인터랙션을 수행하는 모션 캡쳐 방송 시스템.
  2. 제1항에 있어서,
    상기 방송 장치는
    상기 모션 센싱 데이터가 측정된 측정 시간 정보와 상기 모션 캐릭터 영상을 매핑시켜 상기 방송 서버로 송신하고, 상기 시청자 영상을 상기 방송 서버로부터 수신하여 출력하고, 상기 시청자 영상이 출력된 제1 출력 시간 정보를 상기 방송 서버로 송신하는 것을 특징으로 하는 인터랙션을 수행하는 모션 캡쳐 방송 시스템.
  3. 제2항에 있어서,
    상기 시청자 장치는
    상기 시청자 영상이 촬영된 촬영 시간 정보와 상기 시청자 영상을 매핑시켜 상기 방송 서버로 송신하고, 상기 모션 캐릭터 영상을 상기 방송 서버로부터 수신하여 출력하고, 상기 모션 캐릭터 영상이 출력된 제2 출력 시간 정보를 상기 방송 서버로 송신하는 것을 특징으로 하는 인터랙션을 수행하는 모션 캡쳐 방송 시스템.
  4. 제3항에 있어서,
    상기 방송 서버는
    상기 측정 시간 정보와 상기 제1 출력 시간 정보 간의 제1 시간차를 산출하고, 상기 촬영 시간 정보와 상기 제2 출력 시간 정보 간의 제2 시간차를 산출하고, 상기 제1 시간차와 상기 제2 시간차 간의 장단을 비교하고, 상기 비교 결과에 기초하여 상기 제1 지연 시간과 상기 제2 지연 시간을 설정하는 것을 특징으로 하는 인터랙션을 수행하는 모션 캡쳐 방송 시스템.
  5. 제4항에 있어서,
    상기 방송 서버는
    상기 제1 시간차와 상기 제2 시간차 간의 장단 비교 결과, 상기 제1 시간차가 상기 제2 시간차 보다 긴 경우, 상기 제1 시간차와 상기 제2 시간차 간의 제3 시간차를 상기 제2 지연 시간으로 설정하고, 상기 제1 시간차가 상기 제2 시간차 보다 짧은 경우, 상기 제3 시간차를 상기 제1 지연 시간으로 설정하는 것을 특징으로 하는 인터랙션을 수행하는 모션 캡쳐 방송 시스템.
  6. 제1항에 있어서,
    상기 방송 서버는
    상기 모션 캐릭터 영상과 상기 시청자 영상 중 하나 이상이 인터랙트 모드 조건을 만족하는지 여부를 판단하고, 판단 결과 상기 모션 캐릭터 영상과 상기 시청자 영상 중 하나 이상이 인터랙트 모드 조건을 만족하는 경우, 상기 제1 지연 시간과 상기 제2 지연 시간을 설정하는 것을 특징으로 하는 인터랙션을 수행하는 모션 캡쳐 방송 시스템.
  7. 제6항에 있어서,
    상기 방송 서버는
    상기 모션 캐릭터 영상과 상기 시청자 영상 중 하나 이상으로부터 미리 설정된 동작 정보 및 음성 정보 중 하나 이상이 검출되면 검출된 영상이 상기 인터랙트 모드 조건을 만족하는 것으로 판단하는 것을 특징으로 하는 인터랙션을 수행하는 모션 캡쳐 방송 시스템.
KR1020190162410A 2019-12-09 2019-12-09 인터랙션을 수행하는 모션 캡쳐 방송 시스템 KR20210072842A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190162410A KR20210072842A (ko) 2019-12-09 2019-12-09 인터랙션을 수행하는 모션 캡쳐 방송 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190162410A KR20210072842A (ko) 2019-12-09 2019-12-09 인터랙션을 수행하는 모션 캡쳐 방송 시스템

Publications (1)

Publication Number Publication Date
KR20210072842A true KR20210072842A (ko) 2021-06-18

Family

ID=76623676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190162410A KR20210072842A (ko) 2019-12-09 2019-12-09 인터랙션을 수행하는 모션 캡쳐 방송 시스템

Country Status (1)

Country Link
KR (1) KR20210072842A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060061564A (ko) 2004-12-02 2006-06-08 (주)다림시스템 모션캡쳐 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060061564A (ko) 2004-12-02 2006-06-08 (주)다림시스템 모션캡쳐 장치

Similar Documents

Publication Publication Date Title
US9749738B1 (en) Synthesizing audio corresponding to a virtual microphone location
US10045120B2 (en) Associating audio with three-dimensional objects in videos
RU2715797C1 (ru) Способ и устройство для синтеза объектов виртуальной реальности
US9100667B2 (en) Life streaming
EP3400705B1 (en) Active speaker location detection
US20060125920A1 (en) Matching un-synchronized image portions
US9113190B2 (en) Controlling power levels of electronic devices through user interaction
JP2017200208A5 (ja) 撮像装置、情報取得システム、情報検索サーバ、及びプログラム
JP4859876B2 (ja) 情報処理装置
JP2018504802A5 (ko)
US20130027517A1 (en) Method and apparatus for controlling and playing a 3d image
KR20110058438A (ko) 프리젠테이션 녹화 장치 및 방법
JP2015507762A (ja) オーディオトラックの決定方法，装置およびコンピュータプログラム
US11941048B2 (en) Tagging an image with audio-related metadata
US9563280B1 (en) Gesture onset detection on multiple devices
US20120201417A1 (en) Apparatus and method for processing sensory effect of image data
KR20110121304A (ko) 음원 위치 산출 장치 및 그 방법
JP2009239346A (ja) 撮影装置
KR20210072842A (ko) 인터랙션을 수행하는 모션 캡쳐 방송 시스템
JP6631166B2 (ja) 撮影装置、プログラム及び撮影方法
KR101155610B1 (ko) 음원 위치 표시 장치 및 그 방법
JP2009239349A (ja) 撮影装置
JP2016163181A5 (ja) 信号処理装置、信号処理方法、及びプログラム
US20210004080A1 (en) Position estimation apparatus, position estimation method, and program
KR101515404B1 (ko) 가상 카메라의 제어 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right