KR20160093481A - 부가 데이터 제공 방법 및 부가 데이터 생성 장치 및 착용형 디스플레이 - Google Patents

부가 데이터 제공 방법 및 부가 데이터 생성 장치 및 착용형 디스플레이 Download PDF

Info

Publication number
KR20160093481A
KR20160093481A KR1020150014579A KR20150014579A KR20160093481A KR 20160093481 A KR20160093481 A KR 20160093481A KR 1020150014579 A KR1020150014579 A KR 1020150014579A KR 20150014579 A KR20150014579 A KR 20150014579A KR 20160093481 A KR20160093481 A KR 20160093481A
Authority
KR
South Korea
Prior art keywords
additional data
wearable display
user
module
unit
Prior art date
Application number
KR1020150014579A
Other languages
English (en)
Inventor
기명석
안충현
차지훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150014579A priority Critical patent/KR20160093481A/ko
Publication of KR20160093481A publication Critical patent/KR20160093481A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 부가 데이터 제공 방법 및 부가 데이터 생성 장치 및 착용형 디스플레이에 관한 것이다. 본 발명에 따르면, 착용형 디스플레이의 위치 정보를 전송하는 단계; 상기 위치 정보를 이용하여 생성된 부가 데이터를 수신하는 단계; 상기 부가 데이터를 상기 착용형 디스플레이상에서 렌더링하는 단계;를 포함하는 착용형 디스플레이가 수행하는 부가데이터 제공 방법이 제공된다. 본 발명에 따르면, 극장이나 공연장에서 다양한 부가데이터를 제공할 수 있다.

Description

부가 데이터 제공 방법 및 부가 데이터 생성 장치 및 착용형 디스플레이{METHOD FOR PROVIDING ADDITIONAL DATA, AND APPARATUS FOR GENERATING ADDITIONAL DATA, AND WEARABLE DISPLAY}
본 발명은, 부가 데이터 제공 방법 및 부가 데이터 생성 장치 및 착용형 디스플레이에 관한 것이다.
기존의 극장과 같은 미디어 상영관에서는, 모든 사용자가 단일한 미디어 환경을 제공받고 있다. 예를 들어, 자국 영화를 상영하거나 공연하는 경우, 자막이나 청각장애인을 위하여 기타 서비스가 제공되고 있지 않기 때문에, 자국의 언어를 이해할 수 없는 외국인이나 언어를 들을 수 없는 청각 장애인 등은 자국의 일반인과 같이 영화나 공연을 함께 즐기기 힘들다는 문제점이 있다.
이에, 소통하는 언어가 다른 외국인 및 청각 장애인 등이 일반인과 같이 문화를 즐길 수 있도록 하는 기술을 제안하고자 한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.
본 발명은, 극장이나 공연장 같이 사용자의 좌석이 고정되어 있는 장소에서 카메라 없이 사용자의 위치에 따라 현재 시청하는 미디어와 연관된 증강 현실 부가데이터를 제공하는 것을 다른 목적으로 한다.
본 발명은, 극장과 같이 복수의 사용자가 이용하며 좌석의 위치가 일정한 미디어시청 환경에서, 착용형 디스플레이를 이용한 증강 현실을 제공하고자 할 경우 카메라를 이용하지 않고 사용자의 위치 정보를 획득하는 것을 또 다른 목적으로 한다.
본 발명은, 착용형 디스플레이 장치의 위치값과 고유 기기번호를 기반으로 미디어의 재생환경과의 기하학 위치를 계산하여 사용자에게 미디어 재생 면과 시각적으로 일치화 된 부가 데이터를 제공하는 부가데이터를 생성하는 것을 또 다른 목적으로 한다.
본 발명은, 착용형 디스플레이 장치로 전송된 부가데이터 재생 시 사용자의 자세나 방향 등이 변경될 경우, 렌더링되고 있는 부가데이터를 사용자의 자세 및 방향 변경에 연동하여 기하학적으로 보정하는 화면출력 장치를 제공하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
일실시예에 따른, 착용형 디스플레이가 수행하는 부가데이터 제공 방법에 있어서, 부가데이터 제공 방법은, 상기 착용형 디스플레이의 위치 정보를 전송하는 단계; 상기 위치 정보를 이용하여 생성된 부가 데이터를 수신하는 단계; 상기 부가 데이터를 상기 착용형 디스플레이상에서 렌더링하는 단계;를 포함할 수 있다.
다른 실시예에 따른, 착용형 디스플레이가 수행하는 부가데이터 제공 방법에 있어서, 부가데이터 제공 방법은, 상기 부가 데이터의 상기 착용형 디스플레이상의 위치 또는 형태를 보정하는 단계;를 더 포함할 수 있다.
또 다른 실시예에 따른, 착용형 디스플레이가 수행하는 부가데이터 제공 방법에 있어서, 상기 보정하는 단계는, 사용자의 자세 또는 시선 방향의 변경이 발생할 경우, 상기 착용형 디스플레이의 자세 또는 방향을 센싱하여 상기 부가 데이터의 위치 또는 형태를 보정하는 것을 포함할 수 있다.
일실시예에 따른, 부가 데이터 생성 장치가 수행하는 부가데이터 제공 방법에 있어서, 부가데이터 제공 방법은, 착용형 디스플레이의 위치 정보를 수신하는 단계; 상기 위치 정보를 이용하여 부가 데이터를 생성하는 단계; 상기 생성한 부가 데이터를 송신하는 단계;를 포함할 수 있다.
또 다른 실시예에 따른, 부가 데이터 생성 장치가 수행하는 부가데이터 제공 방법에 있어서, 상기 부가 데이터를 생성하는 단계는, 상기 착용형 디스플레이의 위치 정보와 공공의 미디어 재생 화면 또는 무대의 위치 정보를 이용하여 사용자의 시각을 고려하여 상기 부가 데이터를 생성하는 것을 포함할 수 있다.
일실시예에 따른, 착용형 디스플레이에 있어서, 착용형 디스플레이는, 상기 착용형 디스플레이의 위치 정보를 전송하는 위치 정보 전송부; 상기 위치 정보를 이용하여 생성된 부가 데이터를 수신하는 부가 데이터 수신부; 상기 부가 데이터를 상기 착용형 디스플레이상에서 렌더링하는 부가 데이터 렌더링부;를 포함할 수 있다.
다른 실시예에 따른, 착용형 디스플레이에 있어서, 상기 부가 데이터의 상기 착용형 디스플레이상의 위치 또는 형태를 보정하는 부가 데이터 보정부;를 더 포함할 수 있다.
또 다른 실시예에 따른, 착용형 디스플레이에 있어서, 상기 부가 데이터 보정부는, 사용자의 자세 또는 시선 방향의 변경이 발생할 경우, 상기 착용형 디스플레이의 자세 또는 방향을 센싱하여 상기 부가 데이터의 위치 또는 형태를 보정하는 것을 포함할 수 있다.
일실시예에 따른, 부가 데이터 생성 장치에 있어서, 부가 데이터 생성 장치는, 착용형 디스플레이의 위치 정보를 수신하는 위치 정보 수신부; 상기 위치 정보를 이용하여 부가 데이터를 생성하는 부가 데이터 생성부; 상기 생성한 부가 데이터를 송신하는 부가 데이터 송신부;를 포함할 수 있다.
다른 실시예에 따른, 부가 데이터 생성 장치에 있어서, 상기 부가 데이터 생성부는, 상기 착용형 디스플레이의 위치 정보와 공공의 미디어 재생 화면 또는 무대의 위치 정보를 이용하여 사용자의 시각을 고려하여 상기 부가 데이터를 생성하는 것을 포함할 수 있다.
본 발명은, 착용형 디스플레이를 이용하여 현실 영상과 부가 데이터를 재생하는 증강 현실 서비스 구현 시, 카메라를 이용하지 않고 지정된 좌석 위치와 착용형 디스플레이의 고유기기 ID를 이용함으로써, 극장이나 공연장에서 다양한 부가데이터를 제공할 수 있는 효과가 있다.
본 발명은, 극장이나 공연장에서 외국인을 위한 자막서비스, 청각 장애인을 위한 수화 영상 서비스 등의 부가데이터를 제공하여 다양한 서비스를 할 수 있는 효과가 있다.
도 1은 일실시예에 따른 착용형 디스플레이가 수행하는 부가데이터 제공 방법을 나타내는 흐름도이다.
도 2는 일실시예에 따른 부가데이터 제공 방법을 나타내는 것이다.
도 3은 일실시예에 따른 부가데이터 제공 방법을 나타내는 개념도이다.
도 4는 일실시예에 따른 착용형 디스플레이로서, 착용형 디스플레이 위치 정보 생성부를 나타내는 것이다.
도 5는 일실시예에 따른 부가 데이터 생성 장치로서, 사용자 맞춤 부가데이터 생성장치를 나타내는 것이다.
도 6은 일실시예에 따른 착용형 디스플레이로서, 부가데이터 렌더링부를 나타내는 것이다.
도 7은 일실시예에 따른 착용형 디스플레이로서, 착용형 디스플레이를 나타내는 블록도이다.
도 8은 일실시예에 따른 부가 데이터 생성 장치가 수행하는 부가데이터 제공 방법을 나타내는 흐름도이다.
도 9는 일실시예에 따른 부가 데이터 생성 장치로서, 부가 데이터 생성 장치를 나타내는 블록도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 착용형 디스플레이가 수행하는 부가데이터 제공 방법을 나타내는 흐름도이다.
도 1을 참조하면, 착용형 디스플레이가 수행하는 부가데이터 제공 방법은 하기와 같은 단계를 포함하여 구성될 수 있다.
단계(S101)에서, 착용형 디스플레이는, 착용형 디스플레이의 위치 정보를 전송할 수 있다.
단계(S102)에서, 착용형 디스플레이는, 위치 정보를 이용하여 생성된 부가 데이터를 수신할 수 있다.
단계(S103)에서, 착용형 디스플레이는, 부가 데이터를 착용형 디스플레이상에서 렌더링할 수 있다.
단계(S104)에서, 착용형 디스플레이는, 부가 데이터의 착용형 디스플레이상의 위치 또는 형태를 보정할 수 있다.
구체적으로, 착용형 디스플레이는, 사용자의 자세 또는 시선 방향의 변경이 발생할 경우, 상기 착용형 디스플레이의 자세 또는 방향을 센싱하여 상기 부가 데이터의 위치 또는 형태를 보정할 수 있다.
도 2는 일실시예에 따른 부가데이터 제공 방법을 나타내는 것이다.
도 2를 참조하면, 극장에서 사용자의 지정된 좌석에 따라 착용형 디스플레이에 렌더링되어야 할 부가데이터의 기하학 형태를 알 수 있다.
예를 들어, 사용자A와 사용자B는 공공의 미디어 시청 장소에서 서로 다른 위치에서 미디어를 시청하고 있다고 가정할 수 있다. 이때, 두 사용자 모두 착용형 디스플레이를 착용하고 있을 수 있다. 또한, 부가데이터 제공 방법으로서, 부가 데이터를 이용하여 증강 현실을 구현하고자 할 경우, 각각의 사용자에 따라서 부가데이터의 기하학 형태는 다르게 표현될 수 있다.
일실시예에 따르면, 착용형 디스플레이는, HMD(Head Mounted Display)와 같이 안경처럼 사용자의 머리에 착용하여 사용자의 시선 앞에 영상을 디스플레이하는 출력장치가 될 수 있으나, 이에 한정되는 것은 아니다.
일실시예에 따르면, 부가 데이터 생성 장치는, 디스플레이되는 영상과 외부 영상과 합성 또는 연동하기 위해서는 HMD의 위치 및 방향 자세 등을 감지할 수 있다.
또한, 일실시예에 따르면, 착용형 디스플레이는, 극장, 공연장과 같은 공공의 미디어 시청 장소에서 고유의 신호를 전송 및 수신 받을 수 있다. 또한, 착용형 디스플레이는, 메인으로 제공되는 영상에 대한 다양한 부가데이터 서비스로서 자막, 수화 영상 등을 증강 현실로 제공할 수도 있다.
또한, 일실시예에 따르면, 부가 데이터 생성 장치는, 공공의 미디어 시청 장소의 위치 중 위치 확인이 가능한 미디어 시연 장소의 특정 위치에서 사용자의 착용형 디스플레이의 단말의 고유 번호와 위치 정보를 획득할 수 있다. 이때, 착용형 디스플레이는, 단말의 고유 번호와 위치 정보를 송출할 수 있다.
또한, 일실시예에 따르면, 부가 데이터 생성 장치는, 착용형 디스플레이의 위치정보와 디스플레이 고유번호를 입력 받은 후 부가 데이터를 사용자의 지정 위치에 적합한 형태로 변경하여 해당 부가데이터 정보를 전송하는 사용자 맞춤 서비스를 제공할 수 있다.
또한, 일실시예에 따르면, 착용형 디스플레이는, 전송된 부가데이터를 수신 받아 사용자가 착용형 디스플레이를 이용하여 해당 부가데이터의 위치 및 형태를 보정하고 부가데이터를 렌더링할 수도 있다.
일실시예에 따르면, 부가 데이터 생성 장치는, 좌석의 위치 확인이 가능하며 사용자의 운동 반경이 제한된 공공의 미디어 공연장에서, 사용자가 착용한 헤드 마운트 디스플레이(HMD)의 위치를 확인할 수 있다. 또한, 부가 데이터 생성 장치는, 사용자의 위치와 공공의 미디어 재생 화면 또는 무대와의 기하학적 위치를 계산하여 사용자의 시각에 맞게 변형한 부가데이터를 제공할 수 있다. 또한, 착용형 디스플레이는, HMD의 자세 및 방향을 추적하여 사용자의 자세나 시선 방향에 변경이 발생할 경우 이를 보정하여 부가 데이터를 제공할 수 있다.
도 3은 일실시예에 따른 부가데이터 제공 방법을 나타내는 개념도이다.
먼저, 도 3을 참조하면, 전체 시스템은 착용형 디스플레이(310)와 부가 데이터 생성 장치(320)로 구성될 수 있다. 또한, 일실시예에 따라서, 착용형 디스플레이(310)는, 착용형 디스플레이 위치 정보 생성부(311), 부가데이터 렌더링부(312)를 포함하여 구성될 수 있다. 이때, 착용형 디스플레이 위치 정보 생성부(311), 부가데이터 렌더링부(312)는, 프로세서, 메모리, 데이터 송수신기 중 적어도 하나를 포함할 수도 있다. 또한, 착용형 디스플레이 위치 정보 생성부(311), 부가데이터 렌더링부(312)는, 센서, 전자 회로, 전기 회로, 집적 회로 중 적어도 하나를 포함하여 구성될 수도 있으나, 이에 한정되지는 않는다.
또한, 일실시예에 따라서, 착용형 디스플레이 위치 정보 생성부(311)는, 사용자 위치정보 입력 모듈, 착용형 디스플레이 고유정보 생성 모듈, 착용형 디스플레이 정보 전송 모듈을 포함하여 구성될 수 있다. 이때, 사용자 위치정보 입력 모듈, 착용형 디스플레이 고유정보 생성 모듈, 착용형 디스플레이 정보 전송 모듈은, 센서, 전자 회로, 전기 회로, 집적 회로 중 적어도 하나를 포함하여 구성될 수도 있으나, 이에 한정되지는 않는다. 또한, 경우에 따라서, 사용자 위치정보 입력 모듈, 착용형 디스플레이 고유정보 생성 모듈, 착용형 디스플레이 정보 전송 모듈은, 프로세서, 메모리, 데이터 송수신기 중 적어도 하나를 포함할 수도 있다.
또한, 일실시예에 따라서, 사용자 맞춤 부가 데이터 생성장치(320)는, 사용자 위치 정보 입력 모듈, 착용형 디스플레이 고유정보 생성 모듈, 사용자 부가데이터 생성모듈, 사용자 부가 데이터 전송 모듈을 포함하여 구성될 수도 있다. 이때, 사용자 위치 정보 입력 모듈, 착용형 디스플레이 고유정보 생성 모듈, 사용자 부가데이터 생성모듈, 사용자 부가 데이터 전송 모듈은, 프로세서, 메모리, 데이터 송수신기 중 적어도 하나를 포함할 수도 있다. 또한, 사용자 위치 정보 입력 모듈, 착용형 디스플레이 고유정보 생성 모듈, 사용자 부가데이터 생성모듈, 사용자 부가 데이터 전송 모듈은, 센서, 전자 회로, 전기 회로, 집적 회로 중 적어도 하나를 포함하여 구성될 수도 있으나, 이에 한정되지는 않는다.
또한, 일실시예에 따라서, 부가 데이터 렌더링부(312)는, 사용자 부가데이터 수신모듈, 부가데이터 기하정보 보정 모듈, 사용자 위치 및 자세 추정 모듈, 부가데이터 렌더링 모듈을 포함하여 구성될 수도 있다. 이때, 사용자 부가데이터 수신모듈, 부가데이터 기하정보 보정 모듈, 사용자 위치 및 자세 추정 모듈, 부가데이터 렌더링 모듈은, 센서, 전자 회로, 전기 회로, 집적 회로 중 적어도 하나를 포함하여 구성될 수도 있으나, 이에 한정되지는 않는다. 또한, 경우에 따라서, 사용자 부가데이터 수신모듈, 부가데이터 기하정보 보정 모듈, 사용자 위치 및 자세 추정 모듈, 부가데이터 렌더링 모듈은, 프로세서, 메모리, 데이터 송수신기 중 적어도 하나를 포함할 수도 있다.
일실시예에 따르면, 착용형 디스플레이 위치 정보 생성부(311)는, 극장이나 공연장 같이 정해진 장소의 각 좌석의 위치에 대한 모델링이 가능한 환경에서 착용형 디스플레이를 가진 사용자의 위치와 디스플레이 기기의 고유한 ID를 확인하기 위한 동작을 수행할 수 있다.
또한, 착용형 디스플레이 위치 정보 생성부(311)는, 생성된 착용형 디스플레이 위치 정보를 사용자 맞춤 부가데이터 생성장치(320)로 전송할 수 있다. 이때, 사용자 맞춤 부가데이터 생성장치(320)는, 사용자가 앉은 좌석과 공연 디스플레이 평면과의 기하학적 위치 계산을 통해 사용자의 시각에 최적화된 사용자 맞춤 부가데이터를 생성할 수 있다.
부가데이터 생성장치(320)는, 생성된 부가 데이터를 착용형 디스플레이 장치로 전송할 수 있다. 또한, 사용자 부가 데이터 렌더링부(312)는, 사용자의 부가데이터를 다시 한 번 보정하여 렌더링하고, 미디어 시청 시 사용자의 시선 방향이나 자세가 바뀌면 착용형 디스플레이 장치의 센서 등을 이용하여 이를 인지하고 영상을 재 보정하여 부가데이터를 재차 렌더링할 수도 있다.
부가데이터 생성 장치(320)는, 현실과 가상 공간의 증강 현실을 구현하기 위하여, 착용형 디스플레이(310)와 렌더링될 현실 공간과의 기하학적 상관관계를 구하는 작업을 수행할 수 있다. 일실시예에 따르면, 부가데이터 생성 장치(320)는, 현실 공간과 착용형 디스플레이 공간간의 기하학적 관계를 구하기 위하여 별도의 카메라를 사용하지 않고 사용자의 위치 분석을 통해 미디어 디스플레이 평면과의 기하학 관계를 구할 수 있다.
도 4는 일실시예에 따른 착용형 디스플레이로서, 착용형 디스플레이 위치 정보 생성부를 나타내는 것이다.
도 4를 참조하면, 극장과 같은 환경에서 사용자의 위치를 결정하기 위한 동작을 하기 위한 구조적 흐름을 알 수 있다.
일실시예에 따르면, 착용형 디스플레이는, 자신의 위치를 사용자 맞춤 부가데이터 생성장치로 전송하기 위한 사용자 위치정보 입력모듈(410)을 포함할 수 있다. 사용자 위치정보 입력모듈(410)은, 극장이나 공연장의 좌석의 위치 정보를 입력 받을 수 있다. 또한, 착용형 디스플레이 고유정보 생성 모듈(420)은, 착용형 디스플레이 장치가 가지는 고유 ID와 획득된 좌석의 위치를 조합할 수 있다. 또한, 착용형 디스플레이 정보 전송 모듈(430)은, 생성된 사용자 정보를 사용자 맞춤 부가데이터 생성 장치로 무선 또는 유선으로 전송할 수 있다.
이때, 사용자 위치정보 입력모듈(410)은, 좌석 위치를 인지하기 위하여, 사용자로부터 좌석의 번호를 직접 입력받거나, 좌석에 설치된 외부 인터페이스와 착용형 디스플레이 장치를 유선으로 연결하여 위치 정보를 획득할 수도 있으나, 이에 한정되지는 않는다.
도 5는 일실시예에 따른 부가 데이터 생성 장치로서, 사용자 맞춤 부가데이터 생성장치를 나타내는 것이다.
도 5를 참조하면, 착용형 디스플레이 장치로부터 전송된 사용자 위치정보를 이용하여 사용자의 위치에 최적화된 부가데이터를 생성하는 방법을 알 수 있다.
일실시예에 따르면, 부가 데이터 생성 장치(500)의 기하학 모델링 모듈(510)은 부가데이터를 제공하고자 하는 정해진 좌석이 있는 극장이나 공연장과 같은 환경에 대해, 각 좌석 위치와 미디어 디스플레이 평면과의 기하학 관계를 사전에 모델링할 수 있다.
또한, 사용자 위치정보 입력 모듈(520)은 사용자로부터 유선 또는 무선으로 전송되는 사용자 정보를 입력 받는 기능을 수행할 수 있다.
또한, 사용자 부가데이터 생성 모듈(530)은 전달받은 사용자의 고유ID와 위치 정보를 이용해 사용자에게 제공해야 할 부가 데이터를 선택하고, 부가데이터에 기하학 모델링을 적용하여 사용자가 해당 좌석 위치에서 보게 될 최적의 증강 현실 부가데이터를 생성할 수 있다.
또한, 사용자 부가데이터 전송 모듈(215)은, 생성된 사용자 맞춤 부가데이터를 현재 재생될 미디어와 동기화를 맞춰 각각의 사용자들의 착용형 디스플레이에 전송할 수 있다.
도 6은 일실시예에 따른 착용형 디스플레이로서, 부가데이터 렌더링부를 나타내는 것이다.
도 6을 참조하면, 사용자를 인지하고 사용자의 위치에 맞게 변형된 부가 데이터를 전송 받아 이를 렌더링하기 위한 착용형 디스플레이의 사용자 부가 데이터 렌더링부(600)의 동작을 알 수 있다.
일실시예에 따르면, 부가데이터 생성 장치로부터 동기화 신호를 포함하여 전송된 부가 데이터는 착용형 디스플레이의 데이터 수신모듈(610)을 통해 실시간 수신될 수 있다. 일단 수신 받은 부가데이터는 일차로 부가 데이터 렌더링 모듈(640)이 착용형 디스플레이의 화면상으로 렌더링할 수 있다.
이때, 부가 데이터 생성 장치에 의하여, 사용자의 좌석 위치를 기준으로 부가 데이터는 기하학 처리가 되었지만, 사람마다 신장이나 기타 환경요인이 다르기 때문에, 일차적으로 렌더링된 부가 데이터는, 사용자를 고려하여 위치 보정 과정이 수행될 수 있다.
이를 위한 보정은, 부가데이터 기하정보 보정 모듈(620)에 의해 수행될 수 있다. 부가 데이터 생성장치에 의하여 일차적으로 기하 보정된 부가 데이터는, 착용형 디스플레이에 의하여 렌더링된 후, 2차 수정되어 현실의 디스플레이와 기하학적으로 일치된 증강 현실에 이용될 수 있다.
하지만, 미디어 시청 도중 사용자의 머리 위치, 방향 등이 변경될 수 있으므로, 이를 고려하여, 사용자 위치 및 자세 추정 모듈(630)은, 디스플레이에 부착된 센서 등을 이용하여 사용자의 사소한 자세나 방향 등의 변화를 감지하고 이를 부가데이터 기하정보 보정 모듈(620)에 전달할 수 있다. 또한, 부가데이터 기하정보 보정 모듈(620)은, 렌더링되는 부가데이터의 기하학 형태를 변경된 데이터와 연동하여 재수정할 수도 있다.
도 7은 일실시예에 따른 착용형 디스플레이로서, 착용형 디스플레이를 나타내는 블록도이다.
도 7을 참조하면, 착용형 디스플레이(700)는, 위치 정보 전송부(710), 부가 데이터 수신부(720), 부가 데이터 렌더링부(730), 부가 데이터 보정부(740)를 포함하여 구성될 수 있다. 이때, 착용형 디스플레이(700)는, 투명 디스플레이 또는 플렉서블 디스플레이일 수도 있으며, 컴퓨팅 기능을 가지고 있는 디바이스일 수도 있으나, 이에 한정되지는 않는다. 위치 정보 전송부(710), 부가 데이터 수신부(720), 부가 데이터 렌더링부(730), 부가 데이터 보정부(740)는, 센서, 전자 회로, 전기 회로, 집적 회로 중 적어도 하나를 포함하여 구성될 수도 있다. 또한, 위치 정보 전송부(710), 부가 데이터 수신부(720), 부가 데이터 렌더링부(730), 부가 데이터 보정부(740)는, 프로세서, 메모리, 데이터 송수신기 중 적어도 하나를 포함할 수도 있으나, 이에 한정되지는 않는다. 또한, 경우에 따라서, 위치 정보 전송부(710), 부가 데이터 수신부(720), 부가 데이터 렌더링부(730), 부가 데이터 보정부(740)는, 사용자 위치정보 입력 모듈, 착용형 디스플레이 고유정보 생성 모듈, 착용형 디스플레이 정보 전송 모듈, 사용자 부가데이터 수신모듈, 부가데이터 기하정보 보정 모듈, 사용자 위치 및 자세 추정 모듈, 부가데이터 렌더링 모듈 중 적어도 하나를 포함하여 구성될 수도 있다.
위치 정보 전송부(710)는, 착용형 디스플레이의 위치 정보를 전송할 수 있다.
부가 데이터 수신부(720)는, 위치 정보를 이용하여 생성된 부가 데이터를 수신할 수 있다.
부가 데이터 렌더링부(730)는, 부가 데이터를 착용형 디스플레이상에서 렌더링할 수 있다.
부가 데이터 보정부(740)는, 부가 데이터의 착용형 디스플레이상의 위치 또는 형태를 보정할 수 있다.
구체적으로, 부가 데이터 보정부(740)는, 사용자의 자세 또는 시선 방향의 변경이 발생할 경우, 착용형 디스플레이의 자세 또는 방향을 센싱하여 부가 데이터의 위치 또는 형태를 보정할 수 있다.
도 8은 일실시예에 따른 부가 데이터 생성 장치가 수행하는 부가데이터 제공 방법을 나타내는 흐름도이다.
도 8을 참조하면, 부가 데이터 생성 장치가 수행하는 부가데이터 제공 방법은 하기와 같은 단계를 포함하여 구성될 수 있다.
단계(S801)에서, 부가 데이터 생성 장치는, 착용형 디스플레이의 위치 정보를 수신할 수 있다.
단계(S802)에서, 부가 데이터 생성 장치는, 위치 정보를 이용하여 부가 데이터를 생성할 수 있다.
구체적으로, 부가 데이터 생성 장치는, 착용형 디스플레이의 위치 정보와 공공의 미디어 재생 화면 또는 무대의 위치 정보를 이용하여 사용자의 시각을 고려하여 부가 데이터를 생성할 수 있다.
단계(S803)에서, 부가 데이터 생성 장치는, 생성한 부가 데이터를 송신 할 수 있다.
도 9는 일실시예에 따른 부가 데이터 생성 장치로서, 부가 데이터 생성 장치를 나타내는 블록도이다.
도 9를 참조하면, 부가 데이터 생성 장치(900)는, 위치 정보 수신부(910), 부가 데이터 생성부(920), 부가 데이터 송신부(930)를 포함하여 구성될 수 있다. 이때, 부가 데이터 생성 장치(900)는 서버와 같은 컴퓨팅 디바이스일 수도 있으나, 이에 한정되지는 않는다. 또한, 위치 정보 수신부(910), 부가 데이터 생성부(920), 부가 데이터 송신부(930)는, 프로세서, 메모리, 데이터 송수신기 중 적어도 하나를 포함할 수도 있다. 또한, 위치 정보 수신부(910), 부가 데이터 생성부(920), 부가 데이터 송신부(930)는, 센서, 전자 회로, 전기 회로, 집적 회로 중 적어도 하나를 포함하여 구성될 수도 있으나, 이에 한정되지는 않는다. 또한, 경우에 따라서, 위치 정보 수신부(910), 부가 데이터 생성부(920), 부가 데이터 송신부(930)는, 사용자 위치 정보 입력 모듈, 착용형 디스플레이 고유정보 생성 모듈, 사용자 부가데이터 생성모듈, 사용자 부가 데이터 전송 모듈 중 적어도 하나를 포함하여 구성될 수도 있다.
위치 정보 수신부(910)는, 착용형 디스플레이의 위치 정보를 수신할 수 있다.
부가 데이터 생성부(920)는, 위치 정보를 이용하여 부가 데이터를 생성 할 수 있다.
구체적으로, 부가 데이터 생성부(920)는, 착용형 디스플레이의 위치 정보와 공공의 미디어 재생 화면 또는 무대의 위치 정보를 이용하여 사용자의 시각을 고려하여 부가 데이터를 생성할 수 있다.
부가 데이터 송신부(930)는, 생성한 부가 데이터를 송신할 수 있다.
상기에서 설명한 바와 같이, 부가 데이터 제공 방법으로서, 극장이나 공연장 같이 사용자의 좌석이 고정되어 있는 장소에서 카메라 없이 사용자의 위치에 따라 현재 시청하는 미디어와 연관된 증강 현실 부가 데이터를 제공할 수 있다.
부가 데이터 제공 방법으로서, 극장과 같이 복수의 사용자가 이용하며 좌석의 위치가 일정한 미디어시청 환경에서, 착용형 디스플레이를 이용한 증강 현실을 제공하고자 할 경우 카메라를 이용하지 않고 사용자의 위치 정보를 획득할 수 있다. 또한, 이를 바탕으로 부가데이터에 기하학적 변형을 가해 부가 데이터 렌더링 장치로 전송할 수도 있다.
또한, 부가 데이터 제공 방법으로서, 전송 받은 착용형 디스플레이 장치의 위치값과 고유 기기번호를 기반으로 미디어의 재생환경과의 기하학 위치를 계산하여 사용자에게 미디어 재생 면과 시각적으로 일치화 된 부가 데이터를 제공할 수 있는 효과가 있다.
또한, 부가 데이터 제공 방법으로서, 착용형 디스플레이 장치로 전송된 부가데이터 재생 시 사용자의 자세나 방향 등이 변경될 경우 렌더링 되고 있는 부가데이터를 사용자의 자세 및 방향 변경에 연동하여 기하학적으로 보정하는 화면출력 장치를 제공할 수 있는 효과가 있다.
또한, 부가 데이터 제공 방법으로서, 착용형 디스플레이를 이용하여 현실 영상과 부가 데이터를 재생하는 증강 현실 서비스 구현 시 카메라를 이용하지 않고 지정된 좌석 위치와 착용형 디스플레이의 고유기기 ID를 이용할 수 있다. 또한, 극장이나 공연장에서 다양한 외국인을 위한 자막서비스, 청각 장애인을 위한 수화 영상 서비스 등의 부가데이터를 제공할 수 있다는 효과가 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (1)

  1. 착용형 디스플레이가 수행하는 부가데이터 제공 방법에 있어서,
    상기 착용형 디스플레이의 위치 정보를 전송하는 단계;
    상기 위치 정보를 이용하여 생성된 부가 데이터를 수신하는 단계;
    상기 부가 데이터를 상기 착용형 디스플레이상에서 렌더링하는 단계;
    를 포함하는 부가데이터 제공 방법.
KR1020150014579A 2015-01-29 2015-01-29 부가 데이터 제공 방법 및 부가 데이터 생성 장치 및 착용형 디스플레이 KR20160093481A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150014579A KR20160093481A (ko) 2015-01-29 2015-01-29 부가 데이터 제공 방법 및 부가 데이터 생성 장치 및 착용형 디스플레이

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150014579A KR20160093481A (ko) 2015-01-29 2015-01-29 부가 데이터 제공 방법 및 부가 데이터 생성 장치 및 착용형 디스플레이

Publications (1)

Publication Number Publication Date
KR20160093481A true KR20160093481A (ko) 2016-08-08

Family

ID=56711933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150014579A KR20160093481A (ko) 2015-01-29 2015-01-29 부가 데이터 제공 방법 및 부가 데이터 생성 장치 및 착용형 디스플레이

Country Status (1)

Country Link
KR (1) KR20160093481A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102258991B1 (ko) * 2020-11-24 2021-06-01 주식회사 에스씨크리에이티브 수어 서비스 제공 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102258991B1 (ko) * 2020-11-24 2021-06-01 주식회사 에스씨크리에이티브 수어 서비스 제공 시스템

Similar Documents

Publication Publication Date Title
EP3343349B1 (en) An apparatus and associated methods in the field of virtual reality
CN109741388B (zh) 用于生成双目深度估计模型的方法和装置
US10887719B2 (en) Apparatus and associated methods for presentation of spatial audio
KR20140068431A (ko) 스마트 글래스 기반 영상 처리 장치 및 방법
US11119567B2 (en) Method and apparatus for providing immersive reality content
US11647354B2 (en) Method and apparatus for providing audio content in immersive reality
EP3276982B1 (en) Information processing apparatus, information processing method, and program
US11662588B2 (en) Spectator view of virtual and physical objects
KR102370376B1 (ko) 영상을 처리하는 방법, 장치 및 기록매체
US20230179756A1 (en) Information processing device, information processing method, and program
JP2018500690A (ja) 拡大３ｄ画像を生成するための方法およびシステム
CN109814710B (zh) 数据处理方法、装置及虚拟现实设备
JP5818322B2 (ja) 映像生成装置、映像生成方法及びコンピュータプログラム
CN109996060B (zh) 一种虚拟现实影院系统及信息处理方法
KR20160093481A (ko) 부가 데이터 제공 방법 및 부가 데이터 생성 장치 및 착용형 디스플레이
JP6515512B2 (ja) 表示装置、表示装置のキャリブレーション方法、およびキャリブレーションプログラム
Carvalho et al. Head tracker using webcam for auralization
JP6651231B2 (ja) 携帯情報端末、情報処理装置、及びプログラム
JP2019074881A (ja) 画像生成装置および画像生成方法
KR20180042094A (ko) 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치
JP6921204B2 (ja) 情報処理装置および画像出力方法
US20210297649A1 (en) Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
WO2021095537A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
EP4124053A1 (en) Display system and method
US20220232201A1 (en) Image generation system and method