KR20160108158A - 3차원 배경 콘텐트를 합성하는 방법 및 디바이스 - Google Patents

3차원 배경 콘텐트를 합성하는 방법 및 디바이스 Download PDF

Info

Publication number
KR20160108158A
KR20160108158A KR1020160022829A KR20160022829A KR20160108158A KR 20160108158 A KR20160108158 A KR 20160108158A KR 1020160022829 A KR1020160022829 A KR 1020160022829A KR 20160022829 A KR20160022829 A KR 20160022829A KR 20160108158 A KR20160108158 A KR 20160108158A
Authority
KR
South Korea
Prior art keywords
content
dimensional
application
image
stereoscopic
Prior art date
Application number
KR1020160022829A
Other languages
English (en)
Other versions
KR102321364B1 (ko
Inventor
보니 매슈
송인수
나가라자 사스야 프라모드 벨레카르
아쉬시 쿠마르
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160022829A priority Critical patent/KR102321364B1/ko
Priority to US15/061,152 priority patent/US20160261841A1/en
Priority to PCT/KR2016/002192 priority patent/WO2016140545A1/en
Priority to EP16759181.7A priority patent/EP3266201A4/en
Publication of KR20160108158A publication Critical patent/KR20160108158A/ko
Application granted granted Critical
Publication of KR102321364B1 publication Critical patent/KR102321364B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H04N13/0018—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H04N13/0429—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법 및 그 방법을 수행하는 디바이스를 제공한다. 일 실시예에서 디바이스는, 디바이스와 연결된 외부 디바이스로부터 애플리케이션 콘텐트를 수신하고, 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성할 수 있다. 또한, 디바이스는 애플리케이션 콘텐트가 외부 디바이스의 디스플레이부의 제1 영역에 표시되도록 애플리케이션 콘텐트를 제1 영역에 배치하고, 3차원 배경 콘텐트가 외부 디바이스의 디스플레이부의 제2 영역에 표시되도록 3차원 배경 콘텐트를 제2 영역에 배치할 수 있다.

Description

3차원 배경 콘텐트를 합성하는 방법 및 디바이스 {METHOD FOR SYNTHESIZING A 3D BACKGROUD CONTENT AND DEVICE THEREOF}
본 발명은 3차원 배경 콘텐트를 합성하는 방법 및 디바이스에 관한 것으로서, 구체적으로는 애플리케이션 콘텐트에 3차원 입체 몰입 효과(3D immersion effect)를 부가할 수 있는 3차원 배경 콘텐트를 부가하는 애플리케이션 합성과 관한 것이다.
최근의 디바이스 기술은 애플리케이션 콘텐트가 모바일 폰, 태블릿 PC와 같은 2차원 디스플레이 장치에서부터 헤드 마운티드 디스플레이(Head Mount Display, HMD), 3차원 TV와 같은 3차원 디스플레이 장치에 연속되어 표시(seamless display)될 수 있도록 발전하고 있다. 3차원 디스플레이 장치 상에서 연속되어 표시되는 경우 3차원 몰입 효과(3D immersion effect)를 발생시키는 3차원 배경 콘텐트가 합성될 수 있는 사진 애플리케이션, 동영상 재생 애플리케이션과 같은 애플리케이션에서, 애플리케이션의 프레임(frames)의 수정(modification)이 요구된다. 특히 2차원의 비입체적 프레임은 3차원 몰입 효과를 부가하기 위하여 입체적 프레임으로 변환하기 적합한 3차원 파라미터로 수정될 필요가 있다.
애플리케이션 콘텐트에 3차원 배경 콘텐트를 부가하는 합성 방법은 디바이스에 연결된 외부 디바이스의 종류 및 애플리케이션의 특성에 따라 각각 특정될 수 있다. 현재는 디바이스에 연결되는 3차원 디스플레이 장치의 유형에 기초하여 애플리케이션을 재작성(rewrite)하는 것이다. 따라서, 현재의 방법은 애플리케이션의 재작성 및 개발에 시간이 많이 소비되고, 연결된 3차원 디스플레이 장치에 따라 특정된 양질의 사용자 경험을 제공할 수 없다.
본 개시의 일 실시예는 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하여 출력 입체 콘텐트를 생성하고, 생성된 출력 입체 콘텐트를 외부 디바이스에 전송하여 출력 입체 콘텐트를 외부 디바이스를 통해 표시함으로써, 사용자에게 3차원 몰입 효과를 제공하는 방법 및 디바이스를 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 디바이스와 연결된 외부 디바이스로부터 2차원 비입체 콘텐트인 애플리케이션 콘텐트를 수신하는 단계; 3차원 입체 이미지 및 3차원 입체 동영상 중 적어도 하나를 포함하는 상기 3차원 배경 콘텐트를 상기 애플리케이션 콘텐트에 합성하여 출력 입체 콘텐트를 생성하는 단계; 및 상기 출력 입체 콘텐트를 상기 외부 디바이스에 전송하는 단계; 를 포함하고, 상기 출력 입체 콘텐트를 생성하는 단계는, 상기 애플리케이션 콘텐트를 상기 외부 디바이스의 디스플레이부의 제1 영역에 표시되도록 배치하고, 상기 3차원 배경 콘텐트를 상기 디스플레이부의 제2 영역에 표시되도록 배치하는 것인, 디바이스가 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 제공한다.
예를 들어, 상기 출력 입체 콘텐트를 생성하는 단계는 상기 3차원 배경 콘텐트가 상기 애플리케이션 콘텐트의 주변을 둘러싸도록 배치할 수 있다.
예를 들어, 상기 외부 디바이스는 헤드 마운티드 디스플레이 장치(Head Mounted Device, HMD) 및 3차원 TV 중 어느 하나일 수 있다.
예를 들어, 상기 3차원 배경 콘텐트는 3차원 게임 경기장 이미지, 3차원 영화관 이미지, 3차원 사진 전시장(gallery) 이미지, 3차원 음악 공연장 이미지 및 3차원 스포츠 경기장 이미지 중 적어도 하나의 입체적 가상 현실 이미지를 포함할 수 있다.
예를 들어, 상기 외부 디바이스의 종류를 식별하는 단계; 를 더 포함하고, 상기 3차원 배경 콘텐트를 부가하는 단계는, 상기 식별된 외부 디바이스의 종류에 기초하여 상기 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 적어도 하나를 상기 애플리케이션 콘텐트에 부가하는 단계; 를 포함할 수 있다.
예를 들어, 상기 식별된 외부 디바이스는 HMD 장치이고, 상기 출력 입체 콘텐트를 생성하는 단계는 상기 애플리케이션 콘텐트의 표시 영역이 상기 HMD 장치의 렌즈부와 동일한 형태를 갖도록 상기 애플리케이션 콘텐트를 렌더링하는 단계; 상기 렌더링된 애플리케이션 콘텐트를 상기 HMD 장치의 디스플레이부의 전체 영역 중 상기 렌즈부에 대응되는 상기 제1 영역에 배치하는 단계; 및 상기 디스플레이부의 전체 영역 중 상기 제1 영역을 제외한 영역인 상기 제2 영역에 상기 3차원 배경 콘텐트를 배치하는 단계; 를 포함할 수 있다.
예를 들어, 상기 식별된 외부 디바이스는 3D TV이고, 상기 출력 입체 콘텐트를 생성하는 단계는 상기 애플리케이션 콘텐트를 3차원 애플리케이션 콘텐트로 변환하는 제1 렌더링을 수행하는 단계; 및 상기 변환된 3차원 애플리케이션 콘텐트를 상기 3D TV의 디스플레이부 상의 제1 영역에 표시되도록 변환하는 제2 렌더링을 수행하는 단계; 를 포함할 수 있다.
예를 들어, 상기 애플리케이션 콘텐트를 실행하는 애플리케이션의 종류, 상기 애플리케이션 콘텐트에 포함되는 이미지의 프레임(frame) 수, 프레임 레이트(frame rate) 및 사운드 출력 여부 중 적어도 하나를 포함하는 애플리케이션의 특성을 분석하는 단계; 를 더 포함하고, 상기 출력 입체 콘텐트를 생성하는 단계는 상기 분석된 애플리케이션 콘텐트의 특성에 기초하여, 상기 애플리케이션 콘텐트에 대응되는 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 어느 하나를 상기 애플리케이션 콘텐트에 합성할 수 있다.
예를 들어, 상기 3차원 배경 콘텐트는 상기 디바이스의 메모리에 저장되고, 상기 출력 입체 콘텐트를 생성하는 단계는 상기 메모리에 저장된 상기 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 어느 하나의 3차원 배경 콘텐트를 선택하는 단계; 및 상기 선택된 3차원 배경 콘텐트를 상기 애플리케이션 콘텐트에 합성하는 단계; 를 포함할 수 있다.
예를 들어, 상기 메모리에 저장된 상기 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 어느 하나를 선택하는 사용자 입력을 수신하는 단계; 를 더 포함하고, 상기 출력 입체 콘텐트를 생성하는 단계는 상기 사용자 입력에 기초하여 선택된 상기 3차원 배경 콘텐트를 상기 애플리케이션 콘텐트에 합성할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 디바이스와 연결된 외부 디바이스로부터 2차원 비입체 콘텐트인 애플리케이션 콘텐트를 수신하는 통신부; 및 3차원 입체 이미지 및 3차원 입체 동영상 중 적어도 하나를 포함하는 상기 3차원 배경 콘텐트를 상기 애플리케이션 콘텐트에 합성하여 출력 입체 콘텐트를 생성하고, 상기 애플리케이션 콘텐트를 상기 외부 디바이스의 디스플레이부의 제1 영역에 표시되도록 배치하고, 상기 3차원 배경 콘텐트를 상기 디스플레이부의 제2 영역에 표시되도록 배치하는 제어부; 를 포함하고, 상기 통신부는 상기 출력 입체 콘텐트를 상기 외부 디바이스에 전송하는 것인, 3차원 배경 콘텐트를 합성하는 디바이스를 제공한다.
예를 들어, 상기 제어부는 상기 3차원 배경 콘텐트를 상기 제1 영역을 둘러싸는 상기 제2 영역에 배치할 수 있다.
예를 들어, 상기 외부 디바이스는 헤드 마운티드 디스플레이 장치(Head Mounted Device, HMD) 및 3차원 TV 중 어느 하나일 수 있다.
예를 들어, 상기 3차원 배경 콘텐트는 3차원 게임 경기장 이미지, 3차원 영화관 이미지, 3차원 사진 전시장(gallery) 이미지, 3차원 음악 공연장 이미지 및 3차원 스포츠 경기장 이미지 중 적어도 하나의 입체적 가상 현실 이미지를 포함할 수 있다.
예를 들어, 상기 제어부는 상기 외부 디바이스의 종류를 식별하고, 상기 식별된 외부 디바이스의 종류에 기초하여 상기 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 적어도 하나를 상기 애플리케이션 콘텐트에 부가하여 합성할 수 있다.
예를 들어, 상기 식별된 외부 디바이스는 HMD 장치이고, 상기 제어부는 상기 HMD 장치의 디스플레이부의 전체 영역 중 상기 HMD 장치의 렌즈부와 동일한 형태를 갖는 상기 제1 영역에 상기 애플리케이션 콘텐트를 배치하고, 상기 HMD 장치의 디스플레이부의 전체 영역 중 상기 제1 영역을 제외한 영역인 상기 제2 영역에 상기 3차원 배경 콘텐트를 배치할 수 있다.
예를 들어, 상기 식별된 외부 디바이스는 3D TV이고, 상기 제어부는 상기 애플리케이션 콘텐트를 3차원 애플리케이션 콘텐트로 변환하는 제1 렌더링을 수행하고, 상기 변환된 3차원 애플리케이션 콘텐트를 상기 3D TV의 디스플레이부 상의 제1 영역에 표시되도록 변환하는 제2 렌더링을 수행할 수 있다.
예를 들어, 상기 제어부는 상기 애플리케이션 콘텐트를 실행하는 애플리케이션의 종류, 상기 애플리케이션 콘텐트에 포함되는 이미지의 프레임(frame) 수, 프레임 레이트(frame rate) 및 사운드 출력 여부 중 적어도 하나를 포함하는 애플리케이션 콘텐트의 특성을 분석하고, 상기 분석된 애플리케이션의 특성에 기초하여 상기 애플리케이션 콘텐트에 대응되는 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 어느 하나를 상기 애플리케이션 콘텐트에 합성할 수 있다.
예를 들어, 상기 3차원 배경 콘텐트를 저장하는 메모리; 를 더 포함하고, 상기 제어부는, 상기 메모리에 저장된 상기 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 어느 하나의 3차원 배경 콘텐트를 선택하고, 상기 선택된 3차원 배경 콘텐트를 상기 애플리케이션 콘텐트에 합성할 수 있다.
예를 들어, 상기 메모리에 저장된 상기 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 어느 하나를 선택하는 사용자 입력을 수신하는 사용자 입력부; 를 더 포함하고, 상기 제어부는 상기 사용자 입력에 기초하여 선택된 상기 3차원 배경 콘텐트를 상기 애플리케이션 콘텐트에 합성할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 컴퓨터로 읽을 수 있는 기록매체는 전술된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성 요소 (structural elements)를 의미한다.
도 1은 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하여 출력 입체 콘텐트를 생성하고, 출력 입체 콘텐트를 디바이스에 연결된 외부 디바이스에 전송하는 방법을 설명하는 개념도이다.
도 2는 본 개시의 일 실시예에 따른 디바이스의 구성 요소를 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하여 출력 입체 콘텐트를 생성하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 디바이스가 외부 디바이스의 종류에 기초하여 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 흐름도이다.
도 5a 내지 도 5e는 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트의 특성에 기초하여 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 도면들이다.
도 6은 본 개시의 일 실시예에 따른 디바이스가 HMD 장치와 연결된 경우 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 흐름도이다.
도 7a 및 도 7b는 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트의 특성에 기초하여 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 도면들이다.
도 8은 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트의 특성에 기초하여 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 디바이스의 구성 요소를 도시한 블록도이다.
도 10은 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트의 종류와 합성되는 3차원 배경 콘텐트 간의 관계를 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 디바이스의 구성 요소를 도시한 블록도이다.
도 12는 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 흐름도이다.
도 13은 본 개시의 일 실시예에 따른 디바이스의 구성 요소를 도시한 블록도이다.
도 14는 본 개시의 일 실시예에 따른 디바이스가 디바이스를 사용하는 사용자의 식별 정보에 기초하여 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 본 명세서에서 디바이스는 예를 들어, 모바일 폰, 스마트 폰, 휴대폰, 태블릿 컴퓨터(Tablet PC), PDA(personal digital assistant), 랩톱 컴퓨터(Laptop computer), 미디어 플레이어, PC, GPS(global positioning system) 장치, 디지털 카메라, 게임 콘솔 장치(game console), 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 일 실시예에서, 디바이스는 2차원 비입체 애플리케이션 콘텐트를 표시하는 디스플레이 장치일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 외부 디바이스는 3차원 입체 콘텐트를 표시할 수 있는 디스플레이 장치일 수 있다. 외부 디바이스는 예를 들어, HMD 장치, 웨어러블 글래스(wearable glass), 및 3차원 TV 중 적어도 하나일 수 있으나, 이에 제한되지 않는다.
또한, 본 명세서에서, 애플리케이션 콘텐트(application content)는 디바이스가 외부 디바이스로부터 수신하고, 외부 디바이스에 의해 수행되는 애플리케이션을 통해 표시되는 콘텐트일 수 있다. 예를 들어, 애플리케이션 콘텐트는 사진 애플리케이션에서 재생되는 이미지, 동영상 애플리케이션에서 재생되는 비디오, 게임 애플리케이션에서 플레이되는 게임, 및 음악 애플리케이션에서 재생되는 음악 중 적어도 하나를 포함할 수 있으나, 이에 제한되는 것은 아니다.
또한, 본 명세서에서, 3차원 배경 콘텐트는 디바이스에 의해 애플리케이션 콘텐트에 합성되는 3차원 입체 콘텐트일 수 있다. 예를 들어, 3차원 배경 콘텐트는 3차원 입체 이미지, 3차원 입체 동영상, 및 3차원 가상 현실 이미지 중 적어도 하나를 포함할 수 있으나, 이에 제한되는 것은 아니다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 디바이스(100)가 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하여 출력 입체 콘텐트를 생성하고, 출력 입체 콘텐트를 디바이스에 연결된 외부 디바이스에 전송하는 방법을 설명하는 개념도이다.
도 1을 참조하면, 디바이스(100)는 외부 디바이스(110, 120)들과 연결될 수 있다. 일 실시예에서, 디바이스(100)는 HMD 장치(110)와 연결되거나 또는 3D TV(120)와 연결될 수 있다. 일 실시예에서, 디바이스(100)는 연결된 외부 디바이스(110, 120)의 종류 또는 장치 유형을 식별할 수 있다.
디바이스(100)는 적어도 하나의 외부 디바이스(110, 120)로부터 애플리케이션 콘텐트를 수신할 수 있다. 일 실시예에서, 디바이스(100)는 HMD 장치(110)로부터 게임 콘텐트, 이미지 콘텐트, 동영상 콘텐트 및 음악 콘텐트 중 적어도 하나를 수신할 수 있다. 일 실시예에서, 디바이스(100)는 3D TV(120)으로부터 3차원 입체 이미지 콘텐트 또는 3차원 입체 동영상 콘텐트를 수신할 수 있다. 일 실시예에서, 애플리케이션 콘텐트는 2차원의 비입체 콘텐트일 수 있으나, 이에 제한되는 것은 아니다.
디바이스(100)는 외부 디바이스(110, 120)로부터 수신한 애플리케이션 콘텐트에 3차원 배경 콘텐트를 부가하여 합성할 수 있다. 디바이스(100)는 애플리케이션 콘텐트와 3차원 배경 콘텐트를 포함하는 출력 입체 콘텐트를 생성할 수 있다.
디바이스(100)는 3차원 배경 콘텐트가 부가된 애플리케이션 콘텐트를 통해 외부 디바이스(110, 120)의 종류 또는 유형에 적합하도록 동적으로(dynamically) 출력 입체 콘텐트를 생성할 수 있다. 또한, 디바이스(100)는 외부 디바이스(110, 120)에 애플리케이션 콘텐트 및 3차원 배경 콘텐트를 표시할 수 있다.
예를 들어, 디바이스(100)에 HMD 장치(110)와 연결되는 경우, 디바이스(100)는 애플리케이션 콘텐트가 HMD 장치(110)의 디스플레이부(112)의 제1 영역(114)에 표시되고, 3차원 배경 콘텐트가 HMD 장치(110)의 디스플레이부(112)의 제2 영역(116)에 표시되도록 배치할 수 있다. 디바이스(100)는 애플리케이션 콘텐트 프레임의 형태를 HMD 장치(110)의 렌즈부의 형태와 대응되도록 변환(conversion)하는 렌더링을 수행할 수 있다. 이 경우, 애플리케이션 콘텐트는 HMD 장치(110)의 렌즈부의 형태에 대응되는 HMD 장치(110)의 디스플레이부(112)의 제1 영역(114)에 표시될 수 있다.
예를 들어, 디바이스(100)가 3D TV(120)에 연결되는 경우, 디바이스(100)는 2차원 비입체 콘텐트인 애플리케이션 콘텐트를 3차원 애플리케이션 콘텐트로 렌더링할 수 있다. 또한, 디바이스(100)는 3차원 애플리케이션 콘텐트가 3D TV(120)의 디스플레이부(122)의 제1 영역(124)에 표시되고, 3차원 배경 콘텐트가 3D TV(120)의 제2 영역(126)에 표시되도록 배치할 수 있다.
일 실시예에서, 디바이스(100)는 애플리케이션 콘텐트의 특성에 기초하여, 애플리케이션 콘텐트에 부가되어 합성되는 3차원 배경 콘텐트를 생성할 수 있다. 다른 실시예에서, 디바이스(100)는 외부 디바이스(110, 120)로부터 수신한 애플리케이션 콘텐트의 특성에 기초하여 기 저장된 3차원 배경 콘텐트 중 어느 하나를 선택할 수도 있다. 예를 들어, 애플리케이션 콘텐트가 게임 콘텐트인 경우, 디바이스(100)는 게임 콘텐트의 프레임의 수, 프레임 레이트(frame rate), 프레임의 내용 등을 분석하여 게임 경기장 이미지(game arena image), 3차원 관중 이미지 등을 포함하는 3차원 배경 콘텐트를 선택하여 애플리케이션 콘텐트에 합성할 수 있다. 또한, 예를 들어 애플리케이션 콘텐트가 영화 콘텐트인 경우, 디바이스(100)는 영화 콘텐트를 재생하는 애플리케이션의 종류를 분석하고, 영화 콘텐트에 3차원 영화관 이미지를 선택하여 합성할 수 있다.
본 개시의 일 실시예에 따른 디바이스(100)는, 디바이스(100)와 연결된 외부 디바이스(110, 120)로부터 애플리케이션 콘텐트를 수신하고, 애플리케이션 콘텐트에 3차원 배경 콘텐트를 부가하여 합성함으로써, 사용자에게 특정 애플리케이션 콘텐트에 대한 3차원 몰입 효과(3-Dimensional immersion effect)를 제공할 수 있다. 예를 들어, HMD 장치(110)가 디바이스(100)에 연결되는 경우, 디바이스(100)는 HMD 장치(110)의 디스플레이부(112)의 제1 영역(114)에 영화 콘텐트를 표시함과 동시에 HMD 장치(110)의 디스플레이부(112)의 제2 영역(116)에 3차원 배경 콘텐트인 3차원 극장 이미지를 표시함으로써, 사용자가 극장에서 영화를 보는 것과 같은 3차원 몰입 효과를 제공할 수 있다.
도 2는 본 개시의 일 실시예에 따른 디바이스(200)의 구성 요소를 도시한 블록도이다.
도 2를 참조하면, 디바이스(200)는 통신부(210), 제어부(220) 및 메모리(230)를 포함할 수 있다.
통신부(210)는 디바이스(200)를 하나 또는 그 이상의 외부 디바이스, 다른 네트워크 노드, 웹 서버, 및 외부 데이터 서버 등과 연결할 수 있다. 일 실시예에서, 통신부(210)는 디바이스(200)와 연결된 외부 디바이스로부터 애플리케이션 콘텐트를 수신할 수 있다. 통신부(210)는 디바이스(200)와 외부 디바이스 사이를 유선 및/또는 무선으로 서로 연결할 수 있다. 통신부(210)는 랜(LAN), UTP 케이블, 광 케이블, 동축 케이블 등을 사용하는 유선 통신 또는 무선 랜(wireless LAN), 셀룰러 통신, 장치 간 통신(D2D) 네트워크, 와이파이(Wi-Fi), 블루투스(Bluetooth), BLE(Bluetooth Low Energy), NFC(Near Field Communication), RFID(Radio Frequency Identification) 네트워크 등을 포함하는 무선 통신 방법을 사용하여 디바이스(200)와 연결된 외부 디바이스 또는 데이터 서버 등과 데이터 통신을 수행할 수 있다.
일 실시예에서, 통신부(210)는 애플리케이션 콘텐트의 특성에 기초하여 제어부(220)에 의해 선택된 3차원 배경 콘텐트를 데이터 서버로부터 수신할 수 있다.
제어부(220)는 통신부(210)에 의해 수신된 애플리케이션 콘텐트에 3차원 입체 이미지 및 3차원 입체 동영상 중 적어도 하나를 포함하는 3차원 배경 콘텐트를 부가하여 합성하는 데이터 프로세싱 및/또는 연산 처리 능력을 갖는 프로세서(processor)로 구성될 수 있다. 제어부(220)는 하나 또는 그 이상의 마이크로 프로세서(microprocessor), 마이크로 컴퓨터, 마이크로 컨트롤러, 디지털 신호 처리부(Digital Signal Processing unit), 중앙 처리 장치(Central Processing Unit, CPU), 상태 기계(State Machine), 연산 회로, 및/또는 동작 명령에 기초하여 신호를 처리 또는 조작할 수 있는 다른 장치로 구성될 수 있다. 다만, 상기 나열된 예시로 한정되는 것은 아니고, 제어부(220)는 같은 종류 및/또는 다른 종류의 멀티 코어, 서로 다른 종류의 복수의 CPU, 가속 기능을 갖는 그래픽 프로세서(Graphic Processing Unit, GPU) 등으로 구성될 수도 있다. 일 실시예에서, 제어부(220)는 메모리(230)에 저장되는 컴퓨터에 의해 실행되는 프로그램 모듈 및 알고리즘을 포함하는 소프트웨어를 실행할 수도 있다.
제어부(220)는 외부 디바이스로부터 수신한 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하여 애플리케이션 콘텐트 및 3차원 배경 콘텐트를 포함하는 출력 입체 콘텐트를 생성할 수 있다. 일 실시예에에서, 제어부(220)는 애플리케이션 콘텐트를 외부 디바이스의 디스플레이부의 제1 영역에 표시되도록 배치하고, 3차원 배경 콘텐트를 외부 디바이스의 디스플레이부의 제2 영역에 표시되도록 배치할 수 있다. 일 실시예에서, 제어부(220)는 외부 디바이스의 디스플레이부 상에서 3차원 배경 콘텐트가 애플리케이션 콘텐트의 주변을 둘러싸는 제2 영역에 표시되도록 애플리케이션 콘텐트와 3차원 배경 콘텐트를 합성할 수 있다. 제어부(220)는 메모리(230)에 저장되는 운영 체제에 포함되는 소프트웨어, 예컨대, 윈도우 매니져(Window Manager) 및 애플리케이션 서피스 합성기(Surface Compositor)를 사용하여 애플리케이션 콘텐트에 3차원 배경 콘텐트를 부가하여 합성할 수 있다.
제어부(220)는 디바이스(200)와 연결된 외부 디바이스의 종류 또는 유형(type)을 식별하고, 식별된 외부 디바이스의 종류 또는 유형에 기초하여 3차원 입체 이미지 및 상기 3차원 입체 동영상을 포함하는 3차원 배경 콘텐트 중 적어도 하나를 애플리케이션 콘텐트에 부가하여 합성할 수 있다. 일 실시예에서, 제어부(220)는 디바이스(200)와 연결된 외부 디바이스가 HMD 장치인 경우, HMD 장치의 디스플레이부의 전체 영역 중 HMD 장치의 렌즈부와 동일한 형태를 갖는 제1 영역에 애플리케이션 콘텐트를 배치하고, HMD 장치의 디스플레이부의 전체 영역 중 제1 영역을 제외한 영역인 제2 영역에 3차원 배경 콘텐트를 배치시킬 수 있다.
제어부(220)는 2차원 비입체 콘텐트인 애플리케이션 콘텐트를 3차원 입체 콘텐트로 렌더링할 수 있다. 일 실시예에서, 제어부(220)는 디바이스(200)와 연결된 외부 디바이스가 3D TV인 경우, 애플리케이션 콘텐트를 3차원 애플리케이션 콘텐트로 변환하는 제1 렌더링을 수행하고, 3차원 애플리케이션 콘텐트를 3D TV의 디스플레이부 상의 제1 영역에 표시되도록 변환하는 제2 렌더링을 수행할 수 있다.
메모리(230)는 제어부(220)에서 수행되는 태스크, 예컨대 애플리케이션 콘텐트와 3차원 배경 콘텐트의 합성하는 태스크, 2차원 비입체 애플리케이션 콘텐트의 3차원 렌더링하는 태스크 및 애플리케이션 콘텐트와 3차원 배경 콘텐트가 외부 디바이스의 디스플레이부에서 표시되는 영역을 결정하는 태스크의 구현에 요구되는 명령(instruction) 및 코드(code)를 포함하는 알고리즘, 프로그램 모듈 또는 소프트웨어를 저장할 수 있다.
메모리(230)는 휘발성 메모리(예컨대, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 및 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 메모리(230)는 데이터 베이스를 포함할 수도 있다.
일 실시예에서, 메모리(230)는 예시적인 3차원 입체 이미지 및 예시적인 3차원 입체 동영상을 저장할 수 있다. 여기서, 예시적인 3차원 입체 이미지 및 예시적인 3차원 입체 동영상은 애플리케이션 콘텐트의 특성에 기초하여 기 설정된 유형의 이미지 및 동영상일 수 있다. 예컨대, 메모리(230)에 저장된 예시적인 3차원 입체 이미지는 3차원 게임 경기장 이미지, 3차원 영화관 이미지, 3차원 사진 전시장(gallery) 이미지, 3차원 음악 공연장 이미지 및 3차원 스포츠 경기장 이미지 중 적어도 하나를 포함하는 입체적 가상 현실 이미지일 수 있다. 예컨대, 메모리(230)에 저장되는 예시적인 3차원 입체 동영상은 3차원 관중 동영상 및 3차원 음악 공연장 연주 동영상을 포함하는 입체적 가상 현실 동영상일 수 있다.
도 3은 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하여 3차원 출력 콘텐트를 생성하는 방법을 설명하기 위한 흐름도이다.
단계 S310에서, 디바이스는 외부 디바이스로부터 2차원 비입체 콘텐트인 애플리케이션 콘텐트를 수신한다. 일 실시예에서 디바이스는, 디바이스와 유선 및/또는 무선으로 연결된 외부 디바이스로부터 애플리케이션 콘텐트를 수신할 수 있다. 외부 디바이스는 예컨대, HMD 장치 또는 3D TV일 수 있으나 이에 제한되는 것은 아니다. 애플리케이션 콘텐트는 2차원 비입체 콘텐트로서, 예컨대 동영상 재생 애플리케이션에 의해 재생되는 영화 콘텐트, 게임 애플리케이션에 의해 플레이되는 게임 콘텐트, 사진 애플리케이션에 의해 재생되는 이미지 콘텐트 및 음악 애플리케이션에 의해 재생되는 음악 콘텐트 중 적어도 하나를 포함할 수 있다.
단계 S320에서, 디바이스는 애플리케이션 콘텐트와 3차원 입체 콘텐트를 합성하여 출력 입체 콘텐트를 생성한다.
일 실시예에서, 디바이스는 애플리케이션 콘텐트를 외부 디바이스의 디스플레이부의 제1 영역에 표시되도록 배치하고, 3차원 배경 콘텐트를 외부 디바이스의 디스플레이부의 제2 영역에 표시되도록 배치할 수 있다. 일 실시예에서, 디바이스는 3차원 배경 콘텐트가 애플리케이션 콘텐트의 주변을 둘러싸도록 배치할 수 있다.
디바이스는, 디바이스 내의 메모리 또는 외부 데이터 서버로부터 3차원 입체 이미지 및 3차원 입체 동영상 중 어느 하나의 3차원 배경 콘텐트를 선택하고, 선택된 3차원 배경 콘텐트를 메모리 또는 외부 데이터 서버로부터 수신하여 애플리케이션 콘텐트와 합성할 수 있다.
단계 S330에서, 디바이스는 출력 입체 콘텐트를 외부 디바이스에 전송한다. 출력 입체 콘텐트는 애플리케이션 콘텐트와 3차원 입체 콘텐트를 포함한다. 외부 디바이스는 디바이스로부터 출력 입체 콘텐트를 수신하고, 출력 입체 콘텐트 중 애플리케이션 콘텐트는 디스플레이부의 제1 영역에, 3차원 배경 콘텐트는 디스플레이부의 제2 영역에 표시할 수 있다.
도 4는 본 개시의 일 실시예에 따른 디바이스가 외부 디바이스의 종류에 기초하여 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 흐름도이다.
단계 S410에서, 디바이스는 외부 디바이스와의 연결 상태를 인식한다. 디바이스는 일정 시간 간격으로 외부 디바이스와의 연결 상태를 인식할 수 있다. 일 실시예에서 디바이스는, 디바이스에 연결되는 외부 디바이스를 인식하고, 인식된 외부 디바이스를 나타낼 수 있는 VR 헬퍼 서비스(VR Helper Service)를 사용할 수 있다. 일 실시예에서, 디바이스는 외부 디바이스가 연결되지 않았다고 인식하는 경우, 애플리케이션 콘텐트를 수신하거나 3차원 배경 콘텐트를 합성하는 단계를 수행하지 않는다.
단계 S420에서, 디바이스는 연결된 외부 디바이스이 종류를 식별한다. 디바이스는 단계 S410에서 디바이스에 외부 디바이스가 연결되었다고 인식하는 경우, 외부 디바이스의 종류 또는 유형을 식별할 수 있다. 일 실시예에서, 디바이스는 VR 헬퍼 서비스를 사용하여 디바이스에 연결된 외부 디바이스의 종류 또는 유형을 식별할 수 있다. 디바이스는 예컨대, 외부 디바이스의 SSID(Subsystem Identification), 외부 디바이스의 모델 명, 외부 디바이스의 성능 정보, 외부 디바이스가 실행할 수 있는 애플리케이션 콘텐트의 종류 및 외부 디바이스의 디스플레이부 유형 중 적어도 하나를 포함하는 외부 디바이스의 식별 정보를 획득할 수 있다.
일 실시예에서, 디바이스는 외부 디바이스로서, HMD 장치 또는 3D TV를 식별할 수 있다. 다만, 디바이스가 식별할 수 있는 외부 디바이스가 상기 나열된 예시로 한정되는 것은 아니다.
단계 S430에서, 디바이스는 연결된 외부 디바이스로부터 애플리케이션 콘텐트를 수신한다. 일 실시예에서, 애플리케이션 콘텐트는 2차원 비입체 콘텐트일 수 있지만, 이에 한정되는 것은 아니다. 일 실시예에서 디바이스는 유선 및/또는 무선 통신 방법으로 외부 디바이스로부터 애플리케이션 콘텐트를 수신할 수 있다.
단계 S440에서, 디바이스는 식별된 외부 디바이스의 종류에 기초하여 3차원 입체 이미지 및 3차원 입체 동영상 중 적어도 하나를 애플리케이션 콘텐트에 합성한다. 디바이스는 예컨대, 3차원 게임 경기장 이미지, 3차원 영화관 이미지, 3차원 사진 전시장 이미지, 3차원 음악 공연장 이미지 및 3차원 스포츠 경기장 이미지 중 적어도 하나를 포함하는 입체적 가상 현실 이미지를 애플리케이션에 부가할 수 있다. 또한, 디바이스는 예컨대, 3차원 관중 동영상 및 3차원 음악 공연장 연주 동영상을 포함하는 입체적 가상 현실 동영상을 애플리케이션 콘텐트에 부가할 수 있다.
디바이스는, 디바이스와 연결되는 외부 디바이스의 종류에 기초하여, 예컨대 외부 디바이스가 HMD 장치인 경우 또는 3D TV인 경우 애플리케이션에 3차원 배경 콘텐트를 합성하는 방법이 서로 다른바, 이에 대한 구체적인 설명은 도 5a 내지 도 8에 대한 설명 부분에서 상세하게 설명하기로 한다.
도 5a 내지 도 5e는 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트의 특성에 기초하여 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 도면들이다.
도 5a를 참조하면, 디바이스가 HMD 장치(500)와 연결되는 경우, 디바이스는 HMD 장치(500)로부터 게임 콘텐트(511A)를 수신하고, 수신된 게임 콘텐트(511A)에 3차원 배경 콘텐트(512A)를 합성하여 출력 입체 콘텐트를 생성하며, 생성된 출력 입체 콘텐트를 HMD 장치(500)에 전송할 수 있다. HMD 장치(500)는 출력 입체 콘텐트를 디스플레이부(520)에 표시할 수 있다.
일 실시예에서, 디바이스는 게임 콘텐트(511A)의 표시 영역의 형태가 HMD 장치(500)의 디스플레이부(520)의 전체 영역 중 접안 렌즈부의 형태에 대응되는 제1 영역(521)의 형태와 동일하도록 게임 콘텐트(511A)를 렌더링할 수 있다. 즉, 디바이스는 사각형의 형태를 갖는 게임 콘텐트(511A)의 프레임(frame)을 HMD 장치(500)의 디스플레이부(520)의 제1 영역(521)의 둥근 형태로 변형되어 표시하도록 게임 콘텐트(511A)의 프레임을 렌더링하는 렌즈 보정(Lens Correction)을 수행할 수 있다.
또한, 디바이스는 게임 콘텐트(511A)에 대응되는 3차원 배경 콘텐트(512A)를 게임 콘텐트(511A)에 합성할 수 있다. 일 실시예에서, 디바이스는 게임 콘텐트(511A)를 인식하는 경우, 게임 콘텐트(511A)의 특성을 분석하고, 분석된 게임 콘텐트(511A)의 특성에 적합한 3차원 배경 콘텐트(512A)를 게임 콘텐트(511A)에 합성할 수 있다. 예컨대, 게임 콘텐트(511A)가 FPS 게임(First Person Shooter Game)인 경우 디바이스는 게임의 배경이 되는 전쟁터 입체 이미지 또는 전쟁터 배경 동영상을 게임 콘텐트(511A)에 합성할 수 있다. 또 다른 실시예에서, 디바이스는 게임 콘텐트(511A)에 게임 경기장 이미지(Game Arena image)를 합성할 수도 있다.
디바이스는 게임 콘텐트(511A)에 합성되는 3차원 배경 콘텐트(512A)가 HMD 장치(500)의 디스플레이부(520)의 제2 영역(522)에 표시되도록 배치할 수 있다. HMD 장치(500)는 게임 콘텐트(511A)를 디스플레이부(520)의 제1 영역(521)에 표시하고, 디바이스에 의해 합성된 3차원 배경 콘텐트(512A)를 디스플레이부(520)의 제2 영역(522)에 표시할 수 있다.
도 5b를 참조하면, 디바이스는 HMD 장치(500)로부터 스포츠 게임 콘텐트(511B)를 수신할 수 있다. 디바이스는 스포츠 게임 콘텐트(511B)를 인식하고, 스포츠 게임 콘텐트(511B)의 특성을 분석하고, 분석된 스포츠 게임 콘텐트(511B)의 특성에 적합한 3차원 배경 콘텐트(512B), 예컨대 3차원 경기장 이미지(512B)를 스포츠 게임 콘텐트(511B)에 합성할 수 있다. 또한, 디바이스는 스포츠 게임 콘텐트(511B)에 3차원 관중 동영상 콘텐트(512B)를 합성할 수도 있다.
도 5c를 참조하면, 디바이스가 HMD 장치(500)와 연결되는 경우, 디바이스는 HMD 장치(500)로부터 영화 콘텐트(511C)를 수신하고, 수신된 영화 콘텐트(511C)에 3차원 배경 콘텐트(512C)를 합성하여 출력 입체 콘텐트를 생성하며, 생성된 출력 입체 콘텐트를 HMD 장치(500)에 전송할 수 있다. HMD 장치(500)는 출력 입체 콘텐트를 디스플레이부(520)에 표시할 수 있다.
디바이스는 동영상 애플리케이션에서 재생되는 영화 콘텐트(511C)를 인식하는 경우, 영화 콘텐트(511C)의 특성을 분석하고, 분석된 영화 콘텐트(511C)의 특성에 적합한 3차원 배경 콘텐트(512C), 예컨대 3차원 영화관 이미지(512C)를 영화 콘텐트(511C)에 합성할 수 있다.
디바이스는 영화 콘텐트(511C)에 합성되는 3차원 영화관 이미지(512C)가 HMD 장치(500)의 디스플레이부(520)의 제2 영역(522)에 표시되도록 배치할 수 있다.
애플리케이션 콘텐트의 종류(영화 콘텐트, 511C) 및 합성되는 3차원 배경 콘텐트(3차원 영화관 이미지, 512C)의 종류를 제외하고, 디바이스에서 수행하는 애플리케이션 콘텐트의 렌더링 및 3차원 배경 콘텐트의 배치 영역 등의 특징은 도 5a에서 설명한 것과 동일한 바, 중복되는 설명은 생략하기로 한다.
도 5d를 참조하면, 디바이스가 HMD 장치(500)와 연결되는 경우, 디바이스는 HMD 장치(500)로부터 음악 콘텐트(511D)를 수신하고, 수신된 음악 콘텐트(511D)에 3차원 음악 연주회장 이미지(512D)를 합성하여 출력 입체 콘텐트를 생성하며, 생성된 출력 입체 콘텐트를 HMD 장치(500)에 전송할 수 있다. HMD 장치(500)는 출력 입체 콘텐트를 디스플레이부(520)에 표시할 수 있다.
디바이스는 음악 애플리케이션에서 재생되는 음악 콘텐트(511D)를 인식하는 경우, 음악 콘텐트(511D)의 특성을 분석하고, 분석된 음악 콘텐트(511D)의 특성에 적합한 3차원 배경 콘텐트(512D), 예컨대 3차원 음악 연주회장 이미지(512D)를 음악 콘텐트(511D)에 합성할 수 있다. 다른 실시예에서, 디바이스는 음악 콘텐트(511D)에 3차원 음악 연주 동영상(512D)을 합성할 수도 있다.
디바이스는 음악 콘텐트(511D)에 합성되는 3차원 음악 연주회장 이미지(512D)가 HMD 장치(500)의 디스플레이부(520)의 제2 영역(522)에 표시되도록 배치할 수 있다.
애플리케이션 콘텐트의 종류(음악 콘텐트, 511D) 및 합성되는 3차원 배경 콘텐트(3차원 음악 연주회장 이미지, 512D)의 종류를 제외하고, 디바이스에서 수행하는 애플리케이션 콘텐트의 렌더링 및 3차원 배경 콘텐트의 배치 영역 등의 특징은 도 5a에서 설명한 것과 동일한 바, 중복되는 설명은 생략하기로 한다.
도 5e를 참조하면, 디바이스가 HMD 장치(500)와 연결되는 경우, 디바이스는 HMD 장치(500)로부터 사진 애플리케이션에서 재생되는 사진 콘텐트(511E)를 수신하고, 수신된 사진 콘텐트(511E)에 3차원 사진 전시장 이미지(512E)를 합성하여 출력 입체 콘텐트를 생성하며, 생성된 출력 입체 콘텐트를 HMD 장치(500)에 전송할 수 있다. HMD 장치(500)는 출력 입체 콘텐트를 디스플레이부(520)에 표시할 수 있다.
디바이스는 사진 애플리케이션에서 재생되는 사진 콘텐트(511E)를 인식하는 경우, 사진 콘텐트(511E)의 특성을 분석하고, 분석된 사진 콘텐트(511E)의 특성에 적합한 3차원 배경 콘텐트(512E), 예컨대 3차원 사진 전시회 이미지(512E)를 사진 콘텐트(511E)에 합성할 수 있다.
디바이스는 사진 콘텐트(511E)에 합성되는 3차원 사진 전시회 이미지(512E)가 HMD 장치(500)의 디스플레이부(520)의 제2 영역(522)에 표시되도록 배치할 수 있다.
애플리케이션 콘텐트의 종류(사진 콘텐트, 511E) 및 합성되는 3차원 배경 콘텐트(3차원 사진 전시회 이미지, 512E)의 종류를 제외하고, 디바이스에서 수행하는 애플리케이션 콘텐트의 렌더링 및 3차원 배경 콘텐트의 배치 영역 등의 특징은 도 5a에서 설명한 것과 동일한 바, 중복되는 설명은 생략하기로 한다.
도 5a 내지 도 5e에서 설명한 본 개시의 실시예들에 따른 디바이스는, HMD 장치(500)와 연결되는 경우 애플리케이션 콘텐트의 표시 영역의 형태, 즉 프레임의 형태가 HMD 장치(500)의 렌즈부에 대응되는 디스플레이부(520)의 제1 영역(521)의 둥근 형태와 동일하도록 애플리케이션 콘텐트를 렌더링하고, 3차원 배경 콘텐트가 HMD 장치(500)의 디스플레이부(520)의 제2 영역(522)에 표시되도록 3차원 배경 콘텐트를 애플리케이션 콘텐트에 합성할 수 있다.
일반적으로, HMD 장치(500)는 모바일 폰과 HMD 장치(500)의 가상 현실(Virtual Reality, VR) 렌즈와 결합될 수 있다. 이 경우 모바일 폰에서 표시되는 애플리케이션 콘텐트의 프레임은 가상 현실 렌즈의 양안의 돋보기 왜곡에 의해 둥글게 렌더링되어 표시되고, 가상 현실 렌즈의 외곽 부분은 블랙 아웃(Black Out)되어 까맣게 표시된다. 본 개시의 실시예들에 따른 디바이스는 3차원 배경 콘텐트를 블랙 아웃된 영역, 즉 도 5a 내지 5E에 도시된 제2 영역(522)에 표시함으로써, 애플리케이션 콘텐트를 시청하거나 게임을 플레이하는 사용자에게 3차원 입체 몰입 효과 및 3차원 입체 실감 효과를 제공할 수 있다.
도 6은 본 개시의 일 실시예에 따른 디바이스가 HMD 장치와 연결된 경우 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 흐름도이다.
단계 S610에서 디바이스는, 디바이스에 연결된 HMD 장치를 인식한다. 일 실시예에서, 디바이스는 HMD 장치의 SSID, HMD 장치의 모델 명, HMD 장치 성능 정보, HMD 장치의 디스플레이부 유형에 관한 정보 중 적어도 하나의 식별 정보를 획득하고, 획득된 식별 정보에 기초하여 HMD 장치를 인식할 수 있다.
단계 S620에서, 디바이스는 애플리케이션 콘텐트의 표시 영역의 형태가 HMD 장치의 렌즈부의 형태와 동일하도록 애플리케이션 콘텐트를 렌더링한다. 일 실시예에서, 디바이스는 사각형의 형태를 갖는 애플리케이션 콘텐트의 프레임이 HMD 장치의 디스플레이부의 렌즈부 형태, 즉 둥근 형태로 변형되어 표시되도록 애플리케이션 콘텐트의 프레임을 렌더링하는 렌즈 보정을 수행할 수 있다.
단계 S630에서, 디바이스는 렌더링된 애플리케이션 콘텐트를 HMD 장치의 디스플레이부의 전체 영역 중 HMD 장치의 렌즈부에 대응되는 제1 영역에 배치한다.
단계 S640에서, 디바이스는 HMD 장치의 디스플레이부의 전체 영역 중 제1 영역을 제외한 영역인 제2 영역에 3차원 배경 콘텐트를 합성한다. 일 실시예에서, 디바이스는 HMD 장치로부터 수신되는 애플리케이션 콘텐트의 특성을 분석하고, 애플리케이션 콘텐트의 특성에 기초하여 3차원 배경 콘텐트를 선택하며, 선택된 3차원 배경 콘텐트를 애플리케이션 콘텐트에 합성할 수 있다. 일 실시예에서, 디바이스는 HMD 장치의 디스플레이부의 전체 영역 중 렌즈부에 대응되는 제1 영역을 제외한 블랙 아웃되는 영역, 즉 제2 영역에 3차원 배경 콘텐트를 표시하도록 애플리케이션 콘텐트와 3차원 배경 콘텐트를 합성할 수 있다.
단계 S650에서, 디바이스는 애플리케이션 콘텐트와 3차원 배경 콘텐트를 합성하여 생성된 출력 입체 콘텐트를 HMD 장치에 전송한다. HMD 장치는 출력 입체 콘텐트를 디스플레이부에 표시할 수 있다. 일 실시예에서, HMD 장치는 애플리케이션 콘텐트를 디스플레이부의 제1 영역에 표시하고, 3차원 배경 콘텐트를 디스플레이부의 제2 영역에 표시할 수 있다.
도 7a 및 도 7b는 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트의 특성에 기초하여 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 도면들이다.
도 7a를 참조하면, 디바이스가 3D TV(700)와 연결되는 경우. 디바이스는 3D TV(700)로부터 영화 콘텐트를 수신하고, 수신된 영화 콘텐트를 3차원 영화 콘텐트로 렌더링할 수 있다. 또한, 디바이스는 렌더링한 3차원 영화 콘텐트를 3D TV(700)의 디스플레이부(720)의 제1 영역(721)에 표시되도록 배치하고, 3차원 영화 콘텐트에 3차원 영화관 이미지(712)를 합성할 수 있다.
일 실시예에서, 디바이스는 3D TV(700)로부터 수신한 2차원 비입체 영화 콘텐트에 포함되는 이미지 프레임들을 양안의 시차를 이용하여 좌안 프레임 이미지(711L) 및 우안 프레임 이미지(711R)을 생성하여 3차원 영화 콘텐트로 변환할 수 있다. 3차원 영화 콘텐트로 변환하는 방법에 관한 상세한 설명은 도 8에 대한 설명 부분에서 후술하도록 한다.
일 실시예에서, 디바이스는 3차원 영화 콘텐트(711L, 711R)의 프레임이 3D TV(700)의 디스플레이부(720)의 제1 영역(721) 내에 표시되도록 3차원 영화 콘텐트(711L, 711R)의 프레임 크기를 수정하는 렌더링을 수행할 수 있다.
또한, 디바이스는 3차원 영화 콘텐트(711L, 711R)의 특성을 분석하고, 분석된 3차원 영화 콘텐트(711L, 711R)의 특성에 적합한 3차원 배경 콘텐트를 3차원 영화 콘텐트(711L, 711R)에 합성할 수 있다. 예를 들어, 디바이스는 3차원 영화 콘텐트(711L, 711R)에 대응되는 3차원 배경 콘텐트, 즉 3차원 영화관 이미지(712)를 3D TV(700)의 디스플레이부(720)의 제2 영역(722)에 배치되도록 합성할 수 있다.
도 7b를 함께 참조하면, 디바이스는 스포츠 경기 콘텐트를 3D TV(700)로부터 수신하고, 2차원의 비입체 콘텐트인 스포츠 경기 콘텐트를 3차원 스포츠 경기 콘텐트(713L, 713R)로 변환할 수 있다. 또한, 디바이스는 3차원 스포츠 경기 콘텐트(713L, 713R)의 프레임이 3D TV(700)의 디스플레이부(720)의 제1 영역(721) 내에 표시되도록 3차원 스포츠 경기 콘텐트(713L, 713R)의 프레임 크기를 수정하는 렌더링을 수행할 수 있다.
도 7b에 도시된 실시예에서, 디바이스는 3차원 스포츠 경기 콘텐트(713L, 713R)에 대응되는 3차원 배경 콘텐트, 즉 3차원 경기장 이미지(714)를 3D TV(700)의 디스플레이부(720)의 제2 영역(722)에 배치되도록 합성할 수 있다. 다른 실시예에서, 디바이스는 3차원 스포츠 경기 콘텐트(713L, 713R)에 대응되는 3차원 관중 동영상을 3D TV(700)의 디스플레이부(720)의 제2 영역(722)에 배치되도록 합성할 수 있다.
디바이스는, 합성된 3차원애플리케이션 콘텐트(711L, 711R, 713L, 713R)와 3차원 배경 콘텐트(712, 714)를 포함하는 출력 입체 콘텐트를 3D TV(700)에 전송할 수 있다. 3D TV(700)는 3차원 애플리케이션 콘텐트(711L, 711R, 713L, 713R)를 디스플레이부(720)의 제1 영역(721)에 표시하고, 합성된 3차원 배경 콘텐트(712, 714)를 디스플레이부(720)의 제2 영역(722)에 표시할 수 있다.
도 7a 및 도 7b에서 설명한 본 개시의 실시예들에 따른 디바이스는, 3D TV(700)와 연결되는 경우 2차원 비입체 콘텐트인 애플리케이션 콘텐트를 3차원 애플리케이션 콘텐트로 변환하고, 변환된 3차원 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하며, 3차원 애플리케이션 콘텐트 및 3차원 배경 콘텐트가 3D TV(700)의 디스플레이부(720)에 표시되도록 할 수 있다. 따라서, 본 개시의 실시예에들에 따른 디바이스는 2차원 비입체 애플리케이션 콘텐트를 시청하는 사용자에게도 3차원 영화를 영화관에서 시청하거나, 또는 3차원 스포츠 경기를 직접 스포츠 경기장에서 시청하는 것과 같은 3차원 입체 몰입 효과 및 3차원 입체 실감 효과를 제공할 수 있다.
도 8은 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트의 특성에 기초하여 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 흐름도이다.
단계 S810에서 디바이스는, 디바이스와 연결된 3D TV를 인식한다. 일 실시예에서, 디바이스는 3D TV의 SSID, 3D TV의 모델 명, 3D TV 성능 정보, 3D TV의 디스플레이부 유형에 관한 정보 중 적어도 하나의 식별 정보를 획득하고, 획득된 식별 정보에 기초하여 3D TV를 인식할 수 있다.
단계 S820에서, 디바이스는 애플리케이션 콘텐트를 3차원 애플리케이션 콘텐트로 변환하는 제1 렌더링을 수행한다. 일 실시예에서, 디바이스는 애플리케이션 콘텐트의 키 프레임 선택, 오브젝트(object) 추출, 깊이(depth) 할당, 트래킹(tracking) 및 제1 렌더링 과정을 거쳐 2차원 비입체 애플리케이션 콘텐트를 3차원 애플리케이션 콘텐트로 변환할 수 있다.
애플리케이션 콘텐트 키 프레임 선택 단계에서, 디바이스는 2차원 비입체 애플리케이션 콘텐트의 복수의 프레임 중에서 임의의 키 프레임을 결정한다. 일 실시예에서, 2차원 비입체 애플리케이션 콘텐트의 복수의 프레임 중에서 애플리케이션 콘텐트를 대표할 수 있는 프레임이 키 프레임으로 결정될 수 있다.
오브젝트 추출 단계에서, 디바이스는 결정된 키 프레임에 대하여 오브젝트를 추출한다. 오브젝트는 각 프레임 중에 포함된 중요한 대상으로, 예컨대 애플리케이션 콘텐트가 영화 콘텐트인 경우, 주인공이 등장하는 장면에서 주인공인 인물의 이미지, 차량이 달리는 장면에서 해당 차량의 이미지 등을 들 수 있다. 오브젝트 추출 단계에서 디바이스는, 해당 프레임의 영상을 분할(segmentation)하고 그 결과로부터 오브젝트의 경계(boundary)를 추출할 수 있다.
깊이(depth) 할당 단계에서, 디바이스는 오브젝트 추출 단계에서 추출된 오브젝트에 대하여 깊이를 할당한다. 깊이는 3차원의 시각 효과를 내기 위한 파라미터로서, 대응하는 좌안 프레임 이미지 및 우안 프레임 이미지에서 오브젝트를 할당된 파라미터의 값만큼 각각 좌측 및 우측 방향으로 이동(shift)시키는데 이용된다. 깊이 할당 단계에서, 디바이스는 기설정된 템플릿(template)을 이용하여 깊이를 할당할 수 있다.
트래킹 단계에서, 디바이스는 키 프레임이 아닌 애플리케이션 콘텐트의 나머지 프레임에 대하여 대응하는 좌안 프레임 이미지 및 우안 프레임 이미지를 생성한다. 트래킹 단계는 키 프레임에 수행된 오브젝트 추출 및 깊이 할당 단계를 참조하여 수행될 수 있다.
제1 렌더링 단계에서, 디바이스는 깊이 할당 및 트래킹이 수행된 좌안 프레임 이미지 및 우안 프레임 이미지에 대하여 완성된 3차원 애플리케이션 콘텐트를 위한 이미지 처리를 수행한다. 예컨대, 렌더링 단계에서 디바이스는 오브젝트의 이동에 따라 발생한 빈 영역을 채우는 처리, 즉, 인페인팅(inpainting) 과정 등을 수행할 수 있다.
단계 S830에서, 디바이스는 변환된 3차원 애플리케이션 콘텐트가 3D TV의 디스플레이부의 제1 영역 내에 표시되도록 3차원 애플리케이션 콘텐트의 프레임을 변환하는 제2 렌더링을 수행한다. 일 실시예에서, 디바이스는 3차원 애플리케이션 콘텐트의 프레임의 크기를 확대 또는 축소하여 3차원 애플리케이션 콘텐트가 3D TV의 디스플레이부의 제1 영역에 표시되도록 변환할 수 있다. 일 실시예에서, 디바이스는 3차원 애플리케이션 콘텐트를 3D TV의 디스플레이부의 제1 영역에 배치할 수 있다.
단계 S840에서, 디바이스는 3D TV의 디스플레이부의 제2 영역에 3차원 배경 콘텐트를 합성한다. 일 실시예에서, 디바이스는 3차원 애플리케이션 콘텐트의 특성을 분석하고, 분석된 3차원 애플리케이션 콘텐트의 특성에 적합한 3차원 배경 콘텐트를 3차원 애플리케이션 콘텐트에 합성할 수 있다. 일 실시예에서, 디바이스는 3차원 애플리케이션 콘텐트를 3D TV의 디스플레이부의 제1 영역에 배치하고, 3차원 배경 콘텐트가 3D TV의 디스플레이부 상에서 3차원 애플리케이션 콘텐트의 주변을 둘러싸도록 제2 영역에 배치할 수 있다.
단계 S850에서, 디바이스는 3차원 애플리케이션 콘텐트와 3차원 배경 콘텐트를 합성하여 생성된 출력 입체 콘텐트를 3D TV에 전송한다. 3D TV는 출력 입체 콘텐트를 디스플레이부에 표시할 수 있다. 일 실시예에서, 3D TV는 3차원 애플리케이션 콘텐트를 디스플레이부의 제1 영역에 표시하고, 3차원 배경 콘텐트를 디스플레이부의 제2 영역에 표시할 수 있다.
도 9는 본 개시의 일 실시예에 따른 디바이스(900)의 구성 요소를 도시한 블록도이다.
도 9를 참조하면, 디바이스(900)는 제어부(910), 메모리(920), 및 통신부(930)를 포함할 수 있다. 제어부(910)에 관한 설명은 도 2에 도시된 제어부(220)에 관한 설명과 일부 중복되고, 통신부(930)에 관한 설명은 도 2에 도시된 통신부(210)에 관한 설명과 일부 중복되는바, 이하에서는 중복되는 설명은 생략하고, 각각의 차이점에 관해서만 설명하도록 한다.
제어부(910)는 하나 또는 그 이상의 마이크로 프로세서, 마이크로 컴퓨터, 마이크로 컨트롤러, 디지털 신호 처리부, 중앙 처리 장치, 그래픽 프로세서, 상태 기계, 연산 회로, 및/또는 동작 명령에 기초하여 신호를 처리 또는 조작할 수 있는 다른 장치로 구성될 수 있다. 제어부(910)는 메모리(920)에 저장되는 컴퓨터에 의해 실행되는 프로그램 모듈 및 알고리즘을 포함하는 소프트웨어를 실행할 수도 있다.
메모리(920)는 특정 태스크, 기능 또는 특정 추상적 데이터 타입 실행을 수행하는 루틴, 프로그램, 객체 지향, 구성 요소, 데이터 구조 등을 포함할 수 있다. 일 실시예에서, 메모리(208)는 윈도우 매니져(Window Manager)(921), 서피스 합성기(Surface Compositor)(922), 입력 핸들러(Input Handler)(923), 및 프레임 버퍼(924)를 저장할 수 있다. 일 실시예에서, 서피스 합성기(922)는 서피스 플린져(Surface Flinger)를 포함할 수 있다.
제어부(910)는, 메모리(920)에 저장되어 있는 윈도우 매니져(921)의 명령어 또는 소스 코드를 통해, 애플리케이션 명령어(instruction), 애플리케이션 레이아웃(layout), 가시성(visibility) 등의 윈도우를 제어한다. 윈도우는 운영 체제의 서피스에 의해 지지될 수 있다. 제어부(910)는 윈도우 매니져(921)를 통해 윈도우 서피스(window surface)를 서피스 합성기(922)에 전송할 수 있다. 제어부(910)는 서피스 합성기(922)를 통해 다중 버퍼(multiple buffers)를 싱글 버퍼(single buffer)로 합성할 수 있다.
제어부(910)는 서피스 합성기(922)에 포함되는 명령어 또는 소스 코드를 통해 2차원 비입체 애플리케이션 콘텐트를 수정할 수 있다. 일 실시예에서, 제어부(910)는 서피스 합성기(922)를 통해 외부 디바이스의 가상 현실 모드(Virtual Reality mode, VR mode) 내에서 애플리케이션 콘텐트를 표시하도록 애플리케이션 콘텐트를 수정할 수 있다. 일 실시예에서, 제어부(910)는 윈도우 매니져(921) 및 서피스 합성기(922)를 통해 바인더 콜(binder call)을 통해 상호 작용할 수 있다.
제어부(910)는 윈도우 매니져(921)를 통해 외부 디바이스가 디바이스(900)에 연결되었는지 여부를 인식할 수 있다. 일 실시예에서, 제어부(910)는 VR 헬퍼 서비스를 사용하여 디바이스(900)에 외부 디바이스가 연결되었는지 여부를 인식할 수 있다. 외부 디바이스가 디바이스(900)에 연결되었다고 인식되는 경우, 제어부(910)는 윈도우 매니져(921)에 포함되는 명령어 및 소스 코드를 읽고, 이를 통해 VR 태그 표시를 하고, 이를 서피스 합성기(922)에 전달할 수 있다.
서피스 합성기(922)가 표시된 VR 태그를 수신하자마자, 제어부(910)는 디바이스(900)에 연결된 외부 디바이스의 장치 유형을 식별할 수 있다. 일 실시예에서, 제어부(910)는 외부 디바이스의 SSID(Subsystem Identification), 외부 디바이스의 모델 명, 외부 디바이스의 성능 정보, 외부 디바이스가 실행할 수 있는 애플리케이션 콘텐트의 종류 및 외부 디바이스의 디스플레이부 유형 중 적어도 하나를 포함하는 외부 디바이스의 식별 정보를 획득하고, 획득된 외부 디바이스의 식별 정보에 기초하여 외부 디바이스의 장치 유형을 식별할 수 있다.
제어부(910)는 식별된 외부 디바이스의 장치 유형에 기초하여 윈도우 매니져(921) 및 서피스 합성기(922)를 사용하여 애플리케이션 콘텐트와 3차원 배경 콘텐트를 합성하고, 이를 통해 출력 입체 콘텐트를 생성할 수 있다.
또한, 제어부(910)는 프레임 버퍼(924)를 통해 출력 입체 콘텐트가 외부 디바이스의 디스플레이부에 표시되도록 렌더링할 수 있다. 일 실시예에서, 제어부(910)는 프레임 버퍼(924)를 사용하여 애플리케이션 콘텐트가 외부 디바이스의 디스플레이부의 제1 영역에 표시되고, 3차원 배경 콘텐트가 외부 디바이스의 디스플레이부의 제2 영역에 표시되도록 렌더링할 수 있다.
제어부(910)는 입력 핸들러(923)를 사용하여 디바이스(900)에 연결되는 외부 디바이스로부터의 이벤트를 처리할 수 있다. 마우스 움직임, 터치 제스쳐와 같은 입력 제스쳐는 외부 디바이스로부터 입력 이벤트로써 수신된다. 예를 들어, 입력 핸들러(923)는 서피스 합성기(922)로부터 HMD 장치에 부착된 머리 추적 센서에 기초하여 시선 파라미터를 조절할 수 있다. 즉, 제어부(910)는 입력 핸들러(923)를 사용하여 머리 추적 정보(Head tracking information)에 따라 줌 레벨(zoom level)이 임계값 이하가 되는지 여부를 체크하고, 줌 레벨을 조절할 수 있다.
윈도우 매니져(921) 및 서피스 플린져는 안드로이드(Android) 운영 체제 내에서 사용되는 모듈로서, 2차원 비입체 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성할 수 있는 소프트웨어 모듈이다.
도 9에 도시된 실시예에서, 디바이스(900)는 안드로이드 운영 체제 내에서 윈도우 매니져(921) 및 서피스 합성기(922)에 포함되는 명령어 또는 소스 코드를 읽고, 이를 통해 2차원 비입체 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 것으로 설명되고 있지만, 이는 예시적인 것이고, 안드로이드 운영 체제로 한정되는 것은 아니다. 디바이스(900)는 윈도우(MS Windows), iOS, 타이젠(Tizen) 및 특정 게임 콘솔 운영 체제 내에서도 2차원 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하고, 출력 입체 콘텐트를 생성할 수 있다.
도 10은 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트의 종류와 합성되는 3차원 배경 콘텐트 간의 관계를 설명하기 위한 도면이다.
도 10을 참조하면, 디바이스가 외부 디바이스로부터 수신하는 애플리케이션 콘텐트(1000)는 게임 콘텐트(1001), 동영상 콘텐트(1002), 이미지 콘텐트(1003) 및 음악 콘텐트(1004)를 포함할 수 있다. 다만, 애플리케이션 콘텐트(1000)가 상기 나열된 예시로 한정되는 것은 아니다. 일 실시예에서, 애플리케이션 콘텐트(1000)는 2차원 비입체 콘텐트일 수 있다.
애플리케이션 콘텐트(1000)도 각각 서로 다른 특성을 갖는 서로 다른 종류의 애플리케이션 콘텐트를 포함할 수 있다. 예컨대, 게임 콘텐트(1001)은 FPS 게임(1011) 및 스포츠 게임(1012)를 포함할 수 있다. 마찬가지로, 동영상 콘텐트(1002)는 영화 콘텐트(1013), 쇼 프로그램 콘텐트(1014) 및 스포츠 중계 콘텐트(1015)를 포함할 수 있고, 이미지 콘텐트(1003)는 사진 콘텐트(1016)를 포함할 수 있으며, 음악 콘텐트(1004)는 댄스 음악 콘텐트(1017) 및 클래식 음악 콘텐트(1018)를 포함할 수 있다.
일 실시예에서, 애플리케이션 콘텐트에 합성되는 3차원 배경 콘텐트(1020)는 3차원 입체 이미지 및 3차원 입체 동영상을 포함할 수 있다. 3차원 배경 콘텐트(1020)는 디바이스의 메모리(도 2의 230 및 도 9의 920 참조)에 저장될 수 있다. 다른 실시예에서, 3차원 배경 콘텐트(1020)는 외부의 데이터 서버에 저장될 수도 있다. 예컨대, 3차원 배경 콘텐트(1020)는 3차원 게임 경기장 이미지(1021), 3차원 스포츠 경기장 이미지(1022), 3차원 영화관 이미지(1023), 3차원 방청객 이미지(1024), 3차원 관중 이미지(1025), 3차원 사진 전시회장 이미지(1026), 3차원 공연장 이미지(1027) 및 3차원 음악 연주회장 이미지(1028)를 포함할 수 있으나, 상기 나열된 예시로 한정되는 것은 아니다.
디바이스는 애플리케이션 콘텐트를 실행하는 애플리케이션의 종류, 애플리케이션 콘텐트에 포함되는 이미지의 프레임(frame) 수, 프레임 레이트(frame rate) 및 사운드 출력 여부 중 적어도 하나를 포함하는 애플리케이션의 특성을 분석하고, 애플리케이션 콘텐트의 종류를 인식하며, 애플리케이션 콘텐트의 종류에 기초하여 애플리케이션에 적합한 3차원 배경 콘텐트를 합성할 수 있다.
예를 들어, 디바이스는 게임 콘텐트(1001) 중 FPS 게임(1011)을 외부 디바이스로부터 수신하는 경우, FPS 게임(1011)에 포함되는 초당 이미지 프레임의 수(frame per second), 프레임 레이트 등을 분석하여 FPS 게임(1011)의 특성을 인식하고, 인식된 FPS 게임(1011)의 특성에 기초하여 3차원 게임 경기장 이미지(1021)를 선택할 수 있다. 디바이스는 선택된 3차원 게임 경기장 이미지(1021)를 메모리 또는 외부 데이터 서버로부터 수신하고, 수신된 3차원 게임 경기장 이미지(1021)를 FPS 게임(1011)에 합성할 수 있다.
마찬가지로, 디바이스는 동영상 콘텐트(1002) 중 영화 콘텐트(1013)을 외부 디바이스로부터 수신하는 경우, 영화 콘텐트(1013)의 이미지 프레임의 수, 프레임 레이트 및 사운드 출력 여부 등을 분석하여 영화 콘텐트(1013)임을 인식하고, 영화 콘텐트(1013)의 특성에 적합한 3차원 영화관 이미지(1023)를 선택할 수 있다. 디바이스는 선택된 3차원 영화관 이미지(1023)를 영화 콘텐트(1013)에 합성할 수 있다. 애플리케이션 콘텐트의 종류(1010)와 합성되는 3차원 배경 콘텐트(1020)의 관계는 도 10에 도시된 바와 같다. 따라서, 모든 종류의 애플리케이션 콘텐트(1011 내지 1018)와 합성되는 모든 3차원 배경 콘텐트(1021 내지 1028)의 조합에 관한 상세한 설명은 생략하기로 한다.
도 10에 도시된 실시예에서, 디바이스는 외부 디바이스로부터 수신한 애플리케이션 콘텐트의 종류(1010)를 인식하여, 그에 적합한 3차원 배경 콘텐트(1020)를 선택하여 애플리케이션 콘텐트에 합성할 수 있다. 따라서, 본 개시의 일 실시예에 따른 디바이스는 사용자가 시청하고 있는 애플리케이션 콘텐트(1000)에 적합한 3차원 몰입 효과 및 3차원 실감 효과를 사용자에게 제공할 수 있다.
도 11은 본 개시의 일 실시예에 따른 디바이스(1100)의 구성 요소를 도시한 블록도이다.
도 11을 참조하면, 디바이스(1100)는 통신부(1110), 제어부(1120), 메모리(1130) 및 사용자 입력부(1140)를 포함할 수 있다. 통신부(1110), 제어부(1120) 및 메모리(1130)는 도 2에 도시되고 설명된 통신부(210), 제어부(220) 및 메모리(230)와 동일한 바, 중복되는 설명은 생략하기로 한다. 이하에서는 사용자 입력부(1140) 위주로 설명한다.
사용자 입력부(1140)은 디바이스(1100)의 메모리(1130)에 저장되어 있는 3차원 배경 콘텐트를 선택하는 사용자 입력을 수신할 수 있다. 사용자 입력부(1140)는 사용자의 손가락에 의해 동작 가능한 터치 패드 및 사용자의 푸시 조작에 의해 동작 가능한 버튼 중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다.
일 실시예에서, 사용자 입력부(1140)은 마우스, 터치 입력 및 입력 제스쳐(input gesture) 중 적어도 하나를 포함하는 사용자 입력을 수신할 수 있다. 사용자 입력부(1140)는 마우스, 터치 패드, 입력 제스쳐 인식 센서 및 머리 추적 센서(Head Tracking Sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 사용자 입력부(1140)는 터치 패드를 터치하는 사용자 입력, 마우스 휠을 회전시키는 사용자 입력, 버튼을 푸시하는 사용자 입력 및 소정의 제스쳐를 통한 사용자 입력 중 적어도 하나를 수신할 수 있다. 여기에서 "제스처"란, 소정 시점에서 사용자의 신체 부위가 나타내는 형태, 소정 시간 동안 신체 부위가 나타내는 형태의 변화, 신체 부위의 위치 변화 또는 신체 부위의 동작을 의미할 수 있다. 예를 들어, 제스처를 통한 사용자 입력은 소정 시점에서 사용자의 머리를 기설정된 범위 이상으로 움직이거나, 또는 사용자의 손을 기설정된 거리 이상으로 움직이는 등의 사용자 입력을 포함할 수 있다.
사용자 입력부(1140)는 3차원 입체 이미지 및 3차원 입체 동영상을 포함하는 3차원 배경 콘텐트 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다. 일 실시예에서, 3차원 배경 콘텐트는 애플리케이션 콘텐트를 위한 3차원 입체 프레임 및 3차원 입체 모델을 더 포함할 수 있다. 3차원 모델은 애플리케이션을 위한 아티스트가 창작한 몰입 3차원 환경을 제공하는 이미지일 수 있다. 3차원 배경 콘텐트는 애플리케이션 콘텐트의 종류에 따라 다양하게 제공될 수 있다(도 10 참조).
3차원 배경 콘텐트는 메모리(1130)에 저장될 수 있다. 즉, 일 실시예에서 3차원 입체 이미지, 3차원 입체 동영상, 3차원 입체 프레임 및 3차원 입체 모델은 메모리(1130)에 저장되고, 사용자 입력부(1140)는 메모리(1130)에 저장된 3차원 입체 이미지, 3차원 입체 동영상, 3차원 입체 프레임 및 3차원 입체 모델 중 적어도 하나를 선택하는 사용자 입력을 수신할 수 있다. 다만, 이에 한정되는 것은 아니고, 3차원 배경 콘텐트는 외부 데이터 서버(예컨대, 클라우스 서버)에 저장되어 있고, 사용자 입력부(1140)에 의해 선택된 3차원 배경 콘텐트는 통신부(1110)에 의해 디바이스(1100)에 수신될 수 있다.
제어부(1120)는 사용자 입력부(1140)에서 수신한 사용자 입력에 기초하여 선택된 3차원 배경 콘텐트를 애플리케이션 콘텐트에 합성할 수 있다.
도 12는 본 개시의 일 실시예에 따른 디바이스가 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 흐름도이다.
단계 S1210에서, 디바이스는 외부 디바이스로부터 2차원 비입체 콘텐트인 애플리케이션 콘텐트를 수신한다. 일 실시예에서, 디바이스는, 디바이스와 유선 및/또는 무선으로 연결된 외부 디바이스로부터 애플리케이션 콘텐트를 수신할 수 있다. 외부 디바이스 및 애플리케이션 콘텐트에 관한 설명은 도 3에서 설명한 단계 S310과 동일한바, 중복되는 설명은 생략하기로 한다.
단계 S1220에서, 디바이스는 메모리에 저장된 3차원 입체 이미지 및 3차원 입체 동영상을 포함하는 3차원 입체 콘텐트 중 어느 하나를 선택하는 사용자 입력을 수신한다. 일 실시예에서, 3차원 배경 콘텐트는 3차원 입체 이미지, 3차원 입체 동영상, 3차원 입체 프레임 및 3차원 입체 모델 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 3차원 배경 콘텐트는 메모리(1130, 도 11 참조)에 저장될 수 있으나, 이에 한정되는 것은 아니다. 다른 실시예에서, 3차원 배경 콘텐트는 외부의 데이터 서버에 저장될 수도 있다. 디바이스는 마우스 입력, 터치 입력 및 제스쳐 입력 중 적어도 하나의 사용자 입력을 수신하고, 수신된 사용자 입력에 기초하여, 3차원 배경 콘텐트 중 어느 하나를 선택할 수 있다. 3차원 배경 콘텐트가 메모리에 저장되어 있는 경우에는 메모리로부터 3차원 배경 콘텐트를 수신하고, 3차원 배경 콘텐트가 외부 데이터 서버에 저장되어 있는 경우 통신부를 통해 외부 데이터 서버로부터 3차원 배경 콘텐트를 수신할 수 있다.
단계 S1230에서, 디바이스는 사용자 입력에 기초하여 선택된 3차원 배경 콘텐트를 애플리케이션 콘텐트에 합성한다. 디바이스는 애플리케이션 콘텐트가 외부 디바이스의 디스플레이부의 제1 영역에 표시되도록 배치하고, 3차원 배경 콘텐트가 외부 디바이스의 디스플레이부의 제2 영역에 표시되도록 배치할 수 있다.
단계 S1240에서, 디바이스는 출력 입체 콘텐트를 외부 디바이스에 전송한다. 출력 입체 콘텐트는 애플리케이션 콘텐트와 3차원 입체 콘텐트를 포함한다. 외부 디바이스는 디바이스로부터 출력 입체 콘텐트를 수신하고, 출력 입체 콘텐트 중 애플리케이션 콘텐트는 디스플레이부의 제1 영역에, 3차원 배경 콘텐트는 디스플레이부의 제2 영역에 표시할 수 있다.
도 11 및 도 12에 도시되고 설명된 실시예에서, 디바이스(1100)는 사용자가 직접 선택한 3차원 배경 콘텐트를 애플리케이션 콘텐트에 합성할 수 있어, 사용자가 원하는 3차원 몰입 효과를 직접 커스텀(custom)하여 제공할 수 있다. 본 개시의 일 실시예에서, 외부 디바이스를 통해 출력 입체 콘텐트를 시청하는 사용자는 각자 취향 또는 선택에 따라 자신이 원하는 3차원 몰입 효과를 즐길 수 있다.
도 13은 본 개시의 일 실시예에 따른 디바이스(1300)의 구성 요소를 도시한 블록도이다.
도 13을 참조하면, 디바이스(1300)는 통신부(1310), 제어부(1320), 메모리(1330), 및 사용자 식별 정보 획득부(1350)을 포함할 수 있다. 통신부(1310), 제어부(1320) 및 메모리(1330)는 도 2에 도시되고 설명된 통신부(210), 제어부(220) 및 메모리(230)와 동일한 바, 중복되는 설명은 생략하기로 한다. 이하에서는 사용자 식별 정보 획득부(1350) 위주로 설명한다.
사용자 식별 정보 획득부(1350)는 음성 인식 센서, 제스쳐 인식 센서, 지문 인식 센서, 홍채 인식 센서, 안면 인식 센서, 및 거리 센서 중 적어도 하나의 센서를 포함할 수 있다. 사용자 식별 정보 획득부(1350)는 디바이스(1300)에 연결된 외부 디바이스를 사용하는 사용자의 식별 정보를 획득하고, 획득된 식별 정보에 기초하여 사용자를 식별할 수 있다. 사용자 식별 정보 획득부(1350)는 디바이스(1300)에 연결된 외부 디바이스의 디스플레이부 근방에 위치될 수 있지만, 이에 한정되는 것은 아니다.
일 실시예에서, 사용자 식별 정보 획득부(1350)는 디바이스(1300)에 연결된 외부 디바이스를 사용하는 사용자의 음성, 홍채, 지문, 안면 윤곽 및 제스쳐 중 적어도 하나를 통해 사용자의 식별 정보를 획득할 수 있다. 사용자의 식별 정보는 현재 외부 디바이스를 사용하는 사용자가 누구인지에 정보, 식별된 사용자가 자주 사용하는 애플리케이션 콘텐트, 식별된 사용자가 애플리케이션 콘텐트에 대하여 합성하는 3차원 배경 콘텐트의 종류 등에 관한 정보를 포함할 수 있다.
제어부(1320)는 사용자 식별 정보 획득부(1350)에서 획득한 사용자의 식별 정보에 기초하여 3차원 배경 콘텐트를 선택하고, 선택된 3차원 배경 콘텐트를 애플리케이션 콘텐트에 합성할 수 있다. 3차원 배경 콘텐트는 메모리(1330)에 저장될 수 있다. 즉, 일 실시예에서 3차원 입체 이미지, 3차원 입체 동영상, 3차원 입체 프레임 및 3차원 입체 모델은 메모리(1330)에 저장되고, 제어부(1320)는 사용자 식별 정보 획득부(1350)에서 획득한 사용자의 식별 정보, 예컨대 사용자가 자주 사용하는 애플리케이션 콘텐트에 따라 합성되는 3차원 배경 콘텐트의 정보에 기초하여 메모리(1330)에 저장된 3차원 입체 이미지, 3차원 입체 동영상, 3차원 입체 프레임 및 3차원 입체 모델 중 적어도 하나를 선택할 수 있다. 제어부(1320)는 획득한 사용자의 식별 정보에 기초하여 선택된 3차원 배경 콘텐트를 애플리케이션 콘텐트에 합성할 수 있다.
도 14는 본 개시의 일 실시예에 따른 디바이스가, 디바이스를 사용하는 사용자의 식별 정보에 기초하여 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법을 설명하기 위한 흐름도이다.
단계 S1410에서, 디바이스는 외부 디바이스로부터 2차원 비입체 콘텐트인 애플리케이션 콘텐트를 수신한다. 일 실시예에서, 디바이스는, 디바이스와 유선 및/또는 무선으로 연결된 외부 디바이스로부터 애플리케이션 콘텐트를 수신할 수 있다. 외부 디바이스 및 애플리케이션 콘텐트에 관한 설명은 도 3에서 설명한 단계 S310과 동일한바, 중복되는 설명은 생략하기로 한다.
단계 S1420에서, 디바이스는 외부 디바이스를 사용하는 사용자의 식별 정보를 획득한다. 일 실시예에서 디바이스는, 디바이스에 연결된 외부 디바이스를 사용하는 사용자의 음성, 홍채, 지문, 안면 윤곽 및 제스쳐 중 적어도 하나를 통해 사용자의 식별 정보를 획득할 수 있다. 사용자의 식별 정보는 예컨대, 현재 외부 디바이스를 사용하는 사용자가 누구인지에 정보, 식별된 사용자가 자주 사용하는 애플리케이션 콘텐트, 식별된 사용자가 애플리케이션 콘텐트에 대하여 합성하는 3차원 배경 콘텐트의 종류 등에 관한 정보를 포함할 수 있다.
단계 S1430에서, 디바이스는 사용자의 식별 정보에 기초하여 메모리에 저장된 3차원 배경 콘텐트 중 어느 하나를 선택한다. 일 실시예에서, 3차원 배경 콘텐트는 3차원 입체 이미지, 3차원 입체 동영상, 3차원 입체 프레임 및 3차원 입체 모델 중 적어도 하나를 포함하고, 3차원 배경 콘텐트는 디바이스의 내부 메모리에 저장될 수 있다. 디바이스는 획득한 사용자의 식별 정보, 예컨대 사용자가 자주 사용하는 애플리케이션 콘텐트에 따라 합성되는 3차원 배경 콘텐트의 정보에 기초하여 메모리에 저장된 3차원 입체 이미지, 3차원 입체 동영상, 3차원 입체 프레임 및 3차원 입체 모델 중 적어도 하나를 선택할 수 있다.
다만, 3차원 배경 콘텐트가 메모리에 저장되는 것으로 한정되는 것은 아니다. 다른 실시예에서, 3차원 배경 콘텐트는 외부의 데이터 서버에 저장될 수도 있다. 3차원 배경 콘텐트가 외부의 데이터 서버에 저장되어 있는 경우, 디바이스는 사용자의 식별 정보에 기초하여 외부 데이터 서버에서 3차원 배경 콘텐트를 선택하고, 선택된 3차원 배경 콘텐트를 외부 데이터 서버로부터 수신할 수 있다.
단계 S1440에서, 디바이스는 사용자의 식별 정보에 기초하여 선택된 3차원 배경 콘텐트를 애플리케이션 콘텐트에 합성한다. 일 실시예에서, 디바이스는 획득된 사용자의 식별 정보, 예컨대 사용자가 자주 사용하는 애플리케이션 콘텐트에 따라 합성되는 3차원 배경 콘텐트의 정보에 기초하여 선택된 3차원 3차원 입체 이미지, 3차원 입체 동영상, 3차원 입체 프레임 및 3차원 입체 모델 중 적어도 하나를 애플리케이션 콘텐트에 합성할 수 있다.
단계 S1450에서, 디바이스는 출력 입체 콘텐트를 외부 디바이스에 전송한다. 출력 입체 콘텐트는 애플리케이션 콘텐트와 3차원 입체 콘텐트를 포함한다. 외부 디바이스는 디바이스로부터 출력 입체 콘텐트를 수신하고, 출력 입체 콘텐트 중 애플리케이션 콘텐트는 디스플레이부의 제1 영역에, 3차원 배경 콘텐트는 디스플레이부의 제2 영역에 표시할 수 있다.
도 13 및 도 14에 도시되고 설명된 실시예에서, 디바이스(1300)는 사용자의 식별 정보를 획득하고, 사용자가 자주 사용하는 애플리케이션 콘텐트 또는 사용자가 애플리케이션 콘텐트에 자주 합성하는 3차원 배경 콘텐트를 자동으로 선택하여 특정 사용자에 대하여 특정된 3차원 몰입 효과를 제공할 수 있다.
본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
100: 디바이스, 110: HMD 장치, 120: 3D TV, 200: 디바이스, 210: 통신부, 220: 제어부, 230: 메모리, 500: HMD 장치, 700: 3D TV, 900: 디바이스, 910: 제어부, 920: 메모리, 921: 윈도우 매니져, 922: 서피스 합성기, 923: 입력 핸들러, 924: 프레임 버퍼, 930: 통신부, 1100: 디바이스, 1110: 통신부, 1120: 제어부, 1130: 메모리, 1140: 사용자 입력부, 1300: 디바이스, 1310: 통신부, 1320: 제어부, 1330: 메모리, 1350: 사용자 식별 정보 획득부

Claims (21)

  1. 디바이스가 애플리케이션 콘텐트에 3차원 배경 콘텐트를 합성하는 방법에 있어서,
    상기 디바이스와 연결된 외부 디바이스로부터 2차원 비입체 콘텐트인 상기 애플리케이션 콘텐트를 수신하는 단계;
    3차원 입체 이미지 및 3차원 입체 동영상 중 적어도 하나를 포함하는 상기 3차원 배경 콘텐트를 상기 애플리케이션 콘텐트에 합성하여 출력 입체 콘텐트를 생성하는 단계; 및
    상기 출력 입체 콘텐트를 상기 외부 디바이스에 전송하는 단계;
    를 포함하고,
    상기 출력 입체 콘텐트를 생성하는 단계는, 상기 애플리케이션 콘텐트를 상기 외부 디바이스의 디스플레이부의 제1 영역에 표시되도록 배치하고, 상기 3차원 배경 콘텐트를 상기 디스플레이부의 제2 영역에 표시되도록 배치하는 것인, 방법.
  2. 제1 항에 있어서,
    상기 출력 입체 콘텐트를 생성하는 단계는, 상기 3차원 배경 콘텐트가 상기 애플리케이션 콘텐트의 주변을 둘러싸도록 배치하는 것인, 방법.
  3. 제1 항에 있어서,
    상기 외부 디바이스는 헤드 마운티드 디스플레이 장치(Head Mounted Device, HMD) 및 3차원 TV 중 어느 하나인 것인, 방법.
  4. 제1 항에 있어서,
    상기 3차원 배경 콘텐트는 3차원 게임 경기장 이미지, 3차원 영화관 이미지, 3차원 사진 전시장(gallery) 이미지, 3차원 음악 공연장 이미지 및 3차원 스포츠 경기장 이미지 중 적어도 하나의 입체적 가상 현실 이미지를 포함하는 것인, 방법.
  5. 제1 항에 있어서,
    상기 외부 디바이스의 종류를 식별하는 단계; 를 더 포함하고,
    상기 3차원 배경 콘텐트를 부가하는 단계는, 상기 식별된 외부 디바이스의 종류에 기초하여 상기 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 적어도 하나를 상기 애플리케이션 콘텐트에 부가하는 단계; 를 포함하는 것인, 방법.
  6. 제5 항에 있어서,
    상기 식별된 외부 디바이스는 HMD 장치이고,
    상기 출력 입체 콘텐트를 생성하는 단계는,
    상기 애플리케이션 콘텐트의 표시 영역이 상기 HMD 장치의 렌즈부와 동일한 형태를 갖도록 상기 애플리케이션 콘텐트를 렌더링하는 단계;
    상기 렌더링된 애플리케이션 콘텐트를 상기 HMD 장치의 디스플레이부의 전체 영역 중 상기 렌즈부에 대응되는 상기 제1 영역에 배치하는 단계; 및
    상기 디스플레이부의 전체 영역 중 상기 제1 영역을 제외한 영역인 상기 제2 영역에 상기 3차원 배경 콘텐트를 배치하는 단계; 를 포함하는 것인, 방법.
  7. 제5 항에 있어서,
    상기 식별된 외부 디바이스는 3D TV이고,
    상기 출력 입체 콘텐트를 생성하는 단계는,
    상기 애플리케이션 콘텐트를 3차원 애플리케이션 콘텐트로 변환하는 제1 렌더링을 수행하는 단계; 및
    상기 변환된 3차원 애플리케이션 콘텐트를 상기 3D TV의 디스플레이부 상의 제1 영역에 표시되도록 변환하는 제2 렌더링을 수행하는 단계; 를 포함하는 것인, 방법.
  8. 제1 항에 있어서,
    상기 애플리케이션 콘텐트를 실행하는 애플리케이션의 종류, 상기 애플리케이션 콘텐트에 포함되는 이미지의 프레임(frame) 수, 프레임 레이트(frame rate) 및 사운드 출력 여부 중 적어도 하나를 포함하는 애플리케이션의 특성을 분석하는 단계; 를 더 포함하고,
    상기 출력 입체 콘텐트를 생성하는 단계는, 상기 분석된 애플리케이션 콘텐트의 특성에 기초하여, 상기 애플리케이션 콘텐트에 대응되는 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 어느 하나를 상기 애플리케이션 콘텐트에 합성하는 것인, 방법.
  9. 제1 항에 있어서,
    상기 3차원 배경 콘텐트는 상기 디바이스의 메모리에 저장되고,
    상기 출력 입체 콘텐트를 생성하는 단계는,
    상기 메모리에 저장된 상기 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 어느 하나의 3차원 배경 콘텐트를 선택하는 단계; 및
    상기 선택된 3차원 배경 콘텐트를 상기 애플리케이션 콘텐트에 합성하는 단계; 를 포함하는 것인, 방법.
  10. 제9 항에 있어서,
    상기 메모리에 저장된 상기 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 어느 하나를 선택하는 사용자 입력을 수신하는 단계; 를 더 포함하고,
    상기 출력 입체 콘텐트를 생성하는 단계는, 상기 사용자 입력에 기초하여 선택된 상기 3차원 배경 콘텐트를 상기 애플리케이션 콘텐트에 합성하는 것인, 방법.
  11. 3차원 배경 콘텐트를 합성하는 디바이스에 있어서,
    상기 디바이스와 연결된 외부 디바이스로부터 2차원 비입체 콘텐트인 애플리케이션 콘텐트를 수신하는 통신부; 및
    3차원 입체 이미지 및 3차원 입체 동영상 중 적어도 하나를 포함하는 상기 3차원 배경 콘텐트를 상기 애플리케이션 콘텐트에 합성하여 출력 입체 콘텐트를 생성하고, 상기 애플리케이션 콘텐트를 상기 외부 디바이스의 디스플레이부의 제1 영역에 표시되도록 배치하고, 상기 3차원 배경 콘텐트를 상기 디스플레이부의 제2 영역에 표시되도록 배치하는 제어부; 를 포함하고,
    상기 통신부는 상기 출력 입체 콘텐트를 상기 외부 디바이스에 전송하는 것인, 디바이스.
  12. 제11 항에 있어서,
    상기 제어부는 상기 3차원 배경 콘텐트를 상기 제1 영역을 둘러싸는 상기 제2 영역에 배치하는 것인, 디바이스.
  13. 제11 항에 있어서,
    상기 외부 디바이스는 헤드 마운티드 디스플레이 장치(Head Mounted Device, HMD) 및 3차원 TV 중 어느 하나인 것인, 디바이스.
  14. 제11 항에 있어서,
    상기 3차원 배경 콘텐트는 3차원 게임 경기장 이미지, 3차원 영화관 이미지, 3차원 사진 전시장(gallery) 이미지, 3차원 음악 공연장 이미지 및 3차원 스포츠 경기장 이미지 중 적어도 하나의 입체적 가상 현실 이미지를 포함하는 것인, 디바이스.
  15. 제11 항에 있어서,
    상기 제어부는 상기 외부 디바이스의 종류를 식별하고, 상기 식별된 외부 디바이스의 종류에 기초하여 상기 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 적어도 하나를 상기 애플리케이션 콘텐트에 부가하여 합성하는 것인, 디바이스.
  16. 제15 항에 있어서,
    상기 식별된 외부 디바이스는 HMD 장치이고,
    상기 제어부는 상기 HMD 장치의 디스플레이부의 전체 영역 중 상기 HMD 장치의 렌즈부와 동일한 형태를 갖는 상기 제1 영역에 상기 애플리케이션 콘텐트를 배치하고, 상기 HMD 장치의 디스플레이부의 전체 영역 중 상기 제1 영역을 제외한 영역인 상기 제2 영역에 상기 3차원 배경 콘텐트를 배치하는 것인, 디바이스.
  17. 제15 항에 있어서,
    상기 식별된 외부 디바이스는 3D TV이고,
    상기 제어부는 상기 애플리케이션 콘텐트를 3차원 애플리케이션 콘텐트로 변환하는 제1 렌더링을 수행하고, 상기 변환된 3차원 애플리케이션 콘텐트를 상기 3D TV의 디스플레이부 상의 제1 영역에 표시되도록 변환하는 제2 렌더링을 수행하는 것인, 디바이스.
  18. 제11 항에 있어서,
    상기 제어부는 상기 애플리케이션 콘텐트를 실행하는 애플리케이션의 종류, 상기 애플리케이션 콘텐트에 포함되는 이미지의 프레임(frame) 수, 프레임 레이트(frame rate) 및 사운드 출력 여부 중 적어도 하나를 포함하는 애플리케이션 콘텐트의 특성을 분석하고, 상기 분석된 애플리케이션의 특성에 기초하여 상기 애플리케이션 콘텐트에 대응되는 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 어느 하나를 상기 애플리케이션 콘텐트에 합성하는 것인, 디바이스.
  19. 제11 항에 있어서,
    상기 3차원 배경 콘텐트를 저장하는 메모리; 를 더 포함하고,
    상기 제어부는, 상기 메모리에 저장된 상기 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 어느 하나의 3차원 배경 콘텐트를 선택하고, 상기 선택된 3차원 배경 콘텐트를 상기 애플리케이션 콘텐트에 합성하는 것인, 디바이스.
  20. 제19 항에 있어서,
    상기 메모리에 저장된 상기 3차원 입체 이미지 및 상기 3차원 입체 동영상 중 어느 하나를 선택하는 사용자 입력을 수신하는 사용자 입력부; 를 더 포함하고,
    상기 제어부는 상기 사용자 입력에 기초하여 선택된 상기 3차원 배경 콘텐트를 상기 애플리케이션 콘텐트에 합성하는 것인, 디바이스.
  21. 제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020160022829A 2015-03-05 2016-02-25 3차원 배경 콘텐트를 합성하는 방법 및 디바이스 KR102321364B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160022829A KR102321364B1 (ko) 2015-03-05 2016-02-25 3차원 배경 콘텐트를 합성하는 방법 및 디바이스
US15/061,152 US20160261841A1 (en) 2015-03-05 2016-03-04 Method and device for synthesizing three-dimensional background content
PCT/KR2016/002192 WO2016140545A1 (en) 2015-03-05 2016-03-04 Method and device for synthesizing three-dimensional background content
EP16759181.7A EP3266201A4 (en) 2015-03-05 2016-03-04 Method and device for synthesizing three-dimensional background content

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
IN1091CH2015 2015-03-05
IN1091/CHE/2015(???) 2015-03-05
IN1091/CHE/2015(????) 2015-12-22
KR1020160022829A KR102321364B1 (ko) 2015-03-05 2016-02-25 3차원 배경 콘텐트를 합성하는 방법 및 디바이스

Publications (2)

Publication Number Publication Date
KR20160108158A true KR20160108158A (ko) 2016-09-19
KR102321364B1 KR102321364B1 (ko) 2021-11-03

Family

ID=56851217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160022829A KR102321364B1 (ko) 2015-03-05 2016-02-25 3차원 배경 콘텐트를 합성하는 방법 및 디바이스

Country Status (4)

Country Link
US (1) US20160261841A1 (ko)
EP (1) EP3266201A4 (ko)
KR (1) KR102321364B1 (ko)
WO (1) WO2016140545A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018070766A1 (ko) * 2016-10-13 2018-04-19 삼성전자 주식회사 콘텐츠 출력 방법 및 이를 지원하는 전자 장치
US10867366B2 (en) 2017-06-09 2020-12-15 Samsung Electronics Co., Ltd. System and method for dynamic transparent scaling of content display

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277598B2 (en) * 2009-07-14 2022-03-15 Cable Television Laboratories, Inc. Systems and methods for network-based media processing
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
CN108663803B (zh) * 2017-03-30 2021-03-26 腾讯科技（深圳）有限公司 虚拟现实眼镜、镜筒调节方法及装置
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
US10565802B2 (en) * 2017-08-31 2020-02-18 Disney Enterprises, Inc. Collaborative multi-modal mixed-reality system and methods leveraging reconfigurable tangible user interfaces for the production of immersive, cinematic, and interactive content
CN107911737B (zh) * 2017-11-28 2020-06-19 腾讯科技（深圳）有限公司 媒体内容的展示方法、装置、计算设备及存储介质
EP3687166A1 (en) * 2019-01-23 2020-07-29 Ultra-D Coöperatief U.A. Interoperable 3d image content handling
US10933317B2 (en) * 2019-03-15 2021-03-02 Sony Interactive Entertainment LLC. Near real-time augmented reality video gaming system
CN112055246B (zh) * 2020-09-11 2022-09-30 北京爱奇艺科技有限公司 一种视频处理方法、装置、系统及存储介质
CN112153398B (zh) * 2020-09-18 2022-08-16 湖南联盛网络科技股份有限公司 娱乐竞技演播方法、装置、系统、计算机设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120013021A (ko) * 2010-08-04 2012-02-14 주식회사 자이닉스 인터랙티브 가상현실 서비스 방법 및 장치
KR20140082610A (ko) * 2014-05-20 2014-07-02 (주)비투지 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077953A1 (en) * 2006-09-22 2008-03-27 Objectvideo, Inc. Video background replacement system
JP4835659B2 (ja) * 2007-07-30 2011-12-14 コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション 集積映像背景を有する２次元−３次元兼用ディスプレイ方法及び装置
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
KR101376066B1 (ko) * 2010-02-18 2014-03-21 삼성전자주식회사 영상 표시 시스템 및 그 표시 방법
JP5572437B2 (ja) * 2010-03-29 2014-08-13 富士フイルム株式会社 ３次元医用画像に基づいて立体視用画像を生成する装置および方法、並びにプログラム
US20120068996A1 (en) * 2010-09-21 2012-03-22 Sony Corporation Safe mode transition in 3d content rendering
KR101270780B1 (ko) * 2011-02-14 2013-06-07 김영대 가상 강의실 강의 방법 및 장치
US20120218253A1 (en) * 2011-02-28 2012-08-30 Microsoft Corporation Adjusting 3d effects for wearable viewing devices
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20130044192A1 (en) * 2011-08-17 2013-02-21 Google Inc. Converting 3d video into 2d video based on identification of format type of 3d video and providing either 2d or 3d video based on identification of display device type
JP5640155B2 (ja) * 2011-09-30 2014-12-10 富士フイルム株式会社 立体画像撮像装置及びその合焦状態確認用画像表示方法
KR20130081569A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 3ｄ 영상을 출력하기 위한 장치 및 방법
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
US9691181B2 (en) * 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
US10203519B2 (en) * 2014-04-01 2019-02-12 Essilor International Systems and methods for augmented reality
JP6463346B6 (ja) * 2014-05-16 2019-04-24 セガサミークリエイション株式会社 ゲーム画像生成装置およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120013021A (ko) * 2010-08-04 2012-02-14 주식회사 자이닉스 인터랙티브 가상현실 서비스 방법 및 장치
KR20140082610A (ko) * 2014-05-20 2014-07-02 (주)비투지 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018070766A1 (ko) * 2016-10-13 2018-04-19 삼성전자 주식회사 콘텐츠 출력 방법 및 이를 지원하는 전자 장치
US10818075B2 (en) 2016-10-13 2020-10-27 Samsung Electronics Co., Ltd. Content output method and electronic device for supporting same
US10867366B2 (en) 2017-06-09 2020-12-15 Samsung Electronics Co., Ltd. System and method for dynamic transparent scaling of content display

Also Published As

Publication number Publication date
EP3266201A1 (en) 2018-01-10
US20160261841A1 (en) 2016-09-08
KR102321364B1 (ko) 2021-11-03
EP3266201A4 (en) 2018-02-28
WO2016140545A1 (en) 2016-09-09

Similar Documents

Publication Publication Date Title
KR102321364B1 (ko) 3차원 배경 콘텐트를 합성하는 방법 및 디바이스
KR102063895B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
EP3332565B1 (en) Mixed reality social interaction
KR20220030263A (ko) 텍스처 메시 빌딩
US10516870B2 (en) Information processing device, information processing method, and program
WO2017113681A1 (zh) 一种基于虚拟现实技术的视频图像处理方法及装置
US9717988B2 (en) Rendering system, rendering server, control method thereof, program, and recording medium
KR102215166B1 (ko) 제공장치, 제공방법 및 컴퓨터 프로그램
ES2823034T3 (es) Transmisión de aplicación de baja latencia usando transformación de trama temporal
CN112672131B (zh) 一种全景视频图像显示方法及显示设备
JP2020522801A (ja) バーチャル・リアリティ・メディア・コンテンツ内に含める目的での現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するための方法及びシステム
US11922602B2 (en) Virtual, augmented, and mixed reality systems and methods
CN110710203A (zh) 用于生成和渲染沉浸式视频内容的方法、系统和介质
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
US20230251710A1 (en) Virtual, augmented, and mixed reality systems and methods
US20230052104A1 (en) Virtual content experience system and control method for same
KR101773929B1 (ko) 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
US11562529B2 (en) Generating and modifying an artificial reality environment using occlusion surfaces at predetermined distances
KR20190030565A (ko) 전자 장치 및 그 동작방법
KR20230012196A (ko) 가상공간과 현실공간 연결 서비스 서버, 사용자 단말 장치 및 그 제어 방법
KR20180075222A (ko) 전자 장치 및 그 동작 방법
JP2016024760A (ja) 表示制御装置、表示端末、及び表示制御プログラム
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant