KR101856632B1 - 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치 - Google Patents

화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치 Download PDF

Info

Publication number
KR101856632B1
KR101856632B1 KR1020160159372A KR20160159372A KR101856632B1 KR 101856632 B1 KR101856632 B1 KR 101856632B1 KR 1020160159372 A KR1020160159372 A KR 1020160159372A KR 20160159372 A KR20160159372 A KR 20160159372A KR 101856632 B1 KR101856632 B1 KR 101856632B1
Authority
KR
South Korea
Prior art keywords
information
image
speaker
caption
user
Prior art date
Application number
KR1020160159372A
Other languages
English (en)
Other versions
KR20180042094A (ko
Inventor
고범준
Original Assignee
고범준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고범준 filed Critical 고범준
Publication of KR20180042094A publication Critical patent/KR20180042094A/ko
Application granted granted Critical
Publication of KR101856632B1 publication Critical patent/KR101856632B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치가 개시된다. 화자의 위치를 기반으로 한 자막 디스플레이 방법은 VR(virtual reality) 영상 서버가 VR 정보를 생성하는 단계와 VR 영상 서버가 VR 정보를 사용자 장치로 전송하는 단계를 포함할 수 있되, VR 정보는 VR 영상 정보, VR 자막 정보, VR 영상 객체 위치 정보, VR 영상 객체 발화 정보를 포함할 수 있다.

Description

화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치{Method and apparatus for displaying caption based on location of speaker and apparatus for performing the same}
본 발명은 영상 처리 방법에 관한 것으로서, 보다 상세하게는 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치에 관한 것이다.
기존의 360도 파노라마 VR(virtual reality) 영상을 감상하는 사용자는 사용자의 시야 범위에 해당하는 영상만을 제공받을 수 있다.
또한, VR 영상을 HMD(head mount display) 기기를 기반으로 감상하는 사용자는 360도 파노라마 영상 전체가 아닌 360도 전/후/좌/우 어느 방향이든 사용자의 의도한 곳에 해당하는 영상만을 시청할 수 있다.
HMD란 사용자가 VR 영상에 대한 감상을 위한 기기와 결합되어 사용자의 머리에 주로 착용되어 사용되는 장치 또는 디스플레이와 기기가 일체형으로 제작되어 나온 전용 VR 감상용 디바이스일 수 있다.
모국어가 아닌 다른 언어를 기반으로 한 영상 콘텐츠(예를 들어, VR 영상을 포함)는 영상 콘텐츠에 대한 이해를 돕기 위해 모국어로 번역된 자막이 필요할 수 있다.
기존 VR 영상에서는 기존 영상과 같이 자막과 영상을 사용자의 시야 내에서 모두 감상할 수 있지 않고 사용자가 원하는 방향의 영상만의 감상이 가능하여 자막의 전달에 대한 문제가 발생될 수 있다.
또한, 기존 VR 영상에서 현재 화자의 위치에 자막을 표시하는 경우, 현재 화자의 방향이 아닌 다른 방향을 보고 있는 VR 영상의 감상자는 자막을 보지 못할 수 있다.
이뿐만 아니라, 기존 VR 영상에서 현재 화자의 위치와 관계없이 VR 영상을 감상 중에 어느 방향을 보고 있어도 자막이 감상자가 보는 디스플레이의 일정 부분에 위치한다면, 한눈에 VR 영상 전체를 볼 수 없는 감상자는 어느 방향에서 자막 내용의 화자가 위치하는지 알 수가 없다는 문제점이 있다.
예를 들면, 감상자가 정면에서 좌측으로 90도 이동 방향의 영상을 감상할 경우, 누군가 대사를 한다면, 자막 등은 영상에 표시될 수 있지만 어디에서 화자가 대사를 하고 있는지 알 수 없는 문제점이 발생된다.
이러한 문제점 때문에 위해 화자의 위치를 파악해, 내 시야에 화자가 없을 경우 어느 방향에서 화자가 대사 중이라는 정보 표현이 VR 영상에서 필요하게 된다.
10-1606860
본 발명의 목적은 화자의 위치를 기반으로 한 자막 디스플레이 방법을 제공할 수 있다.
본 발명의 다른 목적은 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치를 제공할 수 있다.
본 발명의 일 측면에 따른 화자의 위치를 기반으로 한 자막 디스플레이 방법은 VR(virtual reality) 영상 서버가 VR 정보를 생성하는 단계와 상기 VR 영상 서버가 상기 VR 정보를 사용자 장치로 전송하는 단계를 포함할 수 있되, 상기 VR 정보는 VR 영상 정보, VR 자막 정보, VR 영상 객체 위치 정보, VR 영상 객체 발화 정보를 포함할 수 있다.
한편, 상기 VR 영상 정보는 VR 영상 이미지에 대한 정보를 포함하고, 상기 VR 자막 정보는 상기 VR 영상 이미지와 동기화된 자막에 대한 정보를 포함하고, 상기 VR 영상 객체 위치 정보는 상기 VR 영상 이미지에 포함된 적어도 하나의 화자의 위치에 대한 정보를 포함하고, 상기 VR 영상 객체 발화 정보는 상기 적어도 하나의 화자 중 상기 자막과 매칭되는 화자에 대한 정보를 포함할 수 있다.
또한, 상기 사용자 장치는 상기 VR 정보를 기반으로 상기 자막을 상기 사용자 장치의 시선을 기반으로 변화시킬 수 있다.
또한, 상기 사용자 장치는 상기 자막의 디폴트 위치가 상기 시선의 범위 밖인 경우, 상기 자막에 대한 정보가 상기 화자의 위치를 지시할 수 있다.
또한, 상기 자막에 대한 정보는 화살표, 깜박이는 점, 자막색의 변화 또는 자막의 위치/모양의 변화를 기반으로 상기 화자의 위치를 지시하기 위한 지시 정보를 더 포함할 수 있다.
또한, 상기 VR 영상 정보, VR 자막 정보, VR 영상 객체 위치 정보, 및 VR 영상 객체 발화 정보는 각각 VR 영상 이미지의 공간상 위치, 자막의 공간상 위치, 화자의 공간상 위치, 자막과 매칭되는 화자의 공간상 위치에 대한 위치 좌표 정보를 더 포함할 수 있다.
본 발명의 또 다른 측면에 따른 화자의 위치를 기반으로 한 자막 디스플레이를 수행하는 VR(virtual reality) 영상 시스템에 있어서, 상기 VR 영상 시스템은 VR 영상 서버를 포함하고, 상기 VR 영상 서버가 VR 정보를 생성하고, 상기 VR 정보를 사용자 장치로 전송하도록 구현될 수 있되, 상기 VR 정보는 VR 영상 정보, VR 자막 정보, VR 영상 객체 위치 정보, VR 영상 객체 발화 정보를 포함할 수 있다.
한편, 상기 VR 영상 정보는 VR 영상 이미지에 대한 정보를 포함하고, 상기 VR 자막 정보는 상기 VR 영상 이미지와 동기화된 자막에 대한 정보를 포함하고, 상기 VR 영상 객체 위치 정보는 상기 VR 영상 이미지에 포함된 적어도 하나의 화자의 위치에 대한 정보를 포함하고, 상기 VR 영상 객체 발화 정보는 상기 적어도 하나의 화자 중 상기 자막과 매칭되는 화자에 대한 정보를 포함할 수 있다.
또한, 상기 사용자 장치는 상기 VR 정보를 기반으로 상기 자막을 상기 사용자 장치의 시선을 기반으로 변화시킬 수 있다.
또한, 상기 사용자 장치는 상기 자막의 디폴트 위치가 상기 시선의 범위 밖인 경우, 상기 자막에 대한 정보가 상기 화자의 위치를 지시할 수 있다.
또한, 상기 자막에 대한 정보는 화살표, 깜박이는 점, 자막색의 변화 또는 자막의 위치/모양의 변화를 기반으로 상기 화자의 위치를 지시하기 위한 지시 정보를 더 포함할 수 있다.
본 발명의 실시예에 따른 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치는 화자에 대한 정보, 화자의 위치 좌표 정보를 사전에 입력하여, 영상에서 화자의 위치 좌표 정보를 기반으로 화자에 대응되는 자막을 사용자의 디스플레이 상에 출력할 수 있어 사용자가 자막 정보에 대한 이해도를 향상시킬 수 있다.
또한, 객체의 위치 좌표 정보를 기반으로 사용자에 의해 시청되는 영상 내의 객체에 대한 정보가 사용자에게 제공될 수 있고, 사용자의 시야 범위가 다른 영상 기준점을 기준으로 변경될 수 있어 사용자의 VR 영상에 대한 감상시 효율적이고 인터랙티브한 감상 환경이 조성될 수 있다.
도 1은 본 발명의 실시예에 따른 VR(virtual reality) 영상 시스템을 나타낸 개념도이다.
도 2 내지 도 8은 본 발명의 실시예에 따른 VR 영상에서 화자의 위치 정보를 기반으로 한 자막 디스플레이 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 가상 카메라를 기반으로 좌표를 설정하는 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 화자의 위치 정보를 표현하는 방법을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 영상과 관련된 부가적인 정보를 전달하는 방법을 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 영상과 관련된 부가적인 정보를 전달하는 방법을 나타낸 개념도이다.
도 13은 본 발명의 실시예에 따른 VR 영상에 게임적인 요소를 추가하는 방법을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 VR(virtual reality) 영상 시스템을 나타낸 개념도이다.
도 1에서는 화자의 위치를 기반으로 자막 정보를 사용자에게 제공하기 위한 디스플레이 방법이 개시된다.
도 1을 참조하면, VR 영상 시스템은 VR 영상 서버(100), 사용자 장치(170)를 포함할 수 있다.
VR 영상 서버(100)는 VR 영상 생성부(110), VR 자막 생성부(120), VR 영상 객체 추출부(130) 및 VR 영상 객체 위치 정보 생성부(140) 및 VR 영상 객체 발화 정보 생성부(150)를 포함할 수 있다.
VR 영상 생성부(110)는 VR 영상을 생성하기 위해 구현될 수 있다.
VR 자막 생성부(120)는 VR 영상에 대한 자막을 생성하기 위해 구현될 수 있다.
VR 영상 객체 추출부(130)는 VR 영상에서 객체에 대한 정보를 추출하기 위해 구현될 수 있다.
VR 영상 객체 위치 정보 생성부(140)는 VR 영상에서 객체의 위치 정보(VR 영상 객체 위치 정보)를 생성하기 위해 구현될 수 있다. VR 영상 객체 위치 정보 생성부(140)는 기준점을 설정하고, 기준점을 기준으로 VR 영상 내의 객체가 어떠한 위치에 위치하였는지를 결정할 수 있다. 예를 들어, 특정 좌표계(예를 들어, 3차원 좌표계, 구면 좌표계)를 기준으로 가상 공간 상의 VR 영상 상에서 객체의 위치가 표시될 수 있다.
VR 영상 객체 발화 정보 생성부(150)는 VR 영상 내에서 어떠한 객체(또는 화자)가 발화하는지에 대한 정보(VR 영상 객체 발화 정보)를 생성하기 위해 구현될 수 있다.
VR 영상 객체 위치 정보와 VR 영상 객체 발화 정보는 동기화될 수 있다.
이뿐만 아니라 VR 영상 서버(100)는 화자(또는 객체)와 관련된 추가적인 정보를 VR 영상을 통해 제공하기 위한 부가 정보(이하, VR 영상 부가 정보)를 생성할 수도 있다. 예를 들어, 화자(또는 객체)와 관련된 추가적인 정보는 화자의 프로필, VR 영상 내의 화자와의 상호 작용을 위한 정보, 화자와 관련된 추천 영상 정보 등을 포함할 수 있다. 이러한 부가 정보를 기반으로 사용자는 VR 영상을 통해 부가적인 정보를 획득하고, VR 영상 내의 객체와 상호 작용을 할 수 있다.
VR 영상 서버(100)는 VR 정보를 사용자 장치(170)로 전송할 수 있다. VR 정보는 VR 영상에 대한 정보(VR 영상 정보)/VR 영상에 대한 자막 정보(VR 자막 정보)뿐만 아니라, 동기화된 VR 영상 객체 발화 정보 및 VR 영상 내의 객체의 위치 정보 및 VR 영상 부가 정보를 포함할 수 있다.
즉, VR 영상 정보는 VR 영상 이미지에 대한 정보를 포함하고, VR 자막 정보는 VR 영상 이미지의 자막에 대한 정보를 포함하고, VR 영상 객체 위치 정보는 VR 영상 이미지에 포함된 적어도 하나의 화자의 위치에 대한 정보를 포함하고, VR 영상 객체 발화 정보는 적어도 하나의 화자 중 자막과 매칭되는 객체에 대한 정보를 포함할 수 있다.
한편, 후술하겠지만, VR 영상 정보, VR 자막 정보, VR 영상 객체 위치 정보, VR 영상 객체 발화 정보 및 VR 영상 부가 정보는 해당 VR 영상 이미지의 공간상 위치, 자막의 공간상 위치, 화자의 공간상 위치, 자막과 매칭되는 화자의 공간상 위치 및 부가 정보의 위치에 대하여 특정 좌표를 기준으로 VR 모델에 따른 가상 공간 상의 위치 좌표에 대한 정보를 더 포함할 수 있음은 물론이다.
사용자 장치(170)는 VR 영상 서버(100)로부터 VR 정보를 수신하기 위해 구현될 수 있다. 사용자 장치(170)는 사용자의 VR 영상에 대한 감상을 위한 기기와 결합되어 사용자의 머리에 주로 착용되어 사용되는 장치 또는 디스플레이와 기기가 일체형으로 제작되어 나온 전용 VR 감상용 장치 등일 수 있다.
사용자 장치(170)는 VR 정보를 수신하고, VR 영상의 기준점을 기준으로 결정된 사용자의 시점을 기반으로 사용자의 시점에 맞는 VR 영상을 제공할 수 있다.
예를 들어, 사용자가 제1 시점을 향하고 있는 경우, 사용자 장치(170)는 360도 VR 영상 중 제1 시점에 해당하는 영상을 제공할 수 있다.
또한, 사용자 장치(170)는 사용자 장치(170)의 시점을 기반으로 자막 정보를 적응적으로 생성하여 디스플레이 상에서 출력할 수 있다.
본 발명의 실시예에 따르면, 사용자 장치(170)는 VR 영상에서 화자(또는 객체)의 위치 좌표를 이용한 자막 디스플레이 방법은 360도 파노라마 VR 영상에서 화자의 위치 정보(또는 위치 좌표 정보)를 기반으로 자막을 사용자 장치(170) 상에서 출력할 수 있다.
VR 정보에 포함되어 있는 동기화된 VR 영상 객체 위치 정보와 VR 영상 객체 발화 정보를 기반으로 VR 영상 내의 화자가 등장하는 일정 시간 구간 동안 화자가 발화하는 내용에 대한 자막이 표시되되, 화자가 특정 위치를 벗어나는 경우(예를 들어, 화자가 VR 영상을 시청하는 사용자의 시야에서 벗어나는 경우), 화자의 발화 내용에 대한 자막은 일정 좌표 구간 내에 위치하되 화자의 위치를 표시하기 위하여, 화자의 위치 정보를 화살표 또는 깜빡이는 점을 기반으로 표시하여 사용자에게 전달하거나 화자의 위치 정보를 기반으로 자막의 색, 위치, 모양을 변화하는 방법으로 영상 내 자막을 제어할 수 있다.
이러한 방법을 기반으로 VR 영상을 시청하는 사용자가 자신의 시야를 벗어나 존재하는 객체(또는 화자)에 대한 정보를 획득하고, 객체에 의해 발화되는 내용에 대한 자막 정보를 기반으로 영상 내의 객체의 발화 내용을 알 수 있다.
이하, 구체적인 VR 영상에서 화자(또는 객체)의 위치 정보를 기반으로 한 자막 디스플레이 방법이 개시된다.
도 2 내지 도 8은 본 발명의 실시예에 따른 VR 영상에서 화자의 위치 정보를 기반으로 한 자막 디스플레이 방법을 나타낸 개념도이다.
도 2 및 도 3에서는 본 발명의 실시예에 따른 VR 영상에서의 화자의 위치 정보를 기반으로 한 자막 디스플레이 방법을 통해 구현된 이미지가 개시된다.
도 4 및 도 5에서는 본 발명의 실시예에 따른 VR 영상에서의 화자의 위치 정보를 기반으로 한 자막 디스플레이 방법을 기반으로 출력되는 영상의 점 로딩 방식과 화살표 표시 방식이 개시된다.
도 6 내지 도 8에서는 본 발명의 실시예에 따른 VR 영상에서의 화자의 위치 정보를 기반으로 한 자막 디스플레이 방법에서 구현 이미지 중 스마트 위치 추적에 관련하여 정보 표시, 질문, 추천 영상 표시 등을 인터렉티브하게 구현한 이미지가 개시된다.
도 2 및 도 3을 참조하면, VR 영상에서 화자가 사용자의 시야 범위 내에 위치하는 경우, 사용자에 의해 발화된 언어가 자막(예를 들어 'How was your today')으로 표시될 수 있다.
도 4 및 도 5를 참조하면, VR 영상에서 화자가 사용자의 시야 범위의 밖에 위치하는 경우, 사용자에 의해 발화된 언어에 대한 자막(예를 들어 'How was your today?')이 화자의 위치를 표시하기 위한 점, 화살표 등의 식별자와 함께 출력될 수 있다.
도 6 내지 도 8을 참조하면, VR 영상에서 화자와 관련된 추가적인 정보가 전달될 수 있다. 예를 들어, 도 6을 참조하면, 화자의 프로필 정보가 제공될 수 있고, 도 7을 참조하면, 화자와 대화를 진행하기 위한 선택지 정보가 제공될 수 있고, 도 8을 참조하면, 화자와 관련된 영상을 추천하기 위한 추천 영상 정보가 제공될 수 있다.
즉, 본 발명의 실시예에 따른 VR 영상에서의 화자의 위치 정보를 기반으로 한 자막의 디스플레이 방법은 360도 파노라마 VR 영상에서 화자의 위치 정보를 기반으로 자막을 디스플레이할 수 있다.
구체적으로 VR 영상에 대한 출력시 화자의 위치 정보를 기반으로 화자가 등장하는 일정 시간 구간 상에서 자막을 출력할 수 있다. 사용자의 시야 내에 화자가 위치한 경우, 화자의 위치 정보를 기반으로 결정된 일정 좌표의 위치 상에서 자막이 표시될 수 있다.
자막은 VR 영상에서 화자의 위치 정보를 기반으로 결정된 일정 좌표 구간 내에 위치하되 자막과 대응되는 화자의 위치를 표시하기 위하여, 해당 화자의 위치 좌표가 화살표 또는 깜빡이는 점으로 표시되거나 해당 화자의 위치 좌표를 기반으로 자막의 색, 위치, 모양을 변화시켜 영상 내 자막의 위치가 제어될 수 있다.
본 발명의 실시예에 따른 VR 영상에서의 화자의 위치 좌표를 이용한 자막 디스플레이 방법은 현재 사용자가 보고 있는 영상의 전체 좌표 안에 화자의 위치 정보에 대한 좌표가 포함되지 않는 경우(즉, 시야에서 벗어나는 경우) 자막의 위치는 일정 좌표에 위치하고, 해당 화자의 위치를 표시하기 위하여 추가적인 식별자가 사용될 수 있다.
예를 들면, 해당 화자의 위치 정보를 기반으로 화자의 위치를 지시하기 위한 화살표 표시, 깜박이는 점 표시, 자막색 변화(예를 들어, 우측에 화자가 있을 경우, 우측으로 갈수록 자막의 색이 조금씩 초록색으로 변화), 자막 위치 변화(예를 들어, 우측에 화자가 있을 경우, 자막이 원래 위치에서 우측으로 움직임), 자막 모양 변화(예를 들어, 우측에 화자가 있을 시 우측면의 자막이 점점 커진다던지, 길어진다던지) 등의 추가적인 자막에 대한 식별자가 출력될 수 있다. 이러한 방법뿐만 아니라 다양한 방법이 화자의 위치를 지시하기 위해 사용될 수 있다.
도 9는 본 발명의 실시예에 따른 가상 카메라를 기반으로 좌표를 설정하는 방법을 나타낸 개념도이다.
도 9의 (a)를 참조하면, 자막의 출력을 위해 영상이 예를 들어 특정한 가상의 구체에 입혀지고, 해당 구체의 가운데에 VR 영상의 디스플레이를 위한 가상 카메라가 존재하며, 해당 카메라가 지시하는 좌표를 실시간으로 또는 주기적으로(1초 이하의 주기 단위)체크하며, 해당 카메라가 가리키는 좌표(또는 위치 정보)에 해당하는 영상 표시 좌표(직사각형의 각 모서리 좌표)를 체크하고, 해당 영상 표시 좌표 범위(직사각형) 안에 화자의 좌표가 포함되어 있을 시 자막의 위치를 화자의 좌표의 정 가운데점을 기준으로 특정한 좌표에 위치시키거나, 혹은 영상 표시 좌표 안의 특정한 좌표에 위치시킬 수 있다. 가상 카메라는 사용자의 시선과 대응될 수 있다. 한편, 도 9에서 예시된 구체의 VR 영상 공간은 예시로서 이에 한정되지 않으며 VR 모델에 따라 적절한 영상 공간이 적용될 수 있음은 물론이다.
예를 들어, 사용자의 시선 이동을 실시간으로 체크하여 사용자의 시선 이동 방향에 따라 자막이 표시될 수 있다. 자막은 사용자의 시선 방향에 해당하는 영상의 정면에 표시될 수 있다. 사용자의 시선 방향은 사용자의 눈에 해당하는 가상 카메라의 위치 좌표 값을 1/100초 단위 이하로 체크하여, 해당 자막을 표시할 가상 오브젝트 박스의 위치를 가상 카메라 앞으로 지속적으로 이동시킬 수 있다.
또한, 도 9의 (b)를 참조하면, 본 VR 영상에서의 화자의 위치 좌표를 이용한 자막 디스플레이 방법을 수행하는 시스템은 해당 영상 표시 좌표 범위(직사각형) 안에 화자의 좌표가 불포함되어 있을 시 자막의 위치가 화자의 좌표 위치를 알릴 수 있게, 영상 표시 좌표와 화자의 좌표가 멀어진 좌표 값만큼 기본 자막의 위치에서 이동시키거나, 특정한 위치에 자막을 위치시키고, 특정한 위치에 자막을 위치시킬 경우 다양한 방식(화살표, 자막 모양/색 변화 등)을 통하여 VR 영상 내에서 화자의 위치 정보를 알릴 수 있다.
보다 구체적으로, 360도 파노라마 VR 영상을 감상하기 위해서 영상의 특정 위치를 표시하기 위한 X축의 1차원 이상의 좌표계를 통한 위치 좌표 방식 또는 360도 방향을 2개 이상의 기분할된 구역으로 나누어 영상의 일정 부분을 특정하는 방식, 또는 영상에서의 특정 이미지(얼굴 모양, 사물 모양 등)를 추적하는 방식을 통해 일정 영상 위치를 특정하는 방식 또는 방향성의 정보가 포함된 3D사운드의 사운드 방향 등을 이용한 영상의 일정 위치를 특정하는 방식 등과 같이 VR 영상에서의 일정 부분을 특정하는 다양한 방식을 통해 VR 영상에서 화자의 특정 위치를 지정할 수 있다.
또한, 위치 정보가 저장되어 있는 설정값 파일 또는 실시간 서버 등에 저장 후 실시간 네트워킹 등을 통한 정보 교환, 기기 내 기설정된 소프트웨어적인 분석 툴 등으로 실시간으로 위치 값을 지정하는 방식 등과 같이 다양한 방식으로 현재 필요한 지정 위치 좌표 값 또는 그와 연관된 정보 값이 획득될 수 있다.
전술한 방식을 통해 현재 화자(현재 대사하는 사람)의 위치, 방향 등을 특정할 수 있으며 사용자에게 디스플레이되고 있는 화면 범위 안에 화자의 위치 값이 없을 경우, 정 가운데 등의 특정한 위치에 자막과 화자의 위치에 대한 정보를 표시할 수 있다.
도 10은 본 발명의 실시예에 따른 화자의 위치 정보를 표현하는 방법을 나타낸 개념도이다.
도 10을 참조하면, 화자의 위치를 화살표를 기반으로 표시하는 방식이 개시된다. 사용자는 'love, love, love, love'라는 문장을 발화는 화자가 시야에는 없으나 화살표 방향을 기반으로 화자의 위치를 알 수 있고, 시야를 화살표 방향으로 전환하여 화자를 확인할 수 있다.
즉, 사용자에게 디스플레이되고 있는 화면 범위 안에 화자의 위치 정보에 대응되는 좌표가 포함되지 않을 경우, 자막의 위치가 정중앙 등의 위치에서 화자의 위치와 가까운 방향으로 점진적, 또는 지정한 위치로의 이동하는 방식 또는 자막색의 점진적인 변화 등을 포함하는 색을 이용하여 화자의 방향성을 표시하는 방식, 내가 보고 있는 방향과 멀어질 경우 자막의 흐려짐이나 전체 색의 변화, 화자의 위치를 표시하기 위한 화살표 표시, 깜빡이는 점 표시, 자막의 기울임, 자막의 점진적인 크기 증가 등 해당 화자의 위치를 알 수 있게 하거나, 화자와 내가 보고있는 디스플레이 화면이 멀어진다는 등의 정보를 전달하기 위한 다양한 방식이 적용될 수 있다.
또한, 사용자가 직접 디스플레이의 방향을 바꾸지 않아도 화자의 위치로 현재 감상중인 디스플레이 화면의 중심 좌표를 이동하여 화자를 볼 수 있게 해주는 방식도 사용될 수 있다.
또한, 사용자의 사용자 장치에서 VR 영상을 디스플레이하는 화면의 중심점을 기준으로 일정 범위를 지정하거나 또는 중심점으로부터 바깥쪽으로 갈수록 낮아지는 점진적인 점수 값 변화 등을 기반으로 사용자가 주로 보는 위치에 대한 정보를 획득할 수 있다.
도 11은 본 발명의 실시예에 따른 영상과 관련된 부가적인 정보를 전달하는 방법을 나타낸 개념도이다.
도 11을 참조하면, 사용자가 특정한 버튼을 클릭하는 경우, 현재 시야 내에 위치한 객체에 대한 정보가 제공될 수 있다.
또한, 전술한 도 6 내지 도 8과 같이 사용자가 VR 영상을 감상하는 중 관심있어 하는 인물, 사물, 배경 등과 관련된 후속 영상 추천, 맞춤형 광고 등과 같이 사용자가 관심이 있어 하는 객체/배경의 위치 정보를 활용한 서비스가 제공될 수 있다. 특정 위치 값에서의 입력(모션, 콘트롤러 등)이 발생하는 경우, 해당 위치 값에 대응되는 인물 정보, 사물 정보, 배경 정보 등이 위치 값의 주변, 또는 디스플레이의 특정 위치 등 기지정된 위치에 표시될 수 있다.
구체적으로 사용자에 의해 선택된 인물과 관련된 연관 영상, 추천 영상, 관련 사이트, 뉴스 등 관련 위치 값에 해당하는 기지정된 정보 등이 위치 값의 주변 또는 디스플레이의 특정 위치 등 기 지정된 위치에 표시할 수 있다. 또한, 사용자는 복수의 지정된 영상 연동플레이 등을 통해 이어지는 영상의 2개 이상의 영상 중 1개의 영상을 지정하여 감상하는 방식 등과 같은 선택적 감상 방법으로 게임적 요소가 VR 영상에 가미될 수도 있고, 사용자가 영상의 특정 위치 값에서 특정 입력시 기지정된 후속 영상을 플레이하는 방식이 사용될 수도 있다.
전술한 바와 같이 VR 영상에서 좌표(또는 위치 정보)가 특정될 수 있고, 화자뿐만 아니라 VR 영상 내의 다양한 객체, 배경에 대한 위치 정보(또는 좌표)를 기반으로 인물의 정보, 내가 자주보는 인물 데이터 수집, 특정 입력을 통한 현재 대사 중인 화자 위치로의 영상 기준점 변경, 이동 등과 같은 다양한 입출력이 수행되어 VR 영상 감상시 효율적이고 인터랙티브한 감상 환경이 조성될 수 있다.
도 12는 본 발명의 실시예에 따른 영상과 관련된 부가적인 정보를 전달하는 방법을 나타낸 개념도이다.
도 12에서는 사용자의 관심도를 측정하여 추천 영상, 맞춤 광고를 제공하는 방법이 개시된다.
도 12를 참조하면, 사용자의 시선 이동이 판단될 수 있고 사용자의 시선이 머무른 시간에 대한 정보를 기반으로 사용자의 관심사를 판단하여 추천 영상, 맞춤 광고가 제공될 수 있다.
예를 들어, 사용자가 VR 영상 내에서 술에 시선을 오래 둔 경우, 사용자가 술에 관심이 있는 것으로 판단되고 술에 대한 광고 정보가 제공될 수 있다.
측정된 값을 이용해서 내가 관심 있게 본 인물에 대한 추천 영상, 맞춤 광고가 가능하고, 영상 감상 환경의 효용성 증대와, 광고주들의 광고 효용성이 증대될 수 있다.
도 13은 본 발명의 실시예에 따른 VR 영상에 게임적인 요소를 추가하는 방법을 나타낸 개념도이다.
도 13을 참조하면, 영상을 플레이하다 정지 화면에서 다음 영상을 선택하는 고정적 방식의 게임적 영상이 구현될 수 있다.
영상 플레이 중 다음에 재생될 영상을 선택할 수 있어 사용자에게 영상에 대해 좀 더 몰입감과 만족감을 줄 수 있다.
구체적으로 사용자가 사용자 장치의 특정 버튼을 클릭하는 경우, 특정 상황, 특정 인물에 대한 영상이 선택되고, 사용자의 선택에 따른 영상이 재생될 수 있다.
화자의 위치를 기반으로 한 자막 디스플레이 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들일 수 있고, 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (12)

  1. 화자의 위치를 기반으로 한 자막 디스플레이 방법은,
    VR(virtual reality) 영상 서버가 VR 정보를 생성하는 단계; 및
    상기 VR 영상 서버가 상기 VR 정보를 사용자 장치로 전송하는 단계를 포함하되,
    상기 VR 정보는 VR 영상 정보, VR 자막 정보, VR 영상 객체 위치 정보, VR 영상 객체 발화 정보를 포함하고,
    상기 VR 영상 정보는 VR 영상 이미지에 대한 정보를 포함하고,
    상기 VR 자막 정보는 상기 VR 영상 이미지와 동기화된 자막에 대한 정보를 포함하고,
    상기 VR 영상 객체 위치 정보는 상기 VR 영상 이미지에 포함된 적어도 하나의 화자의 위치에 대한 정보를 포함하고,
    상기 VR 영상 객체 발화 정보는 상기 적어도 하나의 화자 중 상기 자막과 매칭되는 화자에 대한 정보를 포함하고,
    상기 사용자 장치는 상기 VR 정보를 기반으로 상기 자막을 상기 사용자 장치의 시선을 기반으로 변화시키고,
    상기 사용자 장치는, 현재 상기 사용자 장치 상에서 디스플레이되는 상기 VR 영상 이미지의 범위 안에 상기 화자의 위치 값이 없을 경우, 상기 화자의 위치 및 상기 사용자 장치의 시선을 기반으로 상기 자막의 특성을 변화시키고,
    상기 사용자 장치는, 상기 자막의 디폴트 위치가 상기 시선의 범위 밖인 경우, 상기 자막에 대한 정보가 상기 화자의 위치를 방향으로 지시하며,
    상기 사용자 장치는, 사용자 선택에 따라 상기 화자의 프로필 정보 및 상기 화자와 관련된 영상을 추천하기 위한 영상 정보 중 적어도 하나의 정보를 VR 영상 내에서 상기 화자와 함께 디스플레이되도록 제공하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 자막에 대한 정보는 화살표, 깜박이는 점, 자막색의 변화 또는 자막의 위치/모양의 변화를 기반으로 상기 화자의 위치를 지시하기 위한 지시 정보를 더 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 VR 영상 정보, VR 자막 정보, VR 영상 객체 위치 정보, 및 VR 영상 객체 발화 정보는 각각 VR 영상 이미지의 공간상 위치, 자막의 공간상 위치, 화자의 공간상 위치, 자막과 매칭되는 화자의 공간상 위치에 대한 위치 좌표 정보를 더 포함하는 것을 특징으로 하는 방법.
  7. 화자의 위치를 기반으로 한 자막 디스플레이를 수행하는 VR(virtual reality) 영상 시스템에 있어서,
    상기 VR 영상 시스템은 VR 영상 서버를 포함하고,
    상기 VR 영상 서버가 VR 정보를 생성하고,
    상기 VR 정보를 사용자 장치로 전송하도록 구현되되,
    상기 VR 정보는 VR 영상 정보, VR 자막 정보, VR 영상 객체 위치 정보, VR 영상 객체 발화 정보를 포함하고,
    상기 VR 영상 정보는 VR 영상 이미지에 대한 정보를 포함하고,
    상기 VR 자막 정보는 상기 VR 영상 이미지와 동기화된 자막에 대한 정보를 포함하고,
    상기 VR 영상 객체 위치 정보는 상기 VR 영상 이미지에 포함된 적어도 하나의 화자의 위치에 대한 정보를 포함하고,
    상기 VR 영상 객체 발화 정보는 상기 적어도 하나의 화자 중 상기 자막과 매칭되는 화자에 대한 정보를 포함하고,
    상기 사용자 장치는 상기 VR 정보를 기반으로 상기 자막을 상기 사용자 장치의 시선을 기반으로 변화시키고,
    상기 사용자 장치는, 현재 상기 사용자 장치 상에서 디스플레이되는 상기 VR 영상 이미지의 범위 안에 상기 화자의 위치 값이 없을 경우, 상기 화자의 위치 및 상기 사용자 장치의 시선을 기반으로 상기 자막의 특성을 변화시키고,
    상기 사용자 장치는, 상기 자막의 디폴트 위치가 상기 시선의 범위 밖인 경우, 상기 자막에 대한 정보가 상기 화자의 위치를 방향으로 지시하며,
    상기 사용자 장치는, 사용자 선택에 따라 상기 화자의 프로필 정보 및 상기 화자와 관련된 영상을 추천하기 위한 영상 정보 중 적어도 하나의 정보를 VR 영상 내에서 상기 화자와 함께 디스플레이되도록 제공하는 것을 특징으로 하는 VR 영상 시스템.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제7항에 있어서,
    상기 자막에 대한 정보는 화살표, 깜박이는 점, 자막색의 변화 또는 자막의 위치/모양의 변화를 기반으로 상기 화자의 위치를 지시하기 위한 지시 정보를 더 포함하는 것을 특징으로 하는 VR 영상 시스템.
  12. 제11항에 있어서,
    상기 VR 영상 정보, VR 자막 정보, VR 영상 객체 위치 정보, 및 VR 영상 객체 발화 정보는 각각 VR 영상 이미지의 공간상 위치, 자막의 공간상 위치, 화자의 공간상 위치, 자막과 매칭되는 화자의 공간상 위치에 대한 위치 좌표 정보를 더 포함하는 것을 특징으로 하는 VR 영상 시스템.
KR1020160159372A 2016-09-30 2016-11-28 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치 KR101856632B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160126086 2016-09-30
KR1020160126086 2016-09-30

Publications (2)

Publication Number Publication Date
KR20180042094A KR20180042094A (ko) 2018-04-25
KR101856632B1 true KR101856632B1 (ko) 2018-05-11

Family

ID=62088783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160159372A KR101856632B1 (ko) 2016-09-30 2016-11-28 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치

Country Status (1)

Country Link
KR (1) KR101856632B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102261597B1 (ko) * 2019-04-23 2021-06-07 주식회사 비포에이 Vr 영상 콘텐츠의 자막 처리 기기
WO2024039002A1 (ko) * 2022-08-17 2024-02-22 삼성전자 주식회사 아바타를 이용한 대화 기능을 제공하는 전자 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015223394A (ja) * 2014-05-29 2015-12-14 フリュー株式会社 ビデオゲーム装置、ビデオゲームの制御方法、ビデオゲーム制御プログラム、および記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015223394A (ja) * 2014-05-29 2015-12-14 フリュー株式会社 ビデオゲーム装置、ビデオゲームの制御方法、ビデオゲーム制御プログラム、および記録媒体

Also Published As

Publication number Publication date
KR20180042094A (ko) 2018-04-25

Similar Documents

Publication Publication Date Title
US11863845B2 (en) Geometry matching in virtual reality and augmented reality
US20160269712A1 (en) Method and apparatus for generating virtual or augmented reality presentations with 3d audio positioning
CN109416931A (zh) 用于视线跟踪的装置和方法
US20120200667A1 (en) Systems and methods to facilitate interactions with virtual content
WO2017205637A1 (en) Method and apparatus for generating virtual or augmented reality presentations with 3d audio positioning
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
US11354871B2 (en) Head-mountable apparatus and methods
JP2019020908A (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
US20190347864A1 (en) Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression
CN105074752A (zh) 3d移动联网电视广告交易系统
JP2017208676A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
US20170257671A1 (en) Tracking-based branching of media content
KR101856632B1 (ko) 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치
JP6126272B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
CN113170231A (zh) 跟随用户运动控制播放视频内容的方法和装置
JP2017208808A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
US20210058611A1 (en) Multiviewing virtual reality user interface
KR20160124985A (ko) 혼합 현실 체험 공간 제공 방법 및 시스템
CN113485547A (zh) 一种应用于全息沙盘的交互方法及装置
KR20210056414A (ko) 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템
JP2019083029A (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
KR101572348B1 (ko) 인터렉티브 컴퓨팅 장치를 이용한 촬상 데이터 처리방법 및 그에 따른 시스템
JP2017208809A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
Kevinç Perceptually driven stereoscopic camera control in 3D virtual environments
KR20210029523A (ko) 3d 가상현실 영상에서 객체를 표시하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant