KR101965404B1 - Vr 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법 - Google Patents

Vr 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법 Download PDF

Info

Publication number
KR101965404B1
KR101965404B1 KR1020170148877A KR20170148877A KR101965404B1 KR 101965404 B1 KR101965404 B1 KR 101965404B1 KR 1020170148877 A KR1020170148877 A KR 1020170148877A KR 20170148877 A KR20170148877 A KR 20170148877A KR 101965404 B1 KR101965404 B1 KR 101965404B1
Authority
KR
South Korea
Prior art keywords
subtitle
image content
range
reproduced
agent
Prior art date
Application number
KR1020170148877A
Other languages
English (en)
Inventor
김창수
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020170148877A priority Critical patent/KR101965404B1/ko
Application granted granted Critical
Publication of KR101965404B1 publication Critical patent/KR101965404B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Abstract

본 발명은 HMD에서 재생되는 VR 영상 콘텐츠는 사람이 자신의 의지대로 고개를 돌려 주위를 둘러 볼 수 있는 부분에서 이용자와 콘텐츠가 상호작용하며, 보이는 부분과 보이지 않는 부분으로 구분되는데, 이때 보여지지 않는 부분에서 음성이 나올 경우, 그 음성에 대한 자막을 보여지는 부분에 표시하여 콘텐츠의 음성에 대한 정보 전달을 충실히 할 수 있는 장치 및 방법을 제공하기 위한 것으로서, VR 영상 콘텐츠 재생 앱의 형태로 스마트 단말에 설치되어 VR 영상 콘텐츠를 재생하는 VR 에이전트와, 상기 VR 에이전트에서 재생되는 VR 영상 콘텐츠에 대응되는 자막을 재생하고, 재생되는 자막의 위치를 영상 콘텐츠 안에서 사용자의 시점을 중심으로 이동시키는 자막 에이전트와, 상기 VR 에이전트에서 재생되는 VR 영상 콘텐츠 및 상기 자막 에이전트에서 재생 및 이동되는 자막을 VR 화면으로 동시에 표시하는 VR 디스플레이를 포함하여 구성되는데 있다.

Description

VR 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법{Caption supporting apparatus and method of user viewpoint centric for Virtual Reality video contents}
본 발명은 가상현실(Virtual Reality : VR) 영상 콘텐츠를 위한 자막 지원 장치 및 방법에 관한 것으로, 특히 가상 체험을 제공하는 영상 재생 플레이어에서 사람의 머리가 움직이는 방향 그대로의 사용자 시점 중심으로 자막을 지원하기 위한 장치 및 방법에 관한 것이다.
최근 들어 컴퓨터 성능이 향상되고 스마트 단말의 소지가 일반화되면서 가상현실(Virtual Reality : VR) 기술에 대한 관심이 커지고 있다. 가상현실은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서 그것을 사용하는 사람이 마치 실제 주변 상황과 상호작용을 하고 있는 것처럼 만들어 주는 기술이다. 이러한 제품으로는 오큘러스 리프트, 삼성 기어 VR, 소니 플레이스테이션 VR, HTC 바이브, 구글 카드보드 등이 출시되어 있다.
도 1은 가상현실 기기(10)를 사용하는 통상적인 일예를 나타내는 도면이다.
도 1을 참조하면 HMD 프레임(11)을 통해 사용자의 머리에 가상현실 기기(10)를 장착하고 전면부에 마련된 화면삽입 프레임(12)에 스마트 단말(20)을 끼워 넣어 고정한다. 이 상태에서 스마트 단말(20)에 설치되어 있는 VR 컨텐츠 재생 앱(예: VRSE, Jaunt Player, VR Space Adventure 등)을 통해 사용자가 가상현실 콘텐츠를 시청할 수 있게 된다.
도 1의 구성은 삼성 기어 VR이나 구글 카드보드 등에서 채택되는 방식인데 오큘러스 리프트, HTC 바이브, 소니 플레이스테이션 VR 등은 일체형의 가상현실 기기를 제공한다. 본 발명은 특정 방식에 한정되지 않으며 다양한 가상현실 기기들에 일반적으로 적용될 수 있다.
그런데 대부분의 VR 영상 콘텐츠는 음성에 대한 자막을 지원하지 않기 때문에 자국어가 아닌 콘텐츠의 경우 콘텐츠에 대한 이해도가 떨어지는 실정이다. 또한 소수의 음성에 대한 자막을 지원하는 VR 영상 콘텐츠의 경우도 도 2(a)(b)에서 도시하고 있는 것과 같이 자막이 특정 위치에 고정되어 있기 때문에 VR 영상 콘텐츠 시청 시 도 2(b)에서와 같이 사용자가 왼쪽으로 시선을 돌려 그 고정된 위치를 벗어날 경우 자막이 잘리거나 안 보이는 상황이 발생하게 되는 문제점이 있다.
현재의 VR 영상 콘텐츠의 주류는 테마파크 체험, 이국적 풍경 등의 체험형 콘텐츠이기 때문에 언어에 대한 불편함이 없지만 콘텐츠의 방향이 정보전달, 영화 등의 스토리텔링형 콘텐츠로 발전할 경우 기존의 2D 영상 콘텐츠와 같이 언어에 대한 불편함이 늘어날 것으로 예상된다.
등록특허공보 제10-1789153호 (등록일자 2017.10.17.) 공개특허공보 제10-2013-0051315호 (공개일자 2013.05.20.)
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, HMD에서 재생되는 VR 영상 콘텐츠는 사람이 자신의 의지대로 고개를 돌려 주위를 둘러 볼 수 있는 부분에서 이용자와 콘텐츠가 상호작용하며, 보이는 부분과 보이지 않는 부분으로 구분되는데, 이때 보여지지 않는 부분에서 음성이 나올 경우, 그 음성에 대한 자막을 보여지는 부분에 표시하여 콘텐츠의 음성에 대한 정보 전달을 충실히 할 수 있는 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 가상 체험을 제공하는 영상 재생 플레이어에서 사람의 머리가 움직이는 방향 그대로의 사용자 시점 중심으로 자막을 지원하기 위한 장치 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 VR 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치의 특징은 VR 영상 콘텐츠 재생 앱의 형태로 스마트 단말에 설치되어 VR 영상 콘텐츠를 재생하는 VR 에이전트와, 상기 VR 에이전트에서 재생되는 VR 영상 콘텐츠에 대응되는 자막을 재생하고, 재생되는 자막의 위치를 영상 콘텐츠 안에서 사용자의 시점을 중심으로 이동시키는 자막 에이전트와, 상기 VR 에이전트에서 재생되는 VR 영상 콘텐츠 및 상기 자막 에이전트에서 재생 및 이동되는 자막을 VR 화면으로 동시에 표시하는 VR 디스플레이를 포함하여 구성되는데 있다.
바람직하게 상기 자막 에이전트는 VR 에이전트에서 재생하는 VR 영상 콘텐츠가 VR 기기에 제공되는 것을 식별하는 VR 재생 식별부와, 사용자의 머리 움직임으로 VR 기기의 움직이는 움직임 정보를 식별하여 사용자 시점을 검출하는 시점 검출부와, 상기 시점 검출부에서 검출된 사용자 시점을 기준으로 시야각 및 상점(Image Point)을 중심으로 인식 가능한 범위를 생성하는 인식범위 생성부와, 상기 인식범위 생성부에서 생성된 인식 가능 범위에서 자막의 위치를 이동시켜 상기 VR 재생 식별부에서 재생하는 VR 영상 콘텐츠 간의 상호작용을 정합하는 VR 정합부와, 상기 VR 정합부에서 정합된 VR 영상 콘텐츠에 대해 실시간으로 이동하는 자막을 오버레이하는 자막 오버레이부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 인식 가능한 범위는 시야각 및 상점 중 적어도 하나를 중심으로 그 범위를 결정하는 것을 특징으로 한다.
바람직하게 상기 시야각은 시야각을 중심으로 좌우 120도, 상하 135도를 벗어나지 않는 범위를 포함하고, 상기 상점은 상점을 중심으로 20도에서 최대 40도를 벗어나지 않는 범위를 포함하는 것을 특징으로 한다.
바람직하게 상기 자막 오버레이부는 VR 영상 콘텐츠에 프레임 단위로 자막을 개별적으로 합성하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 VR 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 방법의 특징은 (A) VR 에이전트를 통해 VR 영상 콘텐츠를 재생하는 단계와, (B) 자막 에이전트를 통해 상기 재생되는 VR 영상 콘텐츠에 대응되는 자막을 재생하고, 재생되는 자막의 위치를 영상 콘텐츠 안에서 사용자의 시점을 중심으로 이동시키는 단계와, (C) VR 디스플레이로 상기 재생되는 VR 영상 콘텐츠 및 상기 재생 및 이동되는 자막을 VR 화면으로 동시에 표시하는 단계를 포함하여 이루어지는데 있다.
바람직하게 상기 VR 영상 콘텐츠는 VR 영상 콘텐츠 재생 앱(예: VRSE, Jaunt Player, VR Space Adventure 등)의 형태로 스마트 단말에 설치되어 사용자의 선택에 의해 재생되는 것을 특징으로 한다.
바람직하게 상기 (B) 단계는 (B1) VR 재생 식별부를 통해 재생하는 VR 영상 콘텐츠가 VR 기기에 제공되는 것을 식별하는 단계와, (B2) 시점 검출부를 통해 사용자의 머리 움직임으로 VR 기기의 움직이는 움직임 정보를 식별하여 사용자 시점을 검출하는 단계와, (B3) 인식범위 생성부를 통해 상기 검출된 사용자 시점을 기준으로 시야각 및 상점(Image Point) 중 적어도 하나를 중심으로 인식 가능한 범위를 생성하는 단계와, (B4) VR 정합부를 통해 상기 생성된 인식 가능 범위에서 자막의 위치를 이동시켜 상기 VR 재생 식별부에서 재생하는 VR 영상 콘텐츠 간의 상호작용을 정합하는 단계와, (B5) 자막 오버레이부를 통해 자막과 정합된 VR 영상 콘텐츠에 대해 이동하는 자막을 실시간으로 오버레이하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
바람직하게 상기 인식 가능한 범위는 시야각 및 상점 중 적어도 하나를 중심으로 그 범위를 결정하며, 상기 시야각은 시야각을 중심으로 좌우 120도, 상하 135도를 벗어나지 않는 범위를 포함하고, 상기 상점은 상점을 중심으로 20도에서 최대 40도를 벗어나지 않는 범위를 포함하는 것을 특징으로 한다.
바람직하게 상기 (B5) 단계는 VR 영상 콘텐츠에 프레임 단위로 자막을 개별적으로 오버레이하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 VR 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법은 VR 영상 콘텐츠의 특성상 사용자의 시선이 고정되어 있지 않음에 따라 표시되는 자막의 위치를 사용자의 시선과 함께 이동시켜 표시함으로써, 콘텐츠의 음성에 대한 정보 전달을 충실히 할 수 있는 효과가 있다.
특히, 사용자의 시선과 함께 자막을 이동시켜 자막이 잘리는 것을 방지할 뿐만 아니라, 사용자의 인식 가능한 범위인 시야각 및 상점(Image point)을 중심으로 독서 가능한 범위에서 자막의 위치 이동을 지원함으로써, 사용자의 가독성 및 논의 피로를 감소시킬 수 있다.
도 1 은 가상현실 기기를 사용하는 통상적인 일예를 나타내는 도면.
도 2 는 기존의 가상현실 기기를 사용하는 경우에 사용자 시점이 변화된 경우에 자막이 잘리는 것을 나타낸 실시예.
도 3 은 본 발명의 실시예에 따른 VR 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치의 구성을 나타낸 블록도.
도 4 는 도 3에서 자막 에이전트의 구성을 상세히 나타낸 블록도.
도 5 는 본 발명의 실시예에 따른 VR 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 방법을 설명하기 위한 흐름도.
도 6 은 도 5에서 S200 단계의 세부 단계를 나타낸 흐름도.
도 7 은 도 5에서 시야각에 따른 인식 가능한 범위를 설명하기 위한 도면.
도 8 은 도 5에서 상점에 따른 인식 가능한 범위를 설명하기 위한 도면.
도 9 는 사용자의 시점 변화에 따라 이동하는 자막을 나타낸 실시예.
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 VR 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 하나의 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 3은 본 발명의 실시예에 따른 VR 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치의 구성을 나타낸 블록도이다.
도 3에서 도시하고 있는 것과 같이, VR 영상 콘텐츠 재생 앱(예: VRSE, Jaunt Player, VR Space Adventure 등)의 형태로 스마트 단말에 설치되어 VR 영상 콘텐츠를 재생하는 VR 에이전트(100)와, 상기 VR 에이전트(100)에서 재생되는 VR 영상 콘텐츠에 대응되는 자막을 재생하고, 재생되는 자막의 위치를 영상 콘텐츠 안에서 사용자의 시점을 중심으로 이동시키는 자막 에이전트(200)와, 상기 VR 에이전트(100)에서 재생되는 VR 영상 콘텐츠 및 상기 자막 에이전트(200)에서 재생 및 이동되는 자막을 VR 화면으로 동시에 표시하는 VR 디스플레이(300)로 구성된다.
이때, 상기 자막 에이전트(200)는 도 4에서 도시하고 있는 것과 같이, VR 에이전트(100)에서 재생하는 VR 영상 콘텐츠가 VR 기기에 제공되는 것을 식별하는 VR 재생 식별부(210)와, 사용자의 머리 움직임으로 VR 기기의 움직이는 움직임 정보(방향, 속도, 거리 등)를 식별하여 사용자 시점을 검출하는 시점 검출부(220)와, 상기 시점 검출부(220)에서 검출된 사용자 시점을 기준으로 시야각 및 상점(Image Point)을 중심으로 인식 가능한 범위를 생성하는 인식범위 생성부(230)와, 상기 인식범위 생성부(230)에서 생성된 인식 가능 범위에서 자막의 위치를 이동시켜 상기 VR 재생 식별부(210)에서 재생하는 VR 영상 콘텐츠 간의 상호작용을 정합하는 VR 정합부(240)와, 상기 VR 정합부(240)에서 정합된 VR 영상 콘텐츠에 대해 실시간으로 이동하는 자막을 오버레이하는 자막 오버레이부(250)로 구성된다.
이때, 상기 인식 가능한 범위는 시야각 및 상점을 중심으로 그 범위를 결정하며, 시야각은 시야각을 중심으로 좌우 120도, 상하 135도를 벗어나지 않는 범위를 포함하고, 상점은 상점을 중심으로 20도에서 최대 40도를 벗어나지 않는 범위를 포함한다.
그리고 상기 자막 오버레이부(250)는 VR 영상 콘텐츠에 프레임 단위로 자막을 개별적으로 합성한다. 이때, 필요에 따라서 자막의 사이즈를 적절하게 조정할 수 있다.
이와 같이 구성된 본 발명에 따른 VR 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 3 또는 도 4와 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 5는 본 발명의 실시예에 따른 VR 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 방법을 설명하기 위한 흐름도이다.
도 5를 참조하여 설명하면, 먼저 VR 에이전트(100)를 통해 VR 영상 콘텐츠를 재생한다(S100). 이때, 상기 VR 영상 콘텐츠는 VR 영상 콘텐츠 재생 앱(예: VRSE, Jaunt Player, VR Space Adventure 등)의 형태로 스마트 단말에 설치되어 사용자의 선택에 의해 재생된다.
이어 자막 에이전트(200)를 통해 상기 재생되는 VR 영상 콘텐츠에 대응되는 자막을 재생하고, 재생되는 자막의 위치를 영상 콘텐츠 안에서 사용자의 시점을 중심으로 이동시킨다(S200).
도 6을 참조하여 상기 S200 단계를 상세히 설명하면, 먼저 VR 재생 식별부(210)를 통해 재생하는 VR 영상 콘텐츠가 VR 기기에 제공되는 것을 식별한다(S201).
이어 시점 검출부(220)를 통해 사용자의 머리 움직임으로 VR 기기의 움직이는 움직임 정보(방향, 속도, 거리 등)를 식별하여 사용자 시점을 검출한다(S202). 이때 사용자 시점은 VR 기기의 정면을 사용자 시점으로 검출할 수 있으나, 이에 한정하지는 않으며, 별도의 눈동자 검출 수단을 통해 검출되는 사용자의 눈동자의 위치 정보를 통해 사용자 시점을 검출할 수도 있다.
그리고 인식범위 생성부(230)를 통해 상기 검출된 사용자 시점을 기준으로 시야각 및 상점(Image Point)을 중심으로 인식 가능한 범위를 생성한다(S203).
상기 인식 가능한 범위는 시야각 및 상점을 중심으로 그 범위를 결정되는데, 이때, 상기 시야각은 도 7에서 도시하고 있는 것과 같이, 사람이 양쪽 눈을 모두 사용할 경우 평균적으로 좌우 120도, 상하 135도의 시야각을 갖으며, 위쪽보다는 아래쪽의 시야각이 넓다. 또한 상점은 도 8에서 도시하고 있는 것과 같이 상점을 중심으로 좌우 약 20도이며, 독서 가능한 범위는 좌우 약 10도이다.
따라서 상기 인식 가능한 범위로 상기 시야각은 시야각을 중심으로 좌우 120도, 상하 135도를 벗어나지 않는 범위를 가지고, 상기 상점은 상점을 중심으로 20도에서 최대 40도를 벗어나지 않는 범위를 가진다.
그리고 VR 정합부(240)를 통해 상기 생성된 인식 가능 범위에서 자막의 위치를 이동시켜 상기 VR 재생 식별부(210)에서 재생하는 VR 영상 콘텐츠 간의 상호작용을 정합한다(S204).
이에 따라, 재생되는 VR 영상 콘텐츠 안에서 사용자의 인식 가능한 범위를 벗어나지 않는 범위에서 사용자 시점의 변화에 따라 자막의 위치가 이동되게 된다.
그리고 자막 오버레이부(250)를 통해 자막과 정합된 VR 영상 콘텐츠에 대해 이동하는 자막을 실시간으로 오버레이 한다(S205). 이때, 상기 자막 오버레이부(250)는 VR 영상 콘텐츠에 프레임 단위로 자막을 개별적으로 오버레이하며, 필요에 따라서 자막의 사이즈를 적절하게 조정할 수 있다.
이처럼, 자막 에이전트(200)를 통해 상기 재생되는 VR 영상 콘텐츠에 대응되는 자막을 재생하고, 재생되는 자막의 위치를 영상 콘텐츠 안에서 사용자의 시점을 중심으로 이동되면서(S200), VR 디스플레이(300)로 상기 VR 에이전트(100)에서 재생되는 VR 영상 콘텐츠 및 상기 자막 에이전트(200)에서 재생 및 이동되는 자막을 VR 화면으로 동시에 표시한다(S300).
도 9는 사용자의 시점 변화에 따라 이동하는 자막을 나타낸 실시예로서, 도 9에서 도시하고 있는 것과 같이, 재생되는 VR 영상 콘텐츠 안에서 사용자의 시야각을 중심으로 좌우 120도, 상하 135도 및 상점(Image Point)을 중심으로 20도에서 최대 40도를 벗어나지 않는 범위에서 사용자의 시야각에 따라 자막의 위치가 이동되면서 표시된다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. VR 영상 콘텐츠 재생 앱의 형태로 스마트 단말에 설치되어 VR 영상 콘텐츠를 재생하는 VR 에이전트와,
    상기 VR 에이전트에서 재생되는 VR 영상 콘텐츠에 대응되는 자막을 재생하고, 재생되는 자막의 위치를 영상 콘텐츠 안에서 사용자의 시점을 중심으로 이동시키는 자막 에이전트와,
    상기 VR 에이전트에서 재생되는 VR 영상 콘텐츠 및 상기 자막 에이전트에서 재생 및 이동되는 자막을 VR 화면으로 동시에 표시하는 VR 디스플레이를 포함하고,
    상기 자막 에이전트는 VR 에이전트에서 재생하는 VR 영상 콘텐츠가 VR 기기에 제공되는 것을 식별하는 VR 재생 식별부와, 사용자의 머리 움직임으로 VR 기기의 움직이는 움직임 정보를 식별하고 사용자의 눈동자 위치로 사용자 시점을 검출하는 시점 검출부와, 상기 시점 검출부에서 검출된 사용자 시점을 기준으로 시야각 및 상점(Image Point)을 중심으로 인식 가능한 범위를 생성하는 인식범위 생성부와, 상기 인식범위 생성부에서 생성된 인식 가능 범위에서 자막의 위치를 이동시켜 상기 VR 재생 식별부에서 재생하는 VR 영상 콘텐츠 간의 상호작용을 정합하는 VR 정합부와, 상기 VR 정합부에서 정합된 VR 영상 콘텐츠에 대해 실시간으로 이동하는 자막을 오버레이하는 자막 오버레이부를 포함하며,
    상기 인식 가능한 범위는 자막이 독서 가능한 범위로서, 시야각 및 상점 중 적어도 하나를 중심으로 그 범위를 결정하고,
    상기 시야각은 시야각을 중심으로 좌우 120도, 상하 135도를 벗어나지 않는 범위를 포함하고, 상기 상점은 상점을 중심으로 20도에서 최대 40도를 벗어나지 않는 범위를 포함하며,
    상기 자막 오버레이부는 VR 영상 콘텐츠에 프레임 단위로 자막을 개별적으로 합성하는 것을 특징으로 하는 VR 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. (A) VR 에이전트를 통해 VR 영상 콘텐츠를 재생하는 단계와,
    (B) 자막 에이전트를 통해 상기 재생되는 VR 영상 콘텐츠에 대응되는 자막을 재생하고, 재생되는 자막의 위치를 영상 콘텐츠 안에서 사용자의 시점을 중심으로 이동시키는 단계와,
    (C) VR 디스플레이로 상기 재생되는 VR 영상 콘텐츠 및 상기 재생 및 이동되는 자막을 VR 화면으로 동시에 표시하는 단계를 포함하고,
    상기 VR 영상 콘텐츠는 VR 영상 콘텐츠 재생 앱(예: VRSE, Jaunt Player, VR Space Adventure 등)의 형태로 스마트 단말에 설치되어 사용자의 선택에 의해 재생되며,
    상기 (B) 단계는
    (B1) VR 재생 식별부를 통해 재생하는 VR 영상 콘텐츠가 VR 기기에 제공되는 것을 식별하는 단계와,
    (B2) 시점 검출부를 통해 사용자의 머리 움직임으로 VR 기기의 움직이는 움직임 정보를 식별하고 사용자의 눈동자 위치로 사용자 시점을 검출하는 단계와,
    (B3) 인식범위 생성부를 통해 상기 검출된 사용자 시점을 기준으로 시야각 및 상점(Image Point) 중 적어도 하나를 중심으로 인식 가능한 범위를 생성하는 단계와,
    (B4) VR 정합부를 통해 상기 생성된 인식 가능 범위에서 자막의 위치를 이동시켜 상기 VR 재생 식별부에서 재생하는 VR 영상 콘텐츠 간의 상호작용을 정합하는 단계와,
    (B5) 자막 오버레이부를 통해 자막과 정합된 VR 영상 콘텐츠에 대해 이동하는 자막을 실시간으로 오버레이하는 단계를 포함하고,
    상기 인식 가능한 범위는 자막이 독서 가능한 범위로서, 시야각 및 상점 중 적어도 하나를 중심으로 그 범위를 결정하며, 상기 시야각은 시야각을 중심으로 좌우 120도, 상하 135도를 벗어나지 않는 범위를 포함하고, 상기 상점은 상점을 중심으로 20도에서 최대 40도를 벗어나지 않는 범위를 포함하며,
    상기 (B5) 단계는 VR 영상 콘텐츠에 프레임 단위로 자막을 개별적으로 오버레이하는 것을 특징으로 하는 VR 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020170148877A 2017-11-09 2017-11-09 Vr 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법 KR101965404B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170148877A KR101965404B1 (ko) 2017-11-09 2017-11-09 Vr 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170148877A KR101965404B1 (ko) 2017-11-09 2017-11-09 Vr 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101965404B1 true KR101965404B1 (ko) 2019-04-03

Family

ID=66165290

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170148877A KR101965404B1 (ko) 2017-11-09 2017-11-09 Vr 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101965404B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4300943A4 (en) * 2022-05-20 2024-03-27 Beijing Zitiao Network Technology Co Ltd VIRTUAL REALITY SPACE SUBTITLE DISPLAY METHOD AND APPARATUS, EQUIPMENT AND MEDIUM

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130051315A (ko) 2011-11-09 2013-05-20 엘지디스플레이 주식회사 입체영상 자막처리방법과 이를 이용한 자막처리부
KR101606860B1 (ko) * 2015-11-23 2016-03-28 (주)아바엔터테인먼트 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템
KR20170042164A (ko) * 2015-10-08 2017-04-18 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101789153B1 (ko) 2016-09-29 2017-10-23 길승종 가상현실 기반의 emdr 안구 운동의 몰입형 제공 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130051315A (ko) 2011-11-09 2013-05-20 엘지디스플레이 주식회사 입체영상 자막처리방법과 이를 이용한 자막처리부
KR20170042164A (ko) * 2015-10-08 2017-04-18 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101606860B1 (ko) * 2015-11-23 2016-03-28 (주)아바엔터테인먼트 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템
KR101789153B1 (ko) 2016-09-29 2017-10-23 길승종 가상현실 기반의 emdr 안구 운동의 몰입형 제공 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4300943A4 (en) * 2022-05-20 2024-03-27 Beijing Zitiao Network Technology Co Ltd VIRTUAL REALITY SPACE SUBTITLE DISPLAY METHOD AND APPARATUS, EQUIPMENT AND MEDIUM

Similar Documents

Publication Publication Date Title
US10089794B2 (en) System and method for defining an augmented reality view in a specific location
US10958890B2 (en) Method and apparatus for rendering timed text and graphics in virtual reality video
EP2704102B1 (en) Portable augmented reality device and method
US8922588B2 (en) Information processing program, information processing system, information processing apparatus, and information processing method, utilizing augmented reality technique
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
EP2626118B1 (en) System and method of image augmentation
US8767015B2 (en) System and method of image augmentation
US20170309077A1 (en) System and Method for Implementing Augmented Reality via Three-Dimensional Painting
JP2007042073A (ja) 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体
KR102028139B1 (ko) 증강현실 기반의 영상 표시방법
CN106464773B (zh) 增强现实的装置及方法
US10846535B2 (en) Virtual reality causal summary content
US11232636B2 (en) Methods, devices, and systems for producing augmented reality
US20130050500A1 (en) Information processing program, information processing system, information processing apparatus, and information processing method, utilizing augmented reality technique
US8553938B2 (en) Information processing program, information processing system, information processing apparatus, and information processing method, utilizing augmented reality technique
US20190347864A1 (en) Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression
JP2017208676A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
KR101965404B1 (ko) Vr 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법
KR102261597B1 (ko) Vr 영상 콘텐츠의 자막 처리 기기
KR101767569B1 (ko) 디스플레이되는 영상컨텐츠와 관련된 증강현실 인터랙티브 시스템 및 상기 시스템의 운영방법
GB2501924A (en) Book leaf tracking in augmented reality
US20230122636A1 (en) Apparatus and method for localisation and mapping
KR101856632B1 (ko) 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치
CN107621917A (zh) 一种在虚拟现实图像中实现放大展示的方法及装置
JP2017097854A (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant