KR20200123988A - Vr 영상 콘텐츠의 자막 처리 기기 - Google Patents

Vr 영상 콘텐츠의 자막 처리 기기 Download PDF

Info

Publication number
KR20200123988A
KR20200123988A KR1020190047262A KR20190047262A KR20200123988A KR 20200123988 A KR20200123988 A KR 20200123988A KR 1020190047262 A KR1020190047262 A KR 1020190047262A KR 20190047262 A KR20190047262 A KR 20190047262A KR 20200123988 A KR20200123988 A KR 20200123988A
Authority
KR
South Korea
Prior art keywords
caption
layer
video content
unit
curved
Prior art date
Application number
KR1020190047262A
Other languages
English (en)
Other versions
KR102261597B1 (ko
Inventor
황영진
Original Assignee
주식회사 비포에이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비포에이 filed Critical 주식회사 비포에이
Priority to KR1020190047262A priority Critical patent/KR102261597B1/ko
Publication of KR20200123988A publication Critical patent/KR20200123988A/ko
Application granted granted Critical
Publication of KR102261597B1 publication Critical patent/KR102261597B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 VR 영상 콘텐츠의 자막 처리 기기에 관한 것으로서, 본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는, 가상의 구형 곡면 상에 VR 영상 콘텐츠가 표시된 영상 레이어(11)를 재생하는 영상 재생부(10); 하기 <조건 1>을 만족하는 소정의 곡률로 만곡된 가상의 곡면 상에 상기 VR 영상 콘텐츠에 대응되는 자막이 표시된 곡면형 자막 레이어(21)를 생성하는 자막 레이어 생성부(20); 곡면형 자막 레이어(21)를 재생하는 자막 재생부(30); 재생되는 곡면형 자막 레이어(21)를 영상 레이어(11) 상에 오버레이(overlay)하는 자막 오버레이부(40); 및 VR 영상 콘텐츠, 및 자막을 VR 화면으로 동시에 표시하는 VR 디스플레이부(50);를 포함한다.
<조건 1>
Ki×80% ≤ Kc ≤ Ki×120%
여기서, Ki는 상기 영상 레이어(11)의 곡률이고, Kc는 상기 곡면형 자막 레이어(21)의 곡률임.

Description

VR 영상 콘텐츠의 자막 처리 기기{APPARATUS FOR PROCESSING CAPTION OF VIRTUAL REALITY VIDEO CONTENT}
본 발명은 VR 영상 콘텐츠의 자막 처리 기기에 관한 것으로, 보다 상세하게는 가상현실(Virtual Reality, VR) 영상 콘텐츠를 재생하는 VR 기기에 적용되어 VR 영상 콘텐츠에 사용되는 자막을 처리하는 기기에 관한 것이다.
가상현실(Virtual Reality, VR)은 컴퓨팅 기술을 통해 일상적으로 경험하기 어려운 특정 환경이나 상황을 가상으로 구현하고 사용자와의 상호작용을 지원함으로써 사용자가 실제로 그 환경이나 상황을 경험하는 것처럼 만들어 주는 기술이다. 이러한 가상현실은 초기에 수술 실습이나 탱크, 항공기 등의 조종법 훈련으로 사용되었지만, 최근에는 게임, 영화, 테마파크와 같은 엔터테인먼트 산업에서부터 교육, 헬스케어 등 다양한 산업으로 그 영역이 확대되고 있다. 이러한 가상현실을 제공하는 VR 기기로는 오귤러스의 리프트, HTC의 바이브, 삼성의 기어 VR, 구글의 가드보드 등이 출시되어 있으며, 하기 선행기술문헌의 특허문헌에도 관련 기술 내용이 개시되어 있다.
도 1은 종래 가상현실(VR) 기기를 개략적으로 도시한 사시도로서, 이를 참고로 VR 기기의 일례에 대해 설명하면, VR 기기(1)는 HMD 프레임(2)과 화면삽입 프레임(3)으로 구성되는데, HMD 프레임(2)을 통해 VR 기기(1)를 사용자의 머리에 장착하고, 전면부에 구비된 화면삽입 프레임(3)에 스마트 단말(4)을 삽입 고정한 상태에서, 스마트 단말(4)에 설치되어 있는 VR 콘텐츠 재생 앱을 실행함으로써 사용자가 가상현실 콘텐츠를 시청할 수 있다.
그러나 일반적인 VR 영상 콘텐츠는 자막을 지원하지 않기 때문에, 콘텐츠에 대한 정보를 취득하거나 콘텐츠에 대한 이해도가 떨어지는 문제가 있다. 한편, 일부 VR 영상 콘텐츠는 그 영상에 텍스트 이미지를 씌어서 자막으로 활용하기도 하지만, 이 경우에는 텍스트 이미지가 영상 내 소정의 위치에 고정되므로, 사용자의 시야가 옮겨지면 자막이 보이지 않게 된다. 또한, VR 영상 콘텐츠 레이어 전면에 평면 레이어를 배치하고, 그 평면 레이어 상에 자막을 표시할 수 있지만, 이때에는 자막과 영상 콘텐츠 레이어 사이의 거리에 따라 자막의 선명도와 가독성이 떨어지고, 장시간 시청 시에는 안구의 피로감이 높아지는 문제가 있다.
이에 VR 영상 콘텐츠에 자막을 지원하는 종래 기술에 대한 문제점을 해결하기 위한 방안이 절실히 요구되고 있는 실정이다.
KR 10-1789153 B1
본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로, 본 발명의 일 측면은 구형 곡면 상에 재생되는 VR 영상 레이어에, 동일 곡률로 만곡된 자막 레이어를 오버레이하는 VR 영상 콘텐츠의 자막 처리 기기를 제공하는 데 있다.
본 발명의 다른 측면은 평면형 자막 레이어 형태로 입력된 자막 데이터를 곡면형 자막 레이어로 변환하며, 또한 VR 영상 콘텐츠에 텍스트 이미지로 합체된 텍스트를 추출하여 이를 기반으로 곡면형 자막 레이어를 생성할 수 있는 VR 영상 콘텐츠의 자막 처리 기기를 제공하고자 하는 것이다.
본 발명의 또 다른 측면은 움직이는 사용자의 시야를 감지하여 이에 따라 자막 레이어를 이동시킬 수 있는 VR 영상 콘텐츠의 자막 처리 기기를 제공하는 데 있다.
본 발명의 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기는 가상의 구형 곡면 상에 VR 영상 콘텐츠가 표시된 영상 레이어를 재생하는 영상 재생부; 하기 [조건 1]을 만족하는 소정의 곡률로 만곡된 가상의 곡면 상에 상기 VR 영상 콘텐츠에 대응되는 자막이 표시된 곡면형 자막 레이어를 생성하는 자막 레이어 생성부; 상기 곡면형 자막 레이어를 재생하는 자막 재생부; 재생되는 상기 곡면형 자막 레이어를 상기 영상 레이어 상에 오버레이(overlay)하는 자막 오버레이부; 및 상기 VR 영상 콘텐츠, 및 상기 자막을 VR 화면으로 동시에 표시하는 VR 디스플레이부;를 포함한다.
<조건 1>
Ki×80% ≤ Kc ≤ Ki×120%
여기서, Ki는 상기 영상 레이어의 곡률이고, Kc는 상기 곡면형 자막 레이어의 곡률임.
또한, 본 발명의 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기에 있어서, 가상의 평면 상에 상기 자막이 표시된 평면형 자막 레이어를 저장하는 자막 저장부;를 더 포함하고, 상기 자막 레이어부는, 저장된 상기 평면형 자막 레이어를 상기 곡면형 자막 레이어로 변환할 수 있다.
또한, 본 발명의 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기에 있어서, 텍스트(text) 이미지가 합체된 상기 VR 영상 콘텐츠를 저장하는 영상 저장부; 저장된 상기 VR 영상 콘텐츠로부터 상기 텍스트 이미지를 인식하고 추출하는 텍스트 추출부; 및 추출된 상기 텍스트 이미지를 문자 데이터로 변환하는 문자 데이터 변환부;를 더 포함하고, 상기 자막 레이어부는, 변환된 상기 문자 데이터를 기반으로 상기 곡면형 자막 레이어를 생성할 수 있다.
또한, 본 발명의 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기에 있어서, 재생되는 상기 곡면형 자막 레이어의 위치를 사용자의 시점을 중심으로 이동시키는 자막 이동부;를 더 포함할 수 있다.
또한, 본 발명의 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기에 있어서, 상기 곡면형 자막 레이어에 표시된 상기 자막의 크기, 위치, 색상, 글꼴, 자간, 장평, 여백, 밝기, 및 줄간격 중 적어도 어느 하나 이상을 변환시키는 자막 옵션부;를 더 포함할 수 있다.
또한, 본 발명의 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기에 있어서, 상기 VR 영상 콘텐츠는, VR 영상 콘텐츠 재생 앱의 형태로 스마트 단말에 설치되어 사용자의 선택에 의해 재생될 수 있다.
또한, 본 발명의 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기에 있어서, 상기 자막 레이버 생성부는, VR 영상 콘텐츠 재생 앱의 형태로 상기 VR 영상 콘텐츠를 재생하는 스마트 단말에 장착될 수 있다.
또한, 본 발명의 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기에 있어서, 재생되는 상기 VR 영상 콘텐츠 상에서 소정의 관심 영역을 식별하는 관심 영역 식별부; 및 상기 관심 영역이 식별되는 경우에, 대응되는 상기 자막을 검색하고, 검색된 상기 자막을 상기 자막 레이어 생성부로 전송하는 자막 검색부;를 더 포함할 수 있다.
또한, 본 발명의 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기에 있어서, 상기 관심 영역 식별부는, 사용자의 시야각 범위에 상기 관심 영역이 존재할 때에 상기 관심 영역을 식별할 수 있다.
또한, 본 발명의 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기에 있어서, 사용자의 눈동자 위치를 감지하여 상기 사용자의 시점을 검출하는 눈동자 감지부;를 더 포함하고, 상기 관심 영역 식별부는, 상기 사용자의 시점 정보를 기반으로 상기 관심 영역을 식별할 수 있다.
본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
본 발명에 따르면, 구형 곡면 상에 VR 영상 콘텐츠가 표시된 영상 레이어를 재생하는 VR 기기에 있어서, 영상 레이어와 동일한 곡률로 자막 레이어를 생성하고, 이를 영상 레이어에 오버레이함으로써, 영상 레이어와 자막 레이어가 별개로 존재함에도 불구하고 자막 레이어가 영상 레이어에 합체된 효과를 발휘하여, 자막의 선명도와 가독성을 향상시킬 수 있다.
또한, 움직이는 사용자의 시야를 감지하고 이에 따라 자막 레이어를 이동시킬 수 있으므로, 사용자의 시야 내에서 자막이 잘리거나 안 보이는 상황을 방지함으로써 VR 영상 콘텐츠에 관한 정보를 효과적으로 전달할 수 있다.
도 1은 종래 가상현실(VR) 기기를 개략적으로 도시한 사시도이다.
도 2는 본 발명의 제1 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이다.
도 3은 본 발명의 제1 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기에 의해 영상 레이어에 오버레이되는 곡면형 자막 레이어를 개략적으로 도시한 단면도이다.
도 4는 본 발명의 제2 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이다.
도 5는 본 발명의 제3 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이다.
도 6은 본 발명의 제4 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이다.
도 7은 본 발명의 제5 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이다.
도 8은 본 발명의 제6 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이다.
도 9는 본 발명의 제7 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이다.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다. 이하, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.
도 2는 본 발명의 제1 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이고, 도 3은 본 발명의 제1 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기에 의해 영상 레이어에 오버레이되는 곡면형 자막 레이어를 개략적으로 도시한 단면도이다.
도 2 내지 도 3에 도시된 바와 같이, 본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는, 가상의 구형 곡면 상에 VR 영상 콘텐츠가 표시된 영상 레이어(11)를 재생하는 영상 재생부(10); 하기 <조건 1>을 만족하는 소정의 곡률로 만곡된 가상의 곡면 상에 상기 VR 영상 콘텐츠에 대응되는 자막이 표시된 곡면형 자막 레이어(21)를 생성하는 자막 레이어 생성부(20); 곡면형 자막 레이어(21)를 재생하는 자막 재생부(30); 재생되는 곡면형 자막 레이어(21)를 영상 레이어(11) 상에 오버레이(overlay)하는 자막 오버레이부(40); 및 VR 영상 콘텐츠, 및 자막을 VR 화면으로 동시에 표시하는 VR 디스플레이부(50);를 포함한다.
<조건 1>
Ki×80% ≤ Kc ≤ Ki×120%
여기서, Ki는 상기 영상 레이어(11)의 곡률이고, Kc는 상기 곡면형 자막 레이어(21)의 곡률임.
본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는 가상현실(Virtual Reality, VR) 영상 콘텐츠를 재생하는 VR 기기에 적용되어 VR 영상 콘텐츠에 사용되는 자막을 처리하는 기기로서, 종래 VR 영상 콘텐츠에 텍스트 이미지를 씌어서 자막으로 활용하는 경우에 자막이 소정의 위치에 고정되어 사용자의 시야가 옮겨지면 자막이 보이지 않고, VR 영상에 평면형 자막 레이어를 배치하는 경우에는 자막과 영상 레이어 사이의 거리에 따라 자막의 선명도와 가독성이 떨어지고 장시간 시청 시에 안구의 피로감이 높아지는 문제가 있는바, 이에 대한 해결방안으로 본 발명이 안출되었다.
본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는, 영상 재생부(10), 자막 레이어 생성부(20), 자막 재생부(30), 자막 오버레이부(40), VR 디스플레이부(50)를 포함한다.
영상 재생부(10)는 VR 영상 콘텐츠를 재생하는데, 이때 VR 영상 콘텐츠는 가상의 구형 곡면 상에 표시되어 영상 레이어(11) 형태로 재생된다. 여기서, VR 영상 콘텐츠는 가상의 구형 곡면 전체 또는 일부 영역에 표시될 수 있다.
자막 레이어 생성부(20)는 곡면형 자막 레이어(21)를 생성한다. 여기서, 곡면형 자막 레이어(21)는 소정의 곡률로 만곡된 가상의 곡면 상에 자막이 표시된 레이어이다. 이때, 곡면형 자막 레이어(21)의 곡률은 상기 영상 레이어(11)의 곡률과의 관계에서 아래 <조건 1>을 만족하도록 정해진다.
<조건 1>
Ki×80% ≤ Kc ≤ Ki×120%
여기서, Ki는 상기 영상 레이어(11)의 곡률이고, Kc는 상기 곡면형 자막 레이어(21)의 곡률이다.
바람직하게는 곡면형 레이어(21)의 곡률은 영상 레이어(11)의 곡률과 동일하게 정해질 수 있다. 이 경우, 곡면형 자막 레이어(21)는 영상 레이어(11)의 전면에 간극 없이 겹쳐질 수 있다.
한편, 곡면형 자막 레이어(21)의 자막은 VR 영상 콘텐츠에 대응되는 자막이다. 이때, 곡면형 자막 레이어(21)는 가상의 곡면이므로, 자막을 제외한 영역은 투명하게 이루어져, 겹쳐지는 영상 레이어(11)를 시각적으로 인식하는데 영향을 주지 않는다. 다만, 상기 자막을 제외한 영역이 반드시 투명해야 하는 것은 아니고, 사용자의 선택 등에 따라서는 소정의 색감이 부여될 수 있다.
자막 재생부(30)는 자막 레이어 생성부(20)에서 생성된 곡면형 자막 레이어(21)를 재생한다. 이때, 자막은 VR 영상 콘텐츠에 대응되므로, VR 영상 콘텐츠의 재생을 감지하고 이에 부합하는 곡면형 자막 레이어(21)를 재생한다.
자막 오버레이부(40)는 재생되는 곡면형 자막 레이어(21)를 부합하는 영상 레이어(11) 상에 오버레이(overlay)한다. 여기서, 영상 레이어(11)와 곡면형 자막 레이어(21)는 서로 다른 별개의 레이어지만, 그 곡률이 비슷하거나 또는 동일 곡률로 만곡되어 있기 때문에, 오버레이되는 곡면형 자막 레이어(21)는 마치 영상 레이어(11)에 씌어져 있는 것과 효과를 주므로 자막의 가독성과 선명도를 향상시킨다. 한편, 전술한 영상 재생부(10), 자막 레이어 생성부(20), 자막 재생부(30), 및 자막 오버레이부(40)는 정보 처리를 수행하는 소프트웨어 및 하드웨어가 결합된 컴퓨팅 장치로서 구현될 수 있다.
VR 디스플레이부(50)는 VR 영상 콘텐츠와 자막을 VR 화면으로 동시에 표시하는 기기이다. 여기서, 표시되는 VR 영상 콘텐츠는 영상 레이어(11)로, 자막은 곡면형 자막 레이어(21)로 제공된다. 한편, VR 디스플레이부(50)는 VR 기기에 일체로 마련되거나, 스마트폰이나 태블릿 PC 등과 같은 스마트 단말의 디스플레이를 활용할 수 있다.
본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는 VR 영상 콘텐츠를 제공하는 VR 기기에 적용되어 사용될 수 있는바, 전술하거나 후술하는 구성들은 소프트웨어, 전기전자소자, 기타 하드웨어 등으로 구현되어, VR 기기에 마련되거나, 또는 스마트 단말을 장착하여 사용되는 VR 기기의 경우에는 스마트 단말에 장착될 수 있다. 일례로, 상기 VR 영상 콘텐츠는, VR 영상 콘텐츠 재생 앱의 형태로 스마트 단말에 설치되어 사용자의 선택에 의해 재생될 수 있다. 또한, 상기 자막 레이버 생성부는, VR 영상 콘텐츠 재생 앱의 형태로 상기 VR 영상 콘텐츠를 재생하는 스마트 단말에 장착될 수 있다.
종합적으로, 본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기에 의하면, 구형 곡면 상에 VR 영상 콘텐츠가 표시된 영상 레이어(11)를 재생하는 VR 기기에 있어서, 영상 레이어(11)와 동일한 곡률로 자막 레이어(21)를 생성하고, 이를 영상 레이어(11)에 오버레이함으로써, 영상 레이어(11)와 자막 레이어(21)가 별개로 존재함에도 불구하고 자막 레이어(21)가 영상 레이어(11)에 합체된 효과를 발휘하여, 자막의 선명도와 가독성을 향상시킬 수 있다.
도 4는 본 발명의 제2 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이다.
도 4를 참고로, 본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는, 자막 저장부(60)를 더 포함할 수 있다.
자막 저장부(60)는 VR 영상 콘텐츠에 대응되는 자막이 수록된 자막 데이터를 저장하는 메모리 소자로서, 자막 레이어 생성부(20)에 자막을 제공한다. 여기서, 자막 저장부(60)는 가상의 평면 상에 상기 자막이 표시된 평면형 자막 레이어를 포함할 수 있다. 평면형 자막 레이어는 영상 레이어(11)와의 거리에 따라 자막의 선명도와 가독성이 떨어지고, 장시간 노출 시에 안구의 피로감을 높이는 문제가 있는바, 자막 레이어 생성부(20)는 저장된 평면형 자막 레이어를 영상 레이어(11)의 곡률과 동일하게 왜곡하여 전술한 곡면형 자막 레이어(21, 도 3 참조)로 변환할 수 있다. 따라서, 기존에 평면형 자막 레이어 형태로 제공되는 자막 데이터를 곡면형 자막 레이어(21)로 변환하여 재생함으로써 자막의 선명도와 가독성, 안구 피로감을 개선할 수 있다.
도 5는 본 발명의 제3 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이다.
도 5에 도시된 바와 같이, 본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는, 영상 저장부(70)를 더 포함할 수 있다.
영상 저장부(70)는 VR 영상 콘텐츠가 수록된 영상 데이터를 저장하는 메모리 소자로서, 영상 재생부(10)에 재생되는 VR 영상 콘텐츠를 제공한다. 여기서, 영상 저장부(70)는 자막 저장부(60)와 동일하거나 별개의 소자로 구현될 수 있다.
한편, 본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는, 영상 저장부(70)에 저장되고 재생되는 VR 영상 콘텐츠에 텍스트(text) 이미지가 합체된 형태로 자막이 제공되는 경우에 이를 곡면형 자막 레이어(21, 도 3 참조)로 변환 생성할 수 있다. 이를 위해서, 텍스트 추출부(80), 및 문자 데이터 변환부(90)를 더 포함할 수 있다.
텍스트 추출부(80)는 영상 저장부(70)에 저장된 VR 영상 콘텐츠로부터 텍스트 이미지를 인식하고 추출한다. 이때, 텍스트 추출부(80)는, 상기 영상 레이어(11), 또는 스티칭(stiching) 이전의 영상 레이어(11)를 구성하는 평면 영상, 또는 영상 레이어(11)로부터 변환된 평면 레이어 등을 대상으로, 텍스트 이미지를 인식/추출할 수 있다. 이러한 텍스트 추출부(80)의 일실시예로서, 광 스캐너와 전용 소프트웨어를 이용해, VR 영상 콘텐츠에 광을 비추어 그 반사 광선을 전기 신호로 바꾸어 문자를 인식하는 광문자 인식 기술을 채용할 수 있다. 다만, 텍스트 추출부(80)가 반드시 상기 광문자 인식 기술에 한정되는 것은 아니고, VR 영상 콘텐츠로부터 텍스트 이미지를 인식하고 추출할 수 있는 한 모든 문자 판독장치를 포함할 수 있다.
문자 데이터 변환부(90)는 추출된 텍스트 이미지를 문자 데이터로 변환한다. 이렇게 변환된 문자 데이터는 자막 레이어 생성부(20)로 직접 전송되거나, 전술한 자막 저장부(60)에 저장되었다가 자막 레이어 생성부(20)로 전송되고, 자막 레이어 생성부(20)는 전송받은 문자 데이터를 기반으로 곡면형 자막 레이어(21)를 생성한다.
도 6은 본 발명의 제4 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이다.
도 6을 참고로, 본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는, 자막 이동부(100)를 더 포함할 수 있다.
자막 이동부(100)는 재생되는 곡면형 자막 레어어의 위치를 사용자의 시점을 중심으로 이동시킨다. 이하에서 자막 이동부(100)의 일실시예를 설명한다.
자막 이동부(100)는, 먼저 VR 영상 콘텐츠가 VR 기기에 제공되는 것을 식별하고, 사용자의 머리 움직움으로 VR 기기가 움직이는 움직임 정보(방향, 속도, 거리 등)를 식별하거나 또는 눈동자 검출수단을 통해 사용자의 눈동자의 위치 정보를 통해, 사용자 시점을 검출한다. 다음에 검출된 사용자 시점을 기준으로 시야각 및 상점(Image Point)을 중심으로 인식 가능함 범위를 생성하고, 생성된 인식 가능 범위에서 자막 재생부(30)에 의해 재생되는 곡면형 자막 레이어(21)의 위치를 이동시켜 재생되는 VR 영상 콘텐츠 간의 상호작용을 정합하며, 정합된 VR 영상 콘텐츠에 대해 실시간으로 이동하는 곡면형 자막 레이어(21)를 오버레이한다.
따라서, 본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는 움직이는 사용자의 시야를 감지하고 이에 따라 자막 레이어를 이동시킬 수 있으므로, 사용자의 시야 내에서 자막이 잘리거나 안 보이는 상황을 방지함으로써 VR 영상 콘텐츠에 관한 정보를 효과적으로 전달할 수 있다.
다만, 자막 이동부(100)가 반드시 전술한 방식에 따라 구현되어야 하는 것은 아니고, 사용자의 시점에 따라 곡면형 자막 레이어(21)가 이동될 수 있는 한 공지의 모든 수단을 통해 구현될 수 있다.
도 7은 본 발명의 제5 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이다.
도 7에 도시된 바와 같이, 본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는, 자막 옵션부(110)를 더 포함할 수 있다.
자막 옵션부(110)는 곡면형 자막 레이어(21)에 표시되는 자막의 형태를 변형시킨다. 여기서, 자막의 형태는 크기, 위치, 색상, 글꼴, 자간, 장평, 여백, 밝기, 및 줄간격 등으로서, 사용자의 선택에 따라 자막 옵션부(110)가 그 중 적어도 어느 하나 이상을 변환시킬 수 있다. 이러한 자막 옵션부(110)에 의해서 사용자는 자신에게 맞는 자막의 형태를 제어함으로써 가상 체험을 즐길 수 있게 된다.
도 8은 본 발명의 제6 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이고, 도 9는 본 발명의 제7 실시예에 따른 VR 영상 콘텐츠의 자막 처리 기기의 구성도이다.
도 8 내지 도 9를 참고로, 본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는, VR 영상 콘텐츠의 정보를 사용자의 요구에 따라 제공할 수 있다. 예를 들어, 사용자가 VR 영상 콘텐츠를 통해 여행지를 여행하는 가상 체험을 하는 경우에 소정의 건축물에 대한 제원이나 건축가 등에 관한 정보를 알고 싶을 때가 있는데, 본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는 실시간으로 그에 관한 정보를 자막으로 표시할 수 있다. 이를 구현하기 위해서, 관심 영역 식별부(120), 및 자막 검색부(130)를 더 포함할 수 있다.
관심 영역 식별부(120)는 재생되는 VR 영상 콘텐츠 상에서 소정의 관심 영역을 식별한다. 여기서, 관심 영역은 VR 영상 콘텐츠을 구성하는 영역 중에서 사용자가 관심을 가지는 대상물이 포함된 영역을 의미한다. 이러한 관심 영역 식별부(120)는 예를 들어, 합성곱 신경망(convolutional neural network, CNN) 기반의 딥러닝 기술을 채용하여 구현할 수 있다.
자막 검색부(130)는 관심 영역 식별부(120)에서 관심 영역을 식별하는 경우에 대응되는 관심 영역에 관한 정보를 검색한다. 보다 구체적으로, 관심 영역 내의 대상물에 관한 정보를 전술한 자막 저장부(60), 또는 인터넷 검색을 통해 자료를 취득하고, 취득된 자료를 자막 레이어 생성부(20)로 전송하여, 자막 레이어 생성부(20)로 하여금 취득된 자료가 표시된 곡면형 자막 레이어(21)를 생성하게 한다.
한편, 영상 레이어(11)는 구형 곡면 상에 표시되고, 사용자가 시야를 옮기면서 영상을 보기 때문에, 관심 영역 식별부(120)는 사용자의 시야각 범위에서만 관심 영역을 식별할 수 있다. 즉, 사용자의 시야각 범위에 관심 영역이 존재하는 경우에만 관심 영역이 식별될 수 있다.
또한, 도 9와 같이, 본 발명에 따른 VR 영상 콘텐츠의 자막 처리 기기는, 사용자가 실시간으로 관심 영역을 선택할 수 있도록, 눈동자 감지부(140)를 더 포함할 수 있다. 여기서, 눈동자 감지부(140)는 사용자의 눈동자 위치를 감지하여 사용자의 시점을 검출하고, 그 시점이 향하는 영역과 시점이 머무는 시간을 측정한다. 이때, 그 시점이 소정의 시간 동안 일정한 영역 내에 고정되면, 관심 영역 식별부(120)가 그 사용자의 시점 정보를 기반으로 관심 영역을 식별할 수 있다. 일례로, 사용자가 VR 영상 콘텐츠 상의 특정 건축물에 대해 3초 이상 시점을 고정하는 경우에, 눈동자 감지부(140)가 사용자의 시점을 검출하여 검출된 시점 정보를 관심 영역 식별부(120)에 전송하고, 관심 영역 식별부(120)가 그 특정 건축물을 관심 영역으로 식별한 다음, 자막 검색부(130)가 그 건축물에 대한 정보를 검색함으로써, 자막 레이어 생성부(20)가 그 정보를 자막으로 표시한다.
이상 본 발명을 구체적인 실시예를 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함이 명백하다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속한 것으로 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의하여 명확해질 것이다.
10: 영상 재생부 11: 영상 레이어
20: 자막 레이어 생성부 21: 곡면형 자막 레이어
30: 자막 재생부 40: 자막 오버레이부
50: VR 디스플레이부 60: 자막 저장부
70: 영상 저장부 80: 텍스트 추출부
90: 문자 데이터 변환부 100: 자막 이동부
110: 자막 옵션부 120: 관심 영역 식별부
130: 자막 검색부 140: 눈동자 감지부

Claims (10)

  1. 가상의 구형 곡면 상에 VR 영상 콘텐츠가 표시된 영상 레이어를 재생하는 영상 재생부;
    하기 [조건 1]을 만족하는 소정의 곡률로 만곡된 가상의 곡면 상에 상기 VR 영상 콘텐츠에 대응되는 자막이 표시된 곡면형 자막 레이어를 생성하는 자막 레이어 생성부;
    상기 곡면형 자막 레이어를 재생하는 자막 재생부;
    재생되는 상기 곡면형 자막 레이어를 상기 영상 레이어 상에 오버레이(overlay)하는 자막 오버레이부; 및
    상기 VR 영상 콘텐츠, 및 상기 자막을 VR 화면으로 동시에 표시하는 VR 디스플레이부;를 포함하는 VR 영상 콘텐츠의 자막 처리 기기.
    <조건 1>
    Ki×80% ≤ Kc ≤ Ki×120%
    여기서, Ki는 상기 영상 레이어의 곡률이고, Kc는 상기 곡면형 자막 레이어의 곡률임.
  2. 청구항 1에 있어서,
    가상의 평면 상에 상기 자막이 표시된 평면형 자막 레이어를 저장하는 자막 저장부;를 더 포함하고,
    상기 자막 레이어부는, 저장된 상기 평면형 자막 레이어를 상기 곡면형 자막 레이어로 변환하는 VR 영상 콘텐츠의 자막 처리 기기.
  3. 청구항 1에 있어서,
    텍스트(text) 이미지가 합체된 상기 VR 영상 콘텐츠를 저장하는 영상 저장부;
    저장된 상기 VR 영상 콘텐츠로부터 상기 텍스트 이미지를 인식하고 추출하는 텍스트 추출부; 및
    추출된 상기 텍스트 이미지를 문자 데이터로 변환하는 문자 데이터 변환부;를 더 포함하고,
    상기 자막 레이어부는, 변환된 상기 문자 데이터를 기반으로 상기 곡면형 자막 레이어를 생성하는 VR 영상 콘텐츠의 자막 처리 기기.
  4. 청구항 1에 있어서,
    재생되는 상기 곡면형 자막 레이어의 위치를 사용자의 시점을 중심으로 이동시키는 자막 이동부;를 더 포함하는 VR 영상 콘텐츠의 자막 처리 기기.
  5. 청구항 1에 있어서,
    상기 곡면형 자막 레이어에 표시된 상기 자막의 크기, 위치, 색상, 글꼴, 자간, 장평, 여백, 밝기, 및 줄간격 중 적어도 어느 하나 이상을 변환시키는 자막 옵션부;를 더 포함하는 VR 영상 콘텐츠의 자막 처리 기기.
  6. 청구항 1에 있어서,
    상기 VR 영상 콘텐츠는, VR 영상 콘텐츠 재생 앱의 형태로 스마트 단말에 설치되어 사용자의 선택에 의해 재생되는 VR 영상 콘텐츠의 자막 처리 기기.
  7. 청구항 1에 있어서,
    상기 자막 레이버 생성부는, VR 영상 콘텐츠 재생 앱의 형태로 상기 VR 영상 콘텐츠를 재생하는 스마트 단말에 장착되는 VR 영상 콘텐츠의 자막 처리 기기.
  8. 청구항 1에 있어서,
    재생되는 상기 VR 영상 콘텐츠 상에서 소정의 관심 영역을 식별하는 관심 영역 식별부; 및
    상기 관심 영역이 식별되는 경우에, 대응되는 상기 자막을 검색하고, 검색된 상기 자막을 상기 자막 레이어 생성부로 전송하는 자막 검색부;를 더 포함하는 VR 영상 콘텐츠의 자막 처리 기기.
  9. 청구항 8에 있어서,
    상기 관심 영역 식별부는, 사용자의 시야각 범위에 상기 관심 영역이 존재할 때에 상기 관심 영역을 식별하는 VR 영상 콘텐츠의 자막 처리 기기.
  10. 청구항 8에 있어서,
    사용자의 눈동자 위치를 감지하여 상기 사용자의 시점을 검출하는 눈동자 감지부;를 더 포함하고,
    상기 관심 영역 식별부는, 상기 사용자의 시점 정보를 기반으로 상기 관심 영역을 식별하는 VR 영상 콘텐츠의 자막 처리 기기.
KR1020190047262A 2019-04-23 2019-04-23 Vr 영상 콘텐츠의 자막 처리 기기 KR102261597B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190047262A KR102261597B1 (ko) 2019-04-23 2019-04-23 Vr 영상 콘텐츠의 자막 처리 기기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190047262A KR102261597B1 (ko) 2019-04-23 2019-04-23 Vr 영상 콘텐츠의 자막 처리 기기

Publications (2)

Publication Number Publication Date
KR20200123988A true KR20200123988A (ko) 2020-11-02
KR102261597B1 KR102261597B1 (ko) 2021-06-07

Family

ID=73397744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190047262A KR102261597B1 (ko) 2019-04-23 2019-04-23 Vr 영상 콘텐츠의 자막 처리 기기

Country Status (1)

Country Link
KR (1) KR102261597B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023121850A1 (en) * 2021-12-23 2023-06-29 Advanced Micro Devices, Inc. Automatic in-game subtitles and closed captions

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102636562B1 (ko) 2023-12-01 2024-02-14 주식회사라이브아레나 구형 디스플레이를 통한 컨텐츠 제공 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100114190A (ko) * 2009-04-15 2010-10-25 한국과학기술원 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법
KR101789153B1 (ko) 2016-09-29 2017-10-23 길승종 가상현실 기반의 emdr 안구 운동의 몰입형 제공 방법
KR20180040507A (ko) * 2016-10-12 2018-04-20 삼성전자주식회사 가상 현실 영상을 처리하는 방법 및 장치
KR20180042094A (ko) * 2016-09-30 2018-04-25 고범준 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100114190A (ko) * 2009-04-15 2010-10-25 한국과학기술원 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법
KR101789153B1 (ko) 2016-09-29 2017-10-23 길승종 가상현실 기반의 emdr 안구 운동의 몰입형 제공 방법
KR20180042094A (ko) * 2016-09-30 2018-04-25 고범준 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치
KR20180040507A (ko) * 2016-10-12 2018-04-20 삼성전자주식회사 가상 현실 영상을 처리하는 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023121850A1 (en) * 2021-12-23 2023-06-29 Advanced Micro Devices, Inc. Automatic in-game subtitles and closed captions

Also Published As

Publication number Publication date
KR102261597B1 (ko) 2021-06-07

Similar Documents

Publication Publication Date Title
US20180232953A1 (en) System and Method for Defining an Augmented Reality View in a Specific Location
WO2022022036A1 (zh) 一种展示方法、装置、设备、存储介质及计算机程序
US9317486B1 (en) Synchronizing playback of digital content with captured physical content
JP2016126773A (ja) 視線追跡に基づく触覚効果を生成するシステム及び方法
EP3425483B1 (en) Intelligent object recognizer
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN106060572A (zh) 视频播放方法及装置
US20170053449A1 (en) Apparatus for providing virtual contents to augment usability of real object and method using the same
KR101455200B1 (ko) 학습 모니터링 장치 및 학습 모니터링 방법
CN106464773B (zh) 增强现实的装置及方法
US10846535B2 (en) Virtual reality causal summary content
KR20110107542A (ko) 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
US20190244431A1 (en) Methods, devices, and systems for producing augmented reality
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
KR102261597B1 (ko) Vr 영상 콘텐츠의 자막 처리 기기
US11758218B2 (en) Integrating overlaid digital content into displayed data via graphics processing circuitry
CN106507175A (zh) 视频图像处理方法及装置
KR101543287B1 (ko) 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법
JP4790080B1 (ja) 情報処理装置，情報表示方法，情報表示プログラム，及び記録媒体
WO2022231707A1 (en) Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer
KR102054772B1 (ko) 문장 은닉 및 표시 시스템 및 방법
US20230196036A1 (en) Integrating overlaid textual digital content into displayed data via graphics processing circuitry using a frame buffer
JP2003345335A (ja) 読取補助画像表示装置
US20160004789A1 (en) Visual Search Engine
KR101965404B1 (ko) Vr 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant