KR102071882B1 - 스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법 - Google Patents

스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법 Download PDF

Info

Publication number
KR102071882B1
KR102071882B1 KR1020180110722A KR20180110722A KR102071882B1 KR 102071882 B1 KR102071882 B1 KR 102071882B1 KR 1020180110722 A KR1020180110722 A KR 1020180110722A KR 20180110722 A KR20180110722 A KR 20180110722A KR 102071882 B1 KR102071882 B1 KR 102071882B1
Authority
KR
South Korea
Prior art keywords
smart glasses
content
subtitles
display
displayed
Prior art date
Application number
KR1020180110722A
Other languages
English (en)
Other versions
KR20200000314A (ko
Inventor
문혜영
이현기
정석찬
황중수
Original Assignee
씨제이올리브네트웍스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨제이올리브네트웍스 주식회사 filed Critical 씨제이올리브네트웍스 주식회사
Priority to PCT/KR2019/006931 priority Critical patent/WO2019245205A1/en
Publication of KR20200000314A publication Critical patent/KR20200000314A/ko
Application granted granted Critical
Publication of KR102071882B1 publication Critical patent/KR102071882B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N5/225—
    • H04N5/232—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명에 의한 스마트 안경을 이용하여 자막을 제공하는 방법은 언어 선택 입력을 수신하는 단계, 상기 자막이 표시되는 자막 표시 영역을 설정하는 단계 및 상기 자막을 컨텐츠와 동기화하는 단계를 포함할 수 있다.
본 발명에 의하면, 스마트 안경을 이용하여 관람객이 사용하는 언어에 따른 제약 없이 컨텐츠를 감상할 수 있으며, 단일 상영관에서 다양한 언어를 사용하는 사람들이 컨텐츠를 즐길 수 있으므로 상영관의 효율을 개선시킬 수 있다는 효과가 있을 뿐만 아니라, 스마트 안경에 표시되는 자막 또는 영상이 최적의 크기로 최적의 위치에 제공되어 관람객의 컨텐츠 집중도를 향상시킬 수 있다는 효과가 있다.

Description

스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법{SMART GLASSES AND METHOD OF PROVIDING SUBTITLES USING THE SAME}
본 발명은 스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법에 관한 것이다. 보다 자세하게는, 스크린에 재생되는 컨텐츠에 대응되어 다양한 언어의 자막을 최적의 위치에 제공하는 스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법에 관한 것이다.
오늘날 많은 사람들은 디스플레이 장치를 통해 다양한 컨텐츠를 감상하며 여가 생활을 즐긴다. 예를 들어, 사람들은 여가 생활을 위해 상영관을 자주 찾으며, 국내 영화관에서 개봉되는 영화 중 다양한 국가의 외국어로 제작된 영화는 화면 및 음성 신호에 동기화된 영어 또는 한글 자막을 스크린 상에 현시하여 상영되고 있다.
그러나, 다양한 언어를 사용하는 사람들에게 컨텐츠를 제공하는 데 있어서, 서로 다른 언어로 더빙 또는 자막이 제공되는 컨텐츠를 모두 제공하기에는 효율적이지 못한 문제점이 있다.
한편, 사용자는 다양한 장치를 통해 컨텐츠를 감상할 수 있으며, 그 중 스마트 안경을 이용하여 컨텐츠를 감상하는 경우, 디스플레이 장치에 표시되는 컨텐츠와 초점이 맞지 않아 사용자에게 어지럼증을 유발하는 문제가 발생한다.
본 발명은 이와 같은 문제점에 착안하여 도출된 것으로, 이상에서 살핀 기술적 문제점을 해소시킬 수 있음은 물론, 본 기술분야에서 통상의 지식을 가진 자가 용이하게 발명할 수 없는 추가적인 기술요소들을 제공하기 위해 발명되었다.
한국특허등록공보 제10-217415519호(2017.05.24.)
본 발명이 해결하고자 하는 기술적 과제는 컨텐츠와 동기화하여 다양한 언어의 자막을 제공하는 스마트 안경 및 스마트 안경을 이용하여 다양한 언어의 자막을 표시하는 방법을 제공하는 것이다.
구체적으로 본 발명이 해결하고자 하는 기술적 과제는 다양한 언어의 자막을 최적의 크기로 최적의 위치에 제공하는 스마트 안경 및 스마트 안경을 이용하여 자막을 표시하는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는 디스플레이 장치에 재생되는 컨텐츠와 자막의 초점이 맞지 않아 착용자가 어지러움을 유발하는 것을 방지하는 스마트 안경 및 스마트 안경을 이용하여 자막을 표시하는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 콘텐츠가 상영되는 공간에서 멀리 떨어진 관람객에게, 확대된 컨텐츠를 제공할 수 있는 스마트 안경 및 스마트 안경을 이용하여 컨텐츠 및 자막을 표시하는 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 스마트 안경을 이용하여 자막을 제공하는 방법은 언어 선택 입력을 수신하는 단계, 상기 수신한 언어로 구성된 자막이 표시되는 자막 표시 영역을 설정하는 단계 및 상기 자막과 컨텐츠를 동기화하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 자막 표시 영역을 설정하는 단계는 상기 컨텐츠가 재생되는 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시키는 단계, 상기 자막의 최대 표시 영역 내에서 상기 자막이 실제로 표시될 위치 좌표를 설정하는 단계 및 상기 설정된 위치 좌표에 자막을 표시하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 출력 영역을 매칭시키는 단계는 상기 스마트 안경에 포함된 카메라로 획득한 컨텐츠를 참조하여 상기 스크린과 스마트 안경 사이의 상대적인 거리를 추출하고, 상기 추출된 상대적인 거리를 반영하여 상기 자막의 최대 출력 영역을 매칭시킬 수 있다.
일 실시예에 따르면, 상기 자막이 실제로 표시될 위치는 상기 디스플레이 장치의 컨텐츠 표시 영역의 하단 또는 착용자로부터 입력을 수신한 위치 중 하나일 수 있다.
일 실시예에 따르면, 상기 자막을 컨텐츠와 동기화하는 단계는 서버로부터 동기화 정보를 수신하여 동기화하는 단계일 수 있다.
일 실시예에 따르면, 상기 자막을 컨텐츠와 동기화하는 단계는 상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 인식하여 동기화하는 단계일 수 있다.
일 실시예에 따르면, 상기 자막을 동기화하는 단계는 상기 스마트 안경에 포함된 조작부를 통해 입력된 사용자 입력을 참조하여 동기화하는 단계일 수 있다.
일 실시예에 따르면, 상기 자막과 컨텐츠를 동기화하는 단계 이후에, 상기 스마트 안경에 구비된 디스플레이부로 상기 컨텐츠 표시 여부를 확인하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 상기 컨텐츠 표시 여부를 확인하는 단계 이후에, 상기 디스플레이부로 상기 컨텐츠를 표시하는 경우, 상기 스마트 안경에 구비된 카메라를 이용하여 상기 컨텐츠가 상영되는 영역의 영상을 획득하는 단계 및 상기 획득한 영상을 상기 자막과 함께 상기 디스플레이부에 표시하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 상기 디스플레이부에 표시하는 단계 이후에, 상기 표시하는 영상에 대한 크기, 배율, 위치 좌표 중 적어도 하나의 설정을 입력 받고 상기 영상을 조정하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 상기 컨텐츠 표시 여부를 확인하는 단계 이후에, 상기 디스플레이부로 상기 컨텐츠를 표시하지 않는 경우, 상기 디스플레이부로 상기 컨텐츠와 동기화된 자막을 표시하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 스마트 안경은 안경 형태의 프레임, 상기 자막을 출력하는 디스플레이부, 컨텐츠 정보를 획득하는 카메라 및 상기 디스플레이부 및 상기 카메라를 제어하는 제어부를 포함할 수 있다.
일 실시예에 따르면, 상기 제어부는 상기 컨텐츠가 재생되는 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시킬 수 있다.
일 실시예에 따르면, 상기 제어부는 서버로부터 동기화 정보를 수신하여 상기 자막과 컨텐츠를 동기화시킬 수 있다.
일 실시예에 따르면, 상기 제어부는 상기 자막의 최대 표시 영역 내에서 상기 자막이 실제로 표시될 위치 좌표를 설정할 수 있다.
일 실시예에 따르면, 상기 스마트 안경은 사용자로부터 입력을 수신하기 위한 조작부를 더 포함할 수 있다.
일 실시예에 따르면, 상기 제어부는 상기 조작부로부터 입력을 수신하여 상기 컨텐츠와 자막을 동기화시킬 수 있다.
일 실시예에 따르면, 상기 제어부는 상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 인식하여 상기 컨텐츠와 자막을 동기화시킬 수 있다.
일 실시예에 따르면, 상기 제어부가, 상기 디스플레이부의 상기 컨텐츠의 표시 여부를 확인할 수 있다.
일 실시예에 따르면, 상기 디스플레이부가 상기 컨텐츠를 표시하는 경우, 상기 카메라가, 상기 컨텐츠가 상영되는 영역의 영상을 획득하고, 상기 제어부가, 상기 획득한 영상을 상기 자막과 함께 상기 디스플레이부에 표시할 수 있다.
일 실시예에 따르면, 상기 제어부는, 상기 디스플레이부에 표시하는 영상에 대한 크기, 배율, 위치 좌표 중 적어도 하나의 설정을 입력 받아 상기 영상 표시를 제어할 수 있다.
일 실시예에 따르면, 상기 제어부는, 상기 디스플레이부에 표시하는 영상에 대한 크기, 배율, 위치 좌표 중 적어도 하나의 설정을 입력 받아 상기 영상 표시를 제어할 수 있다.
일 실시예에 따르면, 상기 스마트 안경은 착용자의 음성을 인식하는 마이크를 더 포함할 수 있다.
본 발명에 의하면, 관람객이 사용하는 언어에 따른 제약 없이 컨텐츠를 즐길 수 있으므로 관람객의 관람 편의성을 증대시키고, 상영관의 이용 효율을 개선시킬 수 있다는 효과가 있다.
본 발명에 의하면, 스마트 안경에 표시되는 자막이 최적의 크기로 최적의 위치에 제공되어 관람객의 컨텐츠 집중도를 향상시킬 수 있다는 효과가 있다.
본 발명에 의하면, 스크린에 재생되는 컨텐츠와 자막의 초점이 맞지 않아 착용자가 어지러움을 유발하는 것을 방지할 수 있다는 효과가 있다.
본 발명에 의하면, 원거리에 착석한 관람객이 스마트 안경을 이용하여 컨텐츠 및 자막을 보다 가까이서 관람할 수 있다는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 스마트 안경을 이용하여 자막을 제공하는 방법의 핵심적인 순서를 나타낸 순서도이다.
도 2는 도 1의 S120 단계를 구체화한 도면이다.
도 3은 본 발명의 일 실시예에 따른 스마트 안경과 스크린 사이의 좌표를 매칭시키기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 자막의 최대 표시 영역의 예시를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 자막이 실제로 스마트 안경에 표시될 위치 좌표의 예시를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 자막이 스크린의 상영 영역을 제외한 자막의 최대 표시 영역 내에서 자막이 실제로 스마트 안경에 표시될 위치 좌표의 예시를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 자막이 실제로 스마트 안경에 표시될 위치 좌표의 또 다른 예시를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 스마트 안경에 컨텐츠를 표시하는 방법의 흐름을 나타낸 순서도이다.
도 9는 본 발명의 일 실시예에 따른 스마트 안경에 표시되는 컨텐츠 이미지를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 스마트 안경의 사시도를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 스마트 안경의 개략적인 구성도를 나타낸 도면이다.
이하에서 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.
도 1은 본 발명의 일 실시예에 따른 스마트 안경(100)을 이용하여 자막을 제공하는 방법의 핵심적인 순서를 나타낸 순서도이며, 이는 본 발명의 목적을 달성함에 있어 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있다.
먼저, 도 1을 참조하면, 스마트 안경(100)은 언어 선택 입력을 수신한다(S110). 보다 구체적으로, 스마트 안경(100)은 착용자로부터 스마트 안경(100)에 표시될 언어 선택 입력을 수신할 수 있다. 예를 들어, 스마트 안경(100)은 음성 인식이 가능하고, 착용자가 감상하고자 하는 컨텐츠(예. 영화 제목)을 원하는 언어로 발음하면 이를 인식하여 해당 언어를 스마트 안경(100)에 표시될 언어로 설정할 수 있다.
S110 단계 이후에, 스마트 안경(100)은 수신한 언어로 구성된 자막이 표시되는 자막 표시 영역을 설정한다(S120). 보다 구체적으로, 스마트 안경(100)은 디스플레이 장치의 컨텐츠 표시 영역과 대응하여 자막이 표시되는 자막 표시 영역을 설정할 수 있다. 여기서, 자막 표시 영역은 디스플레이 장치의 컨텐츠 표시 영역의 하단 또는 착용자가 요청한 영역 중 하나일 수 있으나 이에 반드시 한정하지는 않는다.
여기서, 디스플레이 장치의 컨텐츠가 표시되는 영역은 디스플레이 장치에서 실제로 컨텐츠가 표시되는 영역을 의미한다.
한편, 스마트 안경(100)은 자막 표시 영역을 설정하기 위해 보다 세부적인 단계를 수행할 수 있으며, 이하에서 설명하는 디스플레이 장치의 컨텐츠 표시 영역은 상영관의 스크린이며, 컨텐츠는 스크린에 상영 가능한 상영물인 것으로 가정하여 설명하도록 한다.
도 2는 도 1의 S120 단계를 구체화한 도면으로서, 도 2를 참조하면, 스마트 안경(100)은 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시킨다(S122). 보다 구체적으로, 스마트 안경(100)은 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시켜 자막이 스크린의 상영 영역을 벗어나거나 착용자의 시야를 벗어나지 않도록 한다.
즉, 스마트 안경(100)은 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시키기 위해, 스마트 안경(100)에 구비된 카메라로 획득한 컨텐츠를 참조하여 1)스크린의 크기 및 2)스크린과 스마트 안경(100) 사이의 상대적인 거리를 추출하고, 추출한 상대적인 거리를 이용하여 자막의 최대 표시 영역을 획득하고, 이를 스크린에 매칭시킬 수 있다. (이하, 스마트 안경(100)이 포함하는 카메라는 편의상 '카메라'로 서술한다.)
예를 들어, 스마트 안경(100)은 스크린의 월드 좌표 및 카메라의 월드 좌표를 참조하여 2)스크린과 카메라 사이의 상대적인 거리를 추출할 수 있다.
이는 스마트 안경(100)이 카메라에 대한 내부 파라미터 및 렌즈의 왜곡 계수를 저장하고 있고, 스크린에 대한 최소 4개 이상의 3D 월드 좌표 및 이에 대응되는 2D 컨텐츠 좌표 쌍을 알고 있다는 전제 하에 수행되는 것으로, 스마트 안경(100)은 카메라로 스크린에 대한 컨텐츠 정보를 획득하여 스크린 꼭지점들에 대한 컨텐츠 좌표를 구할 수 있다.
여기서, 카메라의 내부 파라미터는 초점거리, 주점, 비대칭 계수가 있으며, 초점거리는 렌즈 중심과 이미지 센서(CCD, CMOS)와의 거리이고, 주점은 카메라의 중심이고, 비대칭 계수는 이미지 센서의 cell array의 y축이 기울어진 정도를 나타낸다. 또한, 렌즈의 왜곡 계수는 렌즈의 굴절률을 나타낸다. 이러한 카메라의 내부 파라미터 및 렌즈의 왜곡 계수는 컨텐츠 정보를 획득하는 카메라의 사양을 통해 파악할 수 있다.
이와 관련하여, 도 3은 본 발명의 일 실시예에 따른 스마트 안경과 스크린 사이의 좌표를 매칭시키기 위한 도면으로서, 도 3의 (a)를 참조하면, 스크린에 대한 월드 좌표는 스크린의 왼쪽 하단 모서리가 (0,0,0)이며, 각 꼭지점의 좌표는 스크린의 길이(X) 및 높이(Y)를 포함하는 넓이를 이용하여 설정될 수 있다. 이 때 Z축은 0으로 고정될 수 있다. 예를 들어, 스크린의 월드 좌표는 P1(0,0,0), P2(X, 0, 0), P3(X, Y, 0), P4(0, Y, 0) 일 수 있다.
또한, 스마트 안경(100)은 Open CV library의 solve PnP 함수를 사용하여 회전 변환 행렬과 평행 이동 행렬을 구한 후, 해당 행렬을 이용하여 카메라의 3차원 월드 좌표를 얻을 수 있다.
도 3의 (b)를 참조하면, 스마트 안경(100)은 스크린의 월드 좌표와 카메라의 월드 좌표를 추출한 후, 스크린의 좌우측 모서리(edge)를 2등분한 중간점(Y/2)으로부터 카메라까지의 상대 거리(L)를 계산할 수 있다.
보다 구체적으로, 상대 거리(L)에 따라 스마트 안경(100)을 착용한 착용자가 실제로 보게 되는 스크린 내 상영 영역의 비율이 다르기 때문에, 스마트 안경(100)은 상대 거리(L)를 추출하여, 컨텐츠 표시 영역과 자막의 최대 표시 영역 매칭 시 이를 반영할 수 있다.
도 4는 본 발명의 일 실시예에 따른 자막의 최대 표시 영역의 예시들을 나타낸 도면으로서, 도 4의 (a)에 도시된 바와 같이, 스마트 안경(100)은 앞서 서술한, 1)스크린의 크기 및 2)스마트 안경(100)의 카메라와 스크린의 상대적인 거리를 추출한 후, 이를 참조하여 컨텐츠가 재생되는 스크린의 상영 영역과 자막의 최대 표시 영역을 매칭시킬 수 있다. 예를 들어, 점선으로 표시된 자막의 최대 표시 영역(A)은 착용자의 시야 내에 컨텐츠와 자막이 들어올 수 있도록 실선으로 표시된 스크린의 상영 영역(S)과 동일할 수 있으나 이에 반드시 한정하지는 않는다.
도 4의 (b)에 도시된 바와 같이, 스마트 안경(100)은 스크린의 상영 영역(S)보다 위아래로 일정한 간격을 갖는 자막의 최대 표시 영역(A)을 매칭시킬 수 있다.
즉, 스마트 안경(100)은 스크린에 상영되는 컨텐츠에 자막이 삽입된 경우, 컨텐츠와 자막이 겹치는 상황을 방지하여, 관람객의 컨텐츠의 몰입감을 향상시킬 수 있다.
다시 도 2를 참조하면, S122 단계 이후에, 스마트 안경(100)은 디스플레이 장치의 컨텐츠 표시 영역(S)과 매칭시킨 자막의 최대 표시 영역(A) 내에서 자막이 실제로 표시될 위치 좌표를 설정한다(S124). 보다 구체적으로, 스마트 안경(100)은 스크린의 월드 좌표를 카메라가 기준인 카메라 좌표로 변환하여 자막이 실제로 표시될 위치 좌표를 설정할 수 있다.
즉, 스마트 안경(100)은 스크린의 월드 좌표계의 좌표 (X, Y, Z)를 카메라 좌표계의 좌표 (Xc, Yc, Zc)로 변환할 수 있다.
여기서, 월드 좌표계는 스크린과 수직한 지면이 XY 평면, 스크린과 평행한 위쪽이 Z축이고, 카메라 좌표계는 카메라의 초점을 원점으로, 카메라 광학축 방향이 Zc축, 오른쪽이 Xc축, 아래쪽이 Yc축 일 수 있으며, 월드 좌표계와 카메라 좌표계의 단위는 동일함을 전제로 한다.
또한, 좌표축 변환관계는 일련의 회전 변환 행렬을 조합하거나, 단위 벡터를 이용하여 직접 변환행렬을 구할 수 있다.
예를 들어, 일련의 회전 변환 행렬을 조합하여 월드 좌표계의 축을 카메라 좌표축으로 변환 시, 월드 좌표계에서 카메라 초점(카메라 좌표계의 원점)의 좌표를 (Fx, Fy, Fz), 월드 좌표계의 좌표축을 카메라 좌표축으로 회전시키는 행렬을 R이라고 한다면, 월드 좌표계의 점 (X, Y, Z)를 카메라 좌표계로 봤을 때의 좌표 (Xc, Yc, Zc)가 아래와 같은 [수학식 1]로 구해질 수 있다.
[수학식 1]
Figure 112018092070146-pat00001
회전 변환 행렬의 경우, RTR=1 즉 R-1=RT가 성립하므로 위 식은 아래와 같은 [수학식 2]로 변환될 수 있다.
[수학식 2]
Figure 112018092070146-pat00002
한편, 월드 좌표축을 카메라 좌표축 방향과 일치되도록 하는 회전 변환 행렬을 R은 다음과 같이 구할 수 있다.
[수학식 3]
Figure 112018092070146-pat00003
따라서, 월드 좌표축을 카메라 좌표축으로 변환시키는 변환식은 다음과 같다.
[수학식 4]
Figure 112018092070146-pat00004
여기서, 좌표축 변환은 일반적인 변환과정을 역으로 적용하며, [수학식 2]에서 회전변환은 RRT =1을 만족하기 때문에 R-1 = RT로 구할 수 있다. 즉, [수학식 2]는 다음과 같이 변환될 수 있다.
[수학식 5]
Figure 112018092070146-pat00005
이러한 변환 행렬을 바탕으로, 스마트 안경(100)은 스크린의 월드 좌표축을 카페라 좌표축으로 변환하여, 자막이 실제로 표시될 위치의 좌표를 설정할 수 있다.
도 5는 본 발명의 일 실시예에 따른 자막이 실제로 스마트 안경(100)에 표시될 위치 좌표의 예시를 나타낸 도면이고, 도 6은 본 발명의 일 실시예에 따른 자막이 스크린의 상영 영역을 제외한 자막의 최대 표시 영역 내에서 자막이 실제로 스마트 안경(100)에 표시될 위치 좌표의 예시를 나타낸 도면이다.
도 5에 도시된 바와 같이, 스마트 안경(100)은 자막이 실제로 표시될 위치 좌표를 자막의 최대 표시 영역 내에서 스크린의 상영 영역의 하단으로 설정할 수 있다. 예를 들어, 자막이 실제로 표시될 위치 좌표는 Pc1(Xc1, Yc1, Zc1), Pc2(Xc2, Yc2, Zc2), Pc3(Xc3, Yc3, Zc3), Pc4(Xc4, Yc4, Zc4)일 수 있다.
이와 같이, 스마트 안경(100)은 자막이 실제로 표시될 위치 좌표를 스크린의 상영 영역의 하단으로 설정하여, 자막에 의해 컨텐츠가 가려지는 것을 최소화할 수 있다.
또한, 도 6에 도시된 바와 같이, 자막의 최대 표시 영역이 스크린의 상영 영역보다 위아래로 일정한 간격을 갖는 경우에 스마트 안경(100)은 자막이 실제로 표시될 위치 좌표를 스크린의 상영 영역을 제외한 자막의 최대 표시 영역의 상단 또는 하단으로 설정할 수 있다. 예를 들어, 자막이 실제로 표시될 위치 좌표는 Pc1(Xc1, Yc1, Zc1), Pc2(Xc2, Yc2, Zc2), Pc3(Xc3, Yc3, Zc3), Pc4(Xc4, Yc4, Zc4)일 수 있다.
이와 같이, 스마트 안경(100)은 자막이 실제로 표시될 위치 좌표를 스크린의 상영 영역을 제외한 자막의 최대 표시 영역의 상단 또는 하단으로 설정하여, 본래의 컨텐츠가 자막이 삽입된 컨텐츠의 경우에 자막끼리 겹치는 경우를 방지하고, 관람객의 화면 몰입감을 향상시킬 수 있다.
한편, 스마트 안경(100)은 착용자로부터 입력을 수신하여 자막이 실제로 표시될 위치 좌표를 설정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 자막이 실제로 표시될 위치 좌표의 또 다른 예시를 나타낸 도면으로서, 도 7에 도시된 바와 같이, 스마트 안경(100)은 착용자로부터 입력을 수신하여, 자막의 최대 표시 영역 내에서 자막이 실제로 표시될 위치 좌표를 스크린을 기준으로 우측 하단으로 설정할 수 있다.
즉, 스마트 안경(100)은 자막의 최대 표시 영역 내에서 착용자의 선호도를 반영한 위치에 자막을 표시할 수 있다. 실시예에 따라, 스마트 안경(100)은 착용자로부터 물리적인 버튼을 이용하여 자막의 최대 표시 영역을 설정하거나, 착용자의 음성을 인식할 수도 있으며, 기타 다양한 방식으로 착용자의 선호도를 반영시킬 수 있다.
다시 도 2를 참조하면, S124단계 이후에, 스마트 안경(100은 설정된 위치 좌표에 자막을 표시한다(S126). 보다 구체적으로, 스마트 안경(100)은 설정된 위치 좌표에 자막의 비율을 조절하여 표시할 수 있다. 예를 들어, 스마트 안경(100)은 표시되는 자막의 글자수에 따라 자막의 크기를 조절하거나, 자막의 간격을 조절할 수 있다. 이를 통해, 스마트 안경(100)은 자막이 실제로 표시될 위치 좌표를 벗어나거나, 글자가 깨지는 현상이 발생하여 착용자가 자막을 인지하지 못하는 상황을 방지할 수 있다.
다시 도 1을 참조하면, S120 단계 이후에, 스마트 안경(100)은 자막과 컨텐츠를 동기화한다(S130). 보다 구체적으로, 스마트 안경(100)은 표시된 자막을 컨텐츠와 동기화하여 컨텐츠에 따라 알맞은 자막이 표시되도록 할 수 있다.
실시예에 따라, 스마트 안경(100)이 네트워크 통신이 가능한 경우, 스마트 안경(100)은 서버로부터 동기화 정보를 수신하여 스크린에 재생되는 컨텐츠와 자막을 동기화할 수 있다. 여기서, 동기화 정보는 스크린에 상영되는 컨텐츠의 재생 시간에 대응되는 자막 표시 시간 정보를 포함할 수 있다. 예를 들어, 동기화 정보는 상영되는 컨텐츠에 따른 자막 표시 시점, 자막 표시 시작 시간, 자막 표시 종료 시각, 자막 표시 시간 정보 중 적어도 하나를 포함할 수 있다.
또 다른 실시예에 따르면, 스마트 안경(100)은 상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 인식하여 동기화할 수 있다.
보다 구체적으로, 스마트 안경(100)은 상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 수신할 수 있고, 수신한 신호를 인식하여 자막과 컨텐츠를 동기화할 수 있다.
또 다른 실시예에 따르면, 스마트 안경(100)은 착용자로부터 입력을 수신하여, 자막과 컨텐츠를 동기화할 수 있다. 보다 구체적으로, 스마트 안경(100)은 착용자로부터 입력을 수신하기 위한 물리적인 버튼을 포함할 수 있으며, 착용자의 버튼 입력을 유도하여 직접 동기화를 수행할 수 있다. 예를 들어, 스마트 안경(100)은 영화 시작 전 화면에 '동기화를 위해 버튼을 눌러주세요'라는 메시지를 띄운 후 카운트 다운을 시작하여 착용자의 버튼 입력을 유도할 수 있다. 그에 따라, 스마트 안경(100)은 착용자의 버튼 입력 시간을 참조하여, 스크린에 상영되는 컨텐츠와 대응되도록 자막을 동기화할 수 있다.
지금까지 본 발명의 일 실시예에 따른 스마트 안경(100)에 표시되는 자막의 최대 표시 영역을 스마트 안경(100)을 착용한 착용자의 위치 및 스크린의 크기에 따라 설정하는 방법에 대하여 설명하였다. 본 발명에 따르면, 스마트 안경(100)을 착용한 착용자는 상영관 또는 공연장 내의 위치에 관계없이 컨텐츠와 자막을 동시에 시청할 수 있을 뿐만 아니라, 다양한 언어의 자막을 제공받을 수 있어 불편함 없이 컨텐츠를 즐길 수 있다.
한편, 앞서 언급한 실시예는 스마트 안경(100)을 이용하여 자막을 표시하는 방법으로서, 컨텐츠를 관람하는 관객은 자막에 대한 불편함 외에도, 원거리에서 상영되는 컨텐츠(예. 콘서트, 공연장, 대형 상영관에서 진행되는 공연, 무대, 영화)를 시청하기에 불편함을 느낄 수 있으며, 그에 따라 원거리에서 상영되는 컨텐츠를 스마트 안경(100)으로 감상할 수 있도록 스마트 안경(100)을 제어하는 과정이 추가로 수행되는 것이 바람직할 수 있다. 이는 도 8 및 도 9에 관한 내용으로, 이하 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 스마트 안경(100)에 컨텐츠를 표시하는 방법의 흐름을 나타낸 순서도이고, 도 9는 본 발명의 일 실시예에 따른 스마트 안경(100)에 표시되는 컨텐츠 이미지를 나타낸 도면이다.
도 8을 참조하면, 스마트 안경(100)은 자막과 컨텐츠를 동기화한 이후에, 착용자로부터 디스플레이부 상에 컨텐츠 표시 여부를 확인받는다(S140). 여기서, 디스플레이부는 스마트 안경(100)의 렌즈 부분에 구비된 것으로, 다양한 종류의 디스플레이 모듈을 포함할 수 있다.
예를 들어, 스마트 안경(100)은 자막 동기화 메시지를 이용하여 자막을 동기화한 후, 디스플레이부 상에 '스마트 안경을 이용하여 컨텐츠를 감상하시겠습니까?'라는 메시지를 띄운 후, 착용자로부터 이에 대한 응답을 수신할 수 있다.
그에 따라, 스마트 안경(100)이 착용자로부터 디스플레이부 상에 컨텐츠를 표시하는 것으로 확인한 경우, 카메라를 이용하여 컨텐츠가 상영되는 영역의 영상을 획득한다(S142). 실시예에 따라, 스마트 안경(100)은 디스플레이부 상에 영상을 캡쳐한 정지 영상 이미지를 획득할 수도 있으며, 이는 추후 착용자의 설정에 맞게 컨텐츠가 조절되는 과정에서 활용될 수 있다.
S142 단계를 통해 획득한 영상은, 스마트 안경(100)의 디스플레이부에 자막과 함께 표시된다(S144). 그에 따라, 스마트 안경(100)을 착용한 착용자는 원거리에서 상영하는 컨텐츠를 가까이에서 관람하는 것처럼 편안하게 감상할 수 있다.
또한, S144 단계 이후에, 스마트 안경(100)은 착용자로부터 디스플레이부 상에 표시되는 영상에 대한 크기, 배율, 위치 좌표 중 적어도 하나의 설정을 입력받고 영상을 조정할 수 있다.
이와 관련하여, 도 9를 참조하면, (a)와 같이, 원거리에 착석한 관람객이 스마트 안경(100)을 이용하여 컨텐츠를 관람하고자 하는 경우, 스마트 안경(100)의 디스플레이부에 (b)와 같은 영상(100a)이 출력될 수 있다.
그에 따라, 스마트 안경(100)는 착용자로부터 영상(100a)에 대한 크기, 배율, 위치 좌표 중 적어도 하나를 입력 받고, 입력 받은 정보를 영상(100a)에 반영시킬 수 있어, 착용자는 영상(100a)을 보다 편안하게 관람할 수 있다.
한편, 스마트 안경(100)이 착용자로부터 디스플레이부 상에 컨텐츠를 표시하지 않는 것으로 확인한 경우, 디스플레이부 상에 컨텐츠와 동기화된 자막을 표시한다(S141).
이와 같이, 스마트 안경(100)은 디스플레이부 상에 확대된 컨텐츠를 제공할 수 있으며, 이에 더하여 자막도 표시할 수 있어, 원거리에 착석한 관람객의 컨텐츠 관람 편의가 증대될 수 있다.
이하에서는, 앞서 언급한 방법을 수행할 수 있는 스마트 안경(100)의 구조에 대하여 구체적으로 설명하도록 한다.
도 10은 본 발명의 일 실시예에 따른 스마트 안경(100)의 사시도를 나타낸 도면이고, 도 11은 본 발명의 스마트 안경(100)의 개략적인 구성도를 나타낸 도면이다.
도 10 및 도 11을 참조하면, 본 발명의 일 실시예에 따른 스마트 안경(100)은 안경테 형태를 구비하는 프레임(110), 자막을 표시하는 디스플레이부(120), 컨텐츠 정보를 획득하는 카메라(130) 및 디스플레이부(120) 및 카메라(130)를 제어하는 제어부(140)를 포함한다. 보다 구체적으로, 프레임(110)은 안경테 형태를 이룸으로써 착용자가 간편하게 착용할 수 있도록 한다.
디스플레이부(120)는 프레임(110)에 의해 지지되며, 양안형 HMD 일 수 있다. 실시예에 따라, 디스플레이부(120)는 투시 정보 제공 방식에 의해 자막을 표시할 수 있다.
카메라(130)는 상영관 내 컨텐츠 정보를 획득하고, 획득한 컨텐츠 정보를 참조하여 자막 표시 영역을 설정할 수 있다.
제어부(140)는 디스플레이부(120) 및 카메라(130)를 제어하여 디스플레이부(120)를 통해 자막을 제공하도록 할 수 있다.
실시예에 따라, 제어부(140)는 착용자의 입력을 수신하여 표시되는 자막의 언어를 선택할 수 있다. 예를 들어, 스마트 안경(100)은 착용자의 음성을 인식하는 마이크(미도시)를 더 포함하고, 제어부(140)는 마이크(미도시)를 통해 음성을 인식하여, 착용자가 감상하고자 하는 영화 제목을 원하는 언어로 발음하면 이를 인식하여 해당 언어를 디스플레이부(120)에 표시될 언어로 선택할 수 있다.
한편, 제어부(140)는 카메라(130)로 획득한 컨텐츠 정보를 참조하여 스크린과 스마트 안경(100) 사이의 상대적인 거리를 계산하고, 계산된 상대 거리를 참조하여 스크린의 상영 영역과 자막의 최대 표시 영역을 매칭시킬 수 있다.
실시예에 따라, 제어부(140)는 자막의 최대 표시 영역 내에서 자막이 실제로 표시될 위치 좌표를 설정할 수 있으며, 자막이 실제로 표시될 위치 좌표에 디스플레이부(120)가 자막을 표시하도록 제어할 수 있다. 예를 들어, 제어부(140)는 자막이 실제로 표시될 위치 좌표를 자막이 스크린에 재생되는 컨텐츠를 방해하지 않도록 표시되는 위치 좌표나, 착용자의 시야에 스크린에 재생되는 컨텐츠와 자막이 한눈에 들어올 수 있는 위치 좌표로 설정할 수 있다.
또한, 제어부(140)는 착용자로부터 입력을 수신하여 자막이 실제로 표시될 위치 좌표를 설정할 수 있다. 예를 들어, 제어부(140)는 착용자로부터 입력을 수신하여 자막이 실제로 표시될 위치 좌표를 스크린을 기준으로 우측 하단으로 설정할 수 있다.
실시예에 따르면, 제어부(140)는 디스플레이부(120)에 표시된 자막과 스크린에 재생되는 컨텐츠를 동기화할 수 있다. 보다 구체적으로, 스마트 안경(100)은 통신부(160)를 더 포함할 수 있고, 제어부(140)는 통신부(160)를 통해 서버로부터 동기화 정보를 수신하여 자막과 컨텐츠를 동기화할 수 있다.
한편, 제어부(140)는 상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 인식하여 자막과 컨텐츠를 자동으로 동기화할 수 있다.
다른 한편, 스마트 안경(100)은 착용자로부터 입력을 수신하기 위한 물리적인 버튼인 조작부(150)를 포함할 수 있고, 제어부(140)는 착용자의 조작부(150) 입력 시간을 참조하여 자막과 컨텐츠를 동기화할 수 있다. 제어부(140)는 영화 시작 전 화면에 '동기화를 위해 버튼을 눌러주세요'라는 메시지를 띄운 후 카운트 다운을 시작하여 착용자의 조작부(150) 입력을 유도할 수 있다. 따라서, 제어부(140)는 착용자의 조작부(150) 입력 시간을 참조하여 컨텐츠와 자막을 동기화할 수 있다.
이상 도 1 내지 도 11을 참조하여 본 발명의 일 실시예에 따른 스마트 안경(100) 및 스마트 안경(100)을 이용하여 자막을 표시하는 방법에 대해 서술하였다.
본 발명의 따르면, 스마트 안경(100)이 착용자가 착석한 위치와 스크린 사이의 거리 및 스크린의 크기에 맞게, 디스플레이부(120)에 표시되는 자막의 최대 표시 영역을 조절함에 따라, 스크린에 재생되는 컨텐츠와 자막의 초점이 맞지 않아 착용자가 어지러움을 유발하는 것을 방지할 수 있다.
또한, 본 발명의 따르면, 착용자가 머리를 움직여 시야가 변경되는 경우에 스마트 안경(100)이 획득하는 컨텐츠 정보가 변경되고, 실제 자막이 표시될 영역의 좌표 또한 새로 계산되어, 착용자가 고개를 움직여도 이에 맞춰 자막을 표시할 수 있다.
한편, 본 발명의 일 실시예에 따른 스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법은 상영관 내 스크린을 예로 들어 설명하였으나, 이에 한정하지 않으며 컨텐츠가 표시되는 디스플레이 장치들 예로 들어 TV, 프로젝터 등에 모두 적용이 가능하다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 스마트 안경
110: 프레임
120: 디스플레이부
130: 카메라
140: 제어부
150: 조작부
160: 통신부

Claims (23)

  1. 스마트 안경을 이용하여 자막을 제공하는 방법에 있어서,
    언어 선택 입력을 수신하는 단계;
    상기 수신한 언어로 구성된 자막이 표시되는 자막 표시 영역을 설정하는 단계;
    상기 자막과 컨텐츠를 동기화하는 단계; 및
    상기 스마트 안경에 구비된 디스플레이부로 상기 컨텐츠 표시 여부를 확인하는 단계;를 포함하고,
    상기 컨텐츠 표시 여부를 확인하는 단계 이후에,
    상기 디스플레이부로 상기 컨텐츠를 표시하는 경우,
    상기 스마트 안경에 구비된 카메라를 이용하여 상기 컨텐츠가 상영되는 영역의 영상을 획득하는 단계; 및
    상기 획득한 영상을 상기 자막과 함께 상기 디스플레이부에 표시하는 단계;를 포함하되,
    상기 디스플레이부로 상기 컨텐츠를 표시하지 않는 경우,
    상기 디스플레이부로 상기 컨텐츠와 동기화된 자막을 표시하는 단계;
    를 더 포함하는,
    스마트 안경을 이용하여 자막을 제공하는 방법.
  2. 제1항에 있어서,
    상기 자막 표시 영역을 설정하는 단계는,
    상기 컨텐츠가 재생되는 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시키는 단계;
    상기 자막의 최대 표시 영역 내에서 상기 자막이 실제로 표시될 위치 좌표를 설정하는 단계; 및
    상기 설정된 위치 좌표에 자막을 표시하는 단계; 를 포함하는,
    스마트 안경을 이용하여 자막을 제공하는 방법.
  3. 제2항에 있어서,
    상기 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 출력 영역을 매칭시키는 단계는,
    상기 스마트 안경에 포함된 카메라로 획득한 컨텐츠를 참조하여 스크린과 스마트 안경 사이의 상대적인 거리를 추출하고, 상기 추출된 상대적인 거리를 반영하여 상기 자막의 최대 출력 영역을 매칭시키는,
    스마트 안경을 이용하여 자막을 제공하는 방법.
  4. 제2항에 있어서,
    상기 자막이 실제로 표시될 위치는,
    상기 디스플레이 장치의 컨텐츠 표시 영역의 하단 또는 착용자로부터 입력을 수신한 위치 중 하나인,
    스마트 안경을 이용하여 자막을 제공하는 방법.
  5. 제1항에 있어서,
    상기 자막을 컨텐츠와 동기화하는 단계는,
    서버로부터 동기화 정보를 수신하여 동기화하는 단계인,
    스마트 안경을 이용하여 자막을 제공하는 방법.
  6. 제1항에 있어서,
    상기 자막을 컨텐츠와 동기화하는 단계는,
    상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 인식하여 동기화하는 단계인,
    스마트 안경을 이용하여 자막을 제공하는 방법.
  7. 제1항에 있어서,
    상기 자막을 동기화하는 단계는,
    상기 스마트 안경에 포함된 조작부를 통해 입력된 사용자 입력을 참조하여 동기화하는 단계인,
    스마트 안경을 이용하여 자막을 제공하는 방법.
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 디스플레이부에 표시하는 단계 이후에,
    상기 표시하는 영상에 대한 크기, 배율, 위치 좌표 중 적어도 하나의 설정을 입력 받고 상기 영상을 조정하는 단계;
    를 더 포함하는 스마트 안경을 이용하여 자막을 제공하는 방법.
  11. 삭제
  12. 자막을 표시하는 스마트 안경에 있어서,
    안경 형태의 프레임;
    상기 자막을 출력하는 디스플레이부;
    컨텐츠 정보를 획득하는 카메라; 및
    상기 디스플레이부 및 상기 카메라를 제어하는 제어부; 를 포함하고
    상기 제어부는,
    상기 디스플레이부의 상기 컨텐츠의 표시 여부를 확인하고,
    상기 디스플레이부가 상기 컨텐츠를 표시하는 경우,
    상기 카메라가, 상기 컨텐츠가 상영되는 영역의 영상을 획득하고,
    상기 제어부가, 상기 획득한 영상을 상기 자막과 함께 상기 디스플레이부에 표시하되,
    상기 디스플레이부가 상기 컨텐츠를 표시하지 않는 경우,
    상기 제어부가, 상기 컨텐츠와 동기화된 자막을 상기 디스플레이부에 표시하는, 스마트 안경.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 컨텐츠가 재생되는 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시키는, 스마트 안경.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 자막의 최대 표시 영역 내에서 상기 자막이 실제로 표시될 위치 좌표를 설정하는, 스마트 안경.
  15. 제14항에 있어서,
    상기 제어부는,
    서버로부터 동기화 정보를 수신하여 상기 자막과 컨텐츠를 동기화시키는, 스마트 안경.
  16. 제12항에 있어서,
    상기 스마트 안경은,
    사용자로부터 입력을 수신하기 위한 조작부; 를 더 포함하는, 스마트 안경.
  17. 제16항에 있어서,
    상기 제어부는,
    상기 조작부로부터 입력을 수신하여 상기 컨텐츠와 자막을 동기화시키는, 스마트 안경.
  18. 삭제
  19. 삭제
  20. 제12항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 표시하는 영상에 대한 크기, 배율, 위치 좌표 중 적어도 하나의 설정을 입력 받아 상기 영상 표시를 제어하는,
    스마트 안경.
  21. 삭제
  22. 제12항에 있어서,
    상기 제어부는,
    상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 인식하여 상기 컨텐츠와 자막을 동기화시키는, 스마트 안경.
  23. 제12항에 있어서,
    상기 스마트 안경은,
    착용자의 음성을 인식하는 마이크; 를 더 포함하는, 스마트 안경.
KR1020180110722A 2018-06-22 2018-09-17 스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법 KR102071882B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/006931 WO2019245205A1 (en) 2018-06-22 2019-06-10 Smart glasses and method of providing subtitles using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180071869 2018-06-22
KR1020180071869 2018-06-22

Publications (2)

Publication Number Publication Date
KR20200000314A KR20200000314A (ko) 2020-01-02
KR102071882B1 true KR102071882B1 (ko) 2020-02-03

Family

ID=69155352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180110722A KR102071882B1 (ko) 2018-06-22 2018-09-17 스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법

Country Status (1)

Country Link
KR (1) KR102071882B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102316459B1 (ko) * 2020-12-02 2021-10-25 주식회사 피앤씨솔루션 공연장 자막 제공용 무선 증강현실 글라스 장치
CN112543340B (zh) * 2020-12-30 2023-01-13 超幻人像科技(杭州)有限公司 一种基于增强现实的戏剧观看方法和装置
KR102489050B1 (ko) * 2021-11-05 2023-01-17 한국과학기술연구원 관람 위치에 따른 ar 영상 내 자막 표시 위치 조정 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004172864A (ja) * 2002-11-19 2004-06-17 Sanyo Electric Co Ltd 字幕表示制御装置
JP2012163853A (ja) * 2011-02-08 2012-08-30 Ns Solutions Corp 表示装置、情報提供システム、情報提供方法、及びプログラム
JP2015073182A (ja) * 2013-10-02 2015-04-16 株式会社電通 コンテンツ同期システム、イベント演出システム、同期装置、ならびに記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101741519B1 (ko) 2010-09-30 2017-06-01 삼성전자주식회사 3ｄ 안경 및 그의 제어 방법
KR20130088663A (ko) * 2012-01-31 2013-08-08 삼성전자주식회사 디스플레이 장치, 안경 장치 및 그 제어 방법
KR101354927B1 (ko) * 2012-05-30 2014-01-27 에이알비전 (주) 청각장애인을 위한 머리 착용형 디스플레이장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004172864A (ja) * 2002-11-19 2004-06-17 Sanyo Electric Co Ltd 字幕表示制御装置
JP2012163853A (ja) * 2011-02-08 2012-08-30 Ns Solutions Corp 表示装置、情報提供システム、情報提供方法、及びプログラム
JP2015073182A (ja) * 2013-10-02 2015-04-16 株式会社電通 コンテンツ同期システム、イベント演出システム、同期装置、ならびに記録媒体

Also Published As

Publication number Publication date
KR20200000314A (ko) 2020-01-02

Similar Documents

Publication Publication Date Title
KR102071882B1 (ko) 스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법
CN104252045B (zh) 立体观像器以及带4g通信系统的个人立体影院装置
JP5715842B2 (ja) 情報提供システム、情報提供方法、及びプログラム
US20160344999A1 (en) SYSTEMS AND METHODs FOR PRODUCING PANORAMIC AND STEREOSCOPIC VIDEOS
US20120154547A1 (en) Imaging device, control method thereof, and program
JP5320524B1 (ja) ステレオ撮影装置
US8023005B2 (en) Image recording apparatus and image recording method
CN105993172A (zh) 克服用户损伤的媒体内容的操纵
CN102438157B (zh) 图像处理装置和方法
EP3080986A1 (en) Systems and methods for producing panoramic and stereoscopic videos
WO2011135857A1 (ja) 画像変換装置
WO2015192547A1 (zh) 一种基于移动终端的三维照片拍摄方法及移动终端
CN102480630A (zh) 信息处理设备、信息处理方法和程序
JP6278490B2 (ja) 表示システム、アタッチメント、表示方法、ならびに、プログラム
CN102480631B (zh) 信息处理设备、信息处理方法和程序
JP4134163B2 (ja) 表示装置、表示制御装置、表示方法、表示プログラム、および記録媒体
JPH11164329A (ja) 立体映像表示装置
JP2006086717A (ja) 画像表示システム、画像再生装置及びレイアウト制御装置
CN103959765A (zh) 用于立体地观看动态图像的系统
JP2002044683A (ja) 立体画像用ビデオカメラおよび立体画像再生装置
CN101124508A (zh) 用于管理立体观看的系统和方法
JP5704885B2 (ja) 撮影機器、撮影方法及び撮影制御プログラム
KR20190081447A (ko) 스트리밍 글래스를 이용한 다국어 자막 및 사운드 제공 시스템
KR20230045271A (ko) 상영관 및 강당에서의 다국어 동시 무선 지원 시스템 및 휴대용 구현 기기
JP5050094B2 (ja) 映像処理装置及び映像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right