KR20230045271A - 상영관 및 강당에서의 다국어 동시 무선 지원 시스템 및 휴대용 구현 기기 - Google Patents

Abstract

본 발명에 의한 스마트 안경을 이용하여 자막을 제공하는 방법은 언어 선택 입력을 수신하는 단계, 상기 자막이 표시되는 자막 표시 영역을 설정하는 단계 및 상기 자막을 컨텐츠와 동기화하는 단계를 포함할 수 있다.
본 발명에 의하면, 스마트 안경을 이용하여 관람객이 사용하는 언어에 따른 제약 없이 컨텐츠를 감상할 수 있으며, 단일 상영관에서 다양한 언어를 사용하는 사람들이 컨텐츠를 즐길 수 있으므로 상영관의 효율을 개선시킬 수 있다는 효과가 있을 뿐만 아니라, 스마트 안경에 표시되는 자막 또는 영상이 최적의 크기로 최적의 위치에 제공 되어 관람객의 컨텐츠 집중도를 향상시킬 수 있다는 효과가 있다.

Description

상영관 및 강당에서의 다국어 동시 무선 지원 시스템 및 휴대용 구현 기기{Multilingual simultaneous wireless support systems and portable implementation devices in theaters and auditoriums}

본 발명은 스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법에 관한 것이다. 보다 자세하게는, 스크린에 재생되는 컨텐츠에 대응되어 다양한 언어의 자막을 최적의 위치에 제공하는 스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법에 관한 것이다.

또한, 본 발명은 시청자의 주 사용 언어와 상관없이 언어의 장벽을 넘어서서 동일한 공간과 장소에서 원활한 문화 생활을 함께 영위하기 위하여 영상 또는 행사의 내용이 다국어의 자막 또는 음성의 형태로 제공되어야 하는 상황에서 다른 사람에게 불편함을 제공하지 않고 이를 필요로 하는 시청자에 한하여 별도의 구현 기기를 통해 자막 및 음성 정보를 무선으로 전달, 구현하는 기술 및 기기에 관한 것으로서, 더욱 상세하게는 다국어 자막 및 음성 정보를 송출하는 다국어 정보 송출 서버, 영상과 다국어 자막 정보 및 음성 정보 신호의 연동과 동기화, 자막 정보 및 음성 정보의 무선 송수신, 투명 디스플레이 혹은 투명 디스플레이를 장착한 안경과 골전도 방식을 포함하는 다양한 방식의 헤드폰, 이어폰 또는 블루투스로 통신하는 헤드폰, 이어폰 혹은 안경에 탑재된 스피커를 통한 자막 정보 및 음성 정보의 구현과 이를 구현하는 휴대용 수신 기기에 관한 것이다.

오늘날 많은 사람들은 디스플레이 장치를 통해 다양한 컨텐츠를 감상하며 여가 생활을 즐긴다. 예를 들어, 사람들은 여가 생활을 위해 상영관을 자주 찾으며, 국내 영화관에서 개봉되는 영화 중 다양한 국가의 외국어로 제작된 영화는 화면 및 음성 신호에 동기화된 영어 또는 한글 자막을 스크린 상에 현시하여 상영되고 있다.

그러나, 다양한 언어를 사용하는 사람들에게 컨텐츠를 제공하는 데 있어서, 서로 다른 언어로 더빙 또는 자막이 제공되는 컨텐츠를 모두 제공하기에는 효율적이지 못한 문제점이 있다.

한편, 사용자는 다양한 장치를 통해 컨텐츠를 감상할 수 있으며, 그 중 스마트 안경을 이용하여 컨텐츠를 감상하는 경우, 디스플레이 장치에 표시되는 컨텐츠와 초점이 맞지 않아 사용자에게 어지럼증을 유발하는 문제가 발생한다.

본 발명은 이와 같은 문제점에 착안하여 도출된 것으로, 이상에서 살핀 기술적 문제점을 해소시킬 수 있음은 물론, 본 기술분야에서 통상의 지식을 가진 자가 용이하게 발명할 수 없는 추가적인 기술요소들을 제공하기 위해 발명되었다.

또한, 국내에 수많은 외국인 체류자와 다문화 가정이 존재하며 이들이 한국 사회에서 한국인들과 함께 사회 생활을 영위하는 과정에서 언어의 장벽으로 인해 함께 문화생활을 즐기지 못하는 경우가 대부분이며 다특히 다문화 가정의 경우 가족들이 함께 영화를 관람하는 등 최소한의 문화생활도 함께 하기 어려운 현실적인 문제가 있다. 이러한 문제점을 극복하고자 강당, 극장과 같이 대형 단일 장소에서 다수가 영상 또느느 행사 등을 관람하는 경우, 언어의 장벽으로인해 다른 언어로 제공되는 자믹 및 음성 정보가 필요한 시청자에게 한정적으로 해당 정보를 전달하는 수단이 요구되고 있으며 이에 사용 언어와 상관없이 동일 공간과 장소에서 함께 문화 생활을 영위할 수 있는 다국어 지원 시스템이 필요하게 되었다.

따라서, 본 발명은 서두에 기술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 ⅰ)다른 사람에게 불편함을 주지 않고 타 언어의 지원이 필요한 사람에게 선택적으로 노출하게 하는 다국어 자막 정보 지원 시스템과 ⅱ) 다른 언어로 제공되는 음성 정보가 필요한 사람에게 선택적으로 전달되게 하는 다국어 음성 정보 지원 시스템으로 ⅲ) 화면 영상과 자막 및 음성 정보를 송출하는 서버간 통신이 가능하고 ⅳ) 자막 및 음성 정보를 수신하는 수신기는 휴대가 가능한 무선의 형태로 구현되며, 자막의 경우 ⅴ) 투명 디스플레이에 자막이 구현되거나 투명 디스플레이를 탑재한 안경을 통해 자막이 구현되어 화면 영상과 자막을 동시에 시청할 수 있도록 하며, 음성 정보의 경우 ⅵ) 화면 영상의 사운드와 다국어 음성 정보를 통합한 음향 또는 음성 정보만을 화면의 영상 사운드와 분리하여 전송하고 ⅶ) 헤드폰 또는 이어폰을 통해 독립적으로 음량 조절이 가능하도록 하여 청취할 수 있도록 구현한 다국어 자막 및 음성 정보의 무선 송수신과 휴대용 구현 시스템을 제공하는 것이다.

본 해결 과제에서는 일반적으로 다국어 자막 정보와 음성 정보 중 한가지를 지원하는 것으로 하나 상영 장소의 환경과 상황에 따라 두가지 정보 모두를 통합하거나 각각을 분리하여 별도로 송출, 구현 할 수 있다.

또한, 본 발명이 해결하고자 하는 기술적 과제는 컨텐츠와 동기화하여 다양한 언어의 자막을 제공하는 스마트 안경 및 스마트 안경을 이용하여 다양한 언어의 자막을 표시하는 방법을 제공하는 것이다.

구체적으로 본 발명이 해결하고자 하는 기술적 과제는 다양한 언어의 자막을 최적의 크기로 최적의 위치에 제공하는 스마트 안경 및 스마트 안경을 이용하여 자막을 표시하는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 기술적 과제는 디스플레이 장치에 재생되는 컨텐츠와 자막의 초점이 맞지 않아 착용자가 어지러움을 유발하는 것을 방지하는 스마트 안경 및 스마트 안경을 이용하여 자막을 표시하는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는 콘텐츠가 상영되는 공간에서 멀리 떨어진 관람객에게, 확대된 컨텐츠를 제공할 수 있는 스마트 안경 및 스마트 안경을 이용하여 컨텐츠 및 자막을 표시하는 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 스마트 안경을 이용하여 자막을 제공하는 방법은 언어 선택 입력을 수신하는 단계, 상기 수신한 언어로 구성된 자막이 표시되는 자막 표시 영역을 설정하는 단계 및 상기 자막과 컨텐츠를 동기화 하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 자막 표시 영역을 설정하는 단계는 상기 컨텐츠가 재생되 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시키는 단계, 상기 자막의 최대 표시 영역 내에서 상기 자막이 실제로 표시될 위치 좌표를 설정하는 단계 및 상기 설정된 위치 좌표에 자막을 표시하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 출력 영역을 매칭시키는 단계는 상기 스마트 안경에 포함된 카메라로 획득한 컨텐츠를 참조하여 상기 스크린과 스마트 안경 사이의 상대적인 거리를 추출하고, 상기 추출된 상대적인 거리를 반영하여 상기 자막의 최대 출력 영역을 매칭시킬 수 있다.

일 실시예에 따르면, 상기 자막이 실제로 표시될 위치는 상기 디스플레이 장치의 컨텐츠 표시 영역의 하단 또는 착용자로부터 입력을 수신한 위치 중 하나일 수 있다.

일 실시예에 따르면, 상기 자막을 컨텐츠와 동기화하는 단계는 서버로부터 동기화 정보를 수신하여 동기화하는 단계일 수 있다.

일 실시예에 따르면, 상기 자막을 컨텐츠와 동기화하는 단계는 상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 인식하여 동기화하는 단계일 수 있다.

일 실시예에 따르면, 상기 자막을 동기화하는 단계는 상기 스마트 안경에 포함된 조작부를 통해 입력된 사용자 입력을 참조하여 동기화하는 단계일 수 있다.

일 실시예에 따르면, 상기 자막과 컨텐츠를 동기화하는 단계 이후에, 상기 스마트 안경에 구비된 디스플레이부로 상기 컨텐츠 표시 여부를 확인하는 단계를 더 포함할 수 있다.

일 실시예에 따르면, 상기 컨텐츠 표시 여부를 확인하는 단계 이후에, 상기 디스플레이부로 상기 컨텐츠를 표시하는 경우, 상기 스마트 안경에 구비된 카메라를 이용하여 상기 컨텐츠가 상영되는 영역의 영상을 획득하는 단계 및 상기 획득한 영상을 상기 자막과 함께 상기 디스플레이부에 표시하는 단계를 더 포함할 수 있다.

일 실시예에 따르면, 상기 디스플레이부에 표시하는 단계 이후에, 상기 표시하는 영상에 대한 크기, 배율, 위치 좌표 중 적어도 하나의 설정을 입력 받고 상기 영상을 조정하는 단계를 더 포함할 수 있다.

일 실시예에 따르면, 상기 컨텐츠 표시 여부를 확인하는 단계 이후에, 상기 디스플레이부로 상기 컨텐츠를 표시하지 않는 경우, 상기 디스플레이부로 상기 컨텐츠와 동기화된 자막을 표시하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 스마트 안경은 안경 형태의 프레임, 상기 자막을 출력하는 디스플레이부, 컨텐츠 정보를 획득하는 카메라 및 상기 디스플레이부 및 상기 카메라를 제어하는 제어부를 포함할 수 있다.

일 실시예에 따르면, 상기 제어부는 상기 컨텐츠가 재생되는 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시킬 수 있다.

일 실시예에 따르면, 상기 제어부는 서버로부터 동기화 정보를 수신하여 상기 자막과 컨텐츠를 동기화시킬 수 있다.

일 실시예에 따르면, 상기 제어부는 상기 자막의 최대 표시 영역 내에서 상기 자막이 실제로 표시될 위치 좌표를 설정할 수 있다.

일 실시예에 따르면, 상기 스마트 안경은 사용자로부터 입력을 수신하기 위한 조작부를 더 포함할 수 있다.

일 실시예에 따르면, 상기 제어부는 상기 조작부로부터 입력을 수신하여 상기 컨텐츠와 자막을 동기화시킬 수 있다.

일 실시예에 따르면, 상기 제어부는 상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 인식하여 상기 컨텐츠와 자막을 동기화시킬 수 있다.

일 실시예에 따르면, 상기 제어부가, 상기 디스플레이부의 상기 컨텐츠의 표시 여부를 확인할 수 있다.

일 실시예에 따르면, 상기 디스플레이부가 상기 컨텐츠를 표시하는 경우, 상기 카메라가, 상기 컨텐츠가 상영되는 영역의 영상을 획득하고, 상기 제어부가, 상기 획득한 영상을 상기 자막과 함께 상기 디스플레이부에 표시할 수 있다.

일 실시예에 따르면, 상기 제어부는, 상기 디스플레이부에 표시하는 영상에 대한 크기, 배율, 위치 좌표 중 적어도 하나의 설정을 입력 받아 상기 영상 표시를 제어할 수 있다.

일 실시예에 따르면, 상기 제어부는, 상기 디스플레이부에 표시하는 영상에 대한 크기, 배율, 위치 좌표 중 적어도 하나의 설정을 입력 받아 상기 영상 표시를 제어할 수 있다.

일 실시예에 따르면, 상기 스마트 안경은 착용자의 음성을 인식하는 마이크를 더 포함할 수 있다.

본 발명에 의하면, 관람객이 사용하는 언어에 따른 제약 없이 컨텐츠를 즐길 수 있으므로 관람객의 관람 편의성을 증대시키고, 상영관의 이용 효율을 개선시킬 수 있다는 효과가 있다.

본 발명에 의하면, 스마트 안경에 표시되는 자막이 최적의 크기로 최적의 위치에 제공되어 관람객의 컨텐츠 집중도를 향상시킬 수 있다는 효과가 있다.

본 발명에 의하면, 스크린에 재생되는 컨텐츠와 자막의 초점이 맞지 않아 착용자가 어지러움을 유발하는 것을 방지할 수 있다는 효과가 있다.

본 발명에 의하면, 원거리에 착석한 관람객이 스마트 안경을 이용하여 컨텐츠 및 자막을 보다 가까이서 관람할 수 있다는 효과가 있다.

본 발명에 의하면, 무선을 이용한 다국어 자막 및 음성 정보 송수신 기술을 통해 언어 장벽으로 인해 문화 생활에 어려움을 겪는 사용자가 언어적 어려움이 없는 다른 사용자와 함께 문화 생활을 영위하게 할 수 있도록 지원함으로써 국내 체류중인 외국인은 물론 결혼 이민자가 적극적으로 사회문화적 활동의 기회를 넓혀주는 데 도움을 줄 수 있다. 특히 상영되는 화면 영상과 다국어 자막 및 음성 정보를 유연하게 동기화하여 만약의 장애 상황에도 빠르게 조치할 수 있으며, 무선 수신기 혹은 투명 디스플레이를 탑재한 안경을 통해 다국어 정보를 수신하여 휴대성 및 이동성을 강화함은 물론 범용의 AUX 음성 출력 단자 또는 블루투스를 활용한 헤드폰 및 이어폰의 무선 연결을 적용하여 사용자가 사용하는 헤드폰 또는 이어폰을 사용할 수 있게 함으로써 사용편의성을 증대하였다. 다국어 자막 및 언어 정보를 필요로 하는 사용자에게 선택적으로 해당 정보가 전달되는 특성으로 인해 하나의 화면을 다수가 관람하는 강당 및 상영관에서 필요로 하는 사람들을 대상으로 탄력적으로 운영할 수 있으며 다른 사용자에게 전달되는 불편함이 없어 언어의 차이에 따른 갈등없이 모두 동일한 문화 활동을 즐기게 해주는 효과가 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 스마트 안경을 이용하여 자막을 제공하는 방법의 핵심적인 순서를 나타낸 순서도이다.
도 2는 도 1의 S120 단계를 구체화한 도면이다.
도 3은 본 발명의 일 실시예에 따른 스마트 안경과 스크린 사이의 좌표를 매칭시키기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 자막의 최대 표시 영역의 예시를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 자막이 실제로 스마트 안경에 표시될 위치 좌표의 예시를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 자막이 스크린의 상영 영역을 제외한 자막의 최대 표시 영역 내에서 자막이 실제로 스마트 안경에 표시될 위치 좌표의 예시를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 자막이 실제로 스마트 안경에 표시될 위치 좌표의 또 다른 예시를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 스마트 안경에 컨텐츠를 표시하는 방법의 흐름을 나타낸 순서도이다.
도 9는 본 발명의 일 실시예에 따른 스마트 안경에 표시되는 컨텐츠 이미지를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 스마트 안경의 사시도를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 스마트 안경의 개략적인 구성도를 나타낸 도면이다.

이하에서 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.

도 1은 본 발명의 일 실시예에 따른 스마트 안경(100)을 이용하여 자막을 제공하는 방법의 핵심적인 순서를 나타낸 순서도이며, 이는 본 발명의 목적을 달성함에 있어 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있다.

먼저, 도 1을 참조하면, 스마트 안경(100)은 언어 선택 입력을 수신한다(S110). 보다 구체적으로, 스마트 안경(100)은 착용자로부터 스마트 안경(100)에 표시될 언어 선택 입력을 수신할 수 있다. 예를 들어, 스마트 안경 (100)은 음성 인식이 가능하고, 착용자가 감상하고자 하는 컨텐츠(예. 영화 제목)을 원하는 언어로 발음하면 이를 인식하여 해당 언어를 스마트 안경(100)에 표시될 언어로 설정할 수 있다.

S110 단계 이후에, 스마트 안경(100)은 수신한 언어로 구성된 자막이 표시되는 자막 표시 영역을 설정한다(S120). 보다 구체적으로, 스마트 안경(100)은 디스플레이 장치의 컨텐츠 표시 영역과 대응하여 자막이 표시되는 자막 표시 영역을 설정할 수 있다. 여기서, 자막 표시 영역은 디스플레이 장치의 컨텐츠 표시 영역의 하단 또는 착용자가 요청한 영역 중 하나일 수 있으나 이에 반드시 한정하지는 않는다.

여기서, 디스플레이 장치의 컨텐츠가 표시되는 영역은 디스플레이 장치에서 실제로 컨텐츠가 표시되는 영역을 의미한다.

한편, 스마트 안경(100)은 자막 표시 영역을 설정하기 위해 보다 세부적인 단계를 수행할 수 있으며, 이하에서 설명하는 디스플레이 장치의 컨텐츠 표시 영역은 상영관의 스크린이며, 컨텐츠는 스크린에 상영 가능한 상영물인 것으로 가정하여 설명하도록 한다.

도 2는 도 1의 S120 단계를 구체화한 도면으로서, 도 2를 참조하면, 스마트 안경(100)은 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시킨다(S122). 보다 구체적으로, 스마트 안경(100)은 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시켜 자막이 스크린의 상영 영역을 벗어나거나 착용자의 시야를 벗어나지 않도록 한다.

즉, 스마트 안경(100)은 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시키기 위해, 스마트 안경(100)에 구비된 카메라로 획득한 컨텐츠를 참조하여 1)스크린의 크기 및 2)스크린과 스마트 안경(100) 사이의 상대적인 거리를 추출하고, 추출한 상대적인 거리를 이용하여 자막의 최대 표시 영역을 획득하고, 이를 스크린에 매칭시킬수 있다. (이하, 스마트 안경(100)이 포함하는 카메라는 편의상 '카메라'로 서술한다.)

예를 들어, 스마트 안경(100)은 스크린의 월드 좌표 및 카메라의 월드 좌표를 참조하여 2)스크린과 카메라 사이의 상대적인 거리를 추출할 수 있다.

이는 스마트 안경(100)이 카메라에 대한 내부 파라미터 및 렌즈의 왜곡 계수를 저장하고 있고, 스크린에 대한 최소 4개 이상의 3D 월드 좌표 및 이에 대응되는 2D 컨텐츠 좌표 쌍을 알고 있다는 전제 하에 수행되는 것으로, 스마트 안경(100)은 카메라로 스크린에 대한 컨텐츠 정보를 획득하여 스크린 꼭지점들에 대한 컨텐츠 좌표를 구할 수 있다.

여기서, 카메라의 내부 파라미터는 초점거리, 주점, 비대칭 계수가 있으며, 초점거리는 렌즈 중심과 이미지 센서(CCD, CMOS)와의 거리이고, 주점은 카메라의 중심이고, 비대칭 계수는 이미지 센서의 cell array의 y축이 기울어진 정도를 나타낸다. 또한, 렌즈의 왜곡 계수는 렌즈의 굴절률을 나타낸다. 이러한 카메라의 내부 파라미터 및 렌즈의 왜곡 계수는 컨텐츠 정보를 획득하는 카메라의 사양을 통해 파악할 수 있다.

이와 관련하여, 도 3은 본 발명의 일 실시예에 따른 스마트 안경과 스크린 사이의 좌표를 매칭시키기 위한 도면으로서, 도 3의 (a)를 참조하면, 스크린에 대한 월드 좌표는 스크린의 왼쪽 하단 모서리가 (0,0,0)이며, 각 꼭지점의 좌표는 스크린의 길이(X) 및 높이(Y)를 포함하는 넓이를 이용하여 설정될 수 있다. 이 때 Z축은 0으로 고정될 수 있다. 예를 들어, 스크린의 월드 좌표는 P1(0,0,0), P2(X, 0, 0), P3(X, Y, 0), P4(0, Y, 0) 일 수 있다.

또한, 스마트 안경(100)은 Open CV library의 solve PnP 함수를 사용하여 회전 변환 행렬과 평행 이동 행렬을 구한 후, 해당 행렬을 이용하여 카메라의 3차원 월드 좌표를 얻을 수 있다.

도 3의 (b)를 참조하면, 스마트 안경(100)은 스크린의 월드 좌표와 카메라의 월드 좌표를 추출한 후, 스크린의 좌우측 모서리(edge)를 2등분한 중간점(Y/2)으로부터 카메라까지의 상대 거리(L)를 계산할 수 있다.

보다 구체적으로, 상대 거리(L)에 따라 스마트 안경(100)을 착용한 착용자가 실제로 보게 되는 스크린 내 상영영역의 비율이 다르기 때문에, 스마트 안경(100)은 상대 거리(L)를 추출하여, 컨텐츠 표시 영역과 자막의 최대표시 영역 매칭 시 이를 반영할 수 있다.

도 4는 본 발명의 일 실시예에 따른 자막의 최대 표시 영역의 예시들을 나타낸 도면으로서, 도 4의 (a)에 도시된 바와 같이, 스마트 안경(100)은 앞서 서술한, 1)스크린의 크기 및 2)스마트 안경(100)의 카메라와 스크린의 상대적인 거리를 추출한 후, 이를 참조하여 컨텐츠가 재생되는 스크린의 상영 영역과 자막의 최대 표시 영역을 매칭시킬 수 있다. 예를 들어, 점선으로 표시된 자막의 최대 표시 영역(A)은 착용자의 시야 내에 컨텐츠와 자막이 들어올 수 있도록 실선으로 표시된 스크린의 상영 영역(S)과 동일할 수 있으나 이에 반드시 한정하지는 않는다.

도 4의 (b)에 도시된 바와 같이, 스마트 안경(100)은 스크린의 상영 영역(S)보다 위아래로 일정한 간격을 갖는 자막의 최대 표시 영역(A)을 매칭시킬 수 있다.

즉, 스마트 안경(100)은 스크린에 상영되는 컨텐츠에 자막이 삽입된 경우, 컨텐츠와 자막이 겹치는 상황을 방지하여, 관람객의 컨텐츠의 몰입감을 향상시킬 수 있다.

다시 도 2를 참조하면, S122 단계 이후에, 스마트 안경(100)은 디스플레이 장치의 컨텐츠 표시 영역(S)과 매칭시킨 자막의 최대 표시 영역(A) 내에서 자막이 실제로 표시될 위치 좌표를 설정한다(S124). 보다 구체적으로, 스마트 안경(100)은 스크린의 월드 좌표를 카메라가 기준인 카메라 좌표로 변환하여 자막이 실제로 표시될 위치 좌표를 설정할 수 있다.

즉, 스마트 안경(100)은 스크린의 월드 좌표계의 좌표 (X, Y, Z)를 카메라 좌표계의 좌표 (Xc, Yc, Zc)로 변환할 수 있다.

여기서, 월드 좌표계는 스크린과 수직한 지면이 XY 평면, 스크린과 평행한 위쪽이 Z축이고, 카메라 좌표계는 카메라의 초점을 원점으로, 카메라 광학축 방향이 Zc축, 오른쪽이 Xc축, 아래쪽이 Yc축 일 수 있으며, 월드 좌표계와 카메라 좌표계의 단위는 동일함을 전제로 한다.

또한, 좌표축 변환관계는 일련의 회전 변환 행렬을 조합하거나, 단위 벡터를 이용하여 직접 변환행렬을 구할 수있다.

예를 들어, 일련의 회전 변환 행렬을 조합하여 월드 좌표계의 축을 카메라 좌표축으로 변환 시, 월드 좌표계에서 카메라 초점(카메라 좌표계의 원점)의 좌표를 (Fx, Fy, Fz), 월드 좌표계의 좌표축을 카메라 좌표축으로 회전시키는 행렬을 R이라고 한다면, 월드 좌표계의 점 (X, Y, Z)를 카메라 좌표계로 봤을 때의 좌표 (Xc, Yc, Zc)가 아래와 같은 [수학식 1]로 구해질 수 있다.

[수학식 1]

회전 변환 행렬의 경우,

즉

가 성립하므로 위 식은 아래와 같은 [수학식 2]로 변환될 수 있다.

[수학식 2]

한편, 월드 좌표축을 카메라 좌표축 방향과 일치되도록 하는 회전 변환 행렬을 R은 다음과 같이 구할 수 있다.

[수학식 3]

따라서, 월드 좌표축을 카메라 좌표축으로 변환시키는 변환식은 다음과 같다.

[수학식 4]

여기서, 좌표축 변환은 일반적인 변환과정을 역으로 적용하며, [수학식 2]에서 회전변환은

을 만족하기 때문에

로 구할 수 있다. 즉, [수학식 2]는 다음과 같이 변환될 수 있다.

[수학식 5]

이러한 변환 행렬을 바탕으로, 스마트 안경(100)은 스크린의 월드 좌표축을 카페라 좌표축으로 변환하여, 자막이 실제로 표시될 위치의 좌표를 설정할 수 있다.

도 5는 본 발명의 일 실시예에 따른 자막이 실제로 스마트 안경(100)에 표시될 위치 좌표의 예시를 나타낸 도면이고, 도 6은 본 발명의 일 실시예에 따른 자막이 스크린의 상영 영역을 제외한 자막의 최대 표시 영역 내에서 자막이 실제로 스마트 안경(100)에 표시될 위치 좌표의 예시를 나타낸 도면이다.

도 5에 도시된 바와 같이, 스마트 안경(100)은 자막이 실제로 표시될 위치 좌표를 자막의 최대 표시 영역 내에서 스크린의 상영 영역의 하단으로 설정할 수 있다. 예를 들어, 자막이 실제로 표시될 위치 좌표는 Pc1(Xc1, Yc1,Zc1), Pc2(Xc2, Yc2, Zc2), Pc3(Xc3, Yc3, Zc3), Pc4(Xc4, Yc4, Zc4)일 수 있다.

이와 같이, 스마트 안경(100)은 자막이 실제로 표시될 위치 좌표를 스크린의 상영 영역의 하단으로 설정하여, 자막에 의해 컨텐츠가 가려지는 것을 최소화할 수 있다.

또한, 도 6에 도시된 바와 같이, 자막의 최대 표시 영역이 스크린의 상영 영역보다 위아래로 일정한 간격을 갖는 경우에 스마트 안경(100)은 자막이 실제로 표시될 위치 좌표를 스크린의 상영 영역을 제외한 자막의 최대 표시 영역의 상단 또는 하단으로 설정할 수 있다. 예를 들어, 자막이 실제로 표시될 위치 좌표는 Pc1(Xc1, Yc1,Zc1), Pc2(Xc2, Yc2, Zc2), Pc3(Xc3, Yc3, Zc3), Pc4(Xc4, Yc4, Zc4)일 수 있다.

이와 같이, 스마트 안경(100)은 자막이 실제로 표시될 위치 좌표를 스크린의 상영 영역을 제외한 자막의 최대표시 영역의 상단 또는 하단으로 설정하여, 본래의 컨텐츠가 자막이 삽입된 컨텐츠의 경우에 자막끼리 겹치는 경우를 방지하고, 관람객의 화면 몰입감을 향상시킬 수 있다.

한편, 스마트 안경(100)은 착용자로부터 입력을 수신하여 자막이 실제로 표시될 위치 좌표를 설정할 수 있다.

도 7은 본 발명의 일 실시예에 따른 자막이 실제로 표시될 위치 좌표의 또 다른 예시를 나타낸 도면으로서, 도7에 도시된 바와 같이, 스마트 안경(100)은 착용자로부터 입력을 수신하여, 자막의 최대 표시 영역 내에서 자막이 실제로 표시될 위치 좌표를 스크린을 기준으로 우측 하단으로 설정할 수 있다.

즉, 스마트 안경(100)은 자막의 최대 표시 영역 내에서 착용자의 선호도를 반영한 위치에 자막을 표시할 수 있다. 실시예에 따라, 스마트 안경(100)은 착용자로부터 물리적인 버튼을 이용하여 자막의 최대 표시 영역을 설정하거나, 착용자의 음성을 인식할 수도 있으며, 기타 다양한 방식으로 착용자의 선호도를 반영시킬 수 있다.

다시 도 2를 참조하면, S124단계 이후에, 스마트 안경(100은 설정된 위치 좌표에 자막을 표시한다(S126). 보다 구체적으로, 스마트 안경(100)은 설정된 위치 좌표에 자막의 비율을 조절하여 표시할 수 있다. 예를 들어, 스마트 안경(100)은 표시되는 자막의 글자수에 따라 자막의 크기를 조절하거나, 자막의 간격을 조절할 수 있다. 이를 통해, 스마트 안경(100)은 자막이 실제로 표시될 위치 좌표를 벗어나거나, 글자가 깨지는 현상이 발생하여 착용자가 자막을 인지하지 못하는 상황을 방지할 수 있다.

다시 도 1을 참조하면, S120 단계 이후에, 스마트 안경(100)은 자막과 컨텐츠를 동기화한다(S130). 보다 구체적으로, 스마트 안경(100)은 표시된 자막을 컨텐츠와 동기화하여 컨텐츠에 따라 알맞은 자막이 표시되도록 할 수 있다.

실시예에 따라, 스마트 안경(100)이 네트워크 통신이 가능한 경우, 스마트 안경(100)은 서버로부터 동기화 정보를 수신하여 스크린에 재생되는 컨텐츠와 자막을 동기화할 수 있다. 여기서, 동기화 정보는 스크린에 상영되는 컨텐츠의 재생 시간에 대응되는 자막 표시 시간 정보를 포함할 수 있다. 예를 들어, 동기화 정보는 상영되는 컨텐츠에 따른 자막 표시 시점, 자막 표시 시작 시간, 자막 표시 종료 시각, 자막 표시 시간 정보 중 적어도 하나를 포함할 수 있다.

또 다른 실시예에 따르면, 스마트 안경(100)은 상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 인식하여 동기화할 수 있다.

보다 구체적으로, 스마트 안경(100)은 상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 수신할 수 있고, 수신한 신호를 인식하여 자막과 컨텐츠를 동기화할 수 있다.

또 다른 실시예에 따르면, 스마트 안경(100)은 착용자로부터 입력을 수신하여, 자막과 컨텐츠를 동기화할 수 있다. 보다 구체적으로, 스마트 안경(100)은 착용자로부터 입력을 수신하기 위한 물리적인 버튼을 포함할 수 있으며, 착용자의 버튼 입력을 유도하여 직접 동기화를 수행할 수 있다. 예를 들어, 스마트 안경(100)은 영화 시작전 화면에 '동기화를 위해 버튼을 눌러주세요'라는 메시지를 띄운 후 카운트 다운을 시작하여 착용자의 버튼 입력을 유도할 수 있다. 그에 따라, 스마트 안경(100)은 착용자의 버튼 입력 시간을 참조하여, 스크린에 상영되는 컨텐츠와 대응되도록 자막을 동기화할 수 있다.

지금까지 본 발명의 일 실시예에 따른 스마트 안경(100)에 표시되는 자막의 최대 표시 영역을 스마트 안경(100)을 착용한 착용자의 위치 및 스크린의 크기에 따라 설정하는 방법에 대하여 설명하였다. 본 발명에 따르면, 스마트 안경(100)을 착용한 착용자는 상영관 또는 공연장 내의 위치에 관계없이 컨텐츠와 자막을 동시에 시청할 수 있을 뿐만 아니라, 다양한 언어의 자막을 제공받을 수 있어 불편함 없이 컨텐츠를 즐길 수 있다.

한편, 앞서 언급한 실시예는 스마트 안경(100)을 이용하여 자막을 표시하는 방법으로서, 컨텐츠를 관람하는 관객은 자막에 대한 불편함 외에도, 원거리에서 상영되는 컨텐츠(예. 콘서트, 공연장, 대형 상영관에서 진행되는공연, 무대, 영화)를 시청하기에 불편함을 느낄 수 있으며, 그에 따라 원거리에서 상영되는 컨텐츠를 스마트 안경(100)으로 감상할 수 있도록 스마트 안경(100)을 제어하는 과정이 추가로 수행되는 것이 바람직할 수 있다. 이는 도 8 및 도 9에 관한 내용으로, 이하 설명하도록 한다.

도 8은 본 발명의 일 실시예에 따른 스마트 안경(100)에 컨텐츠를 표시하는 방법의 흐름을 나타낸 순서도이고, 도 9는 본 발명의 일 실시예에 따른 스마트 안경(100)에 표시되는 컨텐츠 이미지를 나타낸 도면이다.

도 8을 참조하면, 스마트 안경(100)은 자막과 컨텐츠를 동기화한 이후에, 착용자로부터 디스플레이부 상에 컨텐츠 표시 여부를 확인받는다(S140). 여기서, 디스플레이부는 스마트 안경(100)의 렌즈 부분에 구비된 것으로, 다양한 종류의 디스플레이 모듈을 포함할 수 있다.

예를 들어, 스마트 안경(100)은 자막 동기화 메시지를 이용하여 자막을 동기화한 후, 디스플레이부 상에 '스마트 안경을 이용하여 컨텐츠를 감상하시겠습니까?'라는 메시지를 띄운 후, 착용자로부터 이에 대한 응답을 수신할 수 있다.

그에 따라, 스마트 안경(100)이 착용자로부터 디스플레이부 상에 컨텐츠를 표시하는 것으로 확인한 경우, 카메라를 이용하여 컨텐츠가 상영되는 영역의 영상을 획득한다(S142). 실시예에 따라, 스마트 안경(100)은 디스플레이부 상에 영상을 캡쳐한 정지 영상 이미지를 획득할 수도 있으며, 이는 추후 착용자의 설정에 맞게 컨텐츠가 조절되는 과정에서 활용될 수 있다.

S142 단계를 통해 획득한 영상은, 스마트 안경(100)의 디스플레이부에 자막과 함께 표시된다(S144). 그에 따라, 스마트 안경(100)을 착용한 착용자는 원거리에서 상영하는 컨텐츠를 가까이에서 관람하는 것처럼 편안하게 감상 할 수 있다.

또한, S144 단계 이후에, 스마트 안경(100)은 착용자로부터 디스플레이부 상에 표시되는 영상에 대한 크기, 배율, 위치 좌표 중 적어도 하나의 설정을 입력받고 영상을 조정할 수 있다.

이와 관련하여, 도 9를 참조하면, (a)와 같이, 원거리에 착석한 관람객이 스마트 안경(100)을 이용하여 컨텐츠를 관람하고자 하는 경우, 스마트 안경(100)의 디스플레이부에 (b)와 같은 영상(100a)이 출력될 수 있다.

그에 따라, 스마트 안경(100)는 착용자로부터 영상(100a)에 대한 크기, 배율, 위치 좌표 중 적어도 하나를 입력 받고, 입력 받은 정보를 영상(100a)에 반영시킬 수 있어, 착용자는 영상(100a)을 보다 편안하게 관람할 수 있다.

한편, 스마트 안경(100)이 착용자로부터 디스플레이부 상에 컨텐츠를 표시하지 않는 것으로 확인한 경우, 디스플레이부 상에 컨텐츠와 동기화된 자막을 표시한다(S141).

이와 같이, 스마트 안경(100)은 디스플레이부 상에 확대된 컨텐츠를 제공할 수 있으며, 이에 더하여 자막도 표시할 수 있어, 원거리에 착석한 관람객의 컨텐츠 관람 편의가 증대될 수 있다.

이하에서는, 앞서 언급한 방법을 수행할 수 있는 스마트 안경(100)의 구조에 대하여 구체적으로 설명하도록 한다.

도 10은 본 발명의 일 실시예에 따른 스마트 안경(100)의 사시도를 나타낸 도면이고, 도 11은 본 발명의 스마트안경(100)의 개략적인 구성도를 나타낸 도면이다.

도 10 및 도 11을 참조하면, 본 발명의 일 실시예에 따른 스마트 안경(100)은 안경테 형태를 구비하는 프레임(110), 자막을 표시하는 디스플레이부(120), 컨텐츠 정보를 획득하는 카메라(130) 및 디스플레이부(120) 및 카메라(130)를 제어하는 제어부(140)를 포함한다. 보다 구체적으로, 프레임(110)은 안경테 형태를 이룸으로써 착용자가 간편하게 착용할 수 있도록 한다.

디스플레이부(120)는 프레임(110)에 의해 지지되며, 양안형 HMD 일 수 있다. 실시예에 따라, 디스플레이부(120)는 투시 정보 제공 방식에 의해 자막을 표시할 수 있다.

카메라(130)는 상영관 내 컨텐츠 정보를 획득하고, 획득한 컨텐츠 정보를 참조하여 자막 표시 영역을 설정할 수 있다.

제어부(140)는 디스플레이부(120) 및 카메라(130)를 제어하여 디스플레이부(120)를 통해 자막을 제공하도록 할 수 있다.

실시예에 따라, 제어부(140)는 착용자의 입력을 수신하여 표시되는 자막의 언어를 선택할 수 있다. 예를 들어, 스마트 안경(100)은 착용자의 음성을 인식하는 마이크(미도시)를 더 포함하고, 제어부(140)는 마이크(미도시)를 통해 음성을 인식하여, 착용자가 감상하고자 하는 영화 제목을 원하는 언어로 발음하면 이를 인식하여 해당 언어를 디스플레이부(120)에 표시될 언어로 선택할 수 있다.

한편, 제어부(140)는 카메라(130)로 획득한 컨텐츠 정보를 참조하여 스크린과 스마트 안경(100) 사이의 상대적인 거리를 계산하고, 계산된 상대 거리를 참조하여 스크린의 상영 영역과 자막의 최대 표시 영역을 매칭시킬 수 있다.

실시예에 따라, 제어부(140)는 자막의 최대 표시 영역 내에서 자막이 실제로 표시될 위치 좌표를 설정할 수 있으며, 자막이 실제로 표시될 위치 좌표에 디스플레이부(120)가 자막을 표시하도록 제어할 수 있다. 예를 들어, 제어부(140)는 자막이 실제로 표시될 위치 좌표를 자막이 스크린에 재생되는 컨텐츠를 방해하지 않도록 표시되는 위치 좌표나, 착용자의 시야에 스크린에 재생되는 컨텐츠와 자막이 한눈에 들어올 수 있는 위치 좌표로 설정할 수 있다.

또한, 제어부(140)는 착용자로부터 입력을 수신하여 자막이 실제로 표시될 위치 좌표를 설정할 수 있다. 예를들어, 제어부(140)는 착용자로부터 입력을 수신하여 자막이 실제로 표시될 위치 좌표를 스크린을 기준으로 우측 하단으로 설정할 수 있다.

실시예에 따르면, 제어부(140)는 디스플레이부(120)에 표시된 자막과 스크린에 재생되는 컨텐츠를 동기화할 수 있다. 보다 구체적으로, 스마트 안경(100)은 통신부(160)를 더 포함할 수 있고, 제어부(140)는 통신부(160)를 통해 서버로부터 동기화 정보를 수신하여 자막과 컨텐츠를 동기화할 수 있다.

한편, 제어부(140)는 상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 인식하여 자막과 컨텐츠를 자동으로 동기화할 수 있다.

다른 한편, 스마트 안경(100)은 착용자로부터 입력을 수신하기 위한 물리적인 버튼인 조작부(150)를 포함할 수 있고, 제어부(140)는 착용자의 조작부(150) 입력 시간을 참조하여 자막과 컨텐츠를 동기화할 수 있다. 제어부(140)는 영화 시작 전 화면에 '동기화를 위해 버튼을 눌러주세요'라는 메시지를 띄운 후 카운트 다운을 시작하여 착용자의 조작부(150) 입력을 유도할 수 있다. 따라서, 제어부(140)는 착용자의 조작부(150) 입력 시간을 참조하여 컨텐츠와 자막을 동기화할 수 있다.

이상 도 1 내지 도 11을 참조하여 본 발명의 일 실시예에 따른 스마트 안경(100) 및 스마트 안경(100)을 이용하여 자막을 표시하는 방법에 대해 서술하였다.

본 발명의 따르면, 스마트 안경(100)이 착용자가 착석한 위치와 스크린 사이의 거리 및 스크린의 크기에 맞게, 디스플레이부(120)에 표시되는 자막의 최대 표시 영역을 조절함에 따라, 스크린에 재생되는 컨텐츠와 자막의 초점이 맞지 않아 착용자가 어지러움을 유발하는 것을 방지할 수 있다.

또한, 본 발명의 따르면, 착용자가 머리를 움직여 시야가 변경되는 경우에 스마트 안경(100)이 획득하는 컨텐츠 정보가 변경되고, 실제 자막이 표시될 영역의 좌표 또한 새로 계산되어, 착용자가 고개를 움직여도 이에 맞춰 자막을 표시할 수 있다.

한편, 본 발명의 일 실시예에 따른 스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법은 상영관 내스크린을 예로 들어 설명하였으나, 이에 한정하지 않으며 컨텐츠가 표시되는 디스플레이 장치들 예로 들어 TV,프로젝터 등에 모두 적용이 가능하다.

또한, 1) 다국어 자막 정보 및 음성 정보의 무선 송신 ① 디지털 시네마 시스템 국제 사양 (DCI Specification)에 따른 정보의 무선 송신 : 디지털 시네마 시스템 국제 사양 (DCI Specification)에 따라 다국어 자막 정보 및 음성 정보 무선 송신하는 경우에는 규정에 따라 관련 다국어 자막 정보 및 음성 정보는 Digital Cinema Package(DCP) 에 저장되며 다국어 자막정보 1개, 음성 정보 1개만이 지원 가능하다. 이 경우 영상 송출 서버와 다국어 정보 송출 서버간의 송수신 에러가 발생한 경우에도 동일한 DCP에서 영상, 음성 및 다국어 정보가 동시에 출력되므로 DCP내의 Timecode를 통해 복구가 가능하다.

가. 다국어 자막 정보의 무선 송신

- 디지털 시네마 시스템 국제 사양 (DCI Specification)에 따라 Digital Cinema Package(DCP) 내에 다국어 자막 정보가 포함된 경우, DCP내의 자막 정보를 무선으로 송출하기 위해서는 SMPTE 430-10의 규정집에 따라 영상 송출 서버에서 영상 송출시 TCP 통신을 이용하여 자막 정보를 다국어 정보 송출 서버로 전송하고 다국어 정보 송출 서버는 전송 받은 자막 정보를 멀티캐스트를 통해 무선으로 송출한다

나. 다국어 음성 정보의 무선 송신

- 디지털 시네마 시스템 국제 사양 (DCI Specification)에 따라 Digital Cinema Package(DCP) 내에 다국어 음성 정보가 포함된 경우, DCP내의 해당 음성 정보를 무선으로 송출하기 위해서는 DCI표준 사양에 따라 영상 송출 서버는 7/8번 채널로 출력되는 다국어 음성 정보와 1번에서 6번 채널로 출력되는 화면 영상의 사운드를 AES/EBU를 통해 다국어 정보 송출 서버로 전송하고 다국어 정보 송출 서버는 당사가 기 보유한 특허 제10-2252541호 ‘와이파이를 이용한 음향의 무선 디지털 전송방법’을 통해 각 채널로 수신된 사운드를 Mixing하여 스테레오로 변환한 후 멀티캐스트를 통해 무선으로 송출한다.

② 디지털 시네마 시스템 국제 사양 (DCI Specification)과 분리된 형태인 정보의 무선 송신

: 디지털 시네마 시스템 국제 사양 (DCI Specification)과 분리하여 다국어 자막 정보 및 음성 정보를 무선 송신하는 경우, 영상 송출 서버와 다국어 정보 송출 서버는 상호간 연동하고 해당 연동성을 검증하며 영상에 맞게 다국어 자막 정보 및 음성 정보를 무선 송출한다. 이 경우 다국어 자막 정보 및 음성 정보는 필요에 따라 한 개 이상 지원이 가능하며 따라서 사용자가 다국어 정보 수신기를 사용할 때 희망하는 언어를 선택하도록 할 수 있다.

가. 다국어 자막 정보의 무선 송신

- 디지털 시네마 시스템 국제 사양 (DCI Specification)과 분리된 형태로 다국어 자막 정보를 무선 송출하는 경우, 영상 송출 서버에서 상영될 영상의 다국어 자막 정보를 다국어 정보 송출 서버에서 XML 또는 기타 자막 파일 형태로 업로드 및 분석하여 메모리에 대기한 후 영상 송출 서버가 GPIO(General Purpose Input/output) 또는 Ethernet의 형태로 영화가 송출되었다는 신호를 다국어 정보 송출 서버로 전송하면 다국어 정보 송출 서버는 타이머를 작동함과 동시에 메모리에 대기하고 있는 자막을 멀티캐스트를 통해 무선으로 송출한다.

나. 다국어 음성 정보의 무선 송신

- 디지털 시네마 시스템 국제 사양 (DCI Specification)과 분리된 형태로 다국어 음성 정보를 무선 송출하는 경우, 영상 송출 서버에서 상영될 영상의 다국어 음성 정보를 MXF 및 기타 음향 포맷의 파일로 다국어 정보 송출 서버에 업로드 및 분석하여 메모리에 대기한 후 영상 송출 서버가 GPIO(General Purpose Input/output) 또는 Ethernet의 형태로 영화가 송출되었다는 신호를 다국어 정보 송출 서버로 전송하면, 다국어 정보 송출 서버는 타이머를 작동함과 동시에 메모리에 대기하고 있는 다국어 음성 정보와 AES/EBU를 통해 다국어 정보 송출 서버로 전송받은 영상 송출 서버의 음향 1번에서 6번 채널로 출력되는 화면 영상의 사운드를 당사가 기 보유한 특허 제10-2252541호 ‘와이파이를 이용한 음향의 무선 디지털 전송방법’을 통해 각 사운드를 Mixing하여 스테레오로 변환한 후 멀티캐스트를 통해 무선으로 송출한다.

다. 영상 송출 서버와 다국어 정보 송출 서버의 연동(동기화) 검증

ⅰ) 영상 송출 서버에서 Linear Timecode (LTC) 포트를 통해 시간값 (Timecode)를 제공할 수 있는 경우, 다국어 정보 송출 서버는 영상 송출 서버의 시간값과 자신의 시간값을 비교하여 영상과 다국어 자막 및 음성 정보의 동기화(싱크)를 검증한다.

ⅱ) 영상 송출 서버에서 Linear Timecode (LTC) 포트를 통해 시간값 (Timecode)를 제공할 수 없고 TCP통신으로 시간값 (Timecode)를 제공할 수 있는 경우, 다국어 정보 송출 서버는 TCP 통신을 통해 영상 송출 서버의 시간값과 자신의 시간값을 비교하여 영상과 다국어 자막 및 음성 정보의 동기화(싱크)를 검증한다.

ⅲ) 영상 송출 서버에서 LTC, TCP 통신 모두 시간값 (Timecode)을 제공할 수 없는 경우, 영상 송출 서버가 GPIO(General Purpose Input/output) 또는 Ethernet의 형태로 영화가 송출되었다는 신호를 다국어 정보 송출 서버로 전송하면 타이머가 작동하여 이를 기준으로 다국어 자막 및 음성 정보를 송출하는 동시에 영화 상영 중 최근 10 분 동안의 화면 영상 사운드 데이터와 타이머의 시간값을 초 단위로 저장하여 장애가 발생하였을 경우 상기 영상 송출 서버와 자신 간의 동기화를 위해 활용할 수 있다.

라. 영상 송출 서버와 다국어 정보 송출 서버의 연동 장애시 해결 방안 다.항의 동기화에 장애가 발생하여 화면 영상 또는 다국어 자막 및 음성 정보 구현이 중지된 경우,

- 영상 송출 서버와 다국어 정보 송출 서버가 시간값(Timecode)으로 동기화가 가능한 경우에는 각 서버간 시간값을 검증하여 동일한 시점에서 영상과 다국어 자막 및 음성 정보를 동기화하여 다국어 자막 및 음성 정보를 송출하며,

- 영상 송출 서버에서 다국어 정보 송출 서버로 시간값(Timecode)을 제공하지 못하는 경우에는 다국어 정보 송출 서버에 초 단위로 저장된 화면 영상의 사운드 데이터와 장애 복구 후 최초 유입되는 사운드 데이터를 비교하여 다국어 정보 송출 서버에 초단위로 저장된 타이머의 시간값을 획득, 상영시간을 역추적하거나 영상 송출 서버의 시간값(Timecode)을 사용자로부터 직접 받아 해당 위치에서부터 다국어 자막 및 음성 정보를 재생할 수 있다.

2) 다국어 자막 및 음성 정보의 무선 수신 및 구현 프로세스

1)항에서 멀티캐스트로 무선 네트워크를 통해 송출된 자막 및 화면 해설 음성 신호는 배터리와안테나를 탑재한 형태로 상영관 좌석 컵홀더에 결합하여 사용하는 형태이거나 투명 디스플레이 가 탑재된 안경 형태의 무선 수신기로 전달된다. 안드로이드 또는 리눅스 등의 OS를 가진 무선 수신기는 탑재한 클라이언트 프로그램에서 이를 수신하여 ① 다국어 자막 정보는 최초 무선 수신기 실행시 선택된 언어의 정보값을 무선 수신기의 자막 신호 출력 단자를 통해 투명 디스플레이로 전달되거나 안경에 탑재된 투명 디스플레이를 통해 구현되어 상영관의 화면 영상과 자막을 동시에 시청할 수 있도록 하며 ② 다국어 음성 정보는 다채널로 스트리밍 송출되는 음성 정보 중 무선 수신기 실행시 선택된 언어의 정보값을 수신하여 무선 수신기에서 이를 일반 오디오 신호로 전환, 무선 수신기의 음량 조절 버튼을 통해 정해진 음량에 따라 무선 수신기의 AUX 단자에 연결된 골전도 방식을 포함하는 다양한 방식의 헤드폰 또는 이어폰을 통해 구현되거나 무선 수신기와 블루투스로 통신하여 무선으로 연결, 구현되거나 투명 디스플레이를 탑재한 안경에 설치된 스피커를 통해서 구현된다.

3) 투명 디스플레이를 활용, 화면 영상과 자막 동시 시청으로 편의성 증대

다국어 자막은 얇은 베젤로 마감된 투명 LCD 또는 OLED 디스플레이 위에 구현하거나 이러한 투명 디스플레이를 탑재한 안경에서 구현하며 필요에 따라 자막의 크기와 밝기, 색상을 사용자가 설정할 수 있도록 한다. 투명 디스플레이로 구현되는 경우, 동시에 최대 3줄의 자막이 구현되는 크기로 약 5~7인치 정도가 권장되며 이러한 투명 디스플레이는 주름관에 부착되어 사용자의 시선에 맞는 위치로 이동, 고정할 수 있다. 이 경우, 사용자의 시선 방해를 최소화 하기 위하여 무선 신호 수신을 위한 안테나는 자막을 구현하는 디스플레이 후면 또는 주름관 안쪽에 위치한다. 만일 투명 디스플레이가 탑재된 안경에서 자막이 구현되는 경우, 안테나 및 배터리를 안경에 탑재할 수도 있고 별도의 무선 수신기에 연결하여 사용할 수 있다.

4) 휴대성 및 범용성 강화

다국어 자막 및 음성 정보가 필요한 사용자가 희망하는 위치 어디에서나 영상을 시청할 수 있도록 자막을 구현하는 투명 디스플레이와 주름관으로 연결된 무선 수신기 형태의 경우, 무선 수신기를 의자의 컵홀더에 삽입하여 사용할 수 있는 형태이거나 집게로 고정할 수 있는 클립 형태로 구현하며 컵홀더 고정부 또는 클립 고정부 주변에 배터리를 결합하여 무선으로 충전하여 사용할 수 있도록 한다. 또한 배터리의 무게로 인해 전체적인 무게 중심을 아래로 향하게 함으로서 안정적 인 제품 거치를 통해 사용 편리성을 증대시킨다. 투명 디스플레이를 탑재한 안경 형태의 경우, 상기의 무선 수신기에 연결하여 사용하는 형태이거나 안경에 배터리와 안테나를 탑재하여 자막 및 화면 해설 음성 정보가 필요한 사용자가 자유로운 위치에서 영상을 시청할 수 있다. 또한 범용의 AUX 음성 출력 단자 또는 블루투스를 활용한 헤드폰 및 이어폰의 무선 연결을 적용하여 사용자 개인의 헤드폰 또는 이어폰을 사용할 수 있도록 한다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 스마트 안경
110: 프레임
120: 디스플레이부
130: 카메라
140: 제어부
150: 조작부
160: 통신부

Claims (17)

1. 스마트 안경을 이용하여 자막을 제공하는 방법에 있어서,
   언어 선택 입력을 수신하는 단계;
   상기 수신한 언어로 구성된 자막이 표시되는 자막 표시 영역을 설정하는 단계;
   상기 자막과 컨텐츠를 동기화하는 단계; 및
   상기 스마트 안경에 구비된 디스플레이부로 상기 컨텐츠 표시 여부를 확인하는 단계;를 포함하고,
   상기 컨텐츠 표시 여부를 확인하는 단계 이후에,
   상기 디스플레이부로 상기 컨텐츠를 표시하는 경우,
   상기 스마트 안경에 구비된 카메라를 이용하여 상기 컨텐츠가 상영되는 영역의 영상을 획득하는 단계; 및
   상기 획득한 영상을 상기 자막과 함께 상기 디스플레이부에 표시하는 단계;를 포함하되,
   상기 디스플레이부로 상기 컨텐츠를 표시하지 않는 경우,
   상기 디스플레이부로 상기 컨텐츠와 동기화된 자막을 표시하는 단계;
   를 더 포함하는,
   스마트 안경을 이용하여 자막을 제공하는 방법.
2. 제1항에 있어서,
   상기 자막 표시 영역을 설정하는 단계는,
   상기 컨텐츠가 재생되는 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시키는 단계;
   상기 자막의 최대 표시 영역 내에서 상기 자막이 실제로 표시될 위치 좌표를 설정하는 단계; 및
   상기 설정된 위치 좌표에 자막을 표시하는 단계; 를 포함하는,
   스마트 안경을 이용하여 자막을 제공하는 방법.
3. 제2항에 있어서,
   상기 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 출력 영역을 매칭시키는 단계는,
   상기 스마트 안경에 포함된 카메라로 획득한 컨텐츠를 참조하여 스크린과 스마트 안경 사이의 상대적인 거리를 추출하고, 상기 추출된 상대적인 거리를 반영하여 상기 자막의 최대 출력 영역을 매칭시키는,
   스마트 안경을 이용하여 자막을 제공하는 방법.
4. 제2항에 있어서,
   상기 자막이 실제로 표시될 위치는,
   상기 디스플레이 장치의 컨텐츠 표시 영역의 하단 또는 착용자로부터 입력을 수신한 위치 중 하나인,
   스마트 안경을 이용하여 자막을 제공하는 방법.
5. 제1항에 있어서,
   상기 자막을 컨텐츠와 동기화하는 단계는,
   서버로부터 동기화 정보를 수신하여 동기화하는 단계인,
   스마트 안경을 이용하여 자막을 제공하는 방법.
6. 제1항에 있어서,
   상기 자막을 컨텐츠와 동기화하는 단계는,
   상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 인식하여 동기화하는 단계인,
   스마트 안경을 이용하여 자막을 제공하는 방법.
7. 제1항에 있어서,
   상기 자막을 동기화하는 단계는,
   상기 스마트 안경에 포함된 조작부를 통해 입력된 사용자 입력을 참조하여 동기화하는 단계인,
   스마트 안경을 이용하여 자막을 제공하는 방법.
8. 제1항에 있어서,
   상기 디스플레이부에 표시하는 단계 이후에,
   상기 표시하는 영상에 대한 크기, 배율, 위치 좌표 중 적어도 하나의 설정을 입력 받고 상기 영상을 조정하는
   단계;
   를 더 포함하는 스마트 안경을 이용하여 자막을 제공하는 방법.
9. 자막을 표시하는 스마트 안경에 있어서,
   안경 형태의 프레임;
   상기 자막을 출력하는 디스플레이부;
   컨텐츠 정보를 획득하는 카메라; 및
   상기 디스플레이부 및 상기 카메라를 제어하는 제어부; 를 포함하고
   상기 제어부는,
   상기 디스플레이부의 상기 컨텐츠의 표시 여부를 확인하고,
   상기 디스플레이부가 상기 컨텐츠를 표시하는 경우,
   상기 카메라가, 상기 컨텐츠가 상영되는 영역의 영상을 획득하고,
   상기 제어부가, 상기 획득한 영상을 상기 자막과 함께 상기 디스플레이부에 표시하되,
   상기 디스플레이부가 상기 컨텐츠를 표시하지 않는 경우,
   상기 제어부가, 상기 컨텐츠와 동기화된 자막을 상기 디스플레이부에 표시하는, 스마트 안경.
10. 제9항에 있어서,
    상기 제어부는,
    상기 컨텐츠가 재생되는 디스플레이 장치의 컨텐츠 표시 영역과 자막의 최대 표시 영역을 매칭시키는, 스마트 안경.
11. 제10항에 있어서,
    상기 제어부는,
    상기 자막의 최대 표시 영역 내에서 상기 자막이 실제로 표시될 위치 좌표를 설정하는, 스마트 안경.
12. 제11항에 있어서,
    상기 제어부는,
    서버로부터 동기화 정보를 수신하여 상기 자막과 컨텐츠를 동기화시키는, 스마트 안경.
13. 제9항에 있어서,
    상기 스마트 안경은,
    사용자로부터 입력을 수신하기 위한 조작부; 를 더 포함하는, 스마트 안경.
14. 제13항에 있어서,
    상기 제어부는,
    상기 조작부로부터 입력을 수신하여 상기 컨텐츠와 자막을 동기화시키는, 스마트 안경.
15. 제9항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 표시하는 영상에 대한 크기, 배율, 위치 좌표 중 적어도 하나의 설정을 입력 받아 상기 영
    상 표시를 제어하는,
    스마트 안경.
16. 제9항에 있어서,
    상기 제어부는,
    상영관 내 스피커가 출력하는 비가청 주파수 대의 고주파 신호를 인식하여 상기 컨텐츠와 자막을 동기화시키는,
    스마트 안경.
17. 제9항에 있어서,
    상기 스마트 안경은,
    착용자의 음성을 인식하는 마이크; 를 더 포함하는, 스마트 안경.

Images