KR102589864B1 - 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 방법 - Google Patents

음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 방법 Download PDF

Info

Publication number
KR102589864B1
KR102589864B1 KR1020230021021A KR20230021021A KR102589864B1 KR 102589864 B1 KR102589864 B1 KR 102589864B1 KR 1020230021021 A KR1020230021021 A KR 1020230021021A KR 20230021021 A KR20230021021 A KR 20230021021A KR 102589864 B1 KR102589864 B1 KR 102589864B1
Authority
KR
South Korea
Prior art keywords
sound
digital
audio
packets
packet
Prior art date
Application number
KR1020230021021A
Other languages
English (en)
Inventor
김현수
Original Assignee
(주)유유코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유유코리아 filed Critical (주)유유코리아
Priority to KR1020230021021A priority Critical patent/KR102589864B1/ko
Application granted granted Critical
Publication of KR102589864B1 publication Critical patent/KR102589864B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 스트리밍 서버는 매 패킷 전송시 특정 정보데이터를 수신 디바이스에 전송하며, 수신 디바이스의 오디오 플레이 앱은 구현/실행중인 패킷데이터와 수신되는 패킷데이터의 정보데이터를 분석하여 위와 같이 동기화가 틀어지는 경우 이를 즉각적으로 대처함으로써 영상과 오디오의 동기화를 최적의 상태로 유지하는 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 시스템에 관한 것이다.

Description

음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 방법{Method for wireless WiFi transmission of digital sound with sound synchronization technology applied}
본 발명은 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 방법에 관한 것으로, 더욱 상세하게는 마이크 또는 기타 아날로그 방식의 오디오는 물론, 디지털 시네마 콘텐츠 표준 규격의 오디오와 같이 디지털 오디오 신호에 동기화 신호를 탑재하여 무선 네트워크를 통해 송출하고 모바일 디바이스에서 오디오를 수신, 출력하는 경우 탑재된 동기화 신호를 활용하여 영상과 음향을 동기화할 수 있도록 와이파이를 통해 전송하는 방법으로 오디오가 포함된 모든 영상을 케이블 연결 등의 제약없이 더욱 편리하고 용이하게 구현함으로써 다양한 환경에서 영상과 음향을 구현할 수 있는 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 방법에 관한 것이다.
종래의 자동차 극장은 넓은 공터의 입구에 매표소를 구비하고, 공터의 앞쪽에 대형 스크린을 설치한 후, 스크린의 앞쪽으로 자동차를 주차하게 하여 스크린에 영사된 영상을 차내에서 시청하게 하며, 음성은 FM전파로 송신하여 카스테레오의 라디오에서 이를 수신하여 들을 수 있도록 한다.
그러나, 종래의 자동차 극장의 영사시스템의 FM전파 구조는 현재 전파법 및 전파법 시행령의 무선국 설치 운용 및 규칙을 충족하는 것이 불가하며, 신고하지 아니하고 개설할 수 있는 무선국에도 해당하지 않으므로, 자동차 극장에서의 합법적인 무선 음향 전송이 사실상 전무한 상황이다.
이에 따라 최근 비대면, 비접촉 수단의 필요성이 대두되는 상황에서 현실적으로 안전한 집객 및 모임의 방법이 요구되는 바, 자동차 극장의 수요가 높아지고 있는데, 기존 FM전파 방식을 대체하여 합법적으로 자동차 극장을 운영할 수 있도록 하는 음향신호의 전송 방법이 제안될 필요가 있다.
그러나 디지털 음향 신호를 와이파이를 이용한 무선 네트워크로 전송하는 경우 네트워크 환경이나 상황에 따라 이러한 오디오 전송 간격이 변동성을 가지며 이러한 변동성으로 인해 영상과 오디오의 동기화가 틀어지는 경우가 발생되며, 더욱이, 무선으로 전송되는 오디오의 한 패킷당 크기가 너무 낮으면 오디오의 품질이 낮아지고 너무 크면 전송 에러시 대처가 어려운 문제가 발생할 수 있다. 이의 세부적인 원인으로는 크게 환경 등의 이유로 네트워크의 속도가 느려지는 경우, 네트워크 상황에 따른 패킷 유실, Buffer Underrun이 발생하는 경우 등으로 볼 수 있다. 또한 기존의 FM을 통한 음향의 무선 전송 환경에 추가로 와이파이를 통해 음향을 무선으로 전송하는 경우, 디지털과 아날로그간 신호처리 차이로 인해 두 음향간 시차가 발생하기도 한다.
이에, 오디오 무선 전송시에도 원활한 영상시청을 위해 오디오의 동기화 틀어짐의 문제를 해결하기 위한 기술개발의 필요성이 점차 증대되고 있다.
한편, 전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
한국등록특허 제10-2252541호
본 발명의 일측면은 디지털 시네마 콘텐츠의 국제 표준 규격(DCI: Digital Cinema Package)에 따른 디지털 콘텐츠의 음향 신호를 변조 없이 변환하여 모바일 디바이스에서 와이파이 통신을 통해 수신 가능하도록 스트리밍할 때, 영상과 음향을 동기화하는 기술을 포함하며, 더욱 구체적으로 스트리밍 서버는 매 패킷 전송시 특정 정보데이터를 수신 디바이스에 전송하며, 수신 디바이스의 오디오 플레이 앱은 구현/실행중인 패킷데이터와 수신되는 패킷데이터의 정보데이터를 분석하여 위와 같이 동기화가 틀어지는 경우 이를 즉각적으로 대처함으로써 영상과 오디오의 동기화를 최적의 상태로 유지하 고, 기존의 FM을 통한 무선 전송 환경에도 사용될 수 있도록 음향 신호의 디지털 출력과 일반 아날로그 출력을 동시에 지원하고, 이 때 디지털 방식와 아날로그 방식의 시차가 발생하지 않도록 이를 확인하여 아날로그와 디지털 사이의 시차를 보정해주는 향 동기화 기술이 적용된 디지털 음향의 무선 전송 방법을 제공한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 시스템은, 디지털 콘텐츠를 저장 및 출력하는 디지털 영사 장치; 상기 디지털 영사 장치와 연결되어, 상기 디지털 영사 장치로부터 수신된 디지털 시네마 콘텐츠를 액세스 포인트로 송출하는 스트리밍 서버; 및 상기 액세스 포인트를 통해 상기 스트리밍 서버로부터 송출된 디지털 시네마 콘텐츠를 수신하고, 음향 출력 장치와 유선 또는 무선 통신으로 연결되어 상기 음향 출력 장치를 통해 시네마 콘텐츠의 음향신호가 출력되도록 하는 모바일 디바이스;를 포함한다.
상기 스트리밍 서버는, 기존의 FM을 통한 무선 전송 환경에도 사용될 수 있도록 음향 신호의 디지털 출력과 일반 아날로그 출력을 동시에 지원하고, 이 때 디지털 방식와 아날로그 방식의 시차가 발생하지 않도록 내장된 디지털 시그널 프로세서(DSP; Digital Signal Processor)에 기록된 프로그램에 따라 디지털로 변환된 오디오 신호가 출력되는 시점까지 아날로그 오디오 신호를 버퍼에 저장하고 디지털로 변환된 오디오 신호의 출력과 동시에 아날로그 오디오 신호를 송출한다.
상기 스트리밍 서버는,
상기 디지털 시네마 콘텐츠의 음성 신호를 소정 프레임 단위의 패킷으로 변환하고, 변환된 패킷을 상기 디지털 시네마 콘텐츠의 영상 신호보다 소정 시간 먼저 액세스 포인트로 송출하되, 변환된 패킷을 패킷마다 부여되는 패킷번호와 함께 액세스 포인트로 송출하고,
상기 모바일 디바이스는,
수신되는 복수의 패킷을 루프 어레이 형태로 기록하되, 수신된 패킷의 전체 개수와 패킷의 저장 위치를 함께 기록하고,
루프 어레이 형태로 기록된 수신 패킷의 합계가 메모리의 오디오 버퍼를 다 채우는 시점에서 음향이 재생되도록 제어하되, 음향이 구현되는 시점부터 오디오 재생 시간과 현재 구현되고 있는 패킷 위치를 기록한다.
상기 모바일 디바이스는,
1) 오디오 송출을 위해 필요한 패킷 수인 필요 패킷수(n)를 산출한 후, 스트리밍이 진행되는 동안 상기 필요 패킷수(n)와 수신된 전체 패킷수(t)를 실시간으로 비교하여,
필요 패킷수가 수신된 전체 패킷수보다 적은 경우, 네트워크 속도 지연으로 송출된 패킷이 아직 수신되지 않은 것으로 판단하여 네트워크를 종료 후 재연결하며, 상기 전체 패킷수를 t+1로 설정하고, 패킷 위치를 n 패킷으로 증가하여 보정하고,
필요 패킷수가 수신된 전체 패킷수보다 많은 경우, 네트워크 속도 지연으로 정체되어 있던 패킷이 한꺼번에 몰려 수신된 것으로 판단하여 네트워크를 종료 후 재연결하며, 상기 전체 패킷수를 t-1로 설정하고, 패킷 위치를 n 패킷으로 감소하여 보정하고,
2) 스트리밍 서버에서 송출하는 패킷 헤더에 추가된 시퀀스 넘버와 모바일 디바이스의 어플리케이션에서 확인한 시퀀스 넘버가 연속적이지 않은 경우, 패킷이 유실된 것으로 판단하여, 유실된 패킷의 다음 패킷을 대체하여 음향을 송출하고 디바이스의 네트워크를 종료 후 재연결하고,
3) 오디오 버퍼크기보다 기록된 패킷 버퍼 크기가 적어서 오디오 버퍼에 충분한 패킷 데이터가 남아있지 않는 경우,
패킷이 수신된 메모리에서 오디오 버퍼로 전달된 누적 버퍼 데이터 크기를 기록하고, 오디오 버퍼에서 실제 출력, 구현된 오디오 데이터의 크기를 기록하고, 누적 버퍼 데이터의 크기에서 구현된 오디오 데이터의 크기를 연산하여 오디오 송출을 대기하는 버퍼의 크기를 산출하고,
산출된 대기 버퍼 크기와 음향 구현에 필요한 최소 버퍼 사이즈를 비교하여, 대기 버퍼 사이즈가 최소 버퍼 사이즈보다 작을 경우 현재 플레이 되고 있는 수신 패킷과 같은 패킷을 한번 더 기록한다.
상술한 본 발명의 일측면에 따르면, 음향 동기화 기술이 적용된 디지털 음향 신호를 와이파이를 이용하여 무선으로 전송할 때 영상과의 동기화를 통해 오디오가 포함된 모든 영상을 케이블 연결 등의 제약없이 더욱 편리하고 용이하게 구현함으로써 다양한 환경에서 영상과 음향을 구현할 수 있다는 장점이 있다.
또한, 디지털로 전송되는 음향의 특성에 따라 음향 품질의 열화가 거의 없어 더 나은 품질의 음향을 구현할 수 있으며, 스피커 설치 등에 따르는 케이블의 소비가 없는 친환경적인 음향 전송 및 구현 솔루션을 제공할 수 있다.
특히, 기존의 경우 별도로 설치된 스피커로 음향을 전달하므로 일부 과다한 소음을 유발하는 경우도 있으나 본 발명을 통해 화면과 일치된 음향을 무선으로 수신하는 경우, 개인이 소유한 스마트 디바이스와 이어폰을 통해 개별적으로 음향을 감상할 수 있어 소음 등의 문제를 개선해주는 효과가 있다.
아울러, 기존의 FM트랜스미터를 통한 오디오 전송 환경에서도 적용이 가능하도록 아날로그와 디지털 신호의 동시 송출이 가능하며 따라서 디지털 신호 송출에 장애가 발생하는 경우 아날로그 송출로 즉시 변경하여 장애 상황에 즉각적인 조치를 제공한다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 시스템의 개략적인 구성이 도시된 도면이다.
도 2 내지 도 5는 도 1에 도시된 시스템을 이용한 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 방법의 개략적인 흐름이 도시된 도면이다.
도 6 내지 도 8은 본 발명의 다른 실시예에 따른 음향신호 및 영상신호 동기화 방법의 구체적인 일 예가 도시된 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 시스템의 개략적인 구성이 도시된 도면이다.
본 발명에 따른 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 시스템은, 본 출원인의 선출원 발명인 한국등록특허 제10-2252541호에 개시된 와이파이를 이용한 음향의 무선 디지털 전송 시스템을 이용하여 실제 자동차극장과 같이 특정 영상의 음향 출력을 위해 사용하는 경우, 실시간 스트리밍 서버로부터 무선 네트워크를 경유해 스마트폰과 같은 디바이스에서 오디오를 수신, 출력할 때 오디오의 속도가 점점 느려지거나 빨라지는 문제점을 해결하여, 영상과 오디오의 동기화를 최적의 상태로 유지하는 것을 목적으로 한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 시스템은 디지털 영사 장치(300), 스트리밍 서버(100) 및 모바일 디바이스(200)를 포함한다.
디지털 영사 장치(300)는 복수의 입출력 단자를 구비한 박스 형태의 서버 장치를 포함할 수 있으며, 디지털 시네마 콘텐츠를 저장 및 출력할 수 있다. 예를 들면, 디지털 영사 장치(100)는 통상의 디지털 영사 시스템으로, 디지털 방식으로 기록된 영상 신호를 스크린에 주사하는 한편, 동시에 기록된 음향 신호를 재생하는 기능을 수행할 수 있다.
스트리밍 서버(100)는 디지털 영사 장치(300)와 연결되어, 디지털 영사 장치(300)로부터 수신된 디지털 시네마 콘텐츠를 변환 및 출력한다.
스트리밍 서버(100)는 컴퓨터(computer), 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), MT(mobile terminal), UT(user terminal), SS(subscriber station), 무선기기(wireless device), PDA(personal digital assistant), 무선 모뎀(wireless modem), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
스트리밍 서버(100)는 다양한 형태의 운영 체제를 채택할 수 있으며, 본 발명의 일 실시예에 따른 와이파이를 이용한 음향의 무선 디지털 전송 방법에 따라 음향 신호의 변환을 수행하는 프로그램이 탑재되어 실행될 수 있다. 예를 들면, 운영체제는 디지털 시네마 콘텐츠의 국제 표준 규격(DCI: Digital Cinema Initiatives)을 비롯한 다양한 포맷의 음향 신호 처리가 가능하면서도, 메모리 사용 측면에서도 효율적인 Linux가 적용될 수 있으나, 이에 한정되는 것은 아니며 window 및 MacOS에도 적용될 수 있다.
모바일 디바이스(200)는 통신이 가능하고 정보의 입출력이 가능한 장치로, 예를 들면, 스마트폰, 태블릿 PC 등으로 구비될 수 있다.
모바일 디바이스(200)는 음향 신호 수신 및 재생을 위한 어플리케이션이 탑재되어 실행될 수 있으며, 해당 어플리케이션을 이용하여 스트리밍 서버(100)에서 스트리밍하는 음향 신호를 수신할 수 있다. 이때, 모바일 디바이스(200)는 와이파이 통신망을 통해 스트리밍 서버(100)에서 스트리밍하는 음향 신호를 수신할 수 있는데, 와이파이 통신망은 802.11 ac 이상의 버전이 적용되는 것이 바람직하다. 이는 다수의 모바일 디바이스(200)가 동시에 접속되더라도 데이터의 전송 속도가 저하되는 것을 방지하기 위함이다.
모바일 디바이스(200)는 음향 출력 장치와 유선 또는 무선 통신으로 연결되어 상기 음향 출력 장치를 통해 시네마 콘텐츠의 음향신호가 출력되도록 한다.
여기서, 음향 출력 장치는 차량의 내부에 구비된 스피커일 수 있으나, 이에 한정되는 것은 아니며 다른 장치에 구비된 스피커, 이동 가능한 형태로 설치되는 스피커 등 그 종류에 제한을 두지 않는다.
이와 같은 본 발명의 일 실시예에 따른 와이파이를 이용한 음향의 무선 디지털 전송 시 영상과 음향의 동기화 시스템은 자동차 극장 시스템에 적용되어, 디지털 시네마 콘텐츠의 영상 신호는 차량 외부에 구비된 대형 스크린에서 출력되고, 디지털 콘텐츠의 음향 신호는 차량 내부에 구비된 음향 출력 장치 또는 자동차 극장 시스템에 구비된 다른 음향 출력 장치에서 출력되도록 한다.
여기에서, 디지털 음향 신호에 대한 아날로그 형태로의 변조 없이 디지털 신호처리를 통해 데이터의 처리 단계를 최소화함으로써, 음향 데이터 손실이나 왜곡을 최소화하고, 음향 품질 개선 효과를 도모하며, 음장 효과를 활용할 수 있다.
또한, 와이파이 통신망을 통해 음향 신호를 전송함으로써, 전파법 시행령을 위반하는 기존의 FM 통신 방식을 대체하여 합법적인 자동차 극장 운영을 가능하게 하며, 나아가, 전파 자원의 무분별한 낭비를 막을 수 있다.
이하, 본 발명의 일 실시예에 따른 와이파이를 이용한 음향의 무선 디지털 전송 방법에 대하여 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른 와이파이를 이용한 음향의 무선 디지털 전송 방법의 순서도이고, 도 3 도 2의 S20 단계의 세부 순서도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 와이파이를 이용한 음향의 무선 디지털 전송 방법은, 디지털 영사 장치(100)가 디지털 시네마 콘텐츠의 국제 표준 규격(DCI: Digital Cinema Initiatives)에 따른 디지털 시네마 콘텐츠를 출력하는 단계(S10), 스트리밍 서버(100)가 디지털 영사 장치(100)로부터 출력되는 디지털 시네마 콘텐츠의 음향 신호를 입력 받아 변환하여 모바일 디바이스(200)로 전송하는 단계(S20) 및 모바일 디바이스(200)가 스트리밍 서버(100)로부터 음향 신호를 수신하여 차량(30) 또는 자동차 극장 시스템에 구비된 음향 출력 장치를 통해 출력하는 단계(S30)를 포함할 수 있다.
디지털 영사 장치(100)가 DCI에 따른 디지털 시네마 콘텐츠를 출력하는 단계(S10)는, 디지털 영사 장치(100)가 디지털 시네마 콘텐츠에 대한 영상 신호 및 음향 신호를 출력하는 단계를 포함할 수 있다.
여기에서, 디지털 시네마 콘텐츠에 대한 영상 신호는 자동차 극장에 구비된 대형 스크린으로 주사될 수 있다.
또한, 디지털 시네마 콘텐츠에 대한 음향 신호는 디지털 영사 장치(100)의 출력 단자에 접속되는 케이블을 통해 스트리밍 서버(100)로 입력될 수 있다. 이때, 디지털 시네마 콘텐츠에 대한 음향 신호는 DCI 사운드 포맷을 채택할 수 있다. DCI 사운드 포맷은 도 1에 도시된 것처럼 16채널의 PCM/WAV, 48~96kHz의 샘플 레이트(Sample rate) 및 320~640kbps의 비트 레이트(Bit rate)로 구성될 수 있으며, 보안이 적용되지 않은 Nonencrypted 형식이 적용될 수 있다.
도 3을 참조하면, 스트리밍 서버(100)가 디지털 영사 장치(100)로부터 출력되는 디지털 시네마 콘텐츠의 음향 신호를 입력 받아 변환하여 모바일 디바이스(200)로 전송하는 단계(S20)는, 스트리밍 서버(100)가 디지털 시네마 콘텐츠의 음향 신호를 수신하는 단계(S21), 디지털 시네마 콘텐츠의 음향 신호를 인코딩하는 단계(S22) 및 모바일 디바이스(200)로 인코딩 된 음향 신호를 전송하는 단계(S23)를 포함할 수 있다.
도 4를 참조하면, 모바일 디바이스(200)로 전송하는 스트리밍 서버(100)가 디지털 시네마 콘텐츠의 음향 신호를 인코딩하는 단계(S31), 인코딩된 디지털 콘텐츠에 동기화 신호를 부여하는 단계(S32) 및 동기화 신호가 부여된 디지털 콘텐츠를 모바일 디바이스(200)로 전송하는 단계(S33)를 포함할 수 있다.
도 5를 참조하면, 모바일 디바이스(200)가 스트리밍 서버(100)로부터 디지털 콘텐츠를 수신하는 단계(S41), 수신한 디지털 콘텐츠의 동기화 신호와 모바일 디바이스의 동기화 정보를 확인하는 단계(S42), 확인한 동기화 신호에 맞게 출력속도를 조절하여 음향을 출력하는 단계(S43)를 포함할 수 있다.
스트리밍 서버(100)는 접속 케이블을 통해 디지털 영사 장치(300)와 연결되어 디지털 영사 장치(300)로부터 출력되는 음향 신호를 입력 받을 수 있다. 이때, 접속 케이블은 상술한 것처럼 디지털 영사 장치(300)의 출력 단자에 접속될 수 있으며, DCI 사운드 포맷에 따른 16채널의 음향 신호의 왜곡이나 변환을 방지할 수 있도록 AES/EBU 방식을 채택하는 것이 바람직하다.
스트리밍 서버(100)는 채널 커플링 방식을 통해 디지털 영사 장치(300)로부터 입력 받은 음향 신호를 모바일 디바이스(200)에서 출력 가능한 형태로 변환할 수 있다. 즉, 스트리밍 서버(100)는 DCI 사운드 포맷에 따른 16채널의 음향 신호를 2채널의 음향 신호로 변환할 수 있다. 아래 표 1은 스트리밍 서버(100)가 DCI 사운드 포맷에 따른 16채널의 음향 신호를 2채널의 음향 신호로 변환하는 데에 사용하는 채널 커플링 맵의 일 예이다.
[표 1]
스트리밍 서버(100)는 변환한 2채널의 음향 신호를 실시간 스트리밍이 가능한 형태로 인코딩할 수 있다.
이때, 스트리밍 서버(100)는 음향 신호를 OPUS 형태로 인코딩하는 것이 바람직하다. OPUS 코덱 방식은 인코딩 속도가 빠르며 Bitrate에 따른 품질의 차이도 없다. 이에, WAV, MP3, AAC, Real Audio 등의 형태와 비교하였을 때, 음향 품질이 가장 뛰어나다고 볼 수 있기 때문이다.
스트리밍 서버(100)는 모바일 디바이스(200)로 인코딩 된 음향 신호를 전송할 수 있다. 이때, 음향 신호처리 장치(200)는 실시간 전송 프로토콜(RTP: Real Time Protocol) 방식으로 음향 신호를 스트리밍할 수 있다.
실시간 전송 프로토콜은 최대 지체속도가 80ms로 동기화에서 뛰어난 성능을 보이며, 스트리밍 데이터의 전송만을 담당하므로 서버에서 클라이언트로 단방향 전송이 가능하다는 점에서 신호 처리에 필요로 하는 자원 소모가 적어 지체속도를 안정적으로 관리할 수 있다.
여기에서, 스트리밍 서버(100)는 스크린에 주사되는 영상 신호와 모바일 디바이스(200)로 전송되는 음향신호를 동기화할 수 있다. 음향신호의 구체적인 동기화 방법은 후술하기로 한다.
모바일 디바이스(200)가 스트리밍 서버(100)로부터 음향 신호를 수신하여 차량(30) 또는 자동차 극장 시스템에 구비된 음향 출력 장치를 통해 출력하는 단계는 모바일 디바이스(200)가 와이파이 통신망을 통해 스트리밍 서버(100)에서 스트리밍하는 음향 신호를 수신하여 출력하는 단계를 포함할 수 있다.
여기에서, 모바일 디바이스(200)는 음향 신호 수신 및 재생을 위한 어플리케이션이 탑재되어 실행될 수 있으며, 해당 어플리케이션을 이용하여 스트리밍 서버(100)에서 스트리밍하는 음향 신호를 수신할 수 있다. 이때, 모바일 디바이스(200)는 와이파이 통신망을 통해 스트리밍 서버(100)에서 스트리밍하는 음향 신호를 수신할 수 있는데, 와이파이 통신망은 802.11ac 이상의 버전이 적용되는 것이 바람직하다. 이는 다수의 모바일 디바이스(200)가 동시에 접속되더라도 데이터의 전송 속도가 저하되는 것을 방지하기 위함이다.
모바일 디바이스(200)는 음향 신호 수신 및 재생을 위한 어플리케이션을 이용하여 OPUS 형태의 음향 신호의 재생을 위한 코덱을 실시할 수 있으며, 차량(30) 내부에 구비된 음향 출력 장치 또는 자동차 극장 시스템에 구비된 다른 음향 출력 장치와 aux, usb 또는 블루투스와 같이 유선 또는 무선 통신을 통해 연결되어 차량(30)에 구비된 스피커를 통해 음향 신호를 재생할 수 있다.
한편, 상술한 바와 같이 본 발명에 따른 와이파이를 이용한 음향의 무선 디지털 전송 시 영상과 음향의 동기화 시스템은 다양한 방법으로 음성 신호와 영상 신호를 동기화할 수 있다.
일 실시예에서, 스트리밍 서버(100)는 디지털 영사 장치(100)에서 출력되는 음향 신호의 타임 코드에 대하여 플로우 제어를 실시하여 스크린에 주사되는 영상 신호와 모바일 디바이스(200)로 전송되는 음향 신호 간의 동기화 차이의 발생 여부를 확인할 수 있다. 예컨대, 스트리밍 서버(100)는 실시간 전송 제어 프로토콜(RTCP: Real Time Control Protocol)을 이용하여 모바일 디바이스(200)로 전송되는 음향 신호의 패킷 수신 간격의 변화 정도를 모니터링할 수 있으며, 패킷 수신 간격이 임계치 이상으로 확인되는 경우, 스크린에 주사되는 영상 신호와 모바일 디바이스(200)로 전송되는 음향 신호 간의 동기화 차이가 발생한 것으로 간주할 수 있다.
스트리밍 서버(100)는 스크린에 주사되는 영상 신호와 모바일 디바이스(200)로 전송되는 음향 신호 간의 동기화 차이의 발생한 것으로 확인하는 경우, 영상 신호의 타임 코드 상의 음향 신호를 스트리밍함으로써 동기화를 조정할 수 있다.
일 실시예에서, 스트리밍 서버(100)는 매 패킷 전송시 특정 정보데이터를 수신 디바이스에 전송하며, 수신 디바이스(200)의 오디오 플레이 앱은 구현/실행중인 패킷데이터와 수신되는 패킷데이터의 정보데이터를 분석하여 위와 같이 동기화가 틀어지는 경우 이를 즉각적으로 대처함으로써 영상과 오디오의 동기화를 최적의 상태로 유지할 수도 있다.
도 6 내지 도 8은 본 발명의 다른 실시예에 따른 음향신호 및 영상신호 동기화 방법의 구체적인 일 예가 도시된 도면이다.
먼저, 도 6에 도시된 바와 같이, 스트리밍 서버(100)는 영상보다 조금 빠르게 일정 프레임 단위로 된 패킷을 패킷번호와 함께 액세스 포인트로 송출하며, 각 패킷 송출시 패킷과 패킷 사이에 약간의 간격을 유지한다(S100). 예컨대, 디지털 시네마 음향 송출시 플레이백 서버 사양에 따라 영상보다 음향을 최대 500ms 먼저 송출하고, 음향 품질을 유지하기 위해 소정 프레임 단위의 패킷으로 변환한다. 예를 들어, 960프레임을 1 패킷으로 설정하며, 패킷당 간격은 20ms로 설정하여 송출할 수 있다. 하지만, 상술한 예시에 한정되는 것은 아니며 환경에 따라 480프레임, 1920프레임, 2880프레임을 1 패킷으로 설정할 수도 있으며, 패킷당 간격은 960프레임에서는 20ms로, 480프레임에서는 10ms로, 1920프레임에서는 40ms로, 2880프레임에서는 60ms로 설정하여 송출하는 등 환경요소를 고려하여 다양한 형태로 설정될 수 있다.
한편, 도 7에 도시된 바와 같이 액세스 포인트에서 모바일 디바이스(200)로 패킷 전달하는 과정에서 네트워크 환경 및 상황에 따라 패킷 유실, 지연 수신 등의 문제 발생될 수 있다.
이러한 문제점을 해결하기 위해, 본 발명에 따른 시스템은 모바일 디바이스의 어플리케이션에서는 도 6에 도시된 바와 같이 수신되는 패킷을 디바이스 메모리에 루프 어레이(Loop Array) 형태로 기록하며, 이 때 전체 수신된 패킷 개수와 저장된 패킷 위치를 함께 기록한다. 또한, 스트리밍 서버에서 송출하는 패킷 헤더에 시퀀스 넘버를 추가하여 전송하며 모바일 디바이스의 어플리케이션은 패킷 수신 후 시퀀스 넘버를 확인하게 된다(S200).
모바일 디바이스는 루프 어레이 형태로 기록된 수신 패킷의 합계가 메모리의 오디오 버퍼를 다 채우는 시점에서 음향을 플레이하기 시작한다(S300).
디바이스에 따라 오디오 버퍼의 크기가 다르고 Access Point의 성능차이가 있기 때문에 최초 영상과 모바일 디바이스의 음향을 확인하여 사용자가 동기화할 수 있도록 음향 출력 시점 조절 기능이 어플리케이션에 구현될 수 있다(최초 사용자가 영상과 음향을 1회 동기화, S400).
음향이 구현되는 시점부터 오디오 재생 시간과 현재 구현되고 있는 패킷 위치를 기록한다(S500).
상술한 본 발명에 따른 와이파이를 이용한 음향의 무선 디지털 전송 시 영상과 음향의 동기화 과정에서, 영상과 오디오의 동기화가 틀어지는 대부분의 경우에 해당 문제를 해결할 수 있도록 시스템의 각 부분에서 상황에 따라 최적의 동기화 기술을 구현하는 것을 특징으로 한다.
이하에서는 상황별 동기화 조정 방법의 구체적인 알고리즘에 대해 설명하기로 한다.
1. 네트워크 속도 차이에 따른 동기화 틀어짐 조정 방법
상술한 S100 단계에서 패킷은 960프레임 기준 20ms 간격으로 송출되며, 와 같이 오디오 재생 시간이 확인된다. 따라서 오디오 재생시간/20ms = 오디오 송출을 위해 필요한 패킷수를 산출 가능하다(예: 1초 = 1000ms = 50 패킷).
스트리밍이 진행되는 동안 디바이스의 어플리케이션은 위 η의 필요 패킷수와 수신된 전체 패킷수를 실시간으로 비교한다.
이때, 1-1) 필요 패킷수가 수신된 전체 패킷수보다 적은 경우(필요패킷수 > 수신된 전체 패킷수), 네트워크 속도 지연으로 송출된 패킷이 아직 수신되지 않은 것으로 판단하며, 이 경우 스마트 디바이스의 어플리케이션은 디바이스의 네트워크를 리프레시(종료 후 재연결)하며 이 때 상술한 S200 단계에서 산출된 전체 패킷수를 일정수만큼(예컨대 +1) 증가시키며 상술한 S500 단계서 측정된 패킷 위치도 해당 패킷만큼 증가한 패킷으로 조정한다.
반면, 1-2) 필요 패킷수가 수신된 전체 패킷수보다 많은 경우(필요패킷수 < 수신된 전체 패킷수), 네트워크 속도 지연으로 정체되어 있던 패킷이 한꺼번에 몰려 수신된 것으로 판단하여, 이 경우 스마트 디바이스의 어플리케이션은 디바이스의 네트워크를 리프레시(종료 후 재연결)하며, 이 때 상술한 S200 단계에서 산출된 전체 패킷수를 일정량만큼(예컨대 -1) 감소시키며 상술한 S500 단계에서 측정된 패킷 위치도 해당 패킷만큼 감소한 패킷으로 조정한다.
2. 네트워크 전송 중 패킷 유실에 따른 동기화 틀어짐 조정 방법
상술한 S200 단계의 스트리밍 서버에서 송출하는 패킷 헤더에 추가된 시퀀스 넘버와 모바일 디바이스의 어플리케이션에서 확인한 시퀀스 넘버가 연속적이지 않은 경우, 스마트 디바이스는 이를 패킷 유실로 판단한다.
이러한 경우, 모바일 어플리케이션에서 유실된 패킷은 다음 패킷이 대체하여 음향을 송출하고 디바이스의 네트워크를 리프레시(종료 후 재연결)한다.
3. 지속적인 네트워크 지연에 따른 Buffer Underrun 문제 발생으로 동기화가 틀어지는 경우
버퍼 언더런(Buffer Underrun)이란 오디오 버퍼크기보다 기록된 패킷 버퍼 크기가 적어서 오디오 버퍼에 충분한 패킷 데이터가 남아있지 않는 경우로, 다수의 모바일 디바이스는 이러한 Buffer Underrun이 발생하는 경우 출력 속도를 조절하여 최대한 Buffer내 패킷을 유지하려 하므로 음향 지연 등의 문제가 발생한다.
이러한 문제점을 방지하기 위해, 모바일 디바이스는 패킷이 수신된 메모리에서 오디오 버퍼로 전달된 누적 버퍼 데이터 크기를 기록하고, 오디오 버퍼에서 실제 출력, 구현된 오디오 데이터의 크기를 기록하며, 누적 버퍼 데이터의 크기에서 구현된 오디오 데이터의 크기를 연산하여 오디오 송출을 대기하는 버퍼의 크기를 산출한다.
모바일 디바이스는 산출된 대기 버퍼 크기와 음향 구현에 필요한 최소 버퍼 사이즈를 비교하여, 대기 버퍼 사이즈가 최소 버퍼 사이즈보다 작을 경우 현재 플레이 되고 있는 수신 패킷과 같은 패킷을 한번 더 기록함으로써 버퍼의 언더런을 방지할 수 있다.
몇몇 다른 실시예에서, 본 발명의 다른 실시예에 따른 와이파이를 이용한 음향의 무선 디지털 전송 시 영상과 음향의 동기화 방법은, 스트리밍 서버(100)가 모바일 디바이스(200)로부터 디지털 시네마 콘텐츠에 대한 평가를 수신하여 분석하는 단계를 더 포함할 수 있다.
스트리밍 서버(100)는 모바일 디바이스(200)에서 실행되는 음향 신호 수신 및 재생을 위한 어플리케이션을 통해 디지털 시네마 콘텐츠에 대한 평가를 요청하여 입력 받을 수 있다. 예컨대, 평가 항목에는 디지털 시네마 콘텐츠의 내용에 대한 코멘트 입력, 디지털 시네마 콘텐츠의 영사에 대한 코멘트 입력 등이 포함될 수 있으며, 각 항목 별 텍스트 형태의 평가 결과 코멘트를 입력 받을 수 있다.
스트리밍 서버(100)는 모바일 디바이스(200)로부터 수신하는 디지털 시네마 콘텐츠에 대한 평가 결과 텍스트를 분석하여 디지털 시네마 콘텐츠의 평점을 산출할 수 있다.
예를 들면, 스트리밍 서버(100)는 입력 데이터에 대하여 문맥 정보를 추출하는 인공 신경망을 구축할 수 있다.
여기서, 입력 데이터는 디지털 시네마 콘텐츠에 대한 평가 결과 텍스트일 수 있다.
스트리밍 서버(100)는 모바일 디바이스(200)로부터 수신하는 디지털 시네마 콘텐츠에 대한 평가 결과 텍스트를 누적하여 저장할 수 있으며, 저장한 디지털 시네마 콘텐츠에 대한 평가 결과 텍스트를 학습 데이터로 추출할 수 있다.
스트리밍 서버(100)는 Word2Vec 알고리즘으로 학습 데이터를 학습하여 입력 데이터에 대하여 문맥 정보를 추출하는 신경망을 구축할 수 있다.
Word2Vec 알고리즘은 신경망 언어 모델(NNLM : Neural Network Language Model)을 포함할 수 있다. 신경망 언어 모델은 기본적으로 Input Layer, Projection Layer, Hidden Layer, Output Layer로 이루어진 Neural Network이다. 신경망 언어 모델은 단어를 벡터화하는 방법에 사용되는 것이다. 신경망 언어 모델은 공지된 기술이므로 보다 자세한 설명은 생략하기로 한다.
Word2vec 알고리즘은, 텍스트마이닝을 위한 것으로, 각 단어 간의 앞, 뒤 관계를 보고 근접도를 정하는 알고리즘이다. Word2vec 알고리즘은 비지도 학습 알고리즘이다. Word2vec 알고리즘은 이름이 나타내는 바와 같이 단어의 의미를 벡터형태로 표현하는 계량기법일 수 있다. Word2vec 알고리즘은 각 단어를 200차원 정도의 공간에서 백터로 표현할 수 있다. Word2vec 알고리즘을 이용하면, 각 단어마다 단어에 해당하는 벡터를 구할 수 있다.
Word2vec 알고리즘은 종래의 다른 알고리즘에 비해 자연어 처리 분야에서 비약적인 정밀도 향상을 가능하게 할 수 있다. Word2vec은 입력한 말뭉치의 문장에 있는 단어와 인접 단어의 관계를 이용해 단어의 의미를 학습할 수 있다. Word2vec 알고리즘은 인공 신경망에 근거한 것으로, 같은 맥락을 지닌 단어는 가까운 의미를 지니고 있다는 전제에서 출발한다. Word2vec 알고리즘은 텍스트 문서를 통해 학습을 진행하며, 한 단어에 대해 근처(전후 5 내지 10 단어 정도)에 출현하는 다른 단어들을 관련 단어로서 인공 신경망에 학습시킨다. 연관된 의미의 단어들은 문서상에서 가까운 곳에 출현할 가능성이 높기 때문에 학습을 반복해 나가는 과정에서 두 단어는 점차 가까운 벡터를 지닐 수 있다.
Word2vec 알고리즘의 학습 방법은 CBOW(Continuous Bag Of Words) 방식과 skip-gram 방식이 있다. CBOW 방식은 주변 단어가 만드는 맥락을 이용해 타겟 단어를 예측하는 것이다. skip-gram 방식은 한 단어를 기준으로 주변에 올 수 있는 단어를 예측하는 것이다. 대규모 데이터셋에서는 skip-gram 방식이 더 정확한 것으로 알려져 있다.
따라서, 본 발명의 실시 예에서는 skip-gram 방식을 이용한 Word2vec 알고리즘을 사용한다. 예컨대, Word2vec 알고리즘을 통해 학습이 잘 완료되면, 고차원 공간에서 비슷한 단어는 근처에 위치할 수 있다. 상술한 바와 같은 Word2vec 알고리즘에 따르면 학습 문서 내 주위 단어의 분포가 가까운 단어일수록 산출되는 벡터값은 유사해질 수 있으며, 산출된 벡터값이 비슷한 단어는 유사한 것으로 간주할 수 있다. Word2vec 알고리즘은 공지된 기술이므로 벡터값 계산과 관련한 보다 상세한 설명은 생략하기로 한다.
스트리밍 서버(100)는 평점 단계를 복수 개로 나누고, 각 평점 단계에 해당하는 평가 기준 텍스트를 설정 할 수 있다. 예컨대, 스트리밍 서버(100)는 디지털 시네마 콘텐츠에 대한 평가 결과에 따라 전문가에 의해 평점이 부여된 외부 서버에 접속하여 복수의 평점 단계 별 평가 기준 텍스트를 획득할 수 있다.
스트리밍 서버(100)는 신경망에 복수의 평점 단계 별 평가 기준 텍스트를 각각 입력하여, 평점 단계 별평가 기준 텍스트에 대한 문맥 정보를 나타내는 평점 단계 별 기준 벡터 값을 추출할 수 있다.
스트리밍 서버(100)는 신경망에 모바일 디바이스(200)로부터 수신하는 디지털 시네마 콘텐츠에 대한 평가결과 텍스트를 입력하여 문맥 정보를 나타내는 평가 결과 벡터 값을 추출할 수 있다.
스트리밍 서버(100)는 평가 결과 벡터 값과 복수의 기준 벡터 값 각각의 유사도를 산출하고, 복수의 기준벡터 값 중 평가 결과 벡터 값과의 유사도가 가장 높은 기준 벡터 값을 추출할 수 있다. 이때, 유사도 산출 방법에는 유클리디안 거리(Euclidean distance), 코사인 유사도(Cosine similarity), 타니모토 계수(Tanimoto coeffieient) 등이 채택될 수 있다.
스트리밍 서버(100)는 평가 결과 벡터 값과의 유사도가 가장 높은 기준 벡터 값에 해당하는 평점 단계를 현재 상영된 디지털 시네마 콘테츠의 평점으로 산출할 수 있다.
스트리밍 서버(100)는 디지털 시네마 콘텐츠의 산출한 평점을 매칭하여 저장할 수 있으며, 모바일 디바이스(200)에서 실행하는 어플리케이션을 통해 디지털 시네마 콘텐츠 별 평점을 안내할 수 있다.
몇몇 다른 실시예에서, 스트리밍 서버(100)는 모바일 디바이스(200)로부터 수신하는 디지털 시네마 콘텐츠에 대한 평가결과 텍스트(예컨대 리뷰 데이터)로부터 키워드를 추출하고, 추출된 키워드를 미리 학습된 키워드 사전과 비교한 결과에 따라 복수의 텍스트 데이터를 평가 항목별로 분류한다.
스트리밍 서버(100)는 동일 항목으로 분류된 텍스트 데이터로부터 추출된 키워드간 연속성 점수를 산출하여, 연속성 점수가 미리 설정된 기준 점수보다 높은 텍스트 데이터를 대표 텍스트 데이터로 추출한다.
이때, 연속성 점수는 하기 수학식 1에 따라 산출된다.
[수학식 1]
여기서, Cn은 n번째 텍스트 데이터의 연속성 점수, Vcn은 n번째 텍스트 데이터로부터 추출된 키워드의 임베딩 벡터, Vcf는 n번째 텍스트 데이터로부터 추출된 키워드의 직전 단어에 대한 임베딩 벡터, Vcb는 n번째 텍스트 데이터로부터 추출된 키워드의 직후 단어에 대한 임베딩 벡터이다.
예를 들어, n번째 텍스트 데이터가 A, B, C, D, E라는 단어들로 구성된 리뷰 데이터이고, 이 중 C라는 단어가 키워드로 추출되는 경우, Vcn은 단어 C에 대한 임베딩 벡터, Vcf는 단어 B에 대한 임베딩 벡터, Vcb는 단어 D에 대한 임베딩 벡터로 결정될 수 있다.
이후, 스트리밍 서버(100)는 추출된 대표 텍스트 데이터별로 개별 평가 점수를 산출하여, 산출된 복수의 개별 평가 점수에 대한 평균값을 디지털 시네마 콘텐츠의 최종 평가점수로 산출한다.
이때, 상기 개별 평가 점수는 하기 수학식 2에 따라 산출된다.
[수학식 2]
여기서, ri는 i번째 대표 텍스트 데이터의 개별 평가 점수, Vj는 i번째 대표 텍스트 데이터의 j번째 단어에 대한 임베딩 벡터, Vzj는 i번째 대표 텍스트 데이터에서 j번째 단어를 제외한 나머지 단어들 대한 임베딩 벡터의 평균값, aj는 i번째 대표 텍스트 데이터의 j번째 단어에 대한 가중치값이다.
이와 같이, 스트리밍 서버(100)는 디지털 시네마 콘텐츠별로 수집되는 텍스트 데이터를 기초로, 빅데이터 분석 및 상기 수학식을 통해 디지털 시네마 콘텐츠의 평가점수를 산출함으로써, 평가 결과의 신뢰성을 향상시킬 수 있다.
이와 같은, 본 발명에 따른 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 공간으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 스트리밍 서버
200: 모바일 디바이스
300: 디지털 영사 장치

Claims (4)

  1. 디지털 콘텐츠를 저장 및 출력하는 디지털 영사 장치;
    상기 디지털 영사 장치와 연결되어, 상기 디지털 영사 장치로부터 수신된 디지털 시네마 콘텐츠를 액세스 포인트로 송출하는 스트리밍 서버; 및
    상기 액세스 포인트를 통해 상기 스트리밍 서버로부터 송출된 디지털 시네마 콘텐츠의 음향신호를 수신하고, 음향 출력 장치와 유선 또는 무선 통신으로 연결되어 상기 음향 출력 장치를 통해 디지털 시네마 콘텐츠의 음향신호가 출력되도록 하는 모바일 디바이스;를 포함하는, 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 시스템에 있어서,
    상기 스트리밍 서버는,
    상기 디지털 시네마 콘텐츠의 음성 신호를 소정 프레임 단위의 패킷으로 변환하고, 변환된 패킷을 상기 디지털 시네마 콘텐츠의 영상 신호보다 소정 시간 먼저 액세스 포인트로 송출하되, 변환된 패킷을 패킷마다 부여되는 패킷번호와 함께 액세스 포인트로 송출하고,
    상기 모바일 디바이스는,
    수신되는 복수의 패킷을 루프 어레이 형태로 기록하되, 수신된 패킷의 전체 개수와 패킷의 저장 위치를 함께 기록하여, 루프 어레이 형태로 기록된 수신 패킷의 합계가 메모리의 오디오 버퍼를 모두 채우는 시점에서 음향이 재생되도록 제어하며, 음향이 구현되는 시점부터 오디오 재생 시간과 현재 구현되고 있는 패킷 위치를 기록하며,
    상기 모바일 디바이스는,
    디지털 시네마 콘텐츠와 디지털 시네마 콘텐츠의 음향신호를 동기화시킬 수 있도록,
    1) 오디오 송출을 위해 필요한 패킷 수인 필요 패킷수(n)를 산출한 후, 스트리밍이 진행되는 동안 상기 필요 패킷수(n)와 수신된 전체 패킷수(t)를 실시간으로 비교하여,
    필요 패킷수가 수신된 전체 패킷수보다 적은 경우, 네트워크 속도 지연으로 송출된 패킷이 아직 수신되지 않은 것으로 판단하여 네트워크를 종료 후 재연결하며, 상기 전체 패킷수를 t+1로 설정하고, 패킷 위치를 n만큼 증가한 패킷으로 보정하고,
    필요 패킷수가 수신된 전체 패킷수보다 많은 경우, 네트워크 속도 지연으로 정체되어 있던 패킷이 한꺼번에 몰려 수신된 것으로 판단하여 네트워크를 종료 후 재연결하며, 상기 전체 패킷수를 t-1로 설정하고, 패킷 위치를 n만큼 감소한 패킷으로 보정하고,
    2) 스트리밍 서버에서 송출하는 패킷 헤더에 추가된 시퀀스 넘버와 모바일 디바이스의 어플리케이션에서 확인한 시퀀스 넘버가 연속적이지 않은 경우, 패킷이 유실된 것으로 판단하여, 유실된 패킷의 다음 패킷을 대체하여 음향을 송출하고 디바이스의 네트워크를 종료 후 재연결하고,
    3) 오디오 버퍼크기보다 기록된 패킷 버퍼 크기가 적어서 오디오 버퍼에 충분한 패킷 데이터가 남아있지 않는 경우,
    패킷이 수신된 메모리에서 오디오 버퍼로 전달된 누적 버퍼 데이터 크기를 기록하고, 오디오 버퍼에서 실제 출력, 구현된 오디오 데이터의 크기를 기록하고, 누적 버퍼 데이터의 크기에서 구현된 오디오 데이터의 크기를 연산하여 오디오 송출을 대기하는 버퍼의 크기를 산출하고,
    산출된 대기 버퍼 크기와 음향 구현에 필요한 최소 버퍼 사이즈를 비교하여, 대기 버퍼 사이즈가 최소 버퍼 사이즈보다 작을 경우 현재 플레이 되고 있는 수신 패킷과 같은 패킷을 한 번 더 기록하는, 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 시스템.
  2. 제1항에 있어서,
    상기 스트리밍 서버는,
    기존의 FM을 통한 무선 전송 환경에도 사용될 수 있도록 음향 신호의 디지털 출력과 일반 아날로그 출력을 동시에 지원하고, 이 때 디지털 방식와 아날로그 방식의 시차가 발생하지 않도록 내장된 디지털 시그널 프로세서(DSP; Digital Signal Processor)에 기록된 프로그램에 따라 디지털로 변환된 오디오 신호가 출력되는 시점까지 아날로그 오디오 신호를 버퍼에 저장하고 디지털로 변환된 오디오 신호의 출력과 동시에 아날로그 오디오 신호를 송출하는, 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 시스템.
  3. 삭제
  4. 삭제
KR1020230021021A 2023-02-16 2023-02-16 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 방법 KR102589864B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230021021A KR102589864B1 (ko) 2023-02-16 2023-02-16 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230021021A KR102589864B1 (ko) 2023-02-16 2023-02-16 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 방법

Publications (1)

Publication Number Publication Date
KR102589864B1 true KR102589864B1 (ko) 2023-10-16

Family

ID=86006563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230021021A KR102589864B1 (ko) 2023-02-16 2023-02-16 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 방법

Country Status (1)

Country Link
KR (1) KR102589864B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060000506A (ko) * 2004-06-29 2006-01-06 삼성전자주식회사 아날로그 및 디지털 데이터를 동시에 전송하는 커넥터를이용한 영상신호의 통신기기
KR20110005518A (ko) * 2009-07-10 2011-01-18 에스케이 텔레콤주식회사 Ｖｂｒ 비디오 전송 시스템, 서버 및 방법
KR20150075132A (ko) * 2013-12-24 2015-07-03 주식회사 케이티 패킷을 전송하는 네트워크 장치 및 방법, 그리고 패킷을 수신하는 디바이스
KR101589983B1 (ko) * 2014-10-16 2016-02-12 삼성에스디에스 주식회사 패킷 전송 간격 제어 방법
KR20180046766A (ko) * 2016-10-28 2018-05-09 삼성전자주식회사 컨텐츠 출력 장치 및 그 제어 방법
KR20190081048A (ko) * 2017-12-29 2019-07-09 주식회사 픽스트리 Ｉｐ 네트워크를 이용하여 스트림 패킷 전송 시 패킷 손실 검출 및 복구 방법 및 장치
KR20200146045A (ko) * 2012-10-10 2020-12-31 삼성전자주식회사 미디어 데이터 전달 제어를 위한 방법 및 장치
KR102252541B1 (ko) 2021-01-28 2021-05-14 (주)유유코리아 와이파이를 이용한 음향의 무선 디지털 전송 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060000506A (ko) * 2004-06-29 2006-01-06 삼성전자주식회사 아날로그 및 디지털 데이터를 동시에 전송하는 커넥터를이용한 영상신호의 통신기기
KR20110005518A (ko) * 2009-07-10 2011-01-18 에스케이 텔레콤주식회사 Ｖｂｒ 비디오 전송 시스템, 서버 및 방법
KR20200146045A (ko) * 2012-10-10 2020-12-31 삼성전자주식회사 미디어 데이터 전달 제어를 위한 방법 및 장치
KR20150075132A (ko) * 2013-12-24 2015-07-03 주식회사 케이티 패킷을 전송하는 네트워크 장치 및 방법, 그리고 패킷을 수신하는 디바이스
KR101589983B1 (ko) * 2014-10-16 2016-02-12 삼성에스디에스 주식회사 패킷 전송 간격 제어 방법
KR20180046766A (ko) * 2016-10-28 2018-05-09 삼성전자주식회사 컨텐츠 출력 장치 및 그 제어 방법
KR20190081048A (ko) * 2017-12-29 2019-07-09 주식회사 픽스트리 Ｉｐ 네트워크를 이용하여 스트림 패킷 전송 시 패킷 손실 검출 및 복구 방법 및 장치
KR102252541B1 (ko) 2021-01-28 2021-05-14 (주)유유코리아 와이파이를 이용한 음향의 무선 디지털 전송 방법

Similar Documents

Publication Publication Date Title
US20210217436A1 (en) Data driven audio enhancement
US11657830B2 (en) Data driven radio enhancement
US9984703B2 (en) Sound verification
KR101726208B1 (ko) 볼륨 레벨러 제어기 및 제어 방법
US20100324894A1 (en) Voice to Text to Voice Processing
CA2792898C (en) Adaptive audio transcoding
US20160056787A1 (en) Equalizer controller and controlling method
US10135707B2 (en) Playout delay adjustment method and electronic apparatus thereof
US20150348546A1 (en) Audio processing apparatus and audio processing method
CN101785007A (zh) 同步数据流的方法
KR20080061747A (ko) 오디오 배속 재생 방법 및 장치
CN111131616A (zh) 基于智能终端的音频共享方法及相关装置
KR102589864B1 (ko) 음향 동기화 기술이 적용된 디지털 음향의 무선 WiFi 전송 방법
KR102252541B1 (ko) 와이파이를 이용한 음향의 무선 디지털 전송 방법
KR101597768B1 (ko) 입체 음향을 이용한 다자간 인터랙티브 통화 시스템 및 방법
KR20210072384A (ko) 전자 장치 및 이의 제어 방법
CN116259322A (zh) 音频数据压缩方法及相关产品
Fernández et al. Monitoring of audio visual quality by key indicators: Detection of selected audio and audiovisual artefacts
US20240029755A1 (en) Intelligent speech or dialogue enhancement
US20240153520A1 (en) Neutralizing distortion in audio data
US20220092952A1 (en) Decoding device, decoding method, and program
US20240135944A1 (en) Controlling local rendering of remote environmental audio
KR102171479B1 (ko) 디지털 오디오 공동 재생 서비스 방법 및 시스템
US20230267942A1 (en) Audio-visual hearing aid
US20230230602A1 (en) Low latency audio packet loss concealment

Legal Events

Date Code Title Description
GRNT Written decision to grant