KR20220089273A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20220089273A
KR20220089273A KR1020200179739A KR20200179739A KR20220089273A KR 20220089273 A KR20220089273 A KR 20220089273A KR 1020200179739 A KR1020200179739 A KR 1020200179739A KR 20200179739 A KR20200179739 A KR 20200179739A KR 20220089273 A KR20220089273 A KR 20220089273A
Authority
KR
South Korea
Prior art keywords
signal
test signal
audio
output
video
Prior art date
Application number
KR1020200179739A
Other languages
English (en)
Inventor
허동규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200179739A priority Critical patent/KR20220089273A/ko
Priority to PCT/KR2021/016780 priority patent/WO2022139182A1/ko
Publication of KR20220089273A publication Critical patent/KR20220089273A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

전자 장치 및 그 제어 방법이 개시된다. 전자 장치는 입력 신호를 제공받는 입력 인터페이스, 스피커, 디스플레이, 비가청 주파수 대역의 음성 테스트 신호 및 기 설정된 픽셀 영역에 오브젝트를 표시하는 영상 테스트 신호를 포함하는 테스트 신호를 저장하는 메모리 및 프로세서를 포함하고, 프로세서는 복수의 서로 다른 포맷의 입력 신호 중 선택된 입력 신호의 음성 신호의 포맷 및 영상 신호의 포맷을 식별하며, 식별된 음성 신호의 포맷과 동일한 포맷으로 변환한 음성 테스트 신호를 출력하도록 스피커를 제어하고, 식별된 영상 신호의 포맷과 동일한 포맷으로 변환한 영상 테스트 신호를 출력하도록 디스플레이를 제어하며, 출력된 음성 테스트 신호와 출력된 영상 테스트 신호 간의 시간 차에 따라 음성 테스트 신호와 영상 테스트 신호 간의 립 싱크를 보정한다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF}
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로 더욱 상세하게는 영상 신호와 음성 신호를 동기화하는 전자 장치 및 그 제어 방법에 관한 것이다.
최근 많은 전자 장치들은 다양한 코덱으로 인코딩된 컨텐츠를 재생할 수 있다. 전자 장치는 컨텐츠를 인코딩한 코덱을 이용하여 디코딩하고, 디코딩된 컨텐츠를 재생할 수 있다. 컨텐츠는 영상 신호와 음성 신호를 포함할 수 있다. 영상 신호와 음성 신호는 서로 다른 코덱으로 디코딩될 수 있다. 따라서, 영상 신호 처리 시간과 음성 신호 처리 시간은 서로 다를 수 있다. 또한, 전자 장치의 영상 신호 처리 과정과 음성 신호 처리 과정 간의 차이에 따라 영상 신호 처리 시간과 음성 신호 처리 시간이 달라질 수 있다. 영상 신호 처리 시간과 음성 신호 처리 시간의 차이에 의해 영상 신호의 출력 시점과 음성 신호의 출력 시점은 달라질 수 있다. 영상 신호의 출력 시점과 음성 신호의 출력 시점이 달라지는 경우, 영상 신호와 음성 신호의 립 싱크(lip-sync)가 맞지 않는다고 표현될 수 있다.
기존 기술은 전자 장치에 제공되는 입력 소스 또는 해상도에 따라 영상 신호와 음성 신호의 차이를 테이블로 저장하고, 테이블에 따른 딜레이 값을 적용하여 립 싱크를 보정한다. 따라서, 기존 기술은 입력 소스 또는 해상도에 따라 고정된 딜레이 값을 적용하기 때문에 정확도가 떨어지는 문제가 있다. 따라서, 실제 영상 신호 및 음성 신호의 출력 시간을 고려하여 정확하게 립 싱크를 보정할 수 있는 기술에 대한 필요성이 존재한다.
본 개시의 목적은 정확하게 립 싱크를 보정하는 전자 장치 및 그 제어 방법을 제공함에 있다.
본 개시의 일 실시 예에 따른 전자 장치는 상기 전자 장치가 출력하는 음성 신호 및 영상 신호를 포함하는 입력 신호를 제공받는 입력 인터페이스, 스피커, 디스플레이, 비가청 주파수 대역의 음성 테스트 신호 및 기 설정된 픽셀 영역에 오브젝트를 표시하는 영상 테스트 신호를 포함하는 테스트 신호를 저장하는 메모리 및 프로세서를 포함하고, 상기 프로세서는 복수의 서로 다른 포맷의 입력 신호 중 선택된 입력 신호의 음성 신호의 포맷 및 영상 신호의 포맷을 식별하며, 상기 식별된 음성 신호의 포맷과 동일한 포맷으로 변환한 상기 음성 테스트 신호를 출력하도록 상기 스피커를 제어하고, 상기 식별된 영상 신호의 포맷과 동일한 포맷으로 변환한 상기 영상 테스트 신호를 출력하도록 상기 디스플레이를 제어하며, 출력된 음성 테스트 신호와 출력된 영상 테스트 신호 간의 시간 차에 따라 상기 음성 테스트 신호와 상기 영상 테스트 신호 간의 립 싱크(lip-sync)를 보정한다.
그리고, 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 복수의 서로 다른 포맷의 입력 신호 중 선택된 입력 신호의 음성 신호의 포맷 및 영상 신호의 포맷을 식별하는 단계, 상기 식별된 음성 신호의 포맷과 동일한 포맷으로 변환한 비가청 주파수 대역의 음성 테스트 신호를 출력하고, 상기 식별된 영상 신호의 포맷과 동일한 포맷으로 변환한 기 설정된 픽셀 영역에 오브젝트를 표시하는 영상 테스트 신호를 출력하는 단계 및 출력된 음성 테스트 신호와 출력된 영상 테스트 신호 간의 시간 차에 따라 상기 음성 테스트 신호와 상기 영상 테스트 신호 간의 립 싱크(lip-sync)를 보정하는 단계를 포함한다.
또한, 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 수행하는 프로그램이 기록된 비일시적 컴퓨터 판독 가능 저장 매체는 복수의 서로 다른 포맷의 입력 신호 중 선택된 입력 신호의 음성 신호의 포맷 및 영상 신호의 포맷을 식별하는 단계, 상기 식별된 음성 신호의 포맷과 동일한 포맷으로 변환한 비가청 주파수 대역의 음성 테스트 신호를 출력하고, 상기 식별된 영상 신호의 포맷과 동일한 포맷으로 변환한 기 설정된 픽셀 영역에 오브젝트를 표시하는 영상 테스트 신호를 출력하는 단계 및 출력된 음성 테스트 신호와 출력된 영상 테스트 신호 간의 시간 차에 따라 상기 음성 테스트 신호와 상기 영상 테스트 신호 간의 립 싱크(lip-sync)를 보정하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하는 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구체적인 구성을 설명하는 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 프로세서의 구성을 설명하는 도면이다.
도 5는 본 개시의 일 실시 예에 따른 영상 테스트 신호를 설명하는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 립 싱크의 보정을 설명하는 도면이다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하는 흐름도이다.
도 8은 본 개시의 일 실시 예에 따른 립 싱크를 보정하는 과정을 설명하는 흐름도이다.
이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 개시의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 프로세서에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. 그리고 본 명세서에서 "A 또는 B"라고 기재한 것은 A와 B 중 어느 하나를 선택적으로 가리키는 것뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 명세서에서 "포함"이라는 용어는 포함하는 것으로 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.
본 명세서에서 수행되는 정보(데이터) 전송 과정은 필요에 따라서 암호화/복호화가 적용될 수 있으며, 본 명세서 및 특허청구범위에서 정보(데이터) 전송 과정을 설명하는 표현은 별도로 언급되지 않더라도 모두 암호화/복호화하는 경우도 포함하는 것으로 해석되어야 한다. 본 명세서에서 "A로부터 B로 전송(전달)" 또는 "A가 B로부터 수신"과 같은 형태의 표현은 중간에 다른 매개체가 포함되어 전송(전달) 또는 수신되는 것도 포함하며, 반드시 A로부터 B까지 직접 전송(전달) 또는 수신되는 것만을 표현하는 것은 아니다.
본 명세서에서는 본 개시의 설명에 필요한 필수적인 구성요소만을 설명하며, 본 개시의 본질과 관계가 없는 구성요소는 언급하지 아니한다. 그리고 언급되는 구성요소만을 포함하는 배타적인 의미로 해석되어서는 아니되며 다른 구성요소도 포함할 수 있는 비배타적인 의미로 해석되어야 한다.
그 밖에도, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다. 한편, 각 실시 예는 독립적으로 구현되거나 동작될 수도 있지만, 각 실시 예는 조합되어 구현되거나 동작될 수도 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하는 도면이다.
도 1을 참조하면, 전자 장치(100)가 도시되어 있다. 예를 들어, 전자 장치(100)는 스마트폰, 태블릿 PC, 네비게이션, 슬레이트 PC, 웨어러블 디바이스, 디지털 TV, 데스크탑 컴퓨터, 랩탑 컴퓨터, 키오스크 등을 포함할 수 있다. 전자 장치(100)는 디스플레이 및 스피커를 포함할 수 있다. 그리고, 전자 장치(100)는 컨텐츠를 재생할 수 있다. 컨텐츠는 영상 신호(예, 데이터)와 음성 신호를 포함할 수 있다. 컨텐츠의 영상 신호와 음성 신호는 동기화되어 출력되어야 한다. 그러나, 립 싱크(lip-sync)가 맞지 않으면, 사용자는 컨텐츠를 감상할 때 불편함을 느낄 수 있다.
한편, 컨텐츠의 영상 신호와 음성 신호는 각각 인코딩되어 전자 장치(100)로 제공될 수 있다. 전자 장치(100)는 비디오 코덱을 이용하여 인코딩된 영상 신호를 디코딩하고, 영상 처리 과정을 수행하여 디스플레이를 통해 영상 신호를 출력할 수 있다. 또한, 전자 장치(100)는 오디오 코덱을 이용하여 인코딩된 음성 신호를 디코딩하고, 음성 처리 과정을 수행하여 스피커를 통해 음성 신호를 출력할 수 있다. 영상 신호의 디코딩 과정을 포함하는 영상 처리 과정에 걸리는 시간과 음성 신호의 디코딩 과정을 포함하는 음성 처리 과정에 걸리는 시간은 서로 다를 수 있다. 따라서, 전자 장치(100)는 영상 처리 과정과 음성 처리 과정을 동시에 시작하더라도 영상 신호의 출력 시점과 음성 신호의 출력 시점은 서로 다를 수 있다. 따라서, 전자 장치(100)는 영상 신호의 출력 시점과 음성 신호의 출력 시점의 차이를 고려하여 립 싱크를 보정할 필요가 있다.
아래에서는 본 개시의 립 싱크 보정 과정과 립 싱크 보정 과정을 수행하는 전자 장치에 대해 구체적으로 설명한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하는 블록도이다.
도 2를 참조하면, 전자 장치(100)는 프로세서(110), 입력 인터페이스(120), 디스플레이(130), 스피커(140) 및 메모리(150)를 포함한다. 상술한 바와 같이, 전자 장치(100)는 영상 신호 및 음성 신호를 출력할 수 있다.
입력 인터페이스(120)는 음성 신호 및 영상 신호를 포함하는 입력 신호 (예, 컨텐츠)를 제공받는다. 예를 들어, 입력 인터페이스(120)는 통신 인터페이스 또는 입출력 포트를 포함할 수 있다. 입력 인터페이스(120)는 외부 장치로부터 입력 신호를 제공받는 기능을 수행하고, 입력부, 입력 모듈 등으로 불릴 수도 있다.
입력 인터페이스(120)가 통신 인터페이스로 구현되는 경우, 입력 인터페이스(120)는 외부 장치와 통신을 수행할 수 있다. 입력 인터페이스(120)는 외부 장치로부터 유무선 통신 방식을 이용하여 입력 신호를 제공받을 수 있다. 일 실시 예로서, 입력 신호는 웹 서버, 클라우드 등과 같이 네트워크를 통해 전자 장치(100)로 제공 될 수 있다. 입력 인터페이스(120)가 통신 인터페이스로 구현되는 경우, 통신 인터페이스는 3G, LTE(Long Term Evolution), 5G, 와이파이, 블루투스, DMB(Digital Multimedia Broadcasting), ATSC(Advanced Television Systems Committee), DVB(Digital Video Broadcasting), LAN(Local Area Network), 와이파이, 지그비, 비콘, 적외선 통신 등의 방식으로 통신을 수행할 수 있는 모듈을 포함할 수 있다. 또한, 통신 인터페이스는 GPS(Global Positioning System) 모듈을 포함할 수 있다. 외부 장치와 통신을 수행하는 통신 인터페이스는 통신부, 통신 모듈, 송수신부 등으로 불릴 수도 있다. 입력 인터페이스(120)가 입출력 포트로 구현되는 경우, 입력 인터페이스(120)는 외부 장치(외장형 메모리 포함)로부터 입력 신호를 제공 받을 수 있다. 예를 들어, 입력 인터페이스(120)가 입출력 포트로 구현되는 경우, 입출력 포트는 HDMI(High-Definition Multimedia Interface), DP(DisplayPort), RGB, DVI(Digital Visual Interface), USB(Universal Serial Bus), 썬더볼트, LAN 등의 포트를 포함할 수 있다.
한편, 전자 장치(100)는 통신 인터페이스 및 입출력 포트를 통해 입력 신호를 제공받을 수 있다. 일 실시 예로서, 입력 신호는 셋탑 박스, 외장형 메모리 등을 통해 전자 장치(100)로 제공 될 수 있다. 그리고, 전자 장치(100)는 통신 인터페이스 및 입출력 포트를 통해 전자 장치(100)의 데이터를 외부 장치로 제공할 수 있다. 예를 들어, 데이터는 영상 신호와 음성 신호를 포함하는 데이터일 수 있다. 따라서, 상술한 입력 인터페이스(120)는 데이터를 입력받는 기능 이외에 데이터를 출력(또는, 전달)하는 기능을 함께 수행할 수 있다. 따라서, 입력 인터페이스(120)는 입출력 인터페이스라고 불릴 수도 있다. 또한, 입력 인터페이스(120)는 사용자로부터 제어 명령을 입력받을 수 있다. 입력 인터페이스(120)는 사용자로부터 전자 장치(100)에서 재생할 수 있는 복수의 서로 다른 포맷의 입력 신호 중 하나를 선택하는 명령을 입력받을 수 있다. 예를 들어, 입력 인터페이스(120)는 키 패드, 터치 패드, 키보드, 마우스 등을 포함할 수 있다.
디스플레이(130)는 영상 처리가 수행된 영상 신호를 출력한다. 또한, 디스플레이(130)는 영상 테스트 신호를 출력한다. 출력되는 영상 테스트 신호는 입력 신호의 영상 신호와 동일한 포맷으로 변환된 신호일 수 있다. 그리고, 영상 테스트 신호는 립 싱크 보정을 위한 테스트 신호로서 사용자가 인지하지 못 하는 신호일 수 있다. 예를 들어, 영상 테스트 신호는 기 설정된 픽셀 영역에 오브젝트를 표시하는 신호일 수 있다. 또한, 영상 테스트 신호는 기 설정된 크기의 픽셀 영역에만 오브젝트를 표시하는 신호일 수 있다. 구체적인 예로서, 영상 테스트 신호는 한 픽셀의 크기로 오브젝트를 표시하는 신호일 수 있고, 네 개의 픽셀 크기로 오브젝트를 표시하는 신호일 수 있다. 즉, 영상 테스트 신호는 매우 작은 크기의 신호일 수 있다. 그리고, 영상 테스트 신호는 사용자가 인지하지 못 하도록 디스플레이(130)의 모서리 영역에 출력될 수 있다. 예를 들어, 디스플레이(130)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 플렉서블 디스플레이, 터치 스크린 등으로 구현될 수 있다. 디스플레이(130)가 터치 스크린으로 구현되는 경우, 전자 장치(100)는 터치 스크린을 통해 제어 명령을 입력받을 수 있다.
스피커(140)는 음성 처리가 수행된 음성 신호를 출력한다. 또한, 스피커(140)는 음성 테스트 신호를 출력한다. 출력되는 음성 테스트 신호는 입력 신호의 음성 신호와 동일한 포맷으로 변환된 신호일 수 있다. 그리고, 음성 테스트 신호는 립 싱크 보정을 위한 테스트 신호로서 사용자가 인지하지 못 하는 신호일 수 있다. 예를 들어, 음성 테스트 신호는 비가청 주파수 대역의 신호일 수 있다. 즉, 음성 테스트 신호는 20Hz 미만의 신호이거나 20KHz를 초과하는 신호일 수 있다. 또한, 스피커(140)는 사용자의 입력 명령, 전자 장치(100)의 상태 관련 정보 또는 동작 관련 정보 등을 음성이나 알림음으로 출력할 수 있다.
메모리(150)는 전자 장치(100)의 기능을 수행하는 데이터 등을 저장하고, 전자 장치(100)에서 구동되는 프로그램, 명령어 등을 저장할 수 있다. 그리고, 메모리(150)는 립 싱크 보정을 위한 처리 알고리즘(또는, 모듈)을 저장할 수 있다. 메모리(150)에 저장된 알고리즘은 프로세서(110)의 제어에 의해 프로세서(110)에 로딩되어 립 싱크 보정을 위한 과정을 수행할 수 있다. 또한, 메모리(150)는 음성 테스트 신호 및 영상 테스트 신호를 저장할 수 있다. 상술한 바와 같이, 음성 테스트 신호는 비가청 주파수 대역의 음성 신호일 수 있고, 영상 테스트 신호는 기 설정된 픽셀 영역에 오브젝트를 표시하는 영상 신호일 수 있다. 예를 들어, 메모리(150)는 롬, 램, HDD, SSD, 메모리 카드 등의 타입으로 구현될 수 있다.
프로세서(110)는 전자 장치(100)의 각 구성을 제어할 수 있다. 예를 들어, 프로세서(110)는 입력 신호를 제공받도록 입력 인터페이스(120)를 제어한다. 그리고, 변환된 영상 테스트 신호 또는 입력 신호에 포함된 영상 신호를 출력하도록 디스플레이(130)를 제어하고, 변환된 음성 테스트 신호 또는 입력 신호에 포함된 음성 신호를 출력하도록 스피커(140)를 제어한다.
프로세서(110)는 선택된 입력 신호에 포함된 음성 신호의 포맷과 영상 신호의 포맷을 식별한다. 상술한 바와 같이, 사용자는 복수의 서로 다른 포맷의 입력 신호 중 하나를 선택할 수 있다. 프로세서(110)는 사용자가 선택한 입력 신호를 식별하고, 식별된 입력 신호에 포함된 음성 신호의 포맷 및 영상 신호의 포맷을 식별한다. 예를 들어, 영상 신호의 포맷은 입력 영상 신호의 종류, 주파수, 해상도, 주사 방식, 코덱 종류 등을 포함할 수 있다. 그리고, 음성 신호의 포맷은 입력 음성 신호의 코덱 종류를 포함할 수 있다. 프로세서(110)는 메모리(150)에 저장된 음성 테스트 신호를 식별된 음성 신호의 포맷과 동일한 포맷으로 변환하고, 영상 테스트 신호를 식별된 영상 신호의 포맷과 동일한 포맷으로 변환한다.
그리고, 프로세서(110)는 변환된 음성 테스트 신호를 처리하여 스피커(140)로 출력한다. 일 실시 예로서, 프로세서(110)는 펄스파 형태로 음성 테스트 신호를 출력할 수 있다. 그리고, 프로세서(110)는 변환된 영상 테스트 신호를 처리하여 디스플레이(130)로 출력한다. 일 실시 예로서, 프로세서(110)는 디스플레이(130)의 모서리 영역에 한 픽셀 크기의 오브젝트를 표시하는 영상 테스트 신호를 출력할 수 있다.
프로세서(110)는 스피커(140)로 출력되는 음성 테스트 신호 및 디스플레이(130)로 출력되는 영상 테스트 신호를 피드백(feedback) 받을 수 있다. 음성 처리 과정이 수행되고 피드백된 음성 테스트 신호의 출력 시간과 영상 처리 과정이 수행되고 피드백된 영상 테스트 신호의 출력 시간 간에는 시간 차가 존재할 수 있다. 프로세서(110)는 피드백된 음성 테스트 신호의 출력 시간과 영상 테스트 신호의 출력 시간의 시간 차를 획득할 수 있다. 프로세서(110)는 획득된 시간 차에 기초하여 더 빨리 출력된 신호에 지연 시간을 추가할 수 있다. 영상 테스트 신호 또는 음성 테스트 신호 중 더 빨리 출력된 신호에 지연 시간을 추가함으로써 프로세서(110)는 립 싱크를 보정할 수 있다. 일반적으로 음성 처리 과정이 빠르기 때문에 프로세서(110)는 음성 신호에 지연 시간을 추가하여 립 싱크를 보정할 수 있다. 그러나, 경우에 따라 영상 신호가 더 빨리 출력되는 경우, 프로세서(110)는 영상 신호에 지연 시간을 추가하여 립 싱크를 보정할 수 있다. 즉, 프로세서(110)는 획득된 시간 차에 기초하여 음성 테스트 신호 또는 영상 테스트 신호 중 하나의 신호를 지연시킬 수 있다. 예를 들어, 음성 테스트 신호가 더 빨리 출력되는 경우, 프로세서(110)는 획득된 시간 차를 음성 테스트 신호에 추가하여 음성 테스트 신호를 지연시킬 수 있다. 영상 테스트 신호가 더 빨리 출력되는 경우, 프로세서(110)는 획득된 시간 차를 영상 테스트 신호에 추가하여 영상 테스트 신호를 지연시킬 수 있다. 프로세서(110)는 지연된 신호와 나머지 신호를 출력하고, 출력된 지연 신호와 나머지 신호를 다시 피드백 받을 수 있다. 프로세서(110)는 피드백된 지연 신호와 나머지 신호에 기초하여 립 싱크 보정 여부를 식별할 수 있다. 만일, 립 싱크가 보정되지 않은 경우, 프로세서(110)는 상술한 과정을 반복하여 수행할 수 있다.
립 싱크가 보정되면, 프로세서(110)는 입력 신호에 획득된 시간 차를 적용하여 립 싱크를 보정할 수 있다. 프로세서(110)는 입력 인터페이스(120)를 통해 선택된 입력 신호를 제공받는다. 상술한 바와 같이, 입력 신호는 영상 신호 및 음성 신호를 포함한다. 프로세서(110)는 입력 신호에 포함된 영상 신호 또는 음성 신호 중 하나의 신호를 획득된 시간 차만큼 지연시킬 수 있다. 획득된 시간 차는 테스트 과정을 통해 립 싱크를 보정하는 지연 시간이다. 따라서, 입력 신호에 포함된 영상 신호 또는 음성 신호 중 하나의 신호는 지연되어 출력되고, 다른 신호는 그대로 출력되는 경우, 립 싱크가 보정된 영상 신호와 음성 신호가 출력될 수 있다.
예를 들어, 사용자는 외부 장치에 저장된 A 포맷의 컨텐츠를 전자 장치(100)에서 재생할 수 있다. 또는, 사용자는 B 포맷의 실시간 컨텐츠를 시청하다가 C 포맷의 VOD 컨텐츠로 전환할 수 있다. 본 개시는 전자 장치(100) 내에서 모든 립 싱크 보정 과정을 수행한다. 그리고, 음성 테스트 신호는 임펄스 음성 신호일 수 있고, 영상 테스트 신호는 한 픽셀 또는 일정한 크기의 픽셀 영역에만 오브젝트를 표시하는 영상 신호와 같이 매우 작은 영상 데이터의 신호일 수 있다. 따라서, 본 개시는 빠르게 립 싱크 보정 과정을 수행할 수 있고, 전자 장치가 직접 수신하는 입력 신호에 대해서도 립 싱크 보정 과정을 수행할 수 있다.
그리고, 본 개시의 음성 테스트 신호 및 영상 테스트 신호는 사용자가 인지할 수 없는 신호이므로, 사용자가 립 싱크 보정 과정을 감지할 수 없다. 따라서, 본 개시는 일반적인 컨텐츠 재생 또는 컨텐츠 전환 과정에서 사용자에게 불편함을 느끼지 못 하게 할 수 있다.
또한, 본 개시는 사용자가 선택한 입력 신호에 포함된 음성 신호와 동일한 포맷의 음성 테스트 신호로 변환하여 음성 처리 과정을 수행하고, 사용자가 선택한 입력 신호에 포함된 영상 신호와 동일한 포맷의 영상 테스트 신호로 변환하여 영상 처리 과정을 수행한다. 따라서, 본 개시는 입력 신호의 포맷과 동일한 포맷의 테스트 신호로 립 싱크를 보정하므로 정확한 립 싱크 보정을 할 수 있다.
한편, 본 개시의 전자 장치(100)는 TV, 스마트 폰과 같이 디스플레이(130) 또는 스피커(140)를 포함하는 일체의 형태로 구현될 수 있다. 또는, 본 개시의 전자 장치(100)는 출력 영상을 단순히 표시해주는 디스플레이 장치 또는 출력 음성을 단순히 출력해주는 스피커를 주변 장치로 포함하는 데스트탑 컴퓨터와 같이 사용에 있어 필수적인 외부 구성을 포함하는 개념일 수 있다.
지금까지 전자 장치(100)에서 립 싱크를 보정하는 과정이 수행되는 실시 예를 설명하였다. 그러나, 립 싱크를 보정하는 일부 과정은 서버에서 수행될 수도 있다. 예를 들어, 전자 장치(100)의 입력 인터페이스(120)는 통신 인터페이스로 구현되고, 전자 장치(100)는 스피커(140)로 출력되는 음성 테스트 신호와 디스플레이(130)로 출력되는 영상 테스트 신호를 서버로 전송하도록 통신 인터페이스를 제어할 수 있다.
서버는 전자 장치(100)로부터 수신되는 음성 테스트 신호와 영상 테스트 신호의 시간 차를 획득할 수 있다. 그리고, 서버는 획득된 시간 차에 대한 정보를 전자 장치(100)로 전송할 수 있다. 전자 장치(100)는 서버로부터 시간 차에 대한 정보를 수신하고, 획득된 시간 차의 정보에 기초하여 더 빨리 출력된 신호에 지연 시간을 추가함으로써 립 싱크를 보정할 수 있다. 전자 장치(100)는 지연된 신호와 나머지 신호를 출력하고, 지연 신호와 나머지 신호를 다시 서버로 전송할 수 있다. 서버는 전자 장치(100)로부터 수신된 지연 신호와 나머지 신호에 기초하여 립 싱크 보정 여부를 식별하고, 식별된 립 싱크 보정 결과에 대한 정보를 전자 장치(100)로 전송할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구체적인 구성을 설명하는 블록도이다.
도 3을 참조하면, 전자 장치(100a)는 프로세서(110), 입력 인터페이스(120), 디스플레이(130), 스피커(140), 메모리(150), 카메라(160), 마이크(170), 센서(180)를 포함할 수 있다. 그리고, 입력 인터페이스(120)는 통신 인터페이스(121), 입출력 포트(122)를 포함할 수 있다. 입력 인터페이스(120), 디스플레이(130), 스피커(140), 메모리(150)는 도 2에서 설명한 바와 동일하므로 구체적인 설명을 생략한다.
카메라(160)는 주변 환경을 촬영할 수 있다. 또한, 카메라(160)는 사용자의 표정이나 동작 등을 촬영할 수 있다. 프로세서(110)는 촬영된 사용자의 표정이나 동작에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다. 예를 들어, 카메라(160)는 CCD 센서, CMOS 센서를 포함할 수 있다. 또한, 카메라(160)는 RGB 카메라, 뎁스 카메라를 포함할 수도 있다.
마이크(170)는 사용자의 음성을 입력받을 수 있다. 프로세서(110)는 입력된 음성에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다.
센서(180)는 사용자의 동작, 거리, 위치 등을 감지할 수 있다. 프로세서(110)는 센서(180)에서 감지된 사용자의 동작, 거리, 위치 등에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다. 또는, 센서(180)는 외부 장치에서 출력되는 신호를 감지할 수 있다. 예를 들어, 외부 장치는 리모컨을 포함할 수 있다. 프로세서(110)는 감지된 신호에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다. 또한, 센서(180)는 전자 장치(100a)의 주변 환경 정보를 감지할 수 있다. 프로세서(110)는 센서(180)에서 감지된 주변 환경 정보에 기초하여 대응되는 제어 동작을 수행할 수 있다. 예를 들어, 센서(180)는 가속도 센서, 중력 센서, 자이로 센서, 지자기 센서, 방향 센서, 모션 인식 센서, 근접 센서, 전압계, 전류계, 기압계, 습도계, 온도계, 조도 센서, 열 감지 센서, 터치 센서, 적외선 센서, 초음파 센서 등을 포함할 수 있다.
한편, 외부 장치는 마이크, 프로세서 및 통신 인터페이스를 포함할 수 있다. 외부 장치의 마이크는 사용자로부터 아날로그 음성 신호를 입력받을 수 있다. 그리고, 외부 장치의 프로세서는 입력된 아날로그 음성 신호를 디지털 신호로 변환하고, 변환된 디지털 신호를 전자 장치(100a)로 전송하도록 외부 장치의 통신 인터페이스를 제어할 수 있다. 일 실시 예로서, 외부 장치의 통신 인터페이스는 블루투스, 와이파이, 지그비, 비콘, 적외선 통신 등의 방식으로 전자 장치(100a)와 통신을 수행할 수 있다. 또는, 외부 장치에는 리모컨 어플리케이션이 설치될 수 있다. 리모컨 어플리케이션이 설치된 외부 장치는 사용자로부터 아날로그 음성 신호를 입력받고, 입력된 아날로그 음성 신호를 디지털 신호로 변환하여 전자 장치(100a)로 전송할 수 있다. 전자 장치(100a)는 수신된 디지털 신호로 변환된 음성 신호에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다. 일 실시 예로서, 외부 장치는 리모컨, 스마트폰, 태블릿 PC, 네비게이션, 슬레이트 PC, 웨어러블 디바이스 등을 포함할 수 있다.
전자 장치(100a)의 통신 인터페이스(121)는 서버 등과 통신하는 통신 모듈과 외부 장치와 통신하는 통신 모듈을 별개로 포함할 수 있고, 동일한 통신 모듈로 서버 및 외부 장치와 통신을 수행할 수도 있다.
도 4는 본 개시의 일 실시 예에 따른 프로세서의 구성을 설명하는 도면이다.
도 4를 참조하면, 프로세서(110)는 입력 신호 식별 모듈(111), 테스트 신호 처리 모듈(112), 영상 신호 처리 모듈(113), 음성 신호 처리 모듈(114) 및 립 싱크 보정 모듈(115)를 포함할 수 있다. 도 4에 도시된 각 모듈은 립 싱크 보정 과정을 수행하는 알고리즘일 수 있고, 메모리에 저장될 수 있다. 프로세서(110)는 립 싱크 보정 과정을 수행할 때, 필요한 모듈 또는 전체 모듈을 프로세서(110)로 로딩하고, 각 모듈을 이용하여 립 싱크 보정 과정을 수행할 수 있다.
입력 신호 식별 모듈(111)은 선택된 입력 신호의 포맷을 식별할 수 있다. 입력 신호는 음성 신호 및 영상 신호를 포함할 수 있다. 따라서, 입력 신호 식별 모듈(111)은 입력 신호에 포함된 음성 신호의 포맷 및 영상 신호의 포맷을 식별할 수 있다. 예를 들어, 영상 신호의 포맷은 입력 영상 신호의 종류, 주파수, 해상도, 주사 방식, 코덱 종류 등을 포함할 수 있다. 따라서, 입력 신호 식별 모듈(111)은 영상 신호의 종류, 주파수, 해상도, 주사 방식, 코덱 종류 등을 식별할 수 있다. 음성 신호의 포맷은 입력 음성 신호의 코덱 종류 등을 포함할 수 있다. 따라서, 입력 신호 식별 모듈(111)은 음성 신호의 코덱 종류 등을 식별할 수 있다.
테스트 신호 처리 모듈(112)은 음성 테스트 신호 및 영상 테스트 신호의 포맷을 변환할 수 있다. 테스트 신호 처리 모듈(112)은 입력 신호 식별 모듈(111)에서 식별된 음성 신호의 포맷과 동일한 포맷으로 음성 테스트 신호의 포맷을 변환할 수 있다. 그리고, 테스트 신호 처리 모듈(112)은 입력 신호 식별 모듈(111)에서 식별된 영상 신호의 포맷과 동일한 포맷으로 영상 테스트 신호의 포맷을 변환할 수 있다. 일 실시 예로서, 테스트 신호 처리 모듈(112)은 변환된 음성 테스트 신호를 비가청 주파수 대역의 펄스파 신호로 출력할 수 있다. 그리고, 테스트 신호 처리 모듈(112)은 변환된 영상 테스트 신호를 일정한 픽셀 영역에 오브젝트를 표시하는 영상 테스트 신호로 출력할 수 있다.
영상 신호 처리 모듈(113)은 출력된 영상 테스트 신호를 일반적인 영상 신호와 동일한 방식으로 처리하고, 디스플레이로 출력할 수 있다. 음성 신호 처리 모듈(114)은 출력된 음성 테스트 신호를 일반적인 음성 신호와 동일한 방식으로 처리하고, 스피커로 출력할 수 있다. 신호 처리된 영상 테스트 신호 및 신호 처리된 음성 테스트 신호는 립 싱크 보정 모듈(115)로 피드백될 수 있다.
립 싱크 보정 모듈(115)은 피드백된 음성 테스트 신호 및 영상 테스트 신호를 입력받을 수 있다. 립 싱크 보정 모듈(115)은 음성 테스트 신호가 출력된 시간과 영상 테스트 신호가 출력된 시간 차를 획득할 수 있다. 그리고, 립 싱크 보정 모듈(115)은 음성 테스트 신호 또는 영상 테스트 신호 중 빨리 도착한 신호에 획득한 시간 차를 적용하여 립 싱크를 보정할 수 있다. 일 실시 예로서, 음성 테스트 신호가 출력된 후 0.5초 후에 영상 테스트 신호가 출력되었다면, 립 싱크 보정 모듈(115)은 음성 신호 처리 모듈(114)에 0.5초의 지연 시간을 적용하여 음성 신호를 출력하도록 보정할 수 있다. 또는, 영상 테스트 신호가 출력된 후 0.3초 후에 음성 테스트 신호가 출력되었다면, 립 싱크 보정 모듈(115)은 영상 신호 처리 모듈(113)에 0.3초의 지연 시간을 적용하여 영상 신호를 출력하도록 보정할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 영상 테스트 신호를 설명하는 도면이다.
도 5를 참조하면, 영상 테스트 신호(11)가 표시된 디스플레이(130)가 도시되어 있다. 상술한 바와 같이, 전자 장치는 선택된 입력 신호에 포함된 영상 신호의 포맷을 식별한다. 그리고, 전자 장치는 저장된 영상 테스트 신호의 포맷을 식별된 영상 신호의 포맷으로 변환할 수 있다. 저장된 영상 테스트 신호는 기 설정된 픽셀 영역에 오브젝트를 표시하는 신호일 수 있다. 그리고, 전자 장치는 변환된 영상 테스트 신호(11)를 디스플레이(130)의 모서리 영역에 출력할 수 있다.
한편, 전자 장치는 영상 신호의 출력 시간의 기준 영역을 디스플레이(130)의 중앙 영역으로 설정할 수 있다. 그러나, 사용자가 인지할 수 없도록 영상 테스트 신호(11)는 디스플레이(130)의 모서리 영역에 표시되므로 전자 장치의 프로세서는 영상 테스트 신호(11)의 출력 시간을 디스플레이(130)의 중앙 영역에 표시되는 시간으로 보정할 수 있다. 일 실시 예로서, 선택된 영상 신호의 프레임 레이트가 60Hz인 경우, 전자 장치는 영상 테스트 신호(11)의 프레임 레이트도 60Hz로 변환할 수 있다. 따라서, 도 5에 도시된 바와 같이, 디스플레이(130)의 마지막 라인에 표시되는 영상 테스트 신호(11)의 출력 시간은 약 16.7ms(1/60Hz)일 수 있다. 만일, 영상 테스트 신호(11)가 디스플레이(130)의 중앙 영역(13)에 표시된다면 영상 테스트 신호의 출력 시간은 약 8.3ms(16.7/2)일 수 있다. 전자 장치의 프로세서는 디스플레이(130)의 사양 및 입력 신호의 포맷을 식별할 수 있다. 따라서, 전자 장치의 프로세서는 디스플레이(130)의 사양 정보, 입력 신호의 포맷 및 영상 테스트 신호(11)의 출력 위치 및 출력 시간에 기초하여 영상 테스트 신호(11)의 출력 시간을 보정할 수 있다.
즉, 프로세서는 디스플레이(130)의 사양 정보 및 선택된 영상 신호의 포맷에 기초하여 영상 테스트 신호(11)의 피드백된 출력 시간을 영상 테스트 신호가 디스플레이의 중앙 영역(13)에 표시되는 시간으로 보정할 수 있다. 그리고, 프로세서는 시간이 보정된 영상 테스트 신호와 피드백된 음성 테스트 신호의 시간 차를 획득할 수 있다. 프로세서는 획득된 시간 차에 기초하여 립 싱크를 보정할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 립 싱크의 보정을 설명하는 도면이다.
도 6을 참조하면, 프로세서로 피드백된 음성 테스트 신호(21a)의 출력 시간과 영상 테스트 신호(23)의 출력 시간이 도시되어 있다. 일 실시 예로서, 도 6에 도시된 바와 같이, 음성 테스트 신호(21a)의 출력 시간이 영상 테스트 신호(23)의 출력 시간보다 t 시간만큼 빠를 수 있다. 즉, 프로세서는 음성 테스트 신호(21a)의 출력 시간과 영상 테스트 신호(23)의 출력 시간의 차이인 t 시간을 획득할 수 있다.
프로세서는 음성 테스트 신호(21a)의 출력 시간이 빠르므로 음성 테스트 신호(21a)의 출력 시간을 t 시간만큼 지연시킬 수 있다. 즉, 프로세서는 t 시간을 지연시킨 음성 테스트 신호(21b)와 영상 테스트 신호(23)를 출력함으로써 음성 테스트 신호와 영상 테스트 신호 간의 립 싱크를 보정할 수 있다.
상술한 예는 음성 테스트 신호의 출력이 영상 테스트 신호의 출력보다 빠른 경우를 설명하였다. 그러나, 영상 테스트 신호의 출력이 음성 테스트 신호의 출력보다 빠른 경우, 프로세서는 영상 테스트 신호의 출력 시간을 획득된 t 시간만큼 지연시켜 출력함으로써 음성 테스트 신호와 영상 테스트 신호 간의 립 싱크를 보정할 수도 있다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하는 흐름도이다.
도 7을 참조하면, 전자 장치는 복수의 서로 다른 포맷의 입력 신호 중 선택된 입력 신호의 음성 신호의 포맷 및 영상 신호의 포맷을 식별한다(S710). 전자 장치는 선택된 입력 신호의 출력 준비를 하는 과정에서 본 개시의 립 싱크 보정 과정을 수행할 수 있다.
전자 장치는 식별된 음성 신호의 포맷과 동일한 포맷으로 변환한 비가청 주파수 대역의 음성 테스트 신호를 출력하고, 식별된 영상 신호의 포맷과 동일한 포맷으로 변환한 기 설정된 픽셀 영역에 오브젝트를 표시하는 영상 테스트 신호를 출력한다(S720). 전자 장치는 저장된 비가청 주파수 대역의 음성 테스트 신호를 식별된 음성 신호의 포맷과 동일한 포맷으로 변환할 수 있다. 그리고, 전자 장치는 저장된 기 설정된 픽셀 영역에 오브젝트를 표시하는 영상 테스트 신호를 식별된 영상 신호의 포맷과 동일한 포맷으로 변환할 수 있다. 예를 들어, 영상 신호의 포맷은 입력 영상 신호의 종류, 주파수, 해상도, 주사 방식, 코덱 종류 등을 포함할 수 있다. 음성 신호의 포맷은 입력 음성 신호의 코덱 종류를 포함할 수 있다. 그리고, 영상 테스트 신호는 디스플레이의 모서리 영역의 일정한 크기의 픽셀 영역에만 오브젝트가 표시되는 신호일 수 있다. 음성 테스트 신호는 펄스파 신호로 설정될 수 있다.
전자 장치는 변환된 음성 테스트 신호 및 변환된 영상 테스트 신호를 각각 처리하여 출력한다.입력 신호에 포함된 음성 신호와 영상 신호의 립 싱크는 사용자에게 출력되는 시점에 일치해야 한다. 따라서, 본 개시는 음성 테스트 신호 및 영상 테스트 신호를 입력 신호에 포함된 음성 신호와 영상 신호와 동일한 포맷으로 변환할 수 있다. 그리고, 전자 장치는 입력 신호에 포함된 음성 신호와 영상 신호의 출력 과정과 동일한 과정으로 음성 테스트 신호와 영상 테스트 신호를 처리하여 출력할 수 있다.
전자 장치는 출력된 음성 테스트 신호와 출력된 영상 테스트 신호 간의 시간 차에 따라 음성 테스트 신호와 영상 테스트 신호 간의 립 싱크를 보정한다(S730). 전자 장치는 출력되는 음성 테스트 신호 및 영상 테스트 신호를 각각 피드백 받아 피드백된 음성 테스트 신호의 출력 시간과 영상 테스트 신호의 출력 시간의 시간 차를 획득할 수 있다. 그리고, 전자 장치는 획득된 시간 차에 기초하여 영상 테스트 신호와 음성 테스트 신호 간의 립 싱크를 보정할 수 있다. 음성 테스트 신호의 출력 시간이 영상 테스트 출력 시간보다 빠른 경우, 전자 장치는 음성 테스트 신호의 출력 시간을 획득된 시간 차만큼 지연시킬 수 있다. 영상 테스트 신호의 출력 시간이 음성 테스트 신호의 출력 시간보다 빠른 경우, 전자 장치는 영상 테스트 신호의 출력 시간을 획득된 시간 차만큼 지연시킬 수 있다.
한편, 전자 장치는 디스플레이의 사양 정보 및 선택된 영상 신호의 포맷에 기초하여 영상 테스트 신호의 피드백된 출력 시간을 영상 테스트 신호가 디스플레이의 중앙 영역에 표시되는 시간으로 보정할 수 있다. 그리고, 전자 장치는 영상 테스트 신호의 보정 시간과 피드백된 음성 테스트 신호의 출력 시간의 시간 차를 획득하여 립 싱크를 보정할 수 있다. 따라서, 본 개시는 음성 신호와 영상 신호의 립 싱크를 정확하게 보정할 수 있다.
전자 장치는 립 싱크 보정 여부를 확인하기 위해 상술한 과정을 반복할 수 있다. 즉, 전자 장치는 획득된 시간 차에 기초하여 음성 테스트 신호 또는 영상 테스트 신호 중 하나의 신호를 지연시킬 수 있다. 그리고, 전자 장치는 지연된 신호 및 다른 신호를 출력할 수 있다. 전자 장치는 지연되어 출력되는 신호 및 다른 신호를 각각 피드백 받아 립 싱크 보정 여부를 식별할 수 있다.
립 싱크 보정이 완료된 경우, 전자 장치는 입력 신호에 대해 획득된 시간 차를 적용하여 립 싱크를 보정할 수 있다. 즉, 전자 장치는 선택된 입력 신호를 제공받을 수 있다. 예를 들어, 입력 신호는 웹 서버, 클라우드 등을 통해 전자 장치로 직접 제공될 수 있다. 또는, 입력 신호는 외부 장치 등을 통해 전자 장치로 제공될 수 있다. 입력 신호는 영상 신호 및 음성 신호를 포함한다. 전자 장치는 획득된 시간 차에 기초하여 제공된 입력 신호에 포함된 음성 신호 또는 영상 신호 중 하나의 신호를 지연시킬 수 있다. 전자 장치는 지연된 신호 및 제공된 입력 신호에 포함된 다른 신호를 출력하여 립 싱크를 보정할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 립 싱크를 보정하는 과정을 설명하는 흐름도이다.
도 8을 참조하면, 전자 장치는 외부로부터 입력 신호를 제공받을 수 있다(S805). 예를 들어, 외부로부터 제공되는 입력 신호는 다양한 포맷의 동영상 컨텐츠이거나 다양한 형태의 컨텐츠일 수 있다. 그리고, 입력 신호는 웹 서버, 클라우드 등과 같이 네트워크를 통해 전자 장치로 제공되거나 외부 장치(외장형 메모리 포함)로부터 입력 인터페이스를 통해 전자 장치로 제공되거나 셋탑 박스 등과 같은 외부 소스 기기로부터 통신 인터페이스 등을 통해 전자 장치로 제공될 수 있다.
전자 장치는 제공된 입력 신호의 포맷을 식별할 수 있다(S810). 예를 들어, 전자 장치는 영상 신호의 종류, 해상도, 주파수, 코덱 종류, 음성 신호의 코덱 종류 등을 식별할 수 있다.
프로세서는 식별된 입력 신호에 기초하여 저장된 음성 테스트 신호와 영상 테스트 신호의 포맷을 변환할 수 있다(S815). 프로세서는 입력 신호와 동일한 포맷으로 변환된 음성 테스트 신호와 영상 테스트 신호를 각각 음성 처리 모듈 및 영상 처리 모듈로 전달할 수 있다(S820).
영상 처리 모듈은 영상 테스트 신호를 처리할 수 있다. 예를 들어, 영상 처리 모듈은 영상 테스트 신호의 화질을 처리하고(S825), FRC(Frame Rate Conversion) 처리를 하며(S830), TCON(Timing Control) 처리를 할 수 있다(S835). 상술한 영상 테스트 신호의 처리 과정은 일반 영상 신호의 처리 과정과 동일하다. 영상 처리 모듈은 처리된 영상 테스트 신호를 출력할 수 있다(S840). 또한, 출력된 영상 테스트 신호는 프로세서로 피드백될 수 있다. 도 6에서 TCON 처리된 영상 테스트 신호가 출력되는 시점이 영상 테스트 신호의 출력 시점일 수 있다.
음성 처리 모듈은 음성 테스트 신호를 처리할 수 있다. 예를 들어, 음성 처리 모듈은 음성 테스트 신호의 음질을 처리하고(S845), 증폭시킬 수 있다(S855). 도 8에 도시된 실시 예는 음성 테스트 신호가 영상 테스트 신호보다 빨리 출력되는 실시 예이다. 최초 음성 테스트 신호가 출력될 때는 추가 지연 과정(S850)이 생략될 수 있다. 또는, 추가 지연 과정의 지연 시간은 0으로 설정될 수 있다. 상술한 음성 테스트 신호의 처리 과정도 일반 음성 신호의 처리 과정과 동일하다. 음성 처리 모듈은 처리된 음성 테스트 신호를 출력할 수 있다(S860). 또한, 출력된 음성 테스트 신호는 프로세서로 피드백될 수 있다. 도 6에서 증폭된 음성 테스트 신호가 출력되는 시점이 음성 테스트 신호의 출력 시점일 수 있다.
프로세서는 피드백된 음성 테스트 시간의 출력 시간과 영상 테스트 신호의 출력 시간에 기초하여 시간 차를 획득할 수 있다(S815). 프로세서는 획득된 시간 차를 더 빨리 출력되는 신호에 적용할 수 있다. 도 8의 경우, 음성 테스트 신호의 출력 시간이 영상 테스트 신호의 출력 시간보다 빠르므로 음성 처리 과정에 지연 시간이 적용될 수 있다. 프로세서는 다시 한 번 음성 테스트 신호와 영상 테스트 신호를 출력할 수 있다. 출력된 음성 테스트 신호와 영상 테스트 신호는 상술한 과정을 반복할 수 있다. 다만, 음성 테스트 신호는 추가 지연 시간이 적용될 수 있다(S850). 추가 지연 시간은 프로세서가 획득한 시간 차이다. 음성 테스트 신호는 추가 지연이 적용되어 출력되고, 영상 테스트 신호는 그대로 출력됨으로써 음성 테스트 신호와 영상 테스트 신호의 립 싱크는 보정될 수 있다.
전자 장치는 립 싱크 보정이 완료된 경우, 제공된 외부 신호에 대해서도 동일한 지연 시간 및 동일한 처리 과정을 수행하여 출력할 수 있다. 따라서, 제공된 외부 신호의 음성 신호와 영상 신호는 립 싱크가 보정되어 출력될 수 있다.
상술한 다양한 실시 예에 따른 전자 장치의 제어 방법은 컴퓨터 프로그램 제품으로 제공될 수도 있다. 컴퓨터 프로그램 제품은 S/W 프로그램 자체 또는 S/W 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)를 포함할 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100, 100a: 전자 장치 110: 프로세서
120: 입력 인터페이스 121: 통신 인터페이스
122: 입출력 포트 130: 디스플레이
140: 스피커 150: 메모리
160: 카메라 170: 마이크
180: 센서

Claims (15)

  1. 전자 장치에 있어서,
    상기 전자 장치가 출력하는 음성 신호 및 영상 신호를 포함하는 입력 신호를 제공받는 입력 인터페이스;
    스피커;
    디스플레이;
    비가청 주파수 대역의 음성 테스트 신호 및 기 설정된 픽셀 영역에 오브젝트를 표시하는 영상 테스트 신호를 포함하는 테스트 신호를 저장하는 메모리; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    복수의 서로 다른 포맷의 입력 신호 중 선택된 입력 신호의 음성 신호의 포맷 및 영상 신호의 포맷을 식별하며, 상기 식별된 음성 신호의 포맷과 동일한 포맷으로 변환한 상기 음성 테스트 신호를 출력하도록 상기 스피커를 제어하고, 상기 식별된 영상 신호의 포맷과 동일한 포맷으로 변환한 상기 영상 테스트 신호를 출력하도록 상기 디스플레이를 제어하며, 출력된 음성 테스트 신호와 출력된 영상 테스트 신호 간의 시간 차에 따라 상기 음성 테스트 신호와 상기 영상 테스트 신호 간의 립 싱크(lip-sync)를 보정하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 시간 차에 기초하여 상기 음성 테스트 신호 또는 상기 영상 테스트 신호 중 하나의 신호를 지연시켜 출력하고, 지연되어 출력된 신호와 지연없이 출력된 다른 신호 간의 시간 차에 기초하여 립 싱크 보정 여부를 식별하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 선택된 입력 신호를 제공받도록 상기 입력 인터페이스를 제어하고, 상기 음성 테스트 신호와 상기 영상 테스트 신호 간의 립 싱크가 보정된 시간 차에 기초하여 상기 제공된 입력 신호에 포함된 음성 신호 또는 영상 신호 중 하나의 신호를 지연시켜 출력하여 상기 음성 신호와 상기 영상 신호 간의 립 싱크를 보정하는, 전자 장치.
  4. 제1항에 있어서,
    상기 영상 테스트 신호는,
    상기 디스플레이의 모서리 영역의 기 설정된 크기의 픽셀 영역에만 오브젝트가 표시되는 신호인, 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 디스플레이의 사양 정보 및 상기 선택된 영상 신호의 포맷에 기초하여 상기 영상 테스트 신호가 상기 디스플레이의 모서리 영역에 표시되는 출력 시간을 상기 영상 테스트 신호가 상기 디스플레이의 중앙 영역에 표시되는 출력 시간으로 보정하고, 상기 영상 테스트 신호의 보정 시간과 상기 출력된 음성 테스트 신호의 출력 시간의 시간 차에 따라 상기 립 싱크를 보정하는, 전자 장치.
  6. 제1항에 있어서,
    상기 음성 테스트 신호는,
    펄스파 신호로 설정되는, 전자 장치.
  7. 제1항에 있어서,
    상기 영상 신호의 포맷은,
    상기 영상 신호의 종류, 주파수, 해상도, 주사 방식, 코덱 종류 중 적어도 하나를 포함하고,
    상기 음성 신호의 포맷은,
    상기 음성 신호의 코덱 종류를 포함하는, 전자 장치.
  8. 복수의 서로 다른 포맷의 입력 신호 중 선택된 입력 신호의 음성 신호의 포맷 및 영상 신호의 포맷을 식별하는 단계;
    상기 식별된 음성 신호의 포맷과 동일한 포맷으로 변환한 비가청 주파수 대역의 음성 테스트 신호를 출력하고, 상기 식별된 영상 신호의 포맷과 동일한 포맷으로 변환한 기 설정된 픽셀 영역에 오브젝트를 표시하는 영상 테스트 신호를 출력하는 단계; 및
    출력된 음성 테스트 신호와 출력된 영상 테스트 신호 간의 시간 차에 따라 상기 음성 테스트 신호와 상기 영상 테스트 신호 간의 립 싱크(lip-sync)를 보정하는 단계;를 포함하는 전자 장치의 제어 방법.
  9. 제8항에 있어서,
    상기 시간 차에 기초하여 상기 음성 테스트 신호 또는 상기 영상 테스트 신호 중 하나의 신호를 지연시켜 출력하는 단계; 및
    지연되어 출력된 신호와 지연없이 출력된 다른 신호 간의 시간 차에 기초하여 립 싱크 보정 여부를 식별하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  10. 제8항에 있어서,
    상기 선택된 입력 신호를 제공받는 단계; 및
    상기 음성 테스트 신호와 상기 영상 테스트 신호 간의 립 싱크가 보정된 시간 차에 기초하여 상기 제공된 입력 신호에 포함된 음성 신호 또는 영상 신호 중 하나의 신호를 지연시켜 출력하여 상기 음성 신호와 상기 영상 신호 간의 립 싱크를 보정하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  11. 제8항에 있어서,
    상기 영상 테스트 신호는,
    디스플레이의 모서리 영역의 기 설정된 크기의 픽셀 영역에만 오브젝트가 표시되는 신호인, 전자 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 립 싱크를 보정하는 단계는,상기 디스플레이의 사양 정보 및 상기 선택된 영상 신호의 포맷에 기초하여 상기 영상 테스트 신호가 상기 디스플레이의 모서리 영역에 표시되는 출력 시간을 상기 영상 테스트 신호가 상기 디스플레이의 중앙 영역에 표시되는 출력 시간으로 보정하고, 상기 영상 테스트 신호의 보정 시간과 상기 출력된 음성 테스트 신호의 출력 시간의 시간 차에 따라 상기 립 싱크를 보정하는, 전자 장치의 제어 방법.
  13. 제8항에 있어서,
    상기 음성 테스트 신호는,
    펄스파 신호로 설정되는, 전자 장치의 제어 방법.
  14. 제8항에 있어서,
    상기 영상 신호의 포맷은,
    상기 영상 신호의 종류, 주파수, 해상도, 주사 방식, 코덱 종류 중 적어도 하나를 포함하고,
    상기 음성 신호의 포맷은,
    상기 음성 신호의 코덱 종류를 포함하는, 전자 장치의 제어 방법.
  15. 복수의 서로 다른 포맷의 입력 신호 중 선택된 입력 신호의 음성 신호의 포맷 및 영상 신호의 포맷을 식별하는 단계;
    상기 식별된 음성 신호의 포맷과 동일한 포맷으로 변환한 비가청 주파수 대역의 음성 테스트 신호를 출력하고, 상기 식별된 영상 신호의 포맷과 동일한 포맷으로 변환한 기 설정된 픽셀 영역에 오브젝트를 표시하는 영상 테스트 신호를 출력하는 단계; 및
    출력된 음성 테스트 신호와 출력된 영상 테스트 신호 간의 시간 차에 따라 상기 음성 테스트 신호와 상기 영상 테스트 신호 간의 립 싱크(lip-sync)를 보정하는 단계;를 포함하는 전자 장치의 제어 방법을 수행하는 프로그램이 기록된 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020200179739A 2020-12-21 2020-12-21 전자 장치 및 그 제어 방법 KR20220089273A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200179739A KR20220089273A (ko) 2020-12-21 2020-12-21 전자 장치 및 그 제어 방법
PCT/KR2021/016780 WO2022139182A1 (ko) 2020-12-21 2021-11-16 전자 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200179739A KR20220089273A (ko) 2020-12-21 2020-12-21 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220089273A true KR20220089273A (ko) 2022-06-28

Family

ID=82158111

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200179739A KR20220089273A (ko) 2020-12-21 2020-12-21 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20220089273A (ko)
WO (1) WO2022139182A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014651A1 (ko) * 2022-07-13 2024-01-18 삼성전자 주식회사 오디오와 비디오의 출력을 동기화하는 전자 장치 및 그 제어 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242130A (ja) * 2003-02-07 2004-08-26 Nippon Hoso Kyokai <Nhk> 映像・音声伝送時間差測定用の信号発生装置およびその方法、並びに信号解析装置およびその方法
WO2005099251A1 (en) * 2004-04-07 2005-10-20 Koninklijke Philips Electronics N.V. Video-audio synchronization
KR100584615B1 (ko) * 2004-12-15 2006-06-01 삼성전자주식회사 오디오/비디오 동기 자동 조정 장치 및 그 방법
KR100748370B1 (ko) * 2006-05-25 2007-08-10 (주)엠씨에스로직 비디오 및 오디오 데이터를 동기화하는 방법 및 동영상재생 장치
KR20150015250A (ko) * 2013-07-31 2015-02-10 삼성전자주식회사 휴대용 통신 장치 및 그의 테스트 방법, 디스플레이 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014651A1 (ko) * 2022-07-13 2024-01-18 삼성전자 주식회사 오디오와 비디오의 출력을 동기화하는 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
WO2022139182A1 (ko) 2022-06-30

Similar Documents

Publication Publication Date Title
US10678491B2 (en) Multi-screen display method and display device
US20150381925A1 (en) Smart pause for neutral facial expression
US9374534B2 (en) Display and method for displaying multiple frames thereof
US9502002B2 (en) Proximity-based display scaling
US10306179B2 (en) Image providing apparatus, control method thereof, and image providing system
US10373282B2 (en) Method and system for controlling display parameters through multiple pipelines
CN103313135A (zh) 显示设备、源设备及提供内容的方法
US9774821B2 (en) Display apparatus and control method thereof
KR102308192B1 (ko) 디스플레이 장치 및 그 제어 방법
KR20220089273A (ko) 전자 장치 및 그 제어 방법
US10191709B2 (en) Display apparatus configured to determine a processing mode to transfer image contents to another display apparatus
JP5221745B2 (ja) 画像処理装置、制御プログラム、及び画像処理装置の制御方法
KR20210028880A (ko) 디스플레이 장치 및 그 제어 방법
KR20140112371A (ko) 이미지를 처리하는 전자장치 및 방법
TW201421250A (zh) 顯示裝置及其影像擷取方法
TWI617197B (zh) 多媒體設備以及多媒體系統
US10939083B2 (en) Electronic apparatus and control method thereof
US20180255264A1 (en) Electronic apparatus for playing substitutional advertisement and controlling method thereof
US8982128B2 (en) Method of providing image and display apparatus applying the same
US20140379941A1 (en) Receiving device, transmitting device and transmitting/receiving system
US10121265B2 (en) Image processing device and method to calculate luminosity of an environmental light of an image
US20160125571A1 (en) Image processing apparatus
US20140132712A1 (en) Three-dimension image format converter and three-dimension image format conversion method thereof
JP2010004353A (ja) 映像処理装置およびその制御方法
US20090131176A1 (en) Game processing device