KR20210065447A

KR20210065447A - 전자장치와 그의 제어방법, 및 기록매체

Info

Publication number: KR20210065447A
Application number: KR1020190154198A
Authority: KR
Inventors: 정순묵; 문경원; 박경재
Original assignee: 삼성전자주식회사
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2021-06-04
Also published as: US20210160401A1; WO2021107496A1; US11881134B2; CN114982225A; EP3828876A1

Abstract

영상특성에 따라 최적화질을 제공하는 전자장치가 개시된다. 전자장치는 전자장치는, 인터페이스부와, 상기 인터페이스부를 통해 수신되는 신호로부터 획득되는 복수의 프레임에 기초한 영상이 기 정의된 특성을 가지는지 여부에 따라 상기 영상의 보정을 수행하는 프로세서를 포함하며, 상기 프로세서는, 상기 복수의 프레임 중 연속되는 두 프레임 간의 픽셀 변화가 임계값 이상인 프레임에 기초하여 상기 기 정의된 특성의 인식을 수행한다.

Description

전자장치와 그의 제어방법, 및 기록매체{ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE SAME, AND STORAGE MEDIUM}

본 발명은 영상의 특성에 따라 최적 화질을 자동 식별해 주기 위한 전자장치와 그의 제어방법, 및 기록매체에 관한 것이다.

일반적으로 컴퓨터 또는 텔레비전 등은 영상의 특성과 상관없이 수신된 영상을 일정한 영상처리방법을 통해 처리하여 화면에 표시한다. 그러나, 영상의 특성, 예를 들면 정지영상과 동영상에 따라 각각 서로 다른 신호처리방법을 사용하는 것이 보다 나은 화질을 얻을 수 있다. 이를 위해, 종래의 영상처리방법은 표시할 영상의 프레임 간 색 변화 량을 추출하고, 그 추출된 색 변화 량이 기준치 이상이고, 색 변화 량이 설정시간 이상 지속될 경우 동영상으로 판단하고, 색 변화 량이 기준치 미만이거나, 설정시간 이상 지속되지 않을 경우 정지영상으로 판단하여 화질 처리를 하여 화면에 표시한다.

본 발명의 목적은, 최적의 영상 화질을 제공할 수 있는 전자장치와 그의 제어방법, 및 컴퓨터 프로그램이 저장된 기록매체를 제공하는 데에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자장치가 제공된다. 전자장치는, 인터페이스부와, 상기 인터페이스부를 통해 수신되는 신호로부터 획득되는 복수의 프레임에 기초한 영상이 기 정의된 특성을 가지는지 여부에 따라 상기 영상의 보정을 수행하는 프로세서를 포함하며,

상기 프로세서는, 상기 복수의 프레임 중 연속되는 두 프레임 간의 픽셀 변화가 임계값 이상인 프레임에 기초하여 상기 기 정의된 특성의 인식을 수행한다.

상기 프로세서는, 상기 픽셀 변화영역을 검출할 수 있다.

상기 픽셀 변화영역은, 상기 연속되는 두 프레임 간 변화된 픽셀들 중 복수의 외곽 픽셀을 연결하여 형성될 수 있다.

상기 임계값은, 유효화면 대비 상기 픽셀 변화영역의 비율의 임계값을 포함할 수 있다.

상기 프로세서는, 상기 픽셀 변화영역의 비율이 상기 임계값 미만인 영상을 이전 화질모드로 처리할 수 있다.

상기 프로세서는, 상기 픽셀 변화가 상기 임계값 미만인 영상을 이전 화질모드로 처리할 수 있다.

상기 프로세서는, 유사 특징점 비율을 비교하여 상기 특성의 인식을 수행할 수 있다.

상기 특성의 인식은, 장면전환정보 인식 또는 모션정보 인식 중 적어도 하나를 포함할 수 있다.

상기 프로세서는, 상기 연속하는 두 프레임을 표시하는 유효화면의 블랙영역을 검출할 수 있다.

상기 프로세서는, 상기 검출된 상기 연속하는 두 프레임 간의 블랙영역 차이에 따라 정지영상 또는 동영상 중 어느 하나로 식별할 수 있다.

상기 프로세서는, 상기 연속하는 두 프레임 중 뒤쪽 프레임이 컨텐츠영상인지 또는 UI영상인지를 식별할 수 있다.

상기 프로세서는, 상기 특성 인식 결과를 기초로 상기 영상이 정지영상인지 또는 동영상인지를 식별할 수 있다.

상기 프로세서는, 상기 정지영상의 프레임 크기를 검출하고, 소정 크기 이상의 프레임에 대해 추가 특성 인식을 수행할 수 있다.

상기 추가 특성 인식은 목표 장면 또는 목표 객체 중 적어도 하나의 검출을 포함할 수 있다.

상기 프로세서는, 상기 목표 장면 또는 목표 객체 중 적어도 하나의 검출에 따라 기 정의된 클래스로 분류 및 매핑시킬 수 있다.

본 발명의 다른 실시예에 따른 전자장치가 제공된다. 전자장치는, 인터페이스부와, 상기 인터페이스부를 통해 수신되는 신호로부터 획득되는 복수의 프레임에 기초한 영상이 기 정의된 특성을 가지는지 여부에 따라 상기 영상의 보정을 수행하는 프로세서를 포함하며,

상기 프로세서는, 상기 픽셀 변화가 임계값 이상인 연속하는 두 프레임을 표시하는 유효화면의 블랙영역을 각각 검출하고, 상기 검출된 두 프레임의 유효화면의 블랙영역에 기초하여 상기 영상이 정지영상인지 동영상인지를 식별한다.

상기 영상은 외부장치에서 표시하는 영상의 미러링 영상을 포함할 수 있다.

본 발명의 실시예에 따른 전자장치의 제어방법이 제공된다. 전자장치의 제어방법은, 상기 신호를 수신하는 단계와, 상기 수신되는 신호로부터 획득되는 복수의 프레임에 기초한 영상이 기 정의된 특성을 가지는지 여부에 따라 상기 영상을 보정하는 단계를 포함하며,

상기 영상 보정 단계는, 상기 복수의 프레임 중 연속되는 두 프레임 간의 픽셀 변화가 임계값 이상인 프레임에 기초하여 상기 기 정의된 특성의 인식을 수행하는 단계를 포함한다.

본 발명의 실시예에 따른 컴퓨터에 의해 실행되는 컴퓨터 프로그램이 저장되는, 컴퓨터 판독 가능 기록매체가 제공된다. 상기 컴퓨터 프로그램은, 복수의 프레임에 기초한 영상에서 연속하는 두 프레임 간의 픽셀 변화를 검출하고, 상기 픽셀 변화가 임계값 이상인 프레임에 기초하여 기 정의된 특성의 인식을 실행한다.

본 발명에 의한 전자장치는 연속하는 두 프레임 간의 픽셀 변화가 임계값 이상인 프레임에 대해서 영상의 특성 인식을 수행함으로써, 발생할 수 있는 오 인식률을 낮추고, CPU 연산량 및 점유율 등을 줄임으로써 공유 자원 확보에도 이점을 줄 수 있다.

또한, 본 발명에 의한 전자장치는 모바일장치의 영상을 전자장치에 표시하는 스크린 미러링에서 정지영상에 대한 사용자 조작에 의한 픽셀변화가 크더라도 이를 정지영상으로 처리함으로써 사용자에게 최적 영상화질을 제공할 수 있다.

본 발명에 의한 전자장치는 썸네일과 작은 크기의 동영상이 웹이나 UI 영상에 포함되더라도 이를 정지영상으로 처리함으로써 사용자에게 최적 영상화질을 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 전자장치의 영상 표시 시나리오를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 전자장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 제2실시예에 따른 전자장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 영상을 최적 화질 모드로 처리하는 구성을 나타내는 블록도이다.
도 5는 본 발명의 제1실시예에 따른 영상을 최적 화질 모드로 처리하는 방법을 나타내는 순서도이다.
도 6은 영상신호의 구조를 나타내는 도면이다.
도 7은 본 발명의 제2실시예에 따른 영상을 최적 화질 모드로 처리하는 방법을 나타내는 순서도이다.
도 8은 이전 프레임(#11)을 나타내는 도면이다.
9는 본 발명의 실시예에 따라 현재 프레임(#12)의 픽셀변화 영역(101)를 나타내는 도면이다.
10은 본 발명의 실시예에 따라 현재 프레임(#12)의 픽셀변화 프레임(102)을 나타내는 도면이다.
도 11은 본 발명의 실시예에 따라 다른 프레임(#22)의 픽셀변화 프레임(202)을 나타내는 도면이다.
도 12는 본 발명의 실시예에 따라 다른 프레임(#32)의 픽셀변화 프레임(302)을 나타내는 도면이다.
도 13은 다른 이전 프레임(#41)을 나타내는 도면이다.
도 14는 다른 현재 프레임(#52)을 나타내는 도면이다.
도 15는 다른 현재 프레임(#62)을 나타내는 도면이다.
도 16은 다른 현재 프레임(#72)을 나타내는 도면이다.
도 17은 본 발명의 제3실시예에 따른 영상을 최적 화질 모드로 처리하는 방법을 나타내는 순서도이다.
도 18은 본 발명의 제4실시예에 따른 영상을 최적 화질 모드로 처리하는 방법을 나타내는 순서도이다.
도 19는 이전 프레임(#81)을 나타내는 도면이다.
도 20은 현재 프레임(#82)을 나타내는 도면이다.
도 21은 제1 내지 제4실시예에서 식별된 정지영상 또는 동영상에 적합한 화질모드를 선정하는 방법을 나타내는 순서도이다.
도 22는 다른 실시예에 따른 정지영상 또는 동영상에 적합한 화질모드를 선정하는 방법을 나타내는 순서도이다.

이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

또한, 본 발명의 실시예에서 '상부', '하부', '좌측', '우측', '내측', '외측', '내면', '외면', '전방', '후방' 등의 용어는 도면을 기준으로 정의한 것이며, 이에 의해 각 구성요소의 형상이나 위치가 제한되는 것은 아니다.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 서브 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 문서의 다양한 실시예들에 따른 전자장치(1)는, 영상을 처리하는 예를 들면, 텔레비전, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자장치(1)는, 예를 들면, 블루 레이 플레이어, DVD(digital video disk) 플레이어, 셋탑박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스, 게임 콘솔, 전자 사전, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.

다른 실시예에서, 전자장치(1)는, 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit) 중 적어도 하나를 포함할 수 있다.

본 문서에서, 사용자라는 용어는 전자장치(1)를 사용하는 사람 또는 전자장치(1)를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.

도 1은 본 발명의 실시예에 따른 전자장치(1)의 영상 표시 시나리오를 나타내는 도면이다.

도 1을 참조하면, 전자장치(1)는 스크린 미러링으로서 모바일장치(2)의 화면을 디스플레이부(15)에 표시하고 있다. 물론, 전자장치(1)는 스크린 미러링에 의한 영상 표시만으로 한정되지 않다.

전자장치(1)는 모바일장치(2)에서 보여 줄 수 있는 다양한 사용자 시나리오, 화면 효과 및 구성 등에 대응하여 최적의 영상화질을 제공할 필요가 있다. 전자장치(1)는 예를 들어, 화면에서 동영상이 재생된다고 해서 단순히 해당 화면을 동영상 화질로 분류하는 것이 아니라, 재생되는 프레임 크기를 검출하고, 일정 크기 이상일 경우 모션 및 장면전환을 체크할 수 있다. 전자장치(1)는 모션 및 장면전환이 검출된 경우 영상 특성 인식을 수행하여 정지영상인지 동영상인지 여부를 판별할 수 있다.

전자장치(1)는 프레임이 일정 크기 미만일 경우 특성 인식 수행 없이 이전 화질모드로 처리할 수 있다. 예를 들면, 썸네일 같은 작은 크기의 동영상으로 구성된 화면은 보통 텍스트도 함께 보여지는데, 이때 사용자가 집중해서 보는 영역이 동영상인지 텍스트인지 구분이 어렵다. 만일, 썸네일이 포함된 영상을 동영상으로 처리한다 해도 그 효과가 미비할 수 있고 사용자 입장에서 그리 집중해서 보는 것이 아니라, 가볍게 잠시 넘겨 보는 상황일 수 있다. 대부분 동영상은 일정 시간 비슷한 화면을 유지하는 경우가 많기 때문에 매 프레임 인식을 수행할 필요가 없고, 급격한 영상변화가 있을 시에만 수행하는 것이 오 인식률을 낮추고, CPU 연산량 및 점유율 등을 줄여 공유 자원 확보에도 이점을 줄 수 있다. 또한, 급격한 영상변화는 동영상 앱을 종료해서 홈이나 다른 화면으로 장면이 전환될 수 있으므로 반드시 확인이 필요하다.

일 실시예로서, 전자장치(1)는 모바일장치(2)에서 사용자가 조작에 의해 사진과 같은 정지이미지를 이동시키는 경우에, 급격한 영상변화가 감지되더라도 이를 정지영상으로 처리할 수 있다.

모바일장치(2)는 전자장치(1)를 제어하기 위한 리모컨 앱이 설치될 수 있다. 또한, 모바일장치(2)는 사용자의 음성을 수신하는 마이크를 포함할 수 있다. 모바일장치(2)는 내장된 마이크를 통해 사용자의 아날로그 음성신호를 수신하여 디지털화 하여 전자장치(1)로 전송할 수 있다. 모바일장치(2)는 수신된 음성을 자체적으로 인식하는 음성인식 기능을 포함할 수 있다.

리모컨(3)은 사용자의 음성 명령을 수신하는 마이크를 포함할 수 있다. 리모컨(3)은 아날로그 음성 신호를 디지털화 하여 예를 들면 블루투스 등으로 전자장치(1) 측으로 전송할 수 있다.

셋탑박스(4)는 영상컨텐츠 또는 음성컨텐츠를 전자장치(1)에 제공하여 표시 또는 출력할 수 있다.

서버(5)는 컨텐츠를 전자장치(1)에 제공하는 컨텐츠 서버 또는 음성인식 서비스를 제공하는 음성인식서버를 포함할 수 있다.

AI스피커(6)는 주변장치, 예를 들면 텔레비전, IoT장치들을 제어하는 앱이 설치될 수 있다. AI스피커(6)는 사용자의 음성명령을 수신, 인식, 및 동작을 수행하는 음성인식 어시스턴트를 탑재할 수 있다. AI스피커(6)는 사용자 명령에 따라 처리한 영상을 전자장치(1)에 전달하여 표시하도록 할 수 있다. 물론, AI스피커(6)는 자체적으로 디스플레이를 포함하여 영상컨텐츠를 표시할 수도 있다.

이상과 같이, 본 발명의 전자장치는 스크린 미러링 사용자 시나리오를 고려함으로써 최적화질의 영상을 제공할 수 있다.

도 2는 본 발명의 실시예에 따른 전자장치(1)의 구성을 나타내는 블록도이다.

도 2를 참조하면, 전자장치(1)는 모바일장치(2)로부터 각종 데이터를 송수신할 수 있는 인터페이스부(11)를 포함할 수 있다.

인터페이스부(11)는 유선인터페이스부1~6(112)과 무선인터페이스부1~3(114)을 포함할 수 있다.

유선인터페이스부1은 방송신호를 수신하기 위한 지상파/위성방송 안테나 연결 튜너, 케이블 방송 케이블 연결 인터페이스 등을 포함할 수 있다.

유선인터페이스부2는 영상기기 연결을 위한 HDMI, DP, DVI, Component, S-Video, 컴포지트(RCA 단자) 등을 포함할 수 있다.

유선인터페이스부3은 범용 전자기기 연결을 위한 USB 인터페이스 등을 포함할 수 있다.

유선인터페이스부4는 광케이블 기기의 연결 인터페이스를 포함할 수 있다.

유선인터페이스부5는 헤드셋, 이어폰, 외부 스피커 등의 오디오기기 연결 인터페이스를 포함할 수 있다.

유선인터페이스부6은 이더넷 등 유선 네트워크 기기의 연결 인터페이스를 포함할 수 있다.

무선인터페이스부1은 와이파이, 블루투스, ZigBee, Z-wave, RFID, WiGig, WirelessHD, UWB(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 등 무선 네트워크 기기의 연결 인터페이스를 포함할 수 있다.

무선인터페이스부2는 리모컨신호 송신 및/또는 수신을 위한 IR 송수신 모듈을 포함할 수 있다.

무선인터페이스3은 2G ~ 5G 등 이동통신기기 연결 인터페이스를 포함할 수 있다.

인터페이스부(11)는 모바일장치(2), 서버 각각에 대해 전용으로 통신을 수행하는 전용통신모듈을 포함할 수 있다.

인터페이스부(11)는 모바일장치(2), 서버 모두와 통신을 수행하는 공용통신모듈 등을 포함할 수 있다. 예를 들면 모바일장치(2)와 서버는 모두 와이파이모듈을 통해 통신을 수행할 수 있다.

인터페이스부(11)는 입력인터페이스부와 출력인터페이스부를 포함할 수도 있다. 이때, 입력인터페이스부와 출력인터페이스부는 하나의 모듈로 통합되거나 별도의 모듈로 구현될 수도 있다.

전자장치(1)는 인터페이스부(11)를 통해 수신된 영상을 처리하는 영상처리부(12)를 포함할 수 있다.

영상처리부(12)는 인터페이스부(11)에서 수신한 영상신호에 대해 다양한 영상처리 프로세스를 수행한다. 영상처리부(12)가 수행하는 영상처리 프로세스의 종류는 다양하며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.

영상처리부(12)는 이러한 프로세스를 수행한 영상신호를 전자장치(1)에 내장된 디스플레이부(15)에 표시하거나 또는 외부의 디스플레이장치(3)로 출력하여 해당 영상신호에 기초하는 영상이 표시되게 할 수 있다.

전자장치(1)는 메모리(13)를 포함할 수 있다.

메모리(13)는 컴퓨터에 의해 판독 가능한 기록매체로서, 한정되지 않은 데이터가 저장된다. 메모리(13)는 프로세서(16)에 의해 액세스 되며, 이들에 의한 데이터의 독취, 기록, 수정, 삭제, 갱신 등이 수행된다.

메모리(13)는 모바일장치(2), 셋탑박스(4), 서버(5), USB, 등으로부터 수신된 각종 컨텐츠를 저장할 수 있다.

메모리(13)에 저장되는 데이터는, 인터페이스부(11)를 통해 수신된 각종 영상/음성 컨텐츠 및 수신된 영상을 처리하여 순차적으로 표시한 복수 프레임 데이터를 포함할 수 있다. 메모리(13)는 음성인식을 위한 음성인식모듈(음성인식엔진)을 포함할 수 있다.

메모리(13)는 운영체제, 운영체제 상에서 실행 가능한 다양한 애플리케이션, 영상데이터, 부가데이터 등을 포함할 수 있다.

메모리(13)는 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리를 포함한다.

메모리(13)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

전자장치(1)는 음성인식부(14)를 포함할 수 있다.

음성인식부(14)는 제1메모리(13)에 저장된 음성인식모듈을 실행하여 전자장치(1)에 내장된 마이크, 모바일장치(2)나 리모컨(3)에 내장된 마이크 등으로부터 입력 또는 전달된 음성을 인식할 수 있다.

모바일장치(2)나 리모컨(3)의 마이크로 음성을 수신하는 경우, 모바일장치(2) 또는 리모컨(3)은 아날로그 음성 신호를 디지털화 하여 예를 들면 블루투스 등으로 전자장치(1) 측으로 전송할 수 있다.

전자장치(1) 자체의 마이크로 음성 신호를 수신하는 경우, 수신된 아날로그 음성 신호는 디지털화 하여 전자장치(1)의 프로세서(16)로 전송될 수 있다.

전자장치(1)는 수신한 음성 신호를 서버로 전송할 수 있다. 이때, 서버는 음성신호 관련 데이터를 적절한 텍스트로 변환하는 STT서버 또는 STT서버 기능도 함께 수행하는 메인 서버일 수도 있다.

STT서버에서 처리된 데이터는 전자장치(1)가 다시 수신하거나 다른 서버로 바로 전송할 수도 있다.

물론, 전자장치(1)는 수신한 음성신호를 STT서버로 전송하지 않고, 전자장치(1) 내에서 자체적으로 처리할 수도 있다. 즉, 전자장치(1)는 자체적으로 STT서버 역할을 수행할 수도 있다.

전자장치(1)는 서버에서 전송한 텍스트나 자체적으로 변환한 텍스트를 이용하여 특정 기능 수행할 수 있다. 이때, 기능을 수행하는 것은 전자장치(1) 내 프로세서(16)일 수도 있고, 변환된 텍스트가 전송된 별도 서버(STT서버와 다른 서버 또는 STT서버 역할도 하는 서버)일 수 있다.

전자장치(1)는 디스플레이부(15)를 포함할 수 있다.

디스플레이부(15)는 영상처리부(12)에서 처리된 영상을 표시할 수 있다.

디스플레이부(15)의 구현 방식은 한정되지 않는 바, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 패널로 구현될 수 있다.

디스플레이부(15)는 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이는 LCD 패널, LCD패널을 구동시키는 LCD패널구동부, 및 LCD 패널에 광을 공급하는 백라이트 유닛을 포함할 수 있다.

프로세서(16)는 전자장치(1)의 각 구성 부품을 제어할 수 있다.

프로세서(16)는 인터페이스부(11)를 통해 수신되는 신호로부터 획득되는 복수의 프레임에 기초한 영상이 기 정의된 특성을 가지는지 여부를 식별할 수 있다.

프로세서(16)는 영상의 특성에 따라 최적의 화질 제공을 위한 영상의 보정을 수행할 수 있다.

프로세서(16)는 복수의 프레임 중 연속되는 두 프레임 간의 픽셀 변화를 검출할 수 있다. 프로세서(16)는 검출된 픽셀변화가 제1문턱치 이상인 프레임에 대해서 기 정의된 특성의 인식을 수행할 수 있다. '문턱치'는 '기설정값' 또는 '임계값' 등으로 표현될 수 있다.

프로세서(16)는 검출된 픽셀변화가 문턱치 미만인 프레임에 대해서는 정의된 특성의 인식을 수행하지 않고 이전의 화질모드 그대로 표시하도록 할 수 있다. 픽셀변화의 제1문턱치는 변화된 픽셀의 수로 설정될 수 있다.

프로세서(16)는 획득된 연속된 두 프레임들 간 픽셀 단위 영상 차이를 계산하고, 일정 이상 차이가 날 경우 차이가 발생한 픽셀 변화영역을 검출할 수 있다. 프로세서(16)는 검출된 픽셀변화영역을 기점으로 하는 프레임 영역을 검출할 수 있다. 프로세서(16)는 검출된 프레임 영역이 일정 이하일 경우, 영상 특성을 정지영상으로 분류하고, 프레임 영역이 일정 이상일 경우, 프레임 분석을 진행할 수 있다.

프로세서(16)는 프레임 분석을 진행하기 전에, 연속하는 두 프레임의 유사특징점 비율을 검출할 수 있다. 프로세서(16)는 유사특징점 비율이 제2문턱치 이하이면, 장면전환이 된 것으로 식별하고, 제2문턱치 초과하면 장면전환이 안된 것으로 식별할 수 있다. 만일, 프로세서(16)는 현재 프레임이 장면전환이 안된 것으로 식별되면, 특성 인식 수행을 진행하지 않고 기존 화질모드를 유지하고 다음 프레임에 대한 픽셀변화를 검출할 수 있다.

프로세서(16)는 장면전환이 검출되면 두 프레임들로부터 벡터정보를 추출하고 추출된 벡터정보로부터 모션정보를 인식하여 움직임의 크기 및 인식 방향 별 비율 등 화면 상태를 인식한다.

프로세서(16)는 연속된 두 프레임들 중 현재 프레임에 대해 특성 인식을 수행하여 화면 정보를 파악할 수 있다. 이때, 프로세서(16)는 딥러닝 기반 학습된 모델을 사용하여 일반 컨텐츠영상인지 UI영상인지를 식별할 수 있다.

일 실시예로서, 특성인식 대상의 프레임은 전체 프레임이 컨텐츠일 수 있다.

다른 실시예로서, 특성인식 대상의 프레임은 전체 프레임이 UI로 구성된 EPG일 수 있다.

다른 실시예로서, 특성인식 대상의 프레임은 전체 프레임 중 일부 영역이 UI영상 또는 UI와 컨텐츠가 혼합된 EPG일 수 있다.

다른 실시예로서, 특성인식 대상의 프레임은 전체 프레임이 UI 또는 텍스트일 수 있다.

다른 실시예로서, 특성인식 대상의 프레임은 PIP(Picture in Picture) 모드로 표시된 프레임일 수 있다.

다른 실시예로서, 특성인식 대상의 프레임은 UI 또는 텍스트로 구성된 전체 프레임 내에 적어도 하나의 썸네일을 포함할 수 있다.

일 실시예로서, 프로세서(16)는 연속된 두 프레임들이 각각 표시되는 유효화면 내의 블랙영역을 검출하고 비교할 수 있다. 프로세서(16)는 두 프레임들이 각각 표시되는 유효화면 내의 블랙영역변화비율이 소정의 제4문턱치 이상이면 정지영상으로 처리할 수 있다.

프로세서(16)는 특성 인식된 화면 상태와 화면 정보로부터 영상 특성, 즉 정지영상 혹은 동영상을 식별할 수 있다. 다만, 프로세서(16)는 정지영상이며 프레임 크기가 일정 이상일 경우 보다 세부 특성정보를 추출할 수 있는 대상으로 간주해 추가적으로 영상 특성 인식을 수행할 수 있다.

프로세서(16)는 영상 특성 인식 결과 목표 장면 또는 목표 객체가 검출되었을 경우 해당 영상 특성으로 세분화 해주고, 검출이 안되었을 경우 앞서 인식되었던 일반 정지영상 특성으로 처리할 수 있다. 인식된 특성은 사전 정의된 영상화질 모드로 매핑이 될 수 있다. 이와 같이 매핑 된 결과는 화질모드 스택에 누적될 수 있다. 이때, 일정 횟수 이상 누적이 되면, 누적된 화질모드 중 가장 많은 표를 얻은 화질모드는 최종 선정될 수 있다.

이후, 프로세서(16)는 새로 획득되는 프레임과 이전 프레임에 대해 전술한 과정을 반복할 수 있다.

프로세서(16)는 프레임의 특성 인식, 즉 컨텐츠영상인지 UI영상인지를 인식하는 모델을 생성하기 위한 데이터를 수집하고, 수집된 데이터를 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.

일 예로, 프로세서(16)는 학습부 및 인식부의 기능을 수행할 수 있다. 학습부는, 예를 들면, 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 예를 들면, 학습부는 학습 데이터를 메모리(13) 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있다.

학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 예를 들면, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.

한편 인식부는 프레임의 특성 인식하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는 메모리(13) 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는, 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 예를 들면, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 다양한 실시예에 따르면, 인식부는 출력값과 함께 학률값(또는, 신뢰도값)을 함께 획득할 수 있다.

프로세서(16)는 제어프로그램이 설치된 비휘발성의 메모리로부터 명령어들(instructions)을 포함하는 제어프로그램의 적어도 일부를 휘발성의 메모리로 로드하고, 로드된 제어프로그램의 명령어를 실행하는 적어도 하나의 범용 프로세서를 포함하며, 예를 들면 CPU(Central Processing Unit), AP(application processor), 또는 마이크로프로세서(microprocessor)로 구현될 수 있다.

프로세서(16)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 프로세서(16)는 복수 개 마련될 수 있다. 프로세서(16)는 예를 들어, 메인 프로세서(main processor) 및 슬립 모드(sleep mode, 예를 들어, 대기 전원만 공급되는 모드)에서 동작하는 서브 프로세서(sub processor)를 포함할 수 있다. 또한, 프로세서, 롬 및 램은 내부 버스(bus)를 통해 상호 연결된다.

프로세서(16)는 전자장치(1)에 내장되는 PCB 상에 실장되는 메인 SoC(Main SoC)에 포함되는 형태로서 구현 가능하다. 다른 실시예에서 메인 SoC는 영상처리부를 더 포함할 수 있다.

제어프로그램은, BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 응용프로그램은, 전자장치(1)의 제조 시에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 설치될 수 있다. 응용 프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 전자장치(1)로 다운로드될 수도 있다. 이와 같은 제어프로그램, 외부 서버 등은, 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.

도 3은 본 발명의 제2실시예에 따른 전자장치(1)의 구성을 나타내는 블록도이다. 제2실시예에 따른 전자장치(1)는 자체적으로 영상을 표시하는 디스플레이부가 배제되고, 인터페이스부(11), 예를 들면 HDMI를 통해 처리된 영상컨텐츠를 디스플레이장치(7), 예를 들면 텔레비전이나 모니터로 출력할 수 있다. 물론, 제2실시예에 따른 전자장치(1)는 간단한 알림, 제어 메뉴 등을 표시하기 위한 디스플레이부를 포함할 수도 있다.

도 4는 본 발명의 실시예에 따른 영상을 최적 화질 모드로 처리하는 구성을 나타내는 블록도이다.

도 4를 참조하면, 프로세서(16)는 특성인식대상 식별모듈(162), 영상 특성 인식모듈(164), 및 화질모드 결정모듈(166)을 포함할 수 있다.

특성인식대상 식별모듈(162)은 전자장치(1)에 입력된 영상에 대해 특성인식을 수행할 대상인지 아닌지를 결정할 수 있다. 전자장치(1)는 영상을 구성하는 복수의 프레임들을 순차적으로 디스플레이부(15)에 표시할 수 있다. 각 프레임은 최소 표시단위인 픽셀들로 이루어져 있다.

특성인식대상 식별모듈(162)은 복수의 프레임들 중 연속하는 두 프레임을 선택하여, 두 프레임 간의 픽셀변화를 검출할 수 있다.

특성인식대상 식별모듈(162)은 검출된 픽셀변화가 소정의 제1문턱치 이상인 경우에는 특성인식 대상으로 식별하고, 제1문턱치 미만인 경우에는 종전의 화질모드를 적용하여 표시할 수 있다. 여기서, 제1문턱치는 프레임을 구성하는 픽셀들 총수에 대한 변화 픽셀의 수로 설정할 수 있다. 특성인식대상 식별모듈(162)은 픽셀변화가 소정의 제1문턱치 이상인 현재 프레임에 대해 픽셀변화영역을 검출할 수 있다. 이때, 픽셀변화영역은 두 프레임 간 변화된 픽셀들 중 외곽 픽셀들을 연결하여 형성할 수 있다. 특성인식대상 식별모듈(162)은 픽셀변화영역이 속하는 프레임을 추출하여 추출된 프레임의 크기가 소정의 제2문턱치 이상이면 특성 인식대상으로 결정하고, 미만이면 특성 인식대상에서 제외할 수 있다. 여기서, 제2문턱치는 전체화면(유효화면) 대비 추출 프레임 크기 비율로 설정될 수 있다.

영상특성 인식모듈(164)은 인식 대상으로 식별된 프레임에 대해 유사특징점 비율의 검출을 통하여 장면전환여부를 식별할 수 있다. 영상특성 인식모듈(164)은 장면전환이 식별된 경우 입력된 두 프레임들로부터 벡터정보를 추출하고 추출된 벡터정보로부터 모션정보를 인식하여 움직임의 크기 및 인식 방향 별 비율 등 화면 상태를 인식할 수 있다.

영상특성 인식모듈(164)은 장면전환이 식별된 경우 연속된 두 프레임들 중 현재 프레임에 대해 영상인식을 수행하여 화면 정보를 인식하게 된다. 이때 영상인식은 딥러닝 기반 학습된 모델을 사용하여 컨텐츠영상인지 UI영상인지를 식별할 수 있다.

다른 실시예로서, 영상특성 인식모듈(164)은 연속하는 두 프레임을 표시하는 전체화면(유효화면)의 블랙영역을 검출할 수 있다. 이때, 두 프레임의 블랙영역의 변화 비율이 소정의 제4문턱치 이상이면 정지영상이 화면 내에서 이동한 것을 의미하므로 장면전환이 크더라도 정지영상으로 처리할 수 있다.

영상특성 인식모듈(164)은 화면정보 및 블랙영역 정보를 기초로 현재 프레임이 정지영상인지 동영상인지를 결정할 수 있다.

화질모드 결정모듈(166)은 영상특성 인식모듈(164)에서 결정된 정지영상 및 동영상을 기 정의된 화질모드로 세부적으로 분류하여 매핑하고, 각 매핑된 화질모드를 스택에 저장할 수 있다. 예를 들면, 정지영상은 UI, Web, Text, Gallery등을 포함할 수 있다. 이들 정지영상은 추가 특성인식, 목표 장면 또는 목표 객체의 인식을 통해 다수의 클래스로 분류되고, 기 정의된 화질모드로 매핑되고, 화질모드 스택에 저장될 수 있다.

다른 실시예로서, 화질모드 결정모듈(166)은 정지영상이 전체 정지영상인지 썸네일과 같은 작은 동영상을 포함하는 부분동영상인지를 식별할 수도 있다.

화질모드 결정모듈(166)은 화질모드의 스택에 저장된 화질모드 중 가장 많은 수의 화질모드를 최종 화질모드로 선정하여 적용하도록 할 수 있다.

도 5는 본 발명의 제1실시예에 따른 영상을 최적 화질 모드로 처리하는 방법을 나타내는 순서도이고, 도 6은 영상신호의 구조를 나타내는 도면이다.

단계 S11에서, 전자장치(1)는 인터페이스부(11)를 통해 영상을 수신할 수 있다. 수신된 영상은 도 6에 나타낸 바와 같이, 복수의 프레임(#1~#N)으로 구성될 수 있다. 복수의 프레임(#1~#N)은 순차적으로 하나의 프레임 단위로 표시될 수 있다.

단계 S12에서, 특성인식대상 식별모듈(162)은 도 6에 나타낸 복수의 프레임(#1~#N) 중 연속하는 이전 프레임(#1)과 현재 프레임(#2) 간의 픽셀변화를 검출할 수 있다. 즉, 특성인식대상 식별모듈(162)은 이전 프레임(#1)의 픽셀과 현재 프레임(#2)의 픽셀을 비교하여 서로 다른 픽셀을 검출할 수 있다.

단계 S13에서, 특성인식대상 식별모듈(162)은 단계 S12에서의 픽셀 변화가 제1문턱치 이상인지를 식별할 수 있다. 만일, 특성인식대상 식별모듈(162)은 픽셀 변화가 제1문턱치 미만이면 단계 S14의 영상 특성 인식을 수행하지 않고 이전의 화질모드를 적용하고, 다음 두 프레임(#2-#3) 간의 픽셀변화를 검출할 수 있다. 만일, 특성인식대상 식별모듈(162)은 픽셀 변화가 제1문턱치 이상이면 단계 S14의 영상 특성 인식을 수행할 수 있다. 여기서, 제1문턱치는 이전 프레임(#1)의 픽셀 대비 달라진 현재 프레임(#2)의 픽셀의 수로 설정될 수 있다.

단계 S14에서, 영상특성 인식모듈(164)은 픽셀변화가 제1문턱치 이상인 경우 두 프레임들로부터 벡터정보를 추출하고 추출된 벡터정보로부터 모션정보를 인식하여 움직임의 크기 및 인식 방향 별 비율 등 화면상태를 인식할 수 있다.

영상특성 인식모듈(164)은 연속된 두 프레임 중 현재 프레임에 대해 영상인식을 수행하여 화면정보를 인식하게 된다. 영상특성 인식모듈(164)은 딥러닝 기반 학습된 모델을 사용하며 컨텐츠영상인지 UI영상인지를 영상정보를 식별할 수 있다.

단계 S15에서, 영상특성 인식모듈(164)은 상술한 화면상태와 화면정보를 기초로 현재 프레임(#2)이 정지영상인지 동영상인지를 결정할 수 있다.

단계 S16에서, 화질모드 결정모듈(166)은 상술한 방법으로 식별된 정지영상 또는 동영상에 대응하는 현재 프레임(#2)에 적합한 화질모드를 결정할 수 있다.

본 발명의 제1실시예에 따른 전자장치(1)는 수신된 영상의 복수 프레임 모두에 대해 소정 문턱치 이상의 픽셀변화가 검출된 프레임에 대해서만 영상 특성 인식을 수행함으로써 오 인식률을 낮추고, CPU 연산량 및 점유율 등을 줄일 수 있다.

도 7은 본 발명의 제2실시예에 따른 영상을 최적 화질 모드로 처리하는 방법을 나타내는 순서도이고, 도 8은 이전 프레임(#11)을 나타내는 도면이고, 9 및 10은 본 발명의 실시예에 따라 현재 프레임(#12)의 픽셀변화 영역(101) 및 픽셀변화 프레임(102)을 나타내는 도면이다.

단계 S21에서, 전자장치(1)는 인터페이스부(11)를 통해 복수의 프레임(#11~#1N)로 구성된 영상을 수신할 수 있다.

단계 S22에서, 특성인식대상 식별모듈(162)은 도 6에 나타낸 복수의 프레임(#11~#1N) 중 연속하는 이전 프레임(#11)과 현재 프레임(#12) 간의 픽셀변화를 검출할 수 있다. 즉, 특성인식대상 식별모듈(162)은 이전 프레임(#11)의 픽셀과 현재 프레임(#12)의 픽셀을 비교하여 서로 다른 픽셀을 검출할 수 있다.

단계 S23에서, 특성인식대상 식별모듈(162)은 현재 프레임(#12)의 픽셀변화영역(PA1)을 추출할 수 있다. 픽셀변화영역(PA1)은 현재 프레임(#12)의 변화된 픽셀들 중 최외곽 픽셀들을 연결하여 형성할 수 있다. 도 9는 도 8의 이전 프레임(#11)과 차이가 나는 현재 프레임(#12)의 픽셀변화영역(PA1)을 포함하고 있다. 픽셀변화영역(PA1)은 변화된 픽셀들 중 최외곽 픽셀들을 연결하여 형성할 수 있다. 픽셀변화영역(PA1)은 도 9에 4각형 영역으로 형성하였으나, 원형, 다각형, 비정형 영역 어느 것이든 상관없다.

단계 S24에서, 특성인식대상 식별모듈(162)은 픽셀변화영역(PA1) 기준 픽셀변화 프레임(102)을 추출할 수 있다. 도 10을 참조하면, 픽셀변화 프레임(102)은 현재 프레임(#12)의 일부로서 픽셀변화영역(PA1)을 포함하는 연속된 컨텐츠영역으로 설정할 수 있다. 이때, 픽셀변화 프레임(102)은 픽셀변화영역(PA1)과 동일하거나 또는 현재 프레임(#12)과 동일할 수도 있다.

단계 S25에서, 특성인식대상 식별모듈(162)은 픽셀변화 프레임(102)이 제2문턱치 이상인지를 판단할 수 있다. 여기서, 제2문턱치는 전체(유효)화면 대비 픽셀변화 프레임(102)의 면적비율, 예를 들면 20%로 설정될 수 있다. 도 10과 같이, 픽셀변화 프레임(102)은 제2문턱치(20%)보다 작은 약 10%로서, 현재 프레임(#12)은 정지영상으로 식별할 수 있다. 만일, 픽셀변화 프레임이 제2문턱치인 20% 이상이면, 단계 S26의 영상 특성인식을 수행할 수 있다.

도 11은 본 발명의 실시예에 따라 다른 프레임(#22)의 픽셀변화 프레임(202)을 나타내는 도면이다. 특성인식대상 식별모듈(162)은 도 11과 같이, 픽셀변화 프레임(202)이 픽셀변화영역(PA2)과 크기가 같고 전체화면 대비 면적 비율이 제2문턱치 20%보다 큰 약 30%로서, 동영상으로 식별할 수 있다.

도 12는 본 발명의 실시예에 따라 다른 프레임(#32)의 픽셀변화 프레임(302)을 나타내는 도면이다. 특성인식대상 식별모듈(162)은 도 12와 같이, 픽셀변화 프레임(302)이 픽셀변화영역(PA2)과 크기가 같고 전체화면 대비 면적 비율이 제2문턱치 20%보다 큰 약 90%로서, 동영상으로 식별할 수 있다.

단계 S26에서, 영상특성 인식모듈(164)은 픽셀변화 프레임(302)이 제2문턱치 20%보다 큰 현재 프레임에 대한 영상 특성 인식을 수행할 수 있다.

영상특성 인식모듈(164)은 두 프레임간의 모션정보를 인식할 수 있다. 모션인식은 두 프레임 간의 유사특징점의 비율을 검출하고, 유사특징점의 비율이 제3문턱치를 초과하는지 여부를 판단할 수 있다. 영상특성 인식모듈(164)은 유사특징점 비율이 제3문턱치 이하이면 장면전환으로, 초과하면 장면전환이 아닌 것으로 식별할 수 있다. 만일, 현재 프레임이 장면전환이 아닌 경우, 영상 특성 인식을 중단하고 이전 화질모드로 처리하고, 다음 프레임에 대한 영상 특성 인식 과정을 수행할 수 있다.

도 13은 다른 이전 프레임(#41)을 나타내는 도면이고, 도 14 내지 도 16은 각각 다른 현재 프레임(#52, #62, #72)을 나타내는 도면이다.

도 14를 참조하면, 현재 프레임(#52)은 도 13의 이전 프레임(#41)의 특정 영역을 확대하여 표시한 것으로 유사특징점의 비율이 제3문턱치 이하이므로 장면전환으로 인식하여 영상 특성 정보 인식을 수행할 수 있다.

도 15를 참조하면, 현재 프레임(#62)은 도 13의 이전 프레임(#41)과 전혀 관련이 없는 UI영상을 표시한 것으로 유사특징점의 비율이 제3문턱치 이하이므로 장면전환으로 인식하여 영상 특성 정보 인식을 수행할 수 있다.

도 16을 참조하면, 현재 프레임(#72)은 도 13의 이전 프레임(#41)에 비해 미세한 장면전환이 검출된 것으로 유사특징점의 비율이 제3문턱치를 초과하므로 장면전환이 아닌 것으로 인식하여 영상 특성 정보 인식을 수행하지 않고 이전 화질모드로 처리하고 다음 프레임에 대한 픽셀변화를 검출할 수 있다.

영상특성 인식모듈(164)은 연속하는 두 프레임으로부터 벡터정보를 추출하고 추출된 벡터정보로부터 모션정보를 인식하여 움직임의 크기 및 인식 방향 별 비율 등 화면상태를 인식할 수 있다.

단계 S27에서, 영상특성 인식모듈(164)은 연속된 두 프레임들 중 현재 프레임에 대해 영상인식을 수행하여 화면정보를 인식하게 된다. 이때, 영상 인식은 딥러닝 기반 학습된 모델을 사용하며 컨텐츠영상인지 UI 영상인지를 식별할 수 있다.

단계 S28에서, 영상특성 인식모듈(164)은 인식된 화면상태, 그리고 화면정보를 기초로 현재 프레임이 정지영상인지 동영상인지를 결정할 수 있다.

단계 S29에서, 화질모드 결정모듈(166)은 상술한 방법으로 식별된 정지영상 또는 동영상에 대응하는 현재 프레임(#12)에 적합한 화질모드를 결정할 수 있다.

본 발명의 제2실시예에 따른 전자장치(1)는 장면전환이 검출된 프레임에 대해서만 영상 특성 인식을 수행함으로써 오 인식률을 낮추고, CPU 연산량 및 점유율 등을 줄일 수 있다.

도 17은 본 발명의 제3실시예에 따른 영상을 최적 화질 모드로 처리하는 방법을 나타내는 순서도이다.

단계 S31에서, 전자장치(1)는 인터페이스부(11)를 통해 영상을 수신할 수 있다. 수신된 영상은 복수의 프레임(#11~#1N)으로 구성될 수 있다.

단계 S32에서, 특성인식대상 식별모듈(162)은 복수의 프레임(#11~#1N) 중 연속하는 이전 프레임(#11)과 현재 프레임(#12) 간의 픽셀변화를 검출할 수 있다. 즉, 특성인식대상 식별모듈(162)은 이전 프레임(#11)의 픽셀과 현재 프레임(#12)의 픽셀을 비교하여 서로 다른 픽셀을 검출할 수 있다.

단계 S33에서, 특성인식대상 식별모듈(162)은 단계 S32에서의 픽셀 변화가 제1문턱치 이상인지를 식별할 수 있다. 만일, 특성인식대상 식별모듈(162)은 픽셀 변화가 제1문턱치 미만이면 단계 S34의 영상 특성 인식을 수행하지 않고 이전의 화질모드를 적용하고, 다음 두 프레임(#12-#13) 간의 픽셀변화를 검출할 수 있다. 만일, 특성인식대상 식별모듈(162)은 픽셀 변화가 제1문턱치 이상이면 단계 S34의 영상 특성 인식을 수행할 수 있다. 여기서, 제1문턱치는 이전 프레임(#11)의 픽셀 대비 달라진 현재 프레임(#12)의 픽셀의 수로 설정될 수 있다.

단계 S34에서, 특성인식대상 식별모듈(162)은 현재 프레임(#12)의 픽셀변화영역(PA1)을 추출할 수 있다. 픽셀변화영역(PA1)은 현재 프레임(#12)의 변화된 픽셀들 중 최외곽 픽셀들을 연결하여 형성할 수 있다. 도 9를 참조하면, 현재 프레임(#12)은 4각형의 픽셀변화영역(PA1)을 포함하고 있다.

단계 S35에서, 특성인식대상 식별모듈(162)은 픽셀변화영역(PA1) 기준 픽셀변화 프레임(102)을 추출할 수 있다. 도 10을 참조하면, 픽셀변화 프레임(102)은 현재 프레임(#12)의 일부로서 픽셀변화영역(PA1)을 포함하고 있다. 이때, 픽셀변화 프레임(102)은 픽셀변화영역(PA1)과 동일하거나 또는 현재 프레임(#12)과 동일할 수도 있다.

단계 S36에서, 특성인식대상 식별모듈(162)은 픽셀변화 프레임(102)이 제2문턱치 이상인지를 판단할 수 있다. 여기서, 제2문턱치는 전체(유효)화면 대비 픽셀변화 프레임(102)의 면적비율로 설정될 수 있다. 만일, 픽셀변화 프레임(102)이 제2문턱치보다 작으면, 현재 프레임(#12)은 정지영상으로 식별할 수 있다. 만일, 픽셀변화 프레임이 제2문턱치 이상이면, 단계 S37의 영상 특성인식을 수행할 수 있다.

단계 S37에서, 영상특성 인식모듈(164)은 픽셀변화 프레임(302)이 제2문턱치보다 큰 현재 프레임에 대한 영상 특성 인식을 수행할 수 있다.

영상특성 인식모듈(164)은 장면전환이 식별되면 두 프레임들(#11, #12)로부터 벡터정보를 추출하고 추출된 벡터정보로부터 모션정보를 인식하여 움직임의 크기 및 인식 방향 별 비율 등 화면 상태를 인식할 수 있다.

단계 S38에서, 영상특성 인식모듈(164)은 연속된 두 프레임(#11, #12) 중 현재 프레임(#12)에 대해 영상인식을 수행하여 화면정보를 인식하게 된다. 영상특성 인식모듈(164)은 딥러닝 기반 학습된 모델을 사용하며 컨텐츠영상인지 UI영상인지를 영상정보를 식별할 수 있다.

단계 S39에서, 영상특성 인식모듈(164)은 인식된 화면상태, 그리고 화면정보를 기초로 현재 프레임이 정지영상인지 동영상인지를 결정할 수 있다.

단계 S40에서, 화질모드 결정모듈(166)은 상술한 방법으로 식별된 정지영상 또는 동영상에 대응하는 현재 프레임(#12)에 적합한 화질모드를 결정할 수 있다.

이상과 같이, 본 발명의 제3실시예에 따른 전자장치(1)는 두 프레임 간의 변화된 픽셀 수에 따라 1차적으로 영상 특성 인식의 수행여부를 식별하고, 두 프레임 간 장면전환 여부에 따라 2차적으로 영상 특성 인식을 수행여부를 식별함으로써 더욱 세밀하게 영상 특성 인식 대상을 선정할 수 있다.

도 18은 본 발명의 제4실시예에 따른 영상을 최적 화질 모드로 처리하는 방법을 나타내는 순서도이고, 도 19 및 20은 각각 연속하는 두 프레임(#81, #82)을 나타내는 도면이다.

단계 S41에서, 전자장치(1)는 인터페이스부(11)를 통해 영상을 수신할 수 있다.

단계 S42에서, 특성인식대상 식별모듈(162)은 복수의 프레임(#81~#8N) 중 연속하는 이전 프레임(#81)과 현재 프레임(#82) 간의 픽셀변화를 검출할 수 있다. 즉, 특성인식대상 식별모듈(162)은 이전 프레임(#81)의 픽셀과 현재 프레임(#82)의 픽셀을 비교하여 서로 다른 픽셀을 검출할 수 있다.

단계 S43에서, 특성인식대상 식별모듈(162)은 현재 프레임(#82)의 픽셀변화영역을 추출할 수 있다. 픽셀변화영역은 현재 프레임(#82)의 변화된 픽셀들 중 최외곽 픽셀들을 연결하여 형성할 수 있다.

단계 S44에서, 특성인식대상 식별모듈(162)은 픽셀변화영역 기준 픽셀변화 프레임(102)을 추출할 수 있다.

단계 S45에서, 특성인식대상 식별모듈(162)은 픽셀변화 프레임(102)이 제2문턱치 이상인지를 판단할 수 있다. 여기서, 제2문턱치는 전체(유효)화면 대비 픽셀변화 프레임(102)의 면적비율로 설정될 수 있다. 만일, 픽셀변화 프레임(102)이 제2문턱치보다 작으면, 현재 프레임(#82)은 정지영상으로 식별할 수 있다. 만일, 픽셀변화 프레임이 제2문턱치 이상이면, 단계 S46의 영상 특성인식을 수행할 수 있다.

단계 S46에서, 영상특성 인식모듈(164)은 픽셀변화 프레임(302)이 제2문턱치보다 큰 현재 프레임에 대한 영상 특성 인식을 수행할 수 있다.

영상특성 인식모듈(164)은 장면전환이 식별되면 두 프레임들(#81, #82)로부터 벡터정보를 추출하고 추출된 벡터정보로부터 모션정보를 인식하여 움직임의 크기 및 인식 방향 별 비율 등 화면 상태를 인식할 수 있다.

단계 S47에서, 영상특성 인식모듈(164)은 연속된 두 프레임(#81, #82) 중 현재 프레임(#82)에 대해 영상인식을 수행하여 화면정보를 인식하게 된다. 영상특성 인식모듈(164)은 딥러닝 기반 학습된 모델을 사용하며 컨텐츠영상인지 UI영상인지를 영상정보를 식별할 수 있다.

단계 S48에서, 영상특성 인식모듈(164)은 두 프레임(#81, #82)을 표시한 전체화면 대비 블랙영역(BA1, BA2) 변화 비율을 검출할 수 있다. 이때, 두 프레임(#81, #82)의 블랙영역 변화비율이 소정의 제4문턱치 이상이면 정지영상으로 판단할 수 있다.

도 19 및 20을 참조하면, 두 프레임(#81, #82)은 컨텐츠 자체가 변환된 것이 아니라 단순 이동에 불과하다. 따라서, 영상특성 인식모듈(164)은 컨텐츠의 이동에 따른 장면전환이 발생하더라도 정지영상으로 처리할 수 있다.

단계 S49에서, 영상특성 인식모듈(164)은 인식된 화면상태, 화면정보, 및 블랙영역정보를 기초로 현재 프레임이 정지영상인지 동영상인지를 결정할 수 있다.

단계 S50에서, 화질모드 결정모듈(166)은 상술한 방법으로 식별된 정지영상 또는 동영상에 대응하는 현재 프레임(#12)에 적합한 화질모드를 결정할 수 있다.

도 21은 제1 내지 제4실시예에서 식별된 정지영상 또는 동영상에 적합한 화질모드를 선정하는 방법을 나타내는 순서도이다.

단계 S61에서, 화질모드 결정모듈(166)은 식별된 정지영상에 대응하는 영상, 즉 UI영상, Web영상, 텍스트영상, 갤러리영상 등에 대한 프레임의 크기를 체크할 수 있다.

단계 S62에서, 화질모드 결정모듈(166)은 프레임의 크기가 제4문턱치 이상인 영상에 대한 추가 영상 특성인식을 수행할 수 있다. 화질모드 결정모듈(166)은 추가 영상 특성인식을 통해 현재 프레임에 목표장면 또는 목표객체를 검출하고, 검출된 목표장면 또는 목표객체에 따라 기 설정된 클래스(#1~#N)로 분류할 수 있다.

단계 S63에서, 화질모드 결정모듈(166)은 클래스 분류된 영상을 기 정의된 화질모드에 매핑할 수 있다. 또한, 화질모드 또한 결정모듈(166)은 동영상으로 식별된 영상을 기 정의된 화질모드로 매핑할 수 있다.

단계 S64에서, 화질모드 결정모듈(166)은 기 정의된 화질모드로 매핑된 영상을 화질모드 스택에 저장할 수 있다.

단계 S65에서, 화질모드 결정모듈(166)은 화질모드 스택에 저장된 화질모드들 중 가장 많은 수의 화질모드를 최종 화질모드로 선정할 수 있다.

이상과 같이, 정지영상으로 식별된 영상에 대해 프레임 크기를 검출하여 소정 크기 이상의 영상에 대해서만 추가 영상 특성정보 인식을 통해 세부 분류함으로써 실질적인 정지영상에 대해 최적의 화질모드를 적용할 수 있다.

도 22는 다른 실시예에 따른 정지영상 또는 동영상에 적합한 화질모드를 선정하는 방법을 나타내는 순서도이다.

단계 S71에서, 화질모드 결정모듈(166)은 식별된 정지영상에 대응하는 영상, 즉 UI영상, Web영상, 텍스트영상, 갤러리영상 등에 대한 프레임의 크기를 체크할 수 있다.

단계 S72에서, 화질모드 결정모듈(166)은 프레임의 크기가 제4문턱치 이상인 영상에 대한 모션정보 인식을 수행할 수 있다. 화질모드 결정모듈(166)은 모션정보 인식을 통해 정지영상으로 식별된 영상이 전체적으로 정지영상인지 특정 영역에 동영상을 포함하는지를 식별할 수 있다. 화질모드 결정모듈(166)은 특정 영역에 동영상을 포함하는 영상으로 식별된 경우 별도의 클래스 중 하나로 분류할 수 있다. 결과적으로, 부분 동영상 클래스는 전체적으로 정지영상 화질에 맞게 처리하되 특정 영역만 동영상 화질에 맞게 처리하도록 하여 영상의 특성에 적합한 화질모드로 처리하는 것이 가능하다.

단계 S73에서, 화질모드 결정모듈(166)은 전체적으로 정지영상인 경우 추가 영상 특성인식을 수행할 수 있다. 화질모드 결정모듈(166)은 추가 영상 특성인식을 통해 현재 프레임에 목표장면 또는 목표객체를 검출하고, 검출된 목표장면 또는 목표객체에 따라 기 설정된 클래스(#1~#N)로 분류할 수 있다.

단계 S74에서, 화질모드 결정모듈(166)은 클래스 분류된 영상을 기 정의된 화질모드에 매핑할 수 있다. 또한, 화질모드 또한 결정모듈(166)은 동영상으로 식별된 영상을 기 정의된 화질모드로 매핑할 수 있다.

단계 S75에서, 화질모드 결정모듈(166)은 기 정의된 화질모드로 매핑된 영상을 화질모드 스택에 저장할 수 있다.

단계 S76에서, 화질모드 결정모듈(166)은 화질모드 스택에 저장된 화질모드들 중 가장 많은 수의 화질모드를 최종 화질모드로 선정할 수 있다.

이상과 같이, 정지영상으로 처리되는 영상의 특정 영역에 동영상을 포함하는 경우에도 정지영상과 동영상을 모두 고려하여 화질모드를 적용함으로써 사용자에게 더욱 최적의 화질모드를 제공할 수 있다.

본 발명의 실시예에 따른 전자장치(1)는 모바일장치(2)으로부터 스크린 미러링 방식으로 전달된 영상뿐만 아니라, 인터페이스부(11)를 통해 전달되는 스트리밍 방식으로 전달된 영상, 다운로드 방식으로 전달된 영상 등에 대해서도 마찬가지로 최적의 화질모드로 제공하는 것이 가능하다.

본 발명의 실시예에 따른, 최적의 영상화질모드 서비스모듈은 컴퓨터 판독 가능 기록매체로서 메모리(13)에 저장된 컴퓨터프로그램제품 또는 네트워크통신으로 송수신되는 컴퓨터프로그램 제품으로 구현될 수 있다. 또한, 상술한 영상화질모드 서비스모듈들은 단독 또는 통합되어 컴퓨터프로그램으로 구현될 수 있다.

본 발명의 실시예에 따른 컴퓨터 프로그램은 복수의 프레임에 기초한 영상에서 연속하는 두 프레임 간의 픽셀 변화를 검출하고, 상기 픽셀 변화가 문턱치 이상인 프레임에 기초하여 기 정의된 특성의 인식을 실행할 수 있다.

1: 전자장치
11: 인터페이스부
12: 영상처리부
13: 메모리
14: 음성인식부
15: 디스플레이부
16: 프로세서
162: 특성인식대상 식별모듈
164: 영상 특성 인식모듈
166: 화질모드 결정모듈
2: 모바일장치
3: 리모컨
4: 셋탑박스
5: 서버
6: AI스피커
7: 디스플레이장치

Claims

전자장치에 있어서,
인터페이스부와;
상기 인터페이스부를 통해 수신되는 신호로부터 획득되는 복수의 프레임에 기초한 영상이 기 정의된 특성을 가지는지 여부에 따라 상기 영상의 보정을 수행하는
프로세서를 포함하며,
상기 프로세서는,
상기 복수의 프레임 중 연속되는 두 프레임 간의 픽셀 변화가 임계값 이상인 프레임에 기초하여 상기 기 정의된 특성의 인식을 수행하는 전자장치.
제1항에 있어서,
상기 프로세서는,
상기 픽셀 변화영역을 검출하는 전자장치.
제2항에 있어서,
상기 픽셀 변화영역은,
상기 연속되는 두 프레임 간 변화된 픽셀들 중 복수의 외곽 픽셀을 연결하여 형성되는 전자장치.
제3항에 있어서,
상기 임계값은,
유효화면 대비 상기 픽셀 변화영역의 비율의 임계값을 포함하는 전자장치.
제4항에 있어서,
상기 프로세서는,
상기 픽셀 변화영역의 비율이 상기 임계값 미만인 영상을 이전 화질모드로 처리하는 전자장치.
제1항에 있어서,
상기 프로세서는,
상기 픽셀 변화가 상기 임계값 미만인 영상을 이전 화질모드로 처리하는 전자장치.
제1항에 있어서,
상기 프로세서는,
유사 특징점 비율을 비교하여 상기 특성의 인식을 수행하는 전자장치.
제7항에 있어서,
상기 특성의 인식은,
장면전환정보 인식 또는 모션정보 인식 중 적어도 하나를 포함하는 전자장치.
제1항에 있어서,
상기 프로세서는,
상기 연속하는 두 프레임을 표시하는 유효화면의 블랙영역을 검출하는 전자장치.
제9항에 있어서,
상기 프로세서는,
상기 검출된 상기 연속하는 두 프레임 간의 블랙영역 차이에 따라 정지영상 또는 동영상 중 어느 하나로 식별하는 전자장치.
제1항에 있어서,
상기 프로세서는,
상기 연속하는 두 프레임 중 뒤쪽 프레임이 컨텐츠영상인지 또는 UI영상인지를 식별하는 전자장치.
제1항에 있어서,
상기 프로세서는,
상기 특성 인식 결과를 기초로 상기 영상이 정지영상인지 또는 동영상인지를 식별하는 전자장치.
제12항에 있어서,
상기 프로세서는,
상기 정지영상의 프레임 크기를 검출하고,
소정 크기 이상의 프레임에 대해 추가 특성 인식을 수행하는 전자장치.
제13항에 있어서,
상기 추가 특성 인식은 목표 장면 또는 목표 객체 중 적어도 하나의 검출을 포함하는 전자장치.
제14항에 있어서,
상기 프로세서는,
상기 목표 장면 또는 목표 객체 중 적어도 하나의 검출에 따라 기 정의된 클래스로 분류 및 매핑시키는 전자장치.
전자장치에 있어서,
인터페이스부와;
상기 인터페이스부를 통해 수신되는 신호로부터 획득되는 복수의 프레임에 기초한 영상이 기 정의된 특성을 가지는지 여부에 따라 상기 영상의 보정을 수행하는
프로세서를 포함하며,
상기 프로세서는,
상기 픽셀 변화가 임계값 이상인 연속하는 두 프레임을 표시하는 유효화면의 블랙영역을 각각 검출하고,
상기 검출된 두 프레임의 유효화면의 블랙영역에 기초하여 상기 영상이 정지영상인지 동영상인지를 식별하는 전자장치.
제16항에 있어서,
상기 영상은 외부장치에서 표시하는 영상의 미러링 영상을 포함하는 전자장치.
전자장치의 제어방법에 있어서,
상기 신호를 수신하는 단계와;
상기 수신되는 신호로부터 획득되는 복수의 프레임에 기초한 영상이 기 정의된 특성을 가지는지 여부에 따라 상기 영상을 보정하는 단계를 포함하며,
상기 영상 보정 단계는,
상기 복수의 프레임 중 연속되는 두 프레임 간의 픽셀 변화가 임계값 이상인 프레임에 기초하여 상기 기 정의된 특성의 인식을 수행하는 단계를 포함하는 전자장치의 제어방법.
컴퓨터에 의해 실행되는 컴퓨터 프로그램이 저장되는, 컴퓨터 판독 가능 기록매체에 있어서,
상기 컴퓨터 프로그램은,
복수의 프레임에 기초한 영상에서 연속하는 두 프레임 간의 픽셀 변화를 검출하고,
상기 픽셀 변화가 임계값 이상인 프레임에 기초하여 기 정의된 특성의 인식을 실행하는,
컴퓨터 판독가능 기록매체.