KR101648449B1 - 디스플레이 장치에서 영상 처리 방법 및 디스플레이 장치 - Google Patents

Abstract

디스플레이중인 화면의 적어도 일부를 캡쳐하여 업스케일링하는 디스플레이 장치의 영상 처리 방법 및 디스플레이 장치가 개시된다. 상기 디스플레이 장치의 영상 처리 방법은, 디스플레이 장치의 화면에 영상을 디스플레이하면서, 상기 영상의 프레임을 기준으로 이전 M개의 프레임을 저장하며, 상기 영상을 디스플레이하는 중에 캡쳐 명령이 입력되면, 디스플레이중인 전체 화면 중 적어도 일부를 캡쳐하고, 캡쳐된 영상의 프레임을 기준으로 이후 N개의 프레임을 저장한다. 그리고 상기 이전 M개/이후 N개의 프레임 중 적어도 하나를 참조 프레임으로 이용하여, 상기 캡쳐된 영상의 해상도를 업스케일링한다. 상기 업스케일링된 영상은 저장 매체에 저장할 수도 있고, 디스플레이 장치에 디스플레이할 수도 있다.

영상, 캡쳐, 해상도

Description

디스플레이 장치에서 영상 처리 방법 및 디스플레이 장치{Method of processing image in a display apparatus and the display apparatus}

본 발명은 시청 중인 영상을 처리하기 위한 디스플레이 장치 및 디스플레이 장치에서의 영상 처리 방법에 관한 것이다.

일반적으로 텔레비전과 같은 디스플레이 장치는 입력되는 영상 신호를 처리하여 디스플레이한다.

상기 디스플레이 장치는 방송망을 통해 수신되는 방송 신호를 처리하여 디스플레이할 수도 있고, 인터넷과 같은 통신망을 통해 입력되는 영상 신호를 처리하여 디스플레이할 수도 있으며, 외부 입력 단자를 통해 입력되는 영상 신호를 처리하여 디스플레이할 수도 있다.

본 발명의 목적은 디스플레이 장치에 디스플레이중 인 영상의 적어도 일부를 캡쳐하고, 캡쳐된 영상의 해상도를 업스케일링하여 사용자에게 제공할 수 있도록 하는 디스플레이 장치에서의 영상 처리 방법 및 그 디스플레이 장치를 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 디스플레이 장치의 영상 처리 방법은, 디스플레이 장치의 화면에 영상을 디스플레이하면서, 상기 영상의 프레임을 기준으로 이전 M개의 프레임을 저장하는 단계; 상기 영상을 디스플레이하는 중에 캡쳐 명령이 입력되면, 디스플레이중인 전체 화면 중 적어도 일부를 캡쳐하고, 캡쳐된 영상의 프레임을 기준으로 이후 N개의 프레임을 저장하는 단계; 상기 이전 M개/이후 N개의 프레임 중 적어도 하나를 참조 프레임으로 이용하여, 상기 캡쳐된 영상의 해상도를 업스케일링하는 단계; 상기 업스케일링된 영상의 저장 명령에 따라 해당 저장 매체에 상기 업스케일링된 영상을 저장하는 단계; 및 상기 업스케일링된 영상의 디스플레이 명령에 따라 해당 디스플레이 타입으로 상기 업스케일링된 영상을 화면의 적어도 일부에 디스플레이하는 단계를 포함할 수 있다.

상기 업스케일링 단계는 상기 캡쳐된 영상을 초해상도(super resolution) 영상으로 업스케일링하는 것을 특징으로 한다.

상기 업스케일링 단계는 상기 캡쳐된 영상과 상기 캡쳐된 영상의 이전 M개/ 이후 N개의 프레임 중 적어도 하나를 입력받아 움직임 추정을 수행하여 캡쳐된 영상과 참조 프레임 간의 움직임 정보를 구하는 단계; 상기 각 참조 프레임의 움직임 정보를 초해상도 좌표에 맵핑시키는 단계; 및 상기 초해상도 좌표에 맵핑된 참조 프레임의 픽셀 정보들로부터 초해상도 영상의 픽셀값을 구하여, 초해상도 영상을 출력하는 단계를 포함할 수 있다.

상기 저장 단계는 상기 업스케일링된 영상의 저장 명령에 따라 상기 디스플레이 장치에서 저장 가능한 저장 매체 정보를 메뉴 화면으로 디스플레이하는 단계; 및 상기 메뉴 화면에서 유저에 의해 선택된 저장 매체에 업스케일링된 영상을 저장하는 단계를 포함할 수 있다.

상기 디스플레이 단계는 상기 업스케일링된 영상의 디스플레이 명령에 따라 적어도 하나의 디스플레이 타입을 메뉴 화면으로 디스플레이하는 단계; 및 상기 메뉴 화면에서 유저에 의해 선택된 디스플레이 타입에 따라 상기 업스케일링된 영상을 디스플레이하는 단계를 포함할 수 있다.

상기 디스플레이 단계는 상기 디스플레이 타입 중 전체 화면이 선택되면 상기 업스케일링된 영상을 화면 전체에 디스플레이하고, 동시 화면이 선택되면 주/부화면 중 어느 한 화면에 상기 업스케일링된 영상을 화면 전체에 디스플레이하는 것을 특징으로 한다.

상기 디스플레이 단계는 상기 업스케일링된 영상의 배경 화면 지정 명령에 따라 상기 업스케일링된 영상을 상기 디스플레이 장치의 배경 화면으로 설정하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 디스플레이 장치는, 방송망과 통신망 중 적어도 하나를 통해 수신되는 방송, 외부 입력 단자를 통해 외부 기기로부터 입력되는 영상, 저장 매체로부터 입력되는 영상 중 적어도 하나가 처리되어 입력되면, 이를 화면으로 디스플레이하는 출력부; 휘발성 내부 저장 매체, 비휘발성 내부 저장 매체, 비휘발성 외부 저장 매체 중 적어도 하나를 구비하고, 상기 화면에 영상이 디스플레이되는 동안 상기 디스플레이 중인 영상의 프레임을 기준으로 이전 M개의 프레임을 저장하고, 캡쳐 명령이 입력되면 전체 화면 중 적어도 일부 화면의 영상을 캡쳐하고, 캡쳐된 영상의 프레임을 기준으로 이후 N개의 프레임을 저장하는 저장부; 및 상기 이전 M개/이후 N개의 프레임 중 적어도 하나를 참조 프레임으로 이용하여, 상기 캡쳐된 영상의 해상도를 초해상도 영상으로 변환하는 초해상도 처리부를 포함할 수 있다. 상기 저장부는 상기 초해상도 영상의 저장 명령에 따라 해당 저장 매체에 상기 초해상도 영상을 저장하고, 상기 출력부는 상기 초해상도 영상의 디스플레이 명령에 따라 해당 디스플레이 타입으로 상기 초해상도 영상을 화면의 적어도 일부에 디스플레이할 수 있다.

상기 초해상도 처리부는 상기 캡쳐된 영상과 상기 캡쳐된 영상의 이전 M개/이후 N개의 프레임 중 적어도 하나를 입력받아 움직임 추정을 수행하여 캡쳐된 영상과 참조 프레임 간의 움직임 정보를 구하는 움직임 추정부; 상기 각 참조 프레임의 움직임 정보를 초해상도 좌표에 맵핑시키는 보간부; 및 상기 초해상도 좌표에 맵핑된 참조 프레임의 픽셀 정보들로부터 블러와 노이즈를 제거하면서 초해상도 영상의 픽셀값을 구하여, 초해상도 영상을 출력하는 영상 복원부를 포함할 수 있다.

여기서, 상기 M과 N은 동일한 값을 가질 수도 있고, 서로 다른 값을 가질 수도 있다. 상기 M은 0이거나 0보다 크다. 상기 N은 0이거나 0보다 크다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에 따르면, 디스플레이 장치의 화면에 영상을 디스플레이하면서, 상기 영상의 프레임을 기준으로 이전 M개의 프레임을 저장하며, 상기 영상을 디스플레이하는 중에 캡쳐 명령이 입력되면, 디스플레이중인 전체 화면 중 적어도 일부를 캡쳐하고, 캡쳐된 영상의 프레임을 기준으로 이후 N개의 프레임을 저장하고 나서, 상기 이전 M개/이후 N개의 프레임 중 적어도 하나를 참조 프레임으로 이용하여, 상기 캡쳐된 영상을 초해상도 영상으로 변환한다. 이렇게 함으로써, 화질이 낮은 캡쳐 영상은 크기가 커지면서 해상도도 좋아지는 효과가 있다. 또한 초해상도 영상을 디스플레이 장치의 저장 매체에 저장한 후, 다른 외부 기기에서 배경화면으로 이용하게 할 수도 있고, 해당 디스플레이 장치의 배경 화면으로 이용하게 할 수도 있다. 그리고 연속 캡쳐 구간을 설정하고, 설정된 연속 캡쳐 구간 동안 캡쳐된 영상을 초해상도로 변환하여 연속 스틸 것을 구성할 수도 있다. 이와 같이 본 발명은 초해상도로 변환된 캡쳐 영상을 다양하게 응용할 수 있다.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설 명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.

본 발명은 디스플레이 장치에서 디스플레이중인 영상의 적어도 일부를 캡쳐하고, 캡쳐된 영상의 해상도를 업스케일링하여 사용자에게 제공할 수 있도록 한다.

특히 본 발명은 캡쳐된 영상의 해상도를 초해상도(super resolution)로 업스케일링하여 사용자에게 제공할 수 있도록 한다.

본 발명의 디스플레이 장치는 지상파, 위성, 케이블 중 어느 하나로 전송되는 방송 신호를 수신하여 처리한 후 사용자에게 제공할 수 있는 장치이다. 또한 상기 디스플레이 장치가 IPTV(Internet Protocol TV)라면 인터넷 망을 통해 방송 신호를 수신하여 처리한 후 사용자에게 제공할 수도 있다. 즉, 본 발명의 디스플레이 장치를 통해 디스플레이되는 영상은 지상파, 위성, 케이블과 같은 방송망을 통해 입력될 수도 있고, 인터넷과 같은 통신망을 통해 입력될 수도 있으며, 외부 입력 단자를 통해 입력될 수도 있다. 상기 외부 입력 단자에는 다양한 외부 기기가 연결 될 수 있다. 예를 들면, 외부 기기로는 캠코더, DVD 플레이어, VTR, 디지털 카메라, 휴대폰, 퍼스널 컴퓨터(PC), 감시 카메라 등이 있다.

상기 디스플레이 장치에는 HDD와 같은 저장 매체가 내부에 탑재되어, 내부 저장 매체의 역할을 수행할 수 있다.

또한 상기 외부 입력 단자를 통해 외부 저장 매체가 상기 디스플레이 장치에 연결될 수도 있다. 상기 외부 저장 매체로는 HDD, USB 메모리 등이 있을 수 있다. 또 다른 예로, 상기 휴대폰, PC 등을 외부 저장 매체로서 이용할 수도 있다.

도 1은 본 발명에 따른 디스플레이 장치 중 텔레비전 시스템의 일 실시예를 보인 구성 블록도이다.

도1을 보면, 제어부(100), 튜너부(101), 복조부(102), 디멀티플렉서(103), 비디오 디코더(104), 디스플레이 처리부(105), 오디오 디코더(106), 외부 입력 처리부(108), 메모리(109), 내부 저장 매체(110), 초해상도 처리부(111), 유저 입력부(112), 출력부(113), 및 기록/재생부(114)를 포함할 수 있다. 이때 각 부는 내부 버스(120)를 통해 연결된다.

상기 메모리(109)는 복수개의 프레임을 저장할 수 있는 휘발성 메모리이다. 예를 들어, SDRAM, DRAM 등이 메모리로 이용될 수 있다. 그리고 상기 디스플레이 장치의 내부에 하드 디스크 드라이브(Hard Disk Drive ; HDD)를 탑재시켜 내부 저장 매체(110)로 이용할 수 있다.

또한 외부 입력 처리부(108)에는 외부 입력 단자를 통해 외부 기기가 연결될 수도 있고, 및/또는 외부 저장 매체(121)가 연결될 수도 있다.

즉, 외부 입력 처리부(108)의 외부 입력 단자에 HDD나 USB 메모리를 연결하여 외부 저장 매체(121)로 이용할 수 있다.

또한 외부 입력 단자가 양방향 통신이 가능하고, 상기 외부 입력 단자에 연결된 외부 기기가 외부 입력 단자를 통해 디스플레이 장치로부터 출력되는 영상을 저장할 수 있다면, 상기 외부 기기를 외부 저장 매체로 이용할 수도 있다. 예를 들어, 휴대폰, 디지털 카메라 등에 저장된 영상을 디스플레이 장치에서 디스플레이할 수도 있고, 디스플레이 장치에 디스플레이된 영상을 휴대폰이나 디지털 카메라로 출력하여 저장할 수도 있다.

본 발명은 내부 저장 매체(110) 또는 외부 저장 매체(121) 중 적어도 하나를 이용하여 디스플레이 장치로 수신되는 방송 신호를 저장할 수도 있다. 상기 저장은 즉시 녹화, 예약 녹화, 타임쉬프트 중 어느 하나를 통해 수행되는 것을 일 실시예로 한다. 상기 타임쉬프트는 타임머신이라 하기도 한다. 또한 본 발명에서는 초해상도로 업스케일링된 영상도 내부 저장 매체(110) 또는 외부 저장 매체(121) 중 적어도 하나를 이용하여 저장할 수 있다. 다른 실시예로, 외부 입력 단자를 통해 연결된 외부 기기가 저장 매체를 구비하고 있고, 상기 외부 입력 단자가 양방향 통신이 가능하다면 초해상도로 업스케일링된 영상을 상기 외부 기기에 저장할 수도 있다. 이때의 외부 기기는 예를 들면, 휴대폰, PC, 디지털 카메라, 캠코더, DVD 플레이어, VTR 등이 될 수 있다.

상기 튜너부(101)는 지상파, 위성, 케이블 중 어느 하나로 전송되는 특정 채널의 방송 신호를 수신하여 복조부(102)로 출력한다. 여기서 특정 채널은 미리 시 스템에 설정될 수도 있고, 유저 입력부(112)를 통해 유저가 선택한 채널이 될 수도 있다. 유저는 리모콘, 터치 스크린, 마우스 등과 같은 입력 장치를 이용하여 시청 예약, 녹화 예약, 채널 변경 등을 수행함에 의해 특정 채널을 선택할 수 있다. 유저에 의해 선택되는 채널은 유저 입력부(112)를 통해 제어부(100)로 입력되고, 제어부(100)는 원하는 채널의 방송 신호가 튜닝되도록 상기 튜너부(101)를 제어한다.

상기 복조부(102)는 튜너부(101)에서 튜닝된 채널의 방송 신호에 대해 복조를 수행한다. 상기 복조부(102)는 수신되는 방송 신호에 수행된 변조 방식의 역으로 복조를 수행한다. 예를 들어, 변조 방식이 VSB 방식이라면 복조도 VSB 방식으로 이루어지고, OFDM 방식이라면, 복조도 OFDM 방식으로 이루어진다.

상기 복조부(102)에서 복조된 방송 신호는 디멀티플렉서(103)로 입력된다. 상기 디멀티플렉서(103)는 입력되는 방송 신호에 다중화되어 있는 오디오, 비디오 스트림을 각각 분리한 후 메모리(109)를 통해 해당 디코더(104,106)로 출력한다. 상기 방송 신호에는 데이터 스트림이 다중화되어 있을 수 있으나, 데이터 스트림은 본 발명의 특징이 아니므로, 본 발명에서는 언급하지 않기로 한다. 한편, 상기 디멀티플렉서(103)로 입력되는 방송 신호에 복수개의 프로그램이 다중화되어 있다면, 그 중 하나의 프로그램을 선택한 후 선택된 프로그램으로부터 오디오 스트림과 비디오 스트림을 분리한다.

상기 비디오 디코더(104)는 상기 메모리(109)에 저장된 참조 프레임들을 이용하여 입력되는 비디오 스트림에 대해 비디오 디코딩을 수행하여 압축 이전의 상태로 복원한 후 디스플레이 처리부(105)로 출력한다. 또한 상기 비디오 디코딩된 데이터는 다음 프레임의 비디오 디코딩 과정에서 참조 프레임으로 이용되기 위하여 상기 메모리(109)에 저장된다. 상기 오디오 디코더(106)는 입력되는 오디오 스트림에 대해 오디오 디코딩을 수행하여 압축 이전의 상태로 복원한 후 출력부(113)로 출력한다.

일 예로, 비디오 디코더(104)는 MPEG-2 video 디코딩 알고리즘, MPEG-4 video 디코딩 알고리즘, H.264 디코딩 알고리즘, SVC 디코딩 알고리즘, VC-1 디코딩 알고리즘 중 적어도 하나를 이용하여 비디오 스트림을 디코딩할 수 있다. 상기 오디오 디코더(106)는 AC-3 디코딩 알고리즘, MPEG-2 audio 디코딩 알고리즘, MPEG-4 audio 디코딩 알고리즘, AAC 디코딩 알고리즘, AAC+ 디코딩 알고리즘, HE AAC 디코딩 알고리즘, AAC SBR 디코딩 알고리즘, MPEG surround 디코딩 알고리즘, BSAC 디코딩 알고리즘 중 적어도 하나를 이용하여 오디오 스트림을 디코딩할 수 있다.

상기 디스플레이 처리부(105)는 비디오 디코더(104)에서 압축 이전의 상태로 복원된 비디오 데이터를 디스플레이 동기 신호에 동기시켜 출력부(113)로 출력한다. 이때 상기 디스플레이 처리부(105)는 비디오 데이터를 디스플레이 포맷에 맞게 변환하여 상기 출력부(113)로 출력할 수도 있고, 상기 비디오 데이터가 I,P,B 픽쳐 구조라면 재배열하여 상기 출력부(113)로 출력할 수도 있다. 이때에도 상기 메모리(109)가 이용된다.

상기 출력부(113)는 스피커, TV 화면 등을 포함하며, 비디오 신호는 화면을 통해 출력되고, 오디오 신호는 내장 또는 외장 스피커를 통해 출력된다.

한편, 유저는 즉시 녹화, 예약 녹화, 타임시프트 중 어느 하나를 선택할 수 있고, 저장/재생부(114)는 즉시 녹화, 예약 녹화, 타임시프트 중 어느 하나가 유저에 의해 선택되면 현재 디스플레이 중이거나 예약된 시간에 수신되는 해당 채널의 방송을 저장 매체에 저장한다. 상기 타임시프트는 디스플레이 장치에서 자동으로 수행할 수도 있다. 다른 실시예로, 디스플레이 장치에서 전화를 수신할 수 있는 경우, 방송 또는 외부 기기로부터 입력되는 영상을 디스플레이하는 중에 전화가 오면 자동으로 타임시프트 동작을 수행하게 할 수도 있다. 또한 리모콘과 같은 입력 장치를 이용하여 타임시프트 동작을 수행하게 할 수도 있다.

이때 상기 저장/재생부(114)는 저장 매체의 용량을 고려하여 디코딩 이전의 영상을 저장 매체에 저장한 후, 재생시에 디코딩하여 화면으로 출력할 수도 있다. 또는 저장할 영상이 아날로그 신호이거나 압축이 되지 않은 신호인 경우에는 인코더를 이용하여 압축을 수행한 후 저장 매체에 저장할 수도 있다. 이를 위해 상기 저장/재생부(114)는 내부에 인코더를 더 구비할 수도 있다.

다른 예로, 상기 저장/재생부(114)는 재생될 영상의 화질을 고려하여 고화질의 영상을 그대로 저장 매체에 저장할 수도 있다. 본 발명에 따른 캡쳐 영상을 초해상도 영상으로 변환하여 저장 매체에 저장할 때, 상기 초해상도 영상을 그대로 저장할 수도 있고, 압축하여 저장할 수도 있다.

그리고 상기 저장 매체는 내부 저장 매체(110)와 외부 저장 매체(121) 중 어느 하나가 될 수도 있고, 외부 입력 단자를 통해 연결된 다른 외부 기기 예를 들어, 휴대폰, 캠코더, 디지털 카메라, VTR, 녹화 가능한 DVD 플레이어 등이 될 수도 있다. 본 발명에서는 내부 저장 매체(110)와 외부 저장 매체(121) 중 적어도 하나에 저장되는 것을 일 실시예로 한다. 이때 유저가 내부 저장 매체(110)와 외부 저장 매체(121) 중 적어도 하나를 선택하게 할 수도 있고, 또는 디스플레이 장치를 통해 어느 하나의 저장 매체를 디폴트로 설정한 후, 녹화 명령이 입력되면 해당 영상을 디폴트로 설정된 저장 매체에 저장하게 할 수도 있다. 예를 들어, 내부 저장 매체(110)가 디폴트로 설정되었다면, 즉시 녹화, 예약 녹화, 타임시프트 동작에 의해 해당 영상은 내부 저장 매체(110)에 저장된다.

이후, 유저가 내부 또는 외부 저장 매체(110,121)에 저장된 영상의 재생을 선택하면, 상기 저장/재생부(114)는 재생할 영상을 해당 저장 매체로부터 읽어 와 디멀티플렉서(103)로 출력하거나, 출력부(113)로 출력한다.

이때 타임시프트 기능에 의해 저장된 영상의 재생이 선택되면, OSD 형태의 안내 바를 디스플레이시키고, 녹화 정보 및 재생 시점 등을 표시할 수도 있다.

도 12는 본 발명에 따른 안내 바의 일 실시예를 보이고 있다.

상기 안내 바는 현재 위치를 나타내는 위치 지시자(position indicator)를 포함할 수 있다.

상기 위치 지시자(position indicator)는 전체 저장 시간에 비례하여, 현재 재생의 진행 상태를 시각적으로 도시화한 표시자이다. 상기 위치 지시자는 시각적으로 현재의 상태 위치를 표시할 수 있는 수단이면 모두 가능하고, 실시예로는 화살표, 선 또는 도형이 가능하다. 상기 위치 지시자를 전/후로 이동시켜 재생 시점을 변경할 수 있다. 이때, 위치 지시자를 직접 이동시키는 것도 가능하고, 제어키 를 이용하여 이동시키는 것도 가능하다. 직접 이동시키는 방법으로는 터치 스크린, 마우스 포인터, 리모컨, 디스플레이 장치의 방향키 등을 이용할 수 있다. 이는 실시예에 불과하며, 신호를 입력할 수 있는 수단은 모두 가능하다.

또한 상기 안내 바는 캐시바(cache bar)를 포함할 수 있다. 상기 캐시바는 현재 저장되는 상태를 시각적으로 도식화하는 의미 단위이다. 즉, 저장 상태에 비례하여, 캐시바가 증가하게 된다.

상기 안내 바에 시간 정보를 더 표시할 수도 있다. 예를 들어, 상기 시간 정보는 녹화된 전체 프로그램의 재생 시간 정보와 현재 재생 시간 정보, 녹화 당시의 시간 정보 등이 될 수 있다.

또한 디스플레이 장치가 동시 화면 기능을 가지고 있다면, 유저의 선택에 따라 현재 시청 중인 영상과 타임시프트된 영상을 동시에 하나의 화면에 디스플레이할 수도 있다.

상기 동시 화면 기능은 하나의 화면을 주화면과 하나 이상의 부화면으로 분할하여 각각 독립적인 영상을 보여주는 기능으로서, PIP(Picture In Picture), POP(Picture Out Picture), 더블 윈도우(또는 트윈 픽쳐) 등이 있다. 상기 PIP는 주화면 내에 하나 이상의 부화면이 디스플레이되는 것을 말하고, POP는 주화면의 좌측(또는 우측)에 하나 이상의 부화면이 디스플레이되는 것을 말한다. 또한 더블 윈도우란 한 화면을 좌,우 화면으로 분할하고, 분할된 좌화면에 주화면 영상을, 우화면에 부화면 영상을 디스플레이하는 것을 말한다. 이때 좌,우화면의 크기는 동일할 수도 있고, 동일하지 않을 수도 있다.

그리고, 저장 매체 내에서 타임시프트를 위한 저장 공간이 고정되어 있을 경우, 상기 타임시프트를 위한 저장 공간이 풀이 되면 가장 먼저 저장된 데이터부터 삭제하고 그 위치에 저장하거나, 그 위에 오버라이트하는 방식으로 현재 디스플레이되는 영상을 저장할 수 있다.

한편, 상기 외부 입력 처리부(108)는 다양한 외부 입력 단자를 포함할 수 있다. 상기 외부 입력 처리부(108)는 DVI(Digital Video Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, S 단자, 콤포넌트 단자, 콤포지트 단자, USB (Universal Serial Bus) 단자 중 적어도 하나를 포함할 수 있다. 상기 외부 입력 단자는 단방향으로만 영상 신호를 전송할 수도 있고, 양방향으로 영상 신호를 전송할 수도 있다. 상기 외부 입력 단자들은 본 발명의 이해를 돕기 위한 실시예들이며, 상기 외부 입력 처리부(108)로 외부 영상을 제공할 수 있는 외부 입력 단자는 어느 것이나 가능하므로, 본 발명의 외부 입력 단자는 상기된 실시예로 제한되지 않을 것이다.

그리고 상기 외부 입력 단자에는 다양한 종류의 외부 기기가 연결될 수 있다. 예를 들어, 개인용 컴퓨터(PC), 캠코더, 감시 카메라, 디지털 카메라, 휴대폰, DVD 플레이어, VTR 등이 연결될 수 있다. 또한 상기 USB 단자를 통해 다양한 종류의 외부 기기가 연결될 수도 있고, 외부 저장 매체가 연결될 수도 있다. 예를 들어, 휴대폰, 디지털 카메라 등이 상기 USB 단자를 통해 연결될 수 있다. 또한 HDD, USB 메모리 등이 상기 USB 단자를 통해 연결될 수도 있다. 그리고 하나의 USB 단자를 통해 다양한 외부 기기나 저장 매체를 연결하기 위하여 상기 외부 입력 처리 부(108)는 USB 허브를 포함할 수 있다.

본 발명은 상기 외부 입력 처리부(108)의 USB 단자를 통해 연결되는 HDD, USB 메모리 등의 저장 매체를 외부 저장 매체(121)로 이용하는 것을 일 실시예로 한다.

상기 외부 입력 처리부(108)는 외부 입력 단자에 연결된 외부 기기로부터 외부 영상 신호를 입력받을 수 있다. 또한 상기 외부 입력 처리부(108)는 외부 입력 단자에 연결된 외부 저장 매체(121)로부터 영상 신호를 입력받을 수 있다.

상기 외부 입력 처리부(108)는 입력되는 영상 신호의 색좌표를 디스플레이 장치의 색좌표로 변환하기 위하여 색좌표 변환부를 포함할 수 있다. 예를 들어, 외부 기기로부터 입력되는 영상 신호의 색좌표가 RGB이고, 디스플레이 장치의 색좌표가 YCbCr이라면, 상기 색좌표 변환부는 외부 기기로부터 입력되는 영상 신호의 RGB를 YCbCr로 변환한다.

상기 외부 입력 처리부(108)는 입력되는 영상 신호의 포맷을 디스플레이 장치의 포맷으로 변환하기 위하여 포맷 변환부를 포함할 수 있다. 예를 들어, 외부 기기로부터 입력되는 영상 신호의 포맷이 640*480이고, 디스플레이 장치의 포맷이 1920*1080라면, 상기 포맷 변환부는 외부 기기로부터 입력되는 영상 신호의 포맷을 1920*1080으로 변환할 수 있다. 상기 포맷 변환 기능은 디스플레이 처리부(105)에서 수행할 수도 있다. 또한 외부 기기로부터 입력되는 영상의 프레임 율과 디스플레이 장치의 프레임 율이 맞지 않는다면, 상기 외부 입력 처리부(108) 또는 디스플레이 처리부(105)에서 디스플레이 장치에 맞게 프레임 율을 변환할 수도 있다.

상기 외부 입력 처리부(108)는 외부 입력 단자를 통해 입력되는 외부 영상을 출력부(113)를 통해 유저에게 제공할 수 있도록 적어도 하나의 코덱 알고리즘을 포함할 수 있다. 상기 코덱 알고리즘은 디스플레이 장치의 출하시 외부 입력 처리부(108)에 내장될 수도 있고, 이후 PC와 같은 외부 기기나 외부 저장 매체를 이용하여 다운로드받을 수도 있다. 또한 상기 외부 기기나 외부 저장 매체를 이용하여 기존의 코덱 알고리즘을 업그레이드할 수도 있다.

상기 외부 입력 처리부(108)는 캠코더나 PC와 같은 외부 기기 또는 외부 저장 매체(121)를 통해 다양한 파일 형식의 영화, UCC(User Created Contents) 동영상을 입력받아 해당 코덱 알고리즘으로 인코딩한 후 출력부(113)를 통해 디스플레이할 수도 있다.

상기 외부 입력 처리부(108)에 무선 기능을 탑재하고, 이 기능을 지원하는 휴대폰, PC 등에 저장된 사진이나 동영상을 입력받아 해당 코덱 알고리즘으로 인코딩한 후 출력부(113)를 통해 디스플레이할 수도 있다. 즉, 케이블 연결 없이도 휴대폰, PC 등에 저장된 사진이나 동영상 등을 TV와 같은 디스플레이 장치에서 입력받아 디스플레이시킬 수 있다.

한편 디스플레이 장치의 화면을 통해 디스플레이되는 영상을 시청하는 중에, 유저는 캡쳐 기능을 사용할 수 있다. 상기 디스플레이 장치의 화면에 디스플레이되는 영상은 방송국 등으로부터 수신된 방송 프로그램, 광고 등이 해당될 수 있으며, 또한 외부 기기나 저장 매체로부터 입력되는 영상이 해당될 수도 있다. 상기 캡쳐 기능은 입력 장치 예를 들어, 리모콘의 특정 버튼을 입력함에 의해 수행될 수 있 다.

본 발명은 캡쳐 기능이 선택되면, 현재 디스플레이되고 있는 화면 전체 또는 전체 화면 중 일부를 유저가 선택할 수 있도록 하는 것을 일 실시예로 한다.

또한 본 발명은 연속 스틸 컷을 생성하기 위해 유저에 의해 캡쳐 구간을 지정할 수 있도록 하는 것을 일 실시예로 한다.

상기 캡쳐되는 영상은 디스플레이 장치에 디스플레이될 수도 있고, 상기 디스플레이 장치의 내부 저장 매체(110) 또는 외부 저장 매체(121)에 저장될 수도 있다. 또는 외부 기기를 통해 다른 저장 매체에 저장될 수도 있다. 상기 디스플레이 및 저장 방법의 상세한 설명은 뒤에서 하기로 한다.

이때 본 발명은 특정 화면 또는 특정 구간 동안에 캡쳐되는 영상의 해상도를 업스케일링하는 것을 일 실시예로 한다.

그리고 상기 업스케일링되는 영상의 해상도는 초해상도인 것을 일 실시예로 한다.

이를 위해 본 발명은 초해상도 처리부(111)를 포함한다.

즉, 본 발명에서는 복수개의 참조 프레임을 사용함에 의해, 캡쳐된 영상을 초해상도 영상으로 변환하는 것을 일 실시예로 한다. 여기서 참조 프레임은 캡쳐된 영상의 프레임을 기준으로 이전 M개의 프레임과 이후 N개의 프레임인 것을 일 실시예로 한다. 상기 M,N 값은 메모리의 용량, 초해상도 처리부(111)의 처리 능력에 따라 달라질 수 있다. 그리고, 상기 M과 N은 동일한 값을 가질 수도 있고, 서로 다른 값을 가질 수도 있다. 또한 초해상도 영상으로 변환을 수행할 때, 참조 프레임의 개수가 많을수록 초해상도로 변환된 영상의 화질이 높아진다. 따라서 M,N이 커질수록 초해상도로 변환된 영상의 화질은 더 좋아진다. 하지만 참조 프레임의 개수가 많을수록 초해상도 영상으로 변환하는 시간은 길어지므로, 영상의 화질과 수행시간을 고려하여 참조 프레임의 개수를 조절할 수도 있다.

본 발명에서는 상기 M+N개의 참조 프레임을 상기 비디오 디코딩에 이용되고 있는 메모리(109)에 저장할 수도 있고, 내부 저장 매체(110)나 외부 저장 매체(121)에 저장할 수도 있다. 본 발명에서는 상기 메모리(109)의 용량이 충분하다고 가정하고, M+N개의 참조 프레임을 상기 메모리(109)에 저장하는 것을 일 실시예로 한다. 이때 상기 메모리(109)의 저장 영역 중 일부를 초해상도 변환을 위한 영역으로 할당하여 사용할 수도 있다.

또한 상기 초해상도 변환을 위한 저장 영역을 다시 이전 M개의 프레임을 저장하는 영역과 이후 N개의 프레임을 저장하는 영역으로 구분하여 사용할 수도 있다. 이를 위해 각 영역은 M 또는 N개의 프레임을 저장할 수 있는 만큼의 용량을 가지고 있어야 한다.

다른 실시예로, 상기 메모리(109)의 용량이 충분하지 않다고 하면, 현재 디스플레이되고 있는 영상 프레임을 기준으로 이전의 M개의 프레임만 참조 프레임으로 저장하고, 상기 M개의 참조 프레임을 이용하여 캡쳐된 영상을 초해상도 영상으로 변환할 수도 있다. 이 경우 M+N개의 참조 프레임을 이용하여 초해상도로 변환된 영상보다는 화질이 떨어진다.

그리고 유저가 언제 캡쳐를 요청할지 모르므로, 본 발명은 현재 디스플레이 되고 있는 영상 프레임을 기준으로 이전의 M개의 프레임을 상기 메모리(109)에 항상 저장한다.

이때 상기 이전 M개의 프레임은 FIFO(First Input First Output) 방식으로 계속 저장한다. 예를 들어, 초해상도 변환을 위해 4개의 이전 프레임을 저장한다고 가정하고, 4개의 이전 프레임이 모두 저장되어 있을 때 새로운 이전 프레임을 저장하려고 하면, 가장 오래된 이전 프레임을 삭제하고 그 위치에 새로운 프레임을 저장하거나, 가장 오래된 이전 프레임에 새로운 프레임을 오버라이트한다. 이렇게 하면 이전 프레임을 저장하는 메모리(109)의 저장 영역에는 현재 디스플레이되고 있는 영상 프레임 바로 이전의 M개의 프레임이 항상 저장된다.

그리고 유저가 캡쳐 명령을 입력하는 순간, 현재 디스플레이되고 있는 영상 프레임 및 현재 영상 프레임의 다음 프레임부터 N개의 프레임을 상기 메모리(109)에 저장한다.

이와 같이 캡쳐 명령이 입력되는 순간, 화면에 디스플레이되고 있는 영상의 프레임뿐만 아니라, 상기 영상 프레임을 기준으로 이전 M개의 프레임과 이후 N개의 프레임이 메모리(109)에 모두 저장되면, 상기 초해상도 처리부(111)는 이전 M개의 프레임과 이후 N개의 프레임을 참조 프레임으로 이용하여 캡쳐된 영상의 해상도를 초해상도로 변환한다.

도 2는 초해상도 변환부의 일 실시예를 보인 상세 블록도로서, 움직임 추정부(201), 보간부(202), 및 영상 복원부(203)를 포함할 수 있다.

상기 움직임 추정부(201)는 캡쳐된 영상 즉, 현재 프레임(Y0)과 현재 프레임 을 기준으로 M개의 이전 프레임(Y-1~Y-M)과 N개의 이후 프레임(Y+1~Y+N) 즉, M+N+1개의 프레임을 입력받아 움직임 추정을 수행하고, 그 결과를 보간부(202)로 출력한다. 이때 상기 M+N개의 이전/이후 프레임은 참조 프레임으로 이용된다. 즉, 상기 움직임 추정부(201)는 현재 프레임(Y0)과 각 참조 프레임 간의 움직임 추정을 수행하여 현재 프레임과의 움직임(motion) 벡터를 구한다. 상기 움직임 벡터는 현재 프레임과 참조 프레임 간의 움직임 방향과 크기를 나타낸다. 이 과정은 모델링 과정에서 와핑(warping) 정보를 구하는 과정이라 하기도 한다. 상기 움직임 벡터는 서브 픽셀(sub pixel) 단위까지 구하고, 트랜스레이션(translation) 뿐만 아니라 로테이션(rotation)까지 구하는 것을 일 실시예로 한다. 상기 서브 픽셀 단위로 움직임 추정을 수행하는 이유는, 서브 픽셀 단위의 움직임 벡터 값이 있어야, 초해상도 영상 격자에 맵핑시킬 때 픽셀 중간 중간의 정확한 위치를 구할 수 있기 때문이다.

상기 보간부(202)는 상기 움직임 추정부(201)의 움직임 추정 결과를 토대로 초해상도 영상 격자에 맵핑하고, 그 결과를 영상 복원부(203)로 출력한다.

즉, 상기 보간부(202)는 상기 움직임 추정부(201)에서 구한 움직임 벡터를 이용하여 각각의 M+N개의 프레임을 초해상도 좌표로 맵핑시키는 과정을 수행한다. 이때, 픽셀 사이사이에 참조 프레임의 정보들이 골고루 잘 분포될수록, 그리고 참조 프레임의 개수가 많을수록 초해상도로 변환된 영상의 화질은 좋아진다.

상기 영상 복원부(203)는 초해상도 좌표에 맵핑된 참조 프레임의 픽셀 정보들로부터 초해상도 영상의 픽셀값을 구하는 과정을 수행한다. 이때 상기 영상 복원부(203)는 블러(blur)와 노이즈(noise)를 제거하면서 초해상도 영상을 구한다. 즉, 상기 영상 복원부(203)는 단순 보간(interpolation)이 아닌 영상 복원(image restoration)의 개념을 사용하여 초해상도 영상을 복원하기 때문에 블러와 노이즈를 동시에 제거할 수 있다. 이렇게 함으로써, 좀 더 선명하고 깨끗한 초해상도 영상을 구할 수 있게 된다.

상기와 같이 캡쳐 영상이 초해상도 영상으로 변환되면, 캡쳐 영상의 해상도는 초해상도로 변환되면서, 캡쳐 영상의 크기도 확대된다.

도 3은 본 발명에 따른 영상의 캡쳐 및 캡쳐된 영상을 초해상도 영상으로 변환하는 과정의 일 실시예를 보인 흐름도이다.

즉, 튜너 또는 외부로부터 수신된 영상 신호가 처리되어 화면 상에 디스플레이될 때(S301), 현재 화면에 디스플레이되는 프레임을 기준으로 이전 M개의 프레임이 메모리(109)에 저장된다(S302).

이때 유저에 의해 캡쳐 명령이 입력되면(S303), 캡쳐 명령이 입력될 때 화면에 디스플레이되고 있었던 현재 프레임 및 상기 현재 프레임을 기준으로 이후 N개의 프레임이 상기 메모리(109)에 저장된다(S304). 여기서, 상기 현재 프레임은 상기 캡쳐 명령에 의해 캡쳐된 영상이 된다.

상기 S304에서 현재 프레임 및 현재 프레임을 기준으로 이후 N개의 프레임이 상기 메모리(109)에 모두 저장되면, 상기 메모리(109)에 저장된 이전 M개의 프레임 및 이후 N개의 프레임을 참조 프레임으로 이용하여, 캡쳐된 영상 즉, 현재 프레임의 해상도를 초해상도로 변환한다(S305).

상기 캡쳐된 영상을 초해상도 영상으로 변환하는 방법의 일 실시예를 도 2, 및 도 4에 보이고 있다.

상기 S305에서 초해상도로 변환된 영상은 저장 매체에 저장될 수도 있고, 화면에 디스플레이될 수도 있다(S306).

여기서 초해상도로 변환된 영상을 저장 매체에 저장할지, 화면 상에 디스플레이할지, 그리고 저장한다면 어느 저장 매체에 저장할지, 디스플레이한다면 어떤 방식으로 디스플레이할지는 유저가 선택할 수도 있고, 디스플레이 장치에 적어도 하나의 동작을 디폴트로 설정하고, 설정된 동작이 자동으로 수행되게 할 수도 있다.

도 4는 본 발명에 따른 캡쳐된 영상을 초해상도 영상으로 변환하는 방법의 일 실시예를 보인 흐름도로서, 도 2를 적용하여 초해상도 영상으로 변환하는 예를 보이고 있다.

즉, 캡쳐 명령이 입력되면, 변수 n을 -M으로 설정하고(S401), 상기 메모리(109)로부터 n번째 프레임을 로딩한다(S402). 그리고 현재 프레임과 로딩된 n번째 프레임 간의 움직임 추정을 수행하여 움직임 벡터를 구한 후(S403), 상기 움직임 벡터를 저장한다(S404). 상기 움직임 벡터는 서브 픽셀(sub pixel) 단위까지 구하고, 트랜스레이션(translation) 뿐만 아니라 로테이션(rotation)까지 구하는 것을 일 실시예로 한다. 그리고 나서, 로딩된 프레임이 N번째 프레임인지를 판별하고(S405), 아니면 변수 n을 1 증가시킨 후 상기 S402로 되돌아가 움직임 추정 과정을 계속 수행한다(S406).

상기 S405에서 N번째 프레임으로 판별되면, 현재 프레임과 이전 M개의 프레 임과 이후 N개의 프레임간의 움직임 추정 과정이 모두 수행된 경우이므로, S407로 진행한다. S407에서는 상기 S404에서 저장된 움직임 벡터를 이용하여 각각의 M+N개의 프레임을 초해상도 좌표로 맵핑시키는 과정을 수행한다.

상기 S407에서 초해상도 좌표(또는 격자)에 맵핑시키는 과정이 수행되면, 블러와 노이즈를 제거하면서 초해상도 좌표에 맵핑된 참조 프레임의 픽셀 정보들로부터 초해상도 영상을 구한다(S408).

상기 도 2의 블록도와 도 4의 흐름도에서 보인 초해상도 변환 동작은 하드웨어, 펌웨어, 미들웨어, 소프트웨어 중 어느 하나로 이루어질 수도 있고, 또는 그러한 것 중 적어도 두개의 결합으로 이루어질 수도 있다.

도 5는 디스플레이 중인 영상을 캡쳐하는 과정, 캡쳐된 영상을 초해상도 영상으로 변환하여 저장 및/또는 디스플레이하는 과정을 좀 더 상세하게 보인 본 발명의 흐름도이다.

즉, 튜너 또는 외부로부터 수신된 영상 신호가 처리되어 화면 상에 디스플레이될 때(S501), 이를 시청 중인 유저는 리모콘을 이용하여 특정 화면 또는 특정 구간에 대해 캡쳐를 요청할 수 있다(S502). 이때 상기 캡쳐 요청과 상관없이 현재 화면에 디스플레이되는 프레임을 기준으로 이전 M개의 프레임은 항상 메모리(109)에 저장된다.

만일 S502에서 캡쳐 명령이 입력되었다고 판별되면, 현재 디스플레이되고 있는 전체 영상 또는 전체 영상 중 일부를 유저가 캡쳐 영상으로 선택할 수 있도록 한다(S503).

그러므로 캡쳐할 영상은 전체 화면이 될 수도 있고, 전체 화면 중 일부가 될 수도 있다. 또한 하나의 영상만을 캡쳐할 수도 있고, 캡쳐할 구간을 지정하여 복수개의 영상을 캡쳐할 수도 있다. 그리고 구간을 지정하여 복수개의 영상을 캡쳐하는 경우, 연속 스틸 컷을 생성할 수 있다.

상기 연속 스틸 컷을 생성할 때, 해당 스틸 컷의 오디오를 그대로 노말 속도로 스피커를 통해 출력하거나, 연속 스틸 컷의 배속에 맞추어 오디오도 같은 배속으로 스피커를 통해 출력할 수 있다. 또는 텍스트로 변환하여 해당 스틸 컷이 디스플레이될 때 해당 화면에 자막처럼 디스플레이시킬 수도 있다. 상기 텍스트 형태로 출력되는 오디오는 해당 스틸 컷이 디스플레이되는 화면의 가로 또는 세로로 디스플레이시킬 수도 있고, 풍선말처럼 특수 효과를 주어 디스플레이시킬 수도 있다. 상기 오디오를 텍스트로 변환하는 방법은 공지된 기술을 이용할 수 있으며, 텍스트로 변환된 오디오를 화면에 디스플레이하는 방식은 시스템 설계자에 의해 달라질 수 있으므로, 상기된 실시예로 한정되지 않을 것이다.

도 6은 캡쳐 명령이 입력되었을 때, 유저가 캡쳐 영상을 선택할 수 있도록 하기 위한 메뉴의 일 실시예를 OSD(On Screen Display) 형태로 보이고 있다. 도 6의 경우, 전체 영상 항목, 일부 영상 항목, 연속 캡쳐 항목, 나가기 항목이 표시되고 있다. 상기 전체 영상 항목을 선택하면 현재 디스플레이되고 있는 전체 화면이 캡쳐되고, 일부 영상 항목을 선택하면 전체 화면 중 사용자가 선택한 일부 화면만 캡쳐된다. 그리고 연속 캡쳐 항목을 선택하면 시스템이나 유저가 지정한 구간동안 복수개의 화면이 캡쳐되고, 나가기 항목을 선택하면 캡쳐 기능이 종료된다.

상기 메뉴 항목의 수, 및 실행되는 기능은 설계자에 의해 달라지므로 본 발명에서는 메뉴 항목의 수 및 기능을 상기 예로 제시한 것에 제한되지 않을 것이다. 마찬가지로 상기 메뉴 항목이 디스플레이되는 위치, 모양도 하나의 실시예이며, 메뉴 항목의 모양이나 디스플레이 위치도 설계자에 의해 달라질 수 있으므로 상기 예로 제시한 것에 제한되지 않을 것이다.

즉, 캡쳐 명령이 입력되었을 때, 도 6과 같은 메뉴가 디스플레이되고, 유저는 리모콘과 같은 입력 장치를 이용하여 현재 화면에 디스플레이되고 있는 전체 영상을 캡쳐할지, 전체 영상 중 일부를 캡쳐할지, 복수개의 영상을 캡쳐할지를 선택할 수 있다(S503). 그리고 상기 S503에서 선택된 영상을 초해상도 영상으로 변환한다(S504).

만일 S503에서 전체 영상을 선택하였다면 현재 화면에 디스플레이되고 있는 전체 영상이 초해상도 영상으로 변환되고, 전체 영상 중 일부 영역을 선택하였다면 현재 화면에 디스플레이되고 있는 전체 영상 중 유저에 의해 선택된 일부 영역의 영상이 초해상도 영상으로 변환된다.

이때 상기 S503에서 유저에 의해 일부 영상 항목이 선택되면, 전체 영상 중 유저가 원하는 일부 영상을 선택할 수 있도록 화면에 커서가 나타나는 것을 일 실시예로 한다. 또한 유저의 이해를 돕기 위하여, 리모콘과 같은 입력 장치를 이용하여 캡쳐할 영역을 드래그하라는 안내 문구를 디스플레이해주는 것을 일 실시예로 한다.

그러면 유저는 리모콘 등을 이용하여 캡쳐를 원하는 영상의 시작 위치로 커 서를 이동시킨 후, 화면을 드래그하여 캡쳐를 원하는 영역을 선택할 수 있다.

상기 드래그의 형태는 사각형이 될 수도 있고, 다른 형태 예를 들어, 원형이나 삼각형 등이 될 수도 있으며, 유저에 의해 설정될 수도 있다. 본 발명에서는 사각형이 디폴트로 설정되는 것을 일 실시예로 한다.

이 경우, 상기 커서가 위치한 곳이 캡쳐를 원하는 영역의 시작 위치 즉, 드래그에 의해 얻어진 사각형의 왼쪽 상단 꼭지점이 된다. 이때 리모콘 등을 이용하여 화면을 드래그함에 따라 상기 시작 위치를 기준으로 사각형의 모양이 커지므로, 이를 이용하여 캡쳐 영역의 크기를 결정할 수 있다.

상기 과정을 통해 캡쳐 영상이 선택되면, 캡쳐 영상의 위치 정보가 제어부(100)로 출력된다. 상기 캡쳐 영상의 위치 정보는 드래그로 얻어진 사각형의 시작 위치 즉, 왼쪽 상단 꼭지점의 좌표 정보와 상기 사각형의 너비(width) 정보, 상기 사각형의 높이(height) 정보가 될 수도 있고, 또는 사각형의 각 꼭지점의 좌표 정보가 될 수도 있다.

상기 제어부(100)는 상기 메모리(109)를 제어하여 현재 프레임 중 캡쳐된 일부 영상만 초해상도 처리부(111)로 출력되도록 한다. 상기 초해상도 처리부(111)는 이전 M개의 프레임과 이후 N개의 프레임을 참조하여 상기 일부 영상의 해상도를 초해상도로 변환한다. 그리고 초해상도로 변환된 일부 영상은 저장 매체에 저장할 수도 있고, 화면으로 디스플레이시킬 수도 있다.

본 발명은 다른 실시예로, 전체 영상 중 일부 영상을 캡쳐 영상으로 선택하였더라도, 초해상도 처리부(111)에는 현재 프레임을 모두 출력하여 초해상도 변환 을 수행하고, 이후 초해상도로 변환된 영상을 저장하거나 디스플레이할 때 캡쳐 영상의 위치 정보를 참조하여 초해상도로 변환된 영상 중 캡쳐 영상에 해당하는 영상만을 저장하거나, 디스플레이하게 할 수도 있다.

한편, 상기 도 6의 메뉴 화면에서 연속 캡쳐 항목이 선택되면, 캡쳐 구간을 선택할 수 있도록 도 12와 같은 안내 바를 디스플레이시킬 수 있다. 상기 안내 바에서 위치 지시자를 이용하거나, 커서 또는 지정 구간을 위해 할당된 입력 장치의 키를 이용하여 캡쳐할 구간을 유저가 지정하게 할 수 있다.

만일, 재생 요청을 통해 저장 매체에 저장된 영상을 시청하는 중에 연속 캡쳐를 선택하였다면, 현재 디스플레이 중인 화면을 기준으로 이전, 이후 구간에 대해서 캡쳐 구간으로 설정할 수 있다. 하지만, 실시간으로 수신되는 영상을 시청하는 중에 연속 캡쳐를 선택하였다면, 이전 영상을 얻을 수 없으므로 이후 구간에 대해서만 캡쳐 구간으로 설정할 수 있다. 상기 캡쳐 구간은 안내 바를 이용하여 설정하는 것을 일 실시예로 한다. 상기 연속 캡쳐 기능은 타임시프트 동작에 의해 재생되는 영상에 적용하면 가장 효과적이다.

또는 디스플레이 장치에서 캡쳐 구간을 자동으로 설정할 수도 있다. 현재 디스플레이되는 영상의 종류에 따라 현재 프레임을 기준으로 이전 M 프레임부터 이후 M 프레임까지로 설정할 수도 있고, 현재 프레임을 기준으로 이후 M 프레임까지를 설정할 수도 있으며, 시간으로 설정할 수도 있다. 또한 이전 M 프레임부터 이후 M 프레임까지 모든 프레임을 캡쳐할 수도 있고, 일정 주기나 특정 프레임에 대해서만 캡쳐를 수행할 수도 있다. 예를 들어, 1초마다 한번씩 시청 중인 화면을 캡쳐할 수 도 있고, I 픽쳐에 대해서만 캡쳐할 수도 있다. 이는 일 실시예일 뿐이므로, 본 발명은 상기된 실시예들로 한정되지 않을 것이다.

상기 S504에서 캡쳐 영상이 초해상도 영상으로 변환되면, 메뉴 화면 등을 통해 유저에게 초해상도 영상을 저장할 것인지를 묻는다(S505). 이때 유저가 저장을 선택한다면 초해상도 영상은 저장 매체에 저장된다(S506).

여기서, 메뉴 화면은 단순히 저장 유무만을 선택하게 구성할 수도 있고, 초해상도 영상을 저장할 수 있는 저장 매체가 복수개라면, 복수개의 저장 매체 중 적어도 하나를 유저가 선택할 수 있도록 구성할 수도 있다. 만일 전자와 같이 저장 유무만을 선택하게 한다면, 시스템에서 디폴트로 설정된 저장 매체에 초해상도 영상을 저장하는 것을 일 실시예로 한다. 다른 실시예로 시스템에서 저장 가능한 저장 매체를 검색하여 사용 가능한 저장 매체를 선택하고, 선택된 저장 매체에 초해상도 영상을 저장하고, 유저에게 저장 매체 정보를 알려주도록 할 수도 있다. 다른 실시예로, 저장 유무를 유저에게 묻지 않고, 자동으로 초해상도 영상을 저장 매체에 저장하게 할 수도 있다.

도 7에서는 디스플레이 장치의 외부에 HDD와 USB 메모리가 외부 저장 매체(121)로서 장착되고, 내부에 HDD가 내부 저장 매체(110)로서 장착되어 있으며, 이 중 하나의 저장 매체를 유저가 선택할 수 있도록 하는 메뉴 구성을 보이고 있다. 즉, 도 7에서는 외부 저장 매체 1 항목, 외부 저장 매체 2 항목, 내부 저장 매체 항목, 나가기 항목이 표시된 예이다. 이때 각 저장 매체 항목에는 해당 저장 매체가 무엇인지를 유저가 쉽게 인식할 수 있도록 해당 저장 매체의 상세 정보를 더 표시할 수도 있다. 그리고 각 저장 매체의 용량을 표시할 수도 있다. 예를 들어, 각 저장 매체별로 전체 용량, 이미 사용된 용량, 남아 있는 용량(즉, 저장 가능한 용량)을 표시할 수 있다.

도 8은 각 저장 매체 중 어느 하나의 저장 매체에 대해서, 전체 용량, 이미 사용된 용량, 저장 가능한 용량을 표시하는 실시예들을 보이고 있다.

저장 매체의 용량을 표시하는 방법의 제 1 실시예로는 도형 내에서 전체 저장 공간 대비 이미 사용된 공간과 저장 가능한 공간으로 영역을 분리하여, 시각적으로 도시할 수 있다. 이때 도형은 평면 도형과 입체 도형 모두 가능하다.

저장 매체의 용량을 표시하는 방법의 제 2 실시예로는 전체 저장 공간, 이미 사용된 공간 또는 저장 가능한 공간을 용량의 단위로 나타낼 수 있다. 이때, 전체 저장 공간 용량, 이미 사용된 공간 용량 또는 저장 가능한 공간 용량은 선택적으로 표기할 수 있다. 즉, 사용자로 하여금 저장 가능한 공간의 용량을 알 수 있도록 하는 조합으로 저장 용량을 표기할 수 있다.

저장 매체의 용량을 표시하는 방법의 제 3 실시예로는 전체 저장 공간 및 저장 가능한 공간을 시간 단위로 나타낼 수 있다. 이때, 전체 저장 공간의 시간은 선택적으로 표기할 수 있다. 또한 녹화 품질(화질)에 따라서 저장 가능한 시간이 달라질 수 있다. 예를 들면, HD급으로는 75시간 동안 저장이 가능하지만, SD급으로 저장한다면 100시간 동안 저장이 가능할 수 있다. 이를 각각 출력함으로써, 사용자는 녹화 품질(화질)을 적절히 선택함으로써 저장 공간을 효율적으로 활용할 수 있다.

저장 매체의 용량을 표시하는 방법의 제 4 실시예로는 전체 저장 공간, 이미 사용된 공간 또는 저장 가능한 공간을 백분율(percentage) 단위로 나타낼 수 있다. 이때, 저장 가능한 공간을 사용자로 하여금 알 수 있도록 상기 용량 백분율 목록을 조합하여 선택적으로 표기할 수 있다.

한편, 도 7과 같은 메뉴 구성에서, 유저가 외부 저장 매체 1을 선택한다면, 초해상도 영상은 선택된 외부 저장 매체 1에 저장되게 된다. 그리고 유저가 나가기 항목을 선택한다면, 초해상도 영상은 어느 저장 매체에도 저장되지 않는다.

상기와 같이 저장 매체에 저장된 초해상도 영상은 나중에 독출하여 화면에 표시할 수도 있고, 해당 디스플레이 장치의 배경 화면으로 설정할 수도 있으며, 다른 외부 기기 예를 들어, PC, 핸드폰 등에서 배경 화면으로 이용할 수도 있다. 즉, 초해상도 영상이 저장된 저장 매체가 외부 저장 매체라면, 상기 외부 저장 매체를 외부 기기 예를 들어, PC, 휴대폰 등에 연결하고, 상기 외부 저장 매체에 연결된 초해상도 영상을 읽어 와 배경 화면으로 설정할 수 있다.

일 예로, 유저가 제작한 UCC 동영상이나 핸드폰으로 촬영된 동영상은 화질도 낮고 화면 크기도 작다. 이때 상기 UCC 동영상, 핸드폰으로 촬영된 동영상 등을 디스플레이 장치에 디스플레이시킨 후, 캡쳐 명령을 통해 적어도 하나의 화면을 초해상도 영상으로 변환하여 화질도 높이면서 화면 크기도 확대한다. 그리고 이러한 초해상도 영상을 외부 저장 매체에 저장하고, 상기 외부 저장 매체를 PC나 휴대폰에 연결하면, PC나 휴대폰에서 초해상도의 확대 영상을 볼 수도 있고, 초해상도의 확대 영상을 배경 화면으로 지정할 수도 있다.

한편, 상기 S505에서 저장이 선택되지 않았거나, S506에서 초해상도 영상의 저장이 완료되면, 메뉴 화면 등을 통해 유저에게 초해상도 영상을 디스플레이할 것인지를 묻는다(S507). 이때 유저가 디스플레이를 선택한다면 초해상도 영상은 화면에 디스플레이된다(S508).

여기서, 메뉴 화면은 단순히 디스플레이 유무만을 선택하게 구성할 수도 있고, 하나 이상의 디스플레이 타입을 표시하고, 이 중 하나를 유저가 선택하면, 선택된 타입으로 초해상도 영상을 디스플레이할 수도 있다.

만일 전자와 같이 디스플레이 유무만을 선택하게 한다면, 시스템에서 디폴트로 설정된 디스플레이 타입으로 초해상도 영상을 디스플레이하는 것을 일 실시예로 한다. 다른 실시예로, 디스플레이 유무를 묻지 않고, 시스템에서 자동으로 초해상도 영상을 화면에 디스플레이하게 할 수도 있다.

도 9에서는 디스플레이 타입으로 전체 화면, PIP(Picture In Picture), 더블 윈도우가 있으며, 이 중 하나의 디스플레이 타입을 유저가 선택할 수 있도록 하는 메뉴 구성을 보이고 있다. 즉, 도 9에서는 전체 화면 항목, PIP 항목, 더블 윈도우 항목, 나가기 항목이 표시된 예이다. 이때 각 디스플레이 타입 항목에는 유저의 이해를 돕기 위하여 해당 디스플레이 타입으로 영상이 디스플레이될 때의 예를 아이콘 등으로 더 표시할 수도 있다. 이때 유저에 의해 나가기 항목이 선택되면, 초해상도 영상은 어떤 디스플레이 타입으로도 디스플레이되지 않는다.

만일, 도 10의 (가)와 같이 전체 화면 중 일부가 캡쳐되어 초해상도 영상으로 변환되고, 도 9의 메뉴 구성에서, 전체 화면 항목이 선택되었다면, 상기 초해상 도 영상은 도 10의 (나)와 같이 화면 전체에 디스플레이된다. 이때 초해상도로 변환된 영상의 크기가 디스플레이 장치의 화면보다 크다면, 한 화면에 초해상도로 변환된 영상을 모두 디스플레이할 수 없다. 이 경우, 리모콘의 방향키나 터치스크린의 드래그 입력으로 방향 신호를 입력받아, 화면에 디스플레이된 초해상도 영상을 해당 방향으로 이동시킴에 의해 현재 화면에 보여지지 않는 부분도 볼 수 있게 할 수 있다.

상기 도 9의 메뉴 구성에서, PIP 항목이 선택되었다면, 주화면과 부화면 중 적어도 하나의 화면에는 현재 시청 중인 영상이 디스플레이되고, 나머지 화면에는 초해상도 영상을 디스플레시킬 수 있다. 이 경우 유저는 시청 중이던 영상과 초해상도로 변환된 캡쳐 영상을 동시에 볼 수 있다.

예를 들어, 도 10의 (다)와 같이 주화면으로는 시청 중인 영상(예를 들어, 리얼 타임으로 수신 중인 방송)을 계속 디스플레이하고, 부화면으로는 초해상도 영상을 디스플레이하거나, 반대로 주화면으로는 초해상도 영상을 디스플레이하고, 부화면으로는 시청 중인 영상을 계속 디스플레이할 수 있다.

상기 도 9의 메뉴 구성에서, 더블 윈도우가 선택되었을 때도, 디스플레이 방식은 PIP 방식과 동일하다. 다만 PIP 방식은 주화면 안에 작은 부화면이 존재하는데 반해, 더블 윈도우는 한 화면을 좌,우 화면으로 분할한다. 이때 좌,우화면의 크기는 동일할 수도 있고, 동일하지 않을 수도 있다.

그리고, PIP나 더블 윈도우 방식에서도 초해상도로 변환된 영상의 크기가 디스플레이 장치의 화면보다 커서, 한 화면에 모두 디스플레이되지 않는 경우, 리모 콘의 방향키나 터치스크린의 드래그 입력으로 방향 신호를 입력받아, 화면에 디스플레이된 영상을 해당 방향으로 이동시킴에 의해 현재 화면에 보여지지 않는 부분도 볼 수 있게 할 수 있다.

상기와 같이 선택된 디스플레이 타입으로 초해상도 영상이 디스플레이되었을 때, '배경 화면으로 설정하시겠습니까'와 같은 안내 문구를 디스플레이시켜, 초해상도 영상을 해당 디스플레이 장치의 배경 화면으로 설정할 수도 있다.

또한 초해상도로 변환된 영상의 크기가 현재 디스플레이중인 화면 크기보다 클때는 자동으로 또는 유저의 선택에 의해 초해상도 영상의 크기를 디스플레이 장치의 화면 크기로 리사이징하여 디스플레이시킬 수도 있다.

한편, 본 발명에 따른 디스플레이 장치가 PIP나 더블 윈도우와 같은 동시화면 기능을 가지고 있다면, 초해상도로 변환된 캡쳐 영상을 유저의 선택을 묻지 않고, 자동으로 동시 화면 중 어느 하나에 디스플레이시키고, 다른 하나의 화면에는 유저가 시청 중이던 영상을 디스플레이시킬 수 있다. 이 경우 유저는 하나의 화면으로는 방송 등을 계속 시청하면서, 다른 하나의 화면으로는 캡쳐된 영상을 볼 수 있게 된다. 만일, 연속 캡쳐를 선택하였다면, 상기 동시 화면 중 하나의 화면에는 연속 스틸 것이 디스플레이된다.

그리고 본 발명은 캡쳐 영상이 초해상도 영상으로 변환될 때 각 단계의 영상을 순차적으로 디스플레이시킬 수도 있다. 즉, 캡쳐된 영상이 초해상도 영상으로 변환될 때, 각 단계마다 크기와 해상도 즉, 깊이(depth)가 다르므로, 도 11과 같이 각 단계마다 디스플레이되는 영상의 해상도와 크기는 달라진다.

이때, 유저가 리모콘과 같은 입력 장치를 이용하여 각 단계 중 어느 한 단계를 선택하게 할 수도 있고, 선택된 단계의 영상을 저장 매체에 저장하거나, 배경 화면 등으로 이용할 수도 있다.

또는 초해상도로 변환된 영상 중 일부를 선택하면, 그 일부 영상을 다시 초해상도 영상으로 변환할 수도 있다. 이러한 과정을 반복하면, 아주 멀리서 촬영되어 너무 작거나 희미해서 잘 보이지 않는 부분도 쉽게 식별할 수 있다.

또한 상기 디스플레이 장치가 통화 기능을 구비하고 있고, 초해상도 변환된 영상에 전화 번호가 있다고 가정할 때, 상기 전화 번호를 클릭하면 통화가 이루어지게 할 수도 있다. 다른 예로, 상기 디스플레이 장치가 인터넷 망에 연결되어 있고, 상기 초해상도로 변환된 영상에 상호 등이 있다고 가정할 때, 상기 상호를 클릭하면 클릭된 상호의 홈페이지가 연결되고, 해당 홈페이지에서 구매 등을 수행할 수도 있다.

지금까지 설명한 본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가지 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

도 1은 본 발명에 따른 디스플레이 장치의 일 실시예를 보인 구성 블록도

도 2는 도 1의 초해상도 처리부의 일 실시예를 보인 상세 블록도

도 3은 본 발명에 따른 영상 캡쳐 및 캡쳐 영상을 초해상도로 변환하는 방법의 일 실시예를 보인 흐름도

도 4는 본 발명에 따른 캡쳐 영상을 초해상도로 변환하는 방법의 일 실시예를 보인 상세 흐름도

도 5는 본 발명에 따른 영상 캡쳐 및 캡쳐 영상을 초해상도로 변환하는 방법의 일 실시예를 보인 상세 흐름도

도 6은 본 발명에 따른 영상 캡쳐를 수행하기 위한 메뉴 화면의 일 예를 보인 도면

도 7은 본 발명에 따른 초해상도 영상을 저장하기 위한 메뉴 화면의 일 예를 보인 도면

도 8은 본 발명에 따른 초해상도 영상을 저장하는 저장 매체의 용량을 표시하는 방법의 실시예들을 보인 도면

도 9는 본 발명에 따른 초해상도 영상을 디스플레이하기 위한 메뉴 화면의 일 예를 보인 도면

도 10은 본 발명에 따른 디스플레이 타입에 따라 초해상도 영상이 디스플레이되는 실시예들을 보인 도면

도 11은 본 발명의 일 실시예에 따른 캡쳐 영상을 초해상도 영상으로 변환하 는 과정을 단계적으로 보인 도면

도 12는 본 발명에 따른 저장/재생 및 연속 캡쳐를 위한 안내 바의 일 실시예를 보인 도면

*도면의 주요부분에 대한 부호의 설명*

100 : 제어부 101 : 튜너부

102 : 복조부 103 : 디멀티플렉서

104 : 비디오 디코더 105 : 디스플레이 처리부

106 : 오디오 디코더 108 : 외부 입력 처리부

109 : 메모리 110 : 내부 저장 매체

111 : 초해상도 처리부 112 : 유저 선택부

113 : 출력부 114 : 저장/재생부

120 : 내부 버스 121 : 외부 저장 매체

Claims (14)

1. 디스플레이 장치에 있어서,

   상기 디스플레이 장치의 화면에 영상이 디스플레이하는 동안 상기 디스플레이 중인 영상의 프레임을 기준으로 이전 M(M

   

   0)개의 프레임을 저장하고, 상기 영상을 디스플레이하는 중에 캡쳐 명령이 입력되면, 디스플레이중인 전체 화면 중 적어도 일부를 캡쳐하고, 캡쳐된 영상의 프레임을 기준으로 이후 N(N

   

   0)개의 프레임을 저장하는 저장부; 및

   상기 이전 M개/이후 N개의 프레임 중 적어도 하나를 참조 프레임으로 이용하여, 상기 캡쳐된 영상의 해상도를 업스케일링하는 처리부를 포함하고,

   상기 디스플레이 장치는, 상기 업스케일링된 영상의 저장 명령에 따라 상기 디스플레이 장치에서 저장 가능한 저장 매체 정보를 메뉴 화면으로 디스플레이하고, 상기 메뉴 화면에서 유저에 의해 선택된 저장 매체에 업스케일링된 영상을 저장하며, 상기 업스케일링된 영상의 디스플레이 명령에 따라 적어도 하나의 디스플레이 타입을 메뉴 화면으로 디스플레이하고, 상기 메뉴 화면에서 유저에 의해 선택된 디스플레이 타입에 따라 상기 업스케일링된 영상을 디스플레이하고,

   상기 처리부는,

   상기 캡쳐된 영상과 상기 캡쳐된 영상의 이전 M개/이후 N개의 프레임 중 적어도 하나를 입력받아 움직임 추정을 수행하여 캡쳐된 영상과 참조 프레임 간의 움직임 정보를 구하는 움직임 추정부;

   상기 참조 프레임으로 인해서 구한 움직임 정보들 각각을 초고해상도 좌표에 맵핑시키는 보간부; 및

   상기 초고해상도 좌표에 맵핑된 참조 프레임의 픽셀 정보들로부터 초고해상도 영상의 픽셀값을 구하여, 초고해상도 영상을 출력하는 영상 복원부를 포함하며,

   상기 움직임 추정부는,

   상기 캡쳐된 영상과 상기 캡쳐된 영상의 이전 M개/이후 N개의 프레임 중 적어도 하나를 입력받아 움직임 추정을 수행할 때, 서브 픽셀 단위까지 움직임 추정을 수행하는 것을 특징으로 하는 디스플레이 장치.
2. 삭제
3. 삭제
4. 삭제
5. 제 1 항에 있어서, 상기 영상 복원부는

   상기 초고해상도 좌표에 맵핑된 참조 프레임의 픽셀 정보들로부터 초고해상도 영상의 픽셀값을 구할 때, 블러(blur)와 노이즈(noise)를 제거하면서 초고해상도 영상의 픽셀값을 구하는 것을 특징으로 하는 디스플레이 장치.
6. 삭제
7. 삭제
8. 삭제
9. 제 1 항에 있어서, 상기 디스플레이 장치는

   상기 디스플레이 타입 중 전체 화면이 선택되면 상기 업스케일링된 영상을 화면 전체에 디스플레이하고, 동시 화면이 선택되면 주/부화면 중 어느 한 화면에 상기 업스케일링된 영상을 화면 전체에 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
10. 제 1 항에 있어서, 상기 디스플레이 장치는

    상기 업스케일링된 영상의 배경 화면 지정 명령에 따라 상기 업스케일링된 영상을 상기 디스플레이 장치의 배경 화면으로 설정하는 것을 특징으로 하는 디스플레이 장치.
11. 제 1 항에 있어서, 상기 디스플레이 장치는

    상기 캡쳐 명령이 입력될 때 디스플레이 중인 영상의 이전/이후 시간 중 적어도 하나의 시간을 포함하는 연속 캡쳐 구간을 설정하고,

    상기 설정된 연속 캡쳐 구간동안 기 설정된 조건에 따라 영상을 연속적으로 캡쳐하며,

    상기 연속 캡쳐 구간동안 캡쳐되어 초고해상도로 변환된 영상을 화면에 디스플레이할 때, 상기 영상에 관련된 오디오는 음성, 텍스트 중 적어도 하나의 형태로 출력하는 것을 특징으로 하는 디스플레이 장치.
12. 삭제
13. 삭제
14. 삭제

Images