KR101856177B1

KR101856177B1 - 다중 신호 처리 시스템

Info

Publication number: KR101856177B1
Application number: KR1020170059149A
Authority: KR
Inventors: 서성현; 이영태; 강동은
Original assignee: 주식회사 엘케이에스글로벌
Priority date: 2017-05-12
Filing date: 2017-05-12
Publication date: 2018-05-09

Abstract

다중 신호 처리 시스템이 개시된다. 이러한 다중 신호 처리 시스템은, 다중의 TMDS 신호들을 입력받아 스케일링 및 영상 처리에 용이한 TTL 레벨의 신호들로 변환하는 입력신호 변환부와, 상기 입력신호 변환부로부터의 TTL 레벨의 신호들을 입력받아 각각의 TTL 레벨의 신호들의 해상도를 조절하는 입력 스케일링부와, 동기화 신호를 발생시키는 동기화부와, 상기 입력 스케일링부에 의해 해상도가 조절된 신호들을 저장하고 상기 동기화부에 의해 발생되는 동기화 신호에 따라 상기 해상도가 조절된 신호들을 동시에 내보내는 프레임 버퍼부와, 상기 프레임 버퍼부로부터의 신호들을 복수 개의 출력 포트들 각각에 매칭시켜 출력하는 처리부와, 상기 처리부에 의해 처리되어 출력 포트들 각각에 매칭된 신호들을, 최종단의 디스플레이(DISPLAY)에 적합하도록 해상도를 조절하는 출력 스케일링부와, 상기 출력 스케일링부에 의해 해상도가 조절된 신호들을 입력받아 TMDS 신호들로 변환하는 출력신호 변환부를 포함한다.

Description

다중 신호 처리 시스템{MULTIPLE SIGNAL PROCESSING SYSTEM}

본 발명은 다중의 영상 신호를 처리하여 다수의 분할 화면을 통해 디스플레이할 수 있도록 하고 영상 전환시 화면 끊김 현상을 제거할 뿐만 아니라, 합성 영상을 디스플레이할 수 있도록 하는 다중 신호 처리 시스템에 관한 것이다.

UHD(Ultra High Definition) 영상 기술은 대형 화면에서 초고화질 영상 구현이 가능하도록 한 기술로서, 대형 화면용으로 선명한 영상을 구현하기 위해서는 화면의 크기에 비례하여 화소수를 더 증가시켜야만 한다. 디지털 신호 처리 시스템에 있어서 화소수가 증가할수록 요구되는 데이터량도 증가되어야 한다. 따라서, 대형 화면에서 만족스러운 화질 구현을 위한 영상 처리 기술이 중요한 이슈로 부각되고 있다. 현재 시장에 출시되어 사용되고 있는 영상을 살펴보면 Full HD(FHD)의 경우 해상도의 크기가 1920 X 1080인 반면 초고화질 UHD의 해상도의 크기는 3840 X 2180로서, 초고화질 UHD의 해상도의 크기가 Full HD의 해상도의 크기에 비해 4배 더 크다.

도 1의 (a)는 640 X 480 크기의 해상도를 갖는 SD(Standard Definition), 1280 X 720 크기의 해상도를 갖는 HD(High Definition), 1920 X 1080 크기의 해상도를 갖는 Full HD(FHD), 그리고 3840 X 2180 크기의 해상도를 갖는 Ultra HD(UHD)를 비교 설명하기 위한 도면이고, 도 1의 (b)는 고화질(HD)과 초고화질(UHD)의 선명도를 비교하기 위한 도면으로서, 도시된 바와 같이, 고화질과 초고화질은 선명도 면에서 큰 차이를 보인다. 이렇듯, 도 1의 (a) 및 (b)에서와 같이, 화면의 크기 차이가 많이 나고, 그에 따라 더 높아진 이미지 선명도, 더 디테일한 영상, 더 빠른 동작과 더 넓어진 영상의 크기를 갖는 영상을 전송하기 위해서는 더 향상된 기술이 필수적이다.

한편, 다양한 영상 신호 처리 방식이 존재하는데, 그러한 예들 중 영상 신호의 다중 입력 출력이 가능하며, 영상 신호 간의 변환 처리가 가능하도록 한 다중 매트릭스 형식의 영상 신호 처리 시스템이 개시된 바 있다. 그러한 예들은, 특허등록번호 10-0951875(2010년 04월 01일 등록), 특허등록번호 10-1498667(2015년 02월 26일자 등록), 및 특허등록번호 10-1498674(2015년 02월 26일자 등록) 등에 개시된바 있다.

이러한 다중 매트릭스 형식의 영상 신호 처리 시스템에 있어서는, 동기화의 필요성이 항상 존재하게 된다. 즉, TV나 모니터 등의 디스플레이를 통해 보여지는 동영상은 일반적으로 여러 장의 사진을 소정의 간격으로 연속적으로 디스플레이하는 방식으로 구현되는 것이다. 디스플레이를 통해 동영상이 보여지는 과정에 있어서, 한 장의 사진(영상)은 수직 싱크(Vertical Sync.) 신호(이하, 'V 싱크(VSync)' 라 함)에 동기되어 디스플레이되므로, 한 장의 사진(영상)이 디스플레이되는데 걸리는 시간은 V 싱크의 한 주기로 볼 수 있다. 또한, 한 장의 사진은 수평 방향으로의 복수 개의 라인들(lines)로서 구현되고, 이러한 복수 개의 라인들 각각은 수평 방향으로 수평 싱크(Horizontal Sync.) 신호(이하, 'H 싱크(HSync)' 라함)에 동기되어 디스플레이되므로, 한 장의 사진 내에서 한 라인이 디스플레이되는데 걸리는 시간은 H 싱크의 한 주기로 볼 수 있다. 그리고, 영상 데이터가 존재하는 시간은 데이터 인에이블(Data Enable) 신호(이하, 'DE 신호라 함)의 인에이블된 구간으로 볼 수 있다. 이들 V 싱크, H 싱크, DE, 그리고 하나의 픽셀에 대응되는 클럭에 맞춰서 데이터를 조합함으로써 동영상이 생성된다. 이렇게 생성된 동영상들은 각각의 기준 싱크 및 클럭이 상이하므로, 동기화시키지 않으면, 도 2의 (a)에 2a로 도시된 바와 같이 각각의 기준 싱크들의 위치가 다르게 되어 왜곡된 영상이 디스플레이되는 결과로 이어진다. 동기화된 V 싱크는 도 2의 (b)에 도시된 바와 같으며, 왜곡되지 않은 영상이 디스플레이되도록 하기 위해서는 도 2의 (b)에 2b로 도시된 바와 같이 V 싱크가 동기화되어 최종적으로 디스플레이 측으로 출력될 필요가 있다.

본 발명은 초고화질 UHD 입력 영상신호의 동기 결합, 영상 및 음성 전환 지연 방지를 위한 동기결합(Generation Lock) 매트릭스를 제공하고, 영상 합성이 가능한 크로마키 기능을 제공하며, 여러 가지 포맷의 결합이 가능한 스케일링 기술을 제공하며, 비디오 월(화면 분할 및 축소/확대) 기능을 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위한 본 발명의 일 양상에 따른, 다중 신호 처리 시스템은, 다중의 TMDS 신호들을 입력받아 스케일링 및 영상 처리에 용이한 TTL 레벨 신호들로 변환하는 입력신호 변환부(110)와, 상기 입력신호 변환부로부터의 TTL 레벨 신호들을 입력받아 각각의 TTL 레벨신호들의 해상도를 조절하는 입력 스케일링부(120)와, 동기화 신호를 발생시키는 동기화부(130)와, 상기 입력 스케일링부에 의해 해상도가 조절된 신호들을 저장하고 상기 동기화부에 의해 발생되는 동기화 신호에 따라 상기 해상도가 조절된 신호들을 동시에 내보내는 프레임 버퍼부(140)와, 상기 프레임 버퍼부로부터의 신호들을 복수 개의 출력 포트들 각각에 매칭시켜 출력하는 처리부(200)와, 상기 처리부에 의해 처리되어 출력 포트들 각각에 매칭된 신호들을, 최종단의 디스플레이(DISPLAY)에 적합하도록 해상도를 조절하는 출력 스케일링부(260), 그리고, 상기출력 스케일링부에 의해 해상도가 조절된 신호들을 입력받아 TMDS 신호들로 변환하는 출력신호 변환부(270)를 포함하는 것을 특징으로 한다.

일 실시예에 따라, 상기 처리부(200)는, 제어부(250)의 제어에 따라 상기 프레임 버퍼부로부터의 신호들 중 일부를 합성하기 위한 크로마키부(240)와, 상기 프레임 버퍼부로부터의 신호들을 입력받아, 분할 화면이 상기 디스플레이에 출력될 수 있도록 하기 위해 축소 처리하는 축소 스케일링부(223)와, 상기 축소 스케일링부에 의해 축소 처리된 신호들이 상기 디스플레이를 통해 하나의 화면으로 출력되도록 처리하는 분할부(222)를 포함하는, 축소/분할부(220)와, 상기 축소/분할부에 의해 처리된 신호들을 저장하고 저장된 신호들을 상기 축소/분할부 측으로 제공하는 메모리부(210), 그리고, 상기 프레임 버퍼부로부터의 신호들, 상기 크로마키부에 의해 합성된 신호, 및 상기 축소/분할부에 의해 축소 및 분할된 신호를 복수 개의 출력 포트들 각각에 매칭시켜 출력하기 위한, 스위칭부(230)를 포함한다.

일 실시예에 따라, 상기 축소/분할부(220)는, 상기 디스플레이를 통해 출력되는 영상의 선명도 및 품질 저하를 방지하기 위해 보간법 알고리즘을 이용하여 데이터를 보정하는 데이터 보상부(221)를 더 포함한다.

일 실시예에 따라, 상기 다중 신호 처리 시스템은, 제어 명령(CMD)에 따라 상기 입력신호 변환부(110), 상기 입력 스케일링부(120), 상기 처리부(200), 상기 출력 스케일링부(260) 및 상기 출력신호 변환부(270) 측으로 제어 신호를 출력하는, 제어부(250)를 더 포함한다.

일 실시예에 따라, 상기 제어부(200)는 N(N은 2 이상의 자연수임) 개의 입력 포트들 및 N 개의 출력 포트들을 포함하며, 상기 입력 포트들 각각은 순서대로 연결된 하나의 입력신호 변환부, 하나의 입력 스케일링부, 및 하나의 프레임 버퍼부를 포함하고, 상기 출력 포트들 각각은 순서대로 연결된 하나의 출력 스케일링부 및 하나의 출력신호 변환부를 포함한다.

일 실시예에 따라, 상기 동기화부(130)는, 기준 픽셀 클럭(Ref_Pclk)을 생성하는 PLL부(134)와, 기준 싱크 신호들(Ref_VSync, Ref_HSync) 및 기준 데이터 인에이블 신호(Ref_DE)를 생성하여, 상기 프레임 버퍼부(140) 측으로 제공한다.

본 발명의 다중 신호 처리 시스템은 초고화질 UHD 입력 영상신호의 동기 결합, 영상 및 음성 전환 지연 방지를 위한 동기결합(Generation Lock) 매트릭스를 제공하고, 영상 합성이 가능한 크로마키 기능을 제공하며, 여러 가지 포맷의 결합이 가능한 스케일링 기술을 제공하며, 비디오 월(화면 분할 및 축소/확대) 기능을 제공할 수 있다.

또한, 본 발명의 다중 신호 처리 시스템은, 초고화질 UHD 영상 처리를 위한 별도의 컨버터가 불필요하고, 별도의 영상 편집기가 불필요하며, 별도의 영상 분배기가 불필요하고, 하나의 모니터에 여러 개의 영상을 분할하는 것이 가능한 효과를 갖는다.

또한, 본 발명의 다중 신호 처리 시스템은, 화면 전환시 대체로 16ms 이하의 지연시간 정도로 매우 짧은 지연시간이 생기므로, 기존의 타사 제품이 대체로 1,200ms 정도의 지연시간이 생기는 것과 비교할 경우, 화면 전환시 끊김 현상이 거의 발생하지 않는 효과를 갖는다.

도 1의 (a)는 640 X 480 크기의 해상도를 갖는 SD(Standard Definition), 1280 X 720 크기의 해상도를 갖는 HD(High Definition), 1920 X 1080 크기의 해상도를 갖는 Full HD, 그리고 3840 X 2180 크기의 해상도를 갖는 Ultra HD(UHD)를 비교 설명하기 위한 도면이고, 도 1의 (b)는 고화질(HD)과 초고화질(UHD)의 선명도를 비교하기 위한 도면이고,
도 2는 V 싱크가 동기화되지 않은 경우(a)와 동기화된 경우를 비교하여 나타낸 도면이고,
도 3은 본 발명의 일 실시예에 따른 다중 신호 처리 시스템의 구성 블록도이고,
도 4는 본 발명의 일 실시예에 따른 다중 신호 처리 시스템의 구성 블록도로서, 입력 포트와 출력 포트가 각각 8개인 경우의 예이고,
도 5는 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 동기화부(130)의 일 예를 나타낸 도면이고,
도 6은 1920 X 1080 픽셀의 FHD의 VSync, HSync, DE(데이터 인에이블), 픽셀 클럭(Pclk) 간의 관계를 설명하기 위한 타이밍도이고,
도 7은 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 입력신호 변환부(110, 예컨대, 110_1)를 설명하기 위한 블록도이고,
도 8은 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 입력 스케일링부(120, 예컨대, 120_1)를 설명하기 위한 블록도이고,
도 9는 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 프레임 버프부(140)의 쓰기(write)/읽기(read) 동작을 설명하기 위한 타이밍도이고,
도 10a 내지 도 10h는 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 프레임 버프부(140)를 설명하기 위한 블록도이고,
도 11은 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 크로마키부(240)를 설명하기 위한 블록도이고,
도 12는 도 11의 크로마키부(240)에 의해 데이터가 치환되어 합성되는 예를 설명하기 위한 도면이고,
도 13은 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 축소/분할부(220)를 설명하기 위한 블록도이고,
도 14는 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 스위칭부(230)를 설명하기 위한 블록도이고,
도 15는 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 출력 스케일링부(260, 예컨대, 260_1)를 설명하기 위한 블록도이고,
도 16은 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 출력신호 변환부(270, 예컨대, 270_1)를 설명하기 위한 블록도이다.

이하에서는 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예들이 설명된다. 첨부된 도면들 및 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자로 하여금 본 발명에 관한 이해를 돕기 위한 의도로 예시되고 간략화된 것임에 유의하여야 할 것이다.

우선, 본 명세서 내에서 입력 신호들로서 예시된, TMDS 신호는 다중 영상 신호의 대표적인 예로서, 변화 최소화 차분 신호(Transition Minimized Differential Signaling; TMDS, 이하 'TMDS' 로 약칭함)이다. 본 명세서 내에서 입력단과 디스플레이부 사이에서 복수 개의 포트들에 대응되게 적절하게 입력 신호들을 변환하고 처리함에 있어서, TMDS 신호는, 데이터 라인 및 각종 클럭 라인들이 N(Negative)과 P(Positive)의 페어 신호로 구성되어 있으므로, 스케일링 및 영상 처리에 있어서 용이하도록, TTL 신호 레벨로 변환된다. 본 명세서 내에서 TTL 신호 레벨의 데이터 DATA[23..0]는 24비트의 RGB 데이터를 의미하는 것으로서 다른 비트의 RGB 데이터가 사용될 수도 있다. 또한, 본 명세서 내에서 입력 포트들 및 출력 포트들을 8개로 예시하여 설명하였으나, 이러한 예로 한정되는 것은 아니다.

도 3은 본 발명의 일 실시예에 따른 다중 신호 처리 시스템의 구성 블록도이고, 도 4는 본 발명의 일 실시예에 따른 다중 신호 처리 시스템의 구성 블록도로서, 입력 포트와 출력 포트가 각각 8개인 경우의 예이고, 도 5는 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 동기화부(130)의 일 예를 나타낸 도면이고, 도 6은 1920 X 1080 픽셀의 FHD의 VSync, HSync, DE(데이터 인에이블), 픽셀 클럭(Pclk) 간의 관계를 설명하기 위한 타이밍도이고, 도 7은 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 입력신호 변환부(110, 예컨대, 110_1)를 설명하기 위한 블록도이고, 도 8은 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 입력 스케일링부(120, 예컨대, 120_1)를 설명하기 위한 블록도이고, 도 9는 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 프레임 버프부(140)의 쓰기(write)/읽기(read) 동작을 설명하기 위한 타이밍도이고, 도 10a 내지 도 10h는 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 프레임 버프부(140)를 설명하기 위한 블록도이고, 도 11은 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 크로마키부(240)를 설명하기 위한 블록도이고, 도 12는 도 11의 크로마키부(240)에 의해 데이터가 치환되어 합성되는 예를 설명하기 위한 도면이고, 도 13은 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 축소/분할부(220)를 설명하기 위한 블록도이고, 도 14는 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 스위칭부(230)를 설명하기 위한 블록도이고, 도 15는 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 출력 스케일링부(260, 예컨대, 260_1)를 설명하기 위한 블록도이고, 도 16은 본 발명의 일 실시예에 따른 다중 신호 처리 시스템에서 출력신호 변환부(270, 270_1)를 설명하기 위한 블록도이다.

먼저, 도 3을 참조하면, 본 발명의 일 실시예에 따른 다중 신호 처리 시스템은, 다중의 TMDS 신호들(IN1, ..., IN8)을 입력받아 스케일링 및 영상 처리에 용이한 TTL 레벨 신호들로 변환하는 입력신호 변환부(110), 입력신호 변환부(110)로부터의 TTL 레벨 신호들을 입력받아 각각의 TTL 레벨 신호들의 해상도를 조절하는 입력 스케일링부(120), 동기화 신호를 발생시키는 동기화부(130), 입력 스케일링부(120)에 의해 해상도가 조절된 신호들을 저장하고 동기화부(130)에 의해 발생되는 동기화 신호에 따라 상기 해상도가 조절된 신호들(IN'1, ..., IN'8)을 동시에 내보내는 프레임 버퍼부(140), 프레임 버퍼부(140)로부터의 신호들(IN'1, ..., IN'8)을 복수 개(예컨대, 도 4에 도시된 바와 같이 8 개)의 출력 포트들 각각에 매칭시켜 출력하는 처리부(200), 처리부(200)에 의해 처리되어 출력 포트들 각각에 매칭된 신호들을, 최종단의 디스플레이(DISPLAY)에 적합하도록 해상도를 조절하는 출력 스케일링부(260), 그리고, 출력 스케일링부(260)에 의해 해상도가 조절된 신호들을 입력받아 TMDS 신호들로 변환하는 출력신호 변환부(270)를 포함한다.

도 4를 참조하면, 본 발명의 다중 신호 처리 시스템에서, 입력신호 변환부(110), 입력 스케일링부(120), 프레임 버퍼부(140), 출력 스케일링부(260), 및 출력신호 변환부(270)는 모두 8개로 예시되어 있으나, 앞서 언급한 바와 같이 이러한 개수로 한정되는 것은 아니며, 다른 개수로 구현될 수 있다. 즉, N개로서, N은 2 이상의 자연수일 수 있다.

하나의 입력 포트, 하나의 출력 포트 관점에서 살펴보면, 각각의 입력 포트에는, 차례대로, TMDS 신호(예컨대, IN1)를 입력받는 하나의 입력신호 변환부(예컨대, 110_1), 하나의 입력 스케일링부(예컨대, 120_1), 하나의 프레임 버퍼부(예컨대, 140_1)가 연결되어 있고, 하나의 출력 포트에는, 스위칭부(230)를 통해서 나가는 신호(예컨대, OUT'1)를 입력받는 하나의 출력 스케일링부(예컨대, 260_1), 하나의 출력신호 변환부(예컨대, 270_1)를 포함한다. 출력신호 변환부(270)의 후단에는 영상 신호를 화면에 표시하는 디스플레이(도 3의 DISPLAY)가 연결되어, 출력신호 변환부(270)로부터의 신호들(OUT1, ..., OUT8)을 입력받아 디스플레이한다.

도 3, 도 4 및 도 5를 함께 참조하면, 동기화부(130)는, 발진기(OSC)에 의해 생성된 기본 클럭(예컨대, 발진 주파수(fo)가 27MHz)에 따라서, 기준 픽셀 클럭(Ref_Pclk)을 생성하는 PLL(Phase Locked Loop)부(134)와, PLL부(134)에 의해 생성된 기준 픽셀 클럭(Ref_Pclk)에 따라 각종 기준 싱크 신호들, 즉, 기준 VSync(Ref_VSync), 기준 HSync(Ref_HSync), 및 기준 데이터 인에이블 신호(Ref_DE)를 생성하고, 프레임 버퍼부(140) 측으로, Ref_VSync, Ref_HSync, Ref_DE, 및 Ref_Pclk를 제공한다. 그리하여, 복수 개의 입력 포트들을 통해 들어오는 영상 신호들(IN1, ..., IN8) - 이들 신호들은 픽셀 클럭과 싱크 신호들을 모두 달리하고 있음 - 의 픽셀 클럭과 싱크 신호들을 동일하게 함으로써, 화면 전환시 지연으로 인해 디스플레이에서 발생하는 화면 끊김 현상을 줄일 수 있도록 한다. 이는 동기 결합(Generation Lock; GenLock)으로 일컬어진다. 뿐만 아니라, 도 3 및 도 4에는 직접적으로 도시되어 있지는 않으나, 동기화부(130)에 의해 생성된, 기준 픽셀 클럭(Ref_Pclk), 기준 Vsync(Ref_VSync), 기준 HSync(Ref_HSync), 및 기준 데이터 인에이블 신호(Ref_DE)는 처리부(200) 내의 축소/분할부(220) 측으로 제공되어 모니터링 데이터(도 13의 M_DATA[23..0])가 이들 신호들의 세트에 응답하여 출력될 수 있도록 한다. 뿐만 아니라, 동기화부(130)에 의해 생성된, 기준 픽셀 클럭(Ref_Pclk), 기준 Vsync(Ref_VSync), 기준 HSync(Ref_HSync), 및 기준 데이터 인에이블 신호(Ref_DE)는 이후에 도 15를 참조하여 설명되는 바와 같이 출력 스케일링부(260) 측으로도 입력된다.

도 6을 참조하면, 예컨대, 1920 X 1080 픽셀의 FHD의 VSync, HSync, DE(데이터 인에이블), 픽셀 클럭(Pclk) 간의 관계를 살펴보면, 앞서 언급한 바와 같이, 한 장의 영상이 디스플레이되는데 걸리는 시간은 VSync의 한 주기로 볼 수 있다. 또한, 한 장의 영상은 수평 방향으로의 복수 개의 라인들(lines)로서 구현되고, 이러한 복수 개의 라인들 각각은 수평 방향으로 HSync에 동기되어 디스플레이되므로, 한 장의 사진 내에서 한 라인이 디스플레이되는데 걸리는 시간은 HSync의 한 주기로 볼 수 있다. 그리고, 영상 데이터가 존재하는 시간은 DE 신호의 인에이블된 구간으로 볼 수 있으며, 본 예에서와 같이, 1920 X 1080 픽셀의 FHD인 경우, (a)에 도시된 바와 같이, 하나의 VSync 주기 내에서 1080개의 DE 구간이 존재하고, (b)에 도시된 바와 같이, 하나의 DE 주기에서 DE 신호의 인에이블된 구간 내에서 1920개의 픽셀 데이터가 존재하게 된다. 그리고, 이들 픽셀 데이터들은, VSync, HSync, DE, 및 픽셀 클럭(Pclk)에 맞춰서 데이터를 조합함으로써 동영상이 생성된다. 이와 같이 처리되는 동영상들은 각각의 픽셀 클럭과 싱크 신호가 상이하므로, 동기화시키지 않으면, 앞서 도 2의 (a)에 2a로 도시된 바와 같이 각각의 기준 싱크 신호들의 위치가 다르게 되어 왜곡된 영상이 디스플레이되거나 화면 전환시 지연 현상이 발생하게 된다. 따라서, 앞서 도 5에서 설명된 동기화부(130)에서 기준 싱크 신호들(Ref_VSync, Ref_HSync, Ref_DE)과 기준 픽셀 클럭(Ref_Pclk)을 생성하여 프레임 버퍼부(140) 측으로 제공하고 프레임 버퍼부(140)에서는 기준 싱크 신호들(Ref_VSync, Ref_HSync, Ref_DE)과 기준 픽셀 클럭(Ref_Pclk)에 응답하여 각 입력 포트별로 신호들(IN'1 ~ IN'8)을 처리부(200) 측으로 제공하게 된다.

도 3, 도 4, 및 도 7을 참조하면, 입력신호 변환부(예컨대, 110_1)는, 입력 영상 신호(IN1, ..., IN8)가 N, P 페어 신호로 이뤄진 데이터 라인과 클럭 라인을 갖는 신호인 TMDS를, 이를 후속단에서 원활하게 처리할 수 있도록 TTL(Transistor Transistor Logic) 레벨의 신호로 변환한다. 이렇게 함으로써, 픽셀 별로 R(Red), G(Green), B(Blue) 데이터 값을 분석하고 처리할 수 있게 된다. 도 7에서 입력신호 변환부(110_1) 측으로 입력되는 TMDS 레벨의 입력 영상 신호(IN1_DO(N,P), IN1_D1(N,P), IN2_D2(N,P))와 클럭 신호(IN1_clk(N,P))는 입력신호 변환부(110_1)에 의해 변환되어, TTL 레벨의 신호들(데이터(IN1_DATA[23..0]), 수직 싱크(IN1_VSync), 수평 싱크(IN1_HSync), 데이터 인에이블 신호(IN1_DE) 및 픽셀 클럭 신호(IN1_HSync)의 형태로 입력 스케일링부(120) 측으로 제공한다. 상세한 설명에서 입력신호 변환부(120)에서의 하나의 입력신호 변환부(110_1)에 대하여만 설명하였으나, 다른 입력신호 변환부(110_2, ..., 110_8)에도 동일하게 적용된다.

계속해서,도 3, 도 4 및 도 8을 참조하면, 입력 스케일링부(예컨대, 120_1)는, 입력신호 변환부(예컨대, 110_1)로부터의 TTL 레벨의 신호(IN1_DATA[23..0], IN1_VSync, IN1_HSync, IN1_DE, IN1_Pclk)를 입력받아 해상도를 조절하여, 해상도 조절된 TTL 레벨의 신호(S_IN1_DATA[23..0], S_IN1_VSync, SIN1_HSyc, S_IN1_DE, S_IN1_Pclk)를 프레임 버퍼부(140) 측으로 내보낸다. 해상도 조절된 TTL 레벨의 신호에서, S_IN1_DATA[23..0]는 데이터이고, S_IN1_VSync는 수직 싱크, SIN1_HSyc는 수평 싱크, S_IN1_DE는 데이터 인에이블 신호, S_IN1_Pclk는 픽셀 클럭이다. 예컨대, 입력 스케일링부(120_1)의 입력 측 신호(IN1_DATA[23..0], IN1_VSync, IN1_HSync, IN1_DE, IN1_Pclk)는 640 X 480의 해상도에 대응되는 신호일 수 있고, 출력 측 신호(S_IN1_DATA[23..0], S_IN1_VSync, SIN1_HSyc, S_IN1_DE, S_IN1_Pclk)는 1920 X 1080의 해상도에 대응되는 신호일 수 있다. 또한, 입력신호 변환부(110)의 경우와 마찬가지로 다른 입력 스케일링부(120_2, ..., 120_8)에도 동일하게 적용된다.

다음으로 도 9를 참조하여, 프레임 버퍼부(140)의 동작을 설명하면, 입력 스케일링부(120) 측으로부터 제공되는 해상도 조절된 TTL 레벨의 신호들 중, 수직 싱크들(S_IN1_VSync, ..., S_IN8_VSync)은 모두 일정한 시간 차를 갖게 된다. 즉, 심리스(seamless)를 구현하기 위해 신호들은 모두 동일한 해상도를 갖도록 입력 스케일링부(120)에 의해 해상도가 조절되었으나, 도 9의 타이밍도에 도시된 바와 같이, 수직 싱크들(S_IN1_VSync, ..., S_IN8_VSync)의 싱크가 일치하지 않으므로, 수직 싱크들(S_IN1_VSync, ..., S_IN8_VSync) 각각에 응답하여, 프레임 버퍼부(140)에 저장(write)을 하게 된다. 별도로 표시하지는 않았으나, 프레임 버퍼부(140)에 저장함에 있어서, 다른 신호들(S_IN1_HSync, S_IN1_DE, S_IN1_Pclk)도 함께 사용된다. 즉, 각각의 입력 포트에 연결된 프레임 버퍼부에 저장되어 있다가, 동기화부(130)로부터 제공되는 기준 픽셀 클럭(Ref_Pclk), 기준 싱크 신호들(Ref_VSync, Ref_HSync) 및 기준 데이터 인에이블 신호(Ref_DE)의 조합에 응답하여(녹색 기준선 참조) 처리부(200)으로 읽혀(read) 진다. 이렇게 함으로써, 화면 전환시 디스플레이 측에서 발생하는 깜빡임이나 분할 화면 출력시 영상의 흐름 현상 또는 깜빡임 현상을 방지할 수 있게 된다.

다음으로, 도 3, 도 4 및 도 10a 내지 도 10h를 참조하면, 프레임 버퍼부(140)는, TTL 레벨 신호이면서 해상도가 조절된 신호들(S_IN1_DATA[23..0], S_IN1_VSync, S_IN1_HSync, S_IN1_DE, S_IN1_Pclk, ..., S_IN8_DATA[23..0], S_IN8_VSync, S_IN8_HSync, S_IN8_DE, S_IN8_Pclk)을 입력받아, 버퍼링된 신호(B_IN1_DATA[23..0], ..., B_IN8_DATA[23..0](도 3 또는 도 4의 IN'1, ..., IN'8)임)를 기준 싱크 신호들(Ref_VSync, Ref_HSync), 기준 데이터 인에이블 신호(Ref_DE), 및 기준 픽셀 클럭(Ref_Pclk)에 응답하여 처리부(200) 측으로 내보내게 된다.

처리부(200)는, 크로마키부(240), 축소/분할부(220), 메모리부(210), 및 스위칭부(230)를 포함한다. 크로마키부(240)는, 제어부(250)의 제어에 따라 프레임 버퍼부(140)로부터의 신호들 중 일부를 합성하여 디스플레이(DISPLAY) 측으로 내보내는 역할을 수행한다. 축소/분할부(220)는, 프레임 버퍼부(140)로부터의 신호들을 입력받아, 분할 화면이 디스플레이(DISPLAY) 측으로 출력될 수 있도록 하기 위해 축소 처리하는 축소 스케일링부(223)와, 축소 스케일링부(223)에 의해 축소 처리된 신호들이 디스플레이(DISPLAY)를 통해 하나의 화면으로 출력되도록 처리하는 분할부(222)를 포함한다. 또한, 축소/분할부(220)는, 디스플레이(DISPLAY)를 통해 출력되는 영상의 선명도 및 품질 저하를 방지하기 위해 보간법 알고리즘을 이용하여 데이터를 보정하는 데이터 보상부(221)를 더 포함할 수 있다. 메모리부(210)는, 축소/분할부(220)에 의해 처리된 신호들을 저장하고 저장된 신호들을 축소/분할부(220) 측으로 제공하는 역할을 수행한다. 스위칭부(230)는, 프레임 버퍼부(140)로부터의 신호들, 크로마키부(240)에 의해 합성된 신호, 및 축소/분할부(220)에 의해 축소 및 분할된 신호를 복수 개의 출력 포트들 각각에 매칭시켜 출력하는 역할을 수행한다.

도 3, 도 4, 도 11 및 도 12를 참조하면, 크로마키부(ChromaKey Unit)(240)는, 제어부(250)의 제어에 따라, 프레임 버퍼부(140)로부터의 신호들(B_IN1_DATA[23..0], ..., B_IN8_DATA[23..0]) 중 일부를 선택적으로 합성하여, 합성된 신호(C_DATA[23..0])를 생성한다. 크로마키부(240)에 의해 합성되는 예는 도 12에 도시되어 있으며, 도 12를 참조하면, (a)에 도시된 각 픽셀의 영상 데이터와 (b)에 도시된 각 픽셀의 영상 데이터(예컨대, (a)와 (b)는 각각 B_IN1_DATA[23..0], B_IN2_DATA[23..0] 일 수 있음)를 합성하여 (c)와 같은 합성 영상을 생성할 수 있다. 즉, (a)에서 R100 부분(X1 열, X3 열, ..., X1918 열)을 (b)에서의 해당 열의 영상 데이터로 치환하는 방식으로 합성될 수 있다.

도 3, 도 4 및 도 13을 참조하여 축소/분할부(220)를 구체적으로 살펴보면, 축소/분할부(220)는 축소 스케일링부(223) 및 분할부(222)를 포함한다. 또한, 축소/분할부(220)는 데이터 보상부(221)를 더 포함할 수 있다.

축소 스케일링부(223)는 프레임 버퍼부(140)로부터의 신호들(B_IN1_DATA[23..0], ..., B_IN8_DATA[23..0])를 입력받아 축소된 영상을 위한 신호들(SS_IN1_DATA[23..0], ..., SSIN8_DATA[23..0])을 생성해낸다. 예를 들어, 8분할 모드일 경우, 각각의 영상이 가로 1/4, 세로 1/2로 축소되도록 하여야 하므로 이렇게 축소된 영상이 디스플레이에 출력될 수 있도록 축소 스케일링한다.

분할부(222)는 축소 처리된 신호들(SS_IN1_DATA[23..0], ..., SSIN8_DATA[23..0])이 디스플레이를 통해 하나의 화면으로 출력될 수 있도록 조합하는 부분이다. 분할부(222)는 실시간으로 들어오는 신호들을 메모리부(210)에 저장하거나 저장된 신호들을 읽어냄으로써 분할 모드에 따라서 조합하여 디스플레이 측으로 출력한다. 분할부(222)에 의해 출력되는 신호는 모니터링 신호(M_DATA[23..0])이다.

데이터 보상부(221)는 디스플레이를 통해 출력되는 영상의 선명도 및 품질 저하를 방지하기 위해 보간법 알고리즘을 이용하여 데이터를 보정한다. 즉, 각각의 영상에 대응되는 신호들을 축소 처리함에 있어서 영상의 선명도 및 품질이 저하될 수 있으므로, 이를 방지하기 위해, 주변 픽셀들의 평균값을 계산하여, 할당받지 못한 빈 픽셀에 대입시키는 보간법 알고리즘을 이용한다.

도 3, 도 4 및 도 14를 참조하면, 스위칭부(230)는, 프레임 버퍼부(140)로부터의 신호들(B_IN1_DATA[23..0], ..., B_IN8_DATA[23..0]), 크로마키부(240)에 의해 합성된 신호(C_DATA[23..0]), 및 축소/분할부(220)에 의해 축소 및 분할된 신호, 즉 모니터링 신호(M_DATA[23..0])를 복수 개의 출력 포트들 각각에 매칭시켜 출력하게 된다. 스위칭부(230)로부터 출력되는 신호는 스위칭 출력 신호들(SW_OUT1_DATA[23..0], ..., SW_OUT8_DATA[23..0])(도 3 또는 도 4의 OUT'1 ~ OUT'8에 해당됨)이다.

도 3, 도 4 및 도 15를 참조하면, 출력 스케일링부(예컨대, 260_1)는 처리부(200)의 스위칭부(230)로부터의 스위칭 출력 신호(예컨대, SW_OUT1_DATA[23..0])(OUT'1)를 입력받아 최종단의 디스플레이(DISPLAY, 도 3)에 적합하도록 해상도를 조절한다. 출력 스케일링부(예컨대, 260_1)에서 출력되는 신호는 출력 데이터(OUT1_DATA[23..0]), 출력 VSync(OUT1_VSync), 출력 HSync(OUT1_HSync), 출력 데이터 인에이블(OUT1_DE) 및 출력 픽셀 클럭(OUT1_Pclk)이다. 물론, 다른 출력 포트들의 경우에도 동일하게 적용된다.

도 3, 도 4 및 도 16을 참조하면, 출력신호 변환부(270)는, 출력 스케일링부(260)에 의해 해상도가 조절된 신호들을 입력받아 TMDS 신호들로 변환한다. 예컨대, 출력 스케일링부(260_1)에 의해 해상도가 조절된 신호, 즉, 출력 데이터(OUT1_DATA[23..0]), 출력 VSync(OUT1_VSync), 출력 HSync(OUT1_HSync), 출력 데이터 인에이블(OUT1_DE) 및 출력 픽셀 클럭(OUT1_Pclk)을 입력받아서, 최종적으로 TMDS 신호들, 즉 OUT1_DO(N,P), OUT1_D1(N,P), OUT1_D2(N,P), OUT1_clk(N,P)로 변환하여 출력한다. 이들은 앞서 도 3 또는 도 4에서 OUT1에 해당하는 신호이다. 물론 다른 출력 포트들의 경우에도 동일하게 적용된다.

마지막으로 도 3을 다시 참조하면, 본 발명의 다중 신호 처리 시스템에 있어서, 제어 명령(CMD)에 의해, 분할 모드 선택, 영상 합성, 스위칭 등이 이뤄지므로, 본 발명의 다중 신호 처리 시스템은, 이러한 제어명령(CMD)을 입력받는 제어부(250)를 더 포함한다. 제어부(250)는, 제어 명령(CMD)에 따라, 입력신호 변환부(110), 입력 스케일링부(120), 처리부(200), 출력 스케일링부(260) 및 출력신호 변환부(270) 측으로 제어 신호를 내보내어, 다중 신호 처리 시스템의 영상 처리 작업이 이뤄질 수 있도록 한다. 제어명령(CMD)은 제어부(250) 측으로, TCP/IP, UDP, RS-232 등의 통신 프로토콜로 입력될 수 있으나, 이러한 예들로 한정되는 것은 아니다.

이와 같이, 본 발명의 다중 신호 처리 시스템은, 초고화질 UHD 입력 영상 신호의 동기 결합, 영상 및 음성 전환 지연 방지를 위한 동기 결합(Generation Lock) 매트릭스를 제공하고, 영상 합성이 가능한 크로마키 기능을 제공하며, 여러 가지 포맷의 결합이 가능한 스케일링 기술을 제공하며, 비디오 월(화면 분할 및 축소/확대) 기능을 제공할 수 있다. 또한, 본 발명의 비디오 신호 처리 시스템은, 화면 전환시 대체로 16ms 이하의 지연시간 정도로 매우 짧은 지연시간이 생기므로, 기존의 타사 제품이 대체로 1,200ms 정도의 지연시간이 생기는 것과 비교할 경우, 화면 전환시 끊김 현상이 거의 발생하지 않는 효과를 갖는다.

Claims

다중 신호 처리 시스템으로서,
다중의 TMDS 신호들을 입력받아 스케일링 및 영상 처리에 용이한 TTL 레벨의 신호들로 변환하는 입력신호 변환부(110);
상기 입력신호 변환부로부터의 TTL 레벨의 신호들을 입력받아 각각의 TTL 레벨의 신호들의 해상도를 조절하는 입력 스케일링부(120);
동기화 신호를 발생시키는 동기화부(130);
상기 입력 스케일링부에 의해 해상도가 조절된 신호들을 저장하고 상기 동기화부에 의해 발생되는 동기화 신호에 따라 상기 해상도가 조절된 신호들을 동시에 내보내는 프레임 버퍼부(140);
상기 프레임 버퍼부로부터의 신호들을 복수 개의 출력 포트들 각각에 매칭시켜 출력하는 처리부(200);
상기 처리부에 의해 처리되어 출력 포트들 각각에 매칭된 신호들을, 최종단의 디스플레이(DISPLAY)에 적합하도록 해상도를 조절하는 출력 스케일링부(260); 및
상기 출력 스케일링부에 의해 해상도가 조절된 신호들을 입력받아 TMDS 신호들로 변환하는 출력신호 변환부(270);를 포함하는 것을 특징으로 하는, 다중 신호 처리 시스템.
청구항 1에 있어서, 상기 처리부(200)는,
제어부(250)의 제어에 따라 상기 프레임 버퍼부로부터의 신호들 중 일부를 합성하기 위한 크로마키부(240);
상기 프레임 버퍼부로부터의 신호들을 입력받아, 분할 화면이 상기 디스플레이에 출력될 수 있도록 하기 위해 축소 처리하는 축소 스케일링부(223)와, 상기 축소 스케일링부에 의해 축소 처리된 신호들이 상기 디스플레이를 통해 하나의 화면으로 출력되도록 처리하는 분할부(222)를 포함하는, 축소/분할부(220);
상기 축소/분할부에 의해 처리된 신호들을 저장하고 저장된 신호들을 상기 축소/분할부 측으로 제공하는 메모리부(210); 및
상기 프레임 버퍼부로부터의 신호들, 상기 크로마키부에 의해 합성된 신호, 및 상기 축소/분할부에 의해 축소 및 분할된 신호를 복수 개의 출력 포트들 각각에 매칭시켜 출력하기 위한, 스위칭부(230);를 포함하는 것을 특징으로 하는, 다중 신호 처리 시스템.
청구항 2에 있어서, 상기 축소/분할부(220)는,
상기 디스플레이를 통해 출력되는 영상의 선명도 및 품질 저하를 방지하기 위해 보간법 알고리즘을 이용하여 데이터를 보정하는 데이터 보상부(221)를 더 포함하는 것을 특징으로 하는, 다중 신호 처리 시스템.
청구항 1에 있어서, 상기 다중 신호 처리 시스템은,
제어 명령(CMD)에 따라 상기 입력신호 변환부(110), 상기 입력 스케일링부(120), 상기 처리부(200), 상기 출력 스케일링부(260) 및 상기 출력신호 변환부(270) 측으로 제어 신호를 출력하는, 제어부(250)를 더 포함하는 것을 특징으로 하는, 다중 신호 처리 시스템.
청구항 1에 있어서,
상기 처리부(200)는 N(N은 2 이상의 자연수임) 개의 입력 포트들 및 N 개의 출력 포트들을 포함하며,
상기 입력 포트들 각각은 순서대로 연결된 하나의 입력신호 변환부, 하나의 입력 스케일링부, 및 하나의 프레임 버퍼부를 포함하고,
상기 출력 포트들 각각은 순서대로 연결된 하나의 출력 스케일링부 및 하나의 출력신호 변환부를 포함하는 것을 특징으로 하는, 다중 신호 처리 시스템.
청구항 1에 있어서, 상기 동기화부(130)는,
기준 픽셀 클럭(Ref_Pclk)을 생성하는 PLL부(134)와, 기준 싱크 신호들(Ref_VSync, Ref_HSync) 및 기준 데이터 인에이블 신호(Ref_DE)을 생성하여, 상기 프레임 버퍼부(140) 측으로 제공하는 것을 특징으로 하는, 다중 신호 처리 시스템.