KR100313901B1 - 텔레비젼 수신기에서의 부화면 처리 장치 - Google Patents

텔레비젼 수신기에서의 부화면 처리 장치 Download PDF

Info

Publication number
KR100313901B1
KR100313901B1 KR1019990004255A KR19990004255A KR100313901B1 KR 100313901 B1 KR100313901 B1 KR 100313901B1 KR 1019990004255 A KR1019990004255 A KR 1019990004255A KR 19990004255 A KR19990004255 A KR 19990004255A KR 100313901 B1 KR100313901 B1 KR 100313901B1
Authority
KR
South Korea
Prior art keywords
sub
pip
screen
main
height
Prior art date
Application number
KR1019990004255A
Other languages
English (en)
Other versions
KR20000055573A (ko
Inventor
김대중
Original Assignee
구자홍
엘지전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자주식회사 filed Critical 구자홍
Priority to KR1019990004255A priority Critical patent/KR100313901B1/ko
Priority to US09/499,632 priority patent/US6556252B1/en
Publication of KR20000055573A publication Critical patent/KR20000055573A/ko
Application granted granted Critical
Publication of KR100313901B1 publication Critical patent/KR100313901B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

부화면의 위치가 자유롭게 이동하는 텔레비젼 수신기에 관한 것으로서, 특히 부화면이 주화면의 한쪽끝에서 다른 끝으로 이동(좌<->우, 상<->하)이 가능하게 하며, 부화면의 절대 크기가 주 화면의 범위 바깥으로 위치하게 되면 주화면 상에 위치한 부화면의 일부분만을 디스플레이하는데 이때, 주화면의 좌,우측 또는 상하단으로의 부화면 스크롤이 가능하다. 또한, 디스플레이되어지는 부화면의 부분만을 서브샘플링하여 부화면 프레임 메모리에 저장하도록 함으로써, 간단한 메모리 어드레싱만으로도 부화면의 일부분만을 디스플레이하는 것이 가능하다.

Description

텔레비젼 수신기에서의 부화면 처리 장치{Apparatus for sub-picture processing in television receiver}
본 발명은 주화면(Main picture)과 부화면(Sub picture)을 동시에 시청할 수 있는 텔레비젼(TV) 수신기에 관한 것으로서, 특히 주화면 상에서 부화면의 위치가 자유롭게 이동하는 부화면 처리 장치에 관한 것이다.
최근 TV 기술의 발전에 따라 주화면과 부화면을 동시에 시청할 수 있는 TV 시스템이 개발되어 보급되어지고 있다. 만일, 복호화되어진 주화면의 장면이 도 1의 좌측과 같고, 복호화되어진 부화면의 장면이 도 1의 우측과 같다면, 픽쳐 인 픽쳐(Picture In Picture ; PIP) 기능에 의해 주화면과 부화면이 동시에 디스플레이되어지는 화면의 예는 도 2와 같다.
이때, 부화면은 주로 다른 채널의 검색 용도로서 활용되며, 부화면이 주화면의 중요한 부분을 가리고 위치한 경우 부화면을 움직여 주화면을 시청할 수 있는데, 상기 부화면의 이동이 제한되어 있으므로, 경우에 따라서는 부화면을 오프시켰다가 다시 온시켜야 하는 경우도 발생한다. 이는 사용자에게 번거로움을 줄 수 있다.
또한, 부화면의 디스플레이 크기를 줄일 수가 있는데, 그 크기도 제한되며, 만일 도 3의 (a)와 같은 부화면 입력 영상이 가로, 세로 각각 1/N, 1/M로 서브샘플링되어져 도 3의 (b)와 같아졌다고 할 때 보통의 서브 샘플링에서는 M개의 라인 중에서 하나의 라인을 취하고 N개의 수평 화소 중에서 하나의 화소를 취하는 동작을 하게 된다.
따라서, 서브 샘플링되어진 부화면중 일부만을 디스플레이하는 경우 입력되는 부화면의 모든 영역을 서브 샘플링하여 부화면 프레임 메모리에 저장한 후 디스플레이되어지는 부분만을 읽어내기 위해서는 어드레싱을 위해서 곱셈기등 복잡한 로직이 필요하게 된다.
본 발명은 상기와 같은 목적을 달성하기 위한 것으로서, 본 발명의 목적은 부화면이 주화면 상에서 자유롭게 이동하여 위치할 수 있도록 하는 텔레비젼 수신기의 부화면 처리 장치를 제공함에 있다.
본 발명의 다른 목적은 부화면의 크기를 자유롭게 조정할 수 있도록 하는 텔레비젼 수신기의 부화면 처리 장치를 제공함에 있다.
본 발명의 또다른 목적은 부화면의 디스플레이되어지는 부분만을 서브 샘플링하여 저장함으로써, 간편한 메모리 인덱싱으로 부화면의 크기를 줄이는 텔레비젼 수신기의 부화면 처리 장치를 제공함에 있다.
도 1은 주화면과 부화면의 일반적인 예를 보인 도면
도 2는 주화면과 부화면이 동시에 디스플레이되어지는 일반적인 예를 보인 도면
도 3의 (a),(b)는 부화면 입력영상이 서브 샘플링되는 일반적인 예를 보인 도면
도 4는 본 발명에 따른 부화면 위치 조절을 위한 TV 수신기의 구성 블록도
도 5는 도 4의 PIP 동기 발생부의 상세 블록도
도 6은 도 4의 라이트 타이밍 발생부의 상세 블록도
도 7은 본 발명에서 주화면의 시작점 좌표와 부화면의 시작점 좌표의 예를 보인 도면
도 8은 본 발명에서 부화면의 전체가 주화면의 좌측 또는 우측 바깥에 위치하는 예를 보인 도면
도 9는 본 발명에서 부화면이 주화면의 좌우측으로 스크롤되는 예를 보인 도면
도 10은 본 발명에서 부화면의 전체가 주화면의 상단 또는 하단 바깥에 위치하는 예를 보인 도면
도 11은 본 발명에서 부화면이 주화면의 상하단으로 스크롤되는 예를 보인 도면
도 12의 (a) 내지 (e)는 본 발명에서 주화면 수평 동기(MAIN_HSYNC), PIP_HSYNC, PIP_COLUMN_OFFSET, PIP_DISP_WIDTH와의 관계에 대한 예를 보인 도면
도 13의 (a) 내지 (d)는 본 발명에서 MAIN_VSYNC, MAIN_HSYNC, PIP__VSYNC, PIP_HSYNC와의 관계에 대한 일 예를 보인 도면
도 14의 (a) 내지 (d)는 본 발명에서 MAIN_VSYNC, MAIN_HSYNC, PIP__VSYNC, PIP_HSYNC와의 관계에 대한 다른 예를 보인 도면
도 15는 도 5의 제 1 계산부에서 PIP_POS_Y, PIP_LINE_OFFSET, PIP_DISP_HEIGHT 값을 결정하는 알고리즘에 대한 흐름도
도 16의 (a) 내지 (e)는 도 15의 각 상태에 대응하는 부화면 디스플레이 예를 보인 도면
도 17의 (a) 내지 (e)는 본 발명에서 주화면 상에 부화면의 일부 또는 전체가 디스플레이되는 예를 보인 도면
도 18의 (a) 내지 (e)는 도 17과 같은 주화면에서의 부화면 위치에 대응한 부화면 프레임 메모리의 매핑 예를 보인 도면
도면의 주요부분에 대한 부호의 설명
101 : 주화면 튜너102 : 주화면 동기 분리부
103 : PIP 동기 발생부104 : 리드 타이밍 발생부
105 : 부화면 프레임 메모리106 : 주화면 튜너
107 : 주화면 동기 분리부108 : 라이트 타이밍 발생부
109 : 서브 샘플링부110 : 멀티플렉서
201,301 : 라인 카운터203,303 : 픽셀 카운터
202,204 : 계산부302,304 : 비교부
상기와 같은 목적을 달성하기 위한 본 발명에 따른 텔레비젼 수신기의 부화면 처리 장치는, 입력 신호로부터 주화면/부화면으로 디스플레이될 데이터를 각각 복호화하고 복호화된 각각의 주화면/부화면 데이터로부터 주화면에 동기되는 주화면 동기 신호와 부화면에 동기되는 부화면 동기 신호를 추출하는 튜너 및 동기 신호 분리부와, 외부 입력 장치로부터의 입력 신호와 상기 주화면 동기 신호를 이용하여 PIP 관련 정보를 생성하는 PIP 동기 발생부와, 상기 PIP 동기 발생부에서 발생된 부화면 디스플레이용 동기 신호로부터 리드 신호를 생성하는 리드 타이밍 발생부와, 상기 부화면 동기 신호와 PIP 동기 발생부의 출력을 이용하여 라이트 신호를 생성하는 라이트 타이밍 발생부와, 상기 라이트 타이밍 발생부에서 출력되는 라이트 신호에 따라 입력되는 부화면 데이터중 실제로 디스플레이되어질 부분만을 선택하여 서브 샘플링을 수행하는 서브 샘플링부와, 상기 서브 샘플링부에서 서브 샘플링된 부화면 데이터를 저장하고 상기 리드 타이밍 발생부의 리드 신호에 의해 저장된 부화면 데이터를 출력하는 부화면 프레임 메모리와, 상기 복호화된 주화면 데이터와 부화면 프레임 메모리에서 리드되는 부화면 데이터를 다중화시켜 출력하는 다중화부를 포함하여 구성되는 것을 특징으로 한다.
상기 PIP 동기 발생부는 외부로부터 부화면의 수직 시작점 좌표, 부화면의 길이 그리고, 주화면의 라인 정보로부터 주화면에서 부화면이 표시되어지는 라인들의 마스크 신호와 서브 샘플링되어진 부화면 영상 상단으로부터 몇번째 라인까지 디스플레이되어지지 않는가를 나타내는 신호 그리고, 서브 샘플링되어진 부화면의 디스플레이되어지는 라인 수를 생성하는 것을 특징으로 한다.
상기 주화면의 라인 정보로부터 주화면에서 부화면이 표시되어지는 라인들의 마스크 신호는 활성화된 주화면 수직 동기 신호 위에서 움직이며, 부화면이 디스플레이되어지는 라인에서만 활성화되는 것을 특징으로 한다.
상기 PIP 동기 발생부는 외부로부터 부화면의 수평 시작점 좌표, 부화면의 넓이 그리고, 주화면의 컬럼 정보로부터 주화면에서 부화면이 표시되어지는 칼럼들의 마스크 신호, 서브 샘플링되어진 부화면 영상의 최좌측 화소로부터 몇번째 화소까지 디스플레이되어지지 않는가를 나타내는 신호 그리고, 서브 샘플링되어진 부화면의 디스플레이되어지는 라인당 픽셀수를 생성하는 것을 특징으로 한다.
상기 주화면에서 부화면이 표시되어지는 칼럼들의 마스크 신호는 활성화된 주화면의 수평 동기 신호 위에서 움직이며, 부화면이 디스플레이되어지는 컬럼에서만 활성화되는 것을 특징으로 한다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명한다.
본 발명은 부화면의 이동을 자유롭게 조절하여 주화면상에 위치시키며 이때, 부화면의 절대 크기가 주 화면의 범위 바깥으로 위치하게 되면 주화면 상에 위치하는 부화면만을 디스플레이한다. 여기서, 부화면이 좌측으로 스크롤되어 완전히 사라지면 사라진 부화면은 우측에서 나타난다. 역으로 우측으로 스크롤되어 완전히 사라지면 부화면은 좌측에서 다시 나타난다. 또한, 상단으로 사라진 화면은 하단으로부터 디스플레이되어진다. 역으로 하단으로 스크롤되어 사라지면 부화면은 상단에서 다시 나타난다.
그리고, 본 발명은 부화면의 디스플레이되어지는 부분만을 서브 샘플링하여 부화면 프레임 메모리에 저장하여 부화면의 일부만을 디스플레이하더라도 메모리 인덱싱을 간편하게 한다.
도 4는 이를 실현하기 위한 본 발명에 따른 부화면 처리 장치의 구성 블록도로서, 입력 신호로부터 주화면으로 복원될 데이터를 분리하는 주화면 튜너(101), 상기 주화면 데이터로부터 주화면 동기 신호를 추출하는 주화면 동기 분리부(102), 외부 장치(예, 리모콘)로부터 신호(PIP_POS_X,PIP_POS_Y ; 부화면이 삽입되는 시작점의 좌표 값)를 입력받아 상기 주화면 동기 신호에 동기되는 부화면 디스플레이용 동기 신호(PIP_HSYNC,PIP_VSYNC)와 PIP 라인 옵셋(PIP_LINE_OFFSET), PIP 컬럼 옵셋(PIP_COLUMN_OFFSET), PIP 디스플레이 높이(PIP_DISP_HEIGHT), PIP 디스플레이 폭 (PIP_DISP_WIDTH)정보를 생성하는 PIP 동기 발생부(103), 부화면 프레임 메모리로부터 부화면을 읽어내기 위해 상기 PIP 동기 발생부(103)에서 발생된 PIP-HSYNC,PIP_VSYNC 신호를 이용하여 리드 신호를 발생하는 리드 타이밍 발생부(104), 입력 신호로부터 부화면으로 복원될 데이터를 분리하는 부화면 튜너(106), 상기 부화면 데이터로부터 부화면 동기 신호를 추출하는 부화면 동기 분리부(107), 상기 부화면 동기 분리부(107)를 통해 입력되는 부화면 데이터중 실제로 디스플레이되어질 부분만이 서브 샘플링되도록 상기 부화면 동기 신호와 PIP 동기 발생부(103)의 출력을 이용하여 라이트 신호를 생성하는 라이트 타이밍 발생부(108), 상기 라이트 타이밍 발생부(108)에서 출력되는 라이트 신호에 따라 주화면의 크기로 입력되어지는 부화면 신호를 가로, 세로 각각 1/N, 1/M(여기서, N과 M은 자연수)로 서브 샘플링하여 줄이는 서브 샘플링부(109), 상기 서브 샘플링부(109)에서 서브 샘플링된 부화면 데이터를 저장하고 상기 리드 타이밍 발생부(104)에서 발생되는 리드 신호에 의해 저장된 부화면 데이터를 출력하는 부화면 프레임 메모리(105), 및 상기 주화면 동기 분리부(102)를 통해 출력되는 주화면 데이터 또는 부화면 프레임 메모리(105)에서 출력되는 부화면 데이터를 다중화시켜 출력하는 멀티플렉서(110)로 구성된다.
도 5는 상기 PIP 동기 발생부(103)의 상세 블록도로서, 주화면 데이터와 동기되어지는 주화면의 수직 동기 신호(MAIN_VSYNC)와 수평 동기 신호(MAIN_HSYNC)를 입력받아 유효 수직 동기 신호(MAIN_VSYNC)내의 수평 동기 신호(MAIN_HSYNC)의 수를 카운팅하는 라인 카운터(201), PIP_POS_Y, PIP_HEIGHT 신호와 상기 라인 카운터(201)의 카운트 값을 이용하여 주화면 데이터와 동기되어지는 PIP_VSYNC, PIP 라인 옵셋(PIP_LINE_OFFSET), PIP 디스플레이 높이(PIP_DISP_HEIGHT) 정보를 생성하는 제 1 계산부(202), 주화면의 수직 동기 신호(MAIN_VSYNC)와 수평 동기 신호(MAIN_HSYNC)를 입력받아 유효 수평 동기신호(MAIN_HSYNC) 내에서 클럭(CLK) 수를 카운팅하는 픽셀 카운터(203), 및 PIP_POS_X, PIP_WIDTH 신호와 상기 픽셀 카운터(203)의 카운트 값을 이용하여 주화면 데이터와 동기되어지는 PIP_HSYNC, PIP 컬럼 옵셋(PIP_COLUMN_OFFSET), PIP 디스플레이 폭(PIP_DISP_WIDTH)정보를 생성하는 제 2 계산부(204)로 구성된다.
도 6은 상기 라이트 타이밍 발생부(108)의 상세 블록도로서, 부화면 데이터와 동기되어지는 부화면의 수직 동기 신호(SUB_VSYNC)와 수평 동기 신호(SUB_HSYNC)를 입력받아 유효 수직 동기 신호(SUB_VSYNC)내의 수평 동기 신호(SUB_HSYNC)의 수를 카운팅하는 라인 카운터(301), 상기 라인 카운터(301)에서 카운트된 값이 PIP_LINE_OFFSET 정보보다 크고, PIP_DISP_HEIGHT 정보보다 작을때만 라인 인에이블 신호(LINE_ENABLE)를 활성화하는 제 1 비교부(302), 부화면의 수직 동기 신호(SUB_VSYNC)와 수평 동기 신호(SUB_HSYNC)를 입력받아 유효 수평 동기신호(SUB_HSYNC) 내에서 클럭(CLK) 수를 카운팅하는 픽셀 카운터(303), 및 상기 픽셀 카운터(303)에서 카운트된 값이 PIP_COLUMN_OFFSET 정보보다 크고, PIP_DISP_WIDTH 정보보다 작을때만 픽셀 인에이블 신호(PIXEL_ENABLE)를 활성화하는 제 2 비교부(304)로 구성된다.
이와 같이 구성된 본 발명에서 주화면 튜너(101)는 입력 신호로부터 주화면으로 복원될 데이터를 분리하여 주화면 동기 분리부(102)로 출력하고, 부화면 튜너(106)는 입력 신호로부터 부화면으로 복원될 데이터를 분리하여 부화면 동기 분리부(107)로 출력한다.
상기 주화면 동기 분리부(102)는 주화면 데이터로부터 주화면의 수직 동기 신호(MAIN_VSYNC)와 수평 동기 신호(MAIN_HSYNC)를 추출하여 PIP 동기 발생부(103)로 출력한다. 이때, 주화면 데이터는 멀티플렉서(110)로 출력한다.
그리고, 상기 부화면 동기 분리부(107)는 부화면 데이터로부터 부화면의 수직 동기 신호(SUB_VSYNC)와 수평 동기 신호(SUB_HSYNC)를 추출하여 라이트 타이밍 발생부(108)로 출력한다.
이때, 주화면은 MAIN_WIDTH의 넓이와 MAIN_HEIGHT의 길이를 가지고, 서브 샘플링되어진 부화면은 PIP_WIDTH의 넓이와 PIP_HEIGHT의 길이를 가진다고 하자.
그리고, 도 7에서와 같이 주화면의 좌상단 화소의 좌표를 (0,0)이라 하면, 우상단은 (MAIN_WIDTH-1,0), 좌하단은 (0, MAIN_HEIGHT-1), 우하단은 (MAIN_WIDTH-1, MAIN_HEIGHT-1)이 된다.
또한, 부화면이 삽입되어지는 시작점의 좌표를 부화면의 좌상단으로 하고 이때의 좌표를 PIP_POS_X, PIP_POS_Y라 하면, PIP_POS_X, PIP_POS_Y는 주화면의 절대좌표 평면위에서 다음과 같은 값을 가지게 된다.
PIP_POS_X : [-PIP_WIDTH ∼ MAIN_WIDTH]
PIP_POS_Y : [-PIP_HEIGHT ∼ MAIN_HEIGHT]
여기서, PIP_POS_X의 값이 -PIP_WIDTH일 때 즉, 도 8의 (a)와 같이 부화면이 완전히 주화면의 좌측 바깥으로 벗어나 주화면에 디스플레이되지 않을 때 -PIP_WIDTH의 값을 MAIN_WIDTH-1의 값으로 설정하면 도 9의 (b)와 같이 부화면이 좌측으로 스크롤 아웃되어 우측에서 스크롤 인되어지는 효과를 얻을 수 있고, 상기 PIP_POS_X의 값이 MAIN_WIDTH일 때 즉, 부화면이 완전히 주화면의 우측 바깥으로 벗어나 주화면에 디스플레이되지 않을 때 MAIN_WIDTH의 값을 -PIP_WIDTH+1의 값으로 설정하면 도 9의 (a)와 같이 부화면이 우측으로 스크롤 아웃되어 좌측에서 스크롤 인되어지는 효과를 얻을 수 있다.
또한, 상기 PIP_POS_Y의 값이 -PIP_HEIGHT일때는 도 10의 (c)와 같이 부화면이 주화면의 상단 바깥으로 벗어난 형태가 되고, 상기 PIP_POS_Y의 값이 MAIN_HEIGHT일때는 도 10의 (d)와 같이 하단 바깥으로 벗어난 형태가 된다. 이러한 경우에도 부화면은 디스플레이되어지지 않는다.
이러한 경우 역시, PIP_POS_Y의 값이 -PIP_HEIGHT일 경우, 상기 -PIP_HEIGHT 값을 MAIN_HEIGHT-1값으로 설정하면 도 11의 (d)와 같이 부화면이 상단으로 스크롤 아웃되어 하단으로 스크롤 인되어지는 효과를 얻을 수 있고, PIP_POS_Y의 값이 MAIN_HEIGHT일 때 MAIN_HEIGHT의 값을 -PIP_HEIGHT+1값으로 설정하면, 도 11의 (c)와 같이 부화면이 하단으로 스크롤 아웃되어 상단으로 스크롤 인되어지는 효과를 얻을 수 있다.여기서, PIP_POS_X, PIP_POS_Y, PIP_WIDTH, PIP_HEIGHT는 리모콘과 같은 외부 입력 장치에 의해서 값이 변하는 변수이다. 즉, 사용자는 외부 입력 장치를 통해 부화면의 수평, 수직 시작 위치와 수평 폭 그리고, 수직 길이를 선택함에 의해 부화면의 디스플레이 위치와 크기를 변화시켜 부화면을 상하좌우로 자유롭게 스크롤할 수 있다. 이때, 주화면 상에는 서브 샘플링되어진 부화면의 일부 또는 전체가 디스플레이된다. 또한, 사용자는 상기 외부 입력 장치를 통해 부화면 데이터의 서브 샘플링비를 제어하여 디스플레이되는 부화면의 전체적인 크기도 제어할 수 있다.
이를 위해, 상기 PIP 동기 발생부(103)는 외부 입력 장치로부터 상기된 PIP_POS_X, PIP_POS_Y,PIP_WIDTH, PIP_HEIGHT 값을 입력받아 상기 주화면 동기 신호(MAIN_VSYNC,MAIN_HSYNC)에 동기되는 부화면 디스플레이용 동기 신호(PIP_HSYNC,PIP_VSYNC)와 PIP 라인 옵셋(PIP_LINE_OFFSET), PIP 컬럼 옵셋(PIP_COLUMN_OFFSET), PIP 디스플레이 높이(PIP_DISP_HEIGHT), PIP 디스플레이 폭(PIP_DISP_WIDTH)정보를 생성한다.
여기서, 상기 부화면 디스플레이용 수직 동기 신호인 PIP_VSYNC는 주화면 상에 부화면으로서 표시되어지는 라인들의 마스크 신호이고, 상기 부화면 디스플레이용 수평 동기 신호인 PIP_HSYNC는 주화면 상에 부화면으로 표시되어지는 컬럼들의 마스크 신호이다. 그리고, PIP_LINE_OFFSET은 전체 부화면 영상 중 부화면 영상 상단으로부터 몇번째 라인까지 주화면 상에 디스플레이되어지지 않는가를 나타내는 정보이고, PIP_COLUMN_OFFSET은 전체 부화면 영상 중 부화면 영상의 최좌측 화소로부터 몇번째 화소까지 상기 주화면 상에 디스플레이되어지지 않는가를 나타내는 정보이다. 또한, PIP_DISP_HEIGHT은 전체 부화면 영상 중 실제 주화면 상에 디스플레이되어지는 부화면의 라인 수이고, PIP_DISP_WIDTH은 전체 부화면 영상 중 실제 주화면 상에 디스플레이되어지는 부화면의 라인당 픽셀수이다.
즉, 상기 PIP 동기 발생부(103)의 라인 카운터(201)에서는 주화면 데이터와 동기되어지는 주화면의 수직 동기 신호(MAIN_VSYNC)와 수평 동기 신호(MAIN_HSYNC)를 입력받아 유효 수직 동기 신호(MAIN_VSYNC)내의 수평 동기 신호(MAIN_HSYNC)의 수를 카운팅한다. 이 값(LINE COUNT)은 주화면의 라인 정보가 된다. 그리고, 제 1 계산부(202)는 외부 입력 장치에서 제공되는 PIP_POS_Y, PIP_HEIGHT 신호와 상기 라인 카운터(201)의 카운트 값(LINE COUNT)을 이용하여 주화면 데이터와 동기되어지는 PIP_VSYNC, 부화면의 디스플레이되지 않는 라인 정보(PIP_LINE_OFFSET), 실제 주화면 상에 디스플레이되는 라인 수(PIP_DISP_HEIGHT)를 생성한다.
또한, 픽셀 카운터(203)는 유효 수평 동기신호(MAIN_HSYNC) 내에서 클럭(CLK) 수를 카운팅하는데, 이 값(PIXEL COUNT)은 주화면의 컬럼 정보가 된다. 그리고, 제 2 계산부(204)는 외부 입력 장치에서 제공되는 PIP_POS_X, PIP_WIDTH 신호와 상기 픽셀 카운터(203)의 카운트 값(PIXEL COUNT)을 이용하여 주화면 데이터와 동기되어지는 PIP_HSYNC, PIP_COLUMN_OFFSET, PIP_DISP_WIDTH를 생성한다.
이때, PIP_HSYNC 신호는 활성화된 HSYNC 신호 위에서 움직이며, 부화면이 디스플레이되어지는 컬럼에서만 활성화되어진다. 그리고, PIP_VSYNC 신호는 활성화된 VSYNC 신호 위에서 움직이며, 부화면이 디스플레이되어지는 라인에서만 활성화되어진다. 이렇게 생성된 PIP_HSYNC, PIP_VSYNC 신호는 리드 타이밍 발생부(104)로 출력되어 서브 샘플링되어진 부화면을 부화면 프레임 메모리(105)에서 읽어내는데 사용된다. 즉, 상기 프레임 메모리(105)에서 리드된 부화면 데이타는 주화면 동기 분리부(102)를 통해 출력되는 주화면 데이타와 멀티플렉서(110)에서 다중화된 후 디스플레이를 위해 출력된다.
이때, 도 17은 상기 PIP_HSYNC, PIP_VSYNC 신호에 의해 프레임 메모리(105)에서 리드된 부화면이 주화면 상에 위치할 수 있는 경우들을 나타낸 예이다. 즉, 도 17의 (a)와 같이 서브 샘플링되어진 부화면의 모든 부분이 디스플레이되어질 때는 PIP_LINE_OFFSET, PIP_COLUMN_OFFSET 값은 0이 되고, PIP_DISP_HEIGHT, PIP_DISP_WIDTH는 각각 PIP_HEIGHT, PIP_WIDTH 값을 갖는다. 그리고, 도 17의 (b)와 같이 부화면이 주화면의 좌측으로 벗어나게 되면 PIP_COLUMN_OFFSET값이 설정되고, 도 17의 (d)와 같이 상단으로 벗어난 곳에 위치한다면 PIP_LINE_OFFSET값이 설정된다. 또한, 도 17의 (c),(e)와 같이 부화면의 주화면의 우측으로 벗어나거나 하단으로 벗어나게 되면 디스플레이되어지는 부화면은 첫 번째 컬럼, 첫 번째 라인부터이므로 PIP_LINE_OFFSET, PIP_COLUMN_OFFSET 값은 0을 가지게 되지만 모든 부분이 디스플레이되어지는 것이 아니기 때문에 디스플레이되는 만큼의 각각 PIP_DISP_WIDTH, PIP_DISP_HEIGHT 값을 갖는다.
그리고, 도 12는 MAIN_HSYNC, PIP_HSYNC, PIP_COLUMN_OFFSET, PIP_DISP_WIDTH 신호와의 관계를 보인 도면으로서, 상측은 MAIN_HSYNC 신호와 PIP_HSYNC 신호와의 관계를 보이고 있고, 하측은 이에 따른 주화면과 부화면의 관계를 보이고 있다.
즉, 도 12의 (d)와 같이 부화면이 주화면의 좌측으로 벗어난 경우(즉, PIP_POS_X 값이 음수인 경우)는 부화면 중 주화면과 겹쳐지는 부분만이 디스플레이되어진다. 이때, 디스플레이되어지지 않는 부화면의 컬럼수는 PIP_COLUMN_OFFSET 값이 되고, PIP_HSYNC 신호는 MAIN_HSYNC 신호 위에서 부화면이 디스플레이되어지는 부분에서만 활성화되어진다.
또한, 도 12의 (e)에서와 같이 부화면이 주화면의 우측으로 벗어난 경우 PIP_HSYNC 신호는 MAIN_HSYNC 신호 위에서 부화면이 디스플레이되어지는 부분에서만 활성화되어지고 이때, 부화면의 좌측에서부터 디스플레이되어지므로 PIP_COLUMN_OFFSET 값은 0이 된다.
그리고, 도 12의 (a) 내지 (c)에는 부화면이 주화면의 어느쪽도 벗어나지 않은 경우로서, 마찬가지로 PIP_HSYNC 신호는 MAIN_HSYNC 신호 위에서 부화면이 디스플레이되어지는 부분에서만 활성화되어진다. 이때 부화면은 주화면상에 위치하므로 PIP_COLUMN_OFFSET 값은 0이 된다.
한편, 도 13과 도 14는 PIP_VSYNC와 PIP_LINE_OFFSET의 관계를 보인 제 1, 제 2 실시예로서, 도 13, 14의 (b)와 같이 PIP_VSYNC 신호는 주화면과 겹쳐지는 부화면의 HSYNC 신호들이 있는 부분에서만 활성화되어진다. 또한, 도 14의 (d)와 같이 부화면이 주화면의 상단 바깥으로 위치하면(즉, PIP_POS_Y가 음수를 가지는 경우), 디스플레이되어지지 않는 부화면의 라인수는 PIP_LINE_OFFSET 정보가 된다.
이와 같이, 상기 제 1 계산부(202)는 외부 입력 장치로부터 PIP_POS_Y 값을 입력받아 PIP_POS_Y, PIP_LINE_OFFSET, PIP_DISP_HEIGHT 값을 결정하는데, 도 15는 그 실시예를 보인 흐름도이다.
즉, 도 15를 보면, 외부 입력 장치에서 입력된 PIP_POS_Y가 0보다 작은지를 비교하여(단계 401), 0보다 작다는 것은 부화면의 일부 또는 전체가 주화면의 상단 바깥에 위치하는 것을 의미한다. 따라서, PIP_POS_Y의 값이 0보다 작으면 다시 PIP_POS_Y의 값이 -PIP_HEIGHT의 값보다 작거나 같은지를 비교한다(단계 402). 만일 크다면 도 16a와 같이 부화면의 일부가 주화면의 상단 바깥에 위치하는 것으로서, 이때에는 PIP_LINE_OFFSET 값은 -PIP_POS_Y가 되고, PIP_DISP_HEIGHT 값은 PIP_HEIGHT + PIP_POS_Y가 된다(단계 403).
또한, 상기 단계 402에서 PIP_POS_Y의 값이 -PIP_HEIGHT의 값보다 작거나 같다면 도 16b와 같이 부화면의 전체가 주화면의 상단 바깥에 위치하여 주화면에 디스플레이되지 않는 경우로서, 이때는 하단으로 스크롤 인되도록 하기위해서 PIP_POS_Y 값은 MAIN_HEIGHT-1이 되게하고, PIP_LINE_OFFSET 값은 0, PIP_DISP_HEIGHT 값은 1이 되게 한다(단계 404).
그리고, 상기 단계 401에서 PIP_POS_Y의 값이 0보다 작지 않다면 PIP_POS_Y의 값이 MAIN_HEIGHT의 값보다 크거나 같은지를 비교한다(단계 405).
만일 크거나 같다면 도 16c와 같이 부화면의 전체가 주화면의 하단 바깥에 위치하는 경우로서, 이때는 상단으로 스크롤 인되도록 하기위해서 PIP_POS_Y 값은 -PIP_HEIGHT+1이 되게 하고, PIP_LINE_OFFSET 값은 PIP_HEIGHT-1, PIP_DISP_HEIGHT 값은 1이 되게 한다(단계 406).
상기 단계 405에서 PIP_POS_Y의 값이 MAIN_HEIGHT의 값보다 작다면 PIP_LINE_OFFSET 값을 0으로 하고(단계 407), (MAIN_HEIGHT - PIP_POS_Y)의 값이 PIP_HEIGHT의 값보다 크거나 같은지를 비교한다(단계 408). 만일, 크거나 같다면 도 16d와 같이 부화면의 전체가 주화면 내에 위치하는 경우로서, PIP_DISP_HEIGHT의 값은 PIP_HEIGHT의 값이 된다(단계 409).
또한, 상기 단계 408에서 작다면 도 16e와 같이 부화면의 일부가 주화면의 하단 바깥에 위치하는 경우로서, PIP_DISP_HEIGHT 값은 MAIN_HEIGHT - PIP_POS_Y의값이 된다(단계 410).
여기서, PIP_POS_X, PIP_COLUMN_OFFSET, PIP_DISP_WIDTH 값도 상기와 같은 방식으로 결정되어진다.
한편, 상기 서브 샘플링부(109)의 서브 샘플링 및 서브 샘플링된 데이터의 저장을 제어하는 라이트 타이밍 발생부(108)의 라인 카운터(301)는 부화면 동기 분리부(107)로부터 부화면 데이터에 동기되는 부화면 동기신호(SUB_HSYNC,SUB_VSYNC)를 입력받아 유효 SUB_VSYNC내의 HSYNC 수를 카운팅한다. 이 값은 부화면 입력 영상의 라인 정보가 된다. 또한, 픽셀 카운터(303)는 유효 SUB_HSYNC 내의 클럭(CLK) 수를 카운팅하는데, 이 값은 부화면 입력 영상의 컬럼 정보가 된다.
여기서, 부화면 입력 영상이 상기 서브 샘플링부(109)에서 가로,세로 각각 1/N,1/M로 서브 샘플링되어진다고 하자. 상기 N,M은 리모콘과 같은 외부 입력 장치에 의해서 그 값이 변하며, 서브 샘플링부(109)는 상기 N,M 값에 따라 서브 샘플링율을 조절한다. 즉, 사용자가 서브 샘플링비 예컨대, 부화면 압축율을 선택할 수 있다.
이때, 상기 라인 카운터(301)에서 카운트된 값을 모듈로(modulo) M 연산하여 나머지가 0이면 그 몫을 카운트하고 아니면 몫에 1을 더하여 카운트하면 이 값은 PIP_HEIGHT 값에 대응되어지고, 픽셀 카운터(303)에서 카운트된 값을 모듈로(modulo) N 연산하여 상기와 같은 방법으로 카운트하면 이 값은 PIP_WIDTH 값에 대응되어진다.
따라서, 제 1 비교부(302)는 상기와 같이 라인 카운터(301)에서 카운트된 값을 상기 PIP 동기 발생부(103)에서 제공되는 PIP_LINE_OFFSET 정보와 비교하여 크고, PIP_DISP_HEIGHT 정보와 비교하여 작을때만 라인 인에이블 신호(LINE_ENABLE)를 활성화시켜 서브 샘플링부(109)로 출력한다. 또한, 제 2 비교부(304)는 상기와 같이 픽셀 카운터(303)에서 카운트된 값을 상기 PIP 동기 발생부(103)에서 제공되는 PIP_COLUMN_OFFSET 정보와 비교하여 크고, PIP_DISP_WIDTH 정보와 비교하여 작을때만 픽셀 인에이블 신호(PIXEL_ENABLE)를 활성화시켜 서브 샘플링부(109)로 출력한다.
그러면, 상기 서브 샘플링부(109)에서는 상기 라이트 타이밍 발생부(108)에서 활성화된 정보(LINE_ENABLE,PIXEL_ENABLE)를 이용하여 부화면 튜너(106)에서 복호화되어 입력되는 부화면 중 실제 디스플레이되어지는 부분만을 서브 샘플링하여 부화면 프레임 메모리(105)에 저장한다. 이렇게 하면, 부화면의 일부분만이 디스플레이되어질때도 부화면 프레임 메모리(105)의 제어가 간단해진다.
즉, 서브 샘플링부(109)는 입력되는 부화면 중에서 실제로 디스플레이되어질 부화면의 부분만을 서브 샘플링하여 라인 단위로 부화면 프레임 메모리(105)에 저장하게 되면 항상 디스플레이되어지는 부화면의 시작이 부화면 프레임 메모리의 베이스부터 저장된다. 따라서, 부화면 프레임 메모리(105)는 부화면의 HSYNC를 기준으로 메모리의 어드레스를 증가시키기 때문에 부화면의 일부만을 디스플레이하더라도 메모리 인덱싱이 간편해진다.
이와 같은 동작은 서브 샘플링되어지는 컬럼수(PIP_DISP_WIDTH)와 라인수(PIP_DISP_HEIGHT)을 알면 되는데, 이 정보들은 PIP 동기 발생부(103)에서 구해지며, 라이트 타이밍 발생부(108)는 이 정보들을 이용하여 부화면 입력 영상으로부터 실제 디스플레이되어지는 영역 즉, 서브 샘플링해야 할 영역을 계산해낸다.
한편, 리드 타이밍 발생부(104)는 MAIN_VSYNC, MAIN_HSYNC, PIP_VSYNC, PIP_HSYNC 신호가 모두 활성화되었을 때 부화면 프레임 메모리(105)로부터 디스플레이되어질 부화면을 읽어낸다.
이때, 부화면의 일부분만이 디스플레이되어지는 경우일때도 이미 서브 샘플링부(109)에서 디스플레이되어질 부분부터 부화면 프레임 메모리(105)의 베이스 어드레스에 저장하였으므로 메모리의 어드레싱이 간편해진다.
도 17, 도 18은 디스플레이되어질 부화면의 부분과 이때의 부화면 프레임 메모리에의 데이터 매핑 관계를 나타낸 것으로, 디스플레이되어질 부분만이 부화면 프레임 메모리(105)에 저장되고 또한, 그 부분만이 부화면 프레임 메모리(105)로부터 리드됨을 알 수 있다.
즉, 상기 도 18의 (a) 내지 (e)와 같이 저장된 부화면 데이터가 리드되어 멀티플렉서(110)에서 상기 주화면 튜너(101)에서 복호화된 주화면 데이터와 다중화되면 도 17의 (a) 내지 (e)와 같이 화면 상에 디스플레이한다.
이상에서와 같이 본 발명에 따른 텔레비젼 수신기에서의 부화면 처리 장치에 의하면, 부화면의 위치를 자유롭게 조절함으로써, 부화면이 주화면의 한쪽끝에서 다른 끝으로 이동(좌<->우, 상<->하)이 가능해진다. 특히, 부화면의 절대 크기가 주 화면의 범위 바깥으로 위치하게 되면 주화면 상에 위치한 부화면의 일부분만을 디스플레이하며, 또한 주화면의 좌,우측 또는 상하단으로의 부화면 스크롤도 가능해진다.
그리고, 디스플레이되어지는 부화면의 부분만을 서브샘플링하여 부화면 프레임 메모리에 저장하도록 함으로써, 간단한 메모리 어드레싱만으로도 부화면의 일부분만을 디스플레이하는 것이 가능하다. 이때, 디스플레이되어지는 부화면의 시작이 항상 부화면 프레임 메모리의 베이스부터 저장되기 때문에 부화면 시작 어드레스를 계산할 필요가 없어지므로 메모리 인덱싱이 간편해진다.

Claims (17)

  1. 입력 신호로부터 주화면/부화면으로 디스플레이될 데이터를 각각 복원하고 복원된 각각의 주화면/부화면 데이터로부터 주화면에 동기되는 주화면 동기 신호와 부화면에 동기되는 부화면 동기 신호를 추출하는 텔레비젼 수신기에 있어서,
    외부 입력 장치로부터 입력되는 부화면 위치 정보와 상기 주화면 동기 신호를 이용하여 부화면 관련 정보를 생성하는 PIP 동기 발생부와,
    상기 PIP 동기 발생부에서 발생된 부화면 디스플레이용 동기 신호로부터 리드 신호를 생성하는 리드 타이밍 발생부와,
    상기 부화면 동기 신호와 PIP 동기 발생부의 출력을 이용하여 라이트 신호를 생성하는 라이트 타이밍 발생부와,
    상기 라이트 타이밍 발생부에서 출력되는 라이트 신호에 따라 입력되는 부화면 데이터중 실제로 디스플레이되어질 부분만을 선택하여 서브 샘플링을 수행하는 서브 샘플링부와,
    상기 서브 샘플링부에서 서브 샘플링된 부화면 데이터를 저장하고 상기 리드 타이밍 발생부의 리드 신호에 의해 저장된 부화면 데이터를 출력하는 부화면 프레임 메모리와,
    상기 복호화된 주화면 데이터와 부화면 프레임 메모리에서 리드되는 부화면 데이터를 다중화시켜 출력하는 다중화부를 포함하여 구성되는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
  2. 제 1 항에 있어서, 상기 PIP 동기 발생부는
    주화면 수직 동기 신호와 수평 동기 신호를 입력받아 유효 수직 동기 신호내의 수평 동기 신호의 수를 카운팅하여 주화면의 라인 정보를 출력하는 라인 카운터와,
    상기 외부 입력 장치로부터 부화면의 수직 시작점 좌표, 부화면의 수직측 길이 정보를 입력받고 상기 라인 카운터에서 주화면의 라인 정보를 입력받아 부화면의 수직측 관련 정보를 생성하는 제 1 계산부와,
    주화면의 유효 수평 동기신호 내에서 클럭 수를 카운팅하여 주화면의 칼럼 정보를 출력하는 픽셀 카운터와,
    상기 외부 입력 장치로부터 부화면의 수평 시작점 좌표, 부화면의 수평측 넓이 정보를 입력받고 상기 픽셀 카운터에서 주화면의 컬럼 정보를 입력받아 부화면의 수평측 관련 정보를 생성하는 제 2 계산부로 구성되는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
  3. 제 2 항에 있어서,
    상기 제 1 계산부에서 생성되는 부화면의 수직측 관련 정보는 주화면에서 부화면이 표시되어지는 라인들의 마스크 신호인 부화면 디스플레이용 수직 동기 신호(PIP_VSYNC)와 전체 부화면 영상 중 부화면 영상 상단으로부터 몇번째 라인까지 주화면 상에 디스플레이되어지지 않는가를 나타내는 신호(PIP_LINE_OFFSET) 그리고, 전체 부화면 영상 중 실제 주화면 상에 디스플레이되어지는 부화면의 라인 수(PIP_DISP_HEIGHT)를 포함하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
  4. 제 3 항에 있어서, 상기 부화면 디스플레이용 수직 동기 신호(PIP_VSYNC)는
    활성화된 주화면 수직 동기 신호 위에서 움직이며, 부화면이 디스플레이되어지는 라인에서만 활성화되는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
  5. 제 3 항에 있어서, 상기 제 1 계산부는
    상기 PIP_POS_Y가 음수이고 -PIP_HEIGHT의 값보다 크면 PIP_LINE_OFFSET 값은 -PIP_POS_Y가 되게 하고, PIP_DISP_HEIGHT 값은 PIP_HEIGHT + PIP_POS_Y가 되게 하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
    여기서, 상기 PIP_POS_Y는 부화면이 삽입되는 시작점의 수직측 좌표 값, PIP_HEIGHT는 부화면의 수직측 길이 정보, PIP_LINE_OFFSET은 서브 샘플링되어진 부화면 영상 상단으로부터 몇번째 라인까지 디스플레이되어지지 않는가를 나타내는 정보, PIP_DISP_HEIGHT은 서브 샘플링되어진 부화면의 디스플레이되어지는 라인 수임.
  6. 제 3 항에 있어서, 상기 제 1 계산부는
    상기 PIP_POS_Y가 음수이고 -PIP_HEIGHT의 값보다 작거나 같다면 PIP_POS_Y 값은 MAIN_HEIGHT-1이 되게하고, PIP_LINE_OFFSET 값은 0, PIP_DISP_HEIGHT 값은 1이 되게 하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
    여기서, PIP_POS_Y는 부화면이 삽입되는 시작점의 수직측 좌표 값, PIP_HEIGHT는 부화면의 수직측 길이 정보, MAIN_HEIGHT은 주화면의 수직측 길이 정보, PIP_LINE_OFFSET은 서브 샘플링되어진 부화면 영상 상단으로부터 몇번째 라인까지 디스플레이되어지지 않는가를 나타내는 정보, PIP_DISP_HEIGHT은 서브 샘플링되어진 부화면의 디스플레이되어지는 라인 수임.
  7. 제 3 항에 있어서, 상기 제 1 계산부는
    상기 PIP_POS_Y의 값이 양수이면서 MAIN_HEIGHT의 값보다 크거나 같으면 PIP_POS_Y 값은 -PIP_HEIGHT+1이 되게 하고, PIP_LINE_OFFSET 값은 PIP_HEIGHT-1, PIP_DISP_HEIGHT 값은 1이 되게하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
    여기서, PIP_POS_Y는 부화면이 삽입되는 시작점의 수직측 좌표 값, PIP_HEIGHT는 부화면의 수직측 길이 정보, MAIN_HEIGHT은 주화면의 수직측 길이 정보, PIP_LINE_OFFSET은 서브 샘플링되어진 부화면 영상 상단으로부터 몇번째 라인까지 디스플레이되어지지 않는가를 나타내는 정보, PIP_DISP_HEIGHT은 서브 샘플링되어진 부화면의 디스플레이되어지는 라인 수임.
  8. 제 3 항에 있어서, 상기 제 1 계산부는
    상기 PIP_POS_Y의 값이 양수이면서 MAIN_HEIGHT의 값보다 작다면 PIP_LINE_OFFSET 값이 0이 되게하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
    여기서, PIP_POS_Y는 부화면이 삽입되는 시작점의 수직측 좌표 값, MAIN_HEIGHT은 주화면의 수직측 길이 정보, PIP_LINE_OFFSET은 서브 샘플링되어진 부화면 영상 상단으로부터 몇번째 라인까지 디스플레이되어지지 않는가를 나타내는 정보임.
  9. 제 3 항에 있어서, 상기 제 1 계산부는
    상기 PIP_POS_Y의 값이 양수이면서 MAIN_HEIGHT의 값보다 작고, (MAIN_HEIGHT - PIP_POS_Y)의 값이 PIP_HEIGHT의 값보다 크거나 같으면 PIP_DISP_HEIGHT의 값은 PIP_HEIGHT의 값이 되게 하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
    여기서, PIP_POS_Y는 부화면이 삽입되는 시작점의 수직측 좌표 값, MAIN_HEIGHT은 주화면의 수직측 길이 정보, PIP_HEIGHT는 부화면의 수직측 길이 정보, PIP_DISP_HEIGHT은 서브 샘플링되어진 부화면의 디스플레이되어지는 라인 수임.
  10. 제 3 항에 있어서, 상기 제 1 계산부는
    상기 PIP_POS_Y의 값이 양수이면서 MAIN_HEIGHT의 값보다 작고, (MAIN_HEIGHT - PIP_POS_Y)의 값이 PIP_HEIGHT의 값보다 작으면 PIP_DISP_HEIGHT 값은 MAIN_HEIGHT - PIP_POS_Y의 값이 되게 하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
    여기서, PIP_POS_Y는 부화면이 삽입되는 시작점의 수직측 좌표 값, MAIN_HEIGHT은 주화면의 수직측 길이 정보, PIP_HEIGHT는 부화면의 수직측 길이 정보, PIP_DISP_HEIGHT은 서브 샘플링되어진 부화면의 디스플레이되어지는 라인 수임.
  11. 제 2 항에 있어서,
    상기 제 2 계산부에서 생성되는 부화면의 수평측 관련 정보는 주화면에서 부화면이 표시되어지는 칼럼들의 마스크 신호인 부화면 디스플레이용 수평 동기 신호(PIP_HSYNC), 전체 부화면 영상 중 부화면 영상의 최좌측 화소로부터 몇번째 화소까지 주화면 상에 디스플레이되어지지 않는가를 나타내는 신호(PIP_COLUMN_OFFSET) 그리고, 전체 부화면 영상 중 실제 주화면 상에 디스플레이되어지는 부화면의 라인당 픽셀수(PIP_DISP_WIDTH)를 포함하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
  12. 제 11 항에 있어서, 상기 부화면 디스플레이용 수평 동기 신호(PIP_HSYNC)는
    활성화된 주화면의 수평 동기 신호 위에서 움직이며, 부화면이 디스플레이되어지는 컬럼에서만 활성화되는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
  13. 제 11 항에 있어서, 상기 제 2 계산부는
    상기 PIP_POS_X의 값이 -PIP_WIDTH이면 -PIP_WIDTH의 값을 MAIN_WIDTH-1의 값으로 변환하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
    여기서, PIP_POS_X는 부화면이 삽입되는 시작점의 수평측 좌표 값, PIP_WIDTH는 부화면의 수평측 넓이 정보, MAIN_WIDTH는 주화면의 수평측 넓이 정보임.
  14. 제 11 항에 있어서, 상기 제 2 계산부는
    상기 PIP_POS_X의 값이 MAIN_WIDTH이면 MAIN_WIDTH의 값을 -PIP_WIDTH+1의 값으로 변환하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
    여기서, PIP_POS_X는 부화면이 삽입되는 시작점의 수평측 좌표 값, PIP_WIDTH는 부화면의 수평측 넓이 정보, MAIN_WIDTH는 주화면의 수평측 넓이 정보임.
  15. 제 1 항에 있어서, 상기 라이트 타이밍 발생부는
    부화면의 수직 동기 신호와 수평 동기 신호를 입력받아 유효 수직 동기 신호내의 수평 동기 신호의 수를 카운팅하여 부화면의 라인 정보를 출력하는 라인 카운터와,
    상기 라인 카운터에서 카운트된 값이 PIP_LINE_OFFSET 정보보다 크고, PIP_DISP_HEIGHT 정보보다 작을때만 라인 인에이블 신호를 활성화하여 상기 서브 샘플링부로 출력하는 제 1 비교부와,
    부화면의 유효 수평 동기신호 내에서 클럭 수를 카운팅하여 부화면의 칼럼 정보를 출력하는 픽셀 카운터와,
    상기 픽셀 카운터에서 카운트된 값이 PIP_COLUMN_OFFSET 정보보다 크고, PIP_DISP_WIDTH 정보보다 작을때만 픽셀 인에이블 신호를 활성화하여 상기 서브 샘플링부로 출력하는 제 2 비교부로 구성되며,
    상기 서브 샘플링부에서는 상기 활성화된 라인 인에이블 신호, 픽셀 인에이블 신호를 이용하여 복호화된 부화면 데이터 중 실제 디스플레이되어지는 부분만을 서브 샘플링하여 부화면 프레임 메모리에 저장하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
    여기서, PIP_LINE_OFFSET은 서브 샘플링되어진 부화면 영상 상단으로부터 몇번째 라인까지 디스플레이되어지지 않는가를 나타내는 정보, PIP_COLUMN_OFFSET은 서브 샘플링되어진 부화면 영상의 최좌측 화소로부터 몇번째 화소까지 디스플레이되어지지 않는가를 나타내는 정보, PIP_DISP_HEIGHT은 서브 샘플링되어진 부화면의 디스플레이되어지는 라인 수, PIP_DISP_WIDTH은 서브 샘플링되어진 부화면의 디스플레이되어지는 라인당 픽셀수임.
  16. 제 15 항에 있어서, 상기 라인 카운터는
    카운트된 값을 모듈로(modulo) M(M은 자연수) 연산하여 나머지가 0이면 그 몫을 카운트하고 아니면 몫에 1을 더하여 카운트하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
  17. 제 15 항에 있어서, 상기 픽셀 카운터는
    카운트된 값을 모듈로(modulo) N(N은 자연수) 연산하여 나머지가 0이면 그 몫을 카운트하고 아니면 몫에 1을 더하여 카운트하는 것을 특징으로 하는 텔레비젼 수신기의 부화면 처리 장치.
KR1019990004255A 1999-02-08 1999-02-08 텔레비젼 수신기에서의 부화면 처리 장치 KR100313901B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019990004255A KR100313901B1 (ko) 1999-02-08 1999-02-08 텔레비젼 수신기에서의 부화면 처리 장치
US09/499,632 US6556252B1 (en) 1999-02-08 2000-02-08 Device and method for processing sub-picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990004255A KR100313901B1 (ko) 1999-02-08 1999-02-08 텔레비젼 수신기에서의 부화면 처리 장치

Publications (2)

Publication Number Publication Date
KR20000055573A KR20000055573A (ko) 2000-09-05
KR100313901B1 true KR100313901B1 (ko) 2001-11-17

Family

ID=19573725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990004255A KR100313901B1 (ko) 1999-02-08 1999-02-08 텔레비젼 수신기에서의 부화면 처리 장치

Country Status (2)

Country Link
US (1) US6556252B1 (ko)
KR (1) KR100313901B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100928258B1 (ko) * 2003-03-17 2009-11-24 엘지전자 주식회사 영상 처리 시스템의 동기신호 생성방법

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19909756C1 (de) * 1999-03-05 2000-08-17 Siemens Ag Verfahren zur Bildeinblendung
EP1287687B1 (en) * 2000-05-22 2005-11-09 Sony Computer Entertainment Inc. Information processing apparatus, graphic processing unit, graphic processing method, storage medium, and computer program
JP2001333348A (ja) * 2000-05-24 2001-11-30 Minolta Co Ltd 送信装置、受信装置、放送システムおよび放送方法
FI109166B (fi) * 2000-09-13 2002-05-31 Nokia Corp Menetelmä ja järjestely ruudulla näytettävien toimintojen synkronoimiseksi analogiavastaanoton aikana
JP2002091409A (ja) * 2000-09-19 2002-03-27 Toshiba Corp 副映像処理機能付き再生装置
US7206029B2 (en) * 2000-12-15 2007-04-17 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on video content analysis
KR100374646B1 (ko) * 2001-03-10 2003-03-03 삼성전자주식회사 픽쳐 인 픽쳐 기능과 프레임 속도 변환을 동시에 수행하기위한 영상 처리 장치 및 방법
US6833874B2 (en) * 2001-03-27 2004-12-21 Sony Corporation Ticker tape picture-in-picture system
SG103289A1 (en) * 2001-05-25 2004-04-29 Meng Soon Cheo System for indexing textual and non-textual files
KR100457516B1 (ko) * 2002-02-09 2004-11-17 삼성전자주식회사 방송 신호 처리방법, 그 디스플레이 방법, 및 그 장치
US20030189669A1 (en) * 2002-04-05 2003-10-09 Bowser Todd S. Method for off-image data display
JP4062425B2 (ja) * 2002-07-04 2008-03-19 ソニー株式会社 情報処理装置および方法
EP1383317A1 (en) * 2002-07-17 2004-01-21 Thomson Licensing S.A. Video apparatus
KR100484158B1 (ko) * 2002-09-06 2005-04-19 삼성전자주식회사 영상신호 처리 시스템에 있어서 수직 다운 스케일링 장치및 방법
KR100487325B1 (ko) * 2002-09-17 2005-05-03 엘지전자 주식회사 영상표시기기의 화면잔상방지 장치 및 방법
MXPA05003234A (es) * 2002-09-26 2005-07-05 Koninkl Philips Electronics Nv Aparato para recibir una senal de informacion digital.
US20040163126A1 (en) * 2003-01-31 2004-08-19 Qwest Communications International Inc. Methods and apparatus for delivering a computer data stream to a video appliance with a network interface device
US8490129B2 (en) 2003-01-31 2013-07-16 Qwest Communications International Inc. Methods, systems and apparatus for selectively distributing urgent public information
US8713617B2 (en) * 2003-01-31 2014-04-29 Qwest Communications International Inc. Systems and methods for providing television signals using a network interface device
US7921443B2 (en) 2003-01-31 2011-04-05 Qwest Communications International, Inc. Systems and methods for providing video and data services to a customer premises
US7194249B2 (en) * 2003-01-31 2007-03-20 Qwest Communications International Inc. Methods, systems and apparatus for providing urgent public information
US10142023B2 (en) 2003-01-31 2018-11-27 Centurylink Intellectual Property Llc Antenna system and methods for wireless optical network termination
US20040150749A1 (en) * 2003-01-31 2004-08-05 Qwest Communications International Inc. Systems and methods for displaying data over video
US20040150750A1 (en) * 2003-01-31 2004-08-05 Qwest Communications International Inc. Systems and methods for monitoring visual information
US20040150748A1 (en) * 2003-01-31 2004-08-05 Qwest Communications International Inc. Systems and methods for providing and displaying picture-in-picture signals
KR20040071945A (ko) * 2003-02-07 2004-08-16 엘지전자 주식회사 부화면 조정이 가능한 영상표시기기 및 그 방법
KR100512611B1 (ko) * 2003-04-11 2005-09-05 엘지전자 주식회사 영상표시기기의 pip 처리장치 및 방법
KR100513050B1 (ko) * 2003-06-02 2005-09-06 엘지전자 주식회사 Tv 시스템의 다중 pop에서 슬롯 이동 방법 및 장치
US8112449B2 (en) * 2003-08-01 2012-02-07 Qwest Communications International Inc. Systems and methods for implementing a content object access point
JP4229816B2 (ja) * 2003-11-25 2009-02-25 シャープ株式会社 受信装置
CN100365699C (zh) * 2003-12-05 2008-01-30 乐金电子(南京)等离子有限公司 图像显示设备的画面残像防止装置及其方法
FR2869442A1 (fr) * 2004-04-23 2005-10-28 Canon Kk Procede et dispositif de decodage d'une image.
JP2005318142A (ja) * 2004-04-28 2005-11-10 Funai Electric Co Ltd テレビジョン受像装置
KR100631685B1 (ko) * 2004-06-15 2006-10-09 삼성전자주식회사 영상 처리 장치 및 방법
US7911536B2 (en) * 2004-09-23 2011-03-22 Intel Corporation Screen filled display of digital video content
US7505073B2 (en) * 2004-11-17 2009-03-17 Seiko Epson Corporation Apparatus and method for displaying a video on a portion of a display without requiring a display buffer
US20060109198A1 (en) * 2004-11-23 2006-05-25 Raymond Chow Method and apparatus for using picture-in-picture data as an independent display
KR100710299B1 (ko) * 2005-03-29 2007-04-23 엘지전자 주식회사 티브이의 다중화면 표시장치 및 방법
US20070008338A1 (en) * 2005-05-28 2007-01-11 Young-Chan Kim Display system, display apparatus, and method of controlling video source and display apparatus
KR20070014944A (ko) * 2005-07-29 2007-02-01 엘지전자 주식회사 데이터 재생방법 및 재생장치, 기록매체와 데이터 기록방법및 기록장치
KR20070014948A (ko) * 2005-07-29 2007-02-01 엘지전자 주식회사 기록매체, 데이터 재생방법 및 재생장치와 데이터 기록방법및 기록장치
KR20070014941A (ko) * 2005-07-29 2007-02-01 엘지전자 주식회사 기록매체, 데이터 재생방법 및 재생장치와 데이터 기록방법및 기록장치
KR20070014945A (ko) * 2005-07-29 2007-02-01 엘지전자 주식회사 기록매체, 데이터 재생방법 및 재생장치와 데이터 기록방법및 기록장치
JP5194343B2 (ja) * 2005-08-08 2013-05-08 株式会社日立製作所 情報再生装置及び情報再生方法
US20070041711A1 (en) * 2005-08-22 2007-02-22 Lg Electronics Apparatus for reproducing data, method thereof, apparatus for recording the same, method thereof and recording medium
BRPI0615068A2 (pt) * 2005-08-22 2016-09-13 Lg Electronics Inc método para gerenciar reprodução de pelo menos um caminho de apresentação picture-in-picture, aparelho de reprodução, meio de gravação, aparelho para gerenciar reprodução, método para gravar estrutura de dados
WO2007024078A1 (en) * 2005-08-22 2007-03-01 Lg Electronics Inc. Recording medium, method and apparatus for reproducing data, and method and apparatus for recording data
US20070041279A1 (en) * 2005-08-22 2007-02-22 Kim Kun S Method and apparatus for reproducing data, recording medium, and method and apparatus for recording data
KR20070022580A (ko) * 2005-08-22 2007-02-27 엘지전자 주식회사 데이터 재생방법 및 재생장치, 기록매체와 데이터 기록방법및 기록장치
KR20070052650A (ko) * 2005-11-17 2007-05-22 엘지전자 주식회사 기록매체 재생방법 및 재생장치, 기록매체와 기록매체기록방법 및 기록장치
US20080056679A1 (en) * 2006-04-03 2008-03-06 Kim Kun S Recording medium, method and apparatus for reproducing data, and method and apparatus for recording data
US20080056678A1 (en) * 2006-04-18 2008-03-06 Kim Kun S Apparatus for reproducing data, method thereof, apparatus for recording the same, method thereof and recording medium
JP2008011085A (ja) * 2006-06-28 2008-01-17 Toshiba Corp デジタルtvキャプチャユニット、情報処理装置、および信号伝送方法
US20080002034A1 (en) * 2006-06-29 2008-01-03 Chia-Lin Tsai Image output system
WO2008018479A1 (en) * 2006-08-08 2008-02-14 Sony Corporation Receiver apparatus, display control method and program
US8725504B1 (en) 2007-06-06 2014-05-13 Nvidia Corporation Inverse quantization in audio decoding
US8687875B2 (en) * 2007-12-03 2014-04-01 Nvidia Corporation Comparator based acceleration for media quantization
US8704834B2 (en) * 2007-12-03 2014-04-22 Nvidia Corporation Synchronization of video input data streams and video output data streams
US8934539B2 (en) * 2007-12-03 2015-01-13 Nvidia Corporation Vector processor acceleration for media quantization
US20100071004A1 (en) * 2008-09-18 2010-03-18 Eldon Technology Limited Methods and apparatus for providing multiple channel recall on a television receiver
US8763045B2 (en) 2008-09-30 2014-06-24 Echostar Technologies L.L.C. Systems and methods for providing customer service features via a graphical user interface in a television receiver
US8572651B2 (en) 2008-09-22 2013-10-29 EchoStar Technologies, L.L.C. Methods and apparatus for presenting supplemental information in an electronic programming guide
US8937687B2 (en) 2008-09-30 2015-01-20 Echostar Technologies L.L.C. Systems and methods for graphical control of symbol-based features in a television receiver
US8582957B2 (en) * 2008-09-22 2013-11-12 EchoStar Technologies, L.L.C. Methods and apparatus for visually displaying recording timer information
US8473979B2 (en) 2008-09-30 2013-06-25 Echostar Technologies L.L.C. Systems and methods for graphical adjustment of an electronic program guide
US9357262B2 (en) * 2008-09-30 2016-05-31 Echostar Technologies L.L.C. Systems and methods for graphical control of picture-in-picture windows
US8397262B2 (en) 2008-09-30 2013-03-12 Echostar Technologies L.L.C. Systems and methods for graphical control of user interface features in a television receiver
US20100083319A1 (en) * 2008-09-30 2010-04-01 Echostar Technologies Llc Methods and apparatus for locating content in an electronic programming guide
US8793735B2 (en) 2008-09-30 2014-07-29 EchoStar Technologies, L.L.C. Methods and apparatus for providing multiple channel recall on a television receiver
US9100614B2 (en) 2008-10-31 2015-08-04 Echostar Technologies L.L.C. Graphical interface navigation based on image element proximity
IT1399695B1 (it) * 2010-04-14 2013-04-26 Sisvel Technology Srl Metodo per visualizzare un flusso video secondo un formato personalizzato.
TWI437553B (zh) * 2011-05-11 2014-05-11 Realtek Semiconductor Corp 影像處理裝置及影像處理方法
CN102256128B (zh) * 2011-07-12 2013-07-24 浙江宇视科技有限公司 同步解码方法及其装置
JP5427911B2 (ja) * 2012-04-11 2014-02-26 Eizo株式会社 カーソル移動制御方法、コンピュータプログラム、カーソル移動制御装置及び画像表示システム
KR101249279B1 (ko) * 2012-07-03 2013-04-02 알서포트 주식회사 동영상 생성 방법 및 장치
JP5509284B2 (ja) * 2012-09-14 2014-06-04 株式会社東芝 マルチフォーマット出力装置、マルチフォーマット出力装置の制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506628A (en) * 1988-06-14 1996-04-09 Samsung Electronics Co., Ltd. Menu-type multi-channel system having a page up/down mode feature
KR0144260B1 (ko) * 1994-11-15 1998-07-15 구자홍 피아이피 기능의 에이치디티브이
US5729300A (en) * 1995-06-07 1998-03-17 Samsung Electronics Co., Ltd. Double-screen simultaneous viewing circuit of a wide-television
JP3508796B2 (ja) * 1995-09-18 2004-03-22 ソニー株式会社 テレビ受信機における選局及び表示方法
JPH09116821A (ja) * 1995-10-18 1997-05-02 Toshiba Corp テレビジョン受像機
US5754253A (en) * 1996-01-11 1998-05-19 Lg Electronics Inc. Apparatus for generating a plurality of quasi-moving PIP/POP screens
US6307597B1 (en) * 1996-03-07 2001-10-23 Thomson Licensing S.A. Apparatus for sampling and displaying an auxiliary image with a main image
JPH1023377A (ja) * 1996-07-05 1998-01-23 Toshiba Corp テレビジョン受信機を利用したテキストデータ処理装置
US5990975A (en) * 1996-11-22 1999-11-23 Acer Peripherals, Inc. Dual screen displaying device
US5978046A (en) * 1996-12-24 1999-11-02 Sony Corporation Television receiver with picture-in-picture function displays titles of reduced screen programs
US6384868B1 (en) * 1997-07-09 2002-05-07 Kabushiki Kaisha Toshiba Multi-screen display apparatus and video switching processing apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100928258B1 (ko) * 2003-03-17 2009-11-24 엘지전자 주식회사 영상 처리 시스템의 동기신호 생성방법

Also Published As

Publication number Publication date
KR20000055573A (ko) 2000-09-05
US6556252B1 (en) 2003-04-29

Similar Documents

Publication Publication Date Title
KR100313901B1 (ko) 텔레비젼 수신기에서의 부화면 처리 장치
KR100486086B1 (ko) 디스플레이가능한 텍스트 정보의 스크롤링 속도를 조절하는 장치 및 방법
KR970706687A (ko) 텔레비젼 수상기(television receiver)
EP1274232A2 (en) Video signal processing method and apparatus
JP2616840B2 (ja) ピクチャインピクチャシステムにおける挿入画面センタリング
US6141055A (en) Method and apparatus for reducing video data memory in converting VGA signals to TV signals
KR20050048529A (ko) 실시간 데이터 스트림 프로세서
KR100757735B1 (ko) 디스플레이 장치에서 메모리 최소화를 위한 수평 라인 활성시점 결정 방법 , 이를 이용하는 피아이피 수행방법 및이를 이용한 디스플레이 장치.
US5574507A (en) Circuit and method for compensating for position of main picture
JP3011224B2 (ja) ディスプレイ装置
JP3685668B2 (ja) マルチスクリーン用画面合成装置
KR20000022753A (ko) 표시제어장치
JP2936373B2 (ja) テレビジョン装置
KR0157450B1 (ko) 다중분할화면을 이용한 채널검색방법
KR20040093262A (ko) Pip모드를 이용한 화면확대기능을 갖는 영상표시기기및 그방법
JPH08154217A (ja) テレビジョン受信機
KR100295326B1 (ko) 디지탈광학기기의온스크린디스플레이(osd)처리장치
KR100244226B1 (ko) 에이치디티브이의 다중화면 발생장치
KR100646723B1 (ko) 영상 신호 처리 장치 및 영상 표시 장치
KR100462448B1 (ko) 가변크기의보조이미지를표시하는장치를갖는텔레비젼시스템
JP2005292414A (ja) 画像出画制御装置
KR20020078338A (ko) 디지털티브이의화면동기장치및방법
KR100213872B1 (ko) 정보 pip 화면의 표시위치 가변 장치
JP3318807B2 (ja) 画像表示制御装置
JPH06113225A (ja) 映像信号処理装置およびアドレス発生回路

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120926

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20140924

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20150924

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee