KR100854932B1 - 영상 변환 기능을 가지는 영상 합성 장치 - Google Patents

영상 변환 기능을 가지는 영상 합성 장치 Download PDF

Info

Publication number
KR100854932B1
KR100854932B1 KR1020070078477A KR20070078477A KR100854932B1 KR 100854932 B1 KR100854932 B1 KR 100854932B1 KR 1020070078477 A KR1020070078477 A KR 1020070078477A KR 20070078477 A KR20070078477 A KR 20070078477A KR 100854932 B1 KR100854932 B1 KR 100854932B1
Authority
KR
South Korea
Prior art keywords
image
data
image data
type
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020070078477A
Other languages
English (en)
Inventor
현주대
조태헌
Original Assignee
(주)씨앤에스 테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씨앤에스 테크놀로지 filed Critical (주)씨앤에스 테크놀로지
Priority to KR1020070078477A priority Critical patent/KR100854932B1/ko
Application granted granted Critical
Publication of KR100854932B1 publication Critical patent/KR100854932B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 변환 기능을 가지는 영상 합성 장치에 관한 것으로서, 본 발명에 따른 영상 합성 장치는 제1 영상 타입 변환부, 제2 영상 타입 변환부, 색상 판단부, 및 합성부를 포함한다. 제1 영상 타입 변환부는 제1 영상에 대응하는 제1 입력 영상 데이터의 영상 타입을 변환하거나, 또는 바이패스 하여, 제1 출력 영상 데이터를 출력한다. 제2 영상 타입 변환부는 제2 영상에 대응하는 제2 입력 영상 데이터의 영상 타입을 변환하거나, 또는 바이패스 하여, 제2 출력 영상 데이터를 출력한다. 색상 판단부는 상기 제1 입력 영상 데이터에 포함된 실제 투명도 데이터를 출력하거나, 또는 복수의 기준 투명도 데이터들 중 하나를 선택하여 출력한다. 합성부는 상기 실제 투명도 데이터 또는 상기 선택된 기준 투명도 데이터에 기초하여, 상기 제1 출력 영상 데이터의 투명도를 조절하고, 상기 제1 출력 영상 데이터와 상기 제2 출력 영상 데이터를 합성하여, 그 합성 영상 데이터를 외부 장치에 출력한다. 본 발명에 따른 영상 합성 장치는 두 개의 영상 데이터의 영상 타입이 서로 일치하도록 영상 변환한 후, 메모리 액세스 없이 두 개의 영상 데이터를 합성하므로, 메모리의 액세스 횟수 및 액세스 시간이 감소될 수 있다.
Figure R1020070078477
RGB, YUV, PIP

Description

영상 변환 기능을 가지는 영상 합성 장치{Image composition device with image conversion function}
본 발명은 영상 처리 장치에 관한 것으로서, 더욱 상세하게는, 영상 합성 장치에 관한 것이다.
최근, 사용자의 다양한 요구를 충족시키기 위해, 다양한 기능을 가지는 모바일(mobile) 제품들이 개발되고 있다. 특히, 휴대폰이나 PDA(personal digital assistant)와 같이, 디스플레이 장치를 포함하는 모바일 제품은 다양한 영상 출력 기능들을 포함한다. 이러한 영상 출력 기능들 중 대표적인 예로서, 두 개의 영상을 동시에 표시하는 PIP(picture-in-picture) 기능이 있다. 디스플레이 장치는 PIP 모드 시 전체 화면상에 메인(main) 화면의 영상을 표시하고, 이 메인 화면 내에 메인 화면보다 작은 크기의 서브(sub) 화면을 표시한다. 이때, 메인 화면의 영상 중 일부분이 서브 화면에 의해 가려져서 보이지 않게 된다. 따라서, 사용자는 디스플레이 장치의 PIP 모드 시, 서브 화면으로 인하여 메인 화면을 시청하는데 불편함을 느끼게 된다. 이러한 불편함을 최소화시키기 위해, 최근에는 서브 화면의 투명도를 조절할 수 있는 알파 블렌딩(alpha blending) 기능이, PIP 모드를 지원하는 디스플 레이 장치에 추가되고 있다. 알파 블렌딩 기능은, 서브 화면의 투명도를 조절하여, 서브 화면에 의해 가려진 메인 화면의 일부 영상이 투시되어 보이도록 하는 기능이다. 디스플레이 장치의 알파 블렌딩 기능에 의해, 사용자는 메인 화면의 전체 영상을 불편함 없이 시청하면서, 서브 화면에 표시된 영상을 확인할 수 있다. 한편, PIP 모드 시 디스플레이 장치가 메인 화면과 서브 화면을 동시에 표시하도록 하기 위해서는, 메인 화면의 영상 타입(type)과 서브 화면의 영상 타입이 서로 일치해야 한다. 일반적으로, MPEG(Moving Picture Experts Group), H.264, JPEG(Joint Photographic Experts Group) 등과 같은 코덱(codec)에 의해 코딩 또는 디코딩되는 영상은 YCbCr(또는 YUV) 타입으로 구성된다. 이에 비해, GUI(Graphical User Interface)로서 사용되는 영상들은 RGB 타입으로 구성된다. 예를 들어, 메인 화면의 소스 영상이 YUV 타입이고 서브 화면의 소스 영상이 RGB 타입인 경우나, 또는 그 반대인 경우, 디스플레이 장치에 두 소스 영상이 함께 표시되기 위해서는, 두 소스 영상의 타입이 서로 일치하도록, 두 소스 영상 중 어느 하나의 영상 타입이 변환되어야 한다. 또한, 디스플레이 장치의 PIP 모드 시, 알파 블렌딩 기능이 실행되기 위해서는, 서브 화면의 투명도를 조절하기 위한 알파 블렌딩 값이 적용되도록 두 소스 영상이 서로 합성되어야 한다.
도 1은 종래의 영상 변환기와 영상 합성기의 동작을 설명하기 위한 블록도 이다. 도 1을 참고하면, 영상 변환기(20)는 메모리(10)로부터 RGB 타입의 제1 영상 데이터(IMG_RGB1)를 판독(read)하여, YUV 타입으로 변환하고, 그 변환된 YUV 타입의 제1 영상 데이터(IMG_YUV1)를 메모리(10)에 기록(write)한다. 이 후, 영상 합성 기(30)가 메모리(10)로부터 YUV 타입의 제1 및 제2 영상 데이터(IMG_YUV1, IMG_YUV2)를 판독한다. 또, 영상 합성기(30)는 메모리(10)로부터 알파 블렌딩 데이터(즉, 투명도 데이터)(ALPHA_BLV)를 판독한다. 영상 합성기(30)는 제1 및 제2 영상 데이터(IMG_YUV1, IMG_YUV2)에 알파 블렌딩 데이터(ALPHA_BLV)를 적용하여 합성하고, 그 합성 영상 데이터(IMG_YUV3)를 메모리(10)에 기록한다. 여기에서, 메모리(10)에 저장되어 있는 알파 블렌딩 데이터(ALPHA_BLV)의 용량은 제1 영상 데이터(IMG_YUV1)의 용량에 대응한다. 그 이유는, 알파 블렌딩 데이터(ALPHA_BLV)의 값은 제1 영상 데이터(IMG_YUV1)에 의해 표현되는 각 영상 프레임(frame)의 색상에 따라 달라지지만, 영상 합성기(30)가 제1 영상 데이터(IMG_YUV1)에 의해 표현되는 각 영상 프레임(frame)의 색상을 판단할 수 없기 때문에, 비록 알파 블렌딩 데이터(ALPHA_BLV)의 값이 몇몇의 특정 영상 프레임들에 대해서 동일하더라도, 각 영상 프레임별로 알파 블렌딩 데이터(ALPHA_BLV)가 메모리(10)에 저장되기 때문이다. 상술한 것과 같이, 종래에는, 영상 변환기(20)와 영상 합성기(30)가 서로 분리되어 있기 때문에, 서로 다른 영상 타입을 갖는 두 개의 영상을 설정된 투명도를 적용하여 합성하는데에 꽤 오랜 시간이 걸린다. 즉, 메모리(10)의 액세스(access) 횟수 및 시간이 증가한다. 또한, 종래의 영상 합성 방식에서는, 투명도가 적용될 해당 영상 데이터에 대응하는 용량의 알파 블렌딩 데이터가 필요하므로, 비교적 큰 용량의 메모리가 필요하다. 하지만 PIP 기능 및 알파 블렌딩 기능이 모바일 제품에 적용될 경우, 모바일 제품의 특성상 메모리의 용량을 증가시키는 데에는 한계가 있다.
따라서, 본 발명이 이루고자 하는 기술적 과제는 두 개의 영상 데이터의 영상 타입이 서로 일치하도록 영상 변환하고, 두 개의 영상 데이터들 중 투명도를 적용할 해당 영상 데이터에 의해 표현되는 영상 프레임별 색상을 판단하고, 그 판단 결과에 따른 투명도를 적용하면서, 두 개의 영상 데이터를 합성함으로써, 메모리의 액세스 횟수 및 시간을 감소시키고, 메모리의 용량을 감소시킬 수 있는 영상 변환 기능을 가지는 영상 합성 장치를 제공하는 데 있다.
상기한 기술적 과제를 달성하기 위한 본 발명의 일면에 따른 영상 합성 장치는, 제1 영상 타입 변환부, 제2 영상 타입 변환부, 색상 판단부, 및 합성부를 포함한다. 제1 영상 타입 변환부는 제1 제어 신호에 응답하여, 제1 영상에 대응하는 제1 입력 영상 데이터의 영상 타입을 변환하거나, 또는 상기 제1 입력 영상 데이터를 바이패스(bypass) 하여, 제1 출력 영상 데이터를 출력한다. 제2 영상 타입 변환부는 제2 제어 신호에 응답하여, 제2 영상에 대응하는 제2 입력 영상 데이터의 영상 타입을 변환하거나, 또는 상기 제2 입력 영상 데이터를 바이패스 하여, 제2 출력 영상 데이터를 출력한다. 색상 판단부는 제3 제어 신호에 응답하여, 상기 제1 입력 영상 데이터에 포함된 실제 투명도 데이터를 출력하거나, 또는 상기 제1 출력 영상 데이터에 기초하여 상기 제1 영상의 각 영상 프레임별 색상을 판단하고, 그 판단 결과에 따라, 복수의 기준 투명도 데이터들 중 하나를 선택하여 출력한다. 합성부 는 상기 실제 투명도 데이터 또는 상기 선택된 기준 투명도 데이터에 기초하여, 상기 제1 출력 영상 데이터의 투명도를 조절하고, 상기 제1 출력 영상 데이터와 상기 제2 출력 영상 데이터를 합성하여, 그 합성 영상 데이터를 외부 장치에 출력한다. 상기 제1 출력 영상 데이터의 영상 타입과, 상기 제2 출력 영상 데이터의 영상 타입은 서로 일치한다. 상기 합성부는 상기 제1 및 제2 영상 타입 변환부가 동작함에 따라 연쇄적으로 동작한다.
상기한 기술적 과제를 달성하기 위한 본 발명의 다른 일면에 따른 영상 합성 장치는, 제1 영상 타입 변환부, 제2 영상 타입 변환부, 제1 영상 포맷 변환부, 제2 영상 포맷 변환부, 색상 판단부, 및 합성부를 포함한다. 제1 영상 타입 변환부는 제1 제어 신호에 응답하여, 제1 영상에 대응하는 제1 입력 영상 데이터의 영상 타입을 변환하거나, 또는 상기 제1 입력 영상 데이터를 바이패스 하여, 제1 출력 영상 데이터를 출력한다. 제2 영상 타입 변환부는 제2 제어 신호에 응답하여, 제2 영상에 대응하는 제2 입력 영상 데이터의 영상 타입을 변환하거나, 또는 상기 제2 입력 영상 데이터를 바이패스 하여, 제2 출력 영상 데이터를 출력한다. 제1 영상 포맷 변환부는 선택 신호에 응답하여, 복수의 영상 포맷들 중 하나를 기준 영상 포맷으로 설정하고, 제3 제어 신호에 응답하여, 상기 제1 출력 영상 데이터의 영상 포맷을 상기 기준 영상 포맷에 따라 변환하거나, 또는 상기 제1 출력 영상 데이터를 바이패스 하여, 제3 출력 영상 데이터를 출력한다. 제2 영상 포맷 변환부는 상기 선택 신호에 응답하여, 상기 복수의 영상 포맷들 중 하나를 상기 기준 영상 포맷으로 설정하고, 제4 제어 신호에 응답하여, 상기 제2 출력 영상 데이터의 영상 포맷 을 상기 기준 영상 포맷에 따라 변환하거나, 또는 상기 제2 출력 영상 데이터를 바이패스 하여, 제4 출력 영상 데이터를 출력한다. 색상 판단부는 제5 제어 신호에 응답하여, 상기 제1 입력 영상 데이터에 포함된 실제 투명도 데이터를 출력하거나, 또는 상기 제3 출력 영상 데이터에 기초하여 상기 제1 영상의 각 영상 프레임별 색상을 판단하고, 그 판단 결과에 따라 복수의 기준 투명도 데이터들 중 하나를 선택하여 출력한다. 합성부는 상기 실제 투명도 데이터 또는 상기 선택된 기준 투명도 데이터에 기초하여, 상기 제3 출력 영상 데이터의 투명도를 조절하고, 상기 제3 출력 영상 데이터와 상기 제4 출력 영상 데이터를 합성하여, 그 합성 영상 데이터를 외부 장치에 출력한다. 상기 제1 출력 영상 데이터의 영상 타입과, 상기 제2 출력 영상 데이터의 영상 타입은 서로 일치하고, 상기 제3 출력 영상 데이터의 영상 포맷과, 상기 제4 출력 영상 데이터의 영상 포맷은 서로 일치한다. 상기 합성부는 상기 제1 및 제2 영상 타입 변환부와 상기 제1 및 제2 영상 포맷 변환부가 동작함에 따라 연쇄적으로 동작한다.
상술한 것과 같이, 본 발명에 따른 영상 합성 장치는, 두 개의 영상 데이터의 영상 타입이 서로 일치하도록 영상 변환하고, 두 개의 영상 데이터들 중 투명도를 적용할 해당 영상 데이터에 의해 표현되는 영상 프레임별 색상을 판단하고, 그 판단 결과에 따른 투명도를 적용하면서, 두 개의 영상 데이터를 합성하므로, 메모리의 액세스 횟수 및 액세스 시간이 감소될 수 있고, 두 영상을 변환 및 합성하는데 걸리는 시간이 감소될 수 있다. 또한, 본 발명에 따른 영상 합성 장치는, 투명 도가 적용될 해당 영상 데이터의 용량에 상관없이 설정된 용량의 투명도 데이터만을 필요로 하므로, 메모리의 용량을 대폭 감소시킬 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
도 2는 본 발명의 일 실시예에 따른 영상 합성 장치의 블록 구성도이다. 도 2를 참고하면, 영상 합성 장치(100)는 제1 영상 타입 변환부(110), 제2 영상 타입 변환부(120), 색상 판단부(130), 및 합성부(140)를 포함한다. 제1 영상 타입 변환부(110)는 제어 신호(CTL1)에 응답하여, 제1 영상에 대응하는 입력 영상 데이터(INIMG1)의 영상 타입을 변환하거나, 또는 입력 영상 데이터(INIMG1)를 바이패스(bypass) 하여, 출력 영상 데이터(OIMG1)를 출력한다. 입력 영상 데이터(INIMG1)의 영상 타입은 RGB 타입과 YUV 타입 중 어느 하나를 포함한다. 여기에서, RGB 타입은 3가지 색상 성분들(RED, GREEN, BLUE)을 이용하여 영상을 표현한 것이다. YUV 타입은 사람의 눈이 색보다 밝기에 민감하다는 사실에 착안하여 개발된 것으로, 하나의 휘도(luminance) 성분과 두 개의 색차(chrominance) 성분을 이용하여, 영상을 표현한 것이다. 예를 들어, 입력 영상 데이터(INIMG1)가 RGB 타입인 경우, 입력 영상 데이터(INIMG1)는 색상 데이터들(R, G, B)을 포함한다. 여기에서, RGB 타입의 영상 데이터에 대한 영상 포맷은 도 3에 도시된 것과 같이, 예를 들어, RGB565 포맷, RGB565' 포맷, RGB666 포맷, 및 RGB888 포맷 등을 포함할 수 있다. RGB565 포맷은, 색상 데이터들(R, B) 각각에 5비트(bit)를 할당하고, 색상 데이터(G)에 6비트를 할당하는 것이다. 따라서, RGB565 포맷의 경우, 색상 데이터들(R, G, B)의 총 비트 수인 16비트가 1픽셀을 표현하는데 사용되며, 1워드(word)(즉, 32비트)의 색상 데이터들(R, G, B)에 의해 2픽셀이 표현된다. RGB565' 포맷은 색상 데이터들(R, B) 각각에 5비트를 할당하고, 색상 데이터(G)에 6비트를 할당하고, 투명도 데이터(RALP)에 8비트를 할당하는 것이다. 여기에서, 투명도 데이터(RALP)는 휘도 성분에 대한 데이터(A(L)) 4비트와 색상 성분에 대한 데이터(A(C)) 4비트를 포함한다. RGB565' 포맷의 경우, 도 3에 도시된 것과 같이, 8비트(즉, 비트들(B16∼B23))의 예비 공간이 존재한다. 이와 유사하게, RGB666 포맷은 색상 데이터들(R, G, B) 각각에 6비트를 할당하고, 투명도 데이터(RALP)에 8비트를 할당하는 것이다. RGB666 포맷의 경우, 6비트(즉, 비트들(B18∼B23))의 예비 공간이 존재한다. RGB888 포맷은 색상 데이터들(R, G, B) 각각에 8비트를 할당하고, 투명도 데이터(RALP)에 8비트를 할당하는 것이다. RGB888 포맷의 경우 예비 공간이 존재하지 않는다.
한편, 입력 영상 데이터(INIMG1)가 YUV 타입인 경우, 휘도 데이터(Y)와, 색차 데이터들(U, V)을 포함한다. 여기에서, YUV 타입의 영상 데이터에 대한 영상 포맷은 도 6a 내지 도 6d에 도시된 것과 같이, 예를 들어, YUV 4:4:4 포맷, YUV 4:1:1 포맷, YUV 4:2:2 포맷, 및 YUV 4:2:0 포맷을 포함할 수 있다. 이들 각 영상 포맷은 설정된 수의 픽셀을 표현하는데 사용되는 휘도 데이터(Y), 색차 데이터(U), 및 색차 데이터(V)의 비율에 따라 결정된다. YUV 4:4:4 포맷은 Y : U : V의 비율을 1:1:1로 표현한 것으로서, 도 6a에 도시된 것과 같이, 설정된 픽셀(도 6a의 경우 16픽셀)을 이루는 휘도 데이터(Y), 색차 데이터(U), 및 색차 데이터(V) 각각의 비트 수가 동일하다. YUV 4:1:1 포맷은 Y : U : V의 비율을 4:1:1로 표현한 것으로서, 도 6b에 도시된 것과 같이, 영상의 세로 방향에 대해서는 Y : U : V의 비율이 1:1:1이지만, 영상의 가로 방향에 대해서는 Y : U : V의 비율이 4:1:1이다. 즉, 색차 데이터(U)와 색차 데이터(V)의 비트 수가 휘도 데이터(Y)의 비트 수의 1/4로 축소된 것이다. YUV 4:2:2 포맷은 Y : U : V의 비율을 2:1:1로 표현한 것으로서, 도 6c에 도시된 것과 같이, 영상의 세로 방향에 대해서는 Y : U : V의 비율이 1:1:1이지만, 영상의 가로 방향에 대해서는 Y : U : V의 비율이 4:2:2이다. 즉, 색차 데이터(U)와 색차 데이터(V)의 비트 수가 휘도 데이터(Y)의 비트 수의 1/2로 축소된 것이다. YUV 4:2:0 포맷은 Y : U : V의 비율을 4:1:1로 표현한 것으로서, 도 6d에 도시된 것과 같이, 영상의 세로 및 가로 방향에 대해 각각 Y : U : V의 비율이 4:2:2이다. 즉, 색차 데이터(U)와 색차 데이터(V)의 비트 수가 휘도 데이터(Y)의 비트 수의 1/4로 축소된 것이다.
다시 도 2를 참고하여, 제1 영상 타입 변환부(110)의 구성 및 동작을 좀 더 상세히 설명하면 다음과 같다. 제1 영상 타입 변환부(110)는 비트 확장기(111), 타입 변환기(112), 및 선택기(113)를 포함한다. 비트 확장기(111)는 설정 신호(SET1)에 응답하여 비트 수를 설정한다. 이 후, 비트 확장기(111)는 상기 설정된 비트 수에 기초하여, 입력 영상 데이터(INIMG1)의 비트 수를 확장하여, 비트 확장 데이 터(INIMG1')를 출력한다. 입력 영상 데이터(INIMG1)가 RGB 타입인 경우, 색상 데이터들(R, G, B) 각각, 또는 일부의 비트 수를 상기 설정된 비트 수에 기초하여 증가시킨다. 예를 들어, 비트 확장기(111)에 설정된 비트 수가 RGB888 포맷에 대응하는 값이고, 입력 영상 데이터(INIMG1)가 RGB565 포맷으로 이루어진 경우, 비트 확장기(111)는 도 4a에 도시된 것과 같이 색상 데이터들(R, B) 각각에 하위 비트로서 3비트를 추가하고, 색상 데이터(G)에 하위 비트로서 2비트를 추가한다. 이때, 추가되는 각 하위 비트의 값은 '0'으로 설정될 수 있다. 또, 비트 확장기(111)에 설정된 비트 수가 RGB888 포맷에 대응하는 값이고, 입력 영상 데이터(INIMG1)가 RGB666 포맷으로 이루어진 경우, 비트 확장기(111)는 도 4b에 도시된 것과 같이 색상 데이터들(R, G, B) 각각에 하위 비트로서 2비트를 추가한다. 도면으로서 구체적으로 도시되지 않았지만, 비트 확장기(111)에 설정된 비트 수가 RGB666 포맷에 대응하는 값이고, 입력 영상 데이터(INIMG1)가 RGB565 포맷으로 이루어진 경우, 비트 확장기(111)는 색상 데이터들(R, B) 각각에 하위 비트로서 1비트를 추가한다. 결과적으로, 비트 확장기(111)에 의해, 입력 영상 데이터(INIMG1)를 구성하는 색상 데이터들(R, G, B) 각각의 비트 수가 동일하게 맞춰진다. 이처럼, 색상 데이터들(R, G, B) 각각의 비트 수를 동일하게 맞추는 이유는, 추후 설명될 타입 변환기(112)에 의해, RGB 타입의 비트 확장 데이터(INIMG1')를 YUV 타입으로 변환하기 위함이다.
타입 변환기(112)는 비트 확장 데이터(INIMG1')의 영상 타입을 변환하여, 타입 변환 데이터(INIMG1'')를 출력한다. 타입 변환기(112)는 RGB 타입의 영상 데이터를 YUV 타입의 영상 데이터로 변환하는 RGB/YUV 변환기로 구현될 수 있다. 이 경 우, 타입 변환기(112)는 RGB 타입의 비트 확장 데이터(INIMG1')를 YUV 타입으로 변환하여, 타입 변환 데이터(INIMG1'')를 출력한다. 여기에서, RGB 타입의 영상 데이터를 YUV 타입의 영상 데이터로 변환하기 위한 변환 식은 아래의 수식으로 표현될 수 있다.
Figure 112007056930262-pat00001
상기 [수학식 1]에서 알 수 있는 것과 같이, 휘도 데이터(Y)와 색차 데이터들(U, V) 각각의 비트 값이, 색상 데이터들(R, G, B)의 비트 값을 연산한 결과이므로, RGB 타입의 영상 데이터를 YUV 타입으로 변환하기 위해서는, 색상 데이터들(R, G, B) 각각의 비트 수가 동일하게 될 필요가 있다.
선택기(113)는 제어 신호(CTL1)에 응답하여, 타입 변환 데이터(INIMG'')와 입력 영상 데이터(INIMG1) 중 어느 하나를 선택하여, 출력 영상 데이터(OIMG1)로서 출력한다. 입력 영상 데이터(INIMG1)가 YUV 타입인 경우, 선택기(113)는 제어 신호(CTL1)에 응답하여, 입력 영상 데이터(INIMG1)를 그대로 출력 영상 데이터(OIMG1)로서 출력한다. 예를 들어, 선택기(113)는 멀티플렉서(multiplexer)로 구현될 수 있다.
제2 영상 타입 변환부(120)는 제어 신호(CTL2)에 응답하여, 제2 영상에 대응하는 입력 영상 데이터(INIMG2)의 영상 타입을 RGB 타입으로 변환하거나, 또는 입 력 영상 데이터(INIMG2)를 바이패스 하여, 출력 영상 데이터(OIMG2)를 출력한다. 여기에서, 출력 영상 데이터(OIMG2)의 영상 타입과 출력 영상 데이터(OIMG1)의 영상 타입은 서로 일치한다. 제2 영상 타입 변환부(120)는 비트 확장기(121), 타입 변환기(122), 및 선택기(123)를 포함한다. 비트 확장기(121), 타입 변환기(122), 및 선택기(123)의 구성 및 구체적은 동작 설명은, 상술한 비트 확장기(111), 타입 변환기(112), 및 선택기(113)의 구성 및 동작과 유사하므로 생략된다.
색상 판단부(130)는 제어 신호(CTL3)에 응답하여, 입력 영상 데이터(INIMG1)에 포함된 실제 투명도 데이터(RALP)를 출력하거나, 또는 출력 영상 데이터(OIMG1)에 기초하여 상기 제1 영상의 각 영상 프레임별 색상을 판단하고, 그 판단 결과에 따라, 복수의 기준 투명도 데이터들(ALP1∼ALPN)(N은 정수) 중 하나를 선택하여 출력한다. 색상 판단부(130)는 비교기(131)와 선택기들(132, 133)을 포함한다. 비교기(131)는 출력 영상 데이터(OIMG1)를 복수의 색상 데이터들(COL1∼COLN)(N은 정수)에 각각 비교하고, 그 비교 결과에 따라 선택 제어 신호(SCTL)를 출력한다. 여기에서, 복수의 색상 데이터들(COL1∼COLN)은 복수의 기준 투명도 데이터들(ALP1∼ALPN)에 각각 대응한다. 이처럼 영상 합성 장치(100)에서 복수의 기준 투명도 데이터들(ALP1∼ALPN)이 사용되는 이유는, 영상의 색상에 따라 적용되는 투명도 데이터의 값이 달라지기 때문이다. 비교기(131)는 복수의 색상 데이터들(COL1∼COLN) 중에서, 출력 영상 데이터(OIMG1)의 비트 값에 일치하는 비트 값을 갖는 어느 하나(COL1∼COLN 중 하나)를 확인하고, 선택 제어 신호(SCTL)를 출력하여, 선택기(132)가 해당 색상 데이터(COL1∼COLN 중 하나)에 대응하는 기준 투명도 데이터(ALP1∼ALPN 중 하나)를 출력하도록 제어한다. 예를 들어, 출력 영상 데이터(OIMG1)의 비트 값이 색상 데이터(COL1)의 비트 값에 일치할 때, 비교기(131)는 선택기(132)가 기준 투명도 데이터(ALP1)를 선택하여 출력하도록 선택 제어 신호(SCTL)를 출력한다. 선택기(132)는 선택 제어 신호(SCTL)에 응답하여 복수의 기준 투명도 데이터들(ALP1∼ALPN) 중 어느 하나를 선택하여 출력한다. 선택기(133)는 제어 신호(CTL3)에 응답하여, 선택기(132)에 의해 선택된 기준 투명도 데이터(ALP1∼ALPN 중 하나)와 실제 투명도 데이터(RALP) 중 어느 하나를 선택하여 출력한다. 여기에서, 제어 신호(CTL3)의 로직 값은 유저(user)에 의해 선택될 수 있다. 예를 들어, 입력 영상 데이터(INIMG1)가 실제 투명도 데이터(RALP)를 포함하지 않을 경우, 선택기(133)가 선택기(132)에 의해 선택된 기준 투명도 데이터(ALP1∼ALPN 중 하나)를 출력하도록 제어 신호(CTL3)의 로직 값이 설정될 수 있다. 이와 유사하게, 상술한 제어 신호들(CTL1, CTL2)의 로직 값 역시 유저에 의해 선택될 수 있다.
합성부(140)는 실제 투명도 데이터(RALP) 또는 선택된 기준 투명도 데이터(ALP1∼ALPN 중 하나)에 기초하여, 출력 영상 데이터(OIMG1)의 투명도를 조절한다. 이 후, 합성부(140)는 출력 영상 데이터들(OIMG1, OIMG2)을 합성하여, 그 합성 영상 데이터(CIMG)를 외부 장치(200)에 출력한다. 합성부(140)는 제1 및 제2 영상 타입 변환부(110, 120)가 동작함에 따라 연쇄적으로 동작한다. 즉, 제1 및 제2 영상 타입 변환부(110, 120)로부터 출력된 출력 영상 데이터들(OIMG1, OIMG2)이 메모리에 기록되지 않은 채 바로 합성부(140)에 의해 합성된다. 이로 인하여, 메모리의 액세스 횟수 및 액세스 시간이 대폭 감소될 수 있다.
한편, 외부 장치(200)는 메모리, 또는 디스플레이 장치, 또는 합성 영상 데이터(CIMG)를 필요로 하는 기타 다른 장치로 구현될 수 있다. 예를 들어, 외부 장치(200)가 메모리로 구현된 경우, 비트 확장기(111)는 메모리(200)로부터 입력 영상 데이터(INIMG1)를 판독하고, 비트 확장기(121)는 메모리(200)로부터 입력 영상 데이터(INIMG2)를 판독한다. 또, 합성부(140)는 메모리(200)에 합성 영상 데이터(CIMG)를 기록한다. 또, 외부 장치(200)가 디스플레이 장치로 구현된 경우, 영상 합성 장치(100)는 비트 확장기들(111, 121)에 각각 연결된 메모리(미도시)를 더 포함할 수 있다.
다음으로, 영상 합성 장치(100)의 동작 과정을 좀 더 상세히 설명한다. 설명의 편의상, 입력 영상 데이터(INIMG1)(즉, foreground image)가 RGB 타입이고, 입력 영상 데이터(INIMG2)(즉, background image)가 YUV 타입이고, 입력 영상 데이터(INIMG1)가 실제 투명도 데이터(RALP)를 포함하지 않는 RGB565 포맷으로 이루어진 경우를 예를 들어 설명하기로 한다. 먼저, 제1 영상 타입 변환부(110)의 비트 확장기(111)에는 설정 신호(SET1)에 의해 비트 수(예를 들어, RGB888 포맷에 대응하는 비트 수)가 미리 설정된다. 비트 확장기(111)는 입력 영상 데이터(INIMG1)가 RGB565 포맷이므로, 도 4a에 도시된 것과 같이, 입력 영상 데이터(INIMG1)의 색상 데이터들(R, B) 각각에 하위 비트로서 3비트를 추가하고, 색상 데이터(G)에 하위 비트로서 2비트를 추가하여, RGB888 포맷의 비트 확장 데이터(INIMG1')를 출력한다. 제1 영상 타입 변환부(110)의 타입 변환기(112)는 RGB 타입의 비트 확장 데이터(INIMG1')를 YUV 타입의 타입 변환 데이터(INIMG1'')로 변환한다. 이때, 타입 변환기(112)에 의해 변환된 타입 변환 데이터(INIMG1'')는 YUV 4:4:4 포맷으로 된다. 제1 영상 타입 변환부(110)의 선택기(113)는 제어 신호(CTL1)에 응답하여, 타입 변환 데이터(INIMG1'')를 출력 영상 데이터(OIMG1)로서 선택하여 출력한다. 한편, 입력 영상 데이터(INIMG2)가 YUV 타입이므로, 제2 영상 타입 변환부(120)의 비트 확장기(121) 및 타입 변환기(122)의 동작에 상관없이, 선택기(123)는 제어 신호(CTL2)에 응답하여, 입력 영상 데이터(INIMG2)를 출력 영상 데이터(OIMG2)로서 선택하여 출력한다.
색상 판단부(130)의 비교기(131)는 출력 영상 데이터(OIMG1)를 복수의 색상 데이터들(COL1∼COLN)(N은 정수)에 각각 비교하고, 그 비교 결과에 따라 선택 제어 신호(SCTL)를 출력한다. 선택기(132)는 선택 제어 신호(SCTL)에 응답하여 복수의 기준 투명도 데이터들(ALP1∼ALPN) 중 어느 하나(예를 들어, ALP1)를 선택하여 출력한다. 선택기(133)는 제어 신호(CTL3)에 응답하여, 기준 투명도 데이터(ALP1)를 선택하여 출력한다. 합성부(140)는 기준 투명도 데이터(ALP1)에 기초하여, 출력 영상 데이터(OIMG1)의 투명도를 조절한다. 이 후, 합성부(140)는 출력 영상 데이터들(OIMG1, OIMG2)을 합성하여, 합성 영상 데이터(CIMG)를 외부 장치(200)에 출력한다.
상술한 것과 같이, 영상 합성 장치(100)는 영상 변환 기능에 의해 두 개의 입력 영상 데이터들의 영상 타입을 일치시킨 후, 메모리 액세스 없이 바로 합성하므로, 메모리 액세스 횟수 및 액세스 시간을 감소시킬 수 있다. 또한, 영상 합성 장치(100)는 투명도를 적용할 해당 입력 영상 데이터의 용량에 상관없이 설정된 용량의 기준 투명도 데이터들(ALP1∼ALPN)만을 필요로 하므로, 메모리의 용량을 대폭 감소시킬 수 있다.
도 5는 본 발명의 다른 실시예에 따른 영상 합성 장치의 블록 구성도이다. 도 5를 참고하면, 영상 합성 장치(300)는 제1 영상 타입 변환부(310), 제2 영상 타입 변환부(320), 제1 영상 포맷 변환부(330), 제2 영상 포맷 변환부(340), 색상 판단부(350), 및 합성부(360)를 포함한다. 여기에서, 영상 합성 장치(300)의 구체적인 구성 및 동작은 도 2를 참고하여 상술한 영상 합성 장치(100)의 구성 및 동작과 유사하므로, 설명의 간략화를 위해, 본 실시예에서는 영상 합성 장치들(300, 100)간의 차이점을 중심으로 설명하기로 한다. 영상 합성 장치들(300, 100)간의 차이점은 영상 합성 장치(300)가 제1 및 제2 영상 타입 변환부(310, 320)와 합성부(360) 사이에 각각 연결된 제1 및 제2 영상 포맷 변환부(330, 340)를 더 포함하는 것이다. 제1 영상 포맷 변환부(330)는 선택 신호(SEL)에 응답하여, 복수의 영상 포맷들 중 하나를 기준 영상 포맷으로 설정한다. 여기에서, 복수의 영상 포맷들은 YUV 4:4:4 포맷, YUV 4:1:1 포맷, YUV 4:2:2 포맷, 및 YUV 4:2:0 포맷을 포함한다. 제1 영상 포맷 변환부(330)는 제어 신호(CTL13)에 응답하여, 제1 영상 타입 변환부(310)로부터 수신되는 출력 영상 데이터(OIMG1)의 영상 포맷을 상기 기준 영상 포맷에 따라 변환하거나, 또는 출력 영상 데이터(OIMG1)를 바이패스 하여, 출력 영상 데이터(OIMG3)를 출력한다. 제1 영상 포맷 변환부(330)는 포맷 변환기(331) 및 선택기(332)를 포함한다. 포맷 변환기(331)는 선택 신호(SEL)에 응답하여, 복수의 영상 포맷들 중 하나를 기준 영상 포맷으로 설정하고, 출력 영상 데이터(OIMG1)의 영상 포맷을 기준 영상 포맷에 따라 변환하여, 포맷 변환 데이터(OIMG1')를 출력한다. 예를 들어, 포맷 변환기(331)에 설정된 기준 영상 포맷이 YUV 4:2:0 포맷이고, 출력 영상 데이터(OIMG1)의 영상 포맷이 YUV 4:4:4 포맷일 경우, 포맷 변환기(331)는 출력 영상 데이터(OIMG1)의 영상 포맷을 YUV 4:2:0 포맷으로 변환한다. 여기에서, YUV 4:4:4 포맷의 출력 영상 데이터(OIMG1)의 용량보다 YUV 4:2:0 포맷의 출력 영상 데이터(OIMG1)의 용량이 훨씬 더 작다. 결국, YUV 4:2:0 포맷의 출력 영상 데이터(OIMG1)가 메모리에 저장될 경우, YUV 4:4:4 포맷의 출력 영상 데이터(OIMG1)에 비해 훨씬 더 작은 저장 공간을 필요로 한다. 선택기(332)는 제어 신호(CTL13)에 응답하여, 포맷 변환 데이터(OIMG1')와 출력 영상 데이터(OIMG1) 중 어느 하나를 선택하여, 출력 영상 데이터(OIMG3)로서 출력한다. 제2 영상 포맷 변환부(340)의 구체적인 구성 및 동작은 제1 영상 포맷 변환부(330)의 구성 및 동작과 유사하다. 여기에서, 제1 영상 포맷 변환부(330)로부터 출력되는 출력 영상 데이터(OIMG3)의 영상 포맷과, 제2 영상 포맷 변환부(340)로부터 출력되는 출력 영상 데이터(OIMG4)의 영상 포맷은 서로 일치한다. 합성부(360)는 제1 및 제2 영상 타입 변환부(310, 320)와, 제1 및 제2 영상 포맷 변환부(330, 340)가 동작함에 따라 연쇄적으로 동작한다.
상술한 것과 같이, 영상 합성 장치(300)는 영상 변환 기능에 의해 두 개의 입력 영상 데이터들의 영상 타입을 일치시킨 후, 메모리 액세스 없이 바로 합성하므로, 메모리 액세스 횟수 및 액세스 시간을 감소시킬 수 있다. 또한, 영상 합성 장치(100)는 투명도를 적용할 해당 입력 영상 데이터의 용량에 상관없이 설정된 용량의 기준 투명도 데이터들(ALP1∼ALPN)만을 필요로 하므로, 메모리의 용량을 대폭 감소시킬 수 있다. 또, 제1 및 제2 영상 포맷 변환부(330, 340)에 의해 출력 영상 데이터들(OIMG1, OIMG2)의 영상 포맷이 다양하게 변경될 수 있다.
상기한 실시 예들은 본 발명을 설명하기 위한 것으로서 본 발명이 이들 실시 예에 국한되는 것은 아니며, 본 발명의 범위 내에서 다양한 실시예가 가능하다. 또한 설명되지는 않았으나, 균등한 수단도 또한 본 발명에 그대로 결합되는 것이라 할 것이다. 따라서 본 발명의 진정한 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
도 1은 종래의 영상 변환기와 영상 합성기의 동작을 설명하기 위한 블록도 이다.
도 2는 본 발명의 일 실시예에 따른 영상 합성 장치의 블록 구성도이다.
도 3은 도 2에 도시된 제1 또는 제2 비트 확장기에 입력되는 RGB 타입의 입력 영상 데이터의 영상 포맷의 일례를 나타내는 도면이다.
도 4a 및 도 4b는 도 2에 도시된 제1 또는 제2 비트 확장기의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 영상 합성 장치의 블록 구성도이다.
도 6a 내지 도 6d는 도 5에 도시된 제1 또는 제2 포맷 변환기에 설정되는 YUV 타입의 영상 데이터에 대한 영상 포맷의 일례를 나타내는 도면이다.
〈도면의 주요 부분에 대한 부호의 설명〉
100, 300 : 영상 합성 장치 110, 310 : 제1 영상 타입 변환부
120, 320 : 제2 영상 타입 변환부 130, 350 : 색상 판단부
140, 360 : 합성부 200 : 외부 장치
330 : 제1 영상 포맷 변환부 340 : 제2 영상 포맷 변환부

Claims (15)

  1. 제1 제어 신호에 응답하여, 제1 영상에 대응하는 제1 입력 영상 데이터의 영상 타입을 변환하거나, 또는 상기 제1 입력 영상 데이터를 바이패스(bypass) 하여, 제1 출력 영상 데이터를 출력하는 제1 영상 타입 변환부;
    제2 제어 신호에 응답하여, 제2 영상에 대응하는 제2 입력 영상 데이터의 영상 타입을 변환하거나, 또는 상기 제2 입력 영상 데이터를 바이패스 하여, 제2 출력 영상 데이터를 출력하는 제2 영상 타입 변환부;
    제3 제어 신호에 응답하여, 상기 제1 입력 영상 데이터에 포함된 실제 투명도 데이터를 출력하거나, 또는 상기 제1 출력 영상 데이터에 기초하여 상기 제1 영상의 각 영상 프레임별 색상을 판단하고, 그 판단 결과에 따라, 복수의 기준 투명도 데이터들 중 하나를 선택하여 출력하는 색상 판단부; 및
    상기 실제 투명도 데이터 또는 상기 선택된 기준 투명도 데이터에 기초하여, 상기 제1 출력 영상 데이터의 투명도를 조절하고, 상기 제1 출력 영상 데이터와 상기 제2 출력 영상 데이터를 합성하여, 그 합성 영상 데이터를 외부 장치에 출력하는 합성부를 포함하고,
    상기 제1 출력 영상 데이터의 영상 타입과, 상기 제2 출력 영상 데이터의 영상 타입은 서로 일치하고,
    상기 합성부는 상기 제1 및 제2 영상 타입 변환부가 동작함에 따라 연쇄적으로 동작하는 영상 변환 기능을 가지는 영상 합성 장치.
  2. 제1항에 있어서,
    상기 외부 장치는 메모리를 포함하고,
    상기 제1 영상 타입 변환부는 상기 메모리로부터 상기 제1 입력 영상 데이터를 판독하고,
    상기 제2 영상 타입 변환부는 상기 메모리로부터 상기 제2 입력 영상 데이터를 판독하고,
    상기 합성부는 상기 합성 영상 데이터를 상기 메모리에 기록하는 영상 변환 기능을 가지는 영상 합성 장치.
  3. 제1항에 있어서,
    상기 제1 및 제2 영상 타입 변환부에 연결되는 메모리를 더 포함하고,
    상기 외부 장치는 디스플레이 장치를 포함하고,
    상기 제1 영상 타입 변환부는 상기 메모리로부터 상기 제1 입력 영상 데이터를 판독하고,
    상기 제2 영상 타입 변환부는 상기 메모리로부터 상기 제2 입력 영상 데이터를 판독하고,
    상기 합성부는 상기 합성 영상 데이터를 상기 디스플레이 장치에 출력하는 영상 변환 기능을 가지는 영상 합성 장치.
  4. 제1항에 있어서,
    상기 제1 및 제2 입력 영상 데이터 각각의 영상 타입은 RGB 타입과 YUV 타입 중 어느 하나를 포함하는 영상 변환 기능을 가지는 영상 합성 장치.
  5. 제4항에 있어서,
    상기 제1 입력 영상 데이터가 상기 RGB 타입일 때 제1 내지 제3 색상 데이터를 포함하고,
    상기 제1 영상 타입 변환부는,
    설정 신호에 응답하여 비트 수를 설정하고, 상기 설정된 비트 수에 기초하여, 상기 제1 내지 제3 색상 데이터들 각각, 또는 일부의 비트 수를 증가시켜, 비트 확장 데이터를 출력하는 비트 확장기;
    상기 비트 확장 데이터의 영상 타입을 상기 YUV 타입으로 변환하여, 타입 변환 데이터를 출력하는 타입 변환기; 및
    상기 제1 제어 신호에 응답하여, 상기 타입 변환 데이터와 상기 제1 입력 영상 데이터 중 어느 하나를 선택하여, 상기 제1 출력 영상 데이터로서 출력하는 선택기를 포함하는 영상 변환 기능을 가지는 영상 합성 장치.
  6. 제4항에 있어서,
    상기 제2 입력 영상 데이터가 상기 RGB 타입일 때 제1 내지 제3 색상 데이터를 포함하고,
    상기 제2 영상 타입 변환부는,
    설정 신호에 응답하여 비트 수를 설정하고, 상기 설정된 비트 수에 기초하여, 상기 제1 내지 제3 색상 데이터들 각각, 또는 일부의 비트 수를 증가시켜, 비트 확장 데이터를 출력하는 비트 확장기;
    상기 비트 확장 데이터의 영상 타입을 상기 YUV 타입으로 변환하여, 타입 변환 데이터를 출력하는 타입 변환기; 및
    상기 제2 제어 신호에 응답하여, 상기 타입 변환 데이터와 상기 제2 입력 영상 데이터 중 어느 하나를 선택하여, 상기 제2 출력 영상 데이터로서 출력하는 선택기를 포함하는 영상 변환 기능을 가지는 영상 합성 장치.
  7. 제1항에 있어서,
    상기 색상 판단부는,
    상기 제1 출력 영상 데이터를 복수의 색상 데이터들에 각각 비교하고, 그 비교 결과에 따라 선택 제어 신호를 출력하는 비교기;
    상기 선택 제어 신호에 응답하여, 상기 복수의 기준 투명도 데이터들 중 어느 하나를 선택하여 출력하는 제1 선택기; 및
    상기 제3 제어 신호에 응답하여, 상기 제1 선택기로부터 수신되는 상기 선택된 기준 투명도 데이터와, 상기 실제 투명도 데이터 중 어느 하나를 선택하여 출력하는 제2 선택기를 포함하고,
    상기 제1 입력 영상 데이터가 상기 실제 투명도 데이터를 포함하지 않을 때, 상기 제2 선택기가 상기 선택된 기준 투명도 데이터를 출력하는 영상 변환 기능을 가지는 영상 합성 장치.
  8. 제1 제어 신호에 응답하여, 제1 영상에 대응하는 제1 입력 영상 데이터의 영상 타입을 변환하거나, 또는 상기 제1 입력 영상 데이터를 바이패스 하여, 제1 출력 영상 데이터를 출력하는 제1 영상 타입 변환부;
    제2 제어 신호에 응답하여, 제2 영상에 대응하는 제2 입력 영상 데이터의 영상 타입을 변환하거나, 또는 상기 제2 입력 영상 데이터를 바이패스 하여, 제2 출력 영상 데이터를 출력하는 제2 영상 타입 변환부;
    선택 신호에 응답하여, 복수의 영상 포맷들 중 하나를 기준 영상 포맷으로 설정하고, 제3 제어 신호에 응답하여, 상기 제1 출력 영상 데이터의 영상 포맷을 상기 기준 영상 포맷에 따라 변환하거나, 또는 상기 제1 출력 영상 데이터를 바이패스 하여, 제3 출력 영상 데이터를 출력하는 제1 영상 포맷 변환부;
    상기 선택 신호에 응답하여, 상기 복수의 영상 포맷들 중 하나를 상기 기준 영상 포맷으로 설정하고, 제4 제어 신호에 응답하여, 상기 제2 출력 영상 데이터의 영상 포맷을 상기 기준 영상 포맷에 따라 변환하거나, 또는 상기 제2 출력 영상 데이터를 바이패스 하여, 제4 출력 영상 데이터를 출력하는 제2 영상 포맷 변환부;
    제5 제어 신호에 응답하여, 상기 제1 입력 영상 데이터에 포함된 실제 투명도 데이터를 출력하거나, 또는 상기 제3 출력 영상 데이터에 기초하여 상기 제1 영상의 각 영상 프레임별 색상을 판단하고, 그 판단 결과에 따라 복수의 기준 투명도 데이터들 중 하나를 선택하여 출력하는 색상 판단부; 및
    상기 실제 투명도 데이터 또는 상기 선택된 기준 투명도 데이터에 기초하여, 상기 제3 출력 영상 데이터의 투명도를 조절하고, 상기 제3 출력 영상 데이터와 상기 제4 출력 영상 데이터를 합성하여, 그 합성 영상 데이터를 외부 장치에 출력하는 합성부를 포함하고,
    상기 제1 출력 영상 데이터의 영상 타입과, 상기 제2 출력 영상 데이터의 영상 타입은 서로 일치하고, 상기 제3 출력 영상 데이터의 영상 포맷과, 상기 제4 출력 영상 데이터의 영상 포맷은 서로 일치하고,
    상기 합성부는 상기 제1 및 제2 영상 타입 변환부와 상기 제1 및 제2 영상 포맷 변환부가 동작함에 따라 연쇄적으로 동작하는 영상 변환 기능을 가지는 영상 합성 장치.
  9. 제8항에 있어서,
    상기 외부 장치는 메모리를 포함하고,
    상기 제1 영상 타입 변환부는 상기 메모리로부터 상기 제1 입력 영상 데이터를 판독하고,
    상기 제2 영상 타입 변환부는 상기 메모리로부터 상기 제2 입력 영상 데이터를 판독하고,
    상기 합성부는 상기 합성 영상 데이터를 상기 메모리에 기록하는 영상 변환 기능을 가지는 영상 합성 장치.
  10. 제8항에 있어서,
    상기 제1 및 제2 입력 영상 데이터 각각의 영상 타입은 RGB 타입과 YUV 타입 중 어느 하나를 포함하는 영상 변환 기능을 가지는 영상 합성 장치.
  11. 제10항에 있어서,
    상기 제1 입력 영상 데이터가 상기 RGB 타입일 때 제1 내지 제3 색상 데이터를 포함하고,
    상기 제1 영상 타입 변환부는,
    설정 신호에 응답하여 비트 수를 설정하고, 상기 설정된 비트 수에 기초하여, 상기 제1 내지 제3 색상 데이터들 각각, 또는 일부의 비트 수를 증가시켜, 비트 확장 데이터를 출력하는 비트 확장기;
    상기 비트 확장 데이터의 영상 타입을 상기 YUV 타입으로 변환하여, 타입 변환 데이터를 출력하는 타입 변환기; 및
    상기 제1 제어 신호에 응답하여, 상기 타입 변환 데이터와 상기 제1 입력 영상 데이터 중 어느 하나를 선택하여, 상기 제1 출력 영상 데이터로서 출력하는 선택기를 포함하는 영상 변환 기능을 가지는 영상 합성 장치.
  12. 제10항에 있어서,
    상기 제2 입력 영상 데이터가 상기 RGB 타입일 때 제1 내지 제3 색상 데이터 를 포함하고,
    상기 제2 영상 타입 변환부는,
    설정 신호에 응답하여 비트 수를 설정하고, 상기 설정된 비트 수에 기초하여, 상기 제1 내지 제3 색상 데이터들 각각, 또는 일부의 비트 수를 증가시켜, 비트 확장 데이터를 출력하는 비트 확장기;
    상기 비트 확장 데이터의 영상 타입을 상기 YUV 타입으로 변환하여, 타입 변환 데이터를 출력하는 타입 변환기; 및
    상기 제2 제어 신호에 응답하여, 상기 타입 변환 데이터와 상기 제2 입력 영상 데이터 중 어느 하나를 선택하여, 상기 제2 출력 영상 데이터로서 출력하는 선택기를 포함하는 영상 변환 기능을 가지는 영상 합성 장치.
  13. 제8항에 있어서, 상기 제1 영상 포맷 변환부는,
    상기 선택 신호에 응답하여, 상기 복수의 영상 포맷들 중 하나를 상기 기준 영상 포맷으로 설정하고, 상기 제1 출력 영상 데이터의 영상 포맷을 상기 기준 영상 포맷에 따라 변환하여, 포맷 변환 데이터를 출력하는 포맷 변환기; 및
    상기 제3 제어 신호에 응답하여, 상기 포맷 변환 데이터와 상기 제1 출력 영상 데이터 중 어느 하나를 선택하여, 상기 제3 출력 영상 데이터로서 출력하는 선택기를 포함하는 영상 변환 기능을 가지는 영상 합성 장치.
  14. 제8항에 있어서, 상기 제2 영상 포맷 변환부는,
    상기 선택 신호에 응답하여, 상기 복수의 영상 포맷들 중 하나를 상기 기준 영상 포맷으로 설정하고, 상기 제2 출력 영상 데이터의 영상 포맷을 상기 기준 영상 포맷에 따라 변환하여, 포맷 변환 데이터를 출력하는 포맷 변환기; 및
    상기 제4 제어 신호에 응답하여, 상기 포맷 변환 데이터와 상기 제2 출력 영상 데이터 중 어느 하나를 선택하여, 상기 제4 출력 영상 데이터로서 출력하는 선택기를 포함하는 영상 변환 기능을 가지는 영상 합성 장치.
  15. 제8항에 있어서, 상기 색상 판단부는,
    상기 제3 출력 영상 데이터를 복수의 색상 데이터들에 각각 비교하고, 그 비교 결과에 따라 선택 제어 신호를 출력하는 비교기;
    상기 선택 제어 신호에 응답하여, 상기 복수의 기준 투명도 데이터들 중 어느 하나를 선택하여 출력하는 제1 선택기; 및
    상기 제5 제어 신호에 응답하여, 상기 제1 선택기로부터 수신되는 상기 선택된 기준 투명도 데이터와, 상기 실제 투명도 데이터 중 어느 하나를 선택하여 출력하는 제2 선택기를 포함하고,
    상기 제1 입력 영상 데이터가 상기 실제 투명도 데이터를 포함하지 않을 때, 상기 제2 선택기가 상기 선택된 기준 투명도 데이터를 출력하는 영상 변환 기능을 가지는 영상 합성 장치.
KR1020070078477A 2007-08-06 2007-08-06 영상 변환 기능을 가지는 영상 합성 장치 Active KR100854932B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070078477A KR100854932B1 (ko) 2007-08-06 2007-08-06 영상 변환 기능을 가지는 영상 합성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070078477A KR100854932B1 (ko) 2007-08-06 2007-08-06 영상 변환 기능을 가지는 영상 합성 장치

Publications (1)

Publication Number Publication Date
KR100854932B1 true KR100854932B1 (ko) 2008-08-29

Family

ID=39878806

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070078477A Active KR100854932B1 (ko) 2007-08-06 2007-08-06 영상 변환 기능을 가지는 영상 합성 장치

Country Status (1)

Country Link
KR (1) KR100854932B1 (ko)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101041178B1 (ko) 2008-05-21 2011-06-13 삼성전자주식회사 전자기기에서 영상 녹화 방법 및 장치
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9521289B2 (en) 2011-06-10 2016-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9706139B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Low power and small form factor infrared imaging
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9723227B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9807319B2 (en) 2009-06-03 2017-10-31 Flir Systems, Inc. Wearable imaging devices, systems, and methods
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007707A (ko) * 2000-07-18 2002-01-29 구자홍 멀티 소스용 포맷 변환 장치
KR20020040303A (ko) * 2000-11-24 2002-05-30 구자홍 티브이의 부화면 처리장치
JP2005192199A (ja) 2003-11-19 2005-07-14 Genesis Microchip Inc リアルタイムデータストリームプロセッサ
KR20060103457A (ko) * 2003-12-22 2006-09-29 인텔 코오퍼레이션 다중 비디오 신호의 오버레이 제어

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007707A (ko) * 2000-07-18 2002-01-29 구자홍 멀티 소스용 포맷 변환 장치
KR20020040303A (ko) * 2000-11-24 2002-05-30 구자홍 티브이의 부화면 처리장치
JP2005192199A (ja) 2003-11-19 2005-07-14 Genesis Microchip Inc リアルタイムデータストリームプロセッサ
KR20060103457A (ko) * 2003-12-22 2006-09-29 인텔 코오퍼레이션 다중 비디오 신호의 오버레이 제어

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101041178B1 (ko) 2008-05-21 2011-06-13 삼성전자주식회사 전자기기에서 영상 녹화 방법 및 장치
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US10033944B2 (en) 2009-03-02 2018-07-24 Flir Systems, Inc. Time spaced infrared image enhancement
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9807319B2 (en) 2009-06-03 2017-10-31 Flir Systems, Inc. Wearable imaging devices, systems, and methods
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9723228B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Infrared camera system architectures
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9521289B2 (en) 2011-06-10 2016-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9538038B2 (en) 2011-06-10 2017-01-03 Flir Systems, Inc. Flexible memory systems and methods
US9723227B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9716844B2 (en) 2011-06-10 2017-07-25 Flir Systems, Inc. Low power and small form factor infrared imaging
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9706139B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Low power and small form factor infrared imaging
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10230910B2 (en) 2011-06-10 2019-03-12 Flir Systems, Inc. Infrared camera system architectures
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US10250822B2 (en) 2011-06-10 2019-04-02 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor

Similar Documents

Publication Publication Date Title
KR100854932B1 (ko) 영상 변환 기능을 가지는 영상 합성 장치
US7787023B2 (en) Video signal processing apparatus
US7057621B2 (en) Screen display apparatus and a method for utilizing the screen display apparatus in a mobile terminal
US20030234795A1 (en) Apparatus and method for converting of pixels from YUV format to RGB format using color look-up tables
JP2004522365A (ja) 多チャンネル入力の高画質多重画面分割装置及び方法
JPWO2016157839A1 (ja) 信号処理装置、録画再生装置、信号処理方法、およびプログラム
US7554608B2 (en) Video composition circuit for performing vertical filtering to α-blended video data and successively input video data
US7280158B2 (en) Video synthesizing apparatus
US8184127B2 (en) Apparatus for and method of generating graphic data, and information recording medium
US11234042B2 (en) Display device, control method therefor and recording medium
US20120314136A1 (en) Image display device and on-screen display method
US7800629B2 (en) Image processing apparatus and method for preventing degradation of image quality when bit format of image is converted
US7554563B2 (en) Video display control apparatus and video display control method
JP5023355B2 (ja) 液晶表示装置、液晶表示方法及びプログラム
JP6739257B2 (ja) 画像処理装置とその制御方法及びプログラム
US7400333B1 (en) Video display system with two controllers each able to scale and blend RGB and YUV surfaces
US7389004B2 (en) Image processing apparatus
KR101046111B1 (ko) 이미지 캡쳐 방법
US7663646B2 (en) Device, system and method for realizing on screen display
US20120075323A1 (en) Method and apparatus for generating and processing graphic data
JP4529633B2 (ja) ビデオ合成装置及び方法
KR20240123645A (ko) 외부 장치에 표시하기 위한 비디오를 처리하는 전자 장치, 그 제어 방법, 및 그 기록 매체
JP2002320086A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JPH08179729A (ja) 液晶プロジェクター
KR20060091977A (ko) Ｏｓｄ 블랜딩 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070806

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20080326

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20080530

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20080822

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20080822

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20110712

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20120710

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20120710

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20130722

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20130722

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20140730

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20150803

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20150803

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20160801

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20170801

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20170801

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20180801

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20190801

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20190801

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20220701

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20230802

Start annual number: 16

End annual number: 16

PR1001 Payment of annual fee

Payment date: 20240801

Start annual number: 17

End annual number: 17