KR19980029048A - Structure of Integrated Multimedia Data Processor and Its Driving Method - Google Patents
Structure of Integrated Multimedia Data Processor and Its Driving Method Download PDFInfo
- Publication number
- KR19980029048A KR19980029048A KR1019960048287A KR19960048287A KR19980029048A KR 19980029048 A KR19980029048 A KR 19980029048A KR 1019960048287 A KR1019960048287 A KR 1019960048287A KR 19960048287 A KR19960048287 A KR 19960048287A KR 19980029048 A KR19980029048 A KR 19980029048A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- video
- audio
- processor
- signal
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
종래의 멀티미디어 데이터 처리 하드웨어는 오디오, 비디오, 그래픽스가 독립적으로 구성되어 미디어 데이터가 개별적으로 처리되어 빈번한 데이터 전달로 인해 시스템 버스의 사용 빈도의 증가로 시스템 성능에 부담을 가중시킨다. 이러한 문제점을 해결하기 위한 본 발명은 오디오, 비디오 기능을 통합한 멀티미디어 데이터 처리기의 구조를 제안하고, 오디오, 비디오 데이터의 효율적인 전달을 위한 로컬버스를 지원하며, 비디오, 오디오 데이타와 호스트 메모리 간의 고속 데이터 이동을 위한 DMA 및 로컬 버스의 버스 마스터 기능을 도입함으로써 고품질의 3자간 영상 회의에 아주 적절하고 다자간 영상 회의도 가능하며, 다자간 컴퓨터 공동 작업 응용 등에 활용할 수 있는 통합 멀티미디어 데이터 처리기의 구조 및 그 구동 방법이 개시된다.In the conventional multimedia data processing hardware, audio, video, and graphics are independently configured, media data is processed separately, thereby increasing system frequency by increasing frequency of use of the system bus due to frequent data transfer. To solve this problem, the present invention proposes a structure of a multimedia data processor incorporating audio and video functions, supports a local bus for efficient transmission of audio and video data, and provides high-speed data between video and audio data and a host memory. By adopting the DMA for mobile and the bus master function of the local bus, it is very suitable for high quality three-way video conferencing, and it is possible for multi-way video conferencing. This is disclosed.
Description
본 발명은 멀티미디어 시스템에 관한 것으로, 특히 영상회의를 지원하는 통합 멀티미디어 데이터 처리기의 구조 및 그 구동 방법에 관한 것이다.The present invention relates to a multimedia system, and more particularly, to a structure of an integrated multimedia data processor supporting video conferencing and a driving method thereof.
종래의 멀티미디어 데이터 처리 하드웨어는 오디오, 비디오, 그래픽스가 각각 독립적으로 분리 구성되어 있어 미디어 데이터가 개별적으로 처리되거나, 영상회의와 같은 응용분야에서는 여러종류의 미디어 처리 보드를 사용함으로 보드간의 빈번한 데이타 전달로 인하여 시스템 버스의 사용빈도가 증대해져서 시스템 성능에 부담을 가중시킨다. 그리고, 비디오의 경우 압축/복원중 일부의 기능만 제공되거나 복원 처리기가 하나로 제한되어 있어 쌍방간의 영상 통신 밖에는 기대할 수가 없었다. 또한, 오디오 입출력의 경우 한순간 단방향 처리만 가능하여 동시에 듣고 말하는 양방향이 허용되지 않아 응용에 제한을 가지고 있었으며, 저속의 시스템 버스로 인한 미디어 데이터 처리의 병목현상 때문에 초당 처리하는 비디오 프레임율이나 비디오 오버레이 화면 크기 등에 질적 저하가 있다. 따라서 영상회의 같이 대용량 미디어 데이터가 멀티미디어 플랫폼 간에 이동하며 기능을 수행해야 하는 경우 제한적인 요구밖에 충족할 수 없었다.In the conventional multimedia data processing hardware, audio, video, and graphics are separated and configured independently, media data is processed separately, or various types of media processing boards are used in applications such as video conferencing, thereby frequently transferring data between boards. This increases the frequency of use of the system bus, adding to the burden on system performance. In addition, in the case of video, only a part of the compression / restoration function is provided or the restoration processor is limited to one, so only video communication between the two could be expected. In addition, audio I / O is limited to applications because only one-way processing is possible at one time, and bi-directional listening and talking are not allowed, and the video frame rate or video overlay screen processed per second due to the bottleneck of media data processing due to the low speed system bus There is a deterioration in size and the like. As a result, large-scale media data, such as video conferencing, could only meet limited needs when moving between multimedia platforms to perform functions.
상기한 바와 같이 종래에는 오디오, 비디오가 개별적으로 구성되어 있으며, 비디오의 경우 복원 기능이 하나의 모듈로만 되어 있어 쌍방간의 영상회의를 지원할 수 밖에 없었으며, 오디오의 경우는 양방향이 지원되지 않아서 고품질의 멀티미디어 응용을 지원하기에는 많은 제약이 있었다.As described above, in the prior art, audio and video are separately configured, and in the case of video, the restoration function is only one module to support video conferencing between two parties, and in the case of audio, bidirectional is not supported, so There are many limitations to supporting multimedia applications.
따라서, 본 발명에서는 멀티미디어 응용에서 많이 활용되는 표준방식의 미디어 처리 규격을 수용하여 미디어 처리 하드웨어 자원의 활용도와 확장성을 극대화하고, 오디오·비디오 등의 기능을 개별적으로 구성함으로 발생되는 시스템 버스의 병목현상을 줄여 시스템 성능을 높이며, 효율적인 데이터 전달과 시스템 버스의 접속을 위해 로컬버스와 직접 메모리 접근(Direct Memory Access : 이하 DMA라 함)개념을 도입하여 3자 이상의 컴퓨터 영상회의를 지원하는 통합 멀티미디어 데이터 처리기의 구조 및 그 구동 방법을 제공하는데 목적이 있다.Therefore, in the present invention, the system bus bottleneck generated by accommodating the media processing standard of the standard method widely used in multimedia applications, maximizing the utilization and expandability of media processing hardware resources, and individually configuring functions such as audio and video Integrated multimedia data that supports 3 or more computer video conferencing by adopting the concept of local memory and direct memory access (DMA) for efficient data transfer and system bus access by reducing the phenomenon. It is an object to provide a structure of a processor and a driving method thereof.
상술한 목적을 달성하기 위한 본 발명에 따른 통합 멀티 미디어 데이터 처리기의 구조는 정지 영상이나 동영상의 아날로그 비디오 신호를 입력하여 실시간으로 압축/복원하고 그 결과를 출력 장치로 내보내거나 다른 응용을 위해 호스트 메모리로 전송하는 비디오단과, 미디어 형태에 따라 음성의 압축/복원, 녹음/재생 기능을 지원하는 오디오단과, 여러 기능 블러간의 효율적 데이타 이동을 담당하는 로컬버스 제어기와, 호스트 메모리에 고속의 데이타 전송을 지원하는 DMA 제어기와, 버스 마스터/슬레이브 기능을 수행하는 PCI 버스 인터페이스단으로 이루어진 것을 특징으로 한다.The structure of the integrated multimedia data processor according to the present invention for achieving the above object is to input / receive analog video signals of still or moving images in real time to compress / restore and export the result to an output device or host memory for other applications. It supports high speed data transfer to host memory, video stage to transmit to the network, audio stage to support voice compression / restoration and recording / playback function according to media type, local bus controller which is responsible for efficient data movement between various function blurs And a PCI bus interface stage performing a bus master / slave function.
또한 상술한 목적을 달성하기 위한 본 발명에 따른 통합 멀티미디어 데이터 처리기의 구동 방법은 아날로그 비디오 신호를 입력한 비디오단에서 디지탈 신호로 변환한 후 다시 아날로그 신호로 변환하고 그래픽스 데이터와 믹싱하여 모니터에 출력하는 단계와, 상기 아날로그 신호를 입력한 비디오단에서 디지탈 신호로 변환한 후 압축하여 호스트 메모리에 저장하는 단계와, 상기 호스트 메모리에 저장된 압축 비디오 데이터를 복원한 후 디지탈 신호로 변환하고 그래픽스 데이터와 믹싱하여 모니터에 출력하는 단계와, 상기 호스트 메모리의 MPEG 압축 데이터를 복원하고 아날로그 변환 및 증폭 과정을 거쳐 스피커로 출력하는 단계와, 아날로그 음성 신호를 입력한 오디오단에서 디지탈 오디오 데이터를 압축한 후 호스트 메모리에 저장하는 단계와, 상기 호스트 메모리에 저장된 압축 오디오 데이터를 수신한 오디오단에서 상기 압축 데이터를 복원한 후 아날로그 신호로 변환하고 증폭하여 스피커로 출력하는 단계와, 상기 아날로그 음성 신호를 입력한 오디오 코덱에서 디지탈 사운드 데이터를 생성하여 호스트 메모리에 저장하는 단계와, 상기 상기 호스트 메모리에 저장된 디지탈 사운드 데이터를 수신한 오디오 코덱에서 아날로그 신호로 변환하고 증폭하여 스피커로 출력하는 단계로 이루어진 것을 특징으로 한다.In addition, a method of driving an integrated multimedia data processor according to the present invention for achieving the above object is to convert an analog video signal into a digital signal at the input video stage, and then to convert again to an analog signal, mixed with graphics data and output to the monitor And converting the analog signal into a digital signal at the input video stage, compressing the analog signal, and storing the compressed signal in a host memory, restoring the compressed video data stored in the host memory, converting the digital signal into a digital signal, and mixing with graphics data. Outputting to the monitor through the output to the monitor, restoring the MPEG compressed data of the host memory and performing analog conversion and amplification, and compressing the digital audio data at the audio stage where the analog audio signal is input to the host memory. Storing, Restoring the compressed data at an audio stage receiving the compressed audio data stored in the host memory, converting the amplified data into an analog signal, amplifying and outputting the compressed audio data to a speaker, and generating digital sound data from the audio codec inputted with the analog voice signal. And converting the digital sound data stored in the host memory into an analog signal in the received audio codec, amplifying the analog signal, and outputting the analog sound signal to the speaker.
도1은 본 발명에 따른 통합 멀티미디어 데이터 처리기의 구조도.1 is a structural diagram of an integrated multimedia data processor according to the present invention;
도2A 내지 도2C는 본 발명에 따른 비디오 데이터의 압축/복원 과정을 도시한 동작 흐름도.2A to 2C are operational flowcharts illustrating a compression / restore process of video data according to the present invention.
도3은 본 발명에 따른 MPEG 오디오 복원 과정을 도시한 동작 흐름도.3 is an operation flowchart illustrating an MPEG audio decompression process according to the present invention.
도4A 및 도4B는 본 발명에 따른 표준 음성 압축/복원 알고리즘을 사용한 오디오 데이터의 처리 흐름도.4A and 4B are flowcharts of processing audio data using a standard speech compression / reconstruction algorithm according to the present invention.
도5A 및 도5B는 본 발명에 따른 오디오 코덱부의 녹음/재생 과정을 도시한 동작 흐름도.5A and 5B are flowcharts illustrating the recording / playback process of the audio codec unit according to the present invention;
* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on main parts of drawing
1 : 비디오단, 2 : 오디오단, 3 : 로컬 버스 제어기, 4 : DMA 제어기, 5 : PCI 버스 인터페이스단, 6 : PCI 버스, 7 : 호스트 메모리, 8 : 비디오 신호 입력부, 9 : 비디오 프로세서, 10 : 프레임 버퍼, 11 : 비디오 신호 출력부, 12 : 피쳐 코넥터, 13 : 비디오 압축/복원 프로세서, 14 : 비디오/오디오 복원 프로세서, 15 : 제 1 SRAM, 16 : 부팅 롬, 17 : 제 1 DRAM, 18 : 제 2 SRAM, 19 : 부팅 롬, 20 : 제 2 DRAM, 21 : 오디오 압축/복원 프로세서, 22 : 오디오 코덱부, 23 : 오디오 입출력 처리기, 24 : 제 3 SRAM, 25 : EPROM, 26 : PCI 버스 인터페이스, 27 : 제 1 데이터 버퍼, 28 : 제 2 데이터 버퍼, 29 : 래치.1: video stage, 2: audio stage, 3: local bus controller, 4: DMA controller, 5: PCI bus interface, 6: PCI bus, 7: host memory, 8: video signal input, 9: video processor, 10 : Frame buffer, 11: video signal output, 12: feature connector, 13: video compression / restore processor, 14: video / audio restoration processor, 15: first SRAM, 16: boot ROM, 17: first DRAM, 18 : 2nd SRAM, 19: Boot ROM, 20: 2nd DRAM, 21: Audio Compression / Restore Processor, 22: Audio Codec, 23: Audio Input / Output Processor, 24: 3rd SRAM, 25: EPROM, 26: PCI Bus Interface, 27: first data buffer, 28: second data buffer, 29: latch.
본 발명은 오디오·비디오 데이터를 하나의 통합된 구조에서 처리할 수 있어 오디오와 비디오가 분리된 경우보다 시스템 버스 사용 횟수를 줄일수 있을 뿐아니라, 오디오·비디오의 DMA 요구 및 로컬 버스 제어기의 버스 중재 기능을 통해 호스트와의 고속 데이타 전달이 가능하다. 그리고 기존의 비디오 보드로는 2자 정도의 영상 회의를 할 수 있으나 본 구조와 구동 방법으로는 동시에 2종류의 비디오 데이터 스트림을 복원할 수 있으므로 3자간의 영상 회의도 수행할 수 있다. 그리고 오디오는 펄스 부호 변조(Pulse Code Modulation; PCM), 적응 차분 펄스 부호 변조(Adaptive Differential Pulse Code Modulation; ADPCM) 방식 외에 동화상 전문가 그룹(Moving Picture Expert Group; 이하 MPEG라 함)을 처리할 수 있으며, 정지 영상을 처리하는 사진술 전문가 그룹(Joint Photographics Expert Group; JPEG), 동영상을 처리하는 MPEG, 화상 회의를 위한 H.261 알고리즘을 수행할 수 있다. 또한, 그래픽스와의 접속을 위한 피쳐 코넥터가 있다.The present invention can process audio and video data in one integrated structure, reducing the number of system buses used when audio and video are separated, as well as DMA requests for audio and video and bus arbitration of local bus controllers. Feature enables high-speed data transfer with the host. In addition, video conferencing of about two characters can be performed with a conventional video board. However, since two types of video data streams can be restored at the same time with this structure and driving method, three-way video conferencing can be performed. The audio may process a moving picture expert group (MPEG) in addition to pulse code modulation (PCM) and adaptive differential pulse code modulation (ADPCM). Joint Photographics Expert Group (JPEG) for processing still images, MPEG for processing video, and H.261 algorithms for video conferencing. There is also a feature connector for connecting to graphics.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.
도1은 본 발명에 따른 통합 멀티미디어 데이터 처리기의 구조도이다. 도시된 바와 같이 크게 비디오단(1), 오디오단(2), 로컬버스 제어기(3), DMA 제어기(4) 그리고 주변 부품 상호 연결(Peripheral Component Interconnect; 이하 PCI라 함) 버스 인터페이스단(5)으로 구성되어 있다. 비디오단(1)은 정지영상이나 동영상의 아날로그 비디오 신호를 입력하여 실시간으로 압축/복원하고 그 결과를 출력장치로 내보내거나 다른 응용을 위해 호스트 메모리로 보낸다. 오디오단(2)은 미디어 종류에 따라 음성기록 및 재생, 음원에 의한 사운드를 재생한다. 그리고 로컬버스 제어기(3), DMA 제어기(4), PCI 버스 인터페이스단(5)은 오디오/비디오단과 호스트 시스템과의 효율적 데이터 전달을 지원한다.1 is a structural diagram of an integrated multimedia data processor according to the present invention. As shown, the video stage 1, the audio stage 2, the local bus controller 3, the DMA controller 4 and the Peripheral Component Interconnect (PCI) bus interface stage 5 are shown. It consists of. The video stage 1 inputs an analog video signal of a still image or a moving image and compresses / restores it in real time, and outputs the result to an output device or to a host memory for other applications. The audio stage 2 reproduces the voice recording and reproducing and the sound by the sound source according to the media type. The local bus controller 3, the DMA controller 4, and the PCI bus interface stage 5 support efficient data transfer between the audio / video stage and the host system.
PCI 버스 인터페이스단(5)은 PCI 규격을 따르며 버스 마스터/슬레이브 기능을 수행한다. 주요 기능으로는 PCI 버스 마스터/슬레이브 기능과 2개의 독립적 DMA 채널을 지원한다. 마스터와 슬레이브 그리고 2개의 DMA 채널에 대한 4개의 양방향 선입선출 버퍼(FIFO)를 가지며, PCI 클럭과 비동기적인 로컬 클럭을 지원한다. 그 구성 요소로서 PCI 버스 인터페이스(26)은 비디오단(1)과 PCI 버스(6) 사이의 데이터 중계 역할을 수행한다. 제1 데이터 버퍼(27)는 PCI 버스 인터페이스(26)에 입출력되는 데이터 버스 방식과 비디오가 제어되는 로컬 버스 사이의 데이터 전달을 중계(완충)한다. 제 1 데이터 버퍼(27)와 PCI 버스 인터페이스(26)간에는 32 비트의 로컬 버스 데이터를 이용한다. 제 2 데이터 버퍼(28)는 로컬 버스 데이터 버스 방식과 오디오부(2) 사이의 데이터 전달을 중계(완충)하는 역할을 하며, 오디오 코덱(22)과 8비트의 아날로그 신호를 교환한다. 래치(29)는 DMA 제어기(4)에서 출력되는 어드레스를 일시 보관하여 PCI 버스 인터페이스(26)와 로컬 버스 제어기(3)가 해당 데이터를 읽어 갈때까지 DMA 제어기(4)에서 출력되는 어드레스가 바뀌더라도 이전의 어드레스를 유지시켜 주는 역할을 한다. 래치(29)는 PCI 버스 인터페이스(26)와 2에서 23 비트의 어드레스 버스 비트를 사용하며, 로컬 버스 제어기(3)와는 8에서 11 비트의 어드레스 비트를 사용한다.The PCI bus interface stage 5 follows the PCI standard and performs a bus master / slave function. Key features include PCI bus master / slave functionality and two independent DMA channels. It has four bidirectional first-in, first-out buffers (FIFOs) for the master, slave, and two DMA channels, and supports PCI clocks and asynchronous local clocks. As a component, the PCI bus interface 26 serves as a data relay between the video stage 1 and the PCI bus 6. The first data buffer 27 relays (buffers) data transfer between the data bus system input and output to the PCI bus interface 26 and the local bus where video is controlled. 32 bits of local bus data are used between the first data buffer 27 and the PCI bus interface 26. The second data buffer 28 relays (buffers) data transfer between the local bus data bus system and the audio unit 2 and exchanges 8-bit analog signals with the audio codec 22. The latch 29 temporarily stores the address output from the DMA controller 4 so that the address output from the DMA controller 4 changes until the PCI bus interface 26 and the local bus controller 3 read the corresponding data. It maintains the old address. The latch 29 uses PCI bus interface 26 and 2 to 23 bits of address bus bits, and the local bus controller 3 uses 8 to 11 bits of address bits.
DMA 제어기(4)는 PCI 버스를 통해 호스트 시스템 메모리에 직접 접근하기 위한 제어기이다. DMA를 요구하는 경우는 오디오 플레이백 요구, 오디오 캡쳐 요구, 비디오 인코더 요구, 두 개의 비디오 코덱을 위한 비디오 디코드 요구 때이다. 이상과 같은 요구시 DMA 제어기(4)는 로컬 버스 제어기(3)에서 로컬 버스 사용 요구 신호를 구동하여 로컬 버스 사용권을 획득하게 되면 래치(29)로 전송을 시작한다.The DMA controller 4 is a controller for directly accessing the host system memory through the PCI bus. The demands for DMA are for audio playback requests, audio capture requests, video encoder requests, and video decode requests for two video codecs. Upon request as described above, the DMA controller 4 drives the local bus usage request signal from the local bus controller 3 to start the transfer to the latch 29 when the local bus usage right is acquired.
로컬 버스 제어기(3)는 PCI 버스 인터페이스를 통해 보드 내부에 생성된 로컬 버스를 제어하기 위한 블록으로 로컬 버스 사용 요구에 대한 중재 기능, 호스트 시스템이 로컬 자원 접근시 로컬 버스의 제어 기능, DMA 제어기의 PCI 버스 접근시 이를 제어하는 기능, 보드 내부 자원들의 인터럽트를 PCI 버스를 통하여 호스트 시스템으로 전달하는 인터럽트 제어 기능을 수행한다. 또한 비디오 프로세서(9), 비디오 압축/복원 프로세서(13), 비디오/오디오 복원 프로세서(14)와 제 1 데이터 버퍼(27) 및 제 2 데이터 버퍼(28), 그리고 래치(29)를 제어한다.The local bus controller 3 is a block for controlling the local bus generated inside the board through the PCI bus interface. The local bus controller 3 arbitrates the request for using the local bus, controls the local bus when the host system accesses local resources, and controls the DMA controller. It controls this when accessing the PCI bus, and interrupt control that delivers the interrupt of internal board resources to the host system through the PCI bus. It also controls the video processor 9, the video compression / restore processor 13, the video / audio reconstruction processor 14, the first data buffer 27 and the second data buffer 28, and the latch 29.
비디오단(1)은 정지 영상이나 동영상의 아날로그 비디오 신호를 입력하여 실시간으로 압축하거나 복원하고 그 결과를 모니터나 호스트 메모리(7)에 전송하며 그 구성은 다음과 같다.The video stage 1 inputs an analog video signal of a still image or a moving image, compresses or decompresses it in real time, and transmits the result to the monitor or the host memory 7. The configuration is as follows.
비디오 신호 입력부(8)는 외부에서 입력되는 아날로그 복합 비디오 신호를 컴퓨터가 처리할 수 있는 디지탈 데이터로 변환하기 위해 아날로그/디지탈 변환기(Analog to Digital convertor; ADC)를 거쳐 디지털 신호로 만들고 이를 디지탈 다중 표준 디코더에 통과시켜 아날로그 신호의 밝기/색상을 나타내는 루미넌스/크로미넌스(이하 YUV라 함) 4:2:2 포맷의 비디오 신호와 동기 신호를 생성하여 비디오 프로세서(9)와 비디오 압축/복원 프로세서(13)로 전송한다.The video signal input unit 8 converts an analog composite video signal input from an external source into a digital signal through an analog-to-digital converter (ADC) and converts the analog composite video signal into digital data that can be processed by a computer. A luminance and chrominance (hereinafter referred to as YUV) video signal and a synchronization signal that pass through the decoder to represent the brightness / color of an analog signal (hereinafter referred to as YUV) are generated to generate a video processor 9 and a video compression / restore processor ( 13) to transmit.
비디오 프로세서(9)는 비디오 신호 입력부(8)와 비디오 압축/복원 프로세서(13) 또는 비디오/오디오 복원 프로세서(14)로부터 두 개의 입력 데이터를 수신하여 포맷 변환, 화면 크기 스케일링 등의 데이터 처리를 수행하고 처리된 32 비트의 프레임 버퍼 데이터를 프레임 버퍼(10)로 송수신한다.The video processor 9 receives two input data from the video signal input unit 8 and the video compression / restore processor 13 or the video / audio reconstruction processor 14 to perform data processing such as format conversion and screen size scaling. The 32-bit processed frame buffer data is transmitted and received to the frame buffer 10.
프레임 버퍼(10)는 비디오 프로세서(9)와 32 비트의 프레임 버퍼 데이타를 송수신하고 이를 32 비트의 비디오 신호 데이터의 형태로 비디오 신호 출력부(11)에 전송한다.The frame buffer 10 transmits and receives 32-bit frame buffer data to and from the video processor 9 and transmits the 32-bit frame buffer data to the video signal output unit 11 in the form of 32-bit video signal data.
비디오 신호 출력부(11)는 프레임 버퍼(10)로부터 수신한 비디오 신호 데이터와 피쳐 코넥터(12)를 통해 수신한 그래픽 데이터의 오버레이를 수행하여 칼라 모니터로 보내지는 색상 정보로 그래픽스를 출력하며 미디어 디지탈/아날로그 변환기(Digital to Analog Convertor; DAC)를 포함하고 있다. 피쳐 코넥터(12)와 비디오 출력부(11) 사이의 244는 TTL 74F244로 데이터가 한쪽 방향으로만 이동되게 한다. 즉, 피쳐 코넥터(12)에서 비디오 신호 출력부(11)로만 데이터가 이동하게 하며, 그 반대 방향의 이동은 막아준다.The video signal output unit 11 overlays the video signal data received from the frame buffer 10 and the graphic data received through the feature connector 12 and outputs the graphics as color information sent to the color monitor. Digital to Analog Converter (DAC) is included. 244 between feature connector 12 and video output 11 allows TTL 74F244 to move data in only one direction. That is, data is moved from the feature connector 12 only to the video signal output unit 11, and the movement in the opposite direction is prevented.
비디오 압축/복원 프로세서(13)는 비디오 신호 입력부(8)에서 출력되는 YUV 4:2:2 포맷의 비디오 데이터를 수신하여 압축/복원 알고리즘을 수행하고 비디오 프로세서(9)로 전송한다. 이 비디오 압축/복원 프로세서(13)는 초기화시 압축 알고리즘을 저장하는 제 1 부팅 롬(16), 비디오 압축/복원 프로세서(13)의 알고리즘 수행시 필요한 데이터와 비디오 데이터를 저장하는 제 1 디램(이하 DRAM이라 함)(17), 호스트로부터 수신한 압축 알고리즘을 저장하는 제 1 에스램(이하 SRAM이라 함)(15)과 함께 비디오 압축 과정을 수행하는 비디오 압축부를 구성한다. 비디오 압축 과정은 비디오 신호 입력부(8)에서 출력되는 YUV 4:2:2 포맷의 비디오 데이터를 압축하여 호스트로 넘겨주는 과정으로 로컬 버스 제어기(3)에 의해 제어된다.The video compression / restore processor 13 receives the YUV 4: 2: 2 format video data output from the video signal input unit 8, performs a compression / reconstruction algorithm, and transmits the video data to the video processor 9. The video compression / restore processor 13 stores a first boot ROM 16 which stores a compression algorithm at initialization, and a first DRAM which stores data and video data necessary for performing the algorithm of the video compression / restore processor 13 (hereinafter, referred to as a first boot ROM 16). And a video compression unit for performing a video compression process together with a first SRAM (hereinafter referred to as SRAM) 15 storing a compression algorithm received from a host. The video compression process is a process of compressing video data of YUV 4: 2: 2 format output from the video signal input unit 8 and handing it over to a host, which is controlled by the local bus controller 3.
컴퓨터 망을 통해 리모터에서 보내온 압축된 리모터 비디오 데이터나 하드디스크 등에 저장된 압축 데이터를 PCI 버스(6)를 통해 수신하여 비디오 압축/복원 프로세서(13)나 비디오/오디오 복원 프로세서(14)에서 복원하여 비디오 프로세서(9)로 넘겨주는 비디오 복원 과정을 수행한다. 비디오 복원부는 비디오/오디오 복원 프로세서(14), 초기화시 압축 알고리즘을 저장하는 제 2 부팅 롬(19), 알고리즘 수행시 필요한 데이터와 비디오 데이터를 저장하는 제 2 DRAM(20), 호스트로부터 수신한 압축 알고리즘을 저장하는 제 2 SRAM(18)으로 구성되어 데이터 압축부와 동일한 구성을 가진다. 도시된 바와 같이 비디오 복원은 3자간 회의를 지원하기 위해 비디오 압축/복원 프로세서(13)와 비디오/오디오 복원 프로세서(14)에서 동시에 두 종류이 비디오 데이터 스트림을 복원할 수 있으며 로컬 버스 제어기(3)에 의해 제어된다.Compressed remote video data sent from the remote controller or compressed data stored in the hard disk, etc., received from the computer network through the PCI bus (6) and restored by the video compression / restoration processor (13) or video / audio restoration processor (14). The video restoration process is then performed to the video processor 9. The video reconstruction unit 14 includes a video / audio reconstruction processor 14, a second boot ROM 19 for storing a compression algorithm upon initialization, a second DRAM 20 for storing data and video data necessary for executing an algorithm, and compression received from a host. It is composed of a second SRAM 18 storing an algorithm and has the same configuration as the data compression unit. As shown, video reconstruction can simultaneously restore two types of video data streams in the video compression / restore processor 13 and video / audio reconstruction processor 14 to support three-way conferencing. Is controlled by
오디오단(2)은 두개의 기능 블럭으로 구성된다. 그 하나는 MPEG 오디오 복원과 ITU-T의 표준을 따르는 음성 압축/복원 기능을 제공하는 오디오 압축/복원 프로세서(21)이며, 다른 하나는 시스템 오디오 데이터의 재생/녹음을 제공하는 오디오 코덱(22)으로 구성되어 있다.The audio stage 2 consists of two functional blocks. One is an audio compression / restoration processor 21 which provides MPEG audio restoration and voice compression / restoration function conforming to the ITU-T standard, and the other is an audio codec 22 which provides playback / recording of system audio data. It consists of.
오디오 압축/복원 프로세서(21)의 음성 복원 기능은 비디오/오디오 복원 프로세서(14)로부터 MPEG 오디오 데이타 스트림을 전송받아 이를 복원하여 오디오 입출력 처리기(23)로 전달하면 오디오 입출력 처리기(23)에서 복원된 MPEG 데이터 스트림을 받아서 스피커로 출력하게 된다. 또한 음성 압축 기능은 오디오 입출력 처리기(23)로부터 마이크에서 입력되는 오디오 데이터를 수신하면 표준 음성 압축 알고리즘을 적용하여 비디오/오디오 복원 프로세서(14)로 압축된 데이터를 전달하며, 표준 음성 압축 알고리즘을 사용한 압축된 오디오 데이터를 비디오/오디오 복원 프로세서(14)로부터 전달받아 이를 복원한다. 압축/복원 및 기동을 수행하는데 필요한 각종 데이터가 저장된 제 3 SRAM(24), 음성 압축과 복원 알고리즘을 수행하는 부분과 오디오 압축/복원 프로세서(21) 전체에 대한 기동 프로그램이 저장된 이이피롬(EPROM)(25)이 오디오 압축/복원 프로세서(21)를 구동한다.The audio reconstruction function of the audio compression / restore processor 21 receives the MPEG audio data stream from the video / audio reconstruction processor 14, restores the MPEG audio data stream to the audio input / output processor 23, and restores the audio signal to the audio input / output processor 23. It receives the MPEG data stream and outputs it to the speaker. In addition, the voice compression function receives the audio data input from the microphone from the audio input / output processor 23 and transfers the compressed data to the video / audio reconstruction processor 14 by applying a standard voice compression algorithm. The compressed audio data is received from the video / audio restoration processor 14 and restored. A third SRAM 24 storing various data necessary to perform compression / restore and start-up, an EPROM which stores a part for performing a voice compression and decompression algorithm and a startup program for the entire audio compression / restore processor 21. Numeral 25 drives the audio compression / restore processor 21.
오디오 코덱(22)은 시스템의 기본 사운드를 처리하기 위한 기능 블럭으로써 재생과 녹음시에 두 채널의 DMA를 사용하여 녹음과 재생이 동시에 이루어질 수 있도록 되어있다. 제 2 데이터 버퍼(28)와 8 비트의 아날로그 데이터를 주고 받으며 로컬 버스 제어기(3)에 의해 제어된다.The audio codec 22 is a function block for processing the basic sound of the system so that recording and playback can be performed simultaneously by using two channels of DMA during playback and recording. The 8-bit analog data is exchanged with the second data buffer 28 and is controlled by the local bus controller 3.
도 2A 내지 도 2C는 본 발명에 따른 비디오 데이터의 압축/복원 과정을 도시한 흐름도이다. 도 2A는 입력 비디오 데이터를 압축/복원 과정을 거치지 않고 출력하는 과정을 도시한 흐름도이다. 아날로그 비디오 신호를 입력하여(201) 비디오 신호 입력부에서 디지탈 YUV 신호로 변환한다(202). 디지탈 YUV 신호로 변환될 데이터를 비디오 프로세서에서 입력한다(203). 디지탈 YUV신호를 입력한 비디오 프로세서는 이를 32 비트의 프레임 버퍼 데이터 형태로 프레임 버퍼에 저장한다(204). 저장된 데이터를 32 비트의 비디오 신호 데이터 형태로 비디오 신호 출력부에 전송한다(205). 비디오 신호 출력부에서 비디오 신호 데이터를 미디어 DAC 변환한다(206). DAC 변환된 데이터를 피쳐 코넥터를 통해 입력된 그래픽스 데이터와 믹싱하여(207) 모니터에 출력한다(208).2A to 2C are flowcharts illustrating a compression / restore process of video data according to the present invention. 2A is a flowchart illustrating a process of outputting input video data without undergoing a compression / restore process. An analog video signal is input (201), and the video signal input unit is converted into a digital YUV signal (202). Data to be converted into a digital YUV signal is input at the video processor (203). The video processor that inputs the digital YUV signal stores it in the frame buffer in the form of 32-bit frame buffer data (204). The stored data is transmitted to the video signal output unit in the form of 32-bit video signal data (205). The video signal output unit performs media DAC conversion on the video signal data (206). The DAC converted data is mixed (207) with graphics data input through the feature connector and output to the monitor (208).
도 2B는 입력 비디오 데이터의 압축 과정을 도시한 흐름도이다. 아날로그 비디오 신호를 입력하여(209) 비디오 신호 입력부에서 디지탈 YUV 신호로 변환한다(210). 디지탈화된 YUV 데이터를 비디오 압축/복원 프로세서에서 입력하여 압축한후(211) 로컬 버스의 비디오 데이터 버스를 통해 DMA 전송 방식으로 제 1 데이터 버퍼로 전송한다(212). 제 1 데이터 버퍼로 전송된 압축된 데이터를 PCI 버스 인터페이스와 PCI 버스를 통해 호스트 메모리에 저장한다(213).2B is a flowchart illustrating a compression process of input video data. An analog video signal is input (209) and converted into a digital YUV signal by the video signal input (210). The digitalized YUV data is input by the video compression / restore processor and compressed (211), and then transmitted (212) to the first data buffer through a video data bus of the local bus in a DMA transfer scheme. The compressed data transmitted to the first data buffer is stored in the host memory through the PCI bus interface and the PCI bus (213).
도 2C는 본 발명에 따른 입력 비디오 데이터의 복원 과정을 도시한 흐름도이다. 하드 디스크나 리모터에서 수신된 압축 데이터를 복원하는 과정은 호스트 메모리에 저장된 압축 데이터(214)를 PCI 버스, PCI 버스 인터페이스 및 제 1 데이터 버퍼를 통하여 2개의 복원 가능한 비디오 복원 프로세서로 전송한다(215). 비디오 복원 프로세서는 수신한 압축 데이터를 디지탈 YUV 신호로 복원한 후(216) 비디오 프로세서로 전송한다(217). 디지탈 YUV 신호를 입력한 비디오 프로세서는 이를 32 비트의 프레임 버퍼 데이터 형태를 프레임 버퍼에 저장한다(218). 저장된 데이터를 32 비트의 비디오 신호 데이터로 비디오 신호 출력부에 전송한다(219). 비디오 신호 출력부에서 비디오 신호 데이터를 미디어 DAC 변환한다(220). DAC 변환된 데이터를 피쳐 코넥터를 통해 입력된 그래픽스 데이터와 믹싱하여(221) 모니터에 출력한다(222).2C is a flowchart illustrating a reconstruction process of input video data according to the present invention. Restoring the compressed data received from the hard disk or the remote controller transmits the compressed data 214 stored in the host memory to the two recoverable video restoration processors through the PCI bus, the PCI bus interface, and the first data buffer (215). ). The video reconstruction processor reconstructs the received compressed data into the digital YUV signal (216) and then transmits the received compressed data to the video processor (217). The video processor inputting the digital YUV signal stores the 32-bit frame buffer data type in the frame buffer (218). The stored data is transmitted to the video signal output unit as 32-bit video signal data (219). The video signal output unit performs media DAC conversion on the video signal data (220). The DAC converted data is mixed with graphics data input through the feature connector (221) and output to the monitor (222).
도 3은 본 발명에 따른 MPEG 오디오의 복원 동작 흐름도이다. 호스트로부터 MPEG 압축 데이터를 수신한(301) 비디오/오디오 복원 프로세서는 비디오와 오디오 두 압축 데이타를 분리한다(302). 압축된 MPEG 오디오 데이터를 오디오 압축/복원 프로세서로 전송한다(303). 오디오 압축/복원 프로세서는 내부의 MPEG 알고리즘을 동작시켜 압축된 MPEG 오디오 데이터를 복원하여(304) 오디오 입출력 처리기로 전송한다(305). 오디오 입출력 처리기는 복원된 오디오 데이터를 아날로그 신호로 변환하고, 증폭하여(306) 스피커를 통하여 출력한다(307).3 is a flowchart illustrating an operation of restoring MPEG audio according to the present invention. Receiving MPEG compressed data from the host (301), the video / audio reconstruction processor separates the video and audio two compressed data (302). The compressed MPEG audio data is transmitted to the audio compression / restore processor (303). The audio compression / restore processor operates an internal MPEG algorithm to restore the compressed MPEG audio data (304) and transmit the compressed MPEG audio data to the audio input / output processor (305). The audio input / output processor converts the restored audio data into an analog signal, amplifies it (306), and outputs it through the speaker (307).
도 4A 및 도 4B는 본 발명에 따른 표준 음성 압축/복원 알고리즘을 사용한 오디오 데이터의 처리 흐름도이다. 도 4A는 본 발명에 따른 표준 음성 압축 알고리즘을 사용한 오디오 데이터의 처리 흐름도이다. 압축 과정은 오디오 입출력 처리기에서 마이크로부터 아날로그 음성 신호를 입력하여(401) 아날로그/디지탈 변환과 샘플링을 거쳐서 디지탈 오디오 데이터를 생성한다(402). 생성된 디지탈 오디오 데이터를 오디오 압축/복원 프로세서로 전송한다(403). 오디오 압축/복원 프로세서는 수신한 디지탈 오디오 데이터를 표준 음성 압축 알고리즘에 의해 압축하여(404) 비디오/오디오 복원 프로세서로 전송한다(405). 비디오/오디오 복원 프로세서는 로컬 버스를 통하여 제 1 데이터 버퍼에 압축된 데이터를 전송한다(406). 제 1 데이터 버퍼의 데이터는 PCI 버스 인터페이스와 PCI 버스를 거쳐서 호스트 메모리에 전송한다(407).4A and 4B are flowcharts of processing audio data using a standard speech compression / reconstruction algorithm according to the present invention. 4A is a flowchart of processing audio data using a standard speech compression algorithm according to the present invention. In the compression process, the audio input / output processor inputs an analog voice signal from a microphone (401) and generates digital audio data through analog / digital conversion and sampling (402). The generated digital audio data is transmitted to the audio compression / restore processor (403). The audio compression / restore processor compresses the received digital audio data by standard speech compression algorithm (404) and transmits (405) the video / audio reconstruction processor. The video / audio reconstruction processor sends the compressed data to the first data buffer via the local bus (406). The data of the first data buffer is transferred to the host memory via the PCI bus interface and the PCI bus (407).
도 2B는 본 발명에 따른 표준 음성 복원 알고리즘을 사용한 오디오 데이터의 처리 흐름도이다. 복원 과정은 압축 과정의 반대로서, 먼저 호스트 메모리의 압축된 오디오 데이터는 PCI 버스, PCI 버스 인터페이스, 그리고 제 1 데이터 버퍼를 통하여 비디오/오디오 복원 프로세서에서 수신한다(408). 압축된 오디오 데이터를 수신한 비디오/오디오 복원 프로세서는 이를 오디오 압축/복원 프로세서로 전송한다(409). 오디오 압축/복원 프로세서는 표준 음성 복원 알고리즘을 적용하여 압축 데이타를 복원하여(410) 오디오 입출력 처리기로 전송한다(411). 복원된 데이터를 수신한 오디오 입출력 처리기는 디지탈 데이터를 아날로그 신호로 변환하고 증폭하여(412) 스피커로 출력한다(413).2B is a flowchart of processing audio data using a standard speech reconstruction algorithm according to the present invention. The decompression process is the reverse of the compression process, in which compressed audio data of the host memory is first received by the video / audio decompression processor via the PCI bus, the PCI bus interface, and the first data buffer (408). The video / audio reconstruction processor that receives the compressed audio data transmits it to the audio compression / restore processor (409). The audio compression / restore processor restores the compressed data using a standard speech decompression algorithm (410) and transmits the compressed data to the audio input / output processor (411). The audio input / output processor that receives the recovered data converts the digital data into an analog signal, amplifies (412), and outputs the same to the speaker (413).
도 5A 및 도 5B는 본 발명에 따른 오디오 코덱의 동작 흐름도이다. 도 5A는 본 발명에 따른 오디오 코덱의 녹음 과정을 도시한 흐름도이다. 녹음 과정은 마이크로부터 아날로그 사운드가 입력되면(501) 샘플링 과정을 거쳐서 아날로그/디지탈 변환(502)을 하여 디지탈 사운드 데이터를 생성한다(503). 생성된 디지탈 사운드 데이터는 로컬 버스를 통하여 DMA 전송 방식을 사용하여 제 2 데이터 버퍼, 제 1 데이터 버퍼, PCI 버스 인터페이스, PCI 버스를 거쳐 호스트 메모리로 직접 디지탈 사운드 데이터를 저장한다(504).5A and 5B are operational flowcharts of an audio codec according to the present invention. 5A is a flowchart illustrating a recording process of an audio codec according to the present invention. In the recording process, when the analog sound is input from the microphone (501), the analog / digital conversion 502 is performed through the sampling process to generate digital sound data (503). The generated digital sound data stores the digital sound data directly to the host memory via the second data buffer, the first data buffer, the PCI bus interface, and the PCI bus using a DMA transfer scheme through a local bus (504).
도 5B는 본 발명에 따른 오디오 코덱의 재생 과정을 도시한 흐름도이다. 재생 과정은 비디오 호스트 메모리에 있는 디지탈 사운드 데이터(505)를 DMA 전송 방식을 사용하여 PCI 버스, PCI 버스 인터페이스, 제 1 데이터 버퍼, 제 2 데이터 버퍼와 로컬버스를 통하여 직접 오디오 코덱으로 전송된다(506). 수신된 디지탈 오디오 데이터는 오디오 코덱부에서 디지탈/아날로그 변환과 아날로그 신호 증폭을 하여(507) 접속된 스피커로 사운드 신호를 출력한다(508).5B is a flowchart illustrating a reproduction process of an audio codec according to the present invention. The playback process transfers the digital sound data 505 in the video host memory directly to the audio codec via the PCI bus, PCI bus interface, first data buffer, second data buffer and local bus using the DMA transfer method (506). ). The received digital audio data is subjected to digital / analog conversion and analog signal amplification by the audio codec unit (507) and outputs a sound signal to the connected speaker (508).
상술한 바와 같이 본 발명에서 제안한 멀티미디어 통합 구조는 여러 표준 방식의 오디오·비디오 방식을 지원할 뿐아니라, 비디오 복원의 다중 지원, 오디오의 양방향 지원, 로컬 버스와 DMA 지원을 통한 미디어 데이터의 고속 이동 가능 등으로 텍스트와 음성에서부터 동영상 데이터까지의 정보 처리가 가능하여 고급/고품질의 멀티미디어 데이터 처리 응용 분야에 활용할 수 있는 훌륭한 효과가 있다.As described above, the multimedia integrated structure proposed by the present invention not only supports various standard audio and video methods, but also supports multiple video restoration, bidirectional audio support, and high-speed data movement through local bus and DMA support. It can process information from text and voice to video data, which can be used for advanced / high quality multimedia data processing applications.
Claims (16)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019960048287A KR100198799B1 (en) | 1996-10-25 | 1996-10-25 | Multimedia data processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019960048287A KR100198799B1 (en) | 1996-10-25 | 1996-10-25 | Multimedia data processor |
Publications (2)
Publication Number | Publication Date |
---|---|
KR19980029048A true KR19980029048A (en) | 1998-07-15 |
KR100198799B1 KR100198799B1 (en) | 1999-06-15 |
Family
ID=19478918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019960048287A KR100198799B1 (en) | 1996-10-25 | 1996-10-25 | Multimedia data processor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100198799B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010025388A (en) * | 2000-12-21 | 2001-04-06 | 박상훈 | Internet live relay broadcasting method by using a server for integrating |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010000880A (en) * | 2000-10-25 | 2001-01-05 | 이용범 | one-chip processor for integration processing of audio/video signal |
KR101079591B1 (en) | 2006-11-21 | 2011-11-07 | 삼성전자주식회사 | Display apparatus having the video call function, method thereof and video call system |
-
1996
- 1996-10-25 KR KR1019960048287A patent/KR100198799B1/en not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010025388A (en) * | 2000-12-21 | 2001-04-06 | 박상훈 | Internet live relay broadcasting method by using a server for integrating |
Also Published As
Publication number | Publication date |
---|---|
KR100198799B1 (en) | 1999-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR960003651B1 (en) | Multi-board circuit for high speed local bus | |
US6035349A (en) | Structure of portable multimedia data input/output processor and method for driving the same | |
KR100367000B1 (en) | PC-based codec device for multichannel audio/speech and data with multimedia engine and input/output modules for multimedia data processing | |
KR920007920B1 (en) | Video phone system | |
JPH08509310A (en) | System for collaborative operation with computer support | |
US6621499B1 (en) | Video processor with multiple overlay generators and/or flexible bidirectional video data port | |
KR100198799B1 (en) | Multimedia data processor | |
US7075564B1 (en) | Video conferencing interface | |
JP2000032391A (en) | Method and system for storage and reproduction | |
JP3544742B2 (en) | Portable computer | |
JP3029375B2 (en) | Computer and card used in computer | |
KR0171381B1 (en) | Multimedia board for multiparty desktop video conferencing | |
AU752570B2 (en) | Video conferencing interface | |
KR100240650B1 (en) | Structure and the driving method of integrated multimedia data input/outpput apparatus | |
JP3562186B2 (en) | Video card and video data communication device | |
KR970000769B1 (en) | Audio and video data compression/decompression processing method and apparatus for remote video-conference system | |
JPH11177950A (en) | Video communication equipment outputting video image on computer screen | |
JP2001339723A (en) | Image compression, storage and display | |
JPH0944270A (en) | Portable computer system | |
JPH05168007A (en) | Pictorial communication equipment | |
JPH10126756A (en) | Computer system | |
JP2000152025A (en) | Interface device for video data | |
KR20030027387A (en) | Dvd signal conversion apparatus | |
JPH09224242A (en) | Image compressing/expanding mechanism provided with image data bus | |
JPH06225297A (en) | Multi-media communication controller and multi-media communication system utilizing the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20080303 Year of fee payment: 10 |
|
LAPS | Lapse due to unpaid annual fee |