KR100580076B1 - mobile terminal capable of displaying received television signal both on a main display and on a sub display - Google Patents
mobile terminal capable of displaying received television signal both on a main display and on a sub display Download PDFInfo
- Publication number
- KR100580076B1 KR100580076B1 KR1020030091971A KR20030091971A KR100580076B1 KR 100580076 B1 KR100580076 B1 KR 100580076B1 KR 1020030091971 A KR1020030091971 A KR 1020030091971A KR 20030091971 A KR20030091971 A KR 20030091971A KR 100580076 B1 KR100580076 B1 KR 100580076B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- signal
- image
- display unit
- mobile communication
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
Abstract
본 발명은 티브이 수신이 가능한 이동통신 단말기에 관한 것이다. The present invention relates to a mobile communication terminal capable of TV reception.
본 발명에 따른 이동통신 단말기는 티브이 신호로부터 영상신호를 복원하여 재생하는 티브이 수신부를 구비하며, 이 티브이 수신부로부터 출력되는 영상신호를 주표시부 및 부표시부로 동시에 또는 선택적으로 출력하는 신호처리부를 더 포함하는 것을 특징으로 한다. The mobile communication terminal according to the present invention includes a TV receiver for restoring and reproducing an image signal from a TV signal, and further comprising a signal processor for simultaneously or selectively outputting an image signal output from the TV receiver to the main display unit and the sub display unit. Characterized in that.
본 발명에 따른 단말기는 티브이 영상을 주표시부 및 부표시부에 동시에 표시할 수 있다. 이에 따라 두 명이 동시에 마주보고 티브이를 즐길 수 있는 효과가 있다. The terminal according to the present invention can simultaneously display the TV image on the main display unit and the sub display unit. As a result, two people can face each other and enjoy TV.
휴대폰, 이동통신, 카메라, 티브이, 텔레비전, 버스, 액정Mobile Phone, Mobile Communication, Camera, TV, Television, Bus, LCD
Description
도 1은 본 발명의 바람직한 일 실시예에 따른 이동통신 단말기의 구성을 개략적으로 도시한 블럭도이다.1 is a block diagram schematically showing the configuration of a mobile communication terminal according to an embodiment of the present invention.
도 2는 도 1의 실시예를 보다 상세히 도시한 블럭도이다.2 is a block diagram illustrating the embodiment of FIG. 1 in more detail.
도 3은 도 2의 튜너부의 일 실시예를 도시한다.3 illustrates an embodiment of the tuner unit of FIG. 2.
<도면의 주요부분에 대한 부호의 설명><Description of Symbols for Main Parts of Drawings>
100 : 폰제어부 110 : 통신 제어부100: phone control unit 110: communication control unit
130 : 시스템 제어부 210 : 음성입출력 회로130: system control unit 210: voice input and output circuit
220 : 오디오 출력부 230 : 무선 통신부220: audio output unit 230: wireless communication unit
250 : 키패드 270 : 표시부250: keypad 270: display unit
300 : 신호처리부 310 : 제어부300: signal processor 310: controller
321 : 영상처리부 323 : 영상 출력부321: image processing unit 323: image output unit
353 : 버스 인터페이스부 355 : 미디어 인터페이스부353: bus interface unit 355: media interface unit
500 : 카메라부 510 : 촬상부500: camera unit 510: imaging unit
530 : 변환부 550 : 카메라 제어부530: conversion unit 550: camera control unit
573 : 버스 인터페이스부 590 : 렌즈계573: bus interface unit 590: lens system
700 : 티브이 수신부 710 : 튜너부700: TV receiver 710: tuner unit
750 : 티브이 제어부 773 : 버스 인터페이스부750: TV control unit 773: bus interface unit
본 발명은 이동통신 단말기에 관한 것이며, 보다 자세하게는 티브이 수신이 가능한 이동통신 단말기에 관한 것이다. The present invention relates to a mobile communication terminal, and more particularly to a mobile communication terminal capable of TV reception.
이동통신 단말기의 보급 확대에 따라 이 분야의 기술이 발전하고 있다. 소비자들의 요구와 업체간의 경쟁에 의해 날로 다양한 기능이 추가되고 있다. With the expansion of mobile communication terminals, technology in this field is developing. Due to consumer demand and competition among companies, various functions are being added every day.
카메라가 장착된 단말기는 최근 들어 신규로 보급되는 단말기의 많은 부분을 차지할 정도로 인기를 누리고 있다. 게다가 최근 들어서는 티브이 기능이 추가된 이동통신 단말기가 출시된 바 있다. 메모리의 대용량화와 함께 이 같은 추세는 단말기의 개인용 멀티미디어 기기화를 가속시키고 있다. Terminals equipped with cameras have become popular enough to occupy a large part of terminals that are newly introduced in recent years. In addition, recently, a mobile communication terminal with a TV function has been released. Along with the increase in memory capacity, this trend is accelerating the personalization of multimedia devices.
티브이 시청이 가능한 폴더형 티브이 폰의 경우 메인 표시부를 통해 티브이를 시청할 수 있다. 그러나 폴더를 닫은 경우에는 시청할 수 없는 문제점이 있다. 나아가 티브이 시청 동안 부표시부는 충분히 활용되지 못하는 문제점이 있다.In the case of a TV-type clamshell TV, the TV can be viewed through the main display unit. However, there is a problem that can not be viewed when the folder is closed. Furthermore, there is a problem that the sub display unit is not sufficiently utilized during TV viewing.
한편, 휴대성이 강조되는 단말기에 있어서, 이 같은 기능을 구현한다는 것은 단말기내 필요한 공간의 확보라는 물리적인 문제 뿐 아니라 시스템간의 적절한 제어를 위한 효율적인 아키텍쳐를 요구한다. 게다가 빈번하게 추가되는 기능들로 인 해 그때마다 새로운 시스템 아키텍쳐를 설계한다는 것은 비용과 시간면에서 매우 비효율적인 문제점이 있었다. On the other hand, in a terminal with emphasis on portability, implementing such a function requires not only a physical problem of securing a necessary space in the terminal but also an efficient architecture for proper control between systems. Moreover, designing a new system architecture every time has been very inefficient in terms of cost and time due to frequently added features.
본 발명은 이 같은 배경에서 도출된 것으로, 폴더를 닫은 상태에서도 티브이 시청이 가능한 이동통신 단말기를 제공하는 것을 목적으로 한다. The present invention is derived from such a background, and an object of the present invention is to provide a mobile communication terminal capable of watching TV even when the folder is closed.
나아가 본 발명은 이동통신 단말기에서 주표시부와 부표시부를 티브이 시청에 모두 활용하는 것을 목적으로 한다. Furthermore, an object of the present invention is to utilize both the main display unit and the sub display unit for TV viewing in a mobile communication terminal.
나아가 본 발명은 티브이 시청 기능을 가진 이동통신단말기에서 효율적으로 동작하는 시스템 아키텍쳐를 제시하는 것을 목적으로 한다. Furthermore, an object of the present invention is to propose a system architecture that operates efficiently in a mobile communication terminal having a TV viewing function.
나아가 본 발명은 단말기 내 각 모듈간의 통일적이고 체계적인 제어가 가능하며, 새로운 기능 모듈의 추가시 설계가 용이한 시스템 아키텍쳐를 제시하는 것을 목적으로 한다. Furthermore, an object of the present invention is to propose a system architecture that enables unified and systematic control between modules in a terminal and is easy to design when adding a new functional module.
상기 목적을 달성하기 위한 본 발명의 일 양상에 따른 이동통신 단말기는 동작 상태 정보를 표시하는 주표시부 및 부표시부와, 공중파로 수신되는 티브이 신호로부터 영상신호를 복원하여 재생하는 티브이 수신부를 구비하며, According to an aspect of the present invention, a mobile communication terminal includes a main display unit and a sub-display unit for displaying operation state information, and a TV receiver unit for restoring and reproducing an image signal from a TV signal received in an airwave.
티브이 수신부로부터 출력되는 영상신호를 주표시부 또는 부표시부로 동시에 또는 선택적으로 출력하는 신호처리부를 더 포함하는 것을 특징으로 한다. And a signal processing unit for simultaneously or selectively outputting an image signal output from the TV receiving unit to the main display unit or the sub display unit.
본 발명의 이 같은 양상에 따라 본 발명에 따른 이동통신 단말기는 폴더 외부의 부표시부로도 티브이 방송을 즐길 수 있다. According to this aspect of the present invention, the mobile communication terminal according to the present invention can enjoy TV broadcasting even with a sub-display outside the folder.
본 발명의 추가적인 양상에 따라 신호처리부는 직렬버스를 이용하여 티브이수신부의 동작을 제어한다. 이에 따라 예를 들면 카메라 모듈, 벨소리 재생 모듈 등 다수의 모듈을 포함하는 현대의 단말기에 있어서, 전체 시스템을 구성하는 모듈들의 통일적인 제어가 가능하며, 나아가 새로운 모듈의 추가시 버스에 편입하기만 하면 되므로 하드웨어적인 설계가 매우 간편해지고, 추가로 소프트웨어 설계에 있어서도 표준적인 기본 구조를 제시하는 것이 가능하여 장점을 갖는다. According to a further aspect of the present invention, the signal processor controls the operation of the TV receiver by using a serial bus. Accordingly, in a modern terminal including a plurality of modules such as a camera module, a ringtone reproduction module, and the like, the unified control of the modules constituting the entire system is possible, and furthermore, if a new module is added to the bus, As a result, the hardware design becomes very simple, and in addition, it is possible to present a standard basic structure in software design.
이하에서는 첨부된 도면을 참조로 하여 기술되는 바람직한 실시예를 통해 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily understand and reproduce the present invention.
도 1은 본 발명의 바람직한 일 실시예에 따른 이동통신 단말기의 구성을 개략적으로 도시한 블럭도이다. 도시된 바와 같이 본 실시예에 따른 이동 통신 단말기는 크게 기존의 이동통신 단말기에 공통되는 구성인 폰제어부(100) 및 그 부속회로들과, 카메라부(500), 티브이 수신부(700) 및 신호처리부(300)를 포함하여 구성된다. 카메라부(500)는 선택적인 것으로, 본 발명의 필수적인 구성은 아니며, 또다른 실시예에서 추가될 수 있는 것이다. 1 is a block diagram schematically showing the configuration of a mobile communication terminal according to an embodiment of the present invention. As shown, the mobile communication terminal according to the present embodiment includes a phone control unit 100 and its auxiliary circuits, a camera unit 500, a TV receiver 700, and a signal processor, which are largely common to existing mobile communication terminals. And 300. The camera unit 500 is optional and is not an essential configuration of the present invention, and may be added in another embodiment.
부속회로들은 키패드(250)와 메뉴 및 동작상태를 표시하는 주표시부(275) 및 부표시부(277)와, 안테나를 통해 송수신되는 무선신호로부터 음성 및 데이터 신호를 추출하는 무선 통신부(230)와, 무선 통신부로부터의 음성 통화 신호를 마이크 및 스피커를 통해 입출력하는 음성 입출력회로(210)를 포함한다. The accessory circuits include a
키패드(250)는 통상적인 조작 명령을 입력받는 수단이다. 예를 들어 폴더형 단말기의 경우 주표시부(275)는 폴더의 내측에 형성된 상대적으로 대화면으로 구비 된 액정표시부이며, 부표시부(277)는 폴더를 닫았을 때 전면에 표시되는 상대적으로 소화면으로 구비된 액정표시부이다. 이들 표시장치에는 각각 대응되는 표시구동부(271)에 의해 구동된다. 또한 무선 통신부(230)는 기지국과의 통신을 위한 안테나 및 알에프 회로를 포함하여 구성된다. 본 명세서에서 무선 통신부는 다양한 버젼의 CDMA방식 뿐 아니라 셀룰라, GSM, W-CDMA 방식등 현존하는 방식은 물론, 향후에 등장할 이동통신 방식을 포괄하도록 해석된다. 음성입출력회로(210)는 디지탈 음성 데이터를 아날로그 음성 신호로, 또는 그 역의 변환을 처리하며, 오디오 증폭회로나 필터와 같은 부가회로를 포함하는 공지의 구성이다. The
무선 통신부(230)의 기저대역 회로와, 폰제어부(100)의 대부분의 회로는 단일의 집적회로로 상용화되어 제공되고 있다. 통상 MSM 칩으로 불리는 이 집적회로는 내부에 통신을 처리하는 전용의 하드웨어와, 디지탈 신호처리기 및 범용의 마이크로프로세서를 포함한다. 논리적으로 이들은 음성 및 데이터 통신을 제어하는 통신 처리부(110)와, 키패드로부터 입력된 조작신호나 동작 상태에 따라 전체 시스템을 제어하는 시스템 제어부(130)를 포함한다. The baseband circuit of the
본 발명의 특징적인 양상에 따라, 단말기는 공중파로 수신되는 티브이 신호로부터 영상신호를 복원하여 재생하는 티브이 수신부(700)와, 이 티브이 수신부(700)로부터 출력되는 영상신호를 주표시부(275) 또는 부표시부(277)로 동시에 또는 선택적으로 출력하는 신호처리부(300)를 포함한다. 폴더형 단말기에 있어서, 예를 들어 폴더가 열렸을 때는 수신된 영상신호가 주표시부(275)에 표시되고, 폴더가 닫혔을 때는 수신된 영상신호가 부표시부(277)에 표시된다. 폴더형 단말기 의 일 실시예에 있어서, 폴더가 열렸을 때 수신된 영상신호는 주표시부(275)와 부표시부(277)에 모두 표시된다. According to a characteristic aspect of the present invention, the terminal is a TV receiver 700 for reconstructing and reproducing the video signal from the TV signal received over the air, and the video signal output from the TV receiver 700 or the
추가로, 티브이 수신부(700)에서 복조된 신호 중 오디오 신호는 오디오 출력부(220)에서 직접 출력될 수 있다. 오디오 출력부(220)는 벨소리 재생음, 음원 재생음 등 단말기에서 출력되는 여러 가지 오디오 음향을 선택적으로 혹은 믹싱하여 출력한다. In addition, the audio signal of the demodulated signal in the TV receiver 700 may be directly output from the
나아가 본 발명의 추가적인 양상에 따라 단말기는 렌즈계로부터 입력되는 광신호를 전기적인 신호로 변환하여 신호처리부(300)로 출력하는 카메라부(500)를 더 포함할 수 있다. 이때, 티브이 수신부(700)와 카메라부(500)는 공통의 포맷을 가진 영상신호, 예를 들면 YUV 8배트 형식의 데이터를 출력하도록 구성된다. 이때 카메라부(500)와 티브이수신부(700)가 동일한 형태의 영상 데이터를 출력하고, 이들은 단일의 신호처리부(300)에 의해 택일적으로 처리하도록 구성된다. Furthermore, according to an additional aspect of the present invention, the terminal may further include a camera unit 500 for converting an optical signal input from the lens system into an electrical signal and outputting the electrical signal to the signal processor 300. In this case, the TV receiving unit 700 and the camera unit 500 are configured to output a video signal having a common format, for example, data of a YUV 8 bat format. In this case, the camera unit 500 and the TV receiving unit 700 output image data of the same type, and these are configured to be selectively processed by a single signal processing unit 300.
본 발명의 추가적인 양상에 따라 본 발명에 따른 이동통신 단말기는 폴더의 개폐를 검출하여 폴더 개폐 신호를 출력하는 폴더개폐검출부(279)와, 폴더개폐검출부(279)에서 출력되는 폴더 개폐 신호에 따라 폴더가 닫힌 경우에는 폴더 외부의 부표시부(277)로 신호처리부(300)가 영상신호를 출력하도록 제어하는 폰제어부(100)를 더 포함한다. 폴더개폐검출부(279)는 기계식 접점 또는 자기식 또는 광학식의 다양한 예가 공지되어 있다. 이에 따라 폴더형 단말기에 있어서, 예를 들어 폴더가 열렸을 때는 수신된 영상신호가 주표시부(275)에 표시되고, 폴더가 닫혔을 때는 수신된 영상신호가 부표시부(277)에 표시될 수 있다. According to an additional aspect of the present invention, the mobile communication terminal according to the present invention detects the opening and closing of a folder and outputs a folder opening / closing detection unit 279 and a folder opening / closing signal output from the folder opening and closing detecting unit 279. If is closed, further includes a phone control unit 100 for controlling the signal processing unit 300 to output the video signal to the
도 2는 도 1의 실시예를 보다 상세히 도시한 블럭도이다. 도시된 바와 같이 일 실시예에 따른 카메라부(500)는 렌즈계로부터 입력되는 광신호를 전기적인 신호로 변환하여 출력한다. 또한 티브이 수신부(700)는 공중파로 수신되는 티브이 신호로부터 영상신호를 추출하여 출력한다. 2 is a block diagram illustrating the embodiment of FIG. 1 in more detail. As shown, the camera unit 500 converts an optical signal input from the lens system into an electrical signal and outputs the electrical signal. In addition, the TV receiver 700 extracts and outputs an image signal from the TV signal received in the airwaves.
신호처리부(300)는 본 출원인이 원래는 카메라폰의 신호처리용으로 개발했던 것으로, 본 발명의 특징적인 구조를 채택함에 따라 티브이 수신부(700)에도 그대로 적용될 수 있으며, 또는 이를 추가함에도 불구하고 특별한 구조적인 변경 없이 그대로 채택될 수 있다. 또한 티브이 수신부(700)를 위한 별도의 신호처리모듈을 추가하지 않고, 카메라부(500)를 위한 기존의 신호처리부(300)를 공용으로 사용할 수 있다는 것이 본 발명의 특징적인 장점으로 된다. 신호처리부(300)는 카메라부(500)로부터 출력되는 제 1 영상 신호와, 티브이수신부(700)로부터 출력되는 제 2 영상신호 중의 하나를 택일적으로 처리하여 표시부(270)로 출력한다. The signal processing unit 300 was originally developed by the present applicant for signal processing of a camera phone, and according to the characteristic structure of the present invention, it may be applied to the TV receiving unit 700 as it is, or in spite of adding the special It can be adopted as it is without structural change. In addition, it is a characteristic advantage of the present invention that the existing signal processing unit 300 for the camera unit 500 can be used in common without adding a separate signal processing module for the TV receiving unit 700. The signal processor 300 may alternatively process one of the first image signal output from the camera unit 500 and the second image signal output from the TV receiver 700 and output the same to the display unit 270.
본 발명의 특징적인 양상에 따라, 신호처리부(300)는 카메라부(500)와 티브이 수신부를 칩 실렉트(chip select) 로직에 의해 선택적으로 활성화시킨다. 폰 제어부(100)의 시스템 제어부(130)는 신호처리부(300)로 카메라 촬영 또는 티브이 수신을 명령하여, 신호처리부(300)는 이에 따라 자신을 제어하고 추가로 카메라부(500) 또는 티브이 수신부(700)를 선택적으로 제어한다. According to a characteristic aspect of the present invention, the signal processor 300 selectively activates the camera unit 500 and the TV receiver by chip select logic. The system controller 130 of the phone controller 100 instructs the signal processor 300 to photograph the camera or the TV, so that the signal processor 300 controls itself accordingly and additionally the camera 500 or the TV receiver ( 700 is selectively controlled.
또다른 특징적인 양상에 따르면, 신호처리부(300)는 직렬버스를 이용하여 카메라부와 티브이수신부의 동작을 제어한다. 일 실시예에 있어서, 직렬버스는 I2C 버스이다. Inter-IC라고도 불리는 I2C는 집적회로들 간의 통신 링크를 제공하는 두 가닥 선의 양방향 직렬 버스이다. 필립스는 TV, VCR 및 오디오 장비 등과 같은 대량 생산되는 제품용으로 I2C 버스를 이미 20년 전에 소개하였다. According to another characteristic aspect, the signal processor 300 controls the operation of the camera unit and the TV receiver using a serial bus. In one embodiment, the serial bus is an I 2 C bus. Also called Inter-IC, I 2 C is a two-wire, bidirectional serial bus that provides a communication link between integrated circuits. Philips introduced the I 2 C bus 20 years ago for mass production products such as TVs, VCRs and audio equipment.
일 실시예에 있어서, 카메라부(500)는 렌즈계(590)와, 렌즈계(590)로부터의 광신호를 아날로그 전기신호로 변환하는 촬상부(510)와, 촬상부(510)로부터 출력되는 신호를 처리하고 디지탈로 변환한 후 신호처리부의 입력에 적합한 포맷으로 변환하는 변환부(530)와, 전체 모듈의 동작을 제어하는 카메라 제어부(550)를 포함한다. In an exemplary embodiment, the camera unit 500 may include a
렌즈계(590)는 소형의 하나 혹은 복수의 렌즈로 구성되며, 빛을 집광하여 촬상부(510)에 공급한다. 촬상부(510)는 통상 CMOS 촬상소자 또는 CCD 촬상소자로 구성되며, 각 픽셀별로 빛을 전기적인 신호로 변환하여 클럭에 동기시켜 순차적으로 출력하는 공지의 소자이다. 변환부(530)는 촬상부(510)에서 출력되는 영상 밝기에 비례한 전류 또는 전압을 약간의 처리를 거쳐 디지탈 데이터로 변환하고, 이 데이터값을 YUV 형식으로 변환하여 출력한다. 또다른 실시예에 있어서, 변환부(530)는 주지된 카메라 모듈에 있어서와 같이, 촬영된 영상을 JPEG 포맷으로 압축하거나 MPEG 포맷으로 압축하는 코덱을 더 포함할 수 있다. The
본원발명에 있어서, 단말기 내부의 영상신호는 단일의 포맷으로 버스 상에서 유통되며, 일 실시예에 있어서 이 포맷은 YUV 포맷이다. 따라서 각각의 영상 처리 모듈들은 내부적인 출력을 YUV 형식으로 변환하여 출력하며, 내부적인 입력은 YUV 로 가정하여 처리한다. 카메라 제어부(550)는 외부로부터의 명령 데이터에 따라 내부 각 모듈의 동작을 제어한다. 카메라부(500)에 있어서, 카메라 제어부(550)는 마이크로프로세서로 구현될 수도 있고, 간단한 디지탈 로직으로 구성할 수도 있다. 외부와의 인터페이스 구성에 대해서는 이후에 상세히 설명한다. In the present invention, the video signal inside the terminal is distributed on the bus in a single format, which in one embodiment is the YUV format. Therefore, each image processing module converts the internal output into YUV format and outputs the internal input. The camera controller 550 controls the operation of each internal module according to command data from the outside. In the camera unit 500, the camera controller 550 may be implemented as a microprocessor or may be configured by simple digital logic. The interface configuration with the outside will be described later in detail.
일 실시예에 있어서, 티브이 수신부(700)는 안테나로부터 수신된 무선 방송 신호를 복조하는 튜너부(710)와, 복조된 방송 신호를 디코딩하여 디지탈 데이터로 출력하는 디코더부(730)와, 외부로부터의 제어 명령 신호에 따라 동작을 제어하는 티브이 제어부(750)를 포함한다. 티브이 수신부(700)는 공중파 신호를 수신하는 안테나를 구비한다. 이 안테나는 이동 통신용 안테나와 별도로 존재할 수도 있고, 스트립 패치 안테나 형태와 같은 경우에는 물리적으로 하나의 안테나로 공용될 수도 있다. In one embodiment, the TV receiver 700 includes a tuner unit 710 for demodulating the radio broadcast signal received from the antenna, a
튜너부(710)는 NTSC, PAL 과 같은 기존의 아날로그 방송용의 튜너 중의 하나이거나 또는 이들을 모두 지원하는 공용의 튜너일 수 있다. 또다른 실시예에 있어서, 튜너부(710)는 위성에 기초한 DMB(Digital Multimedia Broadcasting) 방식이나 와이어리스 랜에 기초한 멀티미디어 방송과 같은 이동통신용 멀티미디어 방송일 수 있다. The tuner unit 710 may be one of the existing analog broadcast tuners such as NTSC and PAL, or a common tuner that supports all of them. In another embodiment, the tuner 710 may be a multimedia broadcasting for mobile communication, such as a satellite based digital multimedia broadcasting (DMB) scheme or a wireless LAN based multimedia broadcasting.
도 3은 튜너부(710)의 일 실시예를 도시한다. 안테나로부터 수신된 무선 방송 신호는 UHF 필터(711)와 VHF 필터(712)를 거치면서 각각 UHF 대역의 신호와 VHF 대역의 신호로 분리된다. 각 대역의 신호는 각각의 LNA(Low Noise Amplifier)(713, 714)를 거치면서 필터링된다. 필터링된 신호는 PLL 아이씨(717)에 공급되어 국부발진주파수와 믹싱되어 1단계 복조된다. 이때 각각의 신호에 대한 중간주파수는 각 대역별 전압제어발진기(Voltage Controlled Oscillator)(715, 716)에서 공급된다. 이들 발진기의 발진 주파수는 채널 동조를 제어하는 도 2의 티브이 제어부(750)에서 제어된다. 1차 복조된 신호는 IF(Intermediate Frequency : 중간주파수) 신호처리부(725)에서 2차 복조되어 아날로그 영상신호 및 오디오 신호로 각각 영상 출력부(726) 및 음성 출력부(727)로 출력된다. 이때 IF 신호처리부는 채널 동조를 제어하는 도 2의 티브이 제어부(750)에서 제어된다. 또한 음성 출력부(727)의 출력 레벨, 즉 볼륨도 도 2의 티브이 제어부(750)에서 제어된다.3 illustrates one embodiment of a tuner portion 710. The radio broadcast signal received from the antenna passes through the UHF filter 711 and the VHF filter 712, and is separated into a signal of the UHF band and a signal of the VHF band, respectively. Signals in each band are filtered through their respective Low Noise Amplifiers (713, 714). The filtered signal is supplied to the
일 실시예에 있어서, 디코더부(730)는 영상 출력부(726)의 아날로그 영상 출력으로부터 디지탈 YUV 신호를 생성하여 출력한다. 디코더부의 동작은 티브이 제어부(750)에의해 제어된다. In one embodiment, the
일 실시예에 있어서, 신호처리부(300)는 제 1 영상신호 또는 제 2 영상신호를 택일적으로 입력받는 미디어 인터페이스부(355)와, 미디어 인터페이스부(355)로부터 입력되는 영신신호를 압축하거나 신호처리하는 영상처리부(321)와, 영상처리부(321)에서 처리된 영상신호를 표시데이터로 변환하여 출력하는 영상출력부(323)와, 카메라부(500)와 티브이 수신부(700)의 동작을 제어하는 버스 인터페이스부(353)와, 외부 모듈 및 신호처리부의 전체적인 동작을 제어하는 제어부(310)를 포함한다. In one embodiment, the signal processing unit 300 compresses or signals the media interface unit 355, which receives the first image signal or the second image signal, and the Youngshin signal input from the media interface unit 355. Controls the operations of the
미디어 인터페이스부(355)는 YUV 포맷의 8비트 영상 데이터를 수신하여 내부 메모리에서 버퍼링한다. 영상 처리부(321)는 격행주사 방식의 티브이 신호를 순차 주사 방식으로 변환하고, 이들을 표시장치의 해상도에 맞도록 보간(interpolation) 및/또는 추림(decimation)처리하여 스케일링하며, 추가로 내부 메모리로 영상 데이터를 저장하거나 압축해제하기 위한 코덱(CODEC)을 포함한다. 일 실시예에 있어서 코덱은 MPEG 인코더/디코더와, 캡쳐링된 영상 프레임을 정지영상으로 압축하여 저장하고 독출하기 위한 JPEG 인코더/디코더를 포함한다. 이들은 DSP와 코어에 의해 구현된다. 추가적으로 영상 처리부(321)는 화질 개선을 위한 선명도 향상회로와, 콘트라스트, 명암 조절 기능을 포함할 수 있다. 더 나아가 그래픽 효과를 부여하기 위한 간단한 몇 개의 필터 기능을 포함할 수 있다. The media interface unit 355 receives 8-bit image data in YUV format and buffers it in the internal memory. The
일 실시예에 있어서, 영상출력부(323)는 미디어 인터페이스부(355)에서 직접 또는 영상 처리부(321)에서 출력되는 영상 데이터를 16 비트의 RGB 데이터 포맷으로 표시부(270)에 출력한다. In an exemplary embodiment, the
이하에서는 도 2를 참조하여 미디어 신호처리에서 호스트 역할을 하는 신호처리부(300)의 카메라부(500) 및 티브이 수신부(700)의 제어 구성을 상세히 설명한다. Hereinafter, a control configuration of the camera unit 500 and the TV receiver 700 of the signal processor 300 serving as a host in media signal processing will be described in detail.
본 발명의 특징적인 양상에 따라 카메라부(500)는 신호처리부(300)로부터의 직렬버스 제어 신호를 수신하는 버스 인터페이스부(573)와, 버스인터페이스부(573)로부터 수신된 제어 신호에 따라 카메라부 전체의 동작을 제어하는 카메라 제어부(550)를 포함한다. According to a characteristic aspect of the present invention, the camera unit 500 includes a bus interface unit 573 for receiving a serial bus control signal from the signal processing unit 300 and a camera according to a control signal received from the bus interface unit 573. It includes a camera controller 550 for controlling the operation of the whole part.
본 발명의 특징적인 양상에 따라 티브이 수신부(700)는 신호처리부(300)로부터의 직렬버스 제어 신호를 수신하는 버스 인터페이스부(773)와, 버스인터페이스 부(773)로부터 수신된 제어 신호에 따라 동작을 제어하는 티브이 제어부(750)를 포함한다. According to a characteristic aspect of the present invention, the TV receiver 700 operates according to a bus interface unit 773 for receiving a serial bus control signal from the signal processor 300 and a control signal received from the bus interface unit 773. TV control unit 750 to control the.
본 발명의 특징적인 양상에 따라 신호처리부는 카메라부(500)로부터의 제 1 영상신호 또는 티브이 수신부(700)로부터의 제 2 영상신호를 택일적으로 입력받는 미디어 인터페이스부(355)와, 카메라부(500)와 티브이 수신부(700)의 동작을 제어하는 버스 인터페이스부(353)와, 버스 인터페이스부(353)를 통해 외부 모듈을 제어하는 제어부(310)를 포함한다. According to a characteristic aspect of the present invention, the signal processor includes a media interface unit 355 that alternatively receives the first image signal from the camera unit 500 or the second image signal from the TV receiver 700, and the camera unit. And a bus interface unit 353 for controlling the operation of the TV receiver 700 and a
이때 추가적인 양상에 따라 신호처리부(300)의 제어부(310)는 티브이 수신부(700)의 튜너부(710) 및 디코더부(730)를 복수의 주소 할당에 의해 개별적으로 액세스하도록 버스 인터페이스부(353)를 제어한다. At this time, according to an additional aspect, the
신호처리부(300)가 카메라부(500) 또는 티브이 수신부(700)를 칩 실렉트 로직에 의해 선택하면, 신호처리부(300)의 제어부(310)는 버스 인터페이스부(353)를 통해 이들 모듈들의 동작 환경을 설정하거나 동작 중에도 버스 인터페이스부(353)를 통해 각각의 모듈의 동작을 제어한다. 일 실시예에 있어서, 버스 인터페이스부(353, 573, 773)의 통신 인터페이스는 I2C 버스이다. 일 실시예에 있어서, 카메라부(500)의 촬영 동작, 밝기 조절 동작, 해상도 등에 각각 하나씩의 주소가 할당되고, 티브이 수신부(700)에서 채널 선국, 오디오 출력레벨, 디코더 동작에 각각 하나씩의 주소가 할당될 수 있다. 제어부(310)는 버스 인터페이스부(353)를 통해 이들 주소에 제어 명령을 기록함으로써 카메라를 촬영한다든지, 카메라의 밝기를 조절한다든지, 촬영된 영상의 해상도를 설정한다든지 하는 동작을 제어할 수 있다. 나아가 제어부(310)는 버스 인터페이스부(353)를 통해 이들 주소에 제어 명령을 기록함으로써 티브이 채널을 바꾼다든지, 볼륨을 조정한다든지, 출력되는 영상의 포맷을 바꾼다든지 하는 동작을 제어할 수 있다. When the signal processing unit 300 selects the camera unit 500 or the TV receiving unit 700 by chip select logic, the
이들 제어에 의해 카메라부(500)에서 변환부(530)를 거쳐 출력되는 영상신호나 티브이수신부(700)의 디코더부(730)에서 출력되는 영상신호는 동일한 8비트 YUV 포맷의 신호이므로 신호처리부(300)의 미디어 인터페이스부(355)에서 입력되어 동일한 영상처리부(321)나 영상출력부(323)에서 처리될 수 있다. The video signal output from the camera unit 500 through the
이하에서는 본 발명의 특징적인 양상에 따른 신호처리부(300)의 동작에 대해 좀 더 상세히 설명한다. 먼저 폴더 개폐에 의해 주표시부(275) 및 부표시부(277)에 선택적으로 표시하는 실시예의 동작에 대해 설명한다. 폴더가 열린 상태에서 사용자에 의해 티브이 시청이 선택되고 시청 채널이 선택되면, 시스템 제어부(130)는 I2C 버스를 통해 신호처리부(300)로 해당 채널로의 재생을 지시한다. 신호처리부(300)의 버스 인터페이스부(353)는 이를 수신하며, 제어부(310)가 이 명령을 해석하여 필요한 제어를 행한다. 이에 따라 영상처리부(321)의 동작이 결정된다. 한편, 제어부(310)는 버스 인터페이스부(353)를 I2C 슬레이브 모드에서 I2C 호스트 모드로 전환한 후 티브이 수신부(700)로 채널 동조를 명령한다. 티브이 수신부(700)의 버스 인터페이스부(773)는 이 명령을 수신하며, 티브이 제어부(750)는 이 명령을 해석하여 튜너부(710)의 전압제어발진기들(715, 716)과 중간주파 신호처 리부(725) 등을 제어하여 해당 채널로 티브이 방송 신호를 동조시켜 복조한다. 복조된 영상 신호는 디코더부(730)에서 디코딩되어 디지탈 YUV 신호로 변환된다. Hereinafter, the operation of the signal processor 300 according to the characteristic aspect of the present invention will be described in more detail. First, the operation of the embodiment selectively displayed on the
이 신호는 버스를 통해 신호처리부(300)의 미디어 인터페이스부(355)로 입력된다. 영상처리부(321)는 제어부(310)의 제어에 따라 입력된 격행 주사 방식의 영상 신호를 순차주사 방식의 영상신호로 변환한 후 주표시부(275)의 해상도에 맞도록 보간(interpolation)/추림(decimation) 처리를 통해 스케일링한다. 스케일링된 영상은 선택적으로 밝기조절, 대비조절, 화질 개선 등의 처리를 거친 후 영상처리부(321)에서 출력되어 영상 출력부(323)로 공급된다. 영상 출력부(323)는 입력된 영상신호를 주표시부(275)에서 입력받는 포맷인 16비트의 RGB 영상신호로 변환하여 주표시부(275)로 공급한다. 표시구동부(271)에는 표시 메모리가 구비되며, 영상 출력부(323)는 16 비트 병렬 버스를 통해 이 메모리에 표시 데이터를 순차 기록함으로써 영상 표시를 처리한다. This signal is input to the media interface unit 355 of the signal processing unit 300 via the bus. The
한편, 이때 폴더가 닫히면, 시스템 제어부(130)는 I2C 버스를 통해 신호처리부(300)로 부표시부(277)로의 재생을 지시한다. 신호처리부(300)의 버스 인터페이스부(353)는 이를 수신하며, 제어부(310)가 이 명령을 해석하여 필요한 제어를 행한다. 이에 따라 영상처리부(321)의 동작이 결정된다. 티브이 수신부(700)는 동일한 처리를 계속한다. On the other hand, when the folder is closed at this time, the system controller 130 instructs the signal processing unit 300 to reproduce the
티브이 수신부(700)에서 출력 신호는 버스를 통해 신호처리부(300)의 미디어 인터페이스부(355)로 입력된다. 영상처리부(321)는 제어부(310)의 제어에 따라 입 력된 격행 주사 방식의 영상 신호를 순차주사 방식의 영상신호로 변환한 후 부표시부(277)의 해상도에 맞도록 보간(interpolation)/추림(decimation) 처리를 통해 스케일링한다. 스케일링된 영상은 선택적으로 밝기조절, 대비조절, 화질 개선 등의 처리를 거친 후 영상처리부(321)에서 출력되어 영상 출력부(323)로 공급된다. 영상 출력부(323)는 입력된 영상신호를 부표시부(277)에서 입력받는 포맷인 16비트의 RGB 영상신호로 변환하여 부표시부(277)로 공급한다. 표시구동부(273)에는 표시 메모리가 구비되며, 영상 출력부(323)는 16 비트 병렬 버스를 통해 이 메모리에 표시 데이터를 순차 기록함으로써 부표시부(277)로의 영상 표시를 처리한다. The output signal from the TV receiver 700 is input to the media interface unit 355 of the signal processor 300 via a bus. The
따라서 영상 출력부(323)는 메모리 맵의 구분에 의해 표시구동부(271)와 표시구동부(273)를 구분하거나, 또는 칩 실렉트 로직에 의해 두 표시화면을 구분할 수 있다. Accordingly, the
다음으로 폴더 개폐에 상관 없이 주표시부(275) 및 부표시부(277)에 동시에 영상이 표시되는 실시예의 동작에 대해 설명한다. 폴더가 열린 상태에서 사용자에 의해 티브이 시청이 선택되고 시청 채널이 선택되면, 시스템 제어부(130)는 I2C 버스를 통해 신호처리부(300)로 해당 채널로의 재생을 지시한다. 신호처리부(300)의 버스 인터페이스부(353)는 이를 수신하며, 제어부(310)가 이 명령을 해석하여 필요한 제어를 행한다. 이에 따라 영상처리부(321)의 동작이 결정된다. 한편, 제어부(310)는 버스 인터페이스부(353)를 I2C 슬레이브 모드에서 I2C 호스트 모드로 전환한 후 티브이 수신부(700)로 채널 동조를 명령한다. 이후의 티브이 수신부(700)의 동작은 이전 실시예와동일하다. 복조된 영상 신호는 디코더부(730)에서 디코딩되어 디지탈 YUV 신호로 변환된다. Next, an operation of the embodiment in which an image is simultaneously displayed on the
이 신호는 버스를 통해 신호처리부(300)의 미디어 인터페이스부(355)로 입력된다. 일 실시예에 있어서, 영상처리부(321)는 제어부(310)의 제어에 따라 입력된 격행 주사 방식의 영상 신호를 순차주사 방식의 영상신호로 변환하고, 휘도, 대비, 선명도 등의 처리를 수행한 후, 먼저 영상을 주표시부(275)의 해상도에 맞도록 스케일링 한 후 주표시부(275)의 표시구동부(271)로 영상을 출력하고, 다음에는 영상을 부표시부(277)의 해상도에 맞도록 스케일링 한 후 부표시부(277)의 표시구동부(273)로 영상을 출력하는 과정을 반복한다. This signal is input to the media interface unit 355 of the signal processing unit 300 via the bus. In one embodiment, the
바람직한 일 실시예에 있어서, 티브이 수신부(700)로부터 입력된 영상은 미디어 인터페이스부(355)에서 버퍼링되며, 영상처리부(321)는 동일한 프레임을 한 번은 주표시부(275)로 표시하도록 영상처리부(321)와 영상출력부(323)를 제어하고, 한번은 부표시부(277)로 표시하도록 영상처리부(321)와 영상출력부(323)를 제어한다. 이때 이 같은 2회의 표시는 NTSC 한 프레임 간격인 1/30 초 이내에 수행되어야 한다. 이에 의해 주화면과 부화면에 모두 자연스러운 영상 출력이 가능하다. In an exemplary embodiment, the image input from the TV receiving unit 700 is buffered by the media interface unit 355, and the
한편, 일반적으로 NTSC 방식의 티브이 신호는 60필드, 30 프레임이지만 액정화면의 경우 초당 24프레임 정도의 처리로 충분하다. 따라서 위 실시예에 있어서 24/30 = 4/5 이므로 5 프레임으로부터 공통적인 4 프레임을 먼저 생성하여 이 4 프레임씩을 이용하여 주화면 및 부화면에 모두 초당 24 프레임씩만 출력한다면 보다 여유있게 처리를 할 수 있다. On the other hand, in general, NTSC TV signal is 60 fields, 30 frames, but in the case of LCD screen, 24 frames per second is enough. Therefore, in the above embodiment, since 24/30 = 4/5, if a common 4 frame is generated first from 5 frames, and outputs only 24 frames per second to both the main screen and the sub screen using the 4 frames, the processing can be more easily performed. Can be.
또다른 실시예에서, 먼저 30 프레임 중에서 프레임간 추림 처리를 통해 초당 24 프레임을 선택한다. 이는 24/30 = 4/5 이므로 가장 간단한 실시예에서 5 프레임 중 하나를 스킵함에 의해 하게 달성될 수 있다. 다음으로 이 24 프레임들의 각 프레임에 대해 주표시부(275)의 해상도에 맞게 스케일링하여 주표시부(275)의 표시구동부(271)로 한번 출력하고, 부표시부(277)의 해상도에 맞게 스케일링하여 부표시부(277)의 표시구동부(273)로 한번 출력한다. In another embodiment, first, 24 frames are selected from among 30 frames through an interframe dropping process. This can be achieved by skipping one of the five frames in the simplest embodiment since 24/30 = 4/5. Next, each frame of the 24 frames is scaled to match the resolution of the
그러나 본 발명은 이에 한정되지 않으며, 예를 들어 주표시부(275)에는 보다 많은 프레임을 할당하고, 부표시부(277)에는 상대적으로 적은 프레임율을 할당하여 처리할 수도 있다. However, the present invention is not limited thereto. For example, more frames may be allocated to the
본 발명의 특징적인 양상에 따라 주표시부(275) 및 부표시부(277)로 동시에 화면이 출력되는 실시예에 있어서, 영상처리부(321)는 부표시부(277)로 출력되는 영상에 대해 영상을 상하대칭 처리하여 뒤집어진 영상을 출력한다. 이 같은 처리는 당해 분야에서 주지된 것이므로 상세한 설명은 생략한다. 본 발명의 이 같은 양상에 따라 두 명의 사용자가 한 명은 주표시부(275)의 화면을 통해 시청하고, 다른 한 명은 부표시부(277)의 화면을 통해 시청하는 것이 가능하다. In an embodiment in which a screen is simultaneously output to the
티브이 수신부(700)는 동일한 처리를 계속한다. 영상 출력부(323)는 입력된 영상신호를 주표시부(271) 또는 부표시부(277)에서 입력받는 포맷인 16비트의 RGB 영상신호로 변환하여 각각의 표시구동부들(271,273)의 표시 메모리들로 순차 기록한다. The TV receiving unit 700 continues the same process. The
따라서 영상 출력부(323)는 메모리 맵의 구분에 의해 표시구동부(271)와 표 시구동부(273)를 구분하거나 또는 칩 실렉트 로직에 의해 두 표시화면을 구분할 수 있다. Accordingly, the
이상에서 상세히 설명한 바와 같이 본 발명에 따른 단말기는 티브이 수신이 가능한 이동통신 단말기에 있어서, 수신하여 획득한 영상을 주표시부 및 부표시부에 동시에 표시할 수 있다. 이에 따라 두 명이 동시에 마주보고 티브이를 즐길 수 있는 효과가 있다. As described in detail above, the terminal according to the present invention may display a received image obtained in the main display unit and the sub display unit simultaneously in a mobile communication terminal capable of TV reception. As a result, two people can face each other and enjoy TV.
나아가 본 발명에 따른 이동통신 단말기는 영상처리 경로와 별도로 동작 제어를 위한 버스를 구비하여, 복잡한 모듈들의 제어를 통일적으로 수행할 수 있어 시스템 설계나 기능 추가, 설계변경이 용이하다는 장점을 갖는다. Furthermore, the mobile communication terminal according to the present invention has a bus for controlling the operation separately from the image processing path, and thus can control the complicated modules uniformly, so that system design, function addition, and design change can be easily performed.
이상에서 본 발명은 바람직한 실시예들을 참조하여 설명되었지만 여기에 한정되는 것은 아니며, 본 발명의 범주를 벗어남이 없이 당업자라면 자명하게 도출가능한 많은 변형예들을 포괄하도록 의도된 첨부된 특허청구범위에 의하여 해석되어져야 한다. The present invention has been described above with reference to preferred embodiments, but is not limited thereto, and is interpreted by the appended claims, which are intended to cover many variations that will be apparent to those skilled in the art without departing from the scope of the present invention. Should be done.
Claims (12)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020030091971A KR100580076B1 (en) | 2003-12-16 | 2003-12-16 | mobile terminal capable of displaying received television signal both on a main display and on a sub display |
US11/010,626 US20050130703A1 (en) | 2003-12-16 | 2004-12-14 | Mobile terminal displaying TV image on both main and sub display units |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020030091971A KR100580076B1 (en) | 2003-12-16 | 2003-12-16 | mobile terminal capable of displaying received television signal both on a main display and on a sub display |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20050060367A KR20050060367A (en) | 2005-06-22 |
KR100580076B1 true KR100580076B1 (en) | 2006-05-16 |
Family
ID=37253079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020030091971A KR100580076B1 (en) | 2003-12-16 | 2003-12-16 | mobile terminal capable of displaying received television signal both on a main display and on a sub display |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100580076B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101008629B1 (en) * | 2003-12-22 | 2011-01-17 | 엘지전자 주식회사 | DMB receiver which also serves as a mobile phone |
KR100755988B1 (en) * | 2005-10-31 | 2007-09-07 | 엘지전자 주식회사 | A digital broadcasting terminal and a display method thereof |
-
2003
- 2003-12-16 KR KR1020030091971A patent/KR100580076B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR20050060367A (en) | 2005-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9836267B2 (en) | Image/audio playback device of mobile communication terminal | |
US6459906B1 (en) | Method and system for displaying received messages of portable television (TV) phone | |
US20070265031A1 (en) | Mobile Phone, Display Method, and Computer Program | |
US20140380385A1 (en) | Digital Broadcast Receiver | |
KR100591810B1 (en) | a mobile terminal capable of outputing video signals received by its integrated TV module | |
US20050140790A1 (en) | Mobile communication terminal equipped with TV reception function | |
US20050130703A1 (en) | Mobile terminal displaying TV image on both main and sub display units | |
KR100580076B1 (en) | mobile terminal capable of displaying received television signal both on a main display and on a sub display | |
KR100591811B1 (en) | mobile terminal capable of reproducing television signals of diffenent channels on a main display and on a sub display | |
KR100563738B1 (en) | mobile terminal capable of reproducing television signal | |
KR100591808B1 (en) | mobile terminal with integrated camera module and television receiver module | |
KR100620714B1 (en) | Mobile communication terminal for providing function of composing image | |
KR100604571B1 (en) | mobile terminal with integrated camera module and television receiver module | |
KR100713355B1 (en) | Device and method for displaying multivision in mobile telephone | |
KR100591809B1 (en) | a mobile terminal capable of reproducing a television signal or a FM radio signal | |
US20060152637A1 (en) | Image display apparatus capable of analog/digital tuning with digital television tuner and analog/digital tuning method thereof | |
KR100319272B1 (en) | Method for displying infomation in a television phone | |
JP4525548B2 (en) | Mobile terminal device, broadcast data receiving system, and broadcast data output method | |
KR100632098B1 (en) | Mobile communication terminal having function of television and radio | |
KR100645163B1 (en) | Apparatus and method for scaling a part of tv image in a mobile phone | |
KR100645224B1 (en) | A mobile terminal with speed-light and broadcasting receiver module | |
KR20050092620A (en) | Apparatus for displaying receiving power of broadcasting signal in mobile communication unit | |
KR20050093310A (en) | Method for user interface of mobile communication unit having function of broadcast signal receiving | |
KR100933207B1 (en) | Audio setting method and apparatus in digital television receiver | |
KR20050093522A (en) | A mobile terminal with speed-light and broadcasting receiver module |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130430 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20140430 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20150429 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20160517 Year of fee payment: 11 |
|
LAPS | Lapse due to unpaid annual fee |