KR20070010419A - Method and device for embodying osd by employing preview memory - Google Patents
Method and device for embodying osd by employing preview memory Download PDFInfo
- Publication number
- KR20070010419A KR20070010419A KR1020050064964A KR20050064964A KR20070010419A KR 20070010419 A KR20070010419 A KR 20070010419A KR 1020050064964 A KR1020050064964 A KR 1020050064964A KR 20050064964 A KR20050064964 A KR 20050064964A KR 20070010419 A KR20070010419 A KR 20070010419A
- Authority
- KR
- South Korea
- Prior art keywords
- osd
- preview
- image
- information
- image data
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
도 1은 종래 기술에 따른 OSD 실행 방법을 나타낸 도면.1 is a view showing a method of executing an OSD according to the prior art.
도 2는 본 발명의 바람직한 일 실시예에 따른 프리뷰 및 OSD를 실행하는 영상 장치의 구성을 도시한 구성도.2 is a block diagram showing a configuration of an image device for executing a preview and an OSD according to an embodiment of the present invention.
도 3은 본 발명의 바람직한 일 실시예에 따른 프리뷰 이미지와 OSD 이미지가 디스플레이된 상태를 예시한 도면.3 is a diagram illustrating a state in which a preview image and an OSD image are displayed according to an exemplary embodiment of the present invention.
도 4는 본 발명의 바람직한 일 실시예에 따른 프리뷰 메모리를 이용하여 OSD를 실행하는 방법을 나타낸 도면.4 illustrates a method of executing an OSD using a preview memory according to an exemplary embodiment of the present invention.
도 5a는 본 발명의 바람직한 일 실시예에 따른 프리뷰 영역의 픽셀의 구성을 나타낸 도면.5A is a diagram illustrating a pixel configuration of a preview area according to an exemplary embodiment of the present invention.
도 5b는 본 발명의 바람직한 일 실시예에 따른 OSD 영역의 픽셀의 구성을 나타낸 도면.5B is a diagram illustrating a pixel configuration of an OSD region according to an exemplary embodiment of the present invention.
도 6은 본 발명의 바람직한 일 실시예에 따른 OSD의 칼라 값을 갖는 팔레트를 나타낸 도면.6 illustrates a palette having color values of the OSD in accordance with one preferred embodiment of the present invention.
도 7은 본 발명의 바람직한 일 실시예에 따른 프리뷰 실행 중 OSD를 실행하 는 과정을 나타낸 도면.7 is a view showing a process of executing an OSD during preview execution according to an embodiment of the present invention.
<도면의 주요 부분에 대한 부호 설명><Description of the symbols for the main parts of the drawings>
210 : 촬상부210: imaging unit
220 : 프리뷰 메모리220: preview memory
230 : 레지스터230: register
240 : 이미지 저장부240: image storage unit
250 : 출력부250: output unit
260 : 입력부260: input unit
270 : 제어부270 control unit
본 발명은 OSD(On Screen Display) 실행 방법 및 장치에 관한 것으로서, 좀 더 상세하게는 별도의 메모리 없이 프리뷰(preview) 메모리를 이용하여 OSD를 실행하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for executing an On Screen Display (OSD), and more particularly, to a method and apparatus for executing an OSD using a preview memory without a separate memory.
근래의 대부분의 카메라 또는 캠코더 등의 영상 장치는 미리보기 기능인 프리뷰(preview) 기능을 제공한다. 또한, 프리뷰 실행 도중에 케이블 연결, 사진 삭제, 메뉴 등에 대한 정보를 제공하기 위한 OSD 기능이 제공된다. 따라서, 화면에 미리보기 이미지와 OSD 이미지가 함께 출력되며, 이에 따른 메모리 사용의 효율성이 요구되고 있다.Most modern imaging devices such as cameras or camcorders provide a preview function, which is a preview function. In addition, an OSD function is provided to provide information on cable connection, picture deletion, menu, etc. during the preview. Therefore, a preview image and an OSD image are output together on the screen, thereby requiring the efficiency of memory usage.
종래 기술에 따르면, 프리뷰 전체 영역에 걸쳐 OSD를 수행할 필요가 있을 경우에 프리뷰와 같은 크기의 OSD를 위한 메모리 공간이 필요했다. 이하 도면을 참조하여 종래기술을 개략적으로 설명하기로 한다.According to the prior art, when it is necessary to perform the OSD over the entire preview area, a memory space for the OSD of the same size as the preview is required. Hereinafter, the prior art will be described with reference to the accompanying drawings.
도 1은 종래 기술에 따른 OSD 실행 방법을 나타낸 도면이다.1 is a view showing a method of executing an OSD according to the prior art.
도 1에 따르면, 종래 기술에 따른 OSD 실행 방법은, 프리뷰를 위한 메모리 영역과 OSD를 위한 메모리 영역이 별도로 필요하였다. 통상적으로, OSD 영역의 각 픽셀(예를 들어, 16비트)(50)은 OSD의 투명도에 대한 정보를 갖는 OSD 영역 정보와, 색에 대한 정보를 갖는 R, G, B(Red, Green, Blue) 정보를 갖는다.According to FIG. 1, the OSD execution method according to the related art requires a memory area for preview and a memory area for OSD separately. Typically, each pixel (e.g., 16 bits) 50 of the OSD
종래 기술에 따르면, 프리뷰 이미지와 OSD 이미지를 위한 메모리 영역이 별도로 필요하였으므로, 프리뷰 이미지가 메모리의 반을 넘지 않은 경우(10)에는 상관없으나, 프리뷰의 크기가 커서 전체 메모리의 반을 넘을 경우(30)에는 남은 메모리만으로 프리뷰 전체 영역에 OSD를 실행할 수 없는 문제점이 있다. 종래 기술에 따르면, 상기와 같은 문제점을 해결하기 위해서는 별도의 OSD 메모리를 구비하거나, 전체 메모리의 반을 넘지 않는 프리뷰만을 제공해야 하므로. 이는 메모리의 효율성을 떨어뜨리게 되는 문제점이 있다.According to the related art, since the memory areas for the preview image and the OSD image are separately required, it does not matter if the preview image is not more than half of the memory (10), but if the preview size is larger than half of the entire memory (30) ) Has a problem that the OSD cannot be executed in the entire preview area using only the remaining memory. According to the prior art, in order to solve the above problems, it is necessary to provide a separate OSD memory or provide only a preview not more than half of the total memory. This is a problem that reduces the efficiency of the memory.
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, OSD를 위한 별도의 메모리 공간이 필요 없이, 프리뷰를 위한 메모리 공간만을 사용하여 OSD를 실행함으로써 메모리의 효율성을 높일 수 있는 OSD 실행 방법 및 장치를 제공하는데 그 목적이 있다.Accordingly, the present invention has been made to solve the above-described problem, and does not require a separate memory space for the OSD, OSD implementation method that can increase the efficiency of the memory by executing the OSD using only the memory space for preview and The purpose is to provide a device.
본 발명의 다른 목적은 프리뷰 이미지와 OSD 이미지를 표시하기 위해 요구되는 메모리 영역의 크기를 최소화할 수 있고, 프리뷰 이미지 및 OSD 이미지의 크기를 제한할 필요가 없는 OSD 실행 방법 및 장치를 제공하는데 그 목적이 있다.Another object of the present invention is to provide a method and apparatus for executing an OSD, which can minimize the size of a memory area required for displaying the preview image and the OSD image, and does not need to limit the size of the preview image and the OSD image. There is this.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.Other objects of the present invention will become more apparent through the preferred embodiments described below.
상술한 목적을 달성하기 위한 본 발명의 일측면에 따르면, 영상 장치에서 OSD를 실행하는 방법에 있어서, OSD 실행 명령을 입력받는 단계; 상기 OSD 실행 명령에 상응하는 OSD 이미지 데이터를 포함하는 OSD 이미지 정보를 이미지 저장부로부터 추출하는 단계; 상기 OSD 이미지 정보를 이용하여 프리뷰 이미지 데이터에 대응되는 OSD 영역을 인식하고, 상기 OSD 영역에 따라 구분된 각 영역에 상응하도록 상기 프리뷰 이미지 데이터 및 상기 OSD 이미지 데이터의 각 픽셀 값을 상기 프리뷰 메모리에 로딩하는 단계; 및 상기 프리뷰 메모리에 로딩된 각 픽셀 값에 상응하도록 디스플레이 하는 단계를 포함하는 프리뷰 메모리를 이용한 OSD 실행 방법 및 그 방법을 기록한 기록매체가 제공된다.According to an aspect of the present invention for achieving the above object, a method for executing an OSD in the image device, comprising: receiving an OSD execution command; Extracting OSD image information from the image storage unit including OSD image data corresponding to the OSD execution command; Recognizing an OSD region corresponding to preview image data using the OSD image information, and loading the preview image data and each pixel value of the OSD image data into the preview memory to correspond to each region divided according to the OSD region. Making; And a method of executing the OSD using the preview memory and displaying the recording medium corresponding to each pixel value loaded in the preview memory.
여기서, 상기 OSD 이미지 정보에 포함된 영역 정보를 이용하여 상기 OSD 영 역을 인식할 수 있으며, 상기 OSD 영역의 각 픽셀값은 상기 프리뷰 이미지 데이터 및 상기 OSD 이미지 데이터에 대한 정보를 포함할 수 있다.Here, the OSD region may be recognized using region information included in the OSD image information, and each pixel value of the OSD region may include the preview image data and the information about the OSD image data.
또한, 상기 프리뷰 메모리에 기 저장된 프리뷰 이미지 데이터를 출력하는 도중인 경우, OSD 실행 명령을 입력받는 단계는, 상기 프리뷰 이미지 데이터의 출력을 중단하는 단계; 및 OSD 레지스터 비트를 셋(set)하는 단계를 더 포함할 수 있다.In addition, when the preview image data previously stored in the preview memory is being output, the step of receiving an OSD execution command may include: stopping output of the preview image data; And setting the OSD register bits.
또한, 상기 OSD 영역의 각 픽셀은 상기 OSD 이미지의 투명도 정보 및 팔레트 정보 중 적어도 하나에 상응하는 타입정보, 상기 OSD 이미지 데이터의 칼라 정보, 상기 프리뷰 이미지 데이터의 칼라정보 및 상기 OSD 영역임을 인식할 수 있는 OSD 영역 정보를 포함할 수 있다.In addition, each pixel of the OSD region may be recognized as type information corresponding to at least one of transparency information and palette information of the OSD image, color information of the OSD image data, color information of the preview image data, and the OSD region. OSD area information may be included.
또한, 상기 프리뷰 메모리에 로딩된 각 픽셀 값에 상응하도록 디스플레이 하는 단계는, 출력될 각 픽셀의 미리 설정된 OSD 영역 정보를 갖는 비트를 통해 OSD 영역인지의 여부를 판단하는 단계를 더 포함할 수 있다. 또한, 판단 결과, 상기 OSD 영역에 해당하는 경우, 상기 타입 정보에 상응하는 팔레트를 인식하는 단계; 상기 OSD 이미지의 칼라 정보에 대응되는 상기 팔레트의 인덱스를 인식하여 상응하는 칼라 값을 추출하는 단계; 및 상기 칼라 값에 대응되도록 출력하는 단계를 더 포함할 수 있다.The displaying of the pixel corresponding to each pixel value loaded in the preview memory may further include determining whether the image is an OSD region through bits having preset OSD region information of each pixel to be output. The method may further include: recognizing a palette corresponding to the type information when it corresponds to the OSD region; Recognizing an index of the palette corresponding to color information of the OSD image and extracting a corresponding color value; And outputting to correspond to the color value.
또한, 상기 OSD 이미지의 칼라정보는 상기 프리뷰 이미지의 원시 R,G,B 값 중 미리 지정된 비트를 추출하여 설정될 수 있다.The color information of the OSD image may be set by extracting a predetermined bit among raw R, G, and B values of the preview image.
상술한 목적을 달성하기 위한 본 발명의 다른 일측면에 따르면, OSD를 실행하는 영상 장치에 있어서, 적어도 하나의 OSD 이미지 데이터를 포함하는 이미지 정보를 저장하는 이미지 저장부; 프리뷰 및 OSD 실행을 위해 프리뷰 이미지 데이터 및 OSD 이미지 데이터에 상응하는 픽셀 값에 따른 데이터를 로딩받는 프리뷰 메모리; OSD 실행 명령을 입력받는 입력부; 상기 입력부를 통해 입력된 OSD 실행 명령에 따라, 해당 OSD 이미지 정보를 상기 이미지 저장부로부터 추출하고, 상기 OSD 이미지 정보를 이용하여 함께 출력될 프리뷰 이미지 데이터에 대응되는 OSD 영역을 인식하고, 상기 OSD 영역에 따라 구분된 각 영역에 상응하도록 상기 프리뷰 이미지 데이터 및 상기 OSD 이미지 데이터의 각 픽셀 값을 상기 프리뷰 메모리에 로딩하는 제어부; 및 상기 제어부의 제어에 따라 프리뷰 메모리에 로딩된 픽셀 값에 상응하는 이미지를 디스플레이하는 출력부를 포함하는 프리뷰 메모리를 이용한 OSD 실행 장치가 제공된다.According to another aspect of the present invention for achieving the above object, an image device for executing an OSD, comprising: an image storage unit for storing image information including at least one OSD image data; A preview memory configured to load data according to the preview image data and pixel values corresponding to the OSD image data for preview and OSD execution; An input unit to receive an OSD execution command; According to the OSD execution command input through the input unit, the OSD image information is extracted from the image storage unit, and the OSD region corresponding to the preview image data to be output together using the OSD image information, and the OSD region A controller configured to load the preview image data and each pixel value of the OSD image data into the preview memory so as to correspond to each of the divided areas; And an output unit configured to display an image corresponding to a pixel value loaded in the preview memory under the control of the controller.
여기서, 상기 OSD 실행 명령에 상응하여 상기 제어부의 제어에 따라 셋(set)되는 OSD 레지스터 비트가 할당된 레지스터를 더 포함할 수 있다. The apparatus may further include a register to which an OSD register bit is set, which is set under the control of the controller in response to the OSD execution command.
이하, 본 발명의 바람직한 실시예에 따른 프리뷰 메모리를 이용한 OSD 실행 방법 및 장치를 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 상관없이 동일하거나 대응하는 구성요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, a method and apparatus for executing an OSD using a preview memory according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings, and in the following description with reference to the accompanying drawings, the same or corresponding configuration regardless of the reference numerals. Elements are given the same reference numerals and redundant description thereof will be omitted.
도 2는 본 발명의 바람직한 일 실시예에 따른 프리뷰 및 OSD를 실행하는 영상 장치의 구성을 도시한 구성도이다.2 is a block diagram illustrating a configuration of an image device for executing a preview and an OSD according to an exemplary embodiment of the present invention.
도 2를 참조하면, 본 발명에 따른 영상 장치는 촬상부(210), 프리뷰 메모리(220), 레지스터(230), 이미지 저장부(240), 출력부(250), 입력부(260) 및 제어부(270)를 포함한다.Referring to FIG. 2, the imaging apparatus according to the present invention includes an
촬상부(210)는 이미지 또는 영상(이하, 이미지로 통일)을 촬상하는 기능을 수행한다. 촬상부(210)는 예를 들어 렌즈, 이미지 처리 모듈 등을 포함하여 구성될 수 있다. 촬상부(210)를 통해 인식되는 이미지는 실시간으로 프리뷰 이미지로써 출력부(250)를 통해 프리뷰될 수 있으며, 또한 촬상부로부터 촬상된 이미지는 이미지 저장부(240)에 저장된 이후에 프리뷰 이미지로 사용될 수 있다. 즉, 여기서 프리뷰란 이미지 촬상시의 미리보기 기능과, 촬상된 사진의 화면 출력을 포함한다.The
프리뷰 메모리(220)는 프리뷰 및 OSD 실행을 위해 프리뷰 이미지 및 OSD 이미지에 상응하는 데이터를 임시 저장(즉, 출력되기 위해 로딩되는 것)하는 기능을 수행한다. 본 발명에 따른 프리뷰 메모리(220)에 프리뷰 이미지 및 OSD 이미지의 저장방식은 관련 도면을 참조하여 후술하기로 한다.The
레지스터(230)는 제어부(270)의 동작을 위한 임시 저장장치의 기능을 수행하며, 본 발명에 따른 OSD 실행 방식의 실행을 위한 OSD 레지스터 비트가 할당된다. 즉, OSD가 실행되면 OSD 레지스터 비트가 셋(set)되어, OSD의 출력 여부를 제어부(270)가 인식할 수 있다. 즉, OSD 레지스터 비트를 통해 OSD의 실행 여부를 인식할 수 있으며, 그에 상응하는 출력방식으로 프리뷰 메모리(220)에 저장된 데이터를 출 력부(250)를 통해 출력한다.The
이미지 저장부(240)는 OSD 이미지 또는 촬상부로부터 촬상된 이미지를 저장하는 기능을 수행한다. 이미지 저장부(240)에 저장되는 OSD 이미지는 이미지의 칼라 정보 뿐만 아니라, OSD이미지가 출력되는 영역 정보(즉, 프리뷰 이미지 상의 위치 정보)를 함께 가질 수 있다. 즉, 통상적으로 OSD는 전체 화면에 출력되기 보다는 프리뷰 화면 중 일부분에만 출력되는 이미지이므로, 본 발명에 따른 OSD 실행 방법에 따라, OSD 이미지는 제어부(270)가 OSD의 영역을 인식할 수 있는 데이터 구조로 형성되거나, 별도의 영역 정보가 함께 이미지 저장부(240)에 저장되는 것이 바람직하다.The
예를 들어, OSD 이미지 영역과 그 외의 영역이 구분될 수 있도록 각 픽셀별로 별도의 구별정보를 가지도록 형성되거나, OSD 이미지 영역에 대한 영역 정보를 가지는 것이다.For example, the pixels may be formed to have separate distinguishing information for each pixel so that the OSD image area and other areas can be distinguished or have area information on the OSD image area.
출력부(250)는 제어부(270)의 제어에 따라 프리뷰 메모리(220)에 로딩된 데이터에 상응하는 이미지를 디스플레이하는 기능을 수행한다. 프리뷰 메모리(220)에 로딩되는 이미지의 칼라 정보가 R,G,B 일 경우에는 R,G,B 테이블을 통해 해당 칼라를 출력하고, 팔레트(palette)를 이용한 방식일 경우에는 해당 팔레트를 통해 해당 칼라를 출력한다. 팔레트를 이용하여 칼라 정보를 설정하는 방법 및 해당 칼라를 인식하는 방법에 대해서는 관련 도면을 참조하여 후술하기로 한다. The
입력부(260)는 사용자로부터 프리뷰 또는 OSD 실행 명령을 입력받는 기능을 수행한다. 실행 명령은 임의의 기능 버튼, 음성 인식 등을 통해 입력될 수 있으며, 이외에도 모든 입력수단이 적용될 수 있음은 자명하다.The
제어부(270)는 상술한 각 구성 요소들의 작동을 제어하는 기능을 수행하며, 특히 OSD 실행에 따른 OSD 이미지를 이미지 저장부(240)로부터 추출하여 본 발명에 따른 저장 방식에 따라 프리뷰 메모리(220)에 프리뷰 이미지와 함께 로딩(loading)하는 기능을 수행하며, 출력부(250)를 통해 해당 이미지를 출력한다.The
도 3은 본 발명의 바람직한 일 실시예에 따른 프리뷰 이미지와 OSD 이미지가 디스플레이된 상태를 예시한 도면이고, 도 4는 본 발명의 바람직한 일 실시예에 따른 프리뷰 메모리를 이용하여 OSD를 실행하는 방법을 나타낸 도면이다.3 is a diagram illustrating a state in which a preview image and an OSD image are displayed according to an exemplary embodiment of the present invention, and FIG. 4 is a method of executing an OSD using a preview memory according to an exemplary embodiment of the present invention. The figure shown.
도 3에 도시된 바와 같이, 프리뷰 이미지(300)와 OSD 이미지(310)가 중첩되어 하나의 화면에 동시에 표시될 수 있다. 통상적으로 OSD 이미지는 독립적으로 표시되거나 프리뷰 이미지와 중첩되도록 표시된다. 또한, OSD 이미지는 프리뷰 이미지와 함께 출력될 경우에는 미리 설정된 투명도를 가진다. 도 3에 도시된 예는 투명도가 0%인 경우이며, 투명도에 따라, 프리뷰 이미지와 OSD 이미지가 겹쳐서 출력된다.As shown in FIG. 3, the
상술한 바와 같이, 종래 기술에 따르면, 함께 출력되는 프리뷰 이미지와 OSD 이미지를 저장하기 위한 프리뷰 메모리(220)와 OSD 메모리가 별도로 존재하거나, 하나의 메모리에 저장되는 경우도 있으나 이는 프리뷰 이미지 크기에 제한(메모리의 반 이하의 크기)이 따른다.As described above, according to the related art, the
본 발명에 따른 하나의 메모리를 이용한 OSD의 실행방법을 도 4를 참조하여 설명하기로 한다.A method of executing an OSD using one memory according to the present invention will be described with reference to FIG. 4.
도 4를 참조하여 본 발명에 따른 OSD 실행 방법을 설명하기에 앞서, 설명의 편의를 위해 프리뷰 메모리(220)에 저장되는 데이터는 출력되는 프리뷰 이미지 또는/및 OSD 이미지의 픽셀 단위로 저장되는 것을 예로 들어 설명하기로 한다.Before describing the OSD execution method according to the present invention with reference to FIG. 4, for example, the data stored in the
또한, OSD 실행 전에 프리뷰되는 프리뷰 이미지를 원시 프리뷰 이미지라 칭하기로 하고, OSD 실행에 따라 본 발명에 따른 로딩(프리뷰 메모리(220)에 저장되는 것)방식을 이용하여 디스플레이되는 원시 프리뷰 이미지와 OSD 이미지가 중첩된 이미지를 갱신 프리뷰 이미지라 칭하기로 한다.In addition, the preview image previewed before the OSD is called a raw preview image, and the raw preview image and the OSD image displayed using the loading method (stored in the preview memory 220) according to the present invention according to the OSD execution. The superimposed image is referred to as an update preview image.
본 발명에 따른 OSD 실행 방법은 제어부(270)가 이미지를 출력하기 위해 데이터를 로딩하는 하나의 임시 저장 매체인 프리뷰 메모리(220)를 이용하여, 화면에 출력될 프리뷰 이미지와 OSD 이미지를 중첩해서 저장하는 것이다.In the OSD execution method according to the present invention, by using the
본 발명에 따르면, 원시 프리뷰 이미지를 프리뷰 메모리(220)에 저장하는 방식과, 갱신 프리뷰 이미지를 프리뷰 메모리(220)에 저장하는 방식이 서로 상이하다. 따라서, 프리뷰 실행 도중에 OSD 실행 명령이 입력되면, 프리뷰 실행이 일시 중지되고 프리뷰 메모리(220)에는 새로운 저장 방식으로 해당 OSD 이미지 및 프리뷰 되던 원시 프리뷰 이미지가 함께 중첩되어 로딩된다. 즉, OSD 이미지가 출력되는 영역(또는 OSD 이미지가 투명도를 가질경우 프리뷰 이미지와 중첩되어 출력되는 영역)을 OSD 영역으로 하고, 프리뷰 이미지만이 출력되는 부분을 프리뷰 영역으로 하여 프리뷰 메모리(220)에 함께 저장한다. 여기서, OSD 영역의 픽셀 데이터는 OSD 이미지가 투명도를 가질 경우 OSD 이미지의 정보뿐만 아니라 위치 대응된 프리뷰 이미지 정보도 함께 가질 수 있다. 따라서, 프리뷰 이미지 크기만큼의 메모리 공간만이 사용된다.According to the present invention, a method of storing the raw preview image in the
상술한 바와 같이, OSD 영역을 인식하는 방법으로는, OSD 이미지의 모든 픽셀을 검사하여 OSD 영역을 인식하는 방법이 사용될 수 있다. 또한, 이미지 저장부(240)에 OSD 이미지 데이터를 저장할 때, OSD 영역에 대한 정보를 별도로 함께 저장하여, 임의의 OSD 이미지에 대한 픽셀 데이터를 이미지 저장부(240)로부터 추출할 때 해당 OSD 영역 정보를 함께 추출하여 OSD 영역을 인식하는 방법이 사용될 수도 있다.As described above, as the method of recognizing the OSD region, a method of recognizing the OSD region by inspecting all pixels of the OSD image may be used. In addition, when storing the OSD image data in the
도 4를 참조하면, 5,6,5비트가 R,G,B의 칼라 정보로 할당되던 원시 프리뷰 이미지의 픽셀별 데이터 방식이 OSD 실행에 따라 픽셀별 데이터 구성이 OSD 영역과 프리뷰 영역에 따라 달라진다.Referring to FIG. 4, the pixel-by-pixel data configuration of the raw preview image in which 5, 6, and 5-bits are allocated as color information of R, G, and B is changed according to the OSD region and the preview region according to the OSD execution. .
도면을 참조하여, 프리뷰 영역과 OSD 영역에 저장되는 데이터 형태를 설명하기로 한다.Referring to the drawings, the data format stored in the preview area and the OSD area will be described.
도 5a는 본 발명의 바람직한 일 실시예에 따른 프리뷰 영역의 픽셀의 구성을 나타낸 도면이고, 도 5b는 본 발명의 바람직한 일 실시예에 따른 OSD 영역의 픽셀의 구성을 나타낸 도면이다.5A is a diagram illustrating a pixel configuration of a preview area according to an exemplary embodiment of the present invention, and FIG. 5B is a diagram illustrating a pixel configuration of an OSD area according to an exemplary embodiment of the present invention.
이하에서는 각 픽셀이 16비트(bit)인 것을 예로 들어 설명하기로 하되, 8비트, 32비트 등의 각 픽셀의 값이 다른 경우에도 동일 또는 유사하게 적용될 수 있음은 이하의 설명을 통해 더욱 자명하게 될 것이다.Hereinafter, the description will be given taking the example that each pixel is 16 bits, but the same or similar method may be applied even when the value of each pixel such as 8 bits and 32 bits is different. Will be.
도 5a 및 5b에 도시된 바와 같이, 프리뷰 영역 및 OSD 영역의 각 픽셀은 16비트 중에서 최하위 비트(LSB, Least Significant Bit : 이진수 숫자 중에서 마지막 자리수)를 OSD 영역에 대한 정보를 갖도록 설정한 것으로 가정한다. 물론, OSD 영역 정보는 최상위 비트(MSB : Most Significant Bit)이거나 임의의 비트로서 결정될 수도 있다. 프리뷰 영역일 경우에는 OSD 영역 정보는 0의 값을 갖고, OSD 영역일 경우에는 1의 값을 갖도록 설정한다. 즉, OSD 영역 정보인 최하위 비트의 값에 따라 프리뷰 영역과 OSD 영역이 구별된다. As shown in FIGS. 5A and 5B, it is assumed that each pixel of the preview area and the OSD area has the least significant bit (LSB) of 16 bits set to have information about the OSD area. . Of course, the OSD area information may be determined as the most significant bit (MSB) or any bit. In the case of the preview region, the OSD region information has a value of 0, and in the case of the OSD region, the OSD region information has a value of 1. That is, the preview area and the OSD area are distinguished according to the value of the least significant bit that is the OSD area information.
도 5a를 참조하면, 프리뷰 영역의 픽셀은 프리뷰만을 저장할 경우(즉, OSD 레지스터 비트가 셋(set)되지 않은 경우)에는 16비트 모두 R,G,B 값의 칼라 정보를 가지나, OSD를 실행할 때(즉, OSD 레지스터 비트가 셋(set)된 경우)는 다시 세팅되어 15비트는 R,G,B 값을 갖는 프리뷰 정보를 위한 영역으로 할당되고, 나머지 1비트는 OSD 영역인지 프리뷰 영역인지를 판단하기 OSD 영역 정보를 위한 영역으로 할당된다.Referring to FIG. 5A, when the preview area stores only the preview (that is, when the OSD register bits are not set), all 16 bits have color information of R, G, and B values, but when the OSD is executed. (I.e., when the OSD register bit is set) is reset, 15 bits are allocated to the area for preview information having R, G, and B values, and the remaining 1 bit is determined to be the OSD area or the preview area. The following area is allocated to the area for OSD information.
통상적으로 프리뷰 실행 시에, R 정보는 5비트, G는 6비트, B는 5비트가 할당되나, OSD 실행시에는 B 정보에 4비트가 할당되고 나머지 한 비트가 OSD 영역 정보를 갖는 비트로 할당된다. 이는 본 발명의 일 실시예이며, OSD 영역 정보는 R 또는 B에 할당된 한 비트를 이용할 수도 있음은 당연하다.Typically, R information is assigned 5 bits, G is 6 bits, and B is 5 bits when the preview is executed, but when the OSD is executed, 4 bits are allocated to the B information and one bit is allocated to the bit having the OSD region information. . This is an embodiment of the present invention, and it is obvious that the OSD region information may use one bit allocated to R or B.
도 5b를 참조하면, OSD 영역 정보가 1인 경우인, OSD 영역의 각 픽셀의 구성을 살펴보면, 최상위 비트(MSB : Most Significant Bit : 이진수 숫자 중에서 제일 큰 자리수)는 타입(Type)정보를 갖고, 후속하는 5 비트는 OSD 이미지를 표현하기 위한 OSD 칼라 정보를 가지며, 후속하는 9 비트는 프리뷰 이미지를 표현하기 위한 프리뷰 정보를, 나머지 1 비트는 OSD 영역 정보를 갖도록 각 영역이 할당될 수 있다.Referring to FIG. 5B, referring to the configuration of each pixel of the OSD region when the OSD region information is 1, the most significant bit (MSB: the largest digit among binary numbers) has type information. Subsequent five bits have OSD color information for representing the OSD image, each subsequent bit may be allocated such that the subsequent nine bits have preview information for representing the preview image and the remaining one bit has OSD region information.
타입 정보는 OSD의 투명 정보와 팔레트(Palette) 정보에 연동되도록 설정된다. 본 발명의 바람직한 일 실시예에 따라, 타입 정보가 0일 경우에는 투명도 0%, 팔레트 1로 설정되고, 타입 정보가 1인 경우에는 투명도 50%, 팔레트 2로 설정되는 것을 예로 들어 설명하기로 하되, 이외의 투명도의 크기 및 종류, 팔레트의 개수도 타입 정보에 할당된 비트에 따라 다르게 적용될 수 있음은 자명하다. 즉, 타입 정보에 2비트가 할당된 경우에는 4개(즉, 22)의 투명도 정보 및 4개(즉, 22)의 팔레트 정보를 가질 수 있다.The type information is set to be linked to the transparent information and the palette information of the OSD. According to an exemplary embodiment of the present invention, when type information is 0,
또한, 투명도 정보와 팔레트 정보에 각각의 비트가 할당될 수 있다. 즉, 첫번째 하나의 비트는 투명도 정보를 의미하고, 두 번째 비트는 팔레트 정보를 의미하도록 설정함으로써, 투명도와 팔레트를 각각 별개로 구성할 수도 있다.In addition, each bit may be allocated to the transparency information and the palette information. That is, the first one bit means transparency information, and the second bit means palette information, so that transparency and palette may be configured separately.
전자는 16비트와 같이 픽셀의 비트수가 작을 경우에 용이할 것이며, 후자는 32비트와 같이 픽셀의 비트수가 클 경우에 용이하게 사용될 수 있을 것이다. The former may be easy when the number of bits of the pixel is small, such as 16 bits, and the latter may be readily used when the number of bits of the pixel is large, such as 32 bits.
여기서, 팔레트는 OSD의 칼라를 표현하기 위한 테이블이다. OSD 칼라 정보는 R,G,B의 값을 가질 수도 있으나 작은 비트로 칼라 정보를 갖기에는 다양한 칼라의 표현에는 한계가 있다. 따라서, 상기 팔레트를 이용한 방법이 사용될 수 있으며, 이에 따라 OSD 칼라 정보는 팔레트의 인덱스 값을 가지도록 설정될 수 있다.Here, the palette is a table for representing the color of the OSD. The OSD color information may have values of R, G, and B, but there are limitations in expressing various colors in order to have color information with small bits. Therefore, the method using the palette may be used, and thus OSD color information may be set to have an index value of the palette.
이하, 도 6을 참조하여, 팔레트 및 인덱스 값을 통한 OSD의 칼라를 설정하는 방법을 설명하기로 한다.Hereinafter, a method of setting the color of the OSD through the palette and the index value will be described with reference to FIG. 6.
도 6은 본 발명의 바람직한 일 실시예에 따른 OSD의 칼라 값을 갖는 팔레트를 나타낸 도면이다.6 is a diagram illustrating a palette having color values of an OSD according to an exemplary embodiment of the present invention.
도 6을 참조하면, 팔레트 1은 OSD 영역 픽셀의 타입 정보가 0인 경우에 대응하는 것으로, 투명도 0% 일 경우의 칼라 정보를 갖으며, 팔레트 2는 OSD 타입 정보가 1인 경우에 대응하는 것이며, 투명도 50% 일 경우의 칼라 정보를 갖는다.Referring to FIG. 6,
인덱스는 OSD 영역 픽셀의 OSD 칼라 정보의 값이다. 따라서, OSD 칼라 정보에 5비트가 할당되면, 32개(즉, 25)의 인덱스 값을 가질 수 있으므로, 32개의 칼라(R,G,B) 정보가 팔레트에 설정된다. 32개의 칼라 정보는 통상적으로 OSD 이미지에 많이 사용되는 칼라가 존재할 것이므로, 그 칼라를 팔레트에 설정하는 것이다.The index is a value of OSD color information of OSD area pixels. Therefore, if 5 bits are assigned to the OSD color information, it can have 32 (ie, 2 5 ) index values, so that 32 color (R, G, B) information is set in the palette. The 32 color information will usually have a color that is used a lot in the OSD image, so that color is set in the palette.
따라서, OSD 이미지는 팔레트의 인덱스 값으로 미리 설정되어 저장되고, OSD 실행 시, OSD 칼라 정보의 인덱스 값을 통해 OSD의 실제 칼라 정보를 팔레트로부터 추출하여 화면에 디스플레이 할 수 있다.Accordingly, the OSD image is preset and stored as an index value of the palette, and when the OSD is executed, the actual color information of the OSD may be extracted from the palette and displayed on the screen through the index value of the OSD color information.
예를 들어, OSD 영역의 한 픽셀이 100001*********1 의 값을 가질 때, 타입 정보가 1이므로 OSD의 투명도는 50%이고, OSD 칼라 정보가 00001(즉, 인덱스가 1)이므로 OSD의 칼라 값인 R,G,B의 값은 0,255,0의 값을 갖는다.For example, when one pixel of the OSD area has a value of 100001 ********* 1, the type information is 1, so the transparency of the OSD is 50%, and the OSD color information is 00001 (that is, the index is 1), R, G, B values of OSD are 0,255,0.
여기서, 팔레트를 이용할 경우, OSD 이미지 생성 및 이미지 저장부(240)에 저장 시에는 칼라 정보로써, R,G,B 값(16비트)을 가지도록 설정하지 않고 타입 정보 및 팔레트의 인덱스 정보만(총 6비트)을 갖도록 할 수 있다. 따라서, OSD 이미지의 저장에 따른 이미지 저장부(240)의 공간을 절약할 수 있다.In this case, when using the palette, only the type information and the index information of the palette may be used as color information when the OSD image is generated and stored in the
다시 도 5b를 참조하면, OSD 영역 픽셀의 9비트가 할당된 프리뷰 정보는 프리뷰 이미지의 칼라 정보(R,G,B 정보)를 갖는다. 프리뷰만을 실행할 시에는 통상적으로 R,G,B 당 각각 5,6,5 비트씩 할당되어 프리뷰의 칼라정보를 갖고, 본 발명의 바람직한 일 실시예에 따른 OSD 실행 시에는 R,G,B 각 상위 3비트 값이 OSD 영역의 프리뷰 정보에 기록되도록 설정된다. 예를 들어, R,G,B 값이 각각 11011, 01100, 00110 일 경우, OSD 영역의 프리뷰 정보에는 상위 3비트인 110, 011, 001 의 9비트가 저장된다.Referring back to FIG. 5B, the preview information allocated with 9 bits of the OSD region pixel has color information (R, G, B information) of the preview image. When only preview is executed, 5, 6, and 5 bits are allocated to R, G, and B bits, respectively, to have color information of the preview. When OSD is executed according to an exemplary embodiment of the present invention, the upper portions of R, G, and B are used. The 3-bit value is set to be recorded in the preview information of the OSD area. For example, when the R, G, and B values are 11011, 01100, and 00110, 9 bits of the upper 3 bits 110, 011, and 001 are stored in the preview information of the OSD region.
통상적으로 OSD 실행시에는 프리뷰 이미지와 OSD 이미지가 겹치는 부분은 프리뷰 이미지의 선명함이 부족하여도 상관없으므로, 본래 프리뷰 칼라 정보인 R,G,B의 각 상위 3비트만 사용하여도 무방하다. 그러나, 보다 선명한 프리뷰 이미지의 실행을 위해서 OSD 이미지 실행과 같은 방식으로 팔레트를 이용할 수도 있다. 즉, OSD 영역 픽셀의 프리뷰 정보의 각 R,G,B 3비트 값은 칼라 정보가 아닌 팔레트의 인덱스 값을 갖도록 설정할 수 있다. 이는 상술한 OSD 칼라 실행 방식과 동일 또는 유사하게 적용할 수 있으므로 상세한 설명은 생략하기로 한다.In general, when the OSD is executed, the portion where the preview image overlaps with the OSD image may not lack the sharpness of the preview image. Therefore, only the upper 3 bits of R, G, and B, which are original preview color information, may be used. However, the palette may be used in the same manner as the OSD image execution for a clearer preview image execution. That is, each R, G, B 3-bit value of the preview information of the OSD region pixels may be set to have an index value of a palette rather than color information. This can be applied to the same or similar to the OSD color execution method described above, so a detailed description thereof will be omitted.
여기서, 상술한 OSD 영역의 각 픽셀의 타입 정보, OSD 칼라 정보 및 프리뷰 정보는 OSD 영역 정보를 위한 1비트를 제외한 15비트 내에서는 각각의 할당 비트 수를 변경할 수 있음은 상술한 설명을 통해 자명할 것이다.Here, it will be apparent from the above description that the type information, the OSD color information, and the preview information of each pixel of the OSD region may change the number of allocated bits within 15 bits except 1 bit for the OSD region information. will be.
즉, 총 픽셀 수가 16이며, 타입 정보의 비트수를 x, OSD 칼라 정보의 비트수를 y, 프리뷰 정보의 비트수를 z라 할때, x+y+z=15이며, OSD 칼라 정보를 위한 팔레트의 최대 개수는 2x 개이다.That is, when the total number of pixels is 16, the number of bits of type information is x, the number of bits of OSD color information is y, and the number of bits of preview information is z, x + y + z = 15. The maximum number of pallets is 2 x pieces.
상술한 OSD 이미지 및 프리뷰 이미지를 프리뷰 메모리(220)에 저장하는 방식을 예를 들면, OSD 영역의 한 픽셀에 대응된 프리뷰 이미지 정보가 1000011101011010이고, OSD 이미지 정보가 100001(타입 정보 및 팔레트의 인덱스인 칼라 정보)인 경우에, 프리뷰 메모리(220)에는 OSD 이미지 정보와, 프리뷰 이미지 정보의 R,G,B 각 상위 3비트만이 설정된 1000011001111101값이 저장된다.For example, the method of storing the above-described OSD image and the preview image in the
이하, 프리뷰 실행 도중, OSD를 실행하는 과정을 도면을 참조하여 설명하기로 한다.Hereinafter, the process of executing the OSD during the preview execution will be described with reference to the drawings.
도 7은 본 발명의 바람직한 일 실시예에 따른 프리뷰 실행 중 OSD를 실행하는 과정을 나타낸 도면이다.7 is a diagram illustrating a process of executing an OSD during preview execution according to an exemplary embodiment of the present invention.
도 7을 참조하면, 단계 610에서 프리뷰를 실행한다. 즉, 출력될 프리뷰 이미지가 프리뷰 메모리(220)에 저장되고, 출력되어 디스플레이 된다.Referring to FIG. 7, a preview is executed in operation 610. That is, the preview image to be output is stored in the
단계 720에서 OSD 실행 명령을 입력받고, 그에 따라, 단계 730에서 프리뷰의 실행이 중지된다. 즉, 프리뷰 메모리(220)에 저장되는 각 픽셀별 데이터의 방식이 달라지므로, 프리뷰의 실행이 일시 중지된다. 또한, 제어부(270)에서 새로운 프리뷰 이미지를 업데이트할 때, OSD 실행 상태임을 인식할 수 있도록, 레지스터의 OSD 레지스터 비트를 셋 시킨다.In
단계 740에서, 입력된 정보에 상응하는 OSD 이미지가 이미지 저장부(240)로부터 추출된다. 단계 750에서 추출된 OSD 이미지의 영역을 인식하고, 그에 따라 프리뷰 영역과 OSD 영역을 구분한다. 단계 760에서 구분된 영역에 상응하도록, 본 발명에 따른 OSD 실행 방식에 따라 프리뷰 이미지 데이터 및 OSD 이미지 데이터가 중첩된 갱신 프리뷰 이미지를 프리뷰 메모리(220)에 로딩한다.In
단계 770에서 프리뷰 메모리(220)에 로딩된 데이터를 디스플레이 장치로 출력한다. OSD 영역 정보가 설정된 각 픽셀의 최하위 비트를 통해 프리뷰 영역인지 OSD 영역인지를 인식하고, 그에 따른 픽셀의 비트 구성 및 칼라 정보가 R,G,B 인지 팔레트의 인덱스인지를 인식하여 해당 방식의 구성 및 방식에 따라 이미지를 출력한다.In
상술한 바와 같은 본 발명의 방법은 프로그램으로 실행되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드디스크, 광자기디스크 등)에 저장될 수 있다.As described above, the method of the present invention may be executed as a program and stored in a computer-readable recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.).
본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.The present invention is not limited to the above embodiments, and many variations are possible by those skilled in the art within the spirit of the present invention.
이상에서 상술한 바와 같이 본 발명에 따르면, OSD를 위한 별도의 메모리 공간이 필요 없이, 프리뷰를 위한 메모리 공간만을 사용하여 OSD를 실행함으로써 메모리의 효율성을 높일 수 있는 OSD 실행 방법 및 장치를 제공할 수 있는 효과가 있다.As described above, according to the present invention, there is no need for a separate memory space for the OSD, and an OSD execution method and apparatus can be provided to increase the efficiency of the memory by executing the OSD using only the memory space for preview. It has an effect.
또한, 프리뷰 이미지와 OSD 이미지를 표시하기 위해 요구되는 메모리 영역의 크기를 최소화할 수 있고, 프리뷰 이미지 및 OSD 이미지의 크기를 제한할 필요가 없는 OSD 실행 방법 및 장치를 제공할 수 있는 효과가 있다. In addition, it is possible to minimize the size of the memory area required for displaying the preview image and the OSD image, and to provide an OSD execution method and apparatus that does not need to limit the size of the preview image and the OSD image.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통산의 지식을 가진 자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to a preferred embodiment of the present invention, those skilled in the art that various modifications of the present invention within the scope without departing from the spirit and scope of the invention described in the claims below And can be changed.
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050064964A KR100791476B1 (en) | 2005-07-18 | 2005-07-18 | Method and Device for embodying OSD by employing preview memory |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050064964A KR100791476B1 (en) | 2005-07-18 | 2005-07-18 | Method and Device for embodying OSD by employing preview memory |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070010419A true KR20070010419A (en) | 2007-01-24 |
KR100791476B1 KR100791476B1 (en) | 2008-01-04 |
Family
ID=38011638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050064964A KR100791476B1 (en) | 2005-07-18 | 2005-07-18 | Method and Device for embodying OSD by employing preview memory |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100791476B1 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR9610332A (en) * | 1995-08-22 | 2005-05-24 | Thomson Consumer Electronics | Parallel mode screen display system |
KR20040031331A (en) * | 2002-10-04 | 2004-04-13 | 엘지전자 주식회사 | Digital broadcasting receiver providing static image storage function |
-
2005
- 2005-07-18 KR KR1020050064964A patent/KR100791476B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR100791476B1 (en) | 2008-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7424171B2 (en) | Image processing method and apparatus, computer program, and computer readable storage medium | |
KR100899150B1 (en) | Image processing apparatus and image processing method | |
US9600902B2 (en) | Image processing apparatus, image processing method, program and imaging apparatus | |
KR100723958B1 (en) | Image correction device and control method thereof | |
JP5014099B2 (en) | Imaging apparatus and control method thereof | |
JP2005141222A (en) | Method and apparatus for enhancing local luminance of video, and computer-readable recording medium with computer program stored thereto | |
KR101331164B1 (en) | Image-recording device | |
US6388675B1 (en) | Image processing apparatus and image processing method | |
US20080079823A1 (en) | Image display controlling device, imaging device, and image display method | |
US20070230779A1 (en) | Digital camera | |
KR100791476B1 (en) | Method and Device for embodying OSD by employing preview memory | |
JP4298386B2 (en) | Image display apparatus and method, and program | |
JP5340456B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
CN100378796C (en) | Display control apparatus and display control method | |
JP7279365B2 (en) | Display control device, display device, display control method and program | |
US20040021884A1 (en) | Image processing method, image processing apparatus and storage medium | |
JPH09298670A (en) | Picture processor and method therefor | |
US11330140B2 (en) | Image processing apparatus and image processing method | |
US6903748B1 (en) | Mechanism for color-space neutral (video) effects scripting engine | |
JP2639488B2 (en) | Wire break connection method | |
JP2000115522A (en) | Picture processor | |
JPH11134503A (en) | Color extraction method for picture and picture processor using the same | |
KR101519514B1 (en) | Displaying apparatus having CMOS image sensor and method thereof | |
JP2897708B2 (en) | Display data input device | |
JP2650988B2 (en) | Image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
G170 | Re-publication after modification of scope of protection [patent] | ||
FPAY | Annual fee payment |
Payment date: 20121011 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20131127 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20151127 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20171128 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20181126 Year of fee payment: 12 |