KR101396355B1 - Digital image processing apparatus for diplaying slideshow of a number of continuous captured image and thereof method - Google Patents

Digital image processing apparatus for diplaying slideshow of a number of continuous captured image and thereof method Download PDF

Info

Publication number
KR101396355B1
KR101396355B1 KR1020070095428A KR20070095428A KR101396355B1 KR 101396355 B1 KR101396355 B1 KR 101396355B1 KR 1020070095428 A KR1020070095428 A KR 1020070095428A KR 20070095428 A KR20070095428 A KR 20070095428A KR 101396355 B1 KR101396355 B1 KR 101396355B1
Authority
KR
South Korea
Prior art keywords
slide show
image
identification information
continuous
displaying
Prior art date
Application number
KR1020070095428A
Other languages
Korean (ko)
Other versions
KR20090030099A (en
Inventor
김동수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070095428A priority Critical patent/KR101396355B1/en
Publication of KR20090030099A publication Critical patent/KR20090030099A/en
Application granted granted Critical
Publication of KR101396355B1 publication Critical patent/KR101396355B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00198Creation of a soft photo presentation, e.g. digital slide-show
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00458Sequential viewing of a plurality of images, e.g. browsing or scrolling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0096Portable devices

Abstract

본 발명은 디지털 영상 처리 장치 및 그의 동작 방법에 관한 것으로, 한 번의 셔터 동작으로 촬영된 고속 연사 영상군을 인식하여 슬라이드쇼로 보여주는 연사촬영된 영상들을 슬라이드쇼로 보여주는 디지털 영상 처리 장치 및 그의 동작 방법에 관한 것이다. 연사촬영된 영상들을 슬라이드쇼로 보여주는 디지털 영상 처리 장치는 연사촬영된 영상들에 동일한 식별정보를 삽입하고, 상기 동일한 식별정보가 삽입된 영상파일들을 슬라이드쇼로 디스플레이하는 디지털 신호 처리수단을 포함한다.

Figure R1020070095428

셀프 타이머 촬영, 식별정보, 슬라이드쇼

The present invention relates to a digital image processing apparatus and an operation method thereof, and more particularly, to a digital image processing apparatus for displaying a continuous shot photographed image in a slideshow by recognizing a group of high speed continuous shot photographed by a single shutter operation, . The digital image processing apparatus for displaying the continuous shot images in a slide show includes digital signal processing means for inserting the same identification information into the continuous shot images and displaying the image files in which the same identification information is inserted in a slide show.

Figure R1020070095428

Self-timer shooting, identification information, slide show

Description

연사촬영된 영상들을 슬라이드쇼로 보여주는 디지털 영상 처리 장치 및 그의 동작 방법{Digital image processing apparatus for diplaying slideshow of a number of continuous captured image and thereof method}TECHNICAL FIELD [0001] The present invention relates to a digital image processing apparatus and a digital image processing apparatus,

본 발명은 디지털 영상 처리 장치 및 그의 동작 방법에 관한 것으로, 한 번의 셔터 동작으로 촬영된 고속 연사 영상군을 인식하여 슬라이드쇼로 보여주는 디지털 영상 처리 장치 및 그의 동작 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a digital image processing apparatus and an operation method thereof, and more particularly, to a digital image processing apparatus and a method of operating the digital image processing apparatus.

일반적으로 디지털 영상 처리 장치에서 연사 또는 고속 연사로 촬영된 영상을 확인할 때, 싱글 영상 확인, 썸네일 영상 확인, 사용자가 지정하는 영상 그룹들을 슬라이드쇼로 확인할 수 있다.In general, when a digital image processing apparatus confirms an image photographed by continuous shooting or high speed continuous shooting, a single image check, a thumbnail image check, and a group of images designated by the user can be confirmed by a slide show.

연사촬영된 영상을 싱글 영상으로서 한장 한장 확인하는 경우, 촬영된 영상의 연속된 동작을 파악하기 어렵다. 연사촬영된 영상을 썸네일 영상으로 확인하는 경우, 연사촬영된 영상을 모두 한 화면에 보여주기는 하지만 작은 영상들이 디스플레이되기 때문에 연속된 동작을 파악하기 어렵다. 슬라이드쇼는 연사로 촬영된 영상만을 보여주는 기능이 아니기 때문에 원하는 연사 부분만 보기 어렵다.It is difficult to grasp the continuous motion of the photographed image in the case of confirming the photographed image as a single image one by one. In the case of confirming the continuous shot image as a thumbnail image, although continuous shot images are displayed on one screen, it is difficult to grasp continuous motion because small images are displayed. Slide show is not a function that shows only images shot by continuous shutter, so it is hard to see only the desired continuous shutter.

또 다른 방법으로 선택된 영상들을 GIF로 만들어서 디스플레이해주는 기능을 이용할 수 있으나, GIF로 만들기 위해 GIF로 만들 영상을 선택하는 번거로운 작업을 해야한다.Alternatively, you can use the function to create and display selected images as GIF, but you have to do the cumbersome task of selecting images to be created as GIFs.

본 발명이 이루고자 하는 기술적인 과제는 연사로 촬영된 영상을 인식하여 종래와 같이 한장씩 영상을 디스플레이 해주는 것 이외에, 한 번의 셔터 동작으로 촬영된 영상 그룹을 인식하여 그 그룹만 슬라이드쇼로 디스플레이해주는 연사촬영된 영상들을 슬라이드쇼로 보여주는 디지털 영상 처리 장치 및 그의 동작 방법을 제공하는데 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide an apparatus and method for recognizing an image captured by a continuous shutter and displaying a single image by a single shutter operation, And a method of operating the digital image processing apparatus.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 연사촬영된 영상들을 슬라이드쇼로 보여주는 디지털 영상 처리 장치는 연사촬영된 영상들에 동일한 식별정보를 삽입하고, 상기 동일한 식별정보가 삽입된 영상파일들을 슬라이드쇼로 디스플레이 하는 디지털 신호 처리수단을 포함하는 것이 바람직하다.According to an aspect of the present invention, there is provided a digital image processing apparatus for displaying continuous images photographed by a slide show, the apparatus including the steps of inserting the same identification information into continuous images, And a digital signal processing means for displaying in a show.

본 발명에 있어서, 상기 식별정보는 상기 영상파일 내에서 영상의 촬영 정보를 포함하는 사용자 정의 영역에 저장되는 것을 특징으로 한다.In the present invention, the identification information may be stored in a user defined area that includes image capturing information in the image file.

본 발명에 있어서, 상기 디지털 신호 처리수단은 연사촬영된 영상들에 동일한 식별정보를 삽입하는 식별정보 삽입부; 상기 연사촬영된 영상들을 슬라이드쇼로 재생하도록 제어하는 슬라이드쇼 실행부; 및 임의의 영상파일들로부터 동일한 식별정보를 갖는 연사촬영 영상파일들을 검색하고, 검색된 첫 번째 연사촬영 영상파일부터 마지막 연사촬영 영상파일까지 순차적으로 디스플레이 되도록 상기 슬라이드쇼 실행부를 제어하는 제어부를 포함하는 것을 특징으로 한다.In the present invention, the digital signal processing means may include an identification information inserting unit for inserting the same identification information into the continuous photographed images; A slide show execution unit for controlling the continuous shot images to be reproduced in a slide show; And a control unit for searching the continuous shooting image files having the same identification information from the arbitrary image files and controlling the slide show executing unit to sequentially display the searched first continuous shooting image file to the last continuous shooting image file .

본 발명에 있어서, 상기 제어부는 상기 첫 번째 연사촬영된 영상이 재생되면, 슬라이드쇼 재생 가능 정보를 표시하여 사용자로 하여금 선택 가능하게 하는 것을 특징으로 한다.In the present invention, when the first continuous shooting image is reproduced, the controller displays slideshow reproducible information so that the user can select the slideshow reproducible information.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 연사촬영된 영상들을 슬라이드쇼로 보여주는 디지털 영상 처리 장치의 동작 방법은 (a) 연사촬영된 영상들에 동일한 식별정보를 삽입하는 단계; 및 (b) 상기 동일한 식별정보가 삽입된 영상파일들을 슬라이드쇼로 디스플레이하는 단계를 포함하는 것이 바람직하다.According to an aspect of the present invention, there is provided a method of operating a digital image processing apparatus for displaying a continuous-shot photographed image in a slide show, the method comprising the steps of: (a) inserting the same identification information into the continuous photographed images; And (b) displaying the image files having the same identification information inserted therein as a slide show.

본 발명에 있어서, 상기 식별정보는 상기 영상파일 내에서 영상의 촬영 정보를 포함하는 사용자 정의 영역에 저장되는 것을 특징으로 한다.In the present invention, the identification information may be stored in a user defined area that includes image capturing information in the image file.

본 발명에 있어서, 상기 (b)단계는 (b-1) 상기 슬라이드쇼 재생을 선택하는 단계; (b-2) 동일한 식별정보를 갖는 연사촬영 영상파일들을 검색하는 단계; 및 (b-3) 검색된 첫 번째 연사촬영 영상파일부터 마지막 연사촬영 영상파일까지 순차적으로 디스플레이하는 단계를 포함하는 것을 특징으로 한다.In the present invention, the step (b) may include: (b-1) selecting the slide show reproduction; (b-2) searching the continuous shooting image files having the same identification information; And (b-3) sequentially displaying the searched first continuous shooting photographic image file to the last continuous shooting photographic image file.

본 발명에 있어서, 상기 (b-1)단계 이전에, 상기 첫 번째 연사촬영된 영상이 재생되면, 슬라이드쇼 재생 가능 정보를 표시하는 단계를 더 포함하는 것을 특징으로 한다.The method may further include displaying slide show reproducible information when the first continuous shot image is reproduced before the step (b-1).

상술한 바와 같이 본 발명에 따르면, 슬라이드쇼로서 연사촬영된 영상을 확인할 수 있어, 피사체의 연속된 동작이 동영상처럼 보임으로써 사용자가 쉽고 재미있게 영상을 확인할 수 있다.As described above, according to the present invention, it is possible to confirm an image shot by continuous shooting as a slide show, and a continuous motion of a subject is displayed as a moving image, so that the user can easily and easily check the image.

또한 슬라이드쇼가 하나의 셔터 동작으로 촬영된 영상군에서만 동작함으로써, 사용자가 다음 영상은 다시 싱글 영상으로 간편하게 전환하여 확인할 수 있다.Also, since the slide show operates only in the group of images photographed by one shutter operation, the user can easily switch the next image back to the single image and check it.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 디지털 영상 처리 장치의 앞쪽 및 위쪽 외형을 보여주는 사시도 이다.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a perspective view showing the front and top contours of a digital image processing apparatus. Fig.

셔터-릴리즈 버튼(11)은 정해진 시간 동안 CCD나 필름을 빛에 노출시키기 위해 열리고 닫히며, 조리개(미도시)와 연동하여 피사체를 적정하게 노출시켜 CCD에 영상을 기록한다. The shutter-release button 11 is opened and closed to expose the CCD or film to light for a predetermined time, and the image is recorded on the CCD by appropriately exposing the subject in cooperation with the aperture (not shown).

셔터-릴리즈 버튼(11)은 촬영자 입력에 의해 제1 및 제2 영상 촬영 신호를 생성한다. 반셔터 신호로써의 제1 셔터-릴리즈 버튼(11)이 입력되면, 디지털 영상 처리 장치는 초점을 잡고 빛의 양을 조절하며, 이때 초점이 맞은 경우 디스플레이부(25)에 녹색 불이 켜지게 된다. 제1 셔터-릴리즈 버튼(11)의 입력으로 초점이 잡히고 빛의 양이 조절되면, 비로소 완전셔터 신호로써의 제2 셔터-릴리즈 버튼(11)을 입력하여 영상을 촬영한다.The shutter-release button 11 generates the first and second image pickup signals by the photographer input. When the first shutter-release button 11 is input as a half-shutter signal, the digital image processing apparatus focuses and adjusts the amount of light. At this time, the display unit 25 is lit with a green light . When the focus of the first shutter-release button 11 is focused and the amount of light is adjusted, a second shutter-release button 11 as a full shutter signal is input to capture an image.

전원 버튼(13)은 디지털 영상 처리 장치에 전원을 공급하여 동작시키기 위해 입력된다.The power button 13 is inputted to supply power to the digital image processing apparatus and operate it.

플래시(15)는 어두운 곳에서 촬영할 경우 밝은 빛을 순간적으로 비추어 밝게 해주는 것으로 플래시 모드에는 자동플래시, 강제발광, 발광금지, 적목감소, 슬로우 싱크로 등이 있다. The flash 15 illuminates bright light momentarily when shooting in a dark place. The flash mode includes auto flash, forced flash, no flash, red-eye reduction, and slow synchro flash.

보조광(17)은 광량이 부족하거나 야간 촬영 시에 디지털 영상 처리 장치가 자동으로 초점을 빠르고 정확하게 잡을 수 있도록 피사체에 광을 공급한다.The auxiliary light 17 supplies light to the subject so that the digital image processing apparatus automatically catches the focus quickly and accurately when the light amount is insufficient or at night.

렌즈부(19)는 외부 광원으로부터 빛을 받아 영상을 처리한다. The lens unit 19 receives light from an external light source and processes the image.

도 2는 도 1에 도시된 디지털 영상 처리 장치의 뒤쪽 외형을 보여주는 배면도로서, 광각-줌 버튼(21w), 망원-줌 버튼(21t), 디스플레이부(23) 및 터치센서 또는 접점식 스위치가 구비된 입력 버튼들(B1~B14)(이하 버튼들(B1~B14)이라 표기함)을 구비한다.FIG. 2 is a rear view showing the rear external appearance of the digital image processing apparatus shown in FIG. 1. The wide-angle zoom button 21w, the telephoto-zoom button 21t, the display unit 23, Input buttons B1 to B14 (hereinafter referred to as buttons B1 to B14).

광각-줌 버튼(21w) 또는 망원-줌 버튼(21t)은 입력에 따라 화각이 넓어지거나, 화각이 좁아지는데, 특히, 선택된 노출영역의 크기를 변경시키고자 할 때 입력한다. 광각-줌 버튼(21w)이 입력되면, 선택된 노출영역의 크기가 작아지고, 망원-줌 버튼(21t)이 입력되면, 선택된 노출영역의 크기가 커진다. The wide-angle zoom button 21w or the telephoto-zoom button 21t widens the view angle or narrows the view angle depending on the input, in particular, when the size of the selected exposure area is to be changed. When the wide angle-zoom button 21w is input, the size of the selected exposure area is reduced, and when the telephoto-zoom button 21t is input, the size of the selected exposure area is increased.

버튼들(B1~B14)은 디스플레이부(23)의 가로 열 및 세로 열에 구비된다. 디스플레이부(23)의 가로 열 및 세로 열에 구비된 버튼들(B1~B14)은 터치 센서(도시되지 않음) 또는 접점식 스위치(도시되지 않음)가 구비되어 있다.The buttons B1 to B14 are provided in the rows and columns of the display unit 23. The buttons B1 to B14 provided in the row and column of the display unit 23 are provided with a touch sensor (not shown) or a contact type switch (not shown).

즉, 버튼들(B1~B14)에는 터치 센서가 구비되어 가로 열의 버튼들(B1~B7) 또는 세로 열의 버튼들(B8~B14)을 터치한 상태에서 상/하/좌/우로 이동하여 주 메뉴 항목 중 임의의 값(예를 들어, 컬러 또는 밝기)을 선택하거나, 주 메뉴 아이콘에 포함된 하위메뉴 아이콘을 활성화 시킬 수 있다.That is, the touch sensors are provided on the buttons B1 to B14 to move up / down / left / right while touching the buttons B1 to B7 of the horizontal row or the buttons B8 to B14 of the vertical row, It is possible to select any value (e.g., color or brightness) of the items, or activate a submenu icon included in the main menu icon.

또한 버튼틀(B1~B14)에는 접점식 스위치가 구비되어 있어, 주 메뉴 아이콘 및 하위메뉴 아이콘을 직접 선택하여 해당 기능을 실행시킬 수 있다. 터치 센서는 접점식 스위치 입력에 비해 상대적으로 약한 터치만을 요구하지만, 접점식 스위치 입력은 터치 센서 입력에 비해 상대적으로 강한 터치를 요구한다.In addition, the button frames (B1 to B14) are provided with contact switches so that the main menu icon and the sub menu icon can be directly selected to execute the corresponding function. The touch sensor requires a relatively weak touch compared to the contact switch input, but the contact switch input requires a relatively strong touch compared to the touch sensor input.

도 3은 본 발명에 따른 연사촬영된 영상들을 슬라이드쇼로 보여주는 디지털 영상 처리 장치의 구성을 보이는 블록도로서, 디스플레이부(23), 사용자 입력부(31), 촬상부(33), 영상 처리부(35), 저장부(37) 및 디지털 신호 처리부(39)를 포함한다. FIG. 3 is a block diagram showing a configuration of a digital image processing apparatus for displaying continuous shot images according to the present invention in a slide show. The display unit 23, the user input unit 31, the image pickup unit 33, the image processing unit 35 ), A storage unit 37, and a digital signal processing unit 39.

사용자 입력부(31)는 정해진 시간 동안 CCD나 필름을 빛에 노출시키기 위해 열리고 닫히는 셔터 릴리즈 버튼(11), 전원을 공급하기 위해 입력하는 전원 버튼(13), 입력에 따라 화각을 넓어지게 하거나, 화각을 좁아지게 하는 광각-줌 버튼(21w) 및 망원-줌 버튼(21t)과, 문자 입력 또는 메뉴 선택 및 실행을 위해 위해 디스플레이부(23) 주변의 가로 및 세로열에 구비된 터치센서 또는 접점식 스위치가 구비된 버튼들 버튼틀(B1~B14)이 있다.The user input unit 31 includes a shutter release button 11 that is opened and closed to expose a CCD or a film to light for a predetermined period of time, a power button 13 that inputs power to supply power, Zoom button 21w and telephoto-zoom button 21t for narrowing down the screen and a touch sensor or contact type switch provided in the horizontal and vertical columns around the display unit 23 for character input or menu selection and execution, And button buttons (B1 to B14).

촬상부(33)는 도면에 도시되지 않은 셔터, 렌즈부, 조리개 및 CCD(Charge Coupled Device) 및 ADC를 포함한다. 셔터는 조리개와 함께 노광하는 빛의 양을 조절하는 기구이다. 렌즈부는 외부 광원으로부터 빛을 받아 영상을 처리한다. 이 때, 조리개는 개폐 정도에 따라 입사되는 빛의 양(광량)을 조절한다. 조리개의 개폐 정도는 디지털 신호 처리부(39)에 의해 제어된다.The imaging section 33 includes a shutter, a lens section, a diaphragm, and a charge coupled device (CCD) and an ADC (not shown). The shutter is a mechanism that adjusts the amount of light that is exposed with the iris. The lens unit receives light from an external light source and processes the image. At this time, the diaphragm adjusts the amount (light amount) of the incident light according to the degree of opening and closing. The opening / closing degree of the diaphragm is controlled by the digital signal processing section 39. [

CCD는 렌즈부를 통하여 입력되는 광량을 축적하고 그 축적된 광량에 따라 렌즈부에서 촬상된 영상을 수직 동기신호에 맞추어 출력한다. 디지털 영상 처리 장치의 영상 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜 주는 CCD에 의해 이루어진다. CCD를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터를 필요로 하며, 대부분 CFA(Color filter array) 라는 필터(미도시)를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있으며, 배열 구조에 따라 여러 가지 형태를 가지고 있다. ADC는 CCD로부터 출력되는 아날로그 영상신호를 디지털 신호로 변환한다.The CCD accumulates the amount of light input through the lens unit and outputs the image captured by the lens unit according to the accumulated light amount in accordance with the vertical synchronization signal. Image acquisition of a digital image processing apparatus is performed by a CCD which converts light reflected from a subject into an electrical signal. In order to obtain a color image using a CCD, a color filter is required, and a filter (not shown) called a color filter array (CFA) is employed in most cases. CFA has a regularly arranged structure that passes only light that represents one color per pixel, and it has various forms according to the arrangement structure. The ADC converts the analog video signal output from the CCD into a digital signal.

영상 처리부(35)는 디지털 변환된 RAW 데이터를 디스플레이 가능하도록 신호처리 한다. 영상 처리부(35)는 온도변화에 만감한 CCD 및 CFA 필터에서 발생하는 암 전류에 의한 블랙레벨(Black level)을 제거한다. 영상 처리부(35)는 인간 시각의 비선형성에 맞추어 정보를 부호화 하는 감마 보정을 수행한다. 영상 처리부(35)는 감마 보정된 소정 데이터의 RGRG라인 및 GBGB 라인으로 구현된 베이어 패턴을 RGB 라인으로 보간하는 CFA 보간을 수행한다. 영상 처리부(35)는 보간된 RGB 신호를 YUV 신호로 변환하고, 고 대역 필터에 의해 Y 신호를 필터링 하여 영상을 뚜렷하게 처리하는 에지 보상과, 표준 컬러 좌표계를 이용하여 U, V 신호의 컬러 값을 정정하는 컬러 정정을 수행하며, 이들의 노이즈를 제거한다. 영상 처리부(35)는 노이즈가 제거된 Y, U, V 신호를 압축 및 신호 처리하여 JPEG 파일을 생성하고, 생성된 JPEG 파일은 디스플레이부(23)에 디스플레이 되고, 저장부(37)에 저장된다. 이와 같은 영상 처리부(35)의 모든 동작은 디지털 신호 처리부(39)의 제어 하에 동작한다.The image processing unit 35 processes the digitally converted RAW data so that it can be displayed. The image processing unit 35 removes a black level due to the dark current generated in the CCD and the CFA filter which are full of temperature change. The image processing unit 35 performs gamma correction to encode information in accordance with the nonlinearity of human vision. The image processing unit 35 performs CFA interpolation for interpolating a Bayer pattern implemented with RGA and RGB lines of gamma-corrected predetermined data into RGB lines. The image processing unit 35 converts the interpolated RGB signals into YUV signals, performs edge compensation for filtering the Y signals by a high-pass filter, and calculates color values of the U and V signals using a standard color coordinate system Corrects the color correction, and removes these noises. The image processing unit 35 compresses and processes the Y, U, and V signals from which the noise has been removed to generate a JPEG file, and the generated JPEG file is displayed on the display unit 23 and stored in the storage unit 37 . All the operations of the image processing unit 35 operate under the control of the digital signal processing unit 39. [

디지털 신호 처리부(39)는 연사촬영된 영상들에 동일한 식별정보를 삽입하고, 동일한 식별정보가 삽입된 영상파일들이 슬라이드쇼로 디스플레이 되도록 제어 한다. 이를 위해, 디지털 신호 처리부(39)는 식별정보 삽입부(39-1), 슬라이드쇼 실행부(39-2) 및 제어부(39-3)를 포함한다.The digital signal processing unit 39 inserts the same identification information into the continuous-shot images, and controls the display of the image files in which the same identification information is inserted, as a slide show. To this end, the digital signal processing unit 39 includes an identification information inserting unit 39-1, a slide show executing unit 39-2, and a control unit 39-3.

디지털 신호 처리부(39)는 사용자 입력부(31)를 통하여 사용자에 의해 연사촬영이 선택되면, 한 번의 셔터 릴리즈 버튼(11) 입력으로 촬영된 복수개의 영상에 대하여 복수개의 Exif 파일을 생성하여 저장부(37)에 저장된다.The digital signal processing unit 39 generates a plurality of Exif files for a plurality of images photographed with one shutter release button 11 input by the user through the user input unit 31 and outputs the generated Exif files to the storage unit 37).

이때 식별졍보 삽입부(39-1)는 연사촬영된 영상파일에 동일한 식별정보를 삽입한다. 영상파일의 내부에는 제조사 별로 각 용도에 따라 사용할 수 있는 사용자 정의 영역으로써의 MakerNote data 영역이 있는데, 식별정보 삽입부(39-1)는 동일한 파일명을 유지하면서, MakerNote data 영역에 연사촬영된 영상임을 나타내는 식별정보를 기록한다.At this time, the identification code inserting unit 39-1 inserts the same identification information into the continuous image photographed file. Inside the image file, there is a MakerNote data area as a user defined area that can be used according to each use by the manufacturer. The identification information inserting section 39-1 keeps the same file name and is a video shot in the MakerNote data area And records the identification information to be displayed.

슬라이드쇼 실행부(39-2)는 제어부(39-3)의 제어 하에, 연사촬영된 영상들을 설정된 시간 간격으로 순차적으로 연속 재생한다. 슬라이드쇼 실행부(39-2)는 사용자 입력부(31)의 재생/일시정지 버튼(미도시)를 수신하여 슬라이드쇼 영상의 재생 또는 일시정지를 실행할 수 있다.Under the control of the control unit 39-3, the slideshow execution unit 39-2 successively plays back successively photographed images at predetermined time intervals. The slide show execution unit 39-2 can receive the playback / pause button (not shown) of the user input unit 31 and execute playback or pause of the slide show image.

제어부(39-3)는 저장부(37)에 저장된 영상이 재생되면 순차적으로 싱글 영상이 재생되도록 제어하다가, 연사촬영된 첫번째 영상파일이 재생되면, 연사촬영된 영상을 슬라이드쇼 실행이 가능함을 나타내는 정보를 표시한다. 사용자 입력부(31)를 통하여 사용자로부터 슬라이드쇼 실행을 선택신호를 수신한 제어부(39-3)는 먼저, 저장부(37)에 저장된 나머지 연사촬영된 영상파일들을 검색하는데, 연사촬영된 영상파일에 식별정보 삽입부(39-1)가 삽입한 동일한 식별정보로부터, 연사 촬영된 영상들을 검색한다. 이후, 제어부(39-3)는 검색된 첫번째 연사촬영 영상파일부터 마지막 연사촬영 영상파일까지 순차적으로 디스플레이 되도록 슬라이드쇼 실행부(39-2)를 제어한다.When the image stored in the storage unit 37 is reproduced, the controller 39-3 controls the single image to be sequentially reproduced. When the first image file is continuously reproduced, the controller 39-3 displays the continuous image Display information. The control unit 39-3, which receives the selection signal from the user through the user input unit 31 for executing the slideshow, searches for the remaining continuous shooting image files stored in the storage unit 37, From the same identification information inserted by the identification information inserting section 39-1. Then, the control unit 39-3 controls the slide show execution unit 39-2 to sequentially display the searched first continuous shooting image file to the last continuous shooting image file.

도 4에는 연사촬영된 영상들을 슬라이드쇼로 보여주는 도 3을 설명하기 위해 저장부(37)에 저장되어 재생되는 일반촬영 영상파일과 연사촬영된 영상파일들을 보여준다.FIG. 4 shows a general photographic image file and a continuous photographed image file, which are stored and reproduced in the storage unit 37 to illustrate FIG. 3 showing slices of continuous photographed images.

도 4a에는 일반 촬영된 싱글 영상이, 도 4b∼4f에는 연사촬영된 영상들이, 다시 도 4g 및 도 4h에는 일반 촬영된 싱글 영상들이 저장부(37)에 저장되어 재생된다. 연사촬영된 도 4b∼4f와 같은 영상파일 내부의 사용자 정의 영역인 MakerNote data 영역에 연사촬영된 영상임을 나타내는 식별정보가 기록되어 있다.4A, 4B, 4C, 4D and 4H, the single shot images are stored in the storage unit 37 and reproduced. Identification information indicating that the image is a continuous-shot photographed is recorded in the MakerNote data area, which is a user defined area inside the image file as shown in Figs. 4B to 4F.

먼저 도 4a와 같이 일반 촬영된 싱글 영상이 디스플레이부(23)에 디스플레이 되고 난 후, 도 4b와 같이 연사촬영된 첫번째 영상이 디스플레이부(23)에 디스플레이 되면, 제어부(39-3)는 슬라이드쇼 재생여부를 묻는 표시 창을 디스플레이 한다.4A, a single shot image is displayed on the display unit 23, and then the first image shot continuously is displayed on the display unit 23 as shown in FIG. 4B, And displays a display window asking whether or not to play it.

사용자에 의해 슬라이드쇼 재생이 선택되면, 제어부(39-3)는 동일한 식별정보가 기록된 나머지 연사촬영된 도 4c, 4d, 4e, 4f 영상들을 검색하고, 슬라이드쇼 실행부(39-2)는 제어부(39-3)의 제어 하에, 연사촬영된 도 4b∼4f 영상들을 설정된 시간 간격으로 순차적으로 연속 재생한다. 이때 사용자는 임의의 연사촬영된 영상을 삭제할 수도 있다.When the slide show reproduction is selected by the user, the control unit 39-3 searches the images of FIG. 4C, 4D, 4E, and 4F in which the same continuous information is recorded with the same identification information, and the slide show execution unit 39-2 Under the control of the control unit 39-3, successively reproduces the continuous-shot images of FIG. 4B to FIG. 4F at predetermined time intervals. At this time, the user may delete an arbitrary continuous-shot image.

연사촬영된 도 4b∼4f 영상들의 슬라이드쇼 재생이 완료되면, 도 4g 및 도 4h와 같은와 싱글 영상들이 다시 재생된다.When the slideshow reproduction of the continuous-shot images of FIGS. 4b to 4f is completed, the single images as shown in FIGS. 4g and 4h are reproduced again.

이하, 도 5를 참조하여 본 발명에 따른 연사촬영된 영상들을 슬라이드쇼로 보여주는 디지털 영상 처리 장치의 동작 방법을 상세히 설명한다. 본 발명에 따른 연사촬영된 영상들을 슬라이드쇼로 보여주는 디지털 영상 처리 장치의 동작 방법은 도 3에 도시된 바와 같은 디지털 영상 처리장치의 내부에서 수행될 수 있는데, 실시 예에 따라 제어방법의 주 알고리즘은 제어장치 내의 주변 구성 요소들의 도움을 받아 제어부(39)의 내부에서 수행될 수 있다.Hereinafter, an operation method of the digital image processing apparatus for displaying the continuous shot images according to the present invention in a slide show will be described in detail with reference to FIG. The operation method of the digital image processing apparatus for displaying the continuous shot photographed images according to the present invention can be performed in the digital image processing apparatus as shown in FIG. 3. According to the embodiment, May be performed inside the control unit 39 with the help of peripheral components within the control unit.

사용자 입력부(31)를 통하여 사용자에 의해 연사촬영이 선택되고(501단계), 연사촬영이 시작되면, 제어부(39-3)한 번의 셔터 릴리즈 버튼(11) 입력으로 촬영된 복수개의 영상에 대하여 복수개의 Exif 파일을 생성하여 저장부(37)에 저장한다.The continuous shooting is selected by the user through the user input unit 31 in step 501. When the continuous shooting is started, the control unit 39-3 selects a plurality of images shot with one shutter release button 11 input And stores the generated Exif file in the storage unit 37.

그리고나서, 식별졍보 삽입부(39-1)는 연사촬영된 영상파일 내부에 동일한 식별정보를 삽입한다(503단계). 영상파일의 내부에는 제조사 별로 각 용도에 따라 사용할 수 있는 사용자 정의 영역으로써의 MakerNote data 영역이 있는데, 식별정보 삽입부(39-1)는 동일한 파일명을 유지하면서, MakerNote data 영역에 연사촬영된 영상임을 나타내는 식별정보를 기록한다.Then, the identification code inserting unit 39-1 inserts the same identification information into the continuous image file (step 503). Inside the image file, there is a MakerNote data area as a user defined area that can be used according to each use by the manufacturer. The identification information inserting section 39-1 keeps the same file name and is a video shot in the MakerNote data area And records the identification information to be displayed.

이후, 사용자 입력부(31)를 통하여 영상 재생 메뉴가 선택되면, 제어부(39-3)는 저장부(37)에 저장된 영상파일을 순차적으로 디스플레이부(23)에 재생한다(505단계).Thereafter, when the video reproduction menu is selected through the user input unit 31, the control unit 39-3 sequentially reproduces the video files stored in the storage unit 37 on the display unit 23 (step 505).

싱글 영상파일 및 연사촬영된 영상파일들이 촬영된 순서대로 저장되어 있는 저장부(37)로부터 순차적으로 영상파일이 재생되다가, 연사촬영된 첫번째 영상파일이 디스플레이되면, 제어부(39-3)는 도 4b에 도시된 바와 같이, 연사촬영된 영상을 슬라이드쇼 실행이 가능함을 나타내는 정보를 표시한다(507단계).When the image file is sequentially reproduced from the storage unit 37 in which the single image file and the continuous image photographed image files are stored in the photographed order and the first image file photographed by continuous shooting is displayed, , Information indicating that the slideshow can be performed is displayed on the screen (step 507).

제어부(39-3)는 사용자의 선택에 따른 연사촬영된 영상파일의 슬라이드쇼 재생을 판단하여(509단계), 슬라이드쇼 재생이 선택된 경우, 저장부(37)로부터 동일한 식별정보를 갖는 영상파일들을 검색한다(511단계). 도 4b∼4f의 연사촬영된 영상파일들에 모두 동일한 식별정보가 기록되어 있다.The control unit 39-3 judges the slide show reproduction of the continuous shot photographed image file according to the user's selection (step 509). If the slide show reproduction is selected, the control unit 39-3 extracts image files having the same identification information from the storage unit 37 (Step 511). The same identification information is recorded in all the continuous-shot photographic files of Figs. 4B to 4F.

이어서, 제어부(39-3)는 검색된 첫번째 연사촬영 영상파일부터 마지막 연사촬영 영상파일까지 순차적으로 디스플레이 되도록 슬라이드쇼 실행부(39-2)를 제어하고, 슬라이드쇼 실행부(39-2)는 연사촬영된 영상들을 설정된 시간 간격으로 순차적으로 연속 재생한다(513단계). 이때 사용자는 임의의 연사촬영된 영상을 삭제할 수도 있다.The control unit 39-3 controls the slide show execution unit 39-2 to sequentially display the searched first continuous shooting image file to the last continuous shooting image file, The photographed images are sequentially played back successively at predetermined time intervals (step 513). At this time, the user may delete an arbitrary continuous-shot image.

연사촬영된 영상파일들의 슬라이드쇼 재생이 완료되면, 다음에 저장된 영상파일(싱글 영상파일 또는 또다른 연사촬영된 영상파일)들을 순차적으로 재생한다(515단계). 연사촬영된 도 4b∼4f 영상들의 슬라이드쇼 재생이 완료되면, 도 4g 및 도 4h와 같은와 싱글 영상들이 다시 재생된다.When the slide show reproduction of the continuous shot image files is completed, the next stored image file (single image file or another continuous shot image file) is sequentially played back (step 515). When the slideshow reproduction of the continuous-shot images of FIGS. 4b to 4f is completed, the single images as shown in FIGS. 4g and 4h are reproduced again.

도 1은 디지털 영상 처리 장치의 앞쪽 및 위쪽 외형을 보여주는 사시도 이다.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a perspective view showing the front and top contours of a digital image processing apparatus. Fig.

도 2는 도 1에 도시된 디지털 영상 처리 장치의 뒤쪽 외형을 보여주는 배면도 이다.FIG. 2 is a rear view showing the rear external appearance of the digital image processing apparatus shown in FIG. 1. FIG.

도 3은 본 발명에 따른 연사촬영된 영상들을 슬라이드쇼로 보여주는 디지털 영상 처리 장치의 구성을 보이는 블록도 이다.FIG. 3 is a block diagram illustrating a configuration of a digital image processing apparatus for displaying a continuous-shot photographed image according to the present invention in a slide show.

도 4는 도 3을 설명하기 위해 저장부에 저장되어 재생되는 일반촬영 영상파일과 연사촬영된 영상파일들을 보여준다.FIG. 4 shows a general photographic image file and a continuous photographed image file that are stored and reproduced in the storage unit to explain FIG.

도 5는 본 발명에 따른 연사촬영된 영상들을 슬라이드쇼로 보여주는 디지털 영상 처리 장치의 동작 방법을 보이는 흐름도 이다.FIG. 5 is a flowchart illustrating an operation method of a digital image processing apparatus that displays a continuous-shot photographed images according to the present invention in a slide show.

Claims (8)

연사촬영된 영상들에 동일한 식별정보를 삽입하는 식별정보 삽입부;An identification information inserting unit for inserting the same identification information into the continuous photographed images; 상기 연사촬영된 영상들을 슬라이드쇼로 디스플레이 하도록 제어하는 슬라이드쇼 실행부; A slide show execution unit for controlling the slide show to display the continuous shot images; 슬라이드쇼 재생 선택 신호를 수신하는 사용자 입력부; 및A user input section for receiving a slide show playback selection signal; And 상기 연사촬영된 영상들을 포함하는 저장된 영상들을 순차적으로 디스플레이하고, 제1 연사촬영된 영상이 디스플레이 되면 슬라이드쇼 재생 정보를 표시하도록 제어하는 제어부를 포함하는 디지털 영상 처리장치에 있어서, And a control unit for sequentially displaying stored images including the continuous shot images and controlling the slide show playback information to be displayed when the first continuous shot image is displayed, 상기 제어부는,Wherein, 상기 슬라이드쇼 재생 정보가 표시 될 때, 상기 슬라이드쇼 재생 선택신호가 입력되면 상기 동일한 식별정보가 삽입된 영상파일들을 슬라이드쇼로 디스플레이하도록 제어하는 것을 특징으로 하는 디지털 영상 처리장치.When the slide show reproduction selection information is displayed, when the slide show reproduction selection signal is inputted, controls to display the image files in which the same identification information is inserted, as a slide show. 제1항에 있어서, 상기 식별정보는2. The method according to claim 1, 상기 영상파일 내에서 영상의 촬영 정보를 포함하는 사용자 정의 영역에 저장되는 것을 특징으로 하는 디지털 영상 처리장치.Wherein the digital image data is stored in a user-defined area including image photographing information in the image file. 제 1항에 있어서, 상기 제어부는The apparatus of claim 1, wherein the control unit 상기 저장된 영상파일들로부터 동일한 식별정보를 갖는 연사촬영 영상파일들을 검색하고, 검색된 첫 번째 연사촬영 영상파일부터 마지막 연사촬영 영상파일까지 순차적으로 디스플레이 되도록 상기 슬라이드쇼 실행부를 제어하는 제어부를 포함하는 것을 특징으로 하는 디지털 영상 처리장치.And a control unit for searching the continuous shot image files having the same identification information from the stored image files and controlling the slide show executing unit to sequentially display the searched first continuous shooting image file to the last continuous shooting image file The digital image processing apparatus comprising: 제 1항에 있어서, 상기 제1 연사촬영된 영상은 2. The method according to claim 1, 상기 동일한 식별정보가 삽입된 영상파일들 중 첫 번째 연사촬영된 영상인 것을 특징으로 하는 디지털 영상 처리장치.Wherein the first identification information is the first continuous shot image among the image files having the same identification information. 연사촬영된 영상들에 동일한 식별정보를 삽입하는 단계; Inserting the same identification information into the continuous photographed images; 상기 연사촬영된 영상들을 포함하는 저장된 영상들을 순차적으로 디스플레이 하는 단계;Sequentially displaying stored images including the continuous shot images; 제1 연사촬영된 영상이 디스플레이 되면 슬라이드쇼 재생 정보를 표시하는 단계;Displaying slide show reproduction information when the first continuous shooting image is displayed; 슬라이드쇼 재생 선택 신호를 수신하는 단계; 및Receiving a slide show reproduction selection signal; And 상기 슬라이드쇼 재생 정보가 표시 될 때, 상기 슬라이드쇼 재생 선택신호가 입력되면 상기 동일한 식별정보가 삽입된 영상파일들을 슬라이드쇼로 디스플레이 하는 단계를 포함하는 디지털 영상 처리장치의 동작 방법. Displaying the slide show reproduction information when the slide show reproduction selection signal is input, and displaying the slide show with the same identification information inserted therein. 제5항에 있어서, 상기 식별정보는6. The method according to claim 5, 상기 영상파일 내에서 영상의 촬영 정보를 포함하는 사용자 정의 영역에 저장되는 것을 특징으로 하는 디지털 영상 처리장치의 동작 방법.Wherein the digital image data is stored in a user-defined area including image photographing information in the image file. 제 5항에 있어서, 슬라이드쇼로 디스플레이 하는 단계는동일한 식별정보를 갖는 연사촬영 영상파일들을 검색하는 단계; 및6. The method according to claim 5, wherein the step of displaying with the slide show comprises the steps of: searching the continuous shooting image files having the same identification information; And 검색된 첫 번째 연사촬영 영상파일부터 마지막 연사촬영 영상파일까지 순차적으로 디스플레이하는 단계를 포함하는 것을 특징으로 하는 디지털 영상 처리장치의 동작 방법.And sequentially displaying the searched first continuous shooting image file to the last continuous shooting image file. 제 5항에 있어서, 상기 제1 연사촬영된 영상은 6. The method according to claim 5, 상기 동일한 식별정보가 삽입된 영상파일들 중 첫 번째 연사촬영된 영상인 것을 특징으로 하는 디지털 영상 처리장치의 동작 방법.Wherein the first identification information is a first continuous shot image among the image files having the same identification information.
KR1020070095428A 2007-09-19 2007-09-19 Digital image processing apparatus for diplaying slideshow of a number of continuous captured image and thereof method KR101396355B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070095428A KR101396355B1 (en) 2007-09-19 2007-09-19 Digital image processing apparatus for diplaying slideshow of a number of continuous captured image and thereof method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070095428A KR101396355B1 (en) 2007-09-19 2007-09-19 Digital image processing apparatus for diplaying slideshow of a number of continuous captured image and thereof method

Publications (2)

Publication Number Publication Date
KR20090030099A KR20090030099A (en) 2009-03-24
KR101396355B1 true KR101396355B1 (en) 2014-05-16

Family

ID=40696559

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070095428A KR101396355B1 (en) 2007-09-19 2007-09-19 Digital image processing apparatus for diplaying slideshow of a number of continuous captured image and thereof method

Country Status (1)

Country Link
KR (1) KR101396355B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663226B1 (en) * 2010-03-02 2016-10-06 삼성전자주식회사 Digital image processing apparatus and digital image processing method
US11202028B2 (en) 2017-04-05 2021-12-14 Samsung Electronics Co., Ltd. Display device configuring multi display system and control method thereof
KR102010456B1 (en) * 2017-04-05 2019-08-13 삼성전자주식회사 Display apparatus consisting a multi display system and control method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005197785A (en) 2003-12-26 2005-07-21 Canon Inc Image pickup apparatus and image pickup method
JP2005244724A (en) 2004-02-27 2005-09-08 Konica Minolta Photo Imaging Inc Display control program
JP2005269021A (en) 2004-03-17 2005-09-29 Konica Minolta Photo Imaging Inc Reproduction program, reproduction data generating program and data recording apparatus
JP2005295374A (en) 2004-04-02 2005-10-20 Casio Comput Co Ltd Device and method for reproducing image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005197785A (en) 2003-12-26 2005-07-21 Canon Inc Image pickup apparatus and image pickup method
JP2005244724A (en) 2004-02-27 2005-09-08 Konica Minolta Photo Imaging Inc Display control program
JP2005269021A (en) 2004-03-17 2005-09-29 Konica Minolta Photo Imaging Inc Reproduction program, reproduction data generating program and data recording apparatus
JP2005295374A (en) 2004-04-02 2005-10-20 Casio Comput Co Ltd Device and method for reproducing image

Also Published As

Publication number Publication date
KR20090030099A (en) 2009-03-24

Similar Documents

Publication Publication Date Title
KR101510098B1 (en) Apparatus and method for blurring an image background in digital image processing device
KR20080101277A (en) Digiatal image process apparatus for displaying histogram and method thereof
KR101168988B1 (en) Method for operating digital image processing device having composition guide function and apparatus thereof
KR101396355B1 (en) Digital image processing apparatus for diplaying slideshow of a number of continuous captured image and thereof method
KR20100025967A (en) Apparatus and method for previewing picture file in digital image processing device
KR20090067913A (en) Apparatus and method for trimming image
KR101411313B1 (en) Apparatus for processing digital image capable of multi-disiaplay using television and thereof method
KR101384526B1 (en) Apparatus and method for slideshow play still image sampled from moving picture in digital image processing device
KR101421939B1 (en) Apparatus and method for processing digital image using face detection function
KR101298647B1 (en) D-day setting and managing method in digital image processing device
KR101411310B1 (en) Apparatus and method for compositing image in digital image device
KR20090105374A (en) Apparatus and method for generating thumbnail image in digital image processing device
KR20090026938A (en) Apparatus and method for comparing images in digital image processing device
KR101336239B1 (en) Digital image processing apparatus for being capblie of chaning auto focus area in captured image and method thereof
KR101411316B1 (en) Apparatus and method for processing digital image capable of memo image addition
KR101442600B1 (en) Apparatus and method for digital picturing image
KR101445608B1 (en) Digital photographing apparatus, method for controlling the same, and recording medium storing program to implement the method
KR101417807B1 (en) Apparatus and method for adjusting focus by face detection in digital image processing device
KR101467870B1 (en) Digital photographing apparatus, method for controlling the same, and recording medium storing program to implement the method
KR101417811B1 (en) Apparatus and method for zoom-in detected face through face detection in digital image processing device
KR101446941B1 (en) Apparatus and method for storing image when the image is speedly captured
KR101396338B1 (en) Apparatus for processing digital image capable of generating map and thereof method
KR101345300B1 (en) Method for editing slideshow images in digital image processing device
KR101378334B1 (en) Apparatus and method for trimming image
KR101431542B1 (en) Apparatus and method for printing image in digital image processing device

Legal Events

Date Code Title Description
N231 Notification of change of applicant
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 5