KR101514346B1 - Apparatus and method for making a composite photograph - Google Patents
Apparatus and method for making a composite photograph Download PDFInfo
- Publication number
- KR101514346B1 KR101514346B1 KR1020140017443A KR20140017443A KR101514346B1 KR 101514346 B1 KR101514346 B1 KR 101514346B1 KR 1020140017443 A KR1020140017443 A KR 1020140017443A KR 20140017443 A KR20140017443 A KR 20140017443A KR 101514346 B1 KR101514346 B1 KR 101514346B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- photographing
- preview
- person
- guide
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
본 명세서는 합성 사진을 촬영하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는, 시간 간격을 두고 촬영된 사진들을 즉시 합성하여 하나의 사진을 생성할 수 있는 촬영 장치 및 그 동작 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for photographing synthetic photographs, and more particularly, to a photographing apparatus and an operation method thereof that can instantly synthesize photographs taken at intervals of time to produce a single photograph.
최근에는 디지털 카메라는 물론이고 카메라를 구비한 이동통신단말기(스마트폰 등)이 다수 보급되었다. 이러한 디지털 카메라의 기능이 다양해지면서 카메라로 사진을 찍고, 이용하는 기능도 다양화 되었다. 예를 들어, 사진을 찍어 보는 것에 그치지 않고 찍은 사진을 합성하려는 시도가 다양하게 시도되고 있다. 한 예로 카메라가 부착된 이동통신단말기는 무선 인터넷 서비스를 통해 다운로드 받은 헤어스타일을 사용하거나 실시간으로 무선 인터넷 서비스에 접속하여 사용자가 촬영한 사진의 헤어스타일을 합성할 수 있도록 하는 기능이 있다. 대한민국 특허공개 제10-2002-0007735호에서는 미래 자녀 및 미래모습 예측이 가능한 얼굴 포토 스티커 시스템이 개시되어 있다.Recently, many mobile communication terminals (smart phones, etc.) equipped with cameras as well as digital cameras have been widely used. As the functions of these digital cameras have diversified, the functions of taking and using pictures with cameras have also diversified. For example, various attempts have been made to synthesize photographed pictures, not just photographs. For example, a mobile communication terminal with a camera has a function of using a hairstyle downloaded through a wireless Internet service or accessing a wireless Internet service in real time to synthesize a hairstyle of a photograph taken by a user. Korean Patent Laid-Open Publication No. 10-2002-0007735 discloses a face photo sticker system capable of predicting future children and future images.
하지만, 종래의 후처리 기법의 합성이 아닌 즉석에서 복수의 사진을 합성하여 하나의 사진을 생성하도록 하는 기능은 제안되어 있지 않다. 때문에 일행이 단체 사진을 찍고자 할 때 주변에 촬영을 부탁할 사람이 없는 경우에, 누군가 한 사람은 사진에서 빠지게 되는 경우 등의 불편함을 겪게 된다. 따라서 이와 비슷한 경우에 시간차를 두고 찍은 사진을 즉석에서 합성할 수 있다면, 상기의 불편함은 해소될 수 있기에, 위와 관련된 기술이 요청된다However, a function of generating a single photograph by synthesizing a plurality of photographs on the fly, rather than synthesizing a conventional post-processing technique, has not been proposed. Therefore, when a party is trying to take a group picture, when there is no person to ask for a picture, the person experiences a discomfort such as a case in which a person falls out of the picture. Therefore, if a photograph taken at a time difference in a similar case can be instantly synthesized, the above-mentioned inconvenience can be solved,
본 명세서는 합성 사진을 촬영하는 장치 및 방법을 제공하는 데에 그 목적이 있다. 보다 구체적으로는 시간 간격을 두고 촬영된 사진들을 즉시 합성하여 하나의 사진을 생성하는 장치 및 방법을 제공하는 것에 목적이 있다.It is an object of the present invention to provide an apparatus and a method for photographing a composite photograph. More particularly, it is an object of the present invention to provide an apparatus and method for instantly composing photographs taken at intervals of time to generate a single photograph.
본 명세서의 일 실시예에 따라 촬영 장치가 제공된다. 상기 촬영 장치는 촬상부; 상기 촬상부를 통해 촬영된 제1 이미지 및 상기 제1 이미지보다 나중에 촬영되는 제2 이미지를 표시하는 표시부; 상기 제1 이미지 및 제2 이미지를 합성하여 제3 이미지를 생성하며, 상기 제2 이미지 촬영 시에 상기 합성을 위한 촬영 가이드를 상기 표시부에 나타내도록 제어하는 제어부;를 포함할 수 있다.According to one embodiment of the present invention, a photographing apparatus is provided. The photographing apparatus includes an image sensing unit; A display unit for displaying a first image photographed through the imaging unit and a second image photographed later than the first image; And a control unit for synthesizing the first image and the second image to generate a third image, and controlling the photographing guide for the combining to be displayed on the display unit at the time of photographing the second image.
이때, 상기 제1 이미지는 1 이상의 인물이 포함된 이미지이고, 상기 제2 이미지는, 상기 제1 이미지와 동일한 배경 및 상기 제1 이미지에 포함되지 않은 인물이 1 이상 포함된 이미지이며, 상기 제3 이미지는, 상기 제1 이미지 또는 상기 제2 이미지에 포함된 인물이 전부 포함되는 이미지일 수 있다.Wherein the first image is an image including at least one person and the second image is an image including at least one person that is not included in the same background and the first image as the first image, The image may be an image including all of the characters included in the first image or the second image.
상기 촬영 가이드는 상기 제1 이미지 중 특징 영역에 표시된 소정의 기호이며, 상기 특징 영역은 상기 제1 이미지의 포함된 인물의 신체 영역 또는 배경의 소정 물체를 포함할 수 있다.The photographing guide may be a predetermined symbol displayed in a feature region of the first image, and the feature region may include a body region of a person or an object in the background of the first image.
상기 촬영 가이드는 상기 제1 이미지와 프리뷰 화면의 일치도를 근거로 하여 촬영 방향 또는 각도를 조절하도록 지시하는 안내 텍스트 또는 사운드일 수 있다.The photographing guide may be a guiding text or sound for instructing to adjust the photographing direction or the angle based on the matching degree of the first image and the preview screen.
상기 제어부는 상기 촬영 가이드를 상기 제1 이미지의 실루엣 형태로 제공할 수 있다.The control unit may provide the photographing guide in a form of a silhouette of the first image.
본 명세서의 다른 실시예에 따라 촬영장치가 합성사진을 생성하는 방법이 제공된다. 상기 방법은 촬상부를 통해 촬영된 제1 이미지를 저장하는 단계; 상기 제1 이미지보다 나중에 촬영되는 제2 이미지의 프리뷰를 표시하는 단계; 상기 제2 이미지의 프리뷰 상에 상기 제1 이미지와의 합성을 위한 촬영 가이드를 나타내는 단계; 상기 촬상부를 통해 촬영된 제2 이미지 및 상기 제1 이미지를 합성하여 제3 이미지를 생성하는 단계;를 포함할 수 있다.According to another embodiment of the present disclosure, a method is provided in which a photographing apparatus generates a composite photograph. The method includes: storing a first image photographed through an imaging unit; Displaying a preview of a second image taken later than the first image; Displaying a photographing guide for compositing with the first image on a preview of the second image; And generating a third image by synthesizing the first image and the second image photographed through the imaging unit.
이때, 상기 제1 이미지는 1 이상의 인물이 포함된 이미지이고, 상기 제2 이미지는, 상기 제1 이미지와 동일한 배경 및 상기 제1 이미지에 포함되지 않은 인물이 1 이상 포함된 이미지이며, 상기 제3 이미지는, 상기 제1 이미지 또는 상기 제2 이미지에 포함된 인물이 전부 포함되는 이미지일 수 있다.Wherein the first image is an image including at least one person and the second image is an image including at least one person that is not included in the same background and the first image as the first image, The image may be an image including all of the characters included in the first image or the second image.
상기 촬영 가이드는 상기 제1 이미지 중 특징 영역에 표시된 소정의 기호이며, 상기 특징 영역은 상기 제1 이미지의 포함된 인물의 신체 영역 또는 배경의 소정 물체를 포함할 수 있다.The photographing guide may be a predetermined symbol displayed in a feature region of the first image, and the feature region may include a body region of a person or an object in the background of the first image.
상기 촬영 가이드는 상기 제1 이미지와 상기 제2 이미지의 프리뷰 간의 일치도를 근거로 하여 촬영 방향 또는 각도를 조절하도록 지시하는 안내 텍스트 또는 사운드일 수 있다.The photographing guide may be a guiding text or sound for instructing to adjust the photographing direction or the angle based on the degree of agreement between the preview of the first image and the preview of the second image.
상기 촬영 가이드는 상기 제1 이미지의 실루엣 형태일 수 있다.The photographing guide may be a silhouette of the first image.
본 명세서의 실시예들은 사용자가 편리하게 합성 사진을 생성하도록 도울 수 있다. 예컨대, 동일한 배경을 두고 단체 사진을 찍을 때, 타인의 도움을 얻을 수 없는 경우에도 일행 중 일부 인원의 누락없이 단체 사진을 찍을 수 있는 편리함을 줄 수 있으며, 사진의 합성에서 피사체의 왜곡이나 변경을 방지할 수 있는 수단을 제공할 수 있다.Embodiments of the present disclosure may help a user to conveniently create a composite photograph. For example, when a group picture is taken with the same background, even when the other person can not obtain the help, it is possible to provide a convenience of taking a group picture without omitting some members of the party, and the distortion of the subject or change Can be provided.
도 1a 내지 1c는 본 명세서의 실시예에 따른 합성사진 생성방법을 설명하는 도면이다.
도 2는 본 명세서의 일 실시예에 따른 촬영장치를 나타낸 블록도이다.
도 3은 본 명세서의 일 실시예에 따른 합성사진 촬영방법을 나타낸 흐름도이다.Figs. 1A to 1C are views for explaining a method of generating a composite photograph according to an embodiment of the present invention.
2 is a block diagram showing a photographing apparatus according to an embodiment of the present invention.
3 is a flow chart illustrating a method of photographing synthetic photographs according to an embodiment of the present invention.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It is noted that the technical terms used herein are used only to describe specific embodiments and are not intended to limit the invention. It is also to be understood that the technical terms used herein are to be interpreted in a sense generally understood by a person skilled in the art to which the present invention belongs, Should not be construed to mean, or be interpreted in an excessively reduced sense. Further, when a technical term used herein is an erroneous technical term that does not accurately express the spirit of the present invention, it should be understood that technical terms that can be understood by a person skilled in the art are replaced. In addition, the general terms used in the present invention should be interpreted according to a predefined or prior context, and should not be construed as being excessively reduced.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or similar elements throughout the several views, and redundant description thereof will be omitted. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. It is to be noted that the accompanying drawings are only for the purpose of facilitating understanding of the present invention, and should not be construed as limiting the scope of the present invention with reference to the accompanying drawings. The spirit of the present invention should be construed as extending to all modifications, equivalents, and alternatives in addition to the appended drawings.
도 1a 내지 1c는 본 명세서의 실시예에 따른 합성사진 생성방법을 설명하는 도면이다.Figs. 1A to 1C are views for explaining a method of generating a composite photograph according to an embodiment of the present invention.
상기 방법은 본 명세서의 실시예에 따른 촬영 장치에 의해 수행되며, 편리하게 합성사진을 생성하기 위한 것으로서, 특히 타인의 도움 없이도 단체사진을 생성하는 데에 활용될 수 있다.The method is performed by a photographing apparatus according to an embodiment of the present invention, and is convenient for generating a composite photograph, and can be utilized for generating a group photograph without the assistance of others.
상기 촬영 장치는 통상적인 카메라 장치에 한정되지 않으며, 2G/3G/4G 이동 단말, PMP 단말기, MP3 단말기 등에 포함된 카메라 장치도 포함할 수 있다. 본 명세서의 촬영 장치는 제어부, 마이크로프로세서, 메모리 및 내부 인터페이스 모듈 등 다양한 요소의 하드웨어를 더 구비할 수 있다. 또한, 본 명세서의 촬영 장치는 합성사진 생성을 수행하기 위해 필요한 어플리케이션(application, APP)을 설치/실행할 수 있다.The photographing device is not limited to a conventional camera device, and may include a camera device included in a 2G / 3G / 4G mobile terminal, a PMP terminal, and an MP3 terminal. The imaging device of the present disclosure may further include various elements of hardware such as a control unit, a microprocessor, a memory, and an internal interface module. In addition, the photographing apparatus of the present specification can install / execute an application (APP) necessary for performing a composite photograph generation.
이하에서는 상기 촬영 장치가 수행하는 합성사진 생성 동작을 설명한다.Hereinafter, the operation of generating a composite image performed by the photographing apparatus will be described.
상기 촬영 장치는 시간차를 두고 촬영된 2 이상의 이미지를 합하여 하나의 이미지를 생성할 수 있다. 이때, 상기 촬영 장치는, 증강 현실 등의 기술을 적용하여, 나중에 촬영되는 이미지 상에 (특히 프리뷰 상에) 이전 사진과의 합성을 위한 가이드(guide)를 표시하여 제공함으로써, 합성된 사진의 왜곡이나 어긋남을 사전에 방지할 수 있다.The photographing apparatus may combine two or more images photographed with a time difference to generate one image. At this time, the photographing apparatus applies a technique such as augmented reality to display and provide a guide for compositing with a previous photograph on an image to be photographed later (particularly on a preview) Or deviation can be prevented in advance.
본 명세서의 촬영 장치는 단체사진을 찍는 상황에서 유용하게 활용될 수 있는데, 일행이 함께 사진 촬영을 하고 싶으나 주변에 도움을 청할 사람이 없는 경우에 특히 유용하다. 이하에서 도 1a 내지 도 1c를 참조하여 설명한다.The photographing apparatus of the present specification can be usefully used in a situation where a group photograph is taken, which is particularly useful when a person wants to take a picture together but there is no one around to ask for help. Hereinafter, description will be made with reference to Figs. 1A to 1C.
도 1에 예시한 바와 같이, 3인이 함께 찍은 사진을 남기고 싶은 상황에서, 3인 중 1인이 나머지 일행만을 먼저 촬영한다(도 1a). 도 1a와 같이 일행 중에 1 이상의 인물이 포함된 이미지를 제1 이미지라 호칭한다.As illustrated in FIG. 1, in a situation where three persons want to leave a picture taken together, one of three persons shoots the other party first (FIG. 1A). As shown in FIG. 1A, an image including at least one person during a party is referred to as a first image.
다음으로, 도 1b와 같이, 제1 이미지에 포함되지 않았던 인물이 동일 배경에서 촬영될 준비를 한다. 이때, 상기 제1 이미지에 포함되지 않은 인물이 1 이상 포함될 이미지를 제2 이미지라 호칭한다. 상기 제2 이미지는 제1 이미지에 포함된 인물 중 한 명이 촬영하게 될 것이다. 이때, 상기 제2 이미지 촬영 시에 피사체를 보여주는 프리뷰(preview)가 표시되는데(즉, 제2 이미지의 프리뷰), 상기 프리뷰 화면에는 상기 제2 이미지와 상기 제1 이미지의 합성을 위한 촬영 가이드가 표시된다.Next, as shown in FIG. 1B, a person who is not included in the first image is prepared to be photographed on the same background. At this time, an image including at least one person not included in the first image is referred to as a second image. The second image will be captured by one of the persons included in the first image. At this time, a preview showing the subject at the time of shooting the second image (i.e., preview of the second image) is displayed on the preview screen, and a photographing guide for synthesizing the second image and the first image is displayed do.
상기 촬영 가이드는 2 이상의 사진을 합성이 원활하게 이뤄지도록 사용자에게 도움을 주는 수단으로서, 안내선, 격자, 기호, 점(dot) 등으로 구현될 수 있다. 예를 들어, 상기 촬영 가이드는 상기 제1 이미지 중 특징 영역에 표시된 소정의 기호일 수 있다. 이때, 상기 특징 영역은, 영상 분석으로 쉽게 분리할 수 있는 영역, 즉 상기 제1 이미지의 포함된 인물의 신체 영역(얼굴 등)이나 배경의 소정 물체(명도, 채도 등이 급변하는 부분)일 수 있다. 상기 촬영 가이드가 안내선(guide line)으로 구현되는 경우라면, 상기 촬영 장치는 중간 위치 등에 선을 표시하여 제2 이미지 촬영에 기준으로 삼도록 할 수도 있다.The photographing guide may be implemented as a guide line, a grid, a symbol, a dot, or the like as a means for helping a user to smoothly synthesize two or more photographs. For example, the photographing guide may be a predetermined symbol displayed in a feature region of the first image. At this time, the feature region may be a region easily separable by image analysis, that is, a body region (face or the like) of a person including the first image or a predetermined object (a portion where brightness, have. If the photographing guide is implemented as a guide line, the photographing device may display a line at an intermediate position or the like so as to be used as a reference for photographing the second image.
다른 예로 상기 촬영 가이드는, 상기 제1 이미지와 제2 이미지의 프리뷰 화면의 일치도를 근거로 분석된, 촬영 방향 또는 각도를 조절하도록 지시하는 안내 텍스트 또는 사운드(음성, 소리 등)일 수도 있다. 즉, 상기 촬영 장치가 제1 이미지와 제2 이미지의 프리뷰 사이의 거리/각도 차를 계산하여 오른쪽으로 한걸음, 좌측 10도정도 각도로 이동을 지시하는 등의 안내문을 출력하는 것이다.As another example, the photographing guide may be a guidance text or sound (voice, sound, etc.) instructing to adjust the photographing direction or the angle analyzed based on the matching degree of the preview image of the first image and the second image. That is, the photographing apparatus calculates a distance / angle difference between the preview of the first image and the second image, and outputs a guidance message such as instructing movement to the right by one step and leftward by 10 degrees.
또 다른 예로 상기 촬영 가이드는, 상기 제1 이미지의 실루엣(silhouette) 형태로 제공될 수도 있다. 즉, 도 1b의 예시와 같이 제1 이미지의 인물들을 윤곽선이나 흐릿한 형태로 보여주어, 제2 이미지 촬영 시에 촬영자가 그에 맞추어 촬영할 수 있는 것이다.As another example, the photographing guide may be provided in a silhouette form of the first image. That is, as shown in FIG. 1B, the characters of the first image are displayed in a contour or a fuzzy shape, and the photographer can photograph the second image at the time of photographing the second image.
제2 이미지의 촬영자가 상기 촬영 가이드를 참고하여 제2 이미지를 촬영하면, 상기 촬영 장치는 제2 이미지 및 제1 이미지를 합성하여 제3 이미지를 생성한다. 여기서, 상기 제3 이미지는 상기 제1 이미지 또는 상기 제2 이미지에 포함된 인물이 전부 포함되는 이미지다. 도 1c에서는 3인이 모두 포함된 이미지로 합성된 제3 이미지를 예시하였다. 이때 제1 이미지와 제2 이미지에 공통적으로 포함된 인물(부분)이 있다면, 제1 이미지와 제2 이미지 중 어느 하나의 이미지에 있는 것만을 선택할 수도 있다.When the photographer of the second image shoots the second image with reference to the photographing guide, the photographing apparatus synthesizes the second image and the first image to generate the third image. Here, the third image is an image including all the characters included in the first image or the second image. In FIG. 1C, a third image synthesized from an image including all three persons is illustrated. At this time, if there is a person (part) commonly included in the first image and the second image, only the one in the image of either the first image or the second image may be selected.
상기 촬영 장치는 생성한 합성 사진(제3 이미지)를 저장하고, 사용자의 요구에 따라 편집하는 기능을 제공할 수 있다. 또한, 상기 촬영 장치는 일반 촬영 모드와 상기 서술한 합성 촬영 모드를 사용자가 선택할 수 있는 인터페이스를 구비할 수 있다.The photographing apparatus may store the generated composite photograph (third image) and provide a function of editing according to a user's request. In addition, the photographing apparatus may have a general photographing mode and an interface through which the user can select the composite photographing mode.
도 2는 본 명세서의 일 실시예에 따른 촬영장치를 나타낸 블록도이다.2 is a block diagram showing a photographing apparatus according to an embodiment of the present invention.
상기 촬영장치(100)는 촬상부(110), 표시부(120), 제어부(130)를 포함하여 구성될 수 있다. 또한 상기 촬영장치(100)는 메모리, 사용자 인터페이스 등 다양한 요소의 하드웨어를 더 구비할 수 있다. 상기 촬영장치(100)는 통상적인 카메라 장치에 한정되지 않으며, 2G/3G/4G 이동 단말, PMP 단말기, MP3 단말기 등에 포함된 카메라 장치도 포함할 수 있다.The photographing
상기 촬영장치(100)는 도 1a 내지 도 1c을 통하여 설명한 합성사진 생성방법을 수행한다. 즉, 상기 촬영장치(100)는 시간차를 두고 촬영된 2 이상의 이미지를 합성하여 하나의 이미지를 생성할 수 있다. 이때, 상기 촬영 장치(100)는 나중에 촬영되는 이미지 상에 (특히 프리뷰 상에) 이전 사진과의 합성을 위한 가이드(guide)를 표시하여 제공함으로써, 합성된 사진의 왜곡이나 어긋남을 사전에 방지할 수 있다.The photographing
상기 촬상부(110)는 촬영 모듈을 구비하여 피사체를 촬영하는 수단이다. 기존에 알려진 여러 카메라 모듈로써 구현될 있다.The
상기 표시부(120)는 상기 촬상부(110)를 통해 촬영된 제1 이미지 및 상기 제1 이미지보다 나중에 촬영되는 제2 이미지를 표시하도록 구비된다.The
상기 제어부(130)는 상기 제1 이미지 및 제2 이미지를 합성하여 제3 이미지를 생성하며, 상기 제2 이미지 촬영 시에 상기 합성을 위한 촬영 가이드를 상기 표시부(120)에 나타내도록 제어할 수 있다. 이때 상기 제어부(130)는 상기 촬영 가이드를 상기 제1 이미지의 실루엣 형태로 제공할 수 있다.The
여기서, 상기 제1 이미지는 1 이상의 인물이 포함된 이미지이고, 상기 제2 이미지는, 상기 제1 이미지와 동일한 배경 및 상기 제1 이미지에 포함되지 않은 인물이 1 이상 포함된 이미지이며, 상기 제3 이미지는, 상기 제1 이미지 또는 상기 제2 이미지에 포함된 인물이 전부 포함되는 이미지일 수 있다.Wherein the first image is an image including at least one person and the second image is an image including at least one person that is not included in the same background and the first image as the first image, The image may be an image including all of the characters included in the first image or the second image.
한편, 상기 촬영 가이드는 상기 제1 이미지 중 특징 영역에 표시된 소정의 기호이며, 상기 특징 영역은 상기 제1 이미지의 포함된 인물의 신체 영역 또는 배경의 소정 물체를 포함할 수 있다.On the other hand, the photographing guide may be a predetermined symbol displayed in a feature region of the first image, and the feature region may include a body region of the person or an object in the background of the first image.
또한, 상기 촬영 가이드는 상기 제1 이미지와 프리뷰 화면의 일치도를 근거로 하여 촬영 방향 또는 각도를 조절하도록 지시하는 안내 텍스트 또는 사운드일 수도 있다.The photographing guide may be guiding text or sound for instructing the photographing direction or the angle to be adjusted based on the matching degree of the first image and the preview screen.
상기 촬영 장치(100)는 생성한 합성 사진(제3 이미지)를 저장하고, 사용자의 요구에 따라 편집하는 기능을 제공할 수 있다. 또한, 상기 촬영 장치(100)는 일반 촬영 모드와 상기 서술한 합성 촬영 모드를 사용자가 선택할 수 있는 인터페이스를 구비할 수 있다The photographing
도 3은 본 명세서의 일 실시예에 따른 합성사진 촬영방법을 나타낸 흐름도이다.3 is a flow chart illustrating a method of photographing synthetic photographs according to an embodiment of the present invention.
상기 방법은 도 1 내지 도 2에서 설명한 촬영장치(100)에 의해 수행될 수 있다. 상기 촬영 장치는 시간차를 두고 촬영된 2 이상의 이미지를 합하여 하나의 이미지를 생성할 수 있다. 이때, 상기 촬영 장치는 나중에 촬영되는 이미지 상에 (특히 프리뷰 상에) 이전 사진과의 합성을 위한 가이드(guide)를 표시하여 제공함으로써, 합성된 사진의 왜곡이나 어긋남을 사전에 방지할 수 있다.The above method can be performed by the photographing
이하에서 도 2를 참조하여 상기 촬영 장치가 합성사진을 생성하는 방법을 설명한다.Hereinafter, a method of generating a composite photograph by the photographing apparatus will be described with reference to FIG.
먼저, 상기 촬영 장치는 촬상부(예: 카메라 모듈등)를 통해 촬영된 제1 이미지를 저장한다(S310). 다음으로 상기 촬영 장치는 상기 제1 이미지보다 나중에 촬영되는 제2 이미지의 프리뷰를 표시한다(S320). 이때 상기 촬영 장치는 상기 제2 이미지의 프리뷰 상에 상기 제1 이미지와의 합성을 위한 촬영 가이드를 나타낸다(S330). 다음으로 상기 촬영 장치는 상기 촬상부를 통해 촬영된 제2 이미지 및 상기 제1 이미지를 합성하여 제3 이미지를 생성한다(S340).First, the photographing apparatus stores a first image photographed through an image sensing unit (e.g., a camera module) (S310). Next, the photographing apparatus displays a preview of the second image photographed later than the first image (S320). At this time, the photographing apparatus displays a photographing guide for compositing the first image on the preview of the second image (S330). Next, the photographing apparatus synthesizes the second image and the first image photographed through the imaging unit to generate a third image (S340).
여기서, 상기 제1 이미지는 1 이상의 인물이 포함된 이미지이고, 상기 제2 이미지는, 상기 제1 이미지와 동일한 배경 및 상기 제1 이미지에 포함되지 않은 인물이 1 이상 포함된 이미지이며, 상기 제3 이미지는, 상기 제1 이미지 또는 상기 제2 이미지에 포함된 인물이 전부 포함되는 이미지일 수 있다.Wherein the first image is an image including at least one person and the second image is an image including at least one person that is not included in the same background and the first image as the first image, The image may be an image including all of the characters included in the first image or the second image.
한편, 상기 촬영 가이드는 상기 제1 이미지 중 특징 영역에 표시된 소정의 기호이며, 상기 특징 영역은 상기 제1 이미지의 포함된 인물의 신체 영역 또는 배경의 소정 물체를 포함할 수 있다. 다르게는, 상기 촬영 가이드는 상기 제1 이미지와 상기 제2 이미지의 프리뷰 간의 일치도를 근거로 하여 촬영 방향 또는 각도를 조절하도록 지시하는 안내 텍스트 또는 사운드일 수 있다. 또 다르게는 상기 촬영 가이드는 상기 제1 이미지의 실루엣 또는 윤곽선 형태일 수 있다. On the other hand, the photographing guide may be a predetermined symbol displayed in a feature region of the first image, and the feature region may include a body region of the person or an object in the background of the first image. Alternatively, the photographing guide may be a guiding text or sound instructing to adjust the photographing direction or the angle based on the degree of agreement between the preview of the first image and the preview of the second image. Alternatively, the imaging guide may be in the form of a silhouette or contour of the first image.
한편, 본 명세서의 방법은, 상기 도 3에서 서술한 각 단계를 수행하는 명령들을 포함하는 컴퓨터로 판독 가능한 기록매체로 구현될 수도 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.Meanwhile, the method of the present invention may be embodied as a computer-readable recording medium including instructions for performing the steps described in FIG. The computer-readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of matter that affects the machine readable propagation type signal, or a combination of one or more of the foregoing.
본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 처리 시스템의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.Implementations of the functional operations and the subject matter described herein may be implemented in digital electronic circuitry, or may be implemented in computer software, firmware, or hardware, including the structures disclosed herein, and structural equivalents thereof, It can be implemented. Implementations of the subject matter described herein may be implemented as one or more computer program products, i. E. One or more modules relating to computer program instructions encoded on a type of program storage medium for execution by, or control of, the operation of the processing system Can be implemented.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.A computer program (also known as a program, software, software application, script or code) may be written in any form of programming language, including compiled or interpreted language, a priori or procedural language, Components, subroutines, or other units suitable for use in a computer environment. A computer program does not necessarily correspond to a file in the file system. The program may be stored in a single file provided to the requested program, or in multiple interactive files (e.g., a file storing one or more modules, subprograms, or portions of code) (E.g., one or more scripts stored in a markup language document). A computer program may be deployed to run on multiple computers or on one computer, located on a single site or distributed across multiple sites and interconnected by a communications network.
한편, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함할 수 있다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.On the other hand, computer readable media suitable for storing computer program instructions and data include semiconductor memory devices such as, for example, EPROM, EEPROM and flash memory devices, such as magnetic disks such as internal hard disks or external disks, Non-volatile memory, media and memory devices, including ROM and DVD-ROM disks. The processor and memory may be supplemented by, or incorporated in, special purpose logic circuits.
이상, 본 발명의 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
100 : 촬영 장치
110 : 촬상부
120 : 표시부
130 : 제어부100:
110:
120:
130:
Claims (11)
상기 촬상부를 통해 촬영된 제1 이미지 및 상기 제1 이미지보다 나중에 촬영되는 제2 이미지를 표시하는 표시부;
상기 제1 이미지와 상기 제2 이미지의 프리뷰 화면을 합성하여 제3 이미지를 생성하며, 상기 제2 이미지 촬영 시에 상기 합성을 위한 촬영 가이드를 상기 제2 이미지의 프리뷰 화면에 나타내도록 제어하는 제어부;를 포함하며,
상기 촬영 가이드는 상기 제1 이미지와 상기 제2 이미지의 프리뷰 화면의 일치도를 근거로 하여 상기 제2 이미지의 촬영 시 촬영 방향 또는 각도를 조절하도록 지시하는 안내 텍스트 또는 사운드인 것을 특징으로 하는 촬영 장치.An image pickup unit;
A display unit for displaying a first image photographed through the imaging unit and a second image photographed later than the first image;
A control unit for synthesizing a preview image of the first image and the second image to generate a third image and controlling the photographing guide for compositing to be displayed on a preview screen of the second image at the time of photographing the second image; / RTI >
Wherein the photographing guide is a guiding text or sound for instructing to adjust a photographing direction or an angle at the time of photographing the second image based on the matching degree of the preview image of the first image and the second image.
상기 제1 이미지는 1 이상의 인물이 포함된 이미지이고,
상기 제2 이미지는, 상기 제1 이미지와 동일한 배경 및 상기 제1 이미지에 포함되지 않은 인물이 1 이상 포함된 이미지이며,
상기 제3 이미지는, 상기 제1 이미지 또는 상기 제2 이미지에 포함된 인물이 전부 포함되는 이미지인 것을 특징으로 하는 촬영 장치.The method according to claim 1,
Wherein the first image is an image including at least one person,
Wherein the second image is an image including at least one person that is not included in the background and the same image as the first image,
Wherein the third image is an image including all the characters included in the first image or the second image.
상기 촬영 가이드는 상기 제1 이미지 중 특징 영역에 표시된 소정의 기호이며,
상기 특징 영역은 상기 제1 이미지의 포함된 인물의 신체 영역 또는 배경의 소정 물체를 포함하는 것을 특징으로 하는 촬영 장치.The method according to claim 1,
Wherein the photographing guide is a predetermined symbol displayed in a feature region of the first image,
Wherein the feature region includes a body region of the person or a predetermined object in the background of the first image.
상기 제어부는 상기 촬영 가이드를 상기 제1 이미지의 실루엣 형태로 제공하는 것을 특징으로 하는 촬영 장치.The method according to claim 1,
Wherein the control unit provides the photographing guide in a form of a silhouette of the first image.
촬상부를 통해 촬영된 제1 이미지를 저장하는 단계;
상기 제1 이미지보다 나중에 촬영되는 제2 이미지의 프리뷰 화면을 표시하는 단계;
상기 제2 이미지의 프리뷰 화면에 상기 제1 이미지와의 합성을 위한 촬영 가이드를 나타내는 단계;
상기 촬상부를 통해 촬영된 제2 이미지 및 상기 제1 이미지를 합성하여 제3 이미지를 생성하는 단계를 포함하며,
상기 촬영 가이드는 상기 제1 이미지와 상기 제2 이미지의 프리뷰 화면의 일치도를 근거로 하여 상기 제2 이미지의 촬영 시 촬영 방향 또는 각도를 조절하도록 지시하는 안내 텍스트 또는 사운드인 것을 특징으로 하는 방법.CLAIMS What is claimed is: 1. A method of generating a composite picture,
Storing a first image photographed through an imaging unit;
Displaying a preview image of a second image photographed later than the first image;
Displaying a photographing guide for compositing with the first image on a preview screen of the second image;
And synthesizing the first image and the second image captured through the imaging unit to generate a third image,
Wherein the photographing guide is a guiding text or sound for instructing to adjust a photographing direction or an angle at the time of photographing the second image based on the matching degree of the preview image of the first image and the second image.
상기 제1 이미지는 1 이상의 인물이 포함된 이미지이고,
상기 제2 이미지는, 상기 제1 이미지와 동일한 배경 및 상기 제1 이미지에 포함되지 않은 인물이 1 이상 포함된 이미지이며,
상기 제3 이미지는, 상기 제1 이미지 또는 상기 제2 이미지에 포함된 인물이 전부 포함되는 이미지인 것을 특징으로 하는 방법.The method according to claim 6,
Wherein the first image is an image including at least one person,
Wherein the second image is an image including at least one person that is not included in the background and the same image as the first image,
Wherein the third image is an image including all the characters included in the first image or the second image.
상기 촬영 가이드는 상기 제1 이미지 중 특징 영역에 표시된 소정의 기호이며,
상기 특징 영역은 상기 제1 이미지의 포함된 인물의 신체 영역 또는 배경의 소정 물체를 포함하는 것을 특징으로 하는 방법.The method according to claim 6,
Wherein the photographing guide is a predetermined symbol displayed in a feature region of the first image,
Wherein the feature region comprises an object of a body region or background of an included person of the first image.
상기 촬영 가이드는 상기 제1 이미지의 실루엣 형태인 것을 특징으로 하는 방법.The method according to claim 6,
Wherein the photographing guide is a silhouette of the first image.
촬상부를 통해 촬영된 제1 이미지를 저장하는 단계;
상기 제1 이미지보다 나중에 촬영되는 제2 이미지의 프리뷰를 표시하는 단계;
상기 제2 이미지의 프리뷰 상에 상기 제1 이미지와의 합성을 위한 촬영 가이드를 나타내는 단계;
상기 촬상부를 통해 촬영된 제2 이미지 및 상기 제1 이미지를 합성하여 제3 이미지를 생성하는 단계를 수행하는 명령들을 포함하며,
상기 촬영 가이드는 상기 제1 이미지와 상기 제2 이미지의 프리뷰 화면의 일치도를 근거로 하여 상기 제2 이미지의 촬영 시 촬영 방향 또는 각도를 조절하도록 지시하는 안내 텍스트 또는 사운드인 것을 특징으로 하는 컴퓨터 판독 가능 기록매체.A computer-readable medium having stored thereon instructions for causing a photographing apparatus to generate a composite photograph,
Storing a first image photographed through an imaging unit;
Displaying a preview of a second image taken later than the first image;
Displaying a photographing guide for compositing with the first image on a preview of the second image;
And combining the first image and the second image captured through the imaging unit to generate a third image,
Wherein the photographing guide is a guiding text or sound for instructing to adjust a photographing direction or an angle at the time of photographing the second image based on the matching degree of the preview image of the first image and the second image. Recording medium.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140017443A KR101514346B1 (en) | 2014-02-14 | 2014-02-14 | Apparatus and method for making a composite photograph |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140017443A KR101514346B1 (en) | 2014-02-14 | 2014-02-14 | Apparatus and method for making a composite photograph |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101514346B1 true KR101514346B1 (en) | 2015-04-22 |
Family
ID=53053867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140017443A KR101514346B1 (en) | 2014-02-14 | 2014-02-14 | Apparatus and method for making a composite photograph |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101514346B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210051403A (en) * | 2019-10-30 | 2021-05-10 | 한국전자통신연구원 | Apparatus and method for guiding multi-view capture |
| CN114099977A (en) * | 2021-11-23 | 2022-03-01 | 杭州高瓴医疗科技有限公司 | Phototherapy instrument convenient to distance |
| KR20230052806A (en) * | 2021-10-13 | 2023-04-20 | 호전실업 주식회사 | Human body image acquisition method for use of virtual clothing system and application program therefor |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090114707A (en) * | 2008-04-30 | 2009-11-04 | 삼성전자주식회사 | Camera and method for compounding picked-up image |
| KR20110060297A (en) * | 2009-11-30 | 2011-06-08 | 삼성전자주식회사 | Digital photographing apparatus and controlling method thereof |
| KR20110060499A (en) * | 2009-11-30 | 2011-06-08 | 삼성전자주식회사 | Digital image signal processing apparatus and method for controlling the same |
| KR20130104483A (en) * | 2012-03-14 | 2013-09-25 | 오충록 | Method and device for photographing by dividing objects |
-
2014
- 2014-02-14 KR KR1020140017443A patent/KR101514346B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090114707A (en) * | 2008-04-30 | 2009-11-04 | 삼성전자주식회사 | Camera and method for compounding picked-up image |
| KR20110060297A (en) * | 2009-11-30 | 2011-06-08 | 삼성전자주식회사 | Digital photographing apparatus and controlling method thereof |
| KR20110060499A (en) * | 2009-11-30 | 2011-06-08 | 삼성전자주식회사 | Digital image signal processing apparatus and method for controlling the same |
| KR20130104483A (en) * | 2012-03-14 | 2013-09-25 | 오충록 | Method and device for photographing by dividing objects |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210051403A (en) * | 2019-10-30 | 2021-05-10 | 한국전자통신연구원 | Apparatus and method for guiding multi-view capture |
| KR102273577B1 (en) | 2019-10-30 | 2021-07-07 | 한국전자통신연구원 | Apparatus and method for guiding multi-view capture |
| US11375107B2 (en) | 2019-10-30 | 2022-06-28 | Electronics And Telecommunications Research Institute | Apparatus and method for guiding multi-view capture |
| KR20230052806A (en) * | 2021-10-13 | 2023-04-20 | 호전실업 주식회사 | Human body image acquisition method for use of virtual clothing system and application program therefor |
| KR102587911B1 (en) | 2021-10-13 | 2023-10-12 | 호전실업 주식회사 | Human body image acquisition method for use of virtual clothing system and application program therefor |
| CN114099977A (en) * | 2021-11-23 | 2022-03-01 | 杭州高瓴医疗科技有限公司 | Phototherapy instrument convenient to distance |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102194094B1 (en) | Synthesis method, apparatus, program and recording medium of virtual and real objects | |
| EP3010226B1 (en) | Method and apparatus for obtaining photograph | |
| US9578260B2 (en) | Digital photographing apparatus and method of controlling the digital photographing apparatus | |
| KR102114377B1 (en) | Method for previewing images captured by electronic device and the electronic device therefor | |
| JP7026257B2 (en) | Image processing methods and devices, electronic devices and storage media | |
| JP5230013B2 (en) | Imaging device | |
| KR20190012465A (en) | Electronic device for acquiring image using plurality of cameras and method for processing image using the same | |
| JP2016096487A (en) | Imaging system | |
| CN112887617B (en) | Shooting method and device and electronic equipment | |
| KR101514346B1 (en) | Apparatus and method for making a composite photograph | |
| CN110995993B (en) | Star track video shooting method, star track video shooting device and storage medium | |
| US20160292842A1 (en) | Method and Apparatus for Enhanced Digital Imaging | |
| CN110874809A (en) | Image processing method and device, electronic equipment and storage medium | |
| JP2017162371A (en) | Image processing device, image processing method and program | |
| KR20210101009A (en) | Method for Recording Video using a plurality of Cameras and Device thereof | |
| KR20210053121A (en) | Method and apparatus for training image processing model, and storage medium | |
| JP2009171428A (en) | Control method and program for digital camera apparatus and electronic zoom | |
| WO2018042074A1 (en) | A method, apparatus and computer program product for indicating a seam of an image in a corresponding area of a scene | |
| WO2019205083A1 (en) | 3d image capturing method, 3d photographing device, and storage medium | |
| US20230209182A1 (en) | Automatic photography composition recommendation | |
| CN113286073A (en) | Imaging method, imaging device, and storage medium | |
| CN114430457B (en) | Shooting method, shooting device, electronic equipment and storage medium | |
| WO2015022700A2 (en) | A method for capturing an accurately composed high quality self-image using a multi camera device | |
| KR102514702B1 (en) | A mobile terminal for generating a photographed image and a method for generating a photographed image | |
| JP7171406B2 (en) | Electronic device and its control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180413 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190423 Year of fee payment: 5 |