KR101222928B1 - Apparatus for capturing image by composition setting of image - Google Patents
Apparatus for capturing image by composition setting of image Download PDFInfo
- Publication number
- KR101222928B1 KR101222928B1 KR1020120047348A KR20120047348A KR101222928B1 KR 101222928 B1 KR101222928 B1 KR 101222928B1 KR 1020120047348 A KR1020120047348 A KR 1020120047348A KR 20120047348 A KR20120047348 A KR 20120047348A KR 101222928 B1 KR101222928 B1 KR 101222928B1
- Authority
- KR
- South Korea
- Prior art keywords
- composition
- main subject
- photographing
- image
- recommended
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 촬영할 주요피사체를 제외한 배경의 추천 촬영구도 및 주요피사체의 추천 위치에 근거하여 촬영구도를 조정하는 구도 설정 촬영장치에 관한 것이다.The present invention relates to a composition-setting photographing apparatus for adjusting the photographing composition based on the recommended photographing composition of the background except the main subject to be photographed and the recommended position of the main subject.
카메라로 촬영한 영상은 피사체의 위치 및 방향을 주변 배경과 어떤 구도로 어우러지게 하여 촬영하는가에 따라 품질이 달라진다. 이에 따라, 카메라에 대한 지식이 많은 전문가는 촬영 구도에 세심한 주의를 기울이며 촬영한다.The quality of the images taken by the camera varies depending on the composition of the subject's position and orientation with the surrounding background. Accordingly, an expert with a lot of knowledge of a camera takes a picture with careful attention to a composition.
하지만, 일반 사용자는 촬영 구도를 어떻게 잡아야 하는지 몰라서 임의 구도로 촬영하고 만다. However, the general user does not know how to compose the shot and shoots with a random shot.
이와 같이 촬영 구도에 대한 지식이 부족한 일반 사용자라도 촬영 구도를 손쉽게 자동으로 조정하는 촬영장치가 제안되었다. 한국 공개특허 제10-2009-0017355호는 카메라의 미리보기뷰 영상에서 얼굴영역을 검출하고 얼굴영역의 영상구도가 소정 기준을 만족하도록 카메라 렌즈의 각도 및 초점을 변경함으로써, 구도에 대한 전문지식이 없더라도 자동으로 조정되는 구도에 따라 촬영한다.As described above, even a general user who lacks knowledge of the photographing composition has been proposed to easily and automatically adjust the photographing composition. Korean Patent Laid-Open Publication No. 10-2009-0017355 discloses expertise in composition by detecting a face region in a preview view image of a camera and changing the angle and focus of the camera lens so that the image composition of the face region satisfies a predetermined criterion. Even if it is not there, it will shoot according to the composition adjusted automatically.
하지만, 상기한 종래기술은 주변 배경의 상태에 따라 피사체를 어떠한 위치로 정하고 방향 및 영역을 어떻게 정해야 하는 지에 대해 기술하고 있지 아니하여서, 주변 배경의 상태에 맞는 구도를 정하기가 어려웠다. However, the above-described prior art does not describe how to position the subject according to the state of the surrounding background, and how to determine the direction and area, and thus it is difficult to determine the composition suitable for the state of the surrounding background.
또한, 촬영 구도는 배경에 중점을 두고 피사체의 위치를 적절하게 정하는 경우 및 피사체에 중점을 두고 배경의 정하는 경우 등이 있으나, 상기 종래기술은 이에 대해 기술하고 있지 아니하여서, 촬영 환경에 적합한 촬영 방식을 제공하지 못하였다.In addition, the photographing composition may include a case where the position of the subject is appropriately focused on the background and a case where the background is focused on the subject, but the prior art does not describe this, and thus a photographing method suitable for a shooting environment is provided. Did not provide.
따라서, 본 발명의 목적은 촬영하려는 주요 피사체와 주요 피사체의 주변 배경을 분리하여 촬영구도를 선정함으로써 주변 배경에 어울리는 주요 피사체의 위치를 정확하게 제시하고, 피사체 중심의 촬영구도도 제시하는 구도 설정 촬영장치를 제공하는 것이다.Accordingly, an object of the present invention is to select a photographing composition by separating the main subject to be photographed and the surrounding background of the main subject to accurately present the position of the main subject suitable for the surrounding background, and to provide a composition composition photographing apparatus centering on the subject. To provide.
상기 목적을 달성하기 위한 본 발명은, 미리보기뷰 및 줌(Zoom) 동작이 가능한 카메라부(120); 디스플레이부(130); 사용자 조작이 이루어지는 입력부(140); 촬영한 영상을 저장하는 저장부(150); 사용자 조작에 따라 미리보기뷰, 촬영, 디스플레이 및 저장 동작을 제어하는 제어부(110); 를 포함하여 구성되는 촬영장치에 있어서, 상기 저장부(150)는, 미리 설정한 주요피사체의 특징 정보, 미리 선정한 복수의 배경영상에 대한 추천 촬영구도, 및 각각의 추천 촬영구도에 대한 주요피사체의 추천 위치를 저장하고, 상기 제어부(110)는, 미리보기뷰 영상에서 주요피사체를 인식하고, 주요피사체를 배제한 미리보기뷰 영상의 촬영구도를 추출하고, 추출한 촬영구도와 유사도가 가장 높게 나타나는 추천 촬영구도를 미리보기뷰 영상에 겹쳐 출력하는 구도우선 프로세서를 구비함을 특징으로 한다.The present invention for achieving the above object, the
미리보기뷰 영상에서 배제할 주요피사체를 상기 입력부(140)로 선택할 수 있게 하고, 상기 제어부(110)는, 구도우선 프로세서를 가동할 시에, 추천 촬영구도에 대응되는 주요피사체의 추천 위치를 미리보기뷰 영상에 겹쳐 출력함을 특징으로 한다.The
상기 제어부(110)는, 미리보기뷰 영상에서 중점으로 촬영할 주요피사체를 상기 입력부(140)로 선택하고, 추천 위치를 포함시킨 추천 촬영구도와 미리보기뷰 영상의 촬영구도를 비교하여 유사도가 가장 높게 나타나는 추천 촬영구도를 미리보기뷰 영상에 겹쳐 출력하는 피사체우선 프로세서를 구비함을 특징으로 한다.The
팬(Pan) 및 틸트(Tilt)를 조절하는 거치대(200)를 포함하여 구성되고, 상기 제어부(100)는, 팬(Pan), 틸트(Tilt) 및 줌(zoom)의 조절로 주요피사체의 주변을 스캔하여 유사도가 가장 높은 추천 촬영구도를 찾고, 찾은 추천 촬영구도와의 유사도를 최대로 하는 촬영 방향 및 줌을 맞추는 구도추천 자동프로세서를 구비함을 특징으로 한다.It comprises a
미리보기뷰 영상에서 상기 입력부(140)를 이용하여 복수의 주요피사체를 선택하거나, 아니면 복수의 주요피사체를 수용하는 범위를 지정할 수 있고, 상기 제어부(110)는, 복수의 주요피사체의 선택 또는 범위 지정이 이루어지면, 복수의 주요피사체를 수용한 영역을 주요피사체로 사용함을 특징으로 한다.In the preview image, the
상기 제어부(110)는, 미리보기뷰 영상에서 인식한 패턴 중에 주요피사체의 길이보다 긴 패턴과, 주요피사체의 길이보다 작지만 미리 설정한 대비정도에 비해 높게 나타나는 패턴을 선별하고, 선별한 패턴으로 미리보기뷰 영상의 촬영구도를 추출함을 특징으로 한다.The
상기와 같이 구성되는 본 발명은, 촬영하려는 주요피사체를 배경과 분리하여 촬영구도를 추천함으로써, 정확한 촬영구도를 정할 수 있고, 배경에 어울리는 주요피사체의 위치도 잡을 수 있으므로, 촬영 환경에 따라 달라지는 배경에 맞추어 높은 품질의 촬영구도를 제시한다.The present invention configured as described above, by recommending the shooting composition by separating the main subject to be photographed from the background, it is possible to determine the exact shooting composition, and also to grasp the position of the main subject to match the background, the background that depends on the shooting environment High quality shooting composition is presented accordingly.
또한, 본 발명은 촬영하려는 주요피사체를 중심으로 배경이 어우러지게 촬영구도를 정할 수도 있어서, 촬영 환경뿐만 아니라 사용자의 의도에 따라서도 정확한 촬영구도로 촬영할 수 있다.In addition, the present invention can determine the shooting composition to match the background to the main subject to be taken, it is possible to shoot with the exact shooting composition according to the user's intention as well as the shooting environment.
도 1은 본 발명의 실시예에 따른 구도 설정 촬영장치의 블록구성도.
도 2는 추천 촬영구도의 예시도.
도 3은 추천 촬영구도의 다른 예시도.
도 4는 추천 위치의 예시도.
도 5는 본 발명의 실시예에 따른 구도 설정 촬영장치로 이루어지는 촬영방법의 동작모드를 보여주는 도면.
도 6은 정지영상 촬영모드(S200)의 동작순서도.
도 7은 정지영상 촬영모드(S200)에서 피사체우선 촬영모드(S220)의 동작순서도.
도 8은 동영상 촬영모드(S300)의 동작순서도.
도 9는 촬영구도 추가모드(S400)의 동작순서도.1 is a block diagram of a composition setting photographing apparatus according to an embodiment of the present invention.
2 is an exemplary view of a recommended photographing composition.
3 is another exemplary view of the recommended photographing composition.
4 is an exemplary view of a recommended position.
5 is a view showing an operation mode of a photographing method comprising a composition setting photographing apparatus according to an embodiment of the present invention;
6 is an operation flowchart of a still image shooting mode (S200).
7 is a flowchart illustrating an operation of the subject-priority photographing mode S220 in the still image photographing mode S200;
8 is an operation flowchart of a video shooting mode (S300).
9 is an operation flowchart of the photographing composition adding mode (S400).
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. In describing the present invention, when it is determined that a detailed description of a related known function or known configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
도 1은 본 발명의 실시예에 따른 구도 설정 촬영장치의 블록구성도이고, 도 2 및 도 3은 구도 설정 촬영장치에서 사용할 수 있는 추천 촬영구도의 예시도이고, 도 4는 구도 설정 촬영장치에서 사용할 수 있는 추천 위치의 예시도이다.1 is a block diagram of a composition setting photographing apparatus according to an embodiment of the present invention, Figures 2 and 3 is an exemplary view of a recommended photographing composition that can be used in the composition setting photographing apparatus, Figure 4 is a composition setting photographing apparatus It is an example of the recommended position which can be used.
상기 도 1을 참조하면, 본 발명에 따른 구도 설정 촬영장치는 촬영장치(100)만으로 구성되어 손으로 잡고 촬영방향을 조절하게 할 수도 있으나, 이럴 경우에 본 발명에서 설명하는 작용 중에 일부 작용만 수행할 수 있으므로, 본 발명의 실시예에서 보여주는 바와 같이 촬영장치(100)의 팬(Pan) 및 틸트(Tilt)를 조절할 수 있는 거치대(200)를 포함하여 구성되거나 아니면 거치대(200)를 촬영장치(100)와 일체로 구성하는 것이 바람직하다. 이하의 설명에서는 거치대(200)를 포함하여 구성된 본 발명의 실시예를 설명한다. 그리고, 팬 및 틸트를 조절하는 거치대(200)는 촬영장치와 유선 또는 무선으로 통신하여 촬영장치에 의해 제어되어 팬 및 틸트를 조절하는 구성으로서, 공지된 기술 구성이므로 상세한 설명을 생략한다. 또한, 상기 촬영장치(100)는 카메라기능을 갖는 디지털 기기로서, 예를 들면 카메라 또는 카메라기능을 갖는 이동통신단말기일 수 있고, 본 발명의 특징인 후술하는 제어부(110) 및 저장부(150)를 갖추고 거치대(200)와 연결되어 팬 및 틸트를 조절하게 구성할 수 있으면 만족한다.Referring to FIG. 1, the composition setting photographing apparatus according to the present invention may be configured by only the photographing
상기 촬영장치는 카메라부(120), 디스플레이부(130), 입력부(140), 저장부(150), 촬영안내부(160) 및 제어부(110)를 포함하여 구성된다. 그리고 상기 제어부(110)는 거치대(200)의 팬틸트구동부(210)를 제어하여 촬영방향을 조정한다.The photographing apparatus includes a
상기 카메라부(120)는 촬영하여 영상을 얻는 동작뿐만 아니라 촬영하기 전에 영상을 상기 디스플레이부(130)에 출력하는 미리보기뷰 동작도 가능하게 구성되고, 아울러, 줌(Zoom) 동작도 가능하게 구성된다.The
상기 디스플레이부(130)는 미리보기뷰 영상을 출력하여 사용자에게 보여주고, 후술하는 추천 촬영구도 또는 추천 위치를 미리보기뷰 영상에 겹쳐서 출력한다. 상기 도 1에는 도시하지 아니하였지만 디지털 영상 데이터를 신호처리하여 상기 디스플레이부(130)에 출력하는 영상처리부(미도시)도 포함된다.The
상기 입력부(140)는 사용자에 의해 조작되는 구성요소로서, 촬영동작 및 영상 저장 동작을 위한 조작은 물론이고 일반적으로 카메라기능을 위해 준비된 다양한 동작을 수행하는 데 필요한 입력을 가능하게 한다. 그리고, 상기 입력부(140)는 본 발명을 위한 다양한 조작도 가능하게 하여야 한다. 한편, 상기 디스플레이부(130)를 터치스크린으로 구성하여 입력부(140)에서 이루어져야 할 일부의 조작 아니면 전부의 조작을 상기 디스플레이부(130)에서 이루어지게 할 수도 있다.The
상기 저장부(150)는 촬영한 영상(153)을 저장한다. 그리고, 본 발명에 따르면, 상기 저장부(150)는 다양한 형태의 추천 촬영구도(151), 추천 위치(152) 및 미리 설정한 주요피사체의 특징 정보도 저장한다. The
상기 주요피사체는, 촬영하려는 주요 관심대상으로서, 예를 들면 풍경 또는 다수의 사람이 모여있는 장소를 배경으로 촬영하려는 친구 또는 자기자신일 수 있다. 본 발명의 실시예에서는 인물로 설정하고, 얼굴, 신체 전체 및 얼굴을 포함한 신체 일부로 세분화하여 원하는 형태로 선택하게 한다. 상기한 주요피사체로 설정할 수 있는 대상의 다른 예로서 특정 사물, 식물을 심은 화분, 아니면 자동차이어도 되지만, 후술하는 바와 같이 주요피사체의 방향에 따라 촬영구도를 정할 때에는 제약이 따른다. 하지만, 방향을 규정하는 규칙을 정할 수 있다면 상기 다른 예를 주요피사체로 정할 수도 있다.The main subject may be, for example, a friend or himself who wants to photograph in the background of a landscape or a place where a large number of people are gathered as a main subject to be photographed. In the embodiment of the present invention, it is set as a person, and is divided into body parts including the face, the whole body, and the face so as to select the desired shape. As another example of the object that can be set as the main subject above, a specific object, a pot planted with a plant, or a car may be used. However, as described below, when the photographing composition is determined according to the direction of the main subject, constraints are applied. However, if the rules for defining the direction can be determined, the other examples can be designated as the main subjects.
상기 주요피사체의 특징 정보는 미리보기뷰 영상에서 상기 주요피사체를 인식하는 데에 필요한 기초 정보이다.The feature information of the main subject is basic information necessary to recognize the main subject in the preview image.
상기 추천 촬영구도(151)를 설명하기에 앞서, 촬영구도는 일반적으로 카메라 분야에서 사용되는 용어로서, 촬영구도를 얻는 과정을 간략하게 설명하면, 영상 이미지에서 점, 선 또는 색상 등의 다양한 성분을 추출하고 추출한 성분 간의 연관성에 의해 추정되는 주요 에지(edge)들을 선별함으로써 주요 에지들로 이루어지는 패턴을 상기 촬영구도로 정할 수 있다. 이에 따라, 상기한 촬영구도는 영상을 인식하여 추정할 수 있는 피사체들의 형상 및 피사체들간의 배치형태에 의해서 정해질 수 있다. Prior to describing the recommended
상기 촬영구도는 상기 도 2 및 도 3의 예시에서 볼 수 있듯이 촬영 지역, 촬영 방향, 촬영 범위에 따라 다양한 형태로 형성되며, 인물이 포함되지 아니한 배경영상에서 추출한 것일 수도 있지만, 인물이 포함된 배경영상에서 추출한 것일 수도 있다. 그리고, 이러한 촬영구도는 카메라로 촬영한 영상의 만족도를 좌우할 뿐만 아니라 만족할 만한 구도를 얻기 위해 상기 주요피사체를 어느 위치에 정하는 것이 좋은 지를 선택할 수 있게 한다.As shown in the examples of FIGS. 2 and 3, the photographing composition is formed in various forms according to a photographing region, a photographing direction, a photographing range, and may be extracted from a background image not including a person, but a background including a person. It may be extracted from the image. In addition, such a photographing composition not only influences the satisfaction of the image taken by the camera, but also allows the user to select which position the main subject is better to obtain a satisfactory composition.
그리고, 본 발명에 따르면 상기 추천 촬영구도(151)는 이러한 촬영구도들 중에 최적의 구도를 갖춘 배경영상에서 획득한 촬영구도를 채용한 것이다. 이때, 상기 추천 촬영구도(151)는 주요피사체를 제외한 배경 영상의 촬영구도이며, 후술하는 바와 같이 피사체우선 프로세서(112)를 가동하는 경우에는 주요피사체와 어우러진 촬영구도를 잡게 된다. 즉, 피사체우선 프로세서(112)에서 영상을 최적의 구도로 촬영하기 위해 기준으로 삼는 촬영구도는 상기 추천 촬영구도에 주요피사체의 위치를 포함시킨 구도이다.In addition, according to the present invention, the recommended photographing
상기 추천 위치(152)는 상기 추천 촬영구도에 어우러져 전체적으로 최적의 구도를 얻게 되는 주요피사체의 위치이다. 상기 추천 위치는 상기 추천 촬영구도의 패턴에 따라 적절한 위치로 사전에 정한다. The recommended
본 발명의 실시예를 설명하기 위해 첨부한 상기 도 4는 상기 추천 위치의 예시도로서, 영상을 가로 및 세로로 각각 3분할하는 선들(1, 2)의 교차점과 대각선의 교차점을 예비 추천 위치들(3)로 선정한다. 부연 설명하면, 상기 도 4에 도시된 예비 추천 위치들(3) 중에 추천 촬영구도마다 하나씩 정하되, 상기한 바와 같이 얼굴, 신체 전체 및 얼굴을 포함한 신체 일부로 세분화할 경우에는 세분화한 주요피사체마다 서로 다른 지점을 정할 수도 있다. 한편, 상기 도 4는 예시도로서 이에 한정하는 것은 아니며, 상기 추천 위치는 추천 촬영구도의 패턴에 따라 상기한 예비 추천 위치와 다른 위치로 설정할 수 있다.
4 is an exemplary view of the recommended position, which is a preliminary recommended position of the intersection of the intersections of the
다음으로, 상기 촬영안내부(160)는, 사람이 인지할 수 있는 신호로 안내하는 구성으로서, 음향 또는 램프로 구성되거나 아니면 상기 디스플레이부(130)의 출력화면으로 구성될 수도 있다. 그리고, 기능적으로 보면 후술하는 바와 같이 실제 주요피사체로 선정된 촬영 대상의 이동을 안내할 경우에 방향 안내기로 동작할 수 있다.Next, the photographing
상기 제어부(110)는 사용자에 의한 상기 입력부(140)의 조작에 따라 미리보기뷰 동작, 촬영 동작, 디스플레이 동작 및 영상 저장 동작을 제어한다.The
그리고, 본 발명에 따르면 상기 제어부(110)는 영상인식부(115), 구도결정부(116) 및 PTZ제어부(117)를 구비하고, 아울러, 동작모드에 따라 선택적으로 동작하는 구도우선 프로세서(111), 피사체우선 프로세서(112), 구도추가 프로세서(113) 및 동영상 프로세서(114)도 구비한다.In addition, according to the present invention, the
상기 영상인식부(115)는 미리보기뷰 영상에서 에지검출을 통해 장면을 인식한다. 또한, 상기 영상인식부(115)는 상기 저장부(150)에 저장한 주요피사체의 특징 정보에 근거하여 미리보기뷰 영상에서 주요피사체의 존재 여부를 인식하고, 주요피사체가 존재하면 주요피사체의 형태, 크기 및 위치를 검출하고, 주요피사체의 얼굴의 크기, 위치 및 방향을 얼굴인식 알고리즘으로 검출한다. The
또한, 상기 영상인식부(115)는 주요피사체가 검출될 경우에 주요피사체를 제외한 나머지 에지 성분으로 이루어지는 패턴, 즉, 주요피사체를 제외한 촬영구도를 획득한다. 또한, 상기 영상인식부(115)는 미리보기뷰 영상에서 선택된 주요피사체를 포함시킨 미리보기뷰 영상의 원본에 대해서도 촬영구도를 획득할 수 있게 이루어진다.Also, when the main subject is detected, the
상기 구도결정부(116)는 상기 영상인식부(115)에서 주요피사체를 배제한 촬영구도와 상기 저장부(150)에 저장한 복수의 추천 촬영구도(151)를 비교하여 유사도가 가장 높게 나타나는 추천 촬영구도를 찾는다. 또한, 상기 구도결정부(116)는 저장부(150)에 저장한 추천 촬영구도(151) 및 추천 위치(152)를 서로 대응되는 것끼리 결부시킨 촬영구도를 생성하고, 생성한 각각의 촬영구도를 미리보기뷰 영상(주요피사체를 배제하지 아니한 전체 미리보기뷰 영상)의 촬영구도와 비교하여 유사도가 가장 높게 나타나는 촬영구도(추천 촬영구도와 추천위치를 결부시킨 촬영구도)를 찾게 이루어진다. 이에 따라, 주요피사체를 반영할 때에 가장 높은 유사도를 갖는 추천 촬영구도를 얻을 수 있다.The
상기 PTZ제어부(117)는 상기 카메라부(120)의 줌(Zoom) 조정과, 상기 거치대(200)의 팬(Pan) 및 틸트(Tilt) 조정을 담당한다.The
상기한 영상인식부(115), 구도결정부(116) 및 PTZ제어부(117)는 상기한 프로세서(111, 112, 113, 114)에 의해 선별적으로 채택되어 동작한다.The
상기한 프로세서(111, 112, 113, 114)에 대해서는 도 5 내지 도 9에 도시된 구도 설정 촬영방법의 순서도를 참조하여 설명한다.The above-described
도 5는 본 발명의 실시예에 따른 구도 설정 촬영장치로 이루어지는 촬영방법의 동작모드를 보여주는 도면이다. 상기 도 5를 참조하면, 입력부(140)의 조작으로 선택할 수 있는 동작모드는 정지영상 촬영모드(S200), 동영상 촬영모드(S300) 및 촬영구도 추가모드(S400)를 포함한다. 그리고, 상기 정지영상 촬영모드(S200) 하에서는 구도우선 촬영모드(S210)와 피사체우선 촬영모드(S220)로 세분화하여 선택할 수 있다.5 is a view showing an operation mode of a photographing method comprising a composition setting photographing apparatus according to an embodiment of the present invention. Referring to FIG. 5, an operation mode selectable by the operation of the
도 6은 상기 정지영상 촬영모드(S200)의 동작순서도로서, 구도우선 프로세서(111) 및 피사체우선 프로세서(S112) 중에서 선택되는 프로세서를 가동한다.FIG. 6 is a flowchart illustrating an operation of the still image capturing mode S200, and operates a processor selected from a
상기 정지영상 촬영모드(S200)는, 미리보기뷰 영상을 디스플레이부(130)에 출력하고(S201), 모드선택을 받는다(S202). 모드선택 메뉴는 구도우선 촬영모드(S210)와 피사체우선 촬영모드(S220)이며, 입력부(140)에 의해 구도우선 촬영모드(S210)를 선택받으면 구도우선 프로세서(111)를 가동하여 다음과 같이 구도우선 촬영모드(S210)를 수행한다.In the still image capturing mode (S200), a preview image is output to the display unit 130 (S201), and a mode is selected (S202). The mode selection menu is a composition-priority shooting mode (S210) and a subject-priority shooting mode (S220). When the composition-priority shooting mode (S210) is selected by the
먼저, 구도우선 프로세서(111)는, 영상인식부(115)를 가동하여 미리보기뷰 영상을 인식한다(S211). 이때, 영상의 인식은 주요피사체의 특징 정보에 근거하여 미리보기뷰 영상에서 주요피사체가 인식되는 지를 확인하는 과정, 주요피사체가 인식되면 주요피사체를 추출하는 과정, 및 주요피사체가 인식되면 주요피사차를 배제하고 미리기뷰 영상의 촬영구도를 추출하고 주요피사차가 인식되지 아니하면 원본 그대로 미리보기뷰 영상의 촬영구도를 추출하는 과정을 포함한다.First, the
여기서, 촬영구도를 추출할 시에 배제하게 되는 주요피사체는, 주요피사체를 인식하여 디스플레이부(130)에 표시하여서, 사용자가 직접 선택하게 하는 것이 바람직하다. 부연하면, 사용자가 선택하지 아니한 주요피사체들은 관심대상이 아니고 단지 배경으로서 촬영구도에 포함시키게 하는 것이다. 또한, 배제하게 되는 주요피사체는, 미리보기뷰 영상에서 범위로도 지정할 수 있게 한다. 이에 따라, 복수의 주요피사체를 개별 선택하거나 또는 범위 지정으로 선택하면, 선택된 영역을 하나의 주요피사체를 대용하는 주요피사체 군으로 취급한다.Here, the main subjects to be excluded when the photographing composition is extracted are preferably recognized by the main subjects and displayed on the
또한, 미리보기뷰 영상에 나타나는 에지 패턴에 따라 촬영구도를 추출할 때에, 에지 패턴들 중에 미리보기뷰 영상에서 인식되는 주요피사체의 길이보다 긴 에지 패턴만을 선별하고, 선별한 에지 패턴만으로 촬영구도를 추출하는 것이 바람직하다. 에지 패턴의 선별기준인 주요피사체의 길이는 상기한 바와 같이 사용자가 선택하여 인식하게 되는 주요피사체의 길이 또는 미리 설정한 길이로 한다.In addition, when extracting the photographing composition according to the edge pattern appearing in the preview image, only the edge pattern longer than the length of the main subject recognized in the preview image among the edge patterns is selected, and the photographing composition is selected using only the selected edge pattern. It is preferable to extract. The length of the main subject, which is the criterion for selecting the edge pattern, is the length of the main subject or the preset length that the user selects and recognizes as described above.
아울러, 주요피사체의 길이보다 작은 에지 패턴이라 하더라도 주변 색상과 확연하게 대비되는 색상을 갖는 패턴이라면 촬영구도에 영향을 크게 미치므로, 주변 색상과의 색상 대비가 미리 설정한 대비정도에 비해 크게 나타나는 패턴이라면 촬영구도에 포함시키게 하는 것이 바람직하다.In addition, even if the edge pattern is smaller than the length of the main subject, if the pattern has a color that contrasts sharply with the surrounding color, it will greatly affect the shooting composition, so that the color contrast with the surrounding color will be larger than the preset contrast level. If it is, it is desirable to include it in the photographing composition.
또한, 본 발명의 실시예에서 주요피사체를 인물로 하므로, 얼굴, 신체 전체 및 얼굴을 포함한 신체 일부 중에 어느 하나의 영역으로 선택하는 것도 가능하다.In addition, since the main subject in the embodiment of the present invention as a person, it is also possible to select any one area of the body, including the face, the whole body and the face.
다음으로, 구도우선 프로세서(111)는 구도결정부(116)를 가동시켜서 미리보기뷰 영상에서 추출한 촬영구도를 저장부(150)에 저장한 각각의 추천 촬영구도(151)와 비교하고, 비교결과에 따라 유사도가 가장 높게 나타나는 추천 촬영구도를 선택한다(S212). Next, the
다음으로, 구도우선 프로세서(111)는 선택한 추천 촬영구도를 디스플레이부(130)에 출력하고(S213), 선택한 추천 촬영구도에 대응되는 추천 위치를 저장부(150)에서 확인하여 디스플레이부(130)에 표시하여서(S214) 추천 촬영구도 및 추천 위치가 미리보기뷰 영상에 겹쳐서 출력되게 한다.Next, the
이에 따라, 촬영장치를 손에 잡고 촬영방향을 바꾸거나 또는 입력부(140)의 조작으로 카메라부(120)의 줌을 조절하면(S217), 바뀐 미리보기뷰 영상에 맞게 추천 촬영구도가 재선정되고(S218) 재선정한 추천 촬영구도 및 재선정한 추천 촬영구도의 추천위치가 디스플레이부(130)에 출력(S219)되므로, 사용자는 디스플레이부(130)를 보면서 촬영방향 또는 줌을 조절하여 미리보기뷰 영상을 추천 촬영구도에 근사화되게 할 수 있다. 그리고, 사용자는 미리보기뷰 영상을 추천 촬영구도에 근사화시킨 후에 추천 위치에 맞게 관심대상이 서 있도록 하고 촬영동작을 수행한다.Accordingly, when the photographing apparatus is held in the hand and the photographing direction is changed or the zoom of the
촬영하는 과정에서는, 추천 위치를 향해 이동하도록 안내하는 것이 바람직하다. 이를 위해서, 음향 또는 표시램프를 이용하여 추천 위치의 방향을 안내하는 방향 안내기를 구비하는 것이 좋다. 방향 안내기는 관심대상인 주요피사체가 이동하여야 할 방향을 안내할 뿐만 아니라, 미리보기뷰 영상에서 주요피사체가 추천 위치에 있을 때에 이를 감지하고 촬영 개시를 안내하는 것이 좋다. 촬영동작은, 상기 카메라부(120)를 제어하여 자동촬영하는 동작, 입력부(140) 또는 리모콘의 조작에 의한 수동촬영하는 동작, 또는 입력부(140) 또는 리모콘의 조작 이후에 미리 설정된 시간동안 지연하고 촬영하는 동작 중에 어느 하나의 동작으로 이루어질 수 있고, 촬영한 영상은 저장부(150)에 저장된다.In the process of photographing, it is preferable to guide to move toward the recommended position. To this end, it is preferable to have a direction guide for guiding the direction of the recommended position using a sound or a display lamp. The direction guide not only guides the direction in which the main subject of interest should move, but also detects when the main subject is in the recommended position in the preview image and guides the start of shooting. The photographing operation may be delayed for a predetermined time after the operation of controlling the
한편, 촬영장치가 거치대(200)에 안착되어 거치대(200)의 팬틸트구동부(210)를 가동할 수 있게 되면, 구도추천 자동모드(S215, S216)를 수행한다. 이때, 구도추천 자동모드는, 팬(Pan), 틸트(Tilt) 및 줌(zoom)의 조절로 주요피사체의 주변을 스캔하고(S215), 주변을 스캔함에 따라 매번 바뀌게 되는 미리보기뷰 영상의 촬영구도를 저장부(150)의 추천 촬영구도들과 각각 비교한다. 비교한 결과, 유사도가 가장 높게 나타나는 추천 촬영구도를 선택하고 이때의 팬, 틸트 및 줌의 상태를 기억하여 팬틸트구동부(210) 및 카메라부(120)의 줌을 맞춘다(S216). 이와 같이 구도추천 자동모드(S215, S216)를 수행한 이후에는 추천 위치로 안내하고 촬영 개시를 안내한 후에 촬영한다. 추천 위치의 안내, 촬영 개시의 안내, 및 촬영 동작은 상술한 수동 방식과 동일하게 할 수 있다.
On the other hand, when the photographing apparatus is mounted on the
도 7은 피사체우선 촬영모드(S220)의 동작순서도로서, 피사체우선 프로세서(112)를 가동하여 이루어진다.FIG. 7 is a flowchart illustrating an operation of the subject priority photographing mode S220, and is performed by operating the
피사체우선 프로세서(112)는, 미리보기뷰 영상에서 주요피사체를 선택하고, 선택한 주요피사체를 추천 위치로 하는 최적의 촬영구도를 찾는다. 구도우선 프로세서(111)와 차이 나는 피사체우선 프로세서(112)의 동작은 미리보기뷰 영상에서 주요피사체를 배제하지 아니하고 주요피사체를 포함하여 이루어지는 촬영구도를 생성하고, 유사도를 비교함에 있어서 추천 위치를 포함시킨 추천 촬영구도와 유사도를 비교하는 것이다.The
피사체우선 프로세서(112)의 동작에 의한 피사체우선 촬영모드(S220)에 대해서는 구도우선 프로세서(111)의 설명과 중복되는 설명을 생략하고 간략하게 설명한다.The subject priority photographing mode S220 by the operation of the
먼저, 피사체우선 프로세서(112)는 미리보기뷰 영상을 인식하여 촬영구도를 추출한다(S221). 이때, 추출하는 촬영구도는 배제되는 피사체 없이 미리보기뷰 영상의 원본에 대한 촬영구도이고, 미리보기뷰 영상에서 인식한 주요피사체는 디스플레이부(130)의 미리보기뷰 영상에 윤곽선 또는 범위 표시선으로 알아볼 수 있게 한다. First, the
다음으로, 피사체우선 프로세서(112)는 미리보기뷰 영상에서 주요피사체를 선택받는다(S222). 이때 선택받는 주요피사체는 중점으로 촬영하려는 대상으로서, 복수 개 또는 범위로 지정받을 수 있다.Next, the
다음으로, 피사체우선 프로세서(112)는 선택받은 주요피사체의 위치를 추천 위치로 하는 최적의 추천 촬영구도를 선정한다(S223). 이때는, 저장부에 저장된 추천 촬영구도에 추천 위치를 포함시켜 생성되는 촬영구도를 미리보기뷰 영상의 촬영구도(피사체의 제외 없이 추출한 촬영구도)와 비교하여서, 유사도가 가장 높게 나타나는 추천 촬영구도를 선정한다.Next, the
다음으로, 피사체우선 프로세서(112)는 선정한 추천 촬영구도를 디스플레이부(130)에 출력하며, 대응되는 추천 위치도 출력하여서, 미리보기뷰 영상에 겹쳐지게 한다(S224). Next, the
만약, 촬영 방향 또는 줌을 바꾸면(S227), 미리보기뷰 영상도 바뀌게 되므로, 추천 위치를 포함시킨 추천 촬영구도와 미리보기뷰 영상의 촬영구도를 비교하는 과정을 반복하게 되고, 추천 촬영구도도 재선정되며(S228), 디스플레이부(130)에 표시되는 추천 촬영구도도 바뀌게 된다(S229). 이에 따라, 사용자는 추천 촬영구도에 근사화되는 미리보기뷰 영상이 잡힐 때까지 촬영 방향 또는 줌을 바꾸고, 근사화된 상태에서 촬영하여 추천 촬영구도에 맞는 영상을 얻을 수 있다. If the shooting direction or zoom is changed (S227), the preview image is also changed, so that the process of comparing the recommended composition including the recommended position with the photographing composition of the preview image is repeated, and the recommended photographing composition is also repeated. In operation S228, the recommended photographing tool displayed on the
한편, 피사체우선 촬영모드(S220)에서도 구도우선 촬영모드(S210)의 구도추천 자동모드(S215, S216)와 동일하게 구도추천 자동모드(S225, S226)를 갖는다. 피사체우선 촬영모드(S220)의 구도추천 자동모드(S225, S226)는 상기 거치대(200)에 장착한 상태에서 팬, 틸트 및 줌을 조절하여 유사도가 가장 높게 나타나는 추천 촬영구도를 찾고, 찾은 추천 촬영구도와의 유사도를 최대로 하는 팬, 틸트 및 줌의 값으로 맞춘다. 이때, 추천 촬영구도의 찾는 과정은, 상기한 바와 같이 피사체의 배제 없이 미리보기뷰 영상의 원본에 대한 촬영구도와, 추천 촬영구도에 추천 위치를 포함시킨 촬영구도를 비교하여서, 유사도가 가장 높게 나타내는 추천 촬영구도를 선정한다.On the other hand, the subject-first shooting mode (S220) also has a composition recommendation automatic mode (S225, S226) similar to the composition recommendation automatic modes (S215, S216) of the composition-first shooting mode (S210). The composition recommendation automatic modes S225 and S226 of the subject-priority photographing mode S220 find a recommended photographing composition in which the similarity is the highest by adjusting pan, tilt, and zoom in a state where the photographing apparatus is mounted on the
피사체우선 촬영모드(S220)에서 찾게 되는 추천 촬영구도의 추천 위치와, 주요피사체의 위치는 정확하게 일치하지 않을 수 있으므로, 촬영하기에 앞서서, 주요피사체가 약간씩 이동하게 안내하는 것도 가능하다. Since the recommended position of the recommended photographing composition found in the subject-priority photographing mode S220 and the position of the main subject may not exactly match, it is also possible to guide the main subject to move slightly before shooting.
한편, 인물을 주요피사체로 할 경우에, 얼굴이 향하는 방향의 면을 반대방향의 면에 비해 상대적으로 넓게 하는 것이 촬영구도를 좋게 한다. 따라서, 상기 영상인식부(115)는 미리보기뷰 영상에서 인물인 주요피사체를 인식할 시에 얼굴이 향하는 방향도 인식하고, 상기 구도결정부(116)는 추천 촬영구도를 선정할 시에 주요피사체를 중심으로 얼굴이 향하는 방향의 면을 반대방향의 면에 비해 상대적으로 넓게 이루어지는 추천 촬영구도들 중에서 유사도가 가장 높은 추천 촬영구도를 선정하는 것이 좋다.
On the other hand, in the case where the person is the main subject, making the surface of the face facing in the direction wider than the surface in the opposite direction improves the shooting composition. Accordingly, the
도 8은 상기 동영상 촬영모드(S300)의 동작순서도로서, 동영상 프로세서(114)를 가동하여 구현된다.8 is a flowchart illustrating an operation of the video shooting mode S300, and is implemented by operating the
동영상 프로세서(114)는, 미리보기뷰 영상을 디스플레이부(130)에 출력하는 영상 출력단계(S310), 미리보기뷰 영상에서 주요피사체를 인식하고 인식한 주요피사체를 윤곽선 또는 범위 표시선으로 표시하여 사용자가 선택하게 하는 주요피사체 선택단계(S320), 사용자가 선택한 주요피사체의 영역을 설정하는 영역 설정단계(S330), 및 촬영 종료 조작이 이루어지기 전까지(S345) 주요피사체를 추적 촬영하는 추적 촬영단계(340)를 수행한다.The
여기서 선택되는 주요피사체는 복수 개일 수 있고, 미리보기뷰 영상에 존재하지만 사용자에 의해 선택받지 아니한 피사체와의 식별을 위해서 식별 정보를 별도로 추출한다. 이에 따라, 선택된 주요피사체를 선택받지 아니한 피사체와 구별하여 추적촬영할 수 있다. 선택된 주요피사체의 식별 정보는 예를 들면 형상의 특징 또는 색상으로 이루어질 수 있다.Here, the number of main subjects selected may be plural, and identification information is separately extracted for identification with a subject present in the preview image but not selected by the user. Accordingly, the selected main subject can be tracked and photographed separately from the unselected subject. The identification information of the selected main subject may be, for example, a feature or color of a shape.
한편, 미리보기뷰 영상에서 사용자에 의해 선택되는 주요피사체는 저장부(150)에 저장된 특징 정보에 근거하여 인식할 수 있는 피사체에 제한하는 것은 아니다. 부연하면, 사용자가 디스플레이부(130)에 출력된 미리보기뷰 영상에서 특정 대상을 선택하면, 제어부(110)는 선택된 대상을 영상인식부(115)로 인식하여 주요피사체로 정하고, 주요피사체로 정한 대상의 특징 정보를 추출하여서 추적촬영할 때에 특징 정보에 근거하여 추적촬영한다. 이와 같이 특징 정보를 추출하여 추적촬영하는 경우는, 축구공, 동물, 곤충, 비행기 또는 자전거처럼 이동하는 대상을 추적촬영하는 경우를 예로 들 수 있다.Meanwhile, the main subject selected by the user in the preview image is not limited to a subject that can be recognized based on the feature information stored in the
그리고, 주요피사체의 영역 설정은 미리보기뷰 영상 내에서 주요피사체의 위치 및 차지하는 범위를 설정하는 것이다. 주요피사체의 얼굴 방향 또는 신체 방향의 면을 반대방향의 면에 비해 상대적으로 넓게 동영상이 촬영되도록 주요피사체의 영역을 설정한다.And, the area setting of the main subject is to set the position and the occupying range of the main subject in the preview image. The area of the main subject is set so that a moving picture is photographed relatively wider than the face in the face direction or the body direction of the main subject.
주요피사체를 추적 촬영하는 단계(S340)는, 주요피사체를 미리보기뷰 영상 내에서 포착하여 영역 및 상태(미리로기뷰 영상 내에서의 형상)를 분석하는 포착 및 분석단계(S341), 분석 결과에 따라 영역을 선별적으로 수정하는 영역 수정단계(S342, S343), 팬, 틸트 및 줌을 조정하며 주요피사체를 추적촬영하는 PTZ 조절단계(S344)를 포함하며, 촬영종료가 지시되기 전까지 추적촬영하는 과정을 지속한다.Tracking and photographing the main subject (S340) may include capturing and analyzing the main subject in the preview image and analyzing the area and state (shape in the pre-view image) (S341). Area correction step (S342, S343) for selectively modifying the area according to the control, and pan, tilt and zoom adjustment, including a PTZ control step (S344) to track the main subject (S344), and tracking to shoot until the end of shooting Continue the process.
상기 포착 및 분석단계(S341)는, 사용자가 선택한 주요피사체를 미리보기뷰 영상 내에서 포착하여 미리보기뷰 영상에서 차지하는 위치 및 범위를 분석한다. 그리고, 주요피사체를 복수개로 선택한 상태이면 주요피사체 간의 거리에 따라 그룹화하고, 주요피사체들의 크기도 분석한다. 또한, 주요피사체가 향하는 방향(이동방향 또는 얼굴의 방향)도 분석한다.In the capturing and analyzing step S341, the main subject selected by the user is captured in the preview view image, and the position and range occupied in the preview view image are analyzed. If a plurality of main subjects are selected, the groups are grouped according to the distance between the main subjects, and the sizes of the main subjects are also analyzed. In addition, the direction in which the main subject faces (movement direction or face direction) is also analyzed.
상기 영역 수정단계(S342, S343)는, 상기 포착 및 분석단계(S341)의 결과를 확인하여서 주요피사체의 영역을 상기 영역 설정단계(S330)에서 설정한 영역으로 조절 가능한 지를 판단하여, 조절 가능하면 다음의 PTZ 조절단계(S344)로 넘어가고(S342), 조절이 불가능하면 영역을 재설정한 후에(S343) 다음의 PTZ 조절단계(S344)로 넘어간다.In the region correcting step (S342, S343), by checking the result of the capturing and analyzing step (S341), it is determined whether the area of the main subject can be adjusted to the region set in the region setting step (S330), The control proceeds to the next PTZ control step (S344) (S342), and if it is impossible to reset, after resetting the area (S343), the control proceeds to the next PTZ control step (S344).
주요피사체 영역의 재설정(S343)은 촬영장치의 PTZ로는 주요피사체의 영역을 설정 영역으로 조절하지 못할 경우에 이루어지며, 주요피사체가 너무 근접하거나 아니면 너무 멀리 있어서 줌(Zoom)을 최대 아니면 최소로 하여 영역을 재설정하는 경우와, 복수의 주요피사체를 추적촬영할 시에 촬영장치의 PTZ로는 모든 주요피사체를 촬영 영상으로 담을 수 없어서 일부 주요피사체만을 촬영하도록 영역을 재설정하는 경우와, 주요피사체가 촬영장치의 PTZ의 조절 범위를 벗어나서 미리 정한 규칙에 따라 영역을 재설정하는 경우로 나뉜다. Resetting the main subject area (S343) occurs when the PTZ of the photographing device cannot adjust the main subject area to the set area. The main subject is too close or too far to zoom in or out. When resetting the area and when tracking a plurality of main subjects, the PTZ of the photographing apparatus cannot capture all the main subjects as captured images, and thus resetting the area so that only some main subjects are photographed. It is divided into the case of resetting the area according to a predetermined rule beyond the control range of PTZ.
복수의 주요피사체 중에서 일부 주요피사체만을 영역으로 재설정하는 경우는, 상기 포착 및 분석단계(S341)에서 실시한 그룹화에 의해 주요피사체의 수가 가장 많은 그룹을 영역으로 설정하여 촬영구도를 맞춘다. 그리고, 각 그룹에 포함된 주요피사체의 수가 동일할 경우에 영상 상에서 제일 큰 주요피사체가 속한 그룹을 영역으로 재설정하여 촬영구도를 맞춘다. When only some of the main subjects are reset to the area among the plurality of main subjects, the grouping performed in the capturing and analyzing step (S341) sets the group having the largest number of the main subjects to the area to adjust the photographing composition. When the number of main subjects included in each group is the same, the photographing structure is adjusted by resetting the group to which the largest main subject on the image belongs.
주요피사체가 촬영장치의 PTZ의 조절 범위를 벗어난 경우는, 예를 들어 주요피사체가 벗어나 지점을 광각으로 촬영하여 주요피사체가 다시 포착될 확률을 높인다.If the main subject is out of the control range of the PTZ of the photographing apparatus, for example, the main subject is taken away and the point is taken at a wide angle to increase the probability of the main subject being captured again.
물론, 초기에 설정한 주요피사체의 영역은 기억해 두어서, 촬영장치의 PTZ 조절 범위로 되었을 때에 초기 설정으로 영역을 조절한다.
Of course, the area of the main subject set initially is memorized, and the area is adjusted to the initial setting when it becomes the PTZ control range of the photographing apparatus.
상기 PTZ 조절단계(S344)는, 상기 영역 수정단계(S342, S343)에서의 처리 결과에 따라 크게 두가지 방식으로 PTZ(팬, 틸트, 줌)를 조절하며 촬영한다.The PTZ adjustment step (S344) is taken by adjusting the PTZ (pan, tilt, zoom) in two ways according to the processing result in the region correction step (S342, S343).
첫번째 방식은, 상기 영역 설정단계(S330)에서 설정한 영역으로 조절 가능한 때로서, 설정한 영역에 맞추어 주요피사체의 위치 및 차지하는 범위를 일정하게 유지하도록 PTZ를 조절하는 방식이다. 첫번째 방식에서는 복수의 주요피사체를 추적 촬영할 경우에 복수의 주요피사체가 차지하는 범위(4각 테두리)를 설정 영역에 맞추어 일정하게 하고 범위의 중심점도 설정 영역에 맞춘다. 다만, 주요피사체의 중심점, 즉, 위치는 주요피사체의 얼굴 방향 또는 신체 방향의 면을 반대방향의 면에 비해 상대적으로 넓게 동영상이 촬영되도록 조정되어서, 이동하는 주요피사체의 얼굴 또는 신체의 방향이 촬영 중간에 바뀌더라도 이에 적응하여 촬영구도를 조정한다.The first method is a method of adjusting the PTZ to maintain a constant position and occupancy range of the main subject in accordance with the set area, when the area is adjustable in the area setting step (S330). In the first method, when tracking a plurality of main subjects, the range (four-sided edges) occupied by the plurality of main subjects is made constant in accordance with the setting area, and the center point of the range is also set in the setting area. However, the center point of the main subject, i.e., the position is adjusted so that a moving image is photographed relatively wider than the face in the face direction or the body direction of the main subject, so that the direction of the face or body of the moving main subject is photographed. Even if it changes in the middle, it adjusts to the shooting composition.
두번째 방식은, 주요피사체의 영역을 재설정 영역으로 맞추도록 PTZ를 조절하며 촬영한다. 두번째 방식에서도 주요피사체의 얼굴 방향 또는 신체 방향의 면을 반대방향의 면에 비해 상대적으로 넓게 동영상이 촬영되도록 조정된다. 주요피사체의 수가 2개 이상일 경우에는 가장 큰 주요피사체의 방향에 맞추거나 아니면, 주요피사체들 방향의 평균치로 방향을 맞춘다.
In the second method, the PTZ is taken to adjust the area of the main subject to the reset area. In the second method, the motion picture is captured so that the face of the main subject or the face of the main subject is relatively wider than the face of the opposite direction. If the number of main subjects is two or more, the direction of the largest main subject is adjusted or the average value of the main subjects is aligned.
도 9는 촬영구도 추가모드(S400)의 동작순서도로서, 구도추가 프로세서(113)을 가동하여 수행된다.9 is an operation flowchart of the photographing composition adding mode S400, which is performed by operating the
구도추가 프로세서(113)에 의한 촬영구도 추가모드(S400)는, 정지영상 촬영모드(S200)에서 촬영하여 저장한 영상 또는 동영상 촬영모드(S300)에서 촬영한 동영상의 스틸(still) 영상을 불러들이는 단계(S410), 불러들인 영상을 인식하여 촬영구도를 추출하는 단계(S420), 촬영구도에 맞추어 추천 위치를 입력하는 단계(S430) 및 촬영구도와 추천 위치를 저장부(150)에 저장하여 기 저장된 추천 촬영구도와 추천 위치에 추가하는 단계(S440)로 이루어진다. 이와 같은 구도추가 프로세서(113)는, 사용자가 원하는 추천 촬영구도와 추천 위치를 추가 저장함으로써, 정지영상 촬영모드를 수행할 시에 추천 촬영구도로 사용되게 한다.Shooting composition adding mode (S400) by the
본 발명의 실시예를 설명함에 있어서, 촬영장치(100)에 구비된 입력부(140)를 사용자가 조작하여 촬영장치(100)를 동작시킨다고 하였으나, 근거리 통신모듈 또는 원거리 통신모듈을 상기 촬영장치(100)에 장착하여서 통신모듈과 통신 가능한 리모콘, 이동통신단말기 또는 원격 단말기와 같은 외부 제어장치(미도시)를 이용하여 촬영장치(100)를 동작시키게 할 수도 있다. 이때, 외부 제어장치는, 촬영장치(100)의 입력부(140)로 조작 가능한 입력기능뿐만 아니라 촬영장치(100)의 디스플레이부(130)에 출력되는 영상도 촬영장치(100)에서 전송받아 사용자에게 보여줄 수 있어야 한다.In describing the embodiment of the present invention, the user operates the
또한, 본 발명의 실시예에 따른 구도 설정 촬영장치는 촬영하기에 앞서서 지면과 수평을 이루게 할 필요가 있다. 이를 위해서, 구도 설정 촬영장치는 수평도를 감지하는 수평감지센서(미도시) 및 수평도(미도시)를 표시하는 수평표시기를 구비하는 것이 좋다. 상기 수평감지센서는 예를 들면 기울기를 감지하여 수평도가 어느 정도인지를 측정할 수 있는 가속도 센서 또는 자이로스코프(gyroscope) 센서로 구성될 수 있다. 상기 수평표시기는 수평감지센서로 감지한 수평도를 사용자가 육안으로 볼 수 있게 하는 표시기이면 되며, 별도로 설치하지 아니하고 상기 디스플레이부(130)의 출력 화면상에 수평도를 표시하는 것도 가능하다. 이에 따라, 사용자는 촬영하기에 앞서서 수평표시기를 보면서 구도 설정 촬영장치의 기울기를 조절하여 수평을 맞출 수 있다. 한편, 수평감지센서 및 수평표시기는 거치대(200)에 설치하는 것도 가능하고, 외부 제어장치를 이용하는 경우에 수평감지센서로 감지한 수평도의 정보를 외부 제어장치에 전송하여 외부 제어장치의 사용자가 알 수 있게 하는 것도 좋다.
Also, the composition setting photographing apparatus according to the embodiment of the present invention needs to be level with the ground before photographing. To this end, the composition setting photographing apparatus may include a horizontal detection sensor (not shown) for detecting a horizontal degree and a horizontal indicator for displaying a horizontal degree (not shown). The horizontal sensor may be configured as, for example, an acceleration sensor or a gyroscope sensor that detects an inclination and measures how much the horizontality is. The horizontal indicator may be an indicator that allows the user to visually see the horizontal level detected by the horizontal sensor, and may display the horizontal level on the output screen of the
이상에서 본 발명의 기술적 사상을 예시하기 위해 구체적인 실시 예로 도시하고 설명하였으나, 본 발명은 상기와 같이 구체적인 실시 예와 동일한 구성 및 작용에만 국한되지 않고, 여러가지 변형이 본 발명의 범위를 벗어나지 않는 한도 내에서 실시될 수 있다. 따라서, 그와 같은 변형도 본 발명의 범위에 속하는 것으로 간주해야 하며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, . ≪ / RTI > Accordingly, such modifications are deemed to be within the scope of the present invention, and the scope of the present invention should be determined by the following claims.
100 : 촬영장치 110 : 제어부
111 : 구도우선 프로세서 112 : 피사체우선 프로세서
113 : 구도추가 프로세서 114 : 동영상 프로세서
115 : 영상인식부 116 : 구도결정부 117 : PTZ제어부
120 : 카메라부 130 : 디스플레이부 140 : 입력부
150 : 저장부 160 : 촬영안내부
200 : 거치대 210 : 팬틸트구동부100: recording device 110: control unit
111: composition priority processor 112: subject priority processor
113: composition addition processor 114: video processor
115: image recognition unit 116: composition determination unit 117: PTZ control unit
120: camera unit 130: display unit 140: input unit
150: storage unit 160: shooting guide
200: holder 210: pan tilt drive unit
Claims (13)
디스플레이부(130);
사용자 조작이 이루어지는 입력부(140);
촬영한 영상을 저장하는 저장부(150);
사용자 조작에 따라 미리보기뷰, 촬영, 디스플레이 및 저장 동작을 제어하는 제어부(110);
를 포함하여 구성되는 촬영장치에 있어서,
상기 저장부(150)는, 미리 설정한 주요피사체의 특징 정보, 미리 선정한 복수의 배경영상에 대한 추천 촬영구도, 및 각각의 추천 촬영구도에 대한 주요피사체의 추천 위치를 저장하고,
상기 제어부(110)는, 미리보기뷰 영상에서 주요피사체를 인식하고, 주요피사체를 배제한 미리보기뷰 영상의 촬영구도를 추출하고, 추출한 촬영구도와 유사도가 가장 높게 나타나는 추천 촬영구도를 미리보기뷰 영상에 겹쳐 출력하는 구도우선 프로세서를 구비하며,
미리보기뷰 영상에서 배제할 주요피사체를 상기 입력부(140)로 선택할 수 있게 하고,
상기 제어부(110)는, 구도우선 프로세서를 가동할 시에, 추천 촬영구도에 대응되는 주요피사체의 추천 위치를 미리보기뷰 영상에 겹쳐 출력함을 특징으로 하는 구도 설정 촬영장치.A camera unit 120 capable of previewing and zooming operations;
Display unit 130;
An input unit 140 through which user manipulation is performed;
A storage unit 150 for storing the captured image;
A controller 110 for controlling a preview view, a capture, a display, and a storage operation according to a user's operation;
In the photographing apparatus configured to include,
The storage unit 150 stores preset feature information of a main subject, a recommended photographing composition for a plurality of preselected background images, and a recommendation position of a main subject for each recommended photographing composition.
The controller 110 recognizes the main subject from the preview image, extracts the photographing composition of the preview image excluding the main subject, and previews the recommended photographing composition having the highest similarity with the extracted photographic composition. It has a composition priority processor that outputs to
Allow the input unit 140 to select a main subject to be excluded from the preview image,
The controller 110, when the composition priority processor is operating, the composition setting photographing apparatus, characterized in that for outputting the recommended position of the main subject corresponding to the recommended photographing composition superimposed on the preview image.
상기 제어부(110)는,
미리보기뷰 영상에서 중점으로 촬영할 주요피사체를 상기 입력부(140)로 선택하고, 추천 위치를 포함시킨 추천 촬영구도와 미리보기뷰 영상의 촬영구도를 비교하여 유사도가 가장 높게 나타나는 추천 촬영구도를 미리보기뷰 영상에 겹쳐 출력하는 피사체우선 프로세서를 구비함을 특징으로 하는 구도 설정 촬영장치.The method of claim 2,
The control unit 110,
In the preview view image, the main subject to be focused on is selected by the input unit 140, and the recommended photographing composition including the recommended position and the photographing composition of the preview image are compared to preview the recommended photographing composition having the highest similarity. And a subject-priority processor for outputting the image superimposed on the view image.
팬(Pan) 및 틸트(Tilt)를 조절하는 거치대(200)를 포함하여 구성되고,
상기 제어부(110)는, 팬(Pan), 틸트(Tilt) 및 줌(zoom)의 조절로 주요피사체의 주변을 스캔하여 유사도가 가장 높은 추천 촬영구도를 찾고, 찾은 추천 촬영구도와의 유사도를 최대로 하는 촬영 방향 및 줌을 맞추는 구도추천 자동프로세서를 구비함을 특징으로 하는 구도 설정 촬영장치.The method of claim 3,
It is configured to include a cradle 200 for adjusting the pan (Pan) and tilt (Tilt),
The controller 110 scans the periphery of the main subject by adjusting pan, tilt, and zoom to find the recommended photographing composition having the highest similarity, and maximizes the similarity with the found photographing composition. A composition-setting photographing apparatus characterized by comprising a composition recommendation automatic processor for adjusting the shooting direction and zoom.
미리보기뷰 영상에서 상기 입력부(140)를 이용하여 복수의 주요피사체를 선택하거나, 아니면 복수의 주요피사체를 수용하는 범위를 지정할 수 있고,
상기 제어부(110)는, 복수의 주요피사체의 선택 또는 범위 지정이 이루어지면, 복수의 주요피사체를 수용한 영역을 주요피사체로 사용함을 특징으로 하는 구도 설정 촬영장치.5. The method of claim 4,
In the preview image, the input unit 140 may be used to select a plurality of main subjects, or may specify a range to accommodate the plurality of main subjects.
The controller 110, when the selection or the range designation of a plurality of the main subject is made, the composition setting photographing apparatus, characterized in that for using the area containing the plurality of main subject as the main subject.
상기 제어부(110)는, 미리보기뷰 영상에서 인식한 패턴 중에 주요피사체의 길이보다 긴 패턴과, 주요피사체의 길이보다 작지만 미리 설정한 대비정도에 비해 높게 나타나는 패턴을 선별하고, 선별한 패턴으로 미리보기뷰 영상의 촬영구도를 추출함을 특징으로 하는 구도 설정 촬영장치.6. The method of claim 5,
The controller 110 selects a pattern longer than the length of the main subject from among the patterns recognized in the preview image, and a pattern smaller than the length of the main subject but higher than a preset contrast level, and selects the pattern in advance. A composition setting photographing apparatus, characterized by extracting a photographing composition of a view view image.
상기 주요피사체는, 인물이고, 얼굴, 신체 전체 및 얼굴을 포함한 신체 일부로 세분화되어 어느 하나를 선택하게 하고,
상기 제어부(110)는, 미리보기뷰 영상에서 주요피사체의 얼굴이 향하는 방향을 인식하여, 주요피사체를 중심으로 얼굴이 향하는 방향의 면을 반대방향의 면에 비해 상대적으로 넓게 이루어지는 추천 촬영구도를 선정함을 특징으로 하는 구도 설정 촬영장치.The method according to claim 6,
The main subject is a person, subdivided into a part of the body including the face, the whole body and the face to select any one,
The controller 110 recognizes a direction in which the face of the main subject faces in the preview image, and selects a recommended photographing composition in which the face facing the main subject is relatively wider than the surface in the opposite direction. Composition setting shooting apparatus characterized in that.
방향 안내기를 구비하며,
상기 제어부(110)는, 주요피사체가 추천 위치를 향하기 위해 이동하여야 할 방향을 방향 안내기를 이용하여 안내함을 특징으로 하는 구도 설정 촬영장치.The method according to claim 6,
Equipped with a direction guide,
The control unit 110, the composition setting photographing device, characterized in that to guide the direction to move the main subject to the recommended position using a direction guide.
상기 제어부(110)는, 저장부(150)에 저장한 영상 중에 상기 입력부(140)의 조작에 의해 선택받은 영상의 촬영구도를 추출하여 상기 저장부(150)의 추천 촬영구도에 추가하고, 상기 입력부(140)의 조작에 의해 주요피사체의 추천 위치를 지정받아 상기 저장부(150)에 저장하는 구도추가 프로세서를 구비함을 특징으로 하는 구도 설정 촬영장치.The method according to claim 6,
The controller 110 extracts the photographing composition of the image selected by the operation of the input unit 140 from the image stored in the storage unit 150 and adds it to the recommended photographing composition of the storage unit 150. And a composition adding processor configured to receive a recommended position of the main subject by operation of the input unit 140 and store the composition in the storage unit 150.
상기 제어부(110)는, 미리보기뷰 영상에서 주요피사체를 상기 입력부(140)로 선택받은 이후에, 선택받은 주요피사체의 이동에 따라 팬, 틸트 또는 줌을 조절하여 선택받은 주요피사체를 추적 촬영하는 동영상 프로세서를 구비함을 특징으로 하는 구도 설정 촬영장치.The method of claim 3,
After the main subject is selected as the input unit 140 in the preview image, the controller 110 controls the pan, tilt, or zoom according to the movement of the selected main subject to track and photograph the selected main subject. Composition-setting device characterized in that it comprises a video processor.
상기 제어부(110)는, 동영상 프로세서를 가동할 시에, 영상에서 주요피사체가 차지하는 범위를 일정하게 함을 특징으로 하는 구도 설정 촬영장치.The method of claim 10,
The controller 110, when the moving image processor is operated, the composition setting photographing device, characterized in that to maintain a constant range of the main subject in the image.
상기 제어부(110)는, 동영상 프로세서를 가동할 시에, 주요피사체의 얼굴 방향 또는 신체 방향의 면을 반대방향의 면에 비해 상대적으로 넓게 영상으로 잡히도록 팬, 틸트 또는 줌을 조절함을 특징으로 하는 구도 설정 촬영장치.12. The method of claim 11,
The controller 110 controls the pan, tilt, or zoom so that the face of the main subject or the body direction of the main subject is captured as the image relatively wider than the surface in the opposite direction when the video processor is operated. Composition setting device.
상기 제어부(110)는, 동영상 프로세서를 가동할 시에, 디스플레이부(130)에 출력되는 영상에서 복수의 주요피사체를 선택받으면, 복수의 주요피사체 전체를 수용하도록 촬영구도를 조절하되, 줌으로 조절 가능한 영역을 벗어나면 주요피사체 간의 거리 차이에 따라 그룹화하였을 때에 주요피사체의 수가 가장 많은 그룹에 맞추어 촬영구도를 조절하고 주요피사체의 수가 동일하면 주요피사체의 크기가 큰 쪽에 맞추어 촬영구도를 조절함을 특징으로 하는 구도 설정 촬영장치.12. The method of claim 11,
When the controller 110 operates the video processor and receives a plurality of main subjects from the image output to the display 130, the controller 110 adjusts the photographing composition to accommodate the plurality of main subjects, but adjusts the zoom. If it is out of the possible range, the composition is adjusted according to the distance between the main subjects, and the composition is adjusted according to the group with the largest number of main subjects. Composition-setting photographing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120047348A KR101222928B1 (en) | 2012-05-04 | 2012-05-04 | Apparatus for capturing image by composition setting of image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120047348A KR101222928B1 (en) | 2012-05-04 | 2012-05-04 | Apparatus for capturing image by composition setting of image |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101222928B1 true KR101222928B1 (en) | 2013-01-17 |
Family
ID=47841993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120047348A KR101222928B1 (en) | 2012-05-04 | 2012-05-04 | Apparatus for capturing image by composition setting of image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101222928B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101316805B1 (en) * | 2013-05-22 | 2013-10-11 | 주식회사 파이브지티 | Automatic face tracing and recognition method and system |
KR20170011876A (en) * | 2015-07-24 | 2017-02-02 | 삼성전자주식회사 | Image processing apparatus and method for operating thereof |
KR20190064958A (en) * | 2017-12-01 | 2019-06-11 | 삼성전자주식회사 | Method and system for providing recommendation information related to photography |
US11128795B2 (en) | 2019-02-19 | 2021-09-21 | Samsung Electronics Co., Ltd. | Electronic device for recommending composition and operating method thereof |
WO2022149665A1 (en) * | 2021-01-06 | 2022-07-14 | Samsung Electronics Co., Ltd. | Method and electronic device for intelligent camera zoom |
KR102619846B1 (en) | 2023-04-25 | 2024-01-02 | 김동환 | Electronic device for suggesting a shooting composition, method for suggesting a shooting composition of an electronic device |
KR102707075B1 (en) * | 2024-01-25 | 2024-09-13 | 삼성전자주식회사 | Method and system for providing recommendation information related to photography |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090064247A (en) * | 2007-12-15 | 2009-06-18 | 한국전자통신연구원 | Method and apparatus for producing and taking digital contents |
KR20090067915A (en) * | 2007-12-21 | 2009-06-25 | 삼성디지털이미징 주식회사 | Apparatus and method for capturing image by composition recommandation |
KR20110057603A (en) * | 2009-11-24 | 2011-06-01 | 삼성전자주식회사 | Apparatus and method for digital picturing image |
-
2012
- 2012-05-04 KR KR1020120047348A patent/KR101222928B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090064247A (en) * | 2007-12-15 | 2009-06-18 | 한국전자통신연구원 | Method and apparatus for producing and taking digital contents |
KR20090067915A (en) * | 2007-12-21 | 2009-06-25 | 삼성디지털이미징 주식회사 | Apparatus and method for capturing image by composition recommandation |
KR20110057603A (en) * | 2009-11-24 | 2011-06-01 | 삼성전자주식회사 | Apparatus and method for digital picturing image |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014189216A1 (en) * | 2013-05-22 | 2014-11-27 | 주식회사 파이브지티 | Method and system for automatically tracking face position and recognizing face |
US10248840B2 (en) | 2013-05-22 | 2019-04-02 | Fivegt Co., Ltd | Method and system for automatically tracking face position and recognizing face |
KR101316805B1 (en) * | 2013-05-22 | 2013-10-11 | 주식회사 파이브지티 | Automatic face tracing and recognition method and system |
KR102351496B1 (en) | 2015-07-24 | 2022-01-14 | 삼성전자주식회사 | Image processing apparatus and method for operating thereof |
KR20170011876A (en) * | 2015-07-24 | 2017-02-02 | 삼성전자주식회사 | Image processing apparatus and method for operating thereof |
KR102438201B1 (en) * | 2017-12-01 | 2022-08-30 | 삼성전자주식회사 | Method and system for providing recommendation information related to photography |
KR20190064958A (en) * | 2017-12-01 | 2019-06-11 | 삼성전자주식회사 | Method and system for providing recommendation information related to photography |
KR20220124127A (en) * | 2017-12-01 | 2022-09-13 | 삼성전자주식회사 | Method and system for providing recommendation information related to photography |
KR102481016B1 (en) | 2017-12-01 | 2022-12-23 | 삼성전자주식회사 | Method and system for providing recommendation information related to photography |
KR20230006424A (en) * | 2017-12-01 | 2023-01-10 | 삼성전자주식회사 | Method and system for providing recommendation information related to photography |
US11678050B2 (en) | 2017-12-01 | 2023-06-13 | Samsung Electronics Co., Ltd. | Method and system for providing recommendation information related to photography |
KR102631309B1 (en) | 2017-12-01 | 2024-01-30 | 삼성전자주식회사 | Method and system for providing recommendation information related to photography |
US11128795B2 (en) | 2019-02-19 | 2021-09-21 | Samsung Electronics Co., Ltd. | Electronic device for recommending composition and operating method thereof |
US11671701B2 (en) | 2019-02-19 | 2023-06-06 | Samsung Electronics Co., Ltd. | Electronic device for recommending composition and operating method thereof |
WO2022149665A1 (en) * | 2021-01-06 | 2022-07-14 | Samsung Electronics Co., Ltd. | Method and electronic device for intelligent camera zoom |
US11570367B2 (en) | 2021-01-06 | 2023-01-31 | Samsung Electronics Co., Ltd. | Method and electronic device for intelligent camera zoom |
KR102619846B1 (en) | 2023-04-25 | 2024-01-02 | 김동환 | Electronic device for suggesting a shooting composition, method for suggesting a shooting composition of an electronic device |
KR102707075B1 (en) * | 2024-01-25 | 2024-09-13 | 삼성전자주식회사 | Method and system for providing recommendation information related to photography |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101222928B1 (en) | Apparatus for capturing image by composition setting of image | |
JP4862930B2 (en) | Image processing apparatus, image processing method, and program | |
CN102439966B (en) | Image-processing apparatus and method | |
CN103081455B (en) | The multiple images being captured from handheld device carry out portrait images synthesis | |
JP4290100B2 (en) | Imaging apparatus and control method thereof | |
CN111698417B (en) | Image pickup apparatus, image pickup control method, and storage medium | |
US20050212913A1 (en) | Method and arrangement for recording regions of interest of moving objects | |
EP2051505A2 (en) | Composition determining apparatus, composition determining method, and program | |
US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
US10015374B2 (en) | Image capturing apparatus and photo composition method thereof | |
US11190698B2 (en) | Imaging apparatus, control method for imaging apparatus, information processing apparatus, and storage medium | |
US20110050960A1 (en) | Method in relation to acquiring digital images | |
US6388707B1 (en) | Image pickup apparatus having means for appointing an arbitrary position on the display frame and performing a predetermined signal process thereon | |
US7957633B2 (en) | Focus adjusting apparatus and focus adjusting method | |
KR20090039631A (en) | Composition determining apparatus, composition determining method, and program | |
JP2006211139A (en) | Imaging apparatus | |
US10984550B2 (en) | Image processing device, image processing method, recording medium storing image processing program and image pickup apparatus | |
CN108111768B (en) | Method and device for controlling focusing, electronic equipment and computer readable storage medium | |
JP2007258869A (en) | Image trimming method and apparatus, and program | |
KR20120005040A (en) | Method of selecting an optimal viewing angle position for a camera | |
JP2021033193A (en) | Controller, imaging apparatus, lens device, and program | |
JP2010008620A (en) | Imaging apparatus | |
KR20090017355A (en) | Apparatus and method for taking pictures after adjusting composition of the pictures automatically | |
JP2014146979A (en) | Monitor camera system, imaging apparatus, and imaging method | |
CN112804450B (en) | Camera starting method, electronic equipment and computer storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160104 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170110 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180212 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20181219 Year of fee payment: 7 |