KR20150114320A - Photographing apparatus, method for controlling the same and a computer-readable storage medium - Google Patents

Photographing apparatus, method for controlling the same and a computer-readable storage medium Download PDF

Info

Publication number
KR20150114320A
KR20150114320A KR1020140038869A KR20140038869A KR20150114320A KR 20150114320 A KR20150114320 A KR 20150114320A KR 1020140038869 A KR1020140038869 A KR 1020140038869A KR 20140038869 A KR20140038869 A KR 20140038869A KR 20150114320 A KR20150114320 A KR 20150114320A
Authority
KR
South Korea
Prior art keywords
occlusion
interest
occurrence
region
photographing
Prior art date
Application number
KR1020140038869A
Other languages
Korean (ko)
Other versions
KR102198177B1 (en
Inventor
안제이 루타
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140038869A priority Critical patent/KR102198177B1/en
Publication of KR20150114320A publication Critical patent/KR20150114320A/en
Application granted granted Critical
Publication of KR102198177B1 publication Critical patent/KR102198177B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

The present invention relates to a photographing apparatus, a method for controlling the same, and a computer-readable recording medium. The photographing apparatus includes: a first photographing unit which photoelectrically converts incident light and photographs a subject; and a control unit which sets a range of an interest region, detects interruption elements from an input image, predicts whether occlusion where the interruption elements cross over the interest region will occur, and performs operation for preventing occlusion based on the prediction result.

Description

촬영 장치, 그 제어 방법 및 컴퓨터 판독 가능 기록 매체{Photographing apparatus, method for controlling the same and a computer-readable storage medium}[0001] The present invention relates to a photographing apparatus, a control method thereof, and a computer-readable storage medium.

본 발명의 실시예들은 촬영 장치, 촬영 장치 제어 방법, 및 컴퓨터 판독가능 기록매체에 관한 것이다.Embodiments of the present invention relate to a photographing apparatus, a photographing apparatus control method, and a computer-readable recording medium.

최근 휴대 전화, 디지털 카메라 등의 휴대용 촬영 기기를 통한 촬영이 보편화, 일상화 됨에 따라 촬영을 지원하는 장치 및 방법도 다양해 졌다. 예를 들어, 버스트 모드(burst mode)는 셔터를 누르고 있는 동안 연속하여 사진을 촬영한 후, 촬영된 사진 중에 사용자가 마음에 드는 사진을 고를 수 있는 연사 기능을 지원하고, 리터칭(retouching) 기술은 사용자가 원치 않는 객체가 촬영된 경우 이를 배제할 수 있는 다양한 방법을 지원한다. 그러나 버스트 모드는 불필요한 자원 낭비가 심하고 사용자가 직접 개입하여 사진을 골라야 하는 번거로움이 있다. 리터칭 기술 역시 사용자가 원치 않는 촬영을 사전에 예방하지 못하고, 촬영된 원본을 사후 보정하므로 원본의 자연스러움이 경감되는 등의 한계가 있다. Recently, as the use of portable photography devices such as mobile phones and digital cameras has become commonplace and common, devices and methods for supporting the photography have been diversified. For example, the burst mode supports a continuous shooting function while the shutter is held, and then supports a continuous shooting function, which allows the user to select a favorite image among the shot photographs, and a retouching technique It supports a variety of ways to eliminate unwanted objects when they are taken. However, the burst mode is a waste of unnecessary resources, and the user has to intervene directly and pick a picture. The retouching technique can not prevent unwanted shooting by the user in advance, and there is a limitation in that the naturalness of the original is alleviated due to post-correction of the photographed original.

본 발명의 실시예들은, 사용자가 원치 않는 구도의 촬영을 사전에 경고하거나 방지하여 불필요한 영상이 촬영되지 않도록 하기 위한 것이다. Embodiments of the present invention are intended to prevent an unnecessary image from being captured by warning or preventing a user from taking an image of an undesired composition in advance.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예의 일 측면에 따르면,According to an aspect of an embodiment of the present invention, as a technical means for achieving the above-mentioned technical object,

입사 광을 광전 변환해서 피사체를 촬영하는 제1 촬영부 및A first photographing section for photoelectrically converting incident light and photographing a subject;

관심 영역의 범위를 설정하고, 입력 영상으로부터 방해 요소를 검출하며, 상기 방해 요소가 상기 관심 영역과 교차하는 어클루전이 발생할지 여부를 예측하여, 상기 예측 결과에 따라 어클루전 방지 동작을 수행하는 제어부를 포함하는 촬영 장치가 제공된다. A range of a region of interest is set, an obstacle element is detected from the input image, prediction is made as to whether occlusion in which the disturbance element crosses the region of interest occurs, and an occlusion prevention operation is performed in accordance with the prediction result A photographing apparatus including a control unit is provided.

상기 제어부는 상기 설정된 관심 영역을 추적함으로써 상기 어클루전 발생 여부를 예측할 수 있다.The controller may predict occurrence of the occlusion by tracking the set region of interest.

또한, 상기 제어부는 상기 방해 요소를 인지하고, 상기 방해 요소를 추적하여 그 궤적을 예측함으로써 상기 어클루전 발생 여부를 예측할 수 있으며, 상기 어클루전 발생 여부를 예측한 결과, 어클루전 발생이 예측되면 어클루전이 발생할 것에 대한 알림을 사용자에게 제공할 수 있다. In addition, the controller recognizes the disturbance element, tracks the disturbance element, predicts the trajectory, and predicts whether or not the occurrence of the occlusion occurs. As a result of estimating whether or not the occurrence of the occlusion occurs, When predicted, the user can be alerted that occlusion will occur.

상기 제어부는 상기 어클루전 발생이 감지되면 셔터 릴리즈 신호의 입력을 블로킹(blocking)할 수 있고, 사용자 입력에 기초하여 상기 관심 영역의 범위를 설정할 수 있다. The controller may block an input of a shutter release signal when the occurrence of the occlusion is detected, and may set a range of the ROI based on a user input.

상기 촬영 장치는 상기 관심 영역을 촬영하는 제2 촬영부를 더 포함할 수 있다. The photographing apparatus may further include a second photographing unit photographing the area of interest.

본 발명의 일 실시예의 또 다른 측면에 따르면, According to another aspect of an embodiment of the present invention,

입사 광을 광전 변환해서 피사체를 촬영하는 단계;Photoelectric conversion of incident light to photograph a subject;

관심 영역의 범위를 설정하는 단계;Setting a range of a region of interest;

입력 영상으로부터 방해 요소를 검출하는 단계;Detecting an obstructing element from an input image;

상기 방해 요소가 상기 관심 영역과 교차하는 어클루전이 발생할지 여부를 예측하는 단계; 및Predicting whether occlusion occurs in which the disturbance element intersects the region of interest; And

상기 예측 결과에 따라 어클루전 방지 동작을 수행하는 단계를 포함하는 촬영 장치 제어 방법이 제공된다.And performing an occlusion prevention operation in accordance with the prediction result.

상기 어클루전 발생 여부 예측 단계는, 상기 설정된 관심 영역을 추적하여 상기 어클루전 발생 여부를 예측하는 단계를 포함할 수 있다. The occlusion occurrence prediction step may include tracking the set region of interest and predicting occurrence of the occlusion.

상기 어클루전 발생 여부 예측 단계는, 상기 방해 요소를 인지하고, 상기 방해 요소를 추적하여 그 궤적을 예측함으로써 상기 어클루전 발생 여부를 예측하는 단계를 포함할 수 있다. The step of predicting occurrence of the occlusion may include a step of recognizing the disturbance element and predicting whether or not the occlusion is generated by tracking the disturbance element and predicting the trajectory.

상기 어클루전 방지 동작을 수행하는 단계는, 상기 어클루전 발생 여부 예측 결과, 어클루전 발생이 예측되면 어클루전이 발생할 것에 대한 알림을 사용자에게 제공하는 단계를 포함할 수 있다.The step of performing the occlusion prevention operation may include the step of providing a notification to the user that the occlusion occurrence occurs when the occlusion occurrence is predicted as a result of the occlusion occurrence prediction.

상기 어클루전 방지 동작을 수행하는 단계는, 상기 어클루전 발생이 감지되면 셔터 릴리즈 신호의 입력을 블로킹(blocking)하는 단계를 포함할 수 있다. The performing the occlusion prevention operation may include blocking an input of a shutter release signal when the occurrence of the occlusion is sensed.

상기 관심 영역 범위 설정 단계는, 사용자 입력에 기초해서 상기 관심 영역의 범위를 설정하는 단계를 포함할 수 있다. The step of setting the region of interest may comprise the step of setting a range of the region of interest based on user input.

상기 촬영 장치는 제2 촬영부를 이용해서 상기 관심 영역을 촬영하는 단계를 더 포함할 수 있다.The photographing apparatus may further include photographing the region of interest using the second photographing unit.

본 발명의 일 실시예의 또 다른 측면에 따르면, 프로세서에 의해 독출되어 수행되었을 때, 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서, 상기 촬영 장치 제어 방법은,According to another aspect of an embodiment of the present invention, there is provided a computer readable recording medium storing computer program codes for performing a method of controlling a photographing apparatus when read and executed by a processor,

입사 광을 광전 변환해서 피사체를 촬영하는 단계; Photoelectric conversion of incident light to photograph a subject;

관심 영역의 범위를 설정하는 단계;Setting a range of a region of interest;

입력 영상으로부터 방해 요소를 검출하는 단계;Detecting an obstructing element from an input image;

상기 방해 요소가 상기 관심 영역과 교차하는 어클루전이 발생할지 여부를 예측하는 단계; 및Predicting whether occlusion occurs in which the disturbance element intersects the region of interest; And

상기 예측 결과에 따라 어클루전 방지 동작을 수행하는 단계를 포함하는 컴퓨터 판독가능 기록매체가 제공된다. And performing an occlusion prevention operation in accordance with the prediction result.

상기 어클루전 발생 여부 예측 단계는, 상기 설정된 관심 영역을 추적하여 상기 어클루전 발생 여부를 예측하는 단계를 포함할 수 있다. The occlusion occurrence prediction step may include tracking the set region of interest and predicting occurrence of the occlusion.

상기 어클루전 발생 여부 예측 단계는, 상기 방해 요소를 인지하고, 상기 방해 요소를 추적하여 그 궤적을 예측함으로써 상기 어클루전 발생 여부를 예측하는 단계를 포함할 수 있다. The step of predicting occurrence of the occlusion may include a step of recognizing the disturbance element and predicting whether or not the occlusion is generated by tracking the disturbance element and predicting the trajectory.

상기 어클루전 방지 동작을 수행하는 단계는, 상기 어클루전 발생 여부 예측 결과, 어클루전 발생이 예측되면 어클루전이 발생할 것에 대한 알림을 사용자에게 제공하는 단계를 포함할 수 있다. The step of performing the occlusion prevention operation may include the step of providing a notification to the user that the occlusion occurrence occurs when the occlusion occurrence is predicted as a result of the occlusion occurrence prediction.

상기 어클루전 방지 동작을 수행하는 단계는, 상기 어클루전 발생이 감지되면 셔터 릴리즈 신호의 입력을 블로킹(blocking)하는 단계를 포함할 수 있다. The performing the occlusion prevention operation may include blocking an input of a shutter release signal when the occurrence of the occlusion is sensed.

상기 관심 영역 범위 설정 단계는, 사용자 입력에 기초해서 상기 관심 영역의 범위를 설정하는 단계를 포함할 수 있다. The step of setting the region of interest may comprise the step of setting a range of the region of interest based on user input.

상기 발명의 어떤 실시예들은 전술한 실시예에 추가되거나 전술한 실시예를 대체하는 다른 단계나 구성요소를 가진다. 그 단계나 구성요소들은 다음의 상세한 설명이나 첨부된 도면을 참조함으로써 당업자들에게 명백해 질 것이다.
Certain embodiments of the invention have other steps or components that are added to the embodiments described above or which replace the embodiments described above. The steps or components will be apparent to those skilled in the art by reference to the following detailed description or the accompanying drawings.

도1은 본 발명의 일 실시예에 따른 촬영 장치의 구조를 설명하기 위한 블록도이다.
도2는 본 발명의 일 실시예에 따른 어클루전 발생 예측의 개념을 설명하기 위한 도면이다.
도3은 본 발명의 일 실시예에 따른 촬영 장치 제어 방법을 나타낸 흐름도이다.
도4는 본 발명의 일 실시예에 따른 촬영 장치의 구조를 설명하기 위한 도면이다.
도5는 본 발명의 일 실시예에 따른 관심 영역 설정 방법을 나타낸 도면이다.
도6은 본 발명의 다른 일 실시예에 따른 관심 영역 설정 방법을 나타낸 도면이다.
도7은 본 발명의 또 다른 일 실시예에 따른 관심 영역 설정 방법을 나타낸 도면이다.
도8은 본 발명의 또 다른 일 실시예에 따른 관심 영역 설정 방법을 나타낸 도면이다.
도9는 본 발명의 일 실시예에 따른 객체의 궤적을 예측하는 방법을 나타낸 도면이다.
도10은 본 발명의 일 실시예에 따라 어클루전을 예측하고 어클루전 방지 동작을 수행하는 과정에 대한 흐름도이다.
도11은 본 발명의 다른 실시예에 따른 어클루전 방지 동작을 나타내는 도면이다.
도12는 본 발명의 또 다른 실시예에 따른 어클루전 방지 동작을 나타내는 도면이다.
도13은 본 발명의 일 실시예에 따라 제2 촬영부를 더 포함하는 경우를 나타내는 도면이다. 1 is a block diagram illustrating a structure of a photographing apparatus according to an embodiment of the present invention.
2 is a diagram for explaining the concept of occlusion occurrence prediction according to an embodiment of the present invention.
3 is a flowchart illustrating a method of controlling a photographing apparatus according to an exemplary embodiment of the present invention.
4 is a view for explaining the structure of a photographing apparatus according to an embodiment of the present invention.
FIG. 5 illustrates a method of setting a region of interest according to an embodiment of the present invention. Referring to FIG.
6 is a diagram illustrating a method of setting a ROI according to another embodiment of the present invention.
FIG. 7 illustrates a method of setting a region of interest according to another embodiment of the present invention. Referring to FIG.
FIG. 8 is a diagram illustrating a method of setting a region of interest according to another embodiment of the present invention.
9 is a diagram illustrating a method of predicting a trajectory of an object according to an embodiment of the present invention.
10 is a flowchart illustrating a process of predicting occlusion and performing an occlusion prevention operation according to an embodiment of the present invention.
11 is a view showing an anti-occlusion operation according to another embodiment of the present invention.
12 is a diagram illustrating an occlusion prevention operation according to another embodiment of the present invention.
13 is a view showing a case in which the second photographing unit is further included according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술 되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Brief Description of the Drawings The advantages and features of the present invention, and how to accomplish them, will become apparent with reference to the embodiments described hereinafter with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. The terms used in this specification will be briefly described and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합 되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.When an element is referred to as "including" an element throughout the specification, it is to be understood that the element may include other elements as well, without departing from the spirit or scope of the present invention. Also, as used herein, the term "part " refers to a hardware component such as software, FPGA or ASIC, and" part " However, "part" is not meant to be limited to software or hardware. "Part" may be configured to reside on an addressable storage medium and may be configured to play back one or more processors. Thus, by way of example, and not limitation, "part (s) " refers to components such as software components, object oriented software components, class components and task components, and processes, Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. The functions provided in the components and "parts " may be combined into a smaller number of components and" parts " or further separated into additional components and "parts ".

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In order to clearly explain the present invention in the drawings, parts not related to the description will be omitted.

도 1은 본 발명의 일 실시예에 따른 촬영 장치(100)의 구조를 설명하기 위한 블록도이다.1 is a block diagram illustrating a structure of a photographing apparatus 100 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 촬영 장치(100)는 촬영부(110)와 제어부(120) 를 포함할 수 있다. The photographing apparatus 100 according to an embodiment of the present invention may include a photographing unit 110 and a control unit 120. [

촬영부(110)는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 렌즈, 렌즈 구동부, 조리개, 조리개 구동부, 촬상 소자, 및 촬상 소자 제어부를 포함한다. The photographing unit 110 includes components such as a lens, a lens driving unit, a diaphragm, a diaphragm driving unit, an image pickup device, and an image pickup device control unit, which generate an image of an electrical signal from incident light.

렌즈는 복수 군, 복수 매의 렌즈들을 구비할 수 있고, 렌즈 구동부에 의해 그 위치가 조절된다. 렌즈 구동부는 CPU/DSP에서 제공된 제어 신호에 따라 렌즈의 위치를 조절한다. The lens can include a plurality of lenses, a plurality of lenses, and the position thereof is adjusted by the lens driving unit. The lens driver adjusts the position of the lens according to the control signal provided by the CPU / DSP.

조리개는 조리개 구동부에 의해 그 개폐 정도가 조절되며, 촬상 소자로 입사되는 광량을 조절한다. 렌즈 및 조리개를 투과한 광학 신호는 촬상 소자의 수광면에 이르러 피사체의 상을 결상 한다. 상기 촬상 소자는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 촬상 소자는 촬상 소자 제어부에 의해 감도 등이 조절될 수 있다. 촬상 소자 제어부는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자를 제어할 수 있다.The diaphragm is controlled by the diaphragm driving unit so as to adjust the amount of light incident on the imaging element. The optical signal transmitted through the lens and the diaphragm reaches the light-receiving surface of the image pickup element and forms an image of the object. The image pickup device may be a CCD (Charge Coupled Device) image sensor or a CIS (Complementary Metal Oxide Semiconductor Image Sensor) for converting an optical signal into an electric signal. In such an image pickup device, the sensitivity and the like can be adjusted by the image pickup device controller. The image pickup device control unit can control the image pickup device in accordance with a control signal automatically generated by a video signal input in real time or a control signal manually input by an operation of a user.

촬상 소자의 노광 시간은 셔터(미도시)로 조절된다. 셔터(미도시)는 가리개를 이동시켜 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다.The exposure time of the imaging element is controlled by a shutter (not shown). A shutter (not shown) has a mechanical shutter for moving the screen to adjust the incidence of light, and an electronic shutter for controlling exposure by supplying an electric signal to the imaging element.

제어부(120)는 사용자가 원하지 않는 구도의 영상이 촬영되지 않도록 관심 영역 또는 방해 요소의 궤적을 예측하여 어클루전(occlusion) 발생 여부를 결정하고, 어클루전 발생이 예상될 경우 방지 동작을 수행할 수 있는 구성요소이다. The control unit 120 determines whether occlusion has occurred by predicting the trajectory of the region of interest or the disturbance element so as to prevent the user from shooting an image of an undesired composition, and performs a preventive action when occurrence of occlusion is expected It is a component that can be done.

본 명세서에서, 관심 영역(ROI, region of interest)이란 촬영부(110)으로부터 촬영되는 전체 영상 중에서 사용자가 특히 중점을 두고 촬영하는, 다른 객체에 의해 가려지는 것을 원하지 않는 촬영 영역의 일부 영역을 말한다. In this specification, a region of interest (ROI) refers to a part of a shooting region in which the user does not want to be covered by another object, which the user shoots with particular emphasis on the entire image photographed from the shooting section 110 .

또한, 본 명세서에서 어클루전이란 어떤 객체가 관심 영역을 가로막는 것을 말한다. 또, 방해 요소란 관심 영역과 어클루전이 발생할 잠재적 가능성이 있는 객체를 말한다. 방해 요소는 나무나 건물과 같은 정적인 객체일 수도 있고, 동물이나 사람과 같은 동적인 객체일 수도 있다. Also, in this specification, occlusion refers to an object blocking an area of interest. In addition, disturbance refers to an object that has the potential to cause an area of interest and occlusion. The disturbance may be a static object such as a tree or a building, or a dynamic object such as an animal or a person.

제어부(120)는 사용자가 중점을 두고 촬영하는 객체가 방해 요소에 가려진 채로 촬영되지 않도록 하기 위하여 객체들의 궤적을 추적하고 추적한 결과를 바탕으로 어클루전 발생을 방지하기 위한 동작들을 수행할 수 있다. The control unit 120 may perform operations to prevent occurrence of occlusion based on the result of tracking and tracking the trajectory of the objects so that the object photographed by the user is not captured while being obscured by the obstructive element .

상기 어클루전 발생을 방지하기 위한 동작은 실시예에 따라 촬영 전에 이루어지거나, 촬영 후에 이루어질 수 있다. 또한, 어클루전 발생을 방지하는 동작은 메시지 표시, 경고음 표시, 음성 안내, LED 등 안내, 촬영 방지, 촬영 후 알림 등 다양한 방식으로 수행될 수 있다. The operation for preventing the occurrence of the occlusion may be performed before or after photographing according to the embodiment. In addition, the operation for preventing occlusion can be performed in various manners such as message display, warning sound display, voice guidance, LED guidance, prevention of shooting, notification after shooting, and the like.

도 1에 도시된 촬영 장치(100)는 본 발명의 일 실시예이며, 본 발명의 실시예들에 따른 촬영 장치(100)는 도 1에 도시된 촬영 장치(100)에 한정되지 않는다.The photographing apparatus 100 shown in FIG. 1 is an embodiment of the present invention, and the photographing apparatus 100 according to the embodiments of the present invention is not limited to the photographing apparatus 100 shown in FIG.

도2는 본 발명의 일 실시예에 따른 어클루전 발생 예측의 개념을 설명하기 위한 도면이다. 2 is a diagram for explaining the concept of occlusion occurrence prediction according to an embodiment of the present invention.

촬영 장치(100)는 촬영 장치(100)의 동작 상태 또는 촬영 장치(100)에서 촬영한 영상 정보를 표시하도록 표시부(210)를 포함할 수 있다. 표시부(210)는 시각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 표시부(210)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 표시부(210)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.The photographing apparatus 100 may include a display unit 210 for displaying an operation state of the photographing apparatus 100 or image information photographed by the photographing apparatus 100. [ The display unit 210 can provide visual information to the user. The display unit 210 may be, for example, a liquid crystal display panel (LCD), an organic light emitting display panel, or the like to provide visual information. Also, the display unit 210 may be a touch screen capable of recognizing a touch input.

도2와 같은 촬영된 영상 정보는 표시부(210)에 표시될 수 있다. 상기 촬영 영상은 관심 영역(220)과 방해 요소(230)를 포함할 수 있다.The photographed image information as shown in FIG. 2 may be displayed on the display unit 210. The photographed image may include an area of interest 220 and an obstructing element 230.

도2의 실시예에서 관심 영역(220)은 나무(222)이고, 방해 요소(230)는 관심 영역(220)인 나무(222)를 향해 걸어오고 있는 사람(230)이다. In the embodiment of FIG. 2, the region of interest 220 is the tree 222 and the obstruction element 230 is the person 230 walking toward the tree 222, which is the region of interest 220.

제어부(120)는 나무(222)를 향해 걸어오고 있는 사람 (230)의 지난 궤적 로그(250)를 기초로 미래 궤적(260)을 예측하여, 나무(222)를 향해 걸어오고 있는 사람 (230)의 예측 궤적(260)이 관심 영역(220)인 나무(222)와 교차할 것으로 예측되는 최초의 지점(240)을 어클루전 발생 예측 지점(240)으로 결정할 수 있다. The control unit 120 predicts the future trajectory 260 based on the past trajectory log 250 of the person 230 walking toward the tree 222 and determines the person 230 walking toward the tree 222, The predicted locus 260 of the first region 240 may be determined as the clump generation predicted point 240 as the first point 240 predicted to intersect the tree 222 as the region of interest 220. [

한편, 다른 일 실시예에서는, 도2의 실시예와는 달리 관심 영역(220)이 동적인 객체고 방해 요소(230)가 정적인 객체일 수도 있다. 예를 들어, 관심 영역(220)은 움직이고 있는 토끼이고, 방해 요소(230)는 바위일 수 있다. 상기 실시예에서는 관심 영역(220)인 토끼의 지난 궤적 로그(250)를 기초로 미래 궤적(260)을 예측하여, 토끼의 예측 궤적이 방해 요소(230)인 바위와 교차할 것으로 예측되는 최초의 지점(240)을 어클루전 발생 예측 지점(240)으로 결정할 수 있다. Meanwhile, in another embodiment, unlike the embodiment of FIG. 2, the object region 220 in which the region of interest 220 is dynamic may be a static object. For example, the region of interest 220 may be a moving rabbit, and the disturbing element 230 may be a rock. In this embodiment, the future trajectory 260 is predicted based on the past trajectory log 250 of the rabbit, which is the region of interest 220, and the first trajectory 260 predicted to cross the predicted trajectory of the rabbit is the obstacle 230 The point 240 can be determined as the occurrence occurrence prediction point 240 of the occlusion.

도3은 본 발명의 일 실시예에 따른 촬영 장치 제어 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a method of controlling a photographing apparatus according to an exemplary embodiment of the present invention.

촬영 장치(100)는 먼저 관심 영역 범위를 설정한다(S310). 관심 영역(220)의 범위는 일 실시예에 따르면 사용자의 입력에 의해 설정될 수 있고, 다른 일 실시예에 따르면 미리 설정된 영역으로 자동 지정될 수도 있다. The photographing apparatus 100 first sets an area of interest (S310). The range of the area of interest 220 may be set by a user's input according to one embodiment, and may be automatically designated as a preset area according to another embodiment.

관심 영역의 범위를 설정한 후, 촬영 장치(100)는 관심 영역 주변에 움직임이 있는 모든 객체들을 잠재적으로 관심 영역(220)과 어클루전이 발생할 가능성이 있는 방해 요소(230)로 검출한다(S320). 만일, 관심 영역(220)이 동적인 객체일 경우에는 라이브 뷰 영상에 보이는 정적인 객체, 동적인 객체 모두가 방해 요소(230)로 검출될 수 있을 것이다. After setting the range of the area of interest, the photographing apparatus 100 detects all the objects with motion around the area of interest, potentially with the area of interest 220 and the obstructing element 230 that is likely to cause occlusion (S320 ). If the region of interest 220 is a dynamic object, all of the static and dynamic objects visible in the live view image may be detected as an obstructing element 230.

또한, 촬영 장치(100)는 검출된 방해 요소들(230)의 지난 라이브 뷰에서 추출된 파라미터(parameter)들, 예를 들면, 객체의 크기, 속도, 위치 등에 대한 파라미터들을 메모리에 저장해 두었다가 이를 기초로 궤도 추적 알고리즘을 사용하는 등의 방법으로 객체의 미래 궤적(260)을 예측함으로써 관심 영역(220)과 방해 요소(230)의 미래 궤적이 교차하거나, 관심 영역(220)의 미래 궤적과 방해 요소(230)가 교차하는 어클루전이 발생할지 여부를 예측한다(S330). In addition, the photographing apparatus 100 stores the parameters of the detected disturbance elements 230 in the past live view, for example, the parameters such as the size, speed, and position of the object in the memory, The future trajectory 260 of the object may be predicted in such a manner that the future trajectory of the disturbance element 230 intersects with the region of interest 220 or the future trajectory of the region of interest 220 and the disturbance element (S330) whether or not an occlusion in which the intersecting section 230 intersects occurs.

촬영 장치(100)의 예측 결과, 어클루전 발생이 예측되는 경우(S335), 촬영 장치(100)는 어클루전 방지 동작을 수행한다(S340). 어클루전 방지 동작은 메시지나 소리와 같은 방식으로 사용자에게 경고를 주는 동작일 수도 있고, 촬영 자체가 불가능하게 막는 방식일 수도 있다. If it is predicted that the occurrence of occlusion is predicted (S335), the photographing apparatus 100 performs the occlusion prevention operation (S340). The occlusion prevention operation may be an operation of giving a warning to a user in the manner of a message or sound, or a method of preventing the shooting itself from being possible.

만일, 어클루전이 예측되지 않으면(S335), 촬영부(110)는 촬영을 수행한다(S350). 촬영은 셔터 릴리즈 신호가 입력되면 수행되거나, 자동으로 수행될 수 있다. If no occlusion is predicted (S335), the photographing unit 110 performs photographing (S350). The shooting may be performed when the shutter release signal is input, or may be performed automatically.

도4는 본 발명의 일 실시예에 따른 촬영 장치의 구조를 설명하기 위한 도면이다.4 is a view for explaining the structure of a photographing apparatus according to an embodiment of the present invention.

본 실시예에 따른 촬영 장치(100)는 촬영부(110) 및 제어부(120)를 포함할 수 있다. 제어부(120)는 관심 영역 설정부(410), 방해 요소 검출부(420), 어클루전 발생 예측부(430), 및 어클루전 방지 동작 수행부(440)를 포함할 수 있다. The photographing apparatus 100 according to the present embodiment may include a photographing unit 110 and a control unit 120. [ The control unit 120 may include a region of interest setting unit 410, an obstacle detecting unit 420, an occlusion occurrence predicting unit 430, and an occlusion prevention operation performing unit 440.

도 4의 실시예의 촬영부(110)는 도 1의 실시예의 촬영부(110)에 대응될 수 있다. 물론, 이 외에 다양한 실시예도 가능하다.The photographing unit 110 of the embodiment of FIG. 4 may correspond to the photographing unit 110 of the embodiment of FIG. Of course, various other embodiments are possible.

촬영부(110)는 입사광을 광전 변환하여 피사체를 촬영한다. The photographing unit 110 photoelectrically converts incident light to photograph an object.

관심 영역 설정부(410)는 사용자의 입력에 의해 또는 미리 지정된 설정에 의해 관심 영역 범위를 설정한다. The region-of-interest setting unit 410 sets the region of interest by the user's input or by a predetermined setting.

방해 요소 검출부(420)는 라이브 뷰 상에 보이는 객체 중에서 관심 영역(220)과 어클루전이 발생할 가능성이 있는 방해 요소(230)들을 검출한다. The disturbance element detector 420 detects an area of interest 220 and disturbance elements 230 that are likely to cause occlusion among the objects shown on the live view.

어클루전 발생 예측부(430)는 검출된 방해 요소들(230)의 지난 라이브 뷰에서 추출된 파라미터들을 기초로 객체의 미래 궤적(260)을 예측함으로써 관심 영역(220)과 방해 요소(230)의 미래 궤적이 교차하는 어클루전이 발생할지 여부를 예측한다. 어클루전 발생 예측부(430)는 관심 영역이(220) 움직이는 경우에는 관심 영역(220)의 미래 궤적도 예측하여 어클루전이 발생할지 여부를 예측한다. The occlusion occurrence predicting unit 430 predicts the future trajectory 260 of the object based on the parameters extracted from the last live view of the detected disturbance elements 230, And whether or not occlusion will occur in which the future trajectory of the intersection will occur. The occlusion generation predicting unit 430 also predicts whether or not occlusion will occur by predicting the future trajectory of the region of interest 220 when the region of interest 220 is moving.

어클루전 방지 동작 수행부(440)는 어클루전 발생 예측부(430)의 예측 결과, 어클루전 발생이 예측되는 경우, 어클루전 방지 동작을 수행한다.   The occlusion prevention operation performing unit 440 performs the occlusion prevention operation when the occurrence of the occlusion is predicted as a result of the occlusion occurrence predicting unit 430. [

도5는 본 발명의 일 실시예에 따른 관심 영역 설정 방법을 나타낸 도면이다.FIG. 5 illustrates a method of setting a region of interest according to an embodiment of the present invention. Referring to FIG.

도5의 실시예에 따르면 촬영 장치(100)는 촬영 장치 표시부(210)의 중앙 주변 일정 영역 또는 미리 지정된 다른 영역을 관심 영역으로 자동 설정할 수 있다. 예를 들어, 촬영 장치(100)는 촬영 장치 표시부(210)의 중앙 주변 반경 5 센티미터 영역 또는 표시부의 우측 절반 영역을 관심 영역으로 자동 지정할 수 있다.According to the embodiment of FIG. 5, the photographing apparatus 100 can automatically set a certain region around the center of the photographing apparatus display unit 210 or another predetermined region as a region of interest. For example, the photographing apparatus 100 can automatically designate a 5 cm-center area of the center periphery of the photographing apparatus display unit 210 or a right-hand half area of the display unit as a region of interest.

도6은 본 발명의 다른 일 실시예에 따른 관심 영역 설정 방법을 나타낸 도면이다. 6 is a diagram illustrating a method of setting a ROI according to another embodiment of the present invention.

도6의 실시예에 따르면 촬영 장치 표시부(210) 상에서 루프 형태로 관심 영역(220)을 선택하는 사용자 입력은, 예를 들면, 터치 스크린, 마우스, 스크롤 바, 컨트롤 패널, 모바일 장치, 터치 패드, 트랙 볼 또는 사용자의 입력을 감지할 수 있는 다른 장치나 구성 요소를 이용하여 루프 형태로 입력될 수 있다. 루프 형태로 선택한 영역은 관심 영역으로 지정될 수 있다.The user input for selecting the region of interest 220 in a loop form on the imaging device display 210 according to the embodiment of FIG. 6 may be, for example, a touch screen, a mouse, a scroll bar, a control panel, Trackballs, or other devices or components capable of sensing user input. The region selected in the form of a loop can be designated as the region of interest.

도7은 본 발명의 또 다른 일 실시예에 따른 관심 영역 설정 방법을 나타낸 도면이다.FIG. 7 illustrates a method of setting a region of interest according to another embodiment of the present invention. Referring to FIG.

도7의 실시예에 따르면 촬영 장치(100)는 사용자가 촬영 장치 표시부(210) 상에서 터치한 한 점을 기준으로 원형, 사각형 등의 형태로 확장한 그 주변 일정 영역을 관심 영역으로 지정할 수 있다. 예를 들어, 사용자가 표시부(210)의 한 점을 터치하면 그 점을 기준으로 반경 5 센티미터 안에 있는 영역을 관심 영역(220)으로 지정할 수 있다. According to the embodiment of FIG. 7, the photographing apparatus 100 can designate a surrounding region extending in the form of a circle, a rectangle, or the like based on a point touched by the user on the photographing apparatus display unit 210 as a region of interest. For example, when a user touches a point on the display unit 210, an area within a radius of 5 centimeters may be designated as a region of interest 220 based on the point.

일 실시예에 따르면 상기 관심 영역(220)은 사용자가 터치 스크린을 터치할 때마다 그 크기 또는 형태가 변화될 수 있다. 다른 실시예에 따르면 상기 관심 영역(220)은 사용자가 터치를 유지하는 시간 길이에 따라 그 크기 또는 형태가 변화될 수 있다. According to one embodiment, the area of interest 220 may be changed in size or shape each time the user touches the touch screen. According to another embodiment, the area of interest 220 may be changed in size or shape according to the length of time the user holds the touch.

도8은 본 발명의 또 다른 일 실시예에 따른 관심 영역 설정 방법을 나타낸 도면이다.FIG. 8 is a diagram illustrating a method of setting a region of interest according to another embodiment of the present invention.

도8의 실시예에 따르면 촬영 장치(100)는 전면 카메라 및 동공 추적 센서를 장착하여 사용자가 실제로 응시하는 영역을 감지함으로써 관심 영역을 설정할 수 있다. 일 실시예에 따르면 상기 관심 영역은 사용자가 응시하는 영역이 변화함에 따라 그 위치가 변화될 수 있다. According to the embodiment of FIG. 8, the photographing apparatus 100 can set a region of interest by mounting a front camera and a pupil-tracking sensor to detect an area where the user actually looks. According to one embodiment, the region of interest may be changed in accordance with a change of a region to be examined by the user.

도9는 본 발명의 일 실시예에 따른 객체의 궤적을 예측하는 방법을 나타낸 도면이다.9 is a diagram illustrating a method of predicting a trajectory of an object according to an embodiment of the present invention.

본 발명의 일 실시예는 칼만 필터를 사용하여 객체의 상태에 대한 통계적 예측을 수행하여 객체를 추적한다. 칼만 필터란, 잡음이 포함되어 있는 선형 역학계의 측정치로부터 원하는 정보를 추출해 내는 기능을 가진 알고리즘을 말하는 것으로, 이 알고리즘은 시간에 따라 진행한 측정을 기반으로 하기 때문에 일정 순간에 측정한 결과만 사용한 것보다 정확한 결과를 기대할 수 있다. 알고리즘 전체는 예측 단계와 보정 단계로 나눌 수 있는데, 예측 단계는 이전 값을 토대로 현재 상태를 추정한다. 보정 단계는 앞서 계산된 예측 상태에 실제로 관측된 결과를 반영하여 다시 정확한 상태를 계산하는 것을 말한다.One embodiment of the present invention tracks the object by performing a statistical prediction of the state of the object using a Kalman filter. The Kalman filter is an algorithm that has the function of extracting the desired information from the measured values of the linear dynamics including the noise. Since the algorithm is based on the measurement progressed over time, only the result measured at a certain moment More accurate results can be expected. The whole algorithm can be divided into a prediction step and a correction step. The prediction step estimates the current state based on the previous value. The correction step refers to calculating the correct state again based on the result actually observed in the previously calculated predicted state.

도9에서는 시간 t-2 시점의 객체 위치(910)와 시간 t-2의 시점에 시간 t-1 의 궤적을 예측한 위치(920), 그리고 시간 t-1이 되었을 때 객체를 실제 관측한 위치(930)와 시간 t-1 시점에 시간 t의 궤적을 예측한 위치(940), 다시 시간 t가 되었을 때의 객체를 실제 관측한 위치(950)와 시간 t의 시점에 시간 t+1의 궤적을 예측한 위치(960)를 도시한다. 이와 같이, 본 발명의 일 실시예는 칼만 필터의 알고리즘을 적용하여 시간에 따른 객체의 위치를 예측하고, 실제 관측 결과를 업데이트하는 과정을 반복한다. 9 shows the position 920 at which the locus of the time t-1 is predicted at the time point t-2 and the position 920 where the locus of the time t-1 is predicted at the time point t-2, A position 940 at which the trajectory of the time t is predicted at the time t-1, a position 940 at which the object is actually observed at the time t and a trajectory of the time t + 1 at the time t 960 < / RTI > As described above, an embodiment of the present invention repeats the process of predicting the position of an object with respect to time and updating the actual observation result by applying an algorithm of the Kalman filter.

실제 칼만 필터 알고리즘을 사용하여 계산하는 과정을 살펴보면 다음과 같다. The process of calculating using the actual Kalman filter algorithm is as follows.

특정 시간 t에서의 상태 벡터를

Figure pat00001
t라고 지칭한다.
Figure pat00002
는 수학식 1과 같이 표현될 수 있다. The state vector at a particular time t
Figure pat00001
t . < / RTI >
Figure pat00002
Can be expressed as Equation (1).

Figure pat00003
Figure pat00003

이 때

Figure pat00004
와
Figure pat00005
는 각각 x축 y축 좌표를 의미하고
Figure pat00006
와
Figure pat00007
는 각각 x축 y축에 대한 속도를 의미한다. At this time
Figure pat00004
Wow
Figure pat00005
Denote the x-axis and y-axis coordinates, respectively
Figure pat00006
Wow
Figure pat00007
Respectively denote the velocity along the x-axis and the y-axis.

칼만 필터에서는 수학식2와 같은 관계식을 가정하고 있다.
In the Kalman filter, a relational expression as shown in Equation (2) is assumed.

Figure pat00008
Figure pat00008

여기서 A는 해당 시간에서 이전 상태에 기반한 상태 전이 행렬,

Figure pat00009
는 공분산 행렬
Figure pat00010
를 가지는 다변수 정규 분포
Figure pat00011
~ N(0,
Figure pat00012
) 잡음 변수이다. A와
Figure pat00013
는 수학식 3 및 수학식 4와 같이 정의될 수 있다. Where A is the state transition matrix based on the previous state at that time,
Figure pat00009
Is a covariance matrix
Figure pat00010
Multivariate normal distribution with
Figure pat00011
~ N (0,
Figure pat00012
) Is a noise variable. A and
Figure pat00013
Can be defined by Equations (3) and (4).

Figure pat00014
Figure pat00014

Figure pat00015
Figure pat00015

또한, 상태 벡터

Figure pat00016
와 그 벡터를 측정했을 때, 실제로 얻어진 벡터
Figure pat00017
는 수학식 5와 같은 관계식을 가지고 있다. In addition,
Figure pat00016
And when the vector is measured, the actually obtained vector
Figure pat00017
Has a relational expression as shown in Equation (5).

Figure pat00018
Figure pat00018

여기서

Figure pat00019
는 해당 시간에서 측정에 관계되는 행렬이고,
Figure pat00020
는 공분산 행렬
Figure pat00021
를 가지는 다변수 정규 분포
Figure pat00022
~N(0,
Figure pat00023
) 잡음 변수이다.
Figure pat00024
와
Figure pat00025
는 수학식 6 및 수학식 7과 같이 정의될 수 있다. here
Figure pat00019
Is a matrix related to the measurement at the time,
Figure pat00020
Is a covariance matrix
Figure pat00021
Multivariate normal distribution with
Figure pat00022
~ N (0,
Figure pat00023
) Is a noise variable.
Figure pat00024
Wow
Figure pat00025
Can be defined as Equation (6) and Equation (7).

Figure pat00026
Figure pat00026

Figure pat00027
Figure pat00027

이 때, 초기 상태와 각 잡음 변수들은 모두 상호 독립적인 관계이다. In this case, the initial state and each noise variable are mutually independent.

칼만 필터는 재귀적으로 동작한다. 즉, 칼만 필터는 바로 이전 시간에 추정한 값을 토대로 해서 현재의 값을 추정하며, 또한 바로 이전 시간 외의 측정값이나 추정값은 사용되지 않는다. 각 계산은 두 단계로 이루어지며, 먼저 이전 시간에 객체의 상태를 기초로, 현재 예측되는 상태를 계산하고(예측 단계), 그 다음, 앞서 계산된 예측 상태와 실제로 측정된 상태를 토대로 정확한 상태를 계산한다(보정 단계). 이 때 각 시간의 추정 상태는 평균과 분산의 두 개의 변수로 표현된다. 정확하게 Xt는 t 시점의 측정값을 토대로 한 t 시점의 상태 추정값을 의미하고, Pt는 t 시점의 측정값을 토대로 한 t 시점의 상태 공분산 행렬을 뜻한다. The Kalman filter operates recursively. That is, the Kalman filter estimates the current value based on the estimated value at the immediately preceding time, and also does not use the measured value or the estimated value immediately outside the immediately preceding time. Each calculation consists of two steps. First, based on the state of the object at the previous time, the state that is currently predicted is calculated (the prediction step), and then the precise state is calculated based on the previously calculated predicted state and actually measured state (Correction step). The estimated state of each time is represented by two variables, average and variance. Exactly, X t means the state estimation value at time t based on the measured value at time t , and P t means the state covariance matrix at time t based on the measured value at time t.

예측 단계의 계산은 연역적으로 이루어진다(여기서 위첨자 마이너스는 예측 단계 수행 결과로 나온 예측 값을 뜻한다). The calculation of the prediction step is done a priori (where the superscript minus is the predicted value resulting from the prediction step).

Figure pat00028
Figure pat00028

Figure pat00029
Figure pat00029

보정 단계에서는 앞 단계의 예측값과 실제 측정값 간의 오차를 이용해, 이전에 얻은 값을 귀납적으로 수정한다.In the correction step, the previously obtained value is corrected inductively using the error between the predicted value of the previous step and the actual measured value.

최적 칼만 게인(Kalman gain)인

Figure pat00030
값은 수학식10과 같다.Optimal Kalman gain
Figure pat00030
The value is as shown in Equation 10.

Figure pat00031
Figure pat00031

그리고, 귀납적 상태 보정을 하면 수학식 11과 같은 보정값을 얻을 수 있다(여기서 위첨자 마이너스는 예측 단계 수행 결과로 나온 예측 값을, 플러스는 보정 단계 수행 결과로 나온 보정값을 뜻한다).If the inductive state correction is performed, a correction value as shown in Equation (11) can be obtained. (Here, a superscript minus means a correction value derived from the result of performing the correction step.

Figure pat00032
Figure pat00032

또한 귀납적 공분산 보정을 하면 수학식 12와 같은 값을 얻을 수 있다. If the inductive covariance correction is performed, the same value as in Equation 12 can be obtained.

Figure pat00033
Figure pat00033

도10은 본 발명의 일 실시예에 따라 어클루전을 예측하고 어클루전 방지 동작을 수행하는 과정에 대한 흐름도이다.10 is a flowchart illustrating a process of predicting occlusion and performing an occlusion prevention operation according to an embodiment of the present invention.

촬영 장치(100)는 먼저 추적하려는 객체의 궤적에 대한 로그를 호출한다(S1010). 이 때, 추적하려는 객체는 방해 요소(230)가 될 수 있고, 관심 영역(220)이 될 수도 있다. 추적 객체의 로그는 촬영 장치(100)의 메모리에 저장될 수 있다. 추적 객체의 로그는 객체의 위치와 크기 등을 나타내는 파라미터의 형태로 저장될 수 있다. The photographing apparatus 100 first calls a log of the trajectory of the object to be traced (S1010). At this time, the object to be tracked may be the disturbance element 230 and may be the region of interest 220. The log of the tracking object may be stored in the memory of the photographing apparatus 100. [ The log of the trace object can be stored in the form of a parameter indicating the position and size of the object.

촬영 장치(100)는 호출된 로그에 더하여 객체의 현재 위치를 업데이트 한다(S1020). 객체의 현재 위치는 관측 결과를 기초로 업데이트 된다. The photographing apparatus 100 updates the current position of the object in addition to the called log (S1020). The current position of the object is updated based on the observation result.

촬영 장치(100)는 현재 관측된 결과까지를 반영하여 객체의 미래 궤적을 예측한다(S1030). 미래 궤적 예측은 칼만 필터 알고리즘을 사용하여 수행 될 수 있다. The photographing apparatus 100 predicts the future trajectory of the object by reflecting up to the currently observed result (S1030). The future trajectory prediction can be performed using a Kalman filter algorithm.

촬영 장치(100)는 객체의 예측된 미래 궤적이 셔터 반응 시간 이후에 관심 영역(220)과 교차할 것인지 여부를 결정한다(S1040). 본 명세서에서 셔터 반응 시간이란, 사용자가 셔터를 누른 순간부터 이미지 센서에서 이미지를 저장하는 순간까지 소요되는 시간으로, 촬영 장치(100) 제작자가 보증하는 시간을 말한다. 만일, 셔터 반응 시간 이후 객체의 예측 궤적이 관심 영역(220)과 교차할 것으로 예상되면 촬영 장치(100)는 어클루전 발생을 결정한다(S1050). The shooting device 100 determines whether the predicted future trajectory of the object will intersect the region of interest 220 after the shutter reaction time (S1040). In the present specification, the shutter response time is the time required from the moment the user presses the shutter to the moment when the image sensor stores the image, which is the time guaranteed by the manufacturer of the photographing apparatus 100. If the predicted locus of the object after the shutter reaction time is expected to intersect with the region of interest 220, the photographing apparatus 100 determines occurrence of occlusion (S1050).

어클루전 발생이 결정되면 촬영 장치(100)는 어클루전 방지 동작을 수행한다(S1060). 어클루전 방지 동작은 어클루전 발생 전에 사용자에게 경고를 주어, 촬영을 하지 않도록 유도하는 방법일 수도 있고, 어클루전이 이미 발생한 경우, 셔터 릴리즈 신호의 입력을 블로킹(blocking)하여 잘못된 촬영을 할 수 없도록 하는 방법일 수도 있다. 어클루전 방지 동작을 수행한 촬영 장치(100)는 다시 추적하는 객체에 대한 로그를 호출하는 과정(S1010)부터 시작되는 일련의 과정을 반복하며 촬영을 재차 시도한다. When occurrence of occlusion is determined, the photographing apparatus 100 performs the occlusion prevention operation (S1060). The occlusion prevention operation may be a method of warning the user before the occurrence of the occlusion to induce the user not to take a picture, or when the occlusion has already occurred, the input of the shutter release signal is blocked, It can be a way to make it impossible. The photographing apparatus 100 performing the occlusion prevention operation repeats a series of processes starting from the step of calling the log for the object to be tracked again (S1010) and retries the photographing again.

반면, 어클루전이 발생하지 않을 것으로 결정되면 촬영 장치(100)는 촬영을 수행하거나(S1070), 객체에 대한 로그를 호출하는 과정(S1010)부터 시작되는 일련의 과정을 반복하여 객체에 대한 추적을 계속한다. On the other hand, if it is determined that occlusion will not occur, the photographing apparatus 100 performs photographing (S1070), repeats a series of processes starting from a step of calling a log for the object (S1010) Continue.

도11은 본 발명의 다른 실시예에 따른 어클루전 방지 동작을 나타내는 도면이다.11 is a view showing an anti-occlusion operation according to another embodiment of the present invention.

도11의 실시예에 따르면 어클루전 발생이 예측될 경우, 촬영 장치(100)는 어클루전이 예측된 시점부터 촬영 장치의 표시부(210) 상에 경고 메시지를 띠워 사용자에게 경고할 수 있다. 재차 어클루전 발생 여부를 예측하여 어클루전 발생 가능성이 없다고 결정된 경우, 경고 메시지를 해제할 수 있다. According to the embodiment of FIG. 11, when the occurrence of occlusion is predicted, the photographing apparatus 100 can warn the user by warning messages on the display unit 210 of the photographing apparatus from when the occlusion is predicted. If it is determined that there is no possibility of occurrence of occlusion again, the warning message can be canceled.

도12는 본 발명의 또 다른 실시예에 따른 어클루전 방지 동작을 나타내는 도면이다.12 is a diagram illustrating an occlusion prevention operation according to another embodiment of the present invention.

도12의 실시예에 따르면 어클루전 발생이 예측될 경우 촬영 장치(100)는 비프음을 출력함으로써 사용자에게 경고할 수 있다. 촬영 장치(100)는 어클루전이 예측된 시점부터 비프음을 출력하여 사용자에게 경고할 수 있다. 비프음은 단발성으로 출력될 수도 있고, 어클루전 발생 가능성이 사라질 때까지 계속 출력될 수도 있다. According to the embodiment of FIG. 12, when the occurrence of occlusion is predicted, the photographing apparatus 100 can warn the user by outputting a beep sound. The photographing apparatus 100 can output a beep sound from the time when the occlusion is predicted and warn the user. The beep may be output as a single output or may continue to be output until the possibility of occlusion disappears.

본 발명의 또 다른 일 실시예에서는 어클루전 발생이 예측될 경우 촬영 장치(100)는 셔터 릴리즈 신호의 입력을 블라킹(blocking)할 수 있다. 일 실시예에 따르면, 사용자가 셔터를 누르려고 해도 셔터가 눌러지지 않도록 하는 기계적인 방법이 이용될 수 있다. 다른 실시예에 따르면, 셔터를 누를 수는 있지만, 셔터 릴리즈 신호가 입력되지 않게 하는 소프트웨어적인 방법도 가능하다. In another embodiment of the present invention, when the occurrence of occlusion is predicted, the photographing apparatus 100 may block the input of the shutter release signal. According to one embodiment, a mechanical method may be used to prevent the shutter from being pressed even if the user tries to press the shutter. According to another embodiment, although it is possible to press the shutter, a software method for preventing the shutter release signal from being inputted is also possible.

도13은 본 발명의 일 실시예에 따라 제2 촬영부를 더 포함하는 경우를 나타내는 도면이다. 13 is a view showing a case in which the second photographing unit is further included according to an embodiment of the present invention.

본 발명의 실시예들은 한 개 혹은 그 이상의 보조 카메라를 포함할 수 있다. 상기 실시예들에서 메인 카메라와 보조 카메라는 동일 방향을 향하고, 동일 면 상에 존재할 수 있다. 또한 예를 들면 상기 메인 카메라와 보조 카메라는 서로 평행한 광축을 가진다. Embodiments of the present invention may include one or more secondary cameras. In the above embodiments, the main camera and the auxiliary camera face in the same direction and may exist on the same plane. Also, for example, the main camera and the auxiliary camera have optical axes parallel to each other.

제1 촬영부만을 포함하는 본 발명의 일 실시예에 따른 촬영 장치(100)는 제1 촬영부가 제공하는 라이브 뷰를 촬영 장치 표시부(210)를 통하여 사용자에게 제공하면서, 제1 촬영부가 제공하는 시야 내에서 방해 요소를 검출하여 어클루전을 예측하고 촬영을 수행할 수 있다. The photographing apparatus 100 according to an embodiment of the present invention including only the first photographing section provides the live view provided by the first photographing section to the user through the photographing apparatus display section 210, It is possible to detect the disturbance element and predict the occlusion and perform the photographing.

도13의 실시예에서 촬영 장치(100)는 보조 촬영부인 제1 촬영부(1310)와 메인 촬영부인 제2 촬영부(1320)를 포함할 수 있다. 본 실시예에서 제1 촬영부(1310)는 와이드 앵글 렌즈를 장착하여 제2 촬영부(1320)보다 더 넓은 범위의 시야를 확보함으로써, 더 넓은 범위 내의 방해 요소(230)를 검출하고, 궤도를 추적할 수 있다. In the embodiment of FIG. 13, the photographing apparatus 100 may include a first photographing section 1310, which is an auxiliary photographing section, and a second photographing section 1320, which is a main photographing section. In this embodiment, the first photographing unit 1310 detects a disturbance element 230 in a wider range by securing a wider range of view than the second photographing unit 1320 by mounting a wide angle lens, You can trace.

따라서, 하나의 촬영부 만을 가진 실시예와 비교하여 원하지 않는 구도의 사진 촬영 가능성을 더 감소시킬 수 있다. 도13의 실시예에서 메인 촬영부인 제2 촬영부(1320)는 관심 영역을 포함하는 캡쳐될 영상을 촬영한다. 표시부(210)에는 제2 촬영부(1320)를 통해 촬영된 영상이 표시될 수 있다. 이 경우, 사용자가 확인하는 영상은 제2 촬영부(1320)의 영상뿐 이므로, 사용자는 제1 촬영부(1310)가 캐치한 영상에 대해서는 그 존재를 알지 못할 수 있다. Therefore, compared with the embodiment having only one photographing portion, the possibility of photographing an undesired composition can be further reduced. In the embodiment of FIG. 13, the second photographing unit 1320, which is the main photographing unit, photographs an image to be captured including the region of interest. The image captured through the second photographing unit 1320 may be displayed on the display unit 210. [ In this case, since the image confirmed by the user is only the image of the second photographing unit 1320, the user may not know the existence of the image captured by the first photographing unit 1310. [

한편, 본 발명은 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.Meanwhile, the present invention can be realized by storing computer-readable codes in a computer-readable storage medium. The computer-readable storage medium includes all kinds of storage devices in which data that can be read by a computer system is stored.

상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 프로세서에 의하여 독출되어 실행될 때, 본 발명에 따른 촬영 장치 제어 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명의 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다. The computer readable code is configured to perform the steps of implementing the method of controlling a photographing device according to the present invention when read from and executed by a processor from the computer readable storage medium. The computer readable code may be implemented in a variety of programming languages. And functional programs, codes, and code segments for implementing embodiments of the present invention may be readily programmed by those skilled in the art to which the present invention pertains.

컴퓨터 판독가능 저장매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행되는 것도 가능하다.Examples of computer-readable storage media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, as well as implementations in the form of carrier waves (e.g., transmission over the Internet). In addition, the computer-readable storage medium may be distributed over a networked computer system so that computer readable code is stored and executed in a distributed fashion.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It is to be understood that the foregoing description of the disclosure is for the purpose of illustration only and that those skilled in the art will readily understand that various changes in form and details may be made therein without departing from the spirit and scope of the disclosure will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present disclosure is defined by the appended claims rather than the foregoing detailed description, and all changes or modifications that come within the meaning and range of equivalency of the claims, and equivalents thereof, are to be construed as being included within the scope of the present disclosure do.

Claims (20)

제1 촬영부; 및
관심 영역의 범위를 설정하고, 입력 영상으로부터 방해 요소를 검출하며, 상기 방해 요소가 상기 관심 영역과 교차하는 어클루전이 발생할지 여부를 예측하여, 상기 예측 결과에 따라 어클루전 방지 동작을 수행하는 제어부를 포함하는 촬영 장치.A first photographing unit; And
A range of a region of interest is set, an obstacle element is detected from the input image, prediction is made as to whether occlusion in which the disturbance element crosses the region of interest occurs, and an occlusion prevention operation is performed in accordance with the prediction result And a control unit. 제1항에 있어서,
상기 제어부는 상기 설정된 관심 영역을 추적함으로써 상기 어클루전 발생 여부를 예측하는 것을 특징으로 하는 촬영 장치. The method according to claim 1,
Wherein the controller predicts whether or not the occlusion occurs by tracking the set region of interest. 제1항에 있어서,
상기 제어부는 상기 방해 요소를 인지하고, 상기 방해 요소를 추적하여 그 궤적을 예측함으로써 상기 어클루전 발생 여부를 예측하는 것을 특징으로 하는 촬영 장치. The method according to claim 1,
Wherein the controller recognizes the disturbance element, tracks the disturbance element, and predicts the trajectory to predict whether the occurrence of the occlusion has occurred. 제1항에 있어서,
상기 제어부는 상기 어클루전 발생 여부를 예측한 결과, 어클루전 발생이 예측되면 어클루전이 발생할 것에 대한 알림을 사용자에게 제공하는 것을 특징으로 하는 촬영 장치. The method according to claim 1,
Wherein the control unit notifies the user that occlusion will occur when the occlusion occurrence is predicted as a result of predicting whether or not the occlusion has occurred. 상기 제어부는 상기 어클루전 발생이 감지되면 셔터 릴리즈 신호의 입력을 블로킹(blocking)하는 것을 특징으로 하는 촬영 장치.Wherein the control unit blocks the input of a shutter release signal when the occurrence of the occlusion is sensed. 제1항에 있어서,
상기 제어부는 사용자 입력에 기초하여 상기 관심 영역의 범위를 설정하는 것을 특징으로 하는 촬영 장치. The method according to claim 1,
Wherein the control unit sets a range of the ROI based on a user input. 제1항에 있어서,
상기 촬영 장치는 상기 관심 영역을 촬영하는 제2 촬영부를 더 포함하는 촬영 장치.The method according to claim 1,
Wherein the photographing apparatus further comprises a second photographing section photographing the region of interest. 피사체를 촬영하는 단계;
관심 영역의 범위를 설정하는 단계;
입력 영상으로부터 방해 요소를 검출하는 단계;
상기 방해 요소가 상기 관심 영역과 교차하는 어클루전이 발생할지 여부를 예측하는 단계; 및
상기 예측 결과에 따라 어클루전 방지 동작을 수행하는 단계를 포함하는 촬영 장치 제어 방법.Photographing a subject;
Setting a range of a region of interest;
Detecting an obstructing element from an input image;
Predicting whether occlusion occurs in which the disturbance element intersects the region of interest; And
And performing an occlusion prevention operation in accordance with the prediction result. 제8항에 있어서,
상기 어클루전 발생 여부 예측 단계는, 상기 설정된 관심 영역을 추적하여 상기 어클루전 발생 여부를 예측하는 단계를 포함하는 촬영 장치 제어 방법.9. The method of claim 8,
Wherein the occurrence of the occlusion is predicted by tracking the set region of interest and predicting whether or not the occlusion is generated. 제8항에 있어서,
상기 어클루전 발생 여부 예측 단계는, 상기 방해 요소를 인지하고, 상기 방해 요소를 추적하여 그 궤적을 예측함으로써 상기 어클루전 발생 여부를 예측하는 단계를 포함하는 촬영 장치 제어 방법.9. The method of claim 8,
Wherein the occurrence of the occlusion is predicted by recognizing the disturbance element and tracking the disturbance element to predict the occurrence of the occlusion by predicting the trajectory. 제8항에 있어서,
상기 어클루전 방지 동작을 수행하는 단계는, 상기 어클루전 발생 여부 예측 결과, 어클루전 발생이 예측되면 어클루전이 발생할 것에 대한 알림을 사용자에게 제공하는 단계를 포함하는 촬영 장치 제어 방법.9. The method of claim 8,
Wherein the step of performing the occlusion prevention operation includes the step of providing the user with a notification that the occurrence of occlusion is predicted as a result of the occlusion occurrence and the occurrence of occlusion when the occlusion occurrence is predicted. 제8항에 있어서,
상기 어클루전 방지 동작을 수행하는 단계는, 상기 어클루전 발생이 감지되면 셔터 릴리즈 신호의 입력을 블로킹(blocking)하는 단계를 포함하는 촬영 장치 제어 방법.9. The method of claim 8,
Wherein the step of performing the occlusion prevention operation comprises blocking an input of a shutter release signal when the occurrence of the occlusion is sensed. 제8항에 있어서,
상기 관심 영역 범위 설정 단계는, 사용자 입력에 기초해서 상기 관심 영역의 범위를 설정하는 단계를 포함하는 촬영 장치 제어 방법.9. The method of claim 8,
Wherein the setting of the region of interest includes setting a range of the region of interest based on a user input. 제8항에 있어서,
상기 촬영 장치는 제2 촬영부를 이용해서 상기 관심 영역을 촬영하는 단계를 더 포함하는 촬영 장치 제어 방법.9. The method of claim 8,
Wherein the photographing apparatus further comprises photographing the region of interest using the second photographing unit. 프로세서에 의해 독출되어 수행되었을 때, 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서, 상기 촬영 장치 제어 방법은,
피사체를 촬영하는 단계;
관심 영역의 범위를 설정하는 단계;
입력 영상으로부터 방해 요소를 검출하는 단계;
상기 방해 요소가 상기 관심 영역과 교차하는 어클루전이 발생할지 여부를 예측하는 단계; 및
상기 예측 결과에 따라 어클루전 방지 동작을 수행하는 단계를 포함하는 컴퓨터 판독가능 기록매체 A computer-readable recording medium storing computer program codes for performing a photographing apparatus control method when read and executed by a processor,
Photographing a subject;
Setting a range of a region of interest;
Detecting an obstructing element from an input image;
Predicting whether occlusion occurs in which the disturbance element intersects the region of interest; And
And performing an occlusion prevention operation in accordance with the prediction result. 제15항에 있어서,
상기 어클루전 발생 여부 예측 단계는, 상기 설정된 관심 영역을 추적하여 상기 어클루전 발생 여부를 예측하는 단계를 포함하는 컴퓨터 판독 가능 기록 매체.16. The method of claim 15,
Wherein the occlusion occurrence prediction step comprises the step of tracking the set region of interest and predicting whether or not the occlusion occurs. 제15항에 있어서,
상기 어클루전 발생 여부 예측 단계는, 상기 방해 요소를 인지하고, 상기 방해 요소를 추적하여 그 궤적을 예측함으로써 상기 어클루전 발생 여부를 예측하는 단계를 포함하는 컴퓨터 판독 가능 기록 매체.16. The method of claim 15,
The step of predicting occurrence of occlusion includes the step of recognizing the disturbance element and tracking the disturbance element to predict the occurrence of the occlusion by predicting the trajectory. 제15항에 있어서,
상기 어클루전 방지 동작을 수행하는 단계는, 상기 어클루전 발생 여부 예측 결과, 어클루전 발생이 예측되면 어클루전이 발생할 것에 대한 알림을 사용자에게 제공하는 단계를 포함하는 컴퓨터 판독 가능 기록 매체.16. The method of claim 15,
Wherein the step of performing the occlusion prevention operation includes the step of providing a user with a notification that occlusion occurs when the occlusion occurrence is predicted as a result of the occlusion occurrence prediction. 제15항에 있어서,
상기 어클루전 방지 동작을 수행하는 단계는, 상기 어클루전 발생이 감지되면 셔터 릴리즈 신호의 입력을 블로킹(blocking)하는 단계를 포함하는 컴퓨터 판독 가능 기록 매체.16. The method of claim 15,
Wherein the performing of the occlusion prevention operation includes blocking an input of a shutter release signal when the occurrence of the occlusion is sensed. 제15항에 있어서,
상기 관심 영역 범위 설정 단계는, 사용자 입력에 기초해서 상기 관심 영역의 범위를 설정하는 단계를 포함하는 컴퓨터 판독 가능 기록 매체.16. The method of claim 15,
Wherein the step of setting the region of interest comprises setting a range of the region of interest based on user input.
KR1020140038869A 2014-04-01 2014-04-01 Photographing apparatus, method for controlling the same and a computer-readable storage medium KR102198177B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140038869A KR102198177B1 (en) 2014-04-01 2014-04-01 Photographing apparatus, method for controlling the same and a computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140038869A KR102198177B1 (en) 2014-04-01 2014-04-01 Photographing apparatus, method for controlling the same and a computer-readable storage medium

Publications (2)

Publication Number Publication Date
KR20150114320A true KR20150114320A (en) 2015-10-12
KR102198177B1 KR102198177B1 (en) 2021-01-05

Family

ID=54347053

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140038869A KR102198177B1 (en) 2014-04-01 2014-04-01 Photographing apparatus, method for controlling the same and a computer-readable storage medium

Country Status (1)

Country Link
KR (1) KR102198177B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017090833A1 (en) 2015-11-24 2017-06-01 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
WO2023060885A1 (en) * 2021-10-11 2023-04-20 上海商汤智能科技有限公司 Rope defect detection method, terminal device, computer storage medium and computer program product

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104235A (en) * 2005-10-04 2007-04-19 Sony Corp Imaging apparatus, control method thereof, and computer program
JP2009218719A (en) * 2008-03-07 2009-09-24 Panasonic Corp Imaging device and imaging method
JP2012003098A (en) * 2010-06-18 2012-01-05 Canon Inc Imaging apparatus and control method therefor
JP2012119817A (en) * 2010-11-30 2012-06-21 Nikon Corp Electronic camera and correction processing program
JP2013205675A (en) * 2012-03-29 2013-10-07 Nikon Corp Imaging apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104235A (en) * 2005-10-04 2007-04-19 Sony Corp Imaging apparatus, control method thereof, and computer program
JP2009218719A (en) * 2008-03-07 2009-09-24 Panasonic Corp Imaging device and imaging method
JP2012003098A (en) * 2010-06-18 2012-01-05 Canon Inc Imaging apparatus and control method therefor
JP2012119817A (en) * 2010-11-30 2012-06-21 Nikon Corp Electronic camera and correction processing program
JP2013205675A (en) * 2012-03-29 2013-10-07 Nikon Corp Imaging apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017090833A1 (en) 2015-11-24 2017-06-01 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
KR20170060411A (en) * 2015-11-24 2017-06-01 삼성전자주식회사 Method and photographing device for controlling the photographing device according to proximity of a user
US9854161B2 (en) 2015-11-24 2017-12-26 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
CN108353129A (en) * 2015-11-24 2018-07-31 三星电子株式会社 Capture apparatus and its control method
EP3381180A4 (en) * 2015-11-24 2018-12-05 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
CN108353129B (en) * 2015-11-24 2020-12-04 三星电子株式会社 Photographing apparatus and control method thereof
WO2023060885A1 (en) * 2021-10-11 2023-04-20 上海商汤智能科技有限公司 Rope defect detection method, terminal device, computer storage medium and computer program product

Also Published As

Publication number Publication date
KR102198177B1 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
EP2308226B1 (en) Shadow and reflection identification in image capturing devices
CN112217998B (en) Imaging device, information processing device, control method thereof, and storage medium
US11089228B2 (en) Information processing apparatus, control method of information processing apparatus, storage medium, and imaging system
KR101206389B1 (en) Image processing apparatus. image processing method, and storage medium
JPWO2013089190A1 (en) IMAGING DEVICE, IMAGING METHOD THEREOF, AND STORAGE MEDIUM FOR STORING TRACKING PROGRAM PROCESSABLE BY COMPUTER
CN113141448B (en) Image pickup apparatus
US20170212327A1 (en) Focus hunting prevention for phase detection auto focus (af)
US11812133B2 (en) Image processing apparatus and method for controlling image processing apparatus
US9300860B2 (en) Image-capturing apparatus
JP2012177768A (en) Projection type video display device
KR102198177B1 (en) Photographing apparatus, method for controlling the same and a computer-readable storage medium
KR20180138529A (en) Information processing apparatus, information processing method, and recording medium
JP2015171116A (en) Display device of camera
JP6465566B2 (en) Imaging apparatus and imaging method
JP2014191017A (en) Imaging device and method for controlling the same
JP2006319526A (en) Network camera system and its control method
JP5015121B2 (en) Imaging device
JP2016111561A (en) Information processing device, system, information processing method, and program
JP5484129B2 (en) Imaging device
US20110142291A1 (en) Method and Apparatus for Processing Digital Image and Computer Readable Recording Medium
JP2015198264A (en) Image processing apparatus and control method thereof
CN107197155B (en) Method and system for focusing after photographing, mobile terminal and storage device
JP2021174089A (en) Information processing device, information processing system, information processing method and program
JP2015191074A (en) Imaging apparatus
JP2014023054A (en) Image processing apparatus, imaging apparatus, and image processing program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant