KR101064640B1

KR101064640B1 - Estimation method of auto focus range of camera module

Info

Publication number: KR101064640B1
Application number: KR1020100062832A
Authority: KR
Inventors: 박경남
Original assignee: 엘지이노텍 주식회사
Priority date: 2010-06-30
Filing date: 2010-06-30
Publication date: 2011-09-15

Abstract

본 발명은 카메라 모듈의 자동 초점 영역 설정 방법에 관한 것으로, 본 발명은 영상 이미지를 획득하는 단계, 초점 영역 사용자 입력 모드를 선택하는 단계, 손가락 영역을 인식하는 단계, 상기 손가락 영역의 끝점을 기준으로 초점 영역을 설정하는 단계, 상기 초점 영역내의 피사체에 대해 자동 초점을 실행하는 단계를 포함함으로써, 사용자가 원하는 초점 영역을 직접 설정하여 초점이 다양한 이미지를 촬영 할 수 있는 효과를 기대할 수 있다.The present invention relates to a method for setting an auto focus area of a camera module. The present invention provides a method for acquiring a video image, selecting a focus area user input mode, recognizing a finger area, and based on an end point of the finger area. By setting a focus area and performing auto focus on the subject in the focus area, an effect of capturing an image having various focuses can be expected by directly setting a desired focus area.

Description

{Estimation method of auto focus range of camera module}

본 발명은 카메라 모듈의 자동 초점 영역 설정 방법에 관한 것이다.The present invention relates to a method for setting an auto focus area of a camera module.

카메라 모듈은 렌즈를 포함한 광학계에 의해 결상된 영상 광을, 씨씨디(CCD, charge coupled device)나 씨모스(CMOS, complementary metal-oxide semiconductor)와 같은 광전 변환 소자에 의해 전기신호로 광전 변환한 후, 광전 변환된 영상 신호에 소정의 영상 처리를 실시하여, 정지 영상이나 동영상을 출력하는 장치를 말한다.The camera module photoelectrically converts image light formed by an optical system including a lens into an electrical signal by a photoelectric conversion element such as a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS). And an apparatus for performing a predetermined image processing on a photoelectrically converted video signal and outputting a still image or a moving picture.

일반적으로, 카메라 모듈에는 피사체까지의 거리를 측정하고 포커스 렌즈를 자동적으로 이동하여 초점이 맞는 사진을 촬영할 수 있게 하는 오토 포커스(AF, auto focus) 기능이 내장되어 있다.In general, the camera module has an auto focus (AF) function that measures a distance to a subject and automatically moves the focus lens to take a focused picture.

일반적인 오토 포커스 방법은 영상의 중심부에 포커스를 맞추는 것이다. 이때, 포커스 영역(중심 영역)을 벗어난 주변부의 사물에는 포커스를 맞출 수가 없다. 따라서, 종래에는 주변부의 사물에 포커스를 맞추고자 하는 경우에는, 카메라 모듈을 이동시켜 주변부의 사물이 카메라 중심에 위치하고 반 셔터로 주변부의 사물에 오토 포커스를 락(lock) 시킨 후, 카메라 모듈을 이동시켜 주변부의 사물이 주변부에 배치되도록 한 후 촬영을 해야 했다. 이 방법은 이미지를 캡쳐할 때 오토 포커스를 락시키고 카메라 모듈을 이동시키는 과정에서 손 떨림 현상이 발생하거나, 오토 포커스 락이 풀리는 문제점이 있다.A common autofocus method is to focus on the center of the image. At this time, it is not possible to focus on a peripheral object outside the focus area (center area). Therefore, in the related art, when the focus is on the object of the peripheral part, the camera module is moved, the object of the peripheral part is located at the center of the camera, and the camera module is moved after locking the auto focus on the object of the peripheral part with a half shutter. I had to take a picture after the object was placed in the periphery. In this method, when the image is captured, camera shake occurs in the process of locking the autofocus and moving the camera module, or the autofocus lock is released.

다른 종래 오토 포커스 방법은 얼굴을 인식하여 얼굴 부분을 포커스하는 것이다. 이 방법은 얼굴 외에 다른 대상을 포커스할 수 없다는 문제점이 있다.Another conventional auto focus method is to recognize a face and focus a face portion. This method has a problem that it can not focus on anything other than a face.

본 발명은 사용자가 포커스 영역을 지정할 수 있는 카메라 모듈의 자동 초점 영역 설정 방법을 제공한다.The present invention provides a method for setting an auto focus area of a camera module in which a user can designate a focus area.

본 발명의 한 특징에 따르면, 영상 이미지를 획득하는 단계, 초점 영역 사용자 입력 모드를 선택하는 단계, 손가락 영역을 인식하는 단계, 상기 손가락 영역의 끝점을 기준으로 초점 영역을 설정하는 단계, 상기 초점 영역내의 피사체에 대해 자동 초점을 실행하는 단계를 포함하는 카메라 모듈의 자동 초점 영역 설정 방법이 제공된다.According to an aspect of the present invention, the method includes: obtaining a video image, selecting a focus area user input mode, recognizing a finger area, setting a focus area based on an end point of the finger area, and the focus area A method for setting an auto focus area of a camera module is provided, the method including executing auto focus on a subject within.

본 발명의 다른 특징에 따르면, 영상 이미지를 획득하는 단계, 초점 영역 사용자 입력 모드를 선택하는 단계, 2개의 손가락 영역을 인식하는 단계, 상기 2개의 손가락 영역의 2개의 끝점을 잇는 선을 이용하여 초점 영역을 설정하는 단계, 상기 초점 영역내의 피사체에 대해 자동 초점을 실행하는 단계를 포함하는 카메라 모듈의 자동 초점 영역 설정 방법이 제공된다.According to another feature of the present invention, the method comprises: acquiring a video image, selecting a focus area user input mode, recognizing two finger areas, and focusing using a line connecting two end points of the two finger areas A method of setting an auto focus area of a camera module is provided, comprising setting an area and performing auto focus on a subject in the focus area.

본 발명의 실시 예에서는 손가락 영역을 인식하여 손가락 영역의 끝점을 기준으로 초점 영역을 설정함으로써, 사용자가 원하는 초점 영역을 직접 설정하여 초점이 다양한 이미지를 촬영할 수 있다.According to an embodiment of the present invention, by setting the focus area based on the end point of the finger area by recognizing the finger area, the user may directly set a desired focus area to capture various focus images.

또한, 2개의 손가락 영역 사이의 거리를 조절함으로써, 사용자가 초점 영역의 크기를 원하는 사이즈로 조절할 있다.Also, by adjusting the distance between two finger regions, the user can adjust the size of the focus region to a desired size.

도 1은 본 발명의 실시 예에 따른 카메라 모듈의 개략적인 구성도이다.
도 2는 본 발명의 실시 예에 따른 제어부의 동작을 나타내는 도면이다.
도 3은 손가락 영역이 1개인 경우 제어부의 동작에 따라 디스플레이부에 표시되는 영상의 예시도이다.
도 4는 손가락 영역이 2개인 경우 제어부의 동작에 따라 디스플레이부에 표시되는 영상의 예시도이다.
도 5는 본 발명의 실시 예에 따른 제어부가 손가락 영역을 인식하는 과정을나타내는 도면이다.
도 6은 피부색의 분포를 2변수 정규 분포로 모델링한 그래프이다.1 is a schematic configuration diagram of a camera module according to an embodiment of the present invention.
2 is a diagram illustrating an operation of a controller according to an exemplary embodiment of the present invention.
3 is an exemplary diagram of an image displayed on a display unit according to an operation of a controller when there is one finger region.
4 illustrates an example of an image displayed on a display unit according to an operation of the controller when two finger regions are present.
5 is a diagram illustrating a process of recognizing a finger region by a controller according to an exemplary embodiment of the present invention.
6 is a graph modeling the distribution of skin color as a two-variable normal distribution.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. For example, without departing from the scope of the present invention, the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that another component may exist in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

이제 본 발명의 실시 예에 따른 카메라 모듈의 자동 초점 영역 설정 방법에 대하여 도면을 참고하여 상세하게 설명하고, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기도 한다.Now, a method for setting an autofocus area of a camera module according to an embodiment of the present invention will be described in detail with reference to the drawings, and the same or corresponding elements are denoted by the same reference numerals regardless of the reference numerals, and redundant description thereof. May be omitted.

도 1은 본 발명의 실시 예에 따른 카메라 모듈의 개략적인 구성도이다.1 is a schematic configuration diagram of a camera module according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 카메라 모듈은 촬영부(10), 제어부(20), 디스플레이부(30)를 포함한다.As shown in FIG. 1, the camera module includes a photographing unit 10, a control unit 20, and a display unit 30.

촬영부(10)는 사용자의 조작에 의해 피사체를 촬영하는 오토 포커싱 기능을 갖는 렌즈부(도시하지 않음)를 포함한다.The photographing unit 10 includes a lens unit (not shown) having an auto focusing function for photographing a subject by a user's manipulation.

제어부(20)는 촬영부(10)에서 실시간으로 촬영되는 영상 이미지를 디스플레이부(30)에 적합한 영상 데이터로 변환하여 디스플레이부(30)로 출력한다.The controller 20 converts the image image captured in real time by the photographing unit 10 into image data suitable for the display unit 30 and outputs the image data to the display unit 30.

"초점 영역 자동 설정 모드"에서 제어부(20)는 촬영부(10)의 중심이 초점 영역이 되도록 촬영부(10)를 제어하고, "초점 영역 사용자 입력 모드" 에서 제어부(20)는 촬영부(10)를 통해 사용자의 손가락 영역을 인식하고, 인식한 손가락 영역의 끝점을 기준으로 초점 영역을 설정하고, 설정된 초점 영역내의 피사체에 자동 초점을 실행하도록 촬영부(10)을 제어한다.In the "focus area automatic setting mode", the control unit 20 controls the photographing unit 10 so that the center of the photographing unit 10 becomes the focus area, and in the "focus area user input mode", the control unit 20 controls the photographing unit ( The controller 10 may recognize the user's finger region, set a focus region based on the recognized end point of the finger region, and perform autofocus on a subject within the set focus region.

"초점 영역 사용자 입력 모드"에서 1개의 손가락 영역이 인식되면, 제어부(20)는 하나의 손가락 영역의 끝점을 중심점으로 하는 원형, 사각형 영역을 초점 영역으로 설정한다.When one finger area is recognized in the "focus area user input mode", the control unit 20 sets a circular area and a rectangular area having the end point of one finger area as a focus area.

"초점 영역 사용자 입력 모드"에서 2개의 손가락 영역이 인식되면, 제어부(20)는 2개의 손가락 영역의 2개의 끝점을 잇는 선을 이용하여 초점 영역을 설정한다.When two finger areas are recognized in the "focus area user input mode", the controller 20 sets the focus area using a line connecting two end points of the two finger areas.

디스플레이부(30)는 제어부(20)에 의해 설정된 초점 영역에 초점이 맞춰진 영상 이미지를 표시하게 된다.The display unit 30 displays an image image focused on the focus area set by the controller 20.

도 2는 본 발명의 실시 예에 따른 제어부의 동작을 나타내는 도면이고, 도 3은 손가락 영역이 1개인 경우 제어부의 동작에 따라 디스플레이부에 표시되는 영상의 예시도이고, 도 4는 손가락 영역이 2개인 경우 제어부의 동작에 따라 디스플레이부에 표시되는 영상의 예시도이다.FIG. 2 is a diagram illustrating an operation of a controller according to an exemplary embodiment of the present disclosure. FIG. 3 is an exemplary diagram of an image displayed on a display unit according to an operation of the controller when one finger region is present. FIG. In the individual case, an example of an image displayed on the display unit according to the operation of the controller is shown.

도 2에 도시된 바와 같이, 촬영부(10)를 통해 피사체가 촬영되면(S201) 도 3a에 도시된 바와 같이 디스플레이부(30)는 프리뷰 영상 이미지를 표시한다.As illustrated in FIG. 2, when a subject is photographed through the photographing unit 10 (S201), as illustrated in FIG. 3A, the display unit 30 displays a preview image.

"초점 영역 사용자 입력 모드"가 선택되면(S202), 도 3b에 도시된 바와 같이제어부(20)는 상기 프리뷰 영상 이미지 중 손가락 영역(31)을 인식한다(S203).When the "focus area user input mode" is selected (S202), as illustrated in FIG. 3B, the controller 20 recognizes the finger area 31 of the preview image image (S203).

도 5는 본 발명의 실시 예에 따른 제어부가 손가락 영역을 인식하는 과정을나타내는 도면이다.5 is a diagram illustrating a process of recognizing a finger region by a controller according to an exemplary embodiment of the present invention.

도 5에 도시된 바와 같이, 제어부(20)는 촬영부(10)가 촬영한 프리뷰 영상 이미지를 채도 신호가 포함된 채도 영상 데이터로 변환한다(S501).As illustrated in FIG. 5, the control unit 20 converts the preview image image captured by the capturing unit 10 into chroma image data including chroma signals (S501).

채도 영상 데이터는 YCbCr 신호 중 색상 성분인 Cb, Cr를 의미한다.Saturation image data means color components Cb and Cr among YCbCr signals.

본 발명에서는 영상 이미지를 채도 영상 데이터로 변환한 것으로 기술하였으나, 영상 이미지를 RGB 영상 데이터로 변환한 후에 RGB 영상 데이터를 채도 영상 데이터로 변환할 수도 있다.In the present invention, the image image is converted into chroma image data, but after converting the image image to RGB image data, the RGB image data may be converted to chroma image data.

복수의 화소 각각의 채도 영상 데이터 중 지정된 특정 색역의 채도 범위에 포함되는 화소들을 검출한다(S502).The pixels included in the saturation range of the specific color gamut among the saturation image data of each of the plurality of pixels are detected (S502).

이때, 특정 색역은 피사체가 디스플레이부(30)에 표시되는 영상 중 특정 채도 범위 또는 특정 휘도 범위로서, 피부색, 머리색, 적색, 녹색, 청색 등 다양할 수 있다. 그러나, 본 발명에서는 손가락 영역을 계산하기 위해서 피부색을 특정 색역으로 설정한다. 아래에서는 설명의 편의상 특정 색역을 피부 색역으로 대표하여 설명한다.In this case, the specific color gamut is a specific saturation range or a specific luminance range among the images displayed on the display unit 30, and may vary from skin color, hair color, red, green, and blue. However, in the present invention, the skin color is set to a specific color gamut in order to calculate the finger region. In the following description, a specific color gamut is represented as a skin gamut for convenience of description.

도 6은 피부색의 분포를 2변수 정규 분포로 모델링한 그래프로서, X축은 Cb 색차 신호의 값이고 Y축은 Cr 색차 신호의 값이다.6 is a graph modeling the distribution of skin color as a two-variable normal distribution, where the X axis is the value of the Cb chrominance signal and the Y axis is the value of the Cr chrominance signal.

도 6의 피부 색역은 대한민국 사람들의 피부색을 통계적으로 조사하여 추출된 색역으로, 나라, 인종에 따라 피부 색역은 다르게 추출될 수 있다.The skin gamut of FIG. 6 is a color gamut extracted by statistically examining the skin color of Korean people, and the skin gamut may be extracted differently according to the country and race.

제어부(20)는 복수의 화소 각각의 채도 영상 데이터 중 특정 색역의 채도 범위에 포함되는 화소들을 손가락 영역(31)으로 추출한다(S503). 이때, 제어부(20)는 엣지를 고려하여 화소들을 복수의 손가락 영역으로 추출할 수 있다.
The controller 20 extracts the pixels included in the saturation range of the specific color gamut among the saturation image data of each of the plurality of pixels into the finger region 31 (S503). In this case, the controller 20 may extract the pixels into the plurality of finger regions in consideration of the edge.

다음으로, 인식한 손가락 영역의 개수가 1개일 경우(S204), 제어부(20)는 손가락 영역(31)을 도 3c에 도시된 바와 같이 세선화 하고(S205), 세선화된 선의 끝 부분을 손가락 영역(31)의 끝점(32)으로 검출한다(S206).Next, when the number of recognized finger regions is one (S204), the controller 20 thins the finger region 31 as shown in FIG. 3C (S205), and fingers the end portions of the thinned lines. The end point 32 of the area 31 is detected (S206).

제어부(20)는 손가락 영역(31)의 끝점(32)을 기준으로 초점 영역을 설정한다(S207).The controller 20 sets a focus area based on the end point 32 of the finger area 31 (S207).

도 3d에 도시된 바와 같이, 초점 영역은 끝점(32)을 중심점으로 반지름이 r인원형 영역일 수 있다.As shown in FIG. 3D, the focal region may be an r-circular region having a radius about the endpoint 32.

또한, 도 3e에 도시된 바와 같이, 초점 영역은 끝점(32)을 중심점으로 하는 사각형 영역일 수 있다.In addition, as illustrated in FIG. 3E, the focal region may be a rectangular region having the endpoint 32 as a center point.

인식한 손가락 영역의 개수가 2개일 경우(S204), 제어부(20)는 도 4a와 같이인식한 손가락 영역(41, 51)을 도 4b에 도시된 바와 같이 세선화 하고(S208), 세선화된 선의 끝 부분을 손가락 영역(41, 51)의 끝점(42, 52)으로 검출한다(S209).If the number of recognized finger regions is two (S204), the controller 20 thins the recognized finger regions 41 and 51 as shown in FIG. 4B (S208) and thinned. The end of the line is detected as the end points 42 and 52 of the finger regions 41 and 51 (S209).

제어부(20)는 손가락 영역(41, 51)의 끝점(42, 52)을 기준으로 초점 영역을 정한다(S210).The controller 20 determines a focus area based on the end points 42 and 52 of the finger areas 41 and 51 (S210).

도 4c에 도시된 바와 같이, 초점 영역은 끝점(42, 52)을 잇는 선을 대각선으로 하는 사각형 영역일 수 있다.As shown in FIG. 4C, the focal region may be a rectangular region diagonally formed with a line connecting the end points 42 and 52.

초점 영역은 끝점(42, 52)를 잇는 선을 지름으로 하는 원형 영역(도시하지 않음)일 수 있다.The focal region may be a circular region (not shown) having a diameter of a line connecting the end points 42 and 52.

이와 같이, 본 발명에서는 손가락 영역을 인식하여 손가락 영역의 끝점을 기준으로 초점 영역을 설정함으로써, 사용자가 원하는 초점 영역을 직접 설정하여 초점이 다양한 이미지를 촬영할 수 있다.As described above, in the present invention, the focus area is set based on the end point of the finger area by recognizing the finger area, so that the user can directly set a desired focus area to capture various focus images.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

10: 촬영부
20: 제어부
30: 디스플레이부10: filming unit
20: control unit
30: display unit

Claims

(a) acquiring a video image,
(b) selecting a focus area user input mode,
(c) recognizing a finger region,
(d) setting a focus area based on an end point of the finger area, and
(e) performing an auto focus on a subject in the focus area.

The method of claim 1,
In the step (c), the finger region is a series of pixels included in the saturation range of the skin color gamut.

The method of claim 1,
In step (d),
Thinning the finger region, and
And detecting an end portion of the thinned line as an end point of the finger region.

The method of claim 1,
In the step (d), the focus area is a circular area having a radius r from the end point of the finger area as a center point.

The method of claim 1,
In the step (d), the focus area is a rectangular area having the end point of the finger area as a center point auto focus area setting method of the camera module.

(a) acquiring a video image,
(b) selecting a focus area user input mode,
(c) recognizing two finger regions,
(d) setting a focus area using a line connecting two end points of the two finger areas, and
(e) performing an auto focus on a subject in the focus area.

The method of claim 6,
And the focus area is a circular area having a diameter of a line connecting the two end points.

The method of claim 6,
And the focus area is a rectangular area having a diagonal line between two end points.

The method of claim 6,
In the step (c), the finger region is a series of pixels included in the saturation range of the skin color gamut.

The method of claim 6,
In step (d),
Thinning the finger region, and
And detecting an end portion of the thinned line as an end point of the finger region.