KR20120052596A - Camera module and method for processing image thereof - Google Patents

Camera module and method for processing image thereof Download PDF

Info

Publication number
KR20120052596A
KR20120052596A KR1020100113830A KR20100113830A KR20120052596A KR 20120052596 A KR20120052596 A KR 20120052596A KR 1020100113830 A KR1020100113830 A KR 1020100113830A KR 20100113830 A KR20100113830 A KR 20100113830A KR 20120052596 A KR20120052596 A KR 20120052596A
Authority
KR
South Korea
Prior art keywords
frame
image
eyes
face
memory unit
Prior art date
Application number
KR1020100113830A
Other languages
Korean (ko)
Inventor
오상윤
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020100113830A priority Critical patent/KR20120052596A/en
Publication of KR20120052596A publication Critical patent/KR20120052596A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

PURPOSE: A camera module and image processing method thereof are provided to synchronize closed eyes images with opened eyes images by extracting the section of opened eyes images from other frames. CONSTITUTION: When a face section includes opened eyes images, an image signal processing unit(50) creates the corrected images. When one or more face sections include closed eyes images, the image signal processing unit extracts the section of opened eyes images from other frames. The image signal processing unit synchronizes the opened eyes images with the closed eyes images.

Description

카메라 모듈 및 그의 이미지 처리 방법{Camera module and method for processing image thereof}Camera module and method for processing image

본 발명은 카메라 모듈 및 그의 이미지 처리 방법에 관한 것이다.The present invention relates to a camera module and an image processing method thereof.

2명 이상의 여러 명이 단체로 사진을 촬영할 경우, 눈을 깜박여 사진으로 저장할 때 눈을 감은 것처럼 보이는 현상이 있다. 단체로 촬영할 때 주의를 집중시켜 시선이 모아지도록 하지만 생리적인 현상이고 순간적으로 발생하는 현상이라 완벽하게 없애기는 어렵다. When two or more people take a group photo, there may be a phenomenon in which the eyes look closed when the photo is blinked. When taking a group shot, attention is drawn to attract attention, but because it is a physiological phenomenon and a momentary phenomenon, it is difficult to completely eliminate it.

또한 반복 촬영을 통해 눈을 감는 현상을 최소화할 수 있겠지만 촬영하는 대상 인물이 많아질수록 눈을 감는 인물이 없는 사진을 얻기는 매우 어렵다.In addition, it is possible to minimize the phenomenon of closing eyes through repeated shooting, but as the number of people to be photographed increases, it is very difficult to obtain a picture without the eyes closed.

최근에는 bring detection이라는 감은 눈 방지 기능이 있으나, 이는 셔터를 누르는 순간이 아닌 셔터를 누르고 있는 동안에 눈을 감는 인물이 없을 때까지 대기하고 있다가 이미지를 캡쳐하는 방식이다. 이러한 방식은 대상 인물이 많을수록 찍는 순간이 지연된다는 문제점이 있다.Recently, there is a closed eye detection function called bring detection, but this is a method of capturing an image after waiting for no one to close the eyes while pressing the shutter, not at the moment of pressing the shutter. This method has a problem in that the more the target person is, the more the moment of recording is delayed.

본 발명은 촬영 시 대상 인물의 감은 눈을 방지할 수 있는 카메라 모듈 및 그의 이미지 처리 방법을 제공한다.The present invention provides a camera module and an image processing method thereof capable of preventing the closed eyes of the target person during shooting.

본 발명의 한 특징에 따르면, 광 에너지를 전기적인 신호로 변환하는 이미지 센서, 상기 이미지 센서에서 출력되는 영상 이미지를 프레임 단위로 저장하는 메모리부, 셔터가 눌러진 시점에서 상기 메모리부에 저장된 n번째 프레임을 읽어들여, n번째 프레임에 포함되는 복수의 얼굴 영역을 추출하고, 상기 복수의 얼굴 영역 각각의 눈이 뜬눈이면 상기 n번째 프레임을 최종 영상 이미지로 생성하고, 상기 n번째 프레임에 포함되는 복수의 얼굴 영역 중 적어도 하나 이상의 제1 얼굴 영역의 눈이 감은 눈으로 판단되면 다른 프레임에서 상기 제1 얼굴 영역의 뜬눈 부분을 추출하여 상기 n번째 프레임의 상기 감은 눈에 상기 뜬눈을 합성하여 상기 최종 영상 이미지를 생성하는 이미지 신호 처리부를 포함하는 카메라 모듈이 제공된다.According to an aspect of the present invention, an image sensor for converting light energy into an electrical signal, a memory unit for storing the image image output from the image sensor in units of frames, the n-th stored in the memory unit when the shutter is pressed A frame is read, and a plurality of face areas included in the n-th frame are extracted, and when the eyes of each of the plurality of face areas are opened, the n-th frame is generated as the final image image, and the plurality of the n-th frame is included. If it is determined that the eyes of at least one or more of the first face areas of the face area are closed, extracts the open eyes of the first face area from another frame, synthesizes the open eyes with the closed eyes of the n-th frame, and the final image. A camera module including an image signal processor for generating an image is provided.

본 발명의 다른 특징에 따르면, (a) 입사되는 광 에너지를 영상 이미지로 변환하여 메모리부에 프레임 단위로 저장하는 단계, (b) 셔터가 눌려졌다는 제어신호가 입력되면, 셔터가 눌러진 시점에 상기 메모리부에 저장된 n번째 프레임의 영상 이미지를 읽어들이는 단계, (c) 상기 n번째 프레임의 영상 이미지 중 얼굴 영역들을 추출하는 단계, (d) 상기 얼굴 영역들 중 제1 얼굴 영역의 눈이 감은 눈이면 상기 메모리부에서 다른 프레임을 읽어들이는 단계, (e) 상기 다른 프레임의 영상 이미지 중 상기 제1 얼굴 영역의 눈이 뜬눈인지 감은 눈인지를 판단하는 단계, (f) 상기 다른 프레임의 제1 얼굴 영역의 눈이 뜬눈이면, 상기 n번째 프레임의 제1 얼굴 영역의 감은 눈에 상기 다른 프레임의 제1 얼굴 영역의 뜬눈을 합성하여 최종 영상 이미지를 생성하는 단계를 포함하는 카메라 모듈의 이미지 처리 방법이 제공된다.According to another feature of the present invention, (a) converting the incident light energy into an image image and storing it in a frame unit in the memory unit, (b) when a control signal indicating that the shutter is depressed Reading an image image of the n-th frame stored in the memory unit, (c) extracting face regions from the image image of the n-th frame, (d) the eye of the first face region of the face regions Reading other frames from the memory unit if the eyes are closed; (e) determining whether the eyes of the first face region are open eyes or closed eyes of the video images of the other frames; If the eyes of the first face region are open eyes, synthesizing the eyes of the first face region of the other frame with the closed eyes of the nth frame to generate a final image image. The image processing method of the camera module, which also is provided.

본 발명의 실시 예에서는 셔터가 눌러진 순간의 n번째 프레임에서 감은 눈이 감지되면, 다른 프레임에서 뜬눈 영역을 추출하고 감은 눈에 뜬눈을 합성하여 최종 이미지를 생성함으로써, 감은 눈이 없는 인물 사진을 촬영할 수 있다.According to an embodiment of the present invention, when the closed eyes are detected in the nth frame of the moment when the shutter is pressed, the closed eyes are extracted from another frame, and the final eyes are synthesized by synthesizing the closed eyes to generate a portrait image without closed eyes. You can shoot.

도 1은 본 발명의 실시 예에 따른 카메라 모듈의 개략적인 구성도이다.
도 2는 본 발명의 실시 예에 따른 카메라 모듈의 이미지 처리 방법을 나타내는 도면이다.
도 3은 피부색의 분포를 2변수 정규 분포로 모델링한 그래프이다.
도 4는 본 발명의 실시 예에 따른 n번째 프레임 및 다른 프레임의 예시도이다.
도 5는 본 발명의 실시 예에 따른 최종 영상 이미지의 예시도이다.1 is a schematic configuration diagram of a camera module according to an embodiment of the present invention.
2 is a diagram illustrating an image processing method of a camera module according to an exemplary embodiment of the present invention.
3 is a graph modeling the distribution of skin color as a two-variable normal distribution.
4 is an exemplary view of an n-th frame and another frame according to an embodiment of the present invention.
5 is an exemplary view of a final video image according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. For example, without departing from the scope of the present invention, the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

이제 본 발명의 실시 예에 따른 카메라 모듈 및 그의 이미지 처리 방법에 대하여 도면을 참고하여 상세하게 설명하고, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기도 한다.Now, a camera module and an image processing method thereof according to an embodiment of the present invention will be described in detail with reference to the drawings, and the same or corresponding components are denoted by the same reference numerals regardless of the reference numerals, and duplicate description thereof It may be omitted.

도 1은 본 발명의 실시 예에 따른 카메라 모듈의 개략적인 구성도이다.1 is a schematic configuration diagram of a camera module according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 카메라 모듈은 셔터부(10), 렌즈부(20), 이미지 센서(30), 메모리부(40) 및 이미지 신호 처리부(50)를 포함한다.As shown in FIG. 1, the camera module of the present invention includes a shutter unit 10, a lens unit 20, an image sensor 30, a memory unit 40, and an image signal processing unit 50.

셔터부(10)는 사용자에 의해 조작 가능한 키로서, 사용자가 피사체를 촬영하고자 하는 시점에서 셔터부(10)를 누르면, 셔터부(10)는 셔터부(10)가 눌려졌다는 제어신호를 이미지 신호 처리부(50)로 출력한다.The shutter unit 10 is a key that can be operated by the user. When the user presses the shutter unit 10 at the time when the user wants to photograph the subject, the shutter unit 10 receives a control signal indicating that the shutter unit 10 has been pressed. Output to the processing unit 50.

렌즈부(20)는 적어도 하나 이상의 렌즈로 이루어져 있으며, 광 에너지를 입사하고 입사된 광 에너지를 집광시켜 이미지 센서(30)로 출력한다.The lens unit 20 includes at least one lens, and receives light energy and collects the light energy and outputs the light energy to the image sensor 30.

이미지 센서(30)는 렌즈부(20)를 통과하는 광 에너지를 전기적인 신호로 변환하여 메모리부(40)로 출력한다.The image sensor 30 converts light energy passing through the lens unit 20 into an electrical signal and outputs the electrical signal to the memory unit 40.

메모리부(40)는 프레임 버퍼 메모리로서, 이미지 센서(30)를 통해 입력되는 영상 이미지를 프레임 단위로 저장하며, 프레임과 프레임 사이의 시간 간격(t)은 초당 메모리부(40)에 저장되는 프레임의 개수에 의해 결정된다. 예를 들어, NTSC 방식에서 프레임의 개수는 초당 60개로, 시간 간격(t)는 1/60초가 된다.The memory unit 40 is a frame buffer memory, and stores an image image input through the image sensor 30 in units of frames, and a time interval t between frames is stored in the memory unit 40 per second. Determined by the number of. For example, in the NTSC scheme, the number of frames is 60 frames per second, and the time interval t is 1/60 seconds.

이미지 신호 처리부(50)는 셔터부(10)로부터 제어신호가 입력되면, 제어신호가 입력되는 시점에 메모리부(40)에 저장된 n번째 프레임의 영상 이미지를 읽어들여, n번째 프레임에서 복수의 얼굴 영역을 추출한다.When the control signal is input from the shutter unit 10, the image signal processing unit 50 reads an image image of the nth frame stored in the memory unit 40 at the time when the control signal is input, and then outputs a plurality of faces in the nth frame. Extract the area.

다음으로, 이미지 신호 처리부(50)는 복수의 얼굴 영역 각각에 대해 눈이 "뜬눈"인지 "감은 눈"인지를 판단하여, 복수의 얼굴 영역의 모든 눈이 뜬눈으로 판단되면 n번째 프레임의 영상 이미지를 최종 영상 이미지로 출력한다.Next, the image signal processing unit 50 determines whether the eyes are “open eyes” or “closed eyes” for each of the plurality of face areas, and if it is determined that all eyes of the plurality of face areas are open eyes, the image image of the n th frame Outputs the final video image.

그러나, 이미지 신호 처리부(50)는 복수의 얼굴 영역 중 어느 하나의 얼굴 영역이라도 눈이 감은 눈으로 판단되면, 다른 프레임의 영상 이미지에서 뜬눈 부분을 추출하고 n번째 프레임의 영상 이미지의 감은 눈 부분에 뜬눈 부분을 합성하여 최종 영상 이미지를 생성하고, 생성된 최종 영상 이미지를 출력한다.However, when the image signal processor 50 determines that any one of the plurality of face areas is the closed eyes, the image signal processor 50 extracts the open eye part from the video image of the other frame and the closed eye part of the video image of the nth frame. The final eye image is generated by synthesizing the eyeballs, and the generated final image image is output.

보다 구체적으로, 이미지 신호 처리부(50)는 복수의 얼굴 영역 중 어느 하나의 얼굴 영역이라도 눈이 감은 눈으로 판단되면, 메모리부(40)로부터 다른 프레임의 영상 이미지를 읽어들인다.More specifically, the image signal processing unit 50 reads an image of another frame from the memory unit 40 when it is determined that any one of the plurality of face areas is closed.

이때, 다른 프레임의 영상 이미지는 n-1번째 프레임의 영상 이미지일 수도 있고, n+1번째 프레임의 영상 이미지일 수도 있다.In this case, the video image of another frame may be a video image of the n-1th frame or may be a video image of the n + 1th frame.

이미지 신호 처리부(50)는 n번째 프레임에서 눈이 감은 눈이라고 판단되는 적어도 하나 이상의 제1 얼굴 영역에 대해 다른 프레임에서 제1 얼굴 영역의 눈이 뜬눈인지 감은 눈인지를 판단한다.The image signal processor 50 determines whether the eyes of the first face region are open eyes or closed eyes in another frame with respect to at least one or more first face regions determined to be eyes closed in the nth frame.

다른 프레임에서 제1 얼굴 영역의 눈이 뜬눈이라 판단되면, 이미지 신호 처리부(50)는 다른 프레임에서 제1 얼굴 영역의 뜬눈 부분을 추출한다.If it is determined that the eye of the first face region is open in another frame, the image signal processor 50 extracts the open eye portion of the first face region in another frame.

그리고, 이미지 신호 처리부(50)는 n번째 프레임의 제1 얼굴 영역의 감은 눈에 다른 프레임에서 추출한 뜬눈 부분을 합성하여 최종 영상 이미지를 생성하고, 생성된 최종 영상 이미지를 출력한다.In addition, the image signal processor 50 generates a final image image by synthesizing a portion of the first eye region of the nth frame, which is extracted from another frame, with the closed eye, and outputs the generated final image image.

이와 같이, 본 발명에서는 셔터가 눌러진 순간의 n번째 프레임에서 감은 눈이 감지되면, 다른 프레임에서 뜬눈 영역을 추출하고 감은 눈에 뜬눈을 합성하여 최종 이미지를 생성함으로써, 감은 눈이 없는 인물 사진을 촬영할 수 있다.As described above, in the present invention, when the closed eyes are detected in the nth frame of the moment when the shutter is pressed, the closed eyes are extracted from another frame, and the final eyes are synthesized by synthesizing the closed eyes. You can shoot.

도 2는 본 발명의 실시 예에 따른 카메라 모듈의 이미지 처리 방법을 나타내는 도면이다.2 is a diagram illustrating an image processing method of a camera module according to an exemplary embodiment of the present invention.

도 2에 도시된 바와 같이, 렌즈부(20)는 입사되는 광 에너지를 집광시켜 이미지 센서(30)로 출력하고(S201), 이미지 센서(30)는 광 에너지를 전기적인 신호로 변환하여 메모리부(40)로 출력한다(S202).As shown in FIG. 2, the lens unit 20 condenses the incident light energy and outputs the light energy to the image sensor 30 (S201), and the image sensor 30 converts the light energy into an electrical signal and stores the memory unit. Output to 40 (S202).

메모리부(40)는 프레임 버퍼 메모리로서, 이미지 센서(30)를 통해 입력되는 영상 이미지를 프레임 단위로 저장한다(S203).The memory unit 40 is a frame buffer memory and stores an image image input through the image sensor 30 in units of frames (S203).

이때, 프레임과 프레임 사이의 시간 간격(t)은 초당 메모리부(40)에 저장되는 프레임의 개수에 의해 결정된다.In this case, the time interval t between the frame and the frame is determined by the number of frames stored in the memory unit 40 per second.

셔터부(10)로부터 셔터가 눌러졌다는 제어신호가 입력되면(S204), 이미지 신호 처리부(50)는 셔터가 눌러진 시점에 메모리부(40)에 저장된 n번째 프레임의 영사 이미지를 읽어들인다(S205).When a control signal indicating that the shutter is pressed is input from the shutter unit 10 (S204), the image signal processing unit 50 reads the projected image of the nth frame stored in the memory unit 40 at the time when the shutter is pressed (S205). ).

다음으로, 이미지 신호 처리부(50)는 n번째 프레임의 영상 이미지에서 얼굴 영역을 추출한다(S206).Next, the image signal processor 50 extracts a face region from the video image of the nth frame (S206).

보다 구체적으로, 이미지 신호 처리부(50)는 n번째 프레임의 영상 이미지를 채도 영상 데이터로 변환하고, 채도 영상 데이터 중 특정 색역의 채도 범위에 포함되는 픽셀들의 에지를 추출하고, 에지 내에 포함되는 픽셀들을 얼굴 영역으로 추출한다. 2인 이상의 단체촬영에서 얼굴 영역은 복수의 개수이다.More specifically, the image signal processor 50 converts the image image of the n-th frame into chroma image data, extracts edges of pixels included in the chroma range of a specific color gamut among chroma image data, and extracts pixels included in the edge. Extract to face area. In group shots of two or more people, the face area is a plurality of numbers.

이때, 채도 영상 데이터는 YCbCr 신호 중 색상 성분인 Cb, Cr를 의미한다.In this case, the saturation image data means Cb and Cr which are color components of the YCbCr signal.

본 발명에서는 영상 이미지를 채도 영상 데이터로 변환한 것으로 기술하였으나, 영상 이미지를 RGB 영상 데이터로 변환한 후에 RGB 영상 데이터를 채도 영상 데이터로 변환할 수도 있다.In the present invention, the image image is converted into chroma image data, but after converting the image image to RGB image data, the RGB image data may be converted to chroma image data.

또한, 특정 색역은 특정 채도 범위 또는 특정 휘도 범위로서, 피부색, 머리색, 적색, 녹색, 청색 등 다양할 수 있다. 그러나, 본 발명에서는 얼굴 영역의 피부색을 특정 색역으로 설정한다. 아래에서는 설명의 편의상 특정 색역을 피부 색역으로 대표하여 설명한다.In addition, the specific color gamut is a specific saturation range or a specific luminance range, and may vary from skin color, hair color, red, green, blue, and the like. However, in the present invention, the skin color of the face area is set to a specific color gamut. In the following description, a specific color gamut is represented as a skin gamut for convenience of description.

도 3은 피부색의 분포를 2변수 정규 분포로 모델링한 그래프로서, X축은 Cb 색차 신호의 값이고 Y축은 Cr 색차 신호의 값이다.3 is a graph modeling the distribution of skin color as a two-variable normal distribution, where the X-axis is the value of the Cb chrominance signal and the Y-axis is the value of the Cr chrominance signal.

도 3의 피부 색역은 대한민국 사람들의 피부색을 통계적으로 조사하여 추출된 색역으로, 나라, 인종에 따라 피부 색역은 다르게 추출될 수 있다.The skin gamut of FIG. 3 is a color gamut extracted by statistically examining the skin color of Korean people, and the skin gamut may be extracted differently according to the country and race.

도 4는 본 발명의 실시 예에 따른 n번째 프레임 및 다른 프레임의 예시도이고, 도 5는 본 발명의 실시 예에 따른 최종 영상 이미지의 예시도이다.4 is an exemplary view of an n-th frame and another frame according to an embodiment of the present invention, and FIG. 5 is an exemplary view of a final image image according to an embodiment of the present invention.

다음으로, 이미지 신호 처리부(50)는 추출한 복수의 얼굴 영역 각각의 눈이 "뜬눈"인지 "감은 눈"인지를 판단한다(S207)Next, the image signal processing unit 50 determines whether the eyes of each of the extracted plurality of face areas are "open eyes" or "closed eyes" (S207).

복수의 얼굴 영역 각각의 눈이 뜬눈으로 판단되면(S207), 이미지 신호 처리부(50)는 n번째 프레임의 영상 이미지를 최종 영상 이미지로 출력한다(S208).If it is determined that each of the plurality of face areas is open eyes (S207), the image signal processor 50 outputs the video image of the nth frame as the final video image (S208).

그러나, 도 4에 도시된 바와 같이, 복수의 얼굴 영역 중 적어도 하나 이상의 얼굴 영역이 감은 눈으로 판단되면(S207), 이미지 신호 처리부(50)는 메모리부(40)로부터 다른 프레임을 읽어들인다(S209). However, as shown in FIG. 4, when it is determined that at least one or more face regions of the plurality of face regions are closed eyes (S207), the image signal processing unit 50 reads another frame from the memory unit 40 (S209). ).

도 4에 도시된 바와 같이, 다른 프레임은 n번째 프레임 이전에 메모리부(40)에 저장된 n-1번째 프레임일 수 있으며, n번째 프레임 이후에 메모리부(40)에 저장된 n+1번째 프레임일 수 있다.As shown in FIG. 4, another frame may be an n−1 th frame stored in the memory unit 40 before the n th frame, and an n + 1 th frame stored in the memory unit 40 after the n th frame. Can be.

아래에서는 설명의 편의상 n번째 프레임에서 감은 눈으로 판단된 얼굴 영역을 제1 얼굴 영역이라 한다. 제1 얼굴 영역은 복수 개수일 수 있다.Hereinafter, for convenience of explanation, the face area determined as the closed eyes in the nth frame is referred to as a first face area. The first face area may be a plurality.

이미지 신호 처리부(50)는 n번째 프레임의 제1 얼굴 영역에 대응되는 얼굴 영역을 다른 프레임에서 추출하고, 다른 프레임의 제1 얼굴 영역의 눈이 뜬눈인지를 판단한다(S210).The image signal processor 50 extracts a face region corresponding to the first face region of the nth frame from another frame, and determines whether the eyes of the first face region of the other frame are open eyes (S210).

다른 프레임의 제1 얼굴 영역의 눈이 뜬눈이면(S210), 이미지 신호 처리부(50)는 다른 프레임의 제1 얼굴 영역의 뜬눈을 n번째 프레임의 제1 얼굴 영역의 감은 눈에 합성하여 도 5에 도시된 바와 같은 최종 영상 이미지를 생성한다(S211).When the eyes of the first face region of another frame are opened (S210), the image signal processing unit 50 synthesizes the open eyes of the first face region of another frame to the closed eyes of the first face region of the nth frame to FIG. 5. A final video image as shown is generated (S211).

다른 프레임의 제1 얼굴 영역의 눈이 감은 눈이면(S210), 이미지 신호 처리부(50)는 상기 단계 S219~S211를 반복 수행하여 제1 얼굴 영역의 뜬눈을 추출하고, 제1 얼굴 영역의 뜬눈을 n번째 프레임의 제1 얼굴 영역의 감은 눈에 합성하여 최종 영상 이미지를 생성한다.If the eyes of the first face region of another frame are closed (S210), the image signal processing unit 50 repeats steps S219 to S211 to extract the open eyes of the first face region, and to open the open eyes of the first face region. The sense of the first facial region of the n th frame is synthesized by the eye to generate a final image image.

이와 같이, 본 발명에서는 셔터가 눌러진 순간의 n번째 프레임에서 감은 눈이 감지되면, 다른 프레임에서 뜬눈 영역을 추출하고 감은 눈에 뜬눈을 합성하여 최종 이미지를 생성함으로써, 감은 눈이 없는 인물 사진을 촬영할 수 있다As described above, in the present invention, when the closed eyes are detected in the nth frame of the moment when the shutter is pressed, the closed eyes are extracted from another frame, and the final eyes are synthesized by synthesizing the closed eyes. I can photograph it

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

10: 셔터부
20: 렌즈부
30: 이미지 센서
40: 메모리부
50: 이미지 신호 처리부10: shutter unit
20: lens unit
30: image sensor
40: memory section
50: image signal processing unit

Claims (11)

광 에너지를 전기적인 신호로 변환하는 이미지 센서,
상기 이미지 센서에서 출력되는 영상 이미지를 프레임 단위로 저장하는 메모리부, 및
셔터가 눌러진 시점에서 상기 메모리부에 저장된 n번째 프레임을 읽어들여, n번째 프레임에 포함되는 복수의 얼굴 영역을 추출하고, 상기 복수의 얼굴 영역 각각의 눈이 뜬눈이면 상기 n번째 프레임을 최종 영상 이미지로 생성하고, 상기 n번째 프레임에 포함되는 복수의 얼굴 영역 중 적어도 하나 이상의 제1 얼굴 영역의 눈이 감은 눈으로 판단되면 다른 프레임에서 상기 제1 얼굴 영역의 뜬눈 부분을 추출하여 상기 n번째 프레임의 상기 감은 눈에 상기 뜬눈을 합성하여 상기 최종 영상 이미지를 생성하는 이미지 신호 처리부를 포함하는 카메라 모듈.An image sensor that converts light energy into an electrical signal,
A memory unit for storing the image image output from the image sensor in units of frames, and
When the shutter is depressed, the n-th frame stored in the memory unit is read, and a plurality of face areas included in the n-th frame are extracted, and when the eyes of each of the plurality of face areas are open, the n-th frame is the final image. When the image is generated, and if it is determined that the eyes of at least one or more first face areas of the plurality of face areas included in the n-th frame are closed eyes, the open eye part of the first face area is extracted from another frame and the n-th frame is extracted. And an image signal processor configured to generate the final video image by synthesizing the open eyes with the closed eyes. 제1항에 있어서,
상기 다른 프레임은 상기 n번째 프레임을 기준으로 제1 시간 전에 상기 메모리부에 저장된 n-1번째 프레임인 카메라 모듈.The method of claim 1,
And the other frame is an n−1 th frame stored in the memory unit before a first time based on the n th frame. 제1항에 있어서,
상기 다른 프레임은 상기 n번째 프레임을 기준으로 제1 시간 후에 상기 메모리부에 저장된 n+1번째 프레임인 카메라 모듈.The method of claim 1,
And the other frame is an n + 1 th frame stored in the memory unit after a first time based on the n th frame. 제1항에 있어서,
상기 이미지 신호 처리부는,
상기 n번째 프레임의 영상 이미지를 채도 영상 데이터로 변환하고, 상기 채도 영상 데이터 중 특정 색역의 채도 범위에 포함되는 픽셀들의 에지를 추출하고, 상기 에지 내에 포함되는 픽셀들을 상기 얼굴 영역으로 추출하는 카메라 모듈.The method of claim 1,
The image signal processor,
The camera module converts the image image of the n-th frame into chroma image data, extracts edges of pixels included in a saturation range of a specific color gamut among the chroma image data, and extracts pixels included in the edge into the face region. . 제4항에 있어서,
상기 특정 색연은 피부 색역인 카메라 모듈.The method of claim 4, wherein
Wherein the specific color is a skin gamut. (a) 입사되는 광 에너지를 영상 이미지로 변환하여 메모리부에 프레임 단위로 저장하는 단계,
(b) 셔터가 눌려졌다는 제어신호가 입력되면, 셔터가 눌러진 시점에 상기 메모리부에 저장된 n번째 프레임의 영상 이미지를 읽어들이는 단계,
(c) 상기 n번째 프레임의 영상 이미지 중 얼굴 영역들을 추출하는 단계,
(d) 상기 얼굴 영역들 중 제1 얼굴 영역의 눈이 감은 눈이면 상기 메모리부에서 다른 프레임을 읽어들이는 단계,
(e) 상기 다른 프레임의 영상 이미지 중 상기 제1 얼굴 영역의 눈이 뜬눈인지 감은 눈인지를 판단하는 단계, 및
(f) 상기 다른 프레임의 제1 얼굴 영역의 눈이 뜬눈이면, 상기 n번째 프레임의 제1 얼굴 영역의 감은 눈에 상기 다른 프레임의 제1 얼굴 영역의 뜬눈을 합성하여 최종 영상 이미지를 생성하는 단계를 포함하는 카메라 모듈의 이미지 처리 방법.(a) converting the incident light energy into a video image and storing the light energy in a memory unit in a frame unit;
(b) reading a video image of the nth frame stored in the memory unit at the time when the shutter is pressed, when a control signal indicating that the shutter is pressed is input;
(c) extracting face regions of the video image of the nth frame;
(d) reading another frame from the memory unit if the eyes of the first face region of the face regions are closed;
(e) determining whether the eyes of the first face region are open eyes or closed eyes among the video images of the other frames; and
(f) if the eyes of the first face region of the other frame are open eyes, synthesizing the eyes of the first face region of the other frame with the closed eyes of the nth frame to generate a final image image; Image processing method of the camera module comprising a. 제6항에 있어서,
상기 (d) 단계 이전에,
상기 얼굴 영역들의 모든 눈이 뜬눈이면 상기 n번째 프레임의 영상 이미지를 상기 최종 영상 이미지로 생성하는 단계를 더 포함하는 카메라 모듈의 이미지 처리 방법.The method of claim 6,
Before step (d),
And generating an image image of the nth frame as the final image image when all eyes of the face regions are open eyes. 제6항에 있어서,
(g) 상기 다른 프레임의 제1 얼굴 영역의 눈이 감은 눈이면, 상기 메모리부로부터 또 다른 프레임을 읽어들이는 단계,
(h) 상기 또 다른 프레임의 제1 얼굴 영역의 눈이 뜬눈인지 감은 눈인지를 판단하는 단계,
(i) 상기 또 다른 프레임의 제1 얼굴 영역의 눈이 뜬눈이면, 상기 n번째 프레임의 제1 얼굴 영역의 감은 눈에 상기 또 다른 프레임의 제1 얼굴 영역의 뜬눈을 합성하여 상기 최종 영상 이미지를 생성하는 단계를 더 포함하는 카메라 모듈의 이미지 처리 방법.The method of claim 6,
(g) reading another frame from the memory unit if the eye of the first face region of the other frame is closed;
(h) determining whether the eyes of the first face region of the another frame are open eyes or closed eyes,
(i) If the eye of the first face region of the another frame is open eyes, the final image image is synthesized by combining the eyes of the first face region of the another frame with the closed eyes of the first face region of the nth frame. The image processing method of the camera module further comprising the step of generating. 제6항에 있어서,
상기 다른 프레임은 상기 n번째 프레임을 기준으로 제1 시간 전에 상기 메모리부에 저장된 n-1번째 프레임인 카메라 모듈의 이미지 처리 방법.The method of claim 6,
And the other frame is an n-1 th frame stored in the memory unit before a first time based on the n th frame. 제6항에 있어서,
상기 다른 프레임은 상기 n번째 프레임을 기준으로 제1 시간 후에 상기 메모리부에 저장된 n+1번째 프레임인 카메라 모듈의 이미지 처리 방법.The method of claim 6,
And the other frame is an n + 1 th frame stored in the memory unit after a first time based on the n th frame. 제6항에 있어서,
상기 (c)단계는,
상기 n번째 프레임의 영상 이미지를 채도 영상 데이터로 변환하는 단계,
상기 채도 영상 데이터 중 특정 색역의 채도 범위에 포함되는 픽셀들의 에지를 추출하는 단계, 및
상기 에지 내에 포함되는 픽셀들을 상기 얼굴 영역으로 추출하는 단계를 포함하는 카메라 모듈의 이미지 처리 방법.The method of claim 6,
The step (c)
Converting the video image of the nth frame into chroma video data;
Extracting edges of pixels included in a saturation range of a specific color gamut from the saturation image data; and
Extracting pixels included in the edge into the face region.
KR1020100113830A 2010-11-16 2010-11-16 Camera module and method for processing image thereof KR20120052596A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100113830A KR20120052596A (en) 2010-11-16 2010-11-16 Camera module and method for processing image thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100113830A KR20120052596A (en) 2010-11-16 2010-11-16 Camera module and method for processing image thereof

Publications (1)

Publication Number Publication Date
KR20120052596A true KR20120052596A (en) 2012-05-24

Family

ID=46269143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100113830A KR20120052596A (en) 2010-11-16 2010-11-16 Camera module and method for processing image thereof

Country Status (1)

Country Link
KR (1) KR20120052596A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174647A1 (en) * 2014-05-12 2015-11-19 김호 User authentication method, device for executing same, and recording medium for storing same
KR20180089022A (en) * 2017-01-31 2018-08-08 한국항공우주연구원 Optimized Compositing Technology Using the Plurality of Similar Images
KR20200116649A (en) * 2019-04-02 2020-10-13 경상대학교산학협력단 Simulated aviation Cockpit Procedure Training simulator system using Head Mounted Display based mixed reality technology

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174647A1 (en) * 2014-05-12 2015-11-19 김호 User authentication method, device for executing same, and recording medium for storing same
KR20180089022A (en) * 2017-01-31 2018-08-08 한국항공우주연구원 Optimized Compositing Technology Using the Plurality of Similar Images
KR20200116649A (en) * 2019-04-02 2020-10-13 경상대학교산학협력단 Simulated aviation Cockpit Procedure Training simulator system using Head Mounted Display based mixed reality technology

Similar Documents

Publication Publication Date Title
US20100123816A1 (en) Method and apparatus for generating a thumbnail of a moving picture
US10013609B2 (en) Image capturing apparatus and image processing method
JP5293206B2 (en) Image search apparatus, image search method and program
KR101710626B1 (en) Digital photographing apparatus and control method thereof
JP2012217102A (en) Image processing device and control method and program for the same
US20130222635A1 (en) Digital photographing apparatus and method of controlling the same
JP2019106045A (en) Image processing device, method, and program
JP6149854B2 (en) Imaging apparatus, imaging control method, and program
JP2010169954A (en) Display device and imaging apparatus
KR20120035042A (en) Digital photographing apparatus and method for controlling the same
US7428012B2 (en) Image processing method including generating face region information and a digital camera including face region identification unit
CN102547057A (en) Image processing apparatus and image processing method
JP2008022154A (en) Makeup support apparatus and method
KR20120052596A (en) Camera module and method for processing image thereof
JP2010273280A (en) Imaging apparatus
JP5044472B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2018045366A (en) Image processing device, image processing method and program
JP6450107B2 (en) Image processing apparatus, image processing method, program, and storage medium
JP2014049863A (en) Image processing device, control method therefor, control program, and imaging device
JP5530548B2 (en) Facial expression database registration method and facial expression database registration apparatus
JP2017147764A (en) Image processing apparatus, image processing method, and program
JP2014225763A (en) Imaging apparatus, control method of the same, program, and storage medium
JP2018093359A (en) Image processing apparatus, image processing method, and program
KR20100069501A (en) Image processing method and apparatus, and digital photographing apparatus using thereof
JP2014103644A (en) Imaging apparatus, image processing apparatus and color correcting method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application