KR20090120317A - 디지털 영상 처리기에서 장면 인식 장치 및 방법 - Google Patents

디지털 영상 처리기에서 장면 인식 장치 및 방법 Download PDF

Info

Publication number
KR20090120317A
KR20090120317A KR1020080046289A KR20080046289A KR20090120317A KR 20090120317 A KR20090120317 A KR 20090120317A KR 1020080046289 A KR1020080046289 A KR 1020080046289A KR 20080046289 A KR20080046289 A KR 20080046289A KR 20090120317 A KR20090120317 A KR 20090120317A
Authority
KR
South Korea
Prior art keywords
mode
live view
view image
face
image
Prior art date
Application number
KR1020080046289A
Other languages
English (en)
Other versions
KR101417818B1 (ko
Inventor
송원석
장순근
임현옥
Original Assignee
삼성디지털이미징 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디지털이미징 주식회사 filed Critical 삼성디지털이미징 주식회사
Priority to KR1020080046289A priority Critical patent/KR101417818B1/ko
Publication of KR20090120317A publication Critical patent/KR20090120317A/ko
Application granted granted Critical
Publication of KR101417818B1 publication Critical patent/KR101417818B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 디지털 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 얼굴 인식 기능을 이용하여 라이브뷰 영상의 장면을 빠르게 인식할 수 있는 디지털 영상 처리기에서 장면 인식 장치 및 방법에 관한 것이다. 디지털 영상 처리기에서 장면 인식 장치는 라이브뷰 영상으로부터 얼굴을 검출하여, 얼굴이 검출된 경우 상기 라이브뷰 영상을 야경모드, 역광모드, 인물모드로 순으로 분류하고, 얼굴이 검출되지 않은 경우 상기 라이브뷰 영상을 야경모드, 풍경모드, 매크로 모드 및 자동 노출 모드 순으로 분류하는 디지털 신호 처리수단을 포함한다.
Figure P1020080046289
얼굴 인식, 제1 장면 인식부(야경모드, 역광모드, 인물모드), 제2 장면 인식부(야경모드, 풍경모드, 매크로 모드, 자동 노출 모드)

Description

디지털 영상 처리기에서 장면 인식 장치 및 방법{Apparatus and method for recognizing scene mode in digital image processing device}
본 발명은 디지털 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 얼굴 인식 기능을 이용하여 라이브뷰 영상의 장면을 빠르게 인식할 수 있는 디지털 영상 처리기에서 장면 인식 장치 및 방법에 관한 것이다.
현재의 디지털 영상 처리기는 이를 잘 다루지 못하는 사용자를 위해 장면 모드(scene mode)를 설정하여 장면에 맞는 최적의 설정 세팅 조건을 사용자가 설정하도록 되어 있다. 그렇기 때문에 좀 더 좋은 영상을 획득하기 위해서는 많은 장면 모드가 필요한 것은 자명한 사실이다.
그러나 선택할 수 있는 장면이 많아질수록 디지털 영상 처리기에 대한 배경 지식이 적은 일반 사용자들은 오히려 선택하는 불편함을 호소하고 있으며, 급기야 자동 설정 모드에서 디지털 영상 처리기가 알아서 최적의 장면 모드를 인식하여 촬영해 주는 디지털 영상 처리기를 원하고 있다.
야경, 야경인물, 인물, 역광인물, 풍경, 매크로 등의 여러 가지 장면을 인식하기 위해서는 기본적으로 빠른 수행 시간이 요구된다. 그러나 라이브뷰 영상 마 다 매번 순차적으로 장면을 판단하게 된다면 빠른 인식 속도를 기대할 수 없을 뿐더러 스마트한 기능이 오히려 사용자에게 불편함으로 느껴질 수 있다.
본 발명이 이루고자 하는 기술적인 과제는 얼굴 인식 기능을 이용하여 라이브뷰 영상의 장면을 빠르게 인식할 수 있는 디지털 영상 처리기에서 장면 인식 장치 및 방법을 제공하는데 있다.
본 발명이 해결하고자 하는 기술적인 과제를 해결하기 위한 디지털 영상 처리기에서 장면 인식 장치는 디지털 영상 처리기로서, 라이브뷰 영상으로부터 얼굴을 검출하여, 얼굴이 검출된 경우 상기 라이브뷰 영상을 야경모드, 역광모드, 인물모드로 순으로 분류하고, 얼굴이 검출되지 않은 경우 상기 라이브뷰 영상을 야경모드, 풍경모드, 매크로 모드 및 자동 노출 모드 순으로 분류하는 디지털 신호 처리수단을 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 디지털 신호 처리수단은 디스플레이된 라이브뷰 영상으로부터 얼굴을 인식하는 얼굴인식부; 상기 얼굴인식부로부터 얼굴이 검출된 경우, 상기 라이브뷰 영상을 야경모드, 역광모드, 인물모드 순으로 분류하는 제1 장면 인식부; 및 상기 얼굴인식부로부터 얼굴이 검출되지 않은 경우, 상기 라이브뷰 영상을 야경모드, 풍경모드, 매크로 모드 및 자동 노출 모드 순으로 분류하는 제2 장면 인식부를 포함할 수 있다.
본 발명이 해결하고자 하는 기술적인 과제를 해결하기 위한 디지털 영상 처리기에서 장면 인식 방법은 디지털 영상 처리기의 동작 방법으로서, (a) 라이브뷰 영상으로부터 얼굴을 검출하는 단계; (b) 상기 얼굴이 검출된 경우 상기 라이브뷰 영상을 야경모드, 역광모드, 인물모드로 순으로 분류하는 단계; 및 (c) 상기 얼굴이 검출되지 않은 경우 상기 라이브뷰 영상을 야경모드, 풍경모드, 매크로 모드 및 자동 노출 모드 순으로 분류하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 (b)단계는 (b-1) 상기 라이브뷰 영상이 기 저장되어 있는 야경 영상들과 유사한 경우 상기 라이브뷰 영상을 야경모드로 분류하는 단계; (b-2) 상기 라이브뷰 영상이 기 저장되어 있는 상기 양경 영상들과 다른 경우 상기 라이브뷰 영상을 역광모드로 분류하는 단계; 및 (b-3) 상기 라이브뷰 영상이 적정 노출인 경우 상기 라이브뷰 영상을 인물모드로 분류하는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 (c)단계는 (c-1) 상기 라이브뷰 영상이 기 저장되어 있는 야경 영상들과 유사한 경우 상기 라이브뷰 영상을 야경모드로 분류하는 단계; (c-2) 상기 라이브뷰 영상이 기 저장되어 있는 상기 양경 영상들과 다른 경우 상기 라이브뷰 영상을 풍경모드로 분류하는 단계; (c-3) 상기 라이브뷰 영상의 포커스 피크 값이 매크로 영역 내에 있는 경우 상기 라이브뷰 영상을 매크로 모드로 분류하는 단계; 및 (c-4) 상기 라이브뷰 영상의 포커스 피크 값이 매크로 영역 밖에 있는 경우 상기 라이브뷰 영상을 자동 노출 모드로 분류하는 단계를 포함할 수 있다.
상술한 바와 같이 본 발명에 따르면, 얼굴 인식 기능을 이용하여 라이브뷰 영상의 장면을 빠르게 인식할 수 있게 된다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 1은 디지털 영상 처리기의 앞쪽 및 위쪽 외형을 보여주는 사시도 이다.
셔터-릴리즈 버튼(11)은 정해진 시간 동안 CCD나 필름을 빛에 노출시키기 위해 열리고 닫히며, 조리개(미도시)와 연동하여 피사체를 적정하게 노출시켜 CCD에 영상을 기록한다.
셔터-릴리즈 버튼(11)은 촬영자 입력에 의해 제1 및 제2 영상 촬영 신호를 생성한다. 반셔터 신호로써의 제1 셔터-릴리즈 버튼(11)이 입력되면, 디지털 영상 처리 장치는 초점을 잡고 빛의 양을 조절하며, 이때 초점이 맞은 경우 디스플레이부(25)에 녹색 불이 켜지게 된다. 제1 셔터-릴리즈 버튼(11)의 입력으로 초점이 잡히고 빛의 양이 조절되면, 비로소 완전셔터 신호로써의 제2 셔터-릴리즈 버튼(11)을 입력하여 영상을 촬영한다.
전원 버튼(13)은 디지털 영상 처리 장치에 전원을 공급하여 동작시키기 위해 입력된다.
플래시(15)는 어두운 곳에서 촬영할 경우 밝은 빛을 순간적으로 비추어 밝게 해주는 것으로 플래시 모드에는 자동플래시, 강제발광, 발광금지, 적목감소, 슬로우 싱크로 등이 있다.
보조광(17)은 광량이 부족하거나 야간 촬영 시에 디지털 영상 처리 장치가 자동으로 초점을 빠르고 정확하게 잡을 수 있도록 피사체에 광을 공급한다.
렌즈부(19)는 외부 광원으로부터 빛을 받아 영상을 처리한다.
도 2는 도 1에 도시된 디지털 영상 처리기의 뒤쪽 외형을 보여주는 배면도로 서, 광각-줌 버튼(21w), 망원-줌 버튼(21t), 디스플레이부(23) 및 터치센서 또는 접점식 스위치가 구비된 입력 버튼들(B1~B14)(이하 버튼들(B1~B14)이라 표기함)을 구비한다.
광각-줌 버튼(21w) 또는 망원-줌 버튼(21t)은 입력에 따라 화각이 넓어지거나, 화각이 좁아지는데, 특히, 선택된 노출영역의 크기를 변경시키고자 할 때 입력한다. 광각-줌 버튼(21w)이 입력되면, 선택된 노출영역의 크기가 작아지고, 망원-줌 버튼(21t)이 입력되면, 선택된 노출영역의 크기가 커진다.
버튼들(B1~B14)은 디스플레이부(23)의 가로 열 및 세로 열에 구비된다. 디스플레이부(23)의 가로 열 및 세로 열에 구비된 버튼들(B1~B14)은 터치 센서(도시되지 않음) 또는 접점식 스위치(도시되지 않음)가 구비되어 있다.
즉, 버튼들(B1~B14)에는 터치 센서가 구비되어 가로 열의 버튼들(B1~B7) 또는 세로 열의 버튼들(B8~B14)을 터치한 상태에서 상/하/좌/우로 이동하여 주 메뉴 항목 중 임의의 값(예를 들어, 컬러 또는 밝기)을 선택하거나, 주 메뉴 아이콘에 포함된 하위메뉴 아이콘을 활성화 시킬 수 있다.
또한 버튼들(B1~B14)에는 접점식 스위치가 구비되어 있어, 주 메뉴 아이콘 및 하위메뉴 아이콘을 직접 선택하여 해당 기능을 실행시킬 수 있다. 터치 센서는 접점식 스위치 입력에 비해 상대적으로 약한 터치만을 요구하지만, 접점식 스위치 입력은 터치 센서 입력에 비해 상대적으로 강한 터치를 요구한다.
도 3은 본 발명에 따른 디지털 영상 처리기에서 장면 인식 장치의 구성을 보이는 블록도로서, 디스플레이부(23), 사용자 입력부(31), 촬상부(33), 영상 처리 부(35), 저장부(37) 및 디지털 신호 처리부(39)를 포함한다.
사용자 입력부(31)는 정해진 시간 동안 CCD나 필름을 빛에 노출시키기 위해 열리고 닫히는 셔터-릴리즈 버튼(11), 전원을 공급하기 위해 입력하는 전원 버튼(13), 입력에 따라 화각을 넓어지게 하거나, 화각을 좁아지게 하는 광각-줌 버튼(21w) 및 망원-줌 버튼(21t)과, 문자 입력 또는 메뉴 선택 및 실행을 위해 디스플레이부(23) 주변의 가로 및 세로열에 구비된 터치센서 또는 접점식 스위치가 구비된 버튼들(B1~B14)이 있다.
촬상부(33)는 도면에 도시되지 않은 셔터, 렌즈부, 조리개 및 CCD(Charge Coupled Device) 및 ADC를 포함한다. 셔터는 조리개와 함께 노광하는 빛의 양을 조절하는 기구이다. 렌즈부는 외부 광원으로부터 빛을 받아 영상을 처리한다. 이 때, 조리개는 개폐 정도에 따라 입사되는 빛의 양(광량)을 조절한다. 조리개의 개폐 정도는 디지털 신호 처리부(39)에 의해 제어된다.
CCD는 렌즈부를 통하여 입력되는 광량을 축적하고 그 축적된 광량에 따라 렌즈부에서 촬상된 영상을 수직 동기신호에 맞추어 출력한다. 디지털 영상 처리 장치의 영상 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜 주는 CCD에 의해 이루어진다. CCD를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터를 필요로 하며, 대부분 CFA(Color filter array) 라는 필터(미도시)를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있으며, 배열 구조에 따라 여러 가지 형태를 가지고 있다. ADC는 CCD로부터 출력되는 아날로그 영상신호를 디지털 신호로 변환한다.
영상 처리부(35)는 디지털 변환된 RAW 데이터를 디스플레이 가능하도록 신호처리 한다. 영상 처리부(35)는 온도변화에 만감한 CCD 및 CFA 필터에서 발생하는 암 전류에 의한 블랙레벨(Black level)을 제거한다. 영상 처리부(35)는 인간 시각의 비선형성에 맞추어 정보를 부호화 하는 감마 보정을 수행한다. 영상 처리부(35)는 감마 보정된 소정 데이터의 RGRG라인 및 GBGB 라인으로 구현된 베이어 패턴을 RGB 라인으로 보간하는 CFA 보간을 수행한다. 영상 처리부(35)는 보간된 RGB 신호를 YUV 신호로 변환하고, 고 대역 필터에 의해 Y 신호를 필터링 하여 영상을 뚜렷하게 처리하는 에지 보상과, 표준 컬러 좌표계를 이용하여 U, V 신호의 컬러 값을 정정하는 컬러 정정을 수행하며, 이들의 노이즈를 제거한다. 영상 처리부(35)는 노이즈가 제거된 Y, U, V 신호를 압축 및 신호 처리하여 JPEG 파일을 생성하고, 생성된 JPEG 파일은 디스플레이부(23)에 디스플레이 되고, 저장부(37)에 저장된다. 이와 같은 영상 처리부(35)의 모든 동작은 디지털 신호 처리부(39)의 제어 하에 동작한다.
디지털 신호 처리부(39)는 라이브뷰 영상으로부터 얼굴을 검출하여, 얼굴이 검출된 경우 라이브뷰 영상을 야경모드, 역광모드, 인물모드로 순으로 분류하고, 얼굴이 검출되지 않은 경우 라이브뷰 영상을 야경모드, 풍경모드, 매크로 모드 및 자동 노출 모드 순으로 분류한다.
이를 위해 디지털 신호 처리부(39)는 얼굴 인식부(39-1), 제1 장면 인식부(39-2), 제2 장면 인식부(39-3) 및 제어부(39-4)를 포함한다.
본원발명에서는 효율적인 장면 인식을 위해 얻을 수 있는 장면을 7 가지로 분류하였으며, 이는 야경 인물 모드, 야경모드, 역광 인물 모드, 인물모드, 풍경모드, 매크로모드, 디폴트(자동 노출) 모드 이다.
본 발명에서는 디폴트 모드에서 특정 장면이 인식되면, 그 때의 노출시간, ISO, 조리개 등의 파라미터 값을 기존의 튜닝된 해당 모드에 대한 자동 노출 알고리즘 값으로 설정토록 한다. 이를 통해 화질 튜닝의 전문가 지식 기반 장면 인식 기술을 구현토록 한다.
얼굴 인식부(39-1)는 제어부(39-4)의 제어하에 임의의 라이브뷰 영상으로부터 적어도 하나 이상의 얼굴정보 즉, 얼굴의 크기, 위치 및 방향을 검출한다. 열굴 인식부(39-1)가 얼굴의 크기 검출 시에, 컬러를 기반으로 얼굴 영역을 검출하거나, 에지를 기반으로 얼굴 영역을 검출할 수 있고, 얼굴의 위치 검출 시에, 추출된 얼굴의 중심부와 미리 설정되어 있는 디스플레이부(23) 중심부 사이의 거리로 얼굴 위치를 계산할 수 있으며, 얼굴의 방향 검출 시에, 추출된 얼굴로부터 눈과 입으로 구성된 삼각형 형태로 얼굴 방향을 검출할 수 있다. 이와 같은 얼굴 인식부(39-1)의 얼굴정보 검출에 대한 내용은 이미 공지된 내용이 많으므로 상세한 설명은 생략한다.
영상을 촬영할 때 인물 영상이 대부분이기 때문에 얼굴 검출 정보를 장면 인식 정보로 가장 먼저 사용한다. 이 정보를 이용하여 도 4a 및 도 4c에 도시된 바와 같이 인물이 있는 경우, 야경모드, 역광모드, 인물모드 순으로 분류하고, 도 4b 및 도 4c에 도시된 바와 같이 인물이 없는 경우, 역광모드, 풍경모드, 매크로 모드, 자동 노출 모드로 분류한다.
만약 얼굴 검출이 소프트웨어로 모듈화 되어 있다고 하면, 매크로 모드를 제외하고 가장 동작 시간이 오래 걸리는 부분이 바로 얼굴 검출 부분이다. 따라서 얼굴 검출 정보를 이용한 장면 분류를 가장 상위 분류 조건으로 두었다.
제1 장면 인식부(39-2)는 제어부(39-4)가 수신한 얼굴 검출 정보를 바탕으로, 라이브뷰 영상으로부터 얼굴이 검출된 경우, 라이브뷰 영상을 야경모드, 역광모드, 인물모드 순으로 분류한다.
제1 장면 인식부(39-2)는 야경모드 분류 시에, 데이터베이스(미도시)에 저장되어 있는 많은 야경 영상을 라이브뷰 영상과 비교하여, 데이터베이스에 야경 모드에 해당하는 유사한 라이브뷰 영상이 존재하는 경우, 라이브뷰 영상을 야경 모드로 분류한다.
제1 장면 인식부(39-2)는 역광모드 분류 시에, 라이브뷰 영상이 야경모드가 아니라고 판단한 상태에서, 라이브뷰 영상으로부터 검출된 얼굴의 밝기와 검출된 얼굴을 제외한 배경 부분의 밝기의 차이를 비교하여, 검출된 얼굴 보다 배경 부분이 더 밝은 경우, 역광모드로 분류한다.
제1 장면 인식부(39-2)는 인물모드 분류 시에, 라이브뷰 영상이 야경모드가 아니고, 역광모드도 아닌 경우, 인물모드로 분류한다.
얼굴을 검출하게 되면, 검출된 얼굴에 자동 포커스와 자동 노출을 수행하게 되어 있으며, 야경이나 역광은 얼굴의 밝기가 어둡다는 특징이 있다. 따라서, 자동 노출 정보 중에 이를 표현할 수 있는 노출 시간을 이용하게 되면 야경이나 역광을 차례로 인식할 필요 없이 인물을 검출할 수 있게 된다.
가령, 얼굴 검출 시간이 200 msec가 걸리고, 야경이나 역광이 각각 50 msec가 걸린다고 하면 인물 검출 하에서 장면 인식 시간은 250 msec 안에 가능하게 된다.
제2 장면 인식부(39-3)는 제어부(39-4)가 수신한 얼굴 검출 정보를 바탕으로, 라이브뷰 영상으로부터 얼굴이 검출되지 경우, 라이브뷰 영상을 야경모드, 풍경모드, 매크로 모드, 자동 노출 모드 순으로 분류한다.
제2 장면 인식부(39-3)는 야경모드 분류 시에, 데이터베이스(미도시)에 저장되어 있는 많은 야경 영상을 라이브뷰 영상과 비교하여, 데이터베이스에 야경모드에 해당하는 유사한 라이브뷰 영상이 존재하는 경우, 라이브뷰 영상을 야경모드로 분류한다.
제2 장면 인식부(39-3)는 풍경모드 분류 시에, 라이브뷰 영상이 야경모드가 아니라고 판단한 상태에서, 라이브뷰 영상의 전체 밝기가 일정값(예를 들어 12 LV(light value)) 이상이면 풍경모드로 분류한다.
제2 장면 인식부(39-3)는 매크로 모드 분류 시에, 라이브뷰 영상이 야경모드가 아니고, 풍경모드도 아닌 상태에서, 포커스 피크 값이 매크로 영역 내에 위치한 경우, 라이브뷰 영상을 매크로 모드로 분류한다.
매크로 모드 인식은 포커스 모터를 이동하여 획득된 검파 데이터를 이용하여 포커스 피크 값이 매크로 영역 내에 있는지를 가지고 분류된다. 이는 VD 동기화에 맞춰 움직여야 하는 제약 때문에 동작 시간이 오래 걸리며, hill climb 방법을 사용하기 때문에 라이브뷰 영상의 울렁거림이 존재하는 문제점이 있다. 또한 매크로 모드 인식이 되고 나서 다른 장면 인식이 되었을 때에는 그 장면의 초점 거리에 맞게 포커스 모터를 옮겨 라이브뷰 영상에 보이는 영상의 sharpness를 높여주어야 한다.
동작이 가장 길고 포커스 모터의 움직임으로 인한 라이브뷰 영상의 변화가 있기 때문에 가장 마지막에 인식을 수행하도록 하여 효율을 높일 수 있도록 하였다. 또한 야경모드와 풍경모드는 모두 포커스가 far 부분에 주로 위치하기 때문에 장면 인식 후 제1 셔터-릴리즈 버튼(11) 입력 시에 포커스 모터의 움직임을 최소화 할 수 있게 하였다.
제2 장면 인식부(39-3)는 자동 노출 모드 분류 시에, 라이브뷰 영상이 야경모드가 아니고, 풍경모드도 아니고, 매크로 모드도 아닌 경우, 자동 노출 모드로 분류한다. 자동 노출 모드에서는 자동 노출을 통해 인식된 장면에 대한 최적의 밝기를 맞추도록 해준다.
이하, 도 5를 참조하여 본 발명에 따른 본 발명에 따른 디지털 영상 처리기에서 장면 인식 방법을 상세히 설명한다. 본 발명에 따른 디지털 영상 처리기에서 장면 인식 방법은 도 3에 도시된 바와 같은 디지털 영상 처리기의 내부에서 수행될 수 있는데, 실시 예에 따라 동작 방법의 주 알고리즘은 장치 내의 주변 구성 요소들의 도움을 받아 디지털 신호 처리부(39) 내부에서 수행될 수 있다.
디스플레이부(23)에 라이브뷰 영상이 디스플레이되면(501단계), 디지털 신호 처리부(39)는 라이브뷰 영상의 얼굴 인식을 통하여 얼굴 유/무를 검출한다(503, 505단계). 디지털 신호 처리부(39)는 라이브뷰 영상으로부터 적어도 하나 이상의 얼굴정보 즉, 얼굴의 크기, 위치 및 방향을 검출한다. 얼굴 검출에 관한 상세한 내용은 상기에 개시되어 있으므로 생략한다.
디지털 신호 처리부(39)의 얼굴 인식 결과 얼굴이 검출된 경우, 라이브뷰 영상이 적정 노출인지 판단하고(507단계), 적정 노출이 아닌 경우, 야경인지를 판단하여(509단계) 야경 모드로 분류 한다(511단계). 디지털 신호 처리부(39)는 적정 노출이 아닌 라이브뷰 영상에 대하여 야경모드 분류 시에, 데이터베이스(미도시)에 저장되어 있는 많은 야경 영상을 라이브뷰 영상과 비교하여, 데이터베이스에 야경 모드에 해당하는 유사한 라이브뷰 영상이 존재하는 경우, 라이브뷰 영상을 야경 모드로 분류한다.
디지털 신호 처리부(39)는 라이브뷰 영상이 적정 노출이 아닌 상태에서 야경모드가 아니라고 판단한 경우, 라이브뷰 영상을 역광모드로 분류 한다(513단계). 디지털 신호 처리부(39)는 적정 노출이 아닌 라이브뷰 영상으로부터 검출된 얼굴의 밝기와 검출된 얼굴을 제외한 배경 부분의 밝기의 차이를 비교하여, 검출된 얼굴 보다 배경 부분이 더 밝은 경우, 역광모드로 분류한다.
얼굴을 검출하게 되면, 검출된 얼굴에 자동 포커스와 자동 노출을 수행하게 되어 있으며, 야경이나 역광은 얼굴의 밝기가 어둡다는 특징이 있다. 따라서, 자동 노출 정보 중에 이를 표현할 수 있는 노출 시간을 이용하게 되면 야경이나 역광을 차례로 인식할 필요 없이 인물을 검출할 수 있게 된다.
가령, 얼굴 검출 시간이 200 msec가 걸리고, 야경이나 역광이 각각 50 msec가 걸린다고 하면 인물 검출 하에서 장면 인식 시간은 250 msec 안에 가능하게 된 다.
이어서, 디지털 신호 처리부(39)는 라이브뷰 영상이 적정 노출 상태인 경우, 라이브뷰 영상을 인물모드로 분류한다(515단계). 디지털 신호 처리부(39)는 인물모드 분류 시에, 라이브뷰 영상이 야경모드가 아니고, 역광모드도 아닌 상태에서 적정 노출인 경우, 인물모드로 분류한다.
디지털 신호 처리부(39)의 얼굴 인식 결과 얼굴이 검출되지 않은 경우, 라이브뷰 영상이 야경인지를 판단하여(517단계) 야경 모드로 분류 한다(519단계). 디지털 신호 처리부(39)는 야경모드 분류 시에, 데이터베이스(미도시)에 저장되어 있는 많은 야경 영상을 라이브뷰 영상과 비교하여, 데이터베이스에 야경모드에 해당하는 유사한 라이브뷰 영상이 존재하는 경우, 라이브뷰 영상을 야경모드로 분류한다.
디지털 신호 처리부(39)는 라이브뷰 영상이 야경모드가 아니라고 판단한 상태에서, 라이브뷰 영상의 전체 밝기가 12 LV(light value)) 이상인지 판단하면(521단계), 라이브뷰 영상을 풍경모드로 분류한다(523단계).
디지털 신호 처리부(39)는 라이브뷰 영상의 전체 밝기가 12 LV(light value)) 이하이고, 포커스 피크 값이 매크로 영역 내에 위치한 경우(525단계), 라이브뷰 영상을 매크로 모드로 분류한다(527단계). 매크로 모드 인식은 포커스 모터를 이동하여 획득된 검파 데이터를 이용하여 포커스 피크 값이 매크로 영역 내에 있는지를 가지고 분류된다. 이는 VD 동기화에 맞춰 움직여야 하는 제약 때문에 동작 시간이 오래 걸리며, hill climb 방법을 사용하기 때문에 라이브뷰 영상의 울렁 거림이 존재하는 문제점이 있다. 또한 매크로 모드 인식이 되고 나서 다른 장면 인식이 되었을 때에는 그 장면의 초점 거리에 맞게 포커스 모터를 옮겨 라이브뷰 영상에 보이는 영상의 sharpness를 높여주어야 한다. 동작이 가장 길고 포커스 모터의 움직임으로 인한 라이브뷰 영상의 변화가 있기 때문에 가장 마지막에 인식을 수행하도록 하여 효율을 높일 수 있도록 하였다. 또한 야경모드와 풍경모드는 모두 포커스가 far 부분에 주로 위치하기 때문에 장면 인식 후 제1 셔터-릴리즈 버튼(11) 입력 시에 포커스 모터의 움직임을 최소화 할 수 있게 하였다.
디지털 신호 처리부(39)는 라이브뷰 영상의 포커스 피크 값이 매크로 영역 내에 위치하지 않는 경우, 라이브뷰 영상을 자동 노출 모드로 분류한다(529단계). 디지털 신호 처리부(39)는 라이브뷰 영상이 야경모드가 아니고, 풍경모드도 아니고, 매크로 모드도 아닌 경우, 자동 노출 모드로 분류한다. 자동 노출 모드에서는 자동 노출을 통해 인식된 장면에 대한 최적의 밝기를 맞추도록 해준다.
도 1은 디지털 영상 처리기의 앞쪽 및 위쪽 외형을 보여주는 사시도 이다.
도 2는 도 1에 도시된 디지털 영상 처리기의 뒤쪽 외형을 보여주는 배면도 이다.
도 3은 본 발명에 따른 디지털 영상 처리기에서 장면 인식 장치의 구성을 보이는 블록도 이다.
도 4는 도 3의 장치에서 장면 인식을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 디지털 영상 처리기에서 장면 인식 방법의 동작을 보이는 흐름도 이다.

Claims (5)

  1. 디지털 영상 처리기로서,
    라이브뷰 영상으로부터 얼굴을 검출하여, 얼굴이 검출된 경우 상기 라이브뷰 영상을 야경모드, 역광모드, 인물모드로 순으로 분류하고, 얼굴이 검출되지 않은 경우 상기 라이브뷰 영상을 야경모드, 풍경모드, 매크로 모드 및 자동 노출 모드 순으로 분류하는 디지털 신호 처리수단을 포함하는 장면 인식 장치.
  2. 제 1항에 있어서, 상기 디지털 신호 처리수단은
    디스플레이된 라이브뷰 영상으로부터 얼굴을 인식하는 얼굴인식부;
    상기 얼굴인식부로부터 얼굴이 검출된 경우, 상기 라이브뷰 영상을 야경모드, 역광모드, 인물모드 순으로 분류하는 제1 장면 인식부; 및
    상기 얼굴인식부로부터 얼굴이 검출되지 않은 경우, 상기 라이브뷰 영상을 야경모드, 풍경모드, 매크로 모드 및 자동 노출 모드 순으로 분류하는 제2 장면 인식부를 포함하는 것을 특징으로 하는 장면 인식 장치.
  3. 디지털 영상 처리기의 동작 방법으로서,
    (a) 라이브뷰 영상으로부터 얼굴을 검출하는 단계;
    (b) 상기 얼굴이 검출된 경우 상기 라이브뷰 영상을 야경모드, 역광모드, 인물모드로 순으로 분류하는 단계; 및
    (c) 상기 얼굴이 검출되지 않은 경우 상기 라이브뷰 영상을 야경모드, 풍경모드, 매크로 모드 및 자동 노출 모드 순으로 분류하는 단계를 포함하는 장면 인식 방법.
  4. 제 3항에 있어서, 상기 (b)단계는
    (b-1) 상기 라이브뷰 영상이 기 저장되어 있는 야경 영상들과 유사한 경우 상기 라이브뷰 영상을 야경모드로 분류하는 단계;
    (b-2) 상기 라이브뷰 영상이 기 저장되어 있는 상기 양경 영상들과 다른 경우 상기 라이브뷰 영상을 역광모드로 분류하는 단계; 및
    (b-3) 상기 라이브뷰 영상이 적정 노출인 경우 상기 라이브뷰 영상을 인물모드로 분류하는 단계를 포함하는 것을 특징으로 하는 장면 인식 방법.
  5. 제 3항에 있어서, 상기 (c)단계는
    (c-1) 상기 라이브뷰 영상이 기 저장되어 있는 야경 영상들과 유사한 경우 상기 라이브뷰 영상을 야경모드로 분류하는 단계;
    (c-2) 상기 라이브뷰 영상이 기 저장되어 있는 상기 양경 영상들과 다른 경우 상기 라이브뷰 영상을 풍경모드로 분류하는 단계;
    (c-3) 상기 라이브뷰 영상의 포커스 피크 값이 매크로 영역 내에 있는 경우 상기 라이브뷰 영상을 매크로 모드로 분류하는 단계; 및
    (c-4) 상기 라이브뷰 영상의 포커스 피크 값이 매크로 영역 밖에 있는 경우 상기 라이브뷰 영상을 자동 노출 모드로 분류하는 단계를 포함하는 것을 특징으로 하는 장면 인식 방법.
KR1020080046289A 2008-05-19 2008-05-19 디지털 영상 처리기에서 장면 인식 장치 및 방법 KR101417818B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080046289A KR101417818B1 (ko) 2008-05-19 2008-05-19 디지털 영상 처리기에서 장면 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080046289A KR101417818B1 (ko) 2008-05-19 2008-05-19 디지털 영상 처리기에서 장면 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090120317A true KR20090120317A (ko) 2009-11-24
KR101417818B1 KR101417818B1 (ko) 2014-07-09

Family

ID=41603665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080046289A KR101417818B1 (ko) 2008-05-19 2008-05-19 디지털 영상 처리기에서 장면 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101417818B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215750A (ja) 2004-01-27 2005-08-11 Canon Inc 顔検知装置および顔検知方法
JP4534750B2 (ja) 2004-12-21 2010-09-01 株式会社ニコン 画像処理装置および画像処理プログラム
JP4730553B2 (ja) * 2006-07-25 2011-07-20 富士フイルム株式会社 撮影装置及び露出制御方法

Also Published As

Publication number Publication date
KR101417818B1 (ko) 2014-07-09

Similar Documents

Publication Publication Date Title
US8441542B2 (en) Self-timer photographing apparatus and method involving checking the number of persons
KR20090067910A (ko) 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
KR20090086754A (ko) 디지털 영상 처리 장치 및 그 제어 방법
KR20090085261A (ko) 디지털 영상 처리 장치 및 그 제어 방법
KR20100001272A (ko) 셀프 촬영 안내 기능을 구비한 디지털 영상 처리 장치 및그 동작 방법
KR20090052677A (ko) 포커스 조정 장치 및 방법
KR20100042916A (ko) 디지털 영상 처리기에서 얼굴 영상 개선 장치 및 방법
KR20090067915A (ko) 구도 추천에 의한 영상 촬영 장치 및 방법
KR101613617B1 (ko) 디지털 영상 촬영 장치 및 그 제어 방법
KR20100003918A (ko) 사용자 식별이 가능한 디지털 영상 촬영 장치 및 방법
KR20090067913A (ko) 영상 트리밍 장치 및 방법
KR101421939B1 (ko) 얼굴인식 기능을 이용한 디지털 영상 처리 장치 및 방법
KR101396335B1 (ko) 얼굴 인식 장치 및 방법
KR101427651B1 (ko) 디지털 영상 처리 장치에서 얼굴인식 처리속도 조정 장치및 방법
KR101417807B1 (ko) 디지털 영상 처리 장치에서 얼굴인식에 따른 포커스조정장치 및 방법
KR101417818B1 (ko) 디지털 영상 처리기에서 장면 인식 장치 및 방법
KR20090113075A (ko) 디지털 영상 처리 장치 및 그 제어 방법
KR101417812B1 (ko) 디지털 영상 처리 장치 및 그 제어 방법
KR101417811B1 (ko) 디지털 영상 처리기에서 얼굴인식을 통한 줌-인 장치 및방법
KR20090105374A (ko) 디지털 영상 처리기에서 썸네일 영상 생성 장치 및 방법
KR101427656B1 (ko) 디지털 영상 처리기에서 인물 촬영 장치 및 방법
KR101446941B1 (ko) 고속 촬영 시에 영상을 저장하는 장치 및 방법
KR20090026938A (ko) 디지털 영상 처리기에서 영상 비교 장치 및 방법
KR20100001271A (ko) 디지털 영상 처리기에서 영상 저장 장치 및 방법
KR20090104429A (ko) 디지털 영상 처리기에서 얼굴인식을 이용한 촬영구도 제공장치 및 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 5