KR20120007959A - 카메라 내에서의 형상 검출 방법 - Google Patents

카메라 내에서의 형상 검출 방법 Download PDF

Info

Publication number
KR20120007959A
KR20120007959A KR1020110059649A KR20110059649A KR20120007959A KR 20120007959 A KR20120007959 A KR 20120007959A KR 1020110059649 A KR1020110059649 A KR 1020110059649A KR 20110059649 A KR20110059649 A KR 20110059649A KR 20120007959 A KR20120007959 A KR 20120007959A
Authority
KR
South Korea
Prior art keywords
gray level
difference value
region
local
value
Prior art date
Application number
KR1020110059649A
Other languages
English (en)
Other versions
KR101665392B1 (ko
Inventor
전승선
김대진
전봉진
윤종민
Original Assignee
삼성테크윈 주식회사
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 포항공과대학교 산학협력단 filed Critical 삼성테크윈 주식회사
Priority to CN201110210133.8A priority Critical patent/CN102339466B/zh
Priority to US13/183,726 priority patent/US8588530B2/en
Publication of KR20120007959A publication Critical patent/KR20120007959A/ko
Application granted granted Critical
Publication of KR101665392B1 publication Critical patent/KR101665392B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 카메라 내에서 입력 영상 데이터를 처리하여 특정 형상의 영역을 검출하는 형상 검출 방법으로서, 단계들 (a) 내지 (c)를 포함한다. 단계 (a)에서는, 영상 프레임의 국부 영역들 각각에 대하여, 중심 화소의 계조와 주변 화소들 각각의 계조와의 계조 차이 값들이 계산된다. 단계 (b)에서는, 국부 영역들 각각에 대하여, 계조 차이 값들의 평균 값과 계조 차이 값들 각각이 비교되어 비교 결과에 따라 국부 경사 패턴의 값이 구해진다. 단계 (c)에서는, 국부 영역들 각각으로부터 얻어진 국부 경사 패턴의 값들이 사용되어 영상 프레임에서의 특정 형상의 영역이 검출된다.

Description

카메라 내에서의 형상 검출 방법{Shape detection method in camera}
본 발명은, 카메라 내에서의 형상 검출 방법에 관한 것으로서, 보다 상세하게는, 카메라 내에서 입력 영상 데이터를 처리하여 특정 형상의 영역을 검출하는 형상 검출 방법에 관한 것이다.
카메라 예를 들어, 감시 카메라 또는 디지털 카메라 내에서는 입력 영상 데이터를 처리하여 특정 형상의 영역 예를 들어, 사람의 얼굴 영역 또는 차량의 번호판의 영역 등을 검출하는 기능을 가진다. 이와 같은 기능은 다양하게 이용된다.
예를 들어, 디지털 카메라는 검출된 얼굴 영역의 피부색 톤(tone)을 보정해주거나 잡티 등을 제거해준다. 또한, 검출된 얼굴 영역의 각도를 측정하여 얼굴이 카메라 정면을 향할 때에만 촬영 즉, 영상을 포착하가나, 자동 포커싱을 수행할 수 있다.
감시 카메라의 경우, 얼굴 영역을 검출하여 사람이 등장한 경우에만 감시 기능을 수행하거나 이동 궤적을 추적할 수 있으므로, 불필요한 계산량과 저장 공간이 줄어들 수 있다.
감시 카메라가 현금 자동 입출금기(ATM : Automated Teller Machine)를 감시할 경우, 현금 인출 시에 얼굴을 판별하여, 얼굴이 위장된 상태에서는 현금을 인출할 수 없도록 제어하고, 정상적인 얼굴인 경우에만 인출이 가능하게 할 수 있다.
한편, 예를 들어, 감시 카메라에 의하여 차량의 번호판의 영역을 정확하게 검출함으로써, 법규 위반 차량 등을 파악하는 데에 많은 도움을 줄 수 있다.
도 1은 통상적인 카메라 내에서 특정 형상의 영역을 검출하는 데에 사용되는 국부 이진 패턴(LBP : Local Binary Pattern)의 형성 방법을 보여준다. 도 1에서 참조 부호 11은 국부 영역을, 12는 국부 이진 패턴(LBP)의 이진 값을, 그리고 13은 국부 이진 패턴(LBP)의 십진 값을 각각 가리킨다.
도 1을 참조하면, 입력 영상 프레임에서의 국부 영역들 각각(11)은 3 화소들이 일 변을 이루는 정사각형으로서 9 화소들을 갖는다. 국부 영역들 각각(11)에서 국부 이진 패턴(LBP : Local Binary Pattern)의 값을 구하는 방법을 상세히 설명하면 다음과 같다.
좌상단 화소의 계조(70)가 중심 화소의 계조(60)보다 크므로 제1 비트(비트 번호 0, LSB : Least Significant Bit))의 이진 데이터는 "1"이다.
중상단 화소의 계조(20)가 중심 화소의 계조(60)보다 적으므로 제2 비트(비트 번호 1)의 이진 데이터는 "0"이다. 이와 마찬가지로, 우상단 화소의 계조(20)가 중심 화소의 계조(60)보다 적으므로 제3 비트(비트 번호 2)의 이진 데이터는 "0"이다.
우중단 화소의 계조(120)가 중심 화소의 계조(60)보다 크므로 제4 비트(비트 번호 3)의 이진 데이터는 "1"이다. 이와 마찬가지로, 우하단 화소의 계조(120)가 중심 화소의 계조(60)보다 크므로 제5 비트(비트 번호 4)의 이진 데이터는 "1"이다.
중하단 화소의 계조(20)가 중심 화소의 계조(60)보다 적으므로 제6 비트(비트 번호 5)의 이진 데이터는 "0"이다. 좌하단 화소의 계조(20)가 중심 화소의 계조(60)보다 적으므로 제7 비트(비트 번호 6)의 이진 데이터는 "0"이다. 이와 마찬가지로, 좌중단 화소의 계조(50)가 중심 화소의 계조(60)보다 적으므로 제8 비트(비트 번호 7)의 이진 데이터는 "0"이다.
상기와 같은 국부 이진 패턴(LBP)의 형성 방법은 아래의 수학식 1로 표현될 수 있다.
Figure pat00001
상기 수학식 1에서,
Figure pat00002
는 국부 영역들 각각(11)의 중심 좌표를,
Figure pat00003
는 중심 화소의 계조를, 그리고
Figure pat00004
은 중심 화소의 인접 화소들의 계조들 각각을 가리킨다. 함수
Figure pat00005
에서
Figure pat00006
가 영(0) 이상이면 "1"로 되고, 그렇지 않으면 "0"으로 된다.
상기와 같이 카메라에서 국부 이진 패턴(LBP)을 사용하여 특정 형상의 영역을 검출할 경우, 계조 패턴을 직접 사용하지 않음에 따라 조명 변화에 강인한 특성을 가질 수 있다.
하지만, 특정 형상의 경계 영역에서 인접 화소들 사이의 계조 차이가 예외적으로 클 경우, 국부 이진 패턴(LBP)의 값들 역시 예외적으로 커질 수 있음에 따라, 제한된 학습 결과 데이터의 환경 하에서 특정 형상의 영역을 검출하지 못하는 문제점이 대두되고 있다.
예를 들어, 촬영 대상의 사람이 밝은 조도에서 매우 진한 안경을 쓴 경우, 또는 어두운 조도에서 매우 밝은 화장을 한 경우에 얼굴 영역을 검출하지 못하는 문제점이 대두되고 있다.
이와 마찬가지로, 매우 밝은 낮에 차량의 번호판이 매우 어두운 배경 색일 경우, 또는 매우 어두운 밤에 차량의 번호판이 매우 밝은 배경 색일 경우에 차량의 번호판의 영역을 검출하지 못하는 문제점이 대두되고 있다.
본 발명의 목적은, 카메라 내에서의 형상 검출 방법에 있어서, 조명 변화에 강인한 특성을 가지면서, 특정 형상의 경계 영역에서 인접 화소들 사이의 계조 차이가 예외적으로 클 경우에도 특정 형상의 영역을 검출할 수 있는 방법을 제공하는 것이다.
본 발명은, 카메라 내에서 입력 영상 데이터를 처리하여 특정 형상의 영역을 검출하는 형상 검출 방법에 있어서, 단계들 (a) 내지 (c)를 포함한다.
상기 단계 (a)에서는, 영상 프레임의 국부 영역들 각각에 대하여, 중심 화소의 계조와 주변 화소들 각각의 계조와의 계조 차이 값들이 계산된다.
상기 단계 (b)에서는, 상기 국부 영역들 각각에 대하여, 상기 계조 차이 값들의 평균 값과 상기 계조 차이 값들 각각이 비교되어 비교 결과에 따라 국부 경사 패턴의 값이 구해진다.
상기 단계 (c)에서는, 상기 국부 영역들 각각으로부터 얻어진 국부 경사 패턴의 값들이 사용되어 상기 영상 프레임에서의 상기 특정 형상의 영역이 검출된다.
본 발명의 상기 얼굴영역 검출 방법에 의하면, 본 발명에 의하여 새롭게 명명된 상기 국부 경사 패턴(LGP : Local Gradient Pattern)의 값들이 사용되어 상기 영상 프레임에서 특정 형상의 영역이 검출된다. 따라서, 계조 패턴을 직접 사용하지 않고 질감(texture) 패턴을 사용함에 따라 조명 변화에 강인한 특성을 가질 수 있다.
또한, 상기 국부 경사 패턴(LGP)의 값들 각각은 국부 영역 내에서의 계조 차이의 경사 정보를 내포한다. 즉, 평균 계조 차이에 대한 각각의 계조 차이의 정보를 내포한다.
따라서, 특정 형상의 경계 영역에서 인접 화소들 사이의 계조 차이가 예외적으로 커지더라도, 국부 경사 패턴(LGP)의 값들은 커지지 않으므로, 제한된 학습 결과 데이터의 환경 하에서 특정 형상의 영역을 검출하지 못하는 문제점이 해소될 수 있다.
예를 들어, 촬영 대상의 사람이 밝은 조도에서 매우 진한 안경을 쓴 경우, 또는 어두운 조도에서 매우 밝은 화장을 한 경우에 얼굴 영역을 검출하지 못하는 문제점이 해소될 수 있다.
이와 마찬가지로, 매우 밝은 낮에 차량의 번호판이 매우 어두운 배경 색일 경우, 또는 매우 어두운 밤에 차량의 번호판이 매우 밝은 배경 색일 경우에 차량의 번호판의 영역을 검출하지 못하는 문제점이 해소될 수 있다.
도 1은 통상적인 카메라 내에서 특정 형상의 영역을 검출하는 데에 사용되는 국부 이진 패턴(LBP : Local Binary Pattern)의 형성 방법을 보여주는 도면이다.
도 2는 본 발명의 일 실시예의 형상 검출 방법을 사용하는 감시 카메라의 내부 구성을 보여주는 블록도이다.
도 3은 도 2의 주 제어부로서의 디지털 신호 처리기에 의하여 수행되는 형상 검출 방법의 흐름도이다.
도 4는 도 3의 단계들 S32 및 S33을 설명하기 위한 도면이다.
도 5는 도 1의 종래의 국부 이진 패턴(LBP : Local Binary Pattern)의 특성을 설명하기 위한 그래프이다.
도 6은 본 발명에 따른 도 4의 패턴 이름하여, 국부 경사 패턴(LGP : Local Gradient Pattern)의 특성을 설명하기 위한 그래프이다.
도 7은, 서로 다른 조명에서의 원래의 계조 패턴의 영상들에 상응하는 도 4의 국부 경사 패턴(LGP : Local Gradient Pattern)의 영상들을 보여주는 도면이다.
도 8은 도 3의 형상 검출 방법을 적용한 전체적인 형상 검출 방법을 보여주는 흐름도이다.
도 9는 도 8의 단계 S84에서 서브-윈도우(sub-window)가 적용된 어느 한 영역이 특정 형상의 영역인지 아닌지를 판정하는 방법을 예를 들어 보여주는 흐름도이다.
도 10은 도 8의 형상 검출 방법을 예를 들어 설명하기 위한 도면이다.
이하, 첨부된 도면들과 함께 본 발명에 따른 바람직한 실시예가 상세히 설명된다.
도 2는 본 발명의 일 실시예의 형상 검출 방법을 사용하는 감시 카메라(2)의 내부 구성을 보여준다.
도 2를 참조하면, 본 실시예의 방법을 사용하는 감시 카메라(2)는 광학계(OPS), 광전 변환부(OEC), CDS-ADC(Correlation Double Sampler and Analog-to-Digital Converter, 201), 타이밍 회로(202), 제어부로서의 디지털 신호 처리기(DSP, Digital Signal Processor, 207), 비디오-신호 발생부(208), 조리개 모터(MA), 줌 모터(MZ), 포커스 모터(MF), 필터 모터(MD), 패닝 모터(MP), 틸팅 모터(MT), 구동부(210), 통신 인터페이스(112), 마이크로-컴퓨터(213) 및 조명부(215)를 포함한다.
렌즈부와 필터부를 포함한 광학계(OPS)는 피사체로부터의 빛을 광학적으로 처리한다.
광학계(OPS)의 렌즈부는 줌 렌즈 및 포커스 렌즈를 포함한다. 광학계(OPS)의 필터부에 있어서, 야간 동작 모드에 사용되는 광학적 저역통과필터(OLPF, Optical Low Pass Filter)는 고주파 함량의 광학적 노이즈를 제거한다. 주간 동작 모드에 사용되는 적외선 차단 필터(IRF, Infra-Red cut Filter)는 입사되는 빛의 적외선 성분을 차단한다.
CCD(Charge Coupled Device) 또는 CMOS (Complementary Metal-Oxide- Semiconductor)의 광전 변환부(OEC)는 광학계(OPS)로부터의 빛을 전기적 아날로그 신호로 변환시킨다. 여기에서, 디지털 신호 처리기(207)는 타이밍 회로(202)를 제어하여 광전 변환부(OEC)와 CDS-ADC(Correlation Double Sampler and Analog-to-Digital Converter, 201)의 동작을 제어한다.
CDS-ADC(201)는, 광전 변환부(OEC)로부터의 아날로그 영상 신호를 처리하여, 그 고주파 노이즈를 제거하고 진폭을 조정한 후, 디지털 영상 데이터로 변환시킨다. 이 디지털 영상 데이터는 디지털 신호 처리기(207)에 입력된다.
주 제어부로서의 디지털 신호 처리기(207)는 CDS-ADC 소자(101)로부터의 디지털 신호를 처리하여 휘도 및 색도 신호로 분류된 디지털 영상 데이터를 발생시킨다.
비디오-신호 발생부(208)는 디지털 신호 처리기(207)로부터의 디지털 영상 데이터를 아날로그 영상 신호인 비디오 신호(SVID)로 변환한다.
주 제어부로서의 디지털 신호 처리기(207)는, 통신 인터페이스(212) 및 통신 채널(DCOM)을 통하여 호스트 장치들 예를 들어, 컴퓨터들과 통신하면서, 비디오 신호 채널(SVID)을 통하여 비디오-신호 발생부(208)로부터의 비디오 신호를 호스트 장치들에 전송한다.
한편, 마이크로-컴퓨터(213)는 구동부(210)를 제어하여 조리개 모터(MA), 줌 모터(MZ), 포커스 모터(MF), 필터 모터(MD), 패닝 모터(MP) 및 틸팅 모터(MT)를 구동한다. 또한, 마이크로-컴퓨터(213)는 조명부(215)를 제어하여 투명 커버(22)에 조명광을 비춘다.
조리개 모터(MA)는 조리개를 구동하고, 줌 모터(MZ)는 줌 렌즈를 구동하며, 포커스 모터(MF)는 포커스 렌즈를 구동한다. 필터 모터(MD)는 필터부에서의 광학적 저역통과필터(OLPF)와 적외선 차단 필터(IRF)를 구동한다.
패닝 모터(MP)는 광학계(OPS)를 좌우로 회전시킨다. 틸팅 모터(MT)는 광학계(OPS)를 상하로 회전시킨다.
이하, 주 제어부로서의 디지털 신호 처리기(207)에 의하여 수행되는 형상 검출 방법이 도 3 내지 10을 참조하여 설명된다.
도 3은 도 2의 주 제어부로서의 디지털 신호 처리기(207)에 의하여 수행되는 형상 검출 방법을 보여준다. 도 4는 도 3의 단계들 S32 및 S33을 설명하기 위한 도면이다. 도 4에서 참조 부호 11은 국부 영역을, 42는 국부 경사 패턴(LGP)의 이진 값을, 그리고 43은 국부 경사 패턴(LGP)의 십진 값을 각각 가리킨다. 도 2 내지 4를 참조하여 도 3의 방법을 설명하면 다음과 같다.
영상 프레임의 데이터가 입력되었으면(단계 S31), 디지털 신호 처리기(207)는 영상 프레임의 국부 영역들 각각(41)에 대하여, 중심 화소의 계조(60)와 주변 화소들 각각의 계조와의 계조 차이 값들을 계산한다(단계 S32).
또한, 디지털 신호 처리기(207)는, 국부 영역들 각각(41)에 대하여, 계조 차이 값들의 평균 값과 상기 계조 차이 값들 각각을 비교하여 비교 결과에 따라 국부 경사 패턴의 값(42, 43)을 구한다(단계 S33).
그리고, 디지털 신호 처리기(207)는, 국부 영역들 각각(41)으로부터 얻어진 국부 경사 패턴의 값(43)들을 사용하여 영상 프레임에서의 특정 형상의 영역 예를 들어, 사람의 얼굴의 영역 또는 차량의 번호판의 영역 등을 검출한다.
상기 단계들 S31 내지 S35는 반복적으로 수행된다.
즉, 본 발명에 의하여 새롭게 명명된 상기 국부 경사 패턴(LGP : Local Gradient Pattern)의 값들이 사용되어 영상 프레임에서 특정 형상의 영역이 검출된다. 따라서, 계조 패턴을 직접 사용하지 않고 질감(texture) 패턴을 사용함에 따라 조명 변화에 강인한 특성을 가질 수 있다.
또한, 상기 국부 경사 패턴(LGP)의 값들 각각은 국부 영역 내에서의 계조 차이의 경사 정보를 내포한다. 즉, 평균 계조 차이에 대한 각각의 계조 차이의 정보를 내포한다.
따라서, 특정 형상의 경계 영역에서 인접 화소들 사이의 계조 차이가 예외적으로 커지더라도, 국부 경사 패턴(LGP)의 값들은 커지지 않으므로, 제한된 학습 결과 데이터의 환경 하에서 특정 형상의 영역을 검출하지 못하는 문제점이 해소될 수 있다.
예를 들어, 촬영 대상의 사람이 밝은 조도에서 매우 진한 안경을 쓴 경우, 또는 어두운 조도에서 매우 밝은 화장을 한 경우에 얼굴을 검출하지 못하는 문제점이 해소될 수 있다.
이와 마찬가지로, 매우 밝은 낮에 차량의 번호판이 매우 어두운 배경 색일 경우, 또는 매우 어두운 밤에 차량의 번호판이 매우 밝은 배경 색일 경우에 차량의 번호판의 영역을 검출하지 못하는 문제점이 해소될 수 있다.
상기 단계들 S32 및 S33과 관련하여, 어느 한 국부 영역에서 국부 경사 패턴(LGP)의 값을 구하는 상세 과정은 아래에서 설명된다.
국부 영역들 각각(41)은 3 화소들이 일 변을 이루는 정사각형으로서 9 화소들을 갖는다.
상기 단계 S32를 도 4를 참조하여 상세히 설명하면 다음과 같다.
첫째, 중심 화소의 계조(60)와 좌상단 화소의 계조(70)와의 차이 값인 제1 계조 차이 값(10)이 계산된다.
둘째, 중심 화소의 계조(60)와 중상단 화소의 계조(20)와의 차이 값인 제2 계조 차이 값(40)이 계산된다.
셋째, 중심 화소의 계조(60)와 우상단 화소의 계조(20)와의 차이 값인 제3 계조 차이 값(40)이 계산된다.
넷째, 중심 화소의 계조(60)와 우중단 화소의 계조(120)와의 차이 값인 제4 계조 차이 값(60)이 계산된다.
다섯째, 중심 화소의 계조(60)와 우하단 화소의 계조(120)와의 차이 값인 제5 계조 차이 값(60)이 계산된다.
여섯째, 중심 화소의 계조(60)와 중하단 화소의 계조(20)와의 차이 값인 제6 계조 차이 값(40)이 계산된다.
일곱째, 중심 화소의 계조(60)와 좌하단 화소의 계조(20)와의 차이 값인 제7 계조 차이 값(40)이 계산된다.
그리고 여덟째, 중심 화소의 계조(60)와 좌중단 화소의 계조(50)와의 차이 값인 제8 계조 차이 값(10)이 계산된다.
상기 단계 S33에 있어서, 먼저 상기 제1 내지 제8 계조 차이값들의 평균 값(37.5)이 계산된다. 따라서 이 평균 값을 구하는 공식은 아래의 수학식 2로 표현될 수 있다.
Figure pat00007
상기 수학식 2에서,
Figure pat00008
은 계조 차이값들의 평균 값을,
Figure pat00009
는 중심 화소의 계조를, 그리고
Figure pat00010
은 중심 화소의 인접 화소들의 계조들 각각을 가리킨다.
다음에, 상기 계조 차이 값들의 평균 값(
Figure pat00011
= 37.5)과 상기 계조 차이 값들 각각을 비교하여 비교 결과에 따라 8 비트의 국부 경사 패턴의 값(126)이 구해진다.
여기에서, 상기 제1 내지 제8 계조 차이값들 각각이 상기 평균 값(
Figure pat00012
= 37.5)보다 적으면 이진 데이터 "0"을, 그렇지 않으면 "1"을 설정하여 8 비트의 국부 경사 패턴의 값이 구해진다. 상기 제1 계조 차이 값(10)에 대한 비교 결과의 이진 데이터는 최하위 비트(LSB : Least Significant Bit)가 되고, 상기 제8 계조 차이 값(10)에 대한 비교 결과의 이진 데이터는 최상위 비트(MSB : Mostt Significant Bit)가 되도록 배열된다.
보다 상세하게는, 상기 제1 계조 차이 값(10)이 평균 값(
Figure pat00013
= 37.5)보다 적으므로, 제1 비트(비트 번호 0, LSB : Least Significant Bit))의 이진 데이터는 "0"이다.
상기 제2 계조 차이 값(40)이 평균 값(
Figure pat00014
= 37.5)보다 크므로, 제2 비트(비트 번호 1)의 이진 데이터는 "1"이다. 상기 제3 계조 차이 값(40)도 평균 값(
Figure pat00015
= 37.5)보다 크므로, 제3 비트(비트 번호 2)의 이진 데이터는 "1"이다.
상기 제4 계조 차이 값(60)이 평균 값(
Figure pat00016
= 37.5)보다 크므로, 제4 비트(비트 번호 3)의 이진 데이터는 "1"이다. 상기 제5 계조 차이 값(60)도 평균 값(
Figure pat00017
= 37.5)보다 크므로, 제5 비트(비트 번호 4)의 이진 데이터는 "1"이다.
상기 제6 계조 차이 값(40)이 평균 값(
Figure pat00018
= 37.5)보다 크므로, 제6 비트(비트 번호 5)의 이진 데이터는 "1"이다. 상기 제7 계조 차이 값(40)도 평균 값(
Figure pat00019
= 37.5)보다 크므로, 제7 비트(비트 번호 6)의 이진 데이터는 "1"이다.
그리고 상기 제8 계조 차이 값(10)이 평균 값(
Figure pat00020
= 37.5)보다 적으므로, 제8 비트(비트 번호 7)의 이진 데이터는 "0"이다.
상기와 같은 국부 경사 패턴(LGP)의 형성 방법은 아래의 수학식 3으로 표현될 수 있다.
Figure pat00021
상기 수학식 3에서,
Figure pat00022
는 국부 영역들 각각(41)의 중심 좌표를,
Figure pat00023
는 중심 화소의 계조를, 그리고
Figure pat00024
은 중심 화소의 인접 화소들의 계조들 각각을 가리킨다. 함수
Figure pat00025
에서
Figure pat00026
이 영(0) 이상이면 "1"로 되고, 그렇지 않으면 "0"으로 된다.
도 5는 도 1의 종래의 국부 이진 패턴(LBP : Local Binary Pattern)의 특성을 설명하기 위한 그래프이다. 도 6은 본 발명에 따른 도 4의 패턴 이름하여, 국부 경사 패턴(LGP : Local Gradient Pattern)의 특성을 설명하기 위한 그래프이다.
도 5를 참조하면, 종래의 국부 이진 패턴의 질감 데이터는, 단순히 인접 화소들의 계조가 중심 화소의 계조보다 적으면 "0"이고, 그렇지 않으면 "1"이다. 따라서, 특정 형상의 경계 영역에서 인접 화소들 사이의 계조 차이가 예외적으로 클 경우, 국부 이진 패턴(LBP)의 값들 역시 예외적으로 커질 수 있음에 따라, 제한된 학습 결과 데이터의 환경 하에서 특정 형상의 영역을 검출하지 못하는 문제점이 있다.
하지만, 도 6을 참조하면, 본 발명에 따른 국부 경사 패턴(LGP)의 질감 데이터는, 인접 화소들의 계조가 중심 화소의 계조보다 적은 경우에 "0" 또는 "1"이고, 그렇지 않은 경우에도 "0" 또는 "1"이다. 즉, 본 발명에 따른 국부 경사 패턴(LGP)은 인접 화소들 사이의 계조 차이와 직접적인 관련이 없다. 따라서, 특정 형상의 경계 영역에서 인접 화소들 사이의 계조 차이가 예외적으로 클 경우, 국부 이진 패턴(LBP)의 값들 역시 예외적으로 커지지 않으므로, 제한된 학습 결과 데이터의 환경 하에서 특정 형상의 영역을 검출하지 못하는 문제점이 해소될 수 있다.
도 7은, 서로 다른 조명에서의 원래의 계조 패턴의 영상들에 상응하는 도 4의 국부 경사 패턴(LGP : Local Gradient Pattern)의 영상들을 보여준다.
도 7에서 참조 부호 71a 내지 73a는 서로 다른 조명 하에서의 원래의 계조 패턴의 영상들을 가리킨다. 참조 부호 71b 내지 73b는 상기 계조 패턴의 영상들에 상응하는 도 4의 국부 경사 패턴(LGP : Local Gradient Pattern)의 영상들은 우수한 질감을 보여주면서 서로 유사하다.
즉, 도 4의 국부 경사 패턴(LGP)의 영상들을 사용하여 얼굴 영역을 검출할 경우, 계조 패턴을 직접 사용하지 않고 질감(texture) 패턴을 사용함에 따라 조명 변화에 강인한 특성을 가질 수 있다.
도 8은 도 3의 형상 검출 방법을 적용한 전체적인 형상 검출 방법을 보여준다. 도 10은 도 8의 형상 검출 방법을 예를 들어 설명하기 위한 도면이다.
도 2, 8 및 10을 참조하여, 도 3의 형상 검출 방법을 적용한 전체적인 형상 검출 방법을 설명하면 다음과 같다.
영상 프레임의 데이터(FRin)가 입력되었으면(단계 S81), 주 제어부로서의 디지털 신호 처리기(207)는, 상기 영상 프레임에 대하여 최소 크기의 영상 프레임으로부터 최대 크기의 영상 프레임까지 서로 다른 크기의 일련의 영상 프레임들 각각의 계조 데이터(FRminp 내지 FRmaxp)를 구한다(단계 S82).
또한, 디지털 신호 처리기(207)는 도 3의 단계들 S32 및 S32를 서로 다른 크기의 일련의 영상 프레임들 각각에 대하여 수행하여 영상 프레임들 각각에 대한 국부 경사 패턴의 값들(FRming 내지 FRmaxg)을 구한다(단계 S83).
그리고, 디지털 신호 처리기(207)는, 도 3의 단계 S34에서 영상 프레임들 각각의 국부 경사 패턴의 값들(FRming 내지 FRmaxg)에 대하여 서브-윈도우(sub-window)를 사용한 스캔(scan)을 수행하면서 특정 형상의 영역 예를 들어, 얼굴 영역을 검출한다(단계 S84).
상기 단계들 S81 내지 S84는 종료 신호가 발생될 때까지 반복적으로 수행된다(단계 S85).
상기 단계 S84에서, 서브-윈도우(sub-window)가 적용된 어느 한 영역이 특정 형상의 영역 예를 들어, 얼굴 영역인지 아닌지를 판정하기 위하여, 상기 서브-윈도우가 비(非)형상(non-shape) 영역 예를 들어, 비(非)얼굴(non-face) 영역인 경우에 상기 서브-윈도우 내의 특정 위치들에서 국부 경사 패턴(LPG)의 값들 각각에 대한 비(非)형상(non-shape) 가중값들 예를 들어, 비(非)얼굴 가중값들(WT1 등등)의 학습 결과 데이터(101 등등)가 적용된다.
여기에서, 학습 결과 데이터는 비(非)형상(non-shape) 가중값들 예를 들어, 비얼굴 가중값들(WT1 등등)의 기준 데이터가 서로 다른 정밀도를 가진 복수의 학습 결과 데이터(101 등등)이다. 또한, 서브-윈도우(sub-window)가 적용된 어느 한 영역에 대하여 정밀도가 낮은 순서대로 학습 결과 데이터가 적용된다.
도 9는 도 8의 단계 S84에서 서브-윈도우(sub-window)가 적용된 어느 한 영역이 특정 형상의 영역 예를 들어, 얼굴 영역인지 아닌지를 판정하는 방법을 보여준다. 물론, 도 9의 판정 방법은 차량의 번호판 영역 등에도 동일하게 적용된다. 도 2, 9 및 10을 참조하여, 도 8의 단계 S84에서 서브-윈도우(sub-window)가 적용된 어느 한 영역이 특정 형상의 영역 예를 들어, 얼굴 영역인지 아닌지를 판정하는 방법을 설명하면 다음과 같다.
주 제어부로서의 디지털 신호 처리기(207)는, 먼저 서브-윈도우 내의 제1 특정 위치들(SW1)에서의 국부 경사 패턴의 값들 각각에 대한 제1 비얼굴 가중값들(WT1)을 합산한다(단계 S901).
다음에, 합산 가중값(H1)이 제1 기준값(T1)보다 적지 않으면(단계 S902), 디지털 신호 처리기(207)는 현재의 서브-윈도우의 영역을 비얼굴 영역으로 판정한 후(단계 S912), 종료한다. 여기서, 종료의 의미는 서브-윈도우가 다음 영역으로 이동함을 의미한다.
상기 단계 S902에서 합산 가중값(H1)이 제1 기준값(T1)보다 적으면(단계 S902), 디지털 신호 처리기(207)는 서브-윈도우 내의 제2 특정 위치들(SW2)에서의 국부 경사 패턴의 값들 각각에 대한 제2 비얼굴 가중값들을 합산한다(단계 S903).
다음에, 합산 가중값(H2)이 제1 기준값(T2)보다 적지 않으면(단계 S904), 디지털 신호 처리기(207)는 현재의 서브-윈도우의 영역을 비얼굴 영역으로 판정한 후(단계 S912), 종료한다.
상기와 같은 과정들은, 서브-윈도우 내의 제3 특정 위치들(SW3)에 따른 합산 가중값(H3) 및 제3 기준값(T3)에도 동일하게 적용된다. 또한, 서브-윈도우 내의 제4 특정 위치들(SW4)에 따른 합산 가중값(H4) 및 제4 기준값(T4)에도 동일하게 적용된다.
서브-윈도우 내의 제4 특정 위치들(SW4)에 따른 합산 가중값(H4)이 제4 기준값(T4)보다 적으면, 디지털 신호 처리기(207)는 서브-윈도우 내의 제5 특정 위치들(SW5)에서의 국부 경사 패턴의 값들 각각에 대한 제5 비얼굴 가중값들을 합산한다(단계 S909).
합산 가중값(H5)이 제5 기준값(T5)보다 적지 않으면(단계 S910), 디지털 신호 처리기(207)는 현재의 서브-윈도우의 영역을 비얼굴 영역으로 판정한 후(단계 S912), 종료한다.
합산 가중값(H5)이 제5 기준값(T5)보다 적으면(단계 S910), 디지털 신호 처리기(207)는 현재의 서브-윈도우의 영역을 얼굴 영역으로 판정한다(단계 S911).
도 9의 방법을 요약 및 보충하면 다음과 같다.
서브-윈도우 내의 특정 위치들(SW1 내지 SW5) 중에서 어느 하나의 학습 결과 데이터가 적용된 때에, 상기 서브-윈도우(sub-window)가 적용된 어느 한 영역이 비(非)형상(non-shape) 영역 예를 들어, 비얼굴 영역으로 판정되면 다음 순서의 학습 결과 데이터가 적용되지 않고 비형상 영역으로 최종 판정된다. 또한, 서브-윈도우(sub-window)가 적용된 어느 한 영역이 특정 형상의 영역 예를 들어, 얼굴 영역으로 판정되면 다음 순서의 학습 결과 데이터가 적용된다.
여기에서, 정밀도가 가장 높은 학습 결과 데이터가 최종적으로 적용된 때에 상기 서브-윈도우(sub-window)가 적용된 어느 한 영역이 특정 형상의 영역 예를 들어, 얼굴 영역으로 판정되면, 특정 형상의 영역으로 최종 판정된다(도 9의 단계들 S910 및 S911에 해당됨).
상기와 같은 도 9의 판정 방법에 의하면, 비형상 영역 예를 들어, 비얼굴 영역이 보다 빨리 판정되어 서브-윈도우(sub-window)가 다음 영역으로 빠르게 이동할 수 있다. 즉, 형상 검출 속도가 빨라질 수 있다.
물론, 도 9 및 10의 예는 차량의 번호판 영역 등에도 동일하게 적용된다.
이상 설명된 바와 같이, 본 발명에 따른 형상 검출 방법에 의하면, 본 발명에 의하여 새롭게 명명된 상기 국부 경사 패턴(LGP : Local Gradient Pattern)의 값들이 사용되어 상기 영상 프레임에서 특정 형상의 영역이 검출된다. 따라서, 계조 패턴을 직접 사용하지 않고 질감(texture) 패턴을 사용함에 따라 조명 변화에 강인한 특성을 가질 수 있다.
또한, 상기 국부 경사 패턴(LGP)의 값들 각각은 국부 영역 내에서의 계조 차이의 경사 정보를 내포한다. 즉, 평균 계조 차이에 대한 각각의 계조 차이의 정보를 내포한다.
따라서, 특정 형상의 경계 영역에서 인접 화소들 사이의 계조 차이가 예외적으로 커지더라도, 국부 경사 패턴(LGP)의 값들은 커지지 않으므로, 제한된 학습 결과 데이터의 환경 하에서 특정 형상의 영역을 검출하지 못하는 문제점이 해소될 수 있다.
예를 들어, 촬영 대상의 사람이 밝은 조도에서 매우 진한 안경을 쓴 경우, 또는 어두운 조도에서 매우 밝은 화장을 한 경우에 얼굴을 검출하지 못하는 문제점이 해소될 수 있다.
이와 마찬가지로, 매우 밝은 낮에 차량의 번호판이 매우 어두운 배경 색일 경우, 또는 매우 어두운 밤에 차량의 번호판이 매우 밝은 배경 색일 경우에 차량의 번호판의 영역을 검출하지 못하는 문제점이 해소될 수 있다.
본 발명은, 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
특정 형상의 검출 뿐만 아니라 특정 무늬의 검출에도 이용될 수 있다.
11, 41...국부 영역,
12...국부 이진 패턴(LBP)의 이진 값,
13...국부 이진 패턴(LBP)의 십진 값,
2...감시 카메라, OPS...광학계,
OEC...광전 변환부, 201...CDS-ADC,
202...타이밍 회로, 207...디지털 신호 처리기,
208...비디오-신호 발생부, 210...구동부,
212...통신 인터페이스, 213...마이크로-컴퓨터,
215...조명부,
42...국부 경사 패턴(LGP)의 이진 값,
43...국부 경사 패턴(LGP)의 십진 값.

Claims (11)

  1. 카메라 내에서 입력 영상 데이터를 처리하여 특정 형상의 영역을 검출하는 형상 검출 방법에 있어서,
    (a) 영상 프레임의 국부 영역들 각각에 대하여, 중심 화소의 계조와 주변 화소들 각각의 계조와의 계조 차이 값들을 계산하는 단계;
    (b) 상기 국부 영역들 각각에 대하여, 상기 계조 차이 값들의 평균 값과 상기 계조 차이 값들 각각을 비교하여 비교 결과에 따라 국부 경사 패턴의 값을 구하는 단계; 및
    (c) 상기 국부 영역들 각각으로부터 얻어진 국부 경사 패턴의 값들을 사용하여 상기 영상 프레임에서의 상기 특정 형상의 영역을 검출하는 단계를 포함한 형상 검출 방법.
  2. 제1항에 있어서, 상기 단계들 (a) 내지 (c)에서 상기 국부 영역들 각각이,
    3 화소들이 일 변을 이루는 정사각형으로서 9 화소들을 갖는 형상 검출 방법.
  3. 제2항에 있어서, 상기 단계 (a)가,
    (a1) 중심 화소의 계조와 좌상단 화소의 계조와의 차이 값인 제1 계조 차이 값을 계산하는 단계;
    (a2) 중심 화소의 계조와 중상단 화소의 계조와의 차이 값인 제2 계조 차이 값을 계산하는 단계;
    (a3) 중심 화소의 계조와 우상단 화소의 계조와의 차이 값인 제3 계조 차이 값을 계산하는 단계;
    (a4) 중심 화소의 계조와 우중단 화소의 계조와의 차이 값인 제4 계조 차이 값을 계산하는 단계;
    (a5) 중심 화소의 계조와 우하단 화소의 계조와의 차이 값인 제5 계조 차이 값을 계산하는 단계;
    (a6) 중심 화소의 계조와 중하단 화소의 계조와의 차이 값인 제6 계조 차이 값을 계산하는 단계;
    (a7) 중심 화소의 계조와 좌하단 화소의 계조와의 차이 값인 제7 계조 차이 값을 계산하는 단계; 및
    (a8) 중심 화소의 계조와 좌중단 화소의 계조와의 차이 값인 제8 계조 차이 값을 계산하는 단계를 포함한 형상 검출 방법.
  4. 제3항에 있어서, 상기 단계 (b)가,
    (b1) 상기 제1 내지 제8 계조 차이값들의 평균 값을 계산하는 단계; 및
    (b2) 상기 계조 차이 값들의 평균 값과 상기 계조 차이 값들 각각을 비교하여 비교 결과에 따라 8 비트의 국부 경사 패턴의 값을 구하는 단계를 포함한 형상 검출 방법.
  5. 제4항에 있어서, 상기 단계 (b2)에서,
    상기 제1 내지 제8 계조 차이값들 각각이 상기 평균 값보다 적으면 이진 데이터 "0"을, 그렇지 않으면 "1"을 설정하여 8 비트의 국부 경사 패턴의 값이 구해지는 형상 검출 방법.
  6. 제5항에 있어서, 상기 단계 (b2)에서,
    상기 제1 계조 차이 값에 대한 비교 결과의 이진 데이터가 최하위 비트(LSB : Least Significant Bit)가 되고, 상기 제8 계조 차이 값에 대한 비교 결과의 이진 데이터가 최상위 비트(MSB : Mostt Significant Bit)가 되도록 배열되는 형상 검출 방법.
  7. 제1항에 있어서,
    상기 영상 프레임에 대하여 최소 크기의 영상 프레임으로부터 최대 크기의 영상 프레임까지 서로 다른 크기의 일련의 영상 프레임들의 계조 데이터가 구해지고,
    상기 단계들 (a) 및 (b)가 상기 서로 다른 크기의 일련의 영상 프레임들 각각에 대하여 수행되어 영상 프레임들 각각에 대한 국부 경사 패턴의 값들이 구해지며,
    상기 단계 (c)에서 상기 영상 프레임들 각각의 국부 경사 패턴의 값들에 대하여 서브-윈도우(sub-window)를 사용한 스캔(scan)이 수행되면서 상기 특정 형상의 영역이 검출되는 형상 검출 방법.
  8. 제7항에 있어서,
    상기 단계 (c)에서 상기 서브-윈도우(sub-window)가 적용된 어느 한 영역이 상기 특정 형상의 영역인지 아닌지를 판정하기 위하여, 상기 서브-윈도우가 비(非)형상(non-shape) 영역인 경우에 상기 서브-윈도우 내의 특정 위치들에서 국부 경사 패턴의 값들 각각에 대한 비형상 가중값들의 학습 결과 데이터가 적용되는 형상 검출 방법.
  9. 제8항에 있어서,
    상기 비형상 가중값들의 기준 데이터가 서로 다른 정밀도를 가진 복수의 학습 결과 데이터이며, 상기 단계 (c)에서 상기 서브-윈도우(sub-window)가 적용된 어느 한 영역에 대하여 정밀도가 낮은 순서대로 학습 결과 데이터가 적용되는 형상 검출 방법.
  10. 제9항에 있어서, 상기 어느 한 학습 결과 데이터가 적용된 때에,
    상기 서브-윈도우(sub-window)가 적용된 어느 한 영역이 비형상 영역으로 판정되면 다음 순서의 학습 결과 데이터가 적용되지 않고 비형상 영역으로 최종 판정되며,
    상기 서브-윈도우(sub-window)가 적용된 어느 한 영역이 상기 특정 형상의 영역으로 판정되면 다음 순서의 학습 결과 데이터가 적용되는 형상 검출 방법.
  11. 제10항에 있어서,
    정밀도가 가장 높은 학습 결과 데이터가 최종적으로 적용된 때에 상기 서브-윈도우(sub-window)가 적용된 어느 한 영역이 상기 특정 형상의 영역으로 판정되면, 상기 특정 형상의 영역으로 최종 판정되는 형상 검출 방법.
KR1020110059649A 2010-07-15 2011-06-20 카메라 내에서의 형상 검출 방법 KR101665392B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110210133.8A CN102339466B (zh) 2010-07-15 2011-07-15 用于检测具有特定形状的区域的方法和相机
US13/183,726 US8588530B2 (en) 2010-07-15 2011-07-15 Method and camera for detecting a region having a specific shape

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100068588 2010-07-15
KR20100068588 2010-07-15

Publications (2)

Publication Number Publication Date
KR20120007959A true KR20120007959A (ko) 2012-01-25
KR101665392B1 KR101665392B1 (ko) 2016-10-12

Family

ID=45613133

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110059649A KR101665392B1 (ko) 2010-07-15 2011-06-20 카메라 내에서의 형상 검출 방법

Country Status (1)

Country Link
KR (1) KR101665392B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008423B2 (en) 2013-01-10 2015-04-14 Electronics And Telecommunications Research Institute Method and apparatus for detecting and recognizing object using local binary patterns
KR20150124730A (ko) * 2014-04-29 2015-11-06 삼성중공업 주식회사 선박

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008530701A (ja) * 2005-02-21 2008-08-07 ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ 顔特徴の検出方法
JP2008250444A (ja) * 2007-03-29 2008-10-16 Omron Corp 顔検出装置、顔検出方法及び顔検出プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008530701A (ja) * 2005-02-21 2008-08-07 ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ 顔特徴の検出方法
JP2008250444A (ja) * 2007-03-29 2008-10-16 Omron Corp 顔検出装置、顔検出方法及び顔検出プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jun, Bongjin, and Daijin Kim. "Robust face detection using local gradient patterns and evidence accumulation." Pattern Recognition 45.9 (2012): 3304-3316. *
전봉진 외 1명, Local Gradient Pattern을 이용한 신뢰성 있는 얼굴 검출. HCI 2001, 2011년 1월. pp.588-590 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008423B2 (en) 2013-01-10 2015-04-14 Electronics And Telecommunications Research Institute Method and apparatus for detecting and recognizing object using local binary patterns
KR20150124730A (ko) * 2014-04-29 2015-11-06 삼성중공업 주식회사 선박

Also Published As

Publication number Publication date
KR101665392B1 (ko) 2016-10-12

Similar Documents

Publication Publication Date Title
CN101325658B (zh) 成像设备和成像方法
CN105933589B (zh) 一种图像处理方法及终端
CN101882034B (zh) 触摸装置的触摸笔颜色识别装置及方法
JP6553624B2 (ja) 計測機器、及びシステム
US9070044B2 (en) Image adjustment
US20110033086A1 (en) Image processing apparatus and image processing method
CN109152535B (zh) 皮肤诊断装置和皮肤诊断方法
Várkonyi-Kóczy et al. Gradient-based synthesized multiple exposure time color HDR image
KR20090090333A (ko) 초점 조력 시스템 및 방법
CN110572636B (zh) 摄像头脏污检测方法、装置、存储介质及电子设备
CN104796600B (zh) 图像合成装置和图像合成方法
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP6025557B2 (ja) 画像認識装置、その制御方法及びプログラム
CN110458826A (zh) 环境亮度检测方法和装置
CN110738629A (zh) 一种镜头脏污的检测方法、终端及计算机可读存储介质
KR20110014960A (ko) 화상처리장치 및 화상처리방법
JP2017073639A (ja) 画像処理装置およびその制御方法ならびにプログラム
KR101665392B1 (ko) 카메라 내에서의 형상 검출 방법
US8588530B2 (en) Method and camera for detecting a region having a specific shape
JP3906221B2 (ja) 画像処理方法及び画像処理装置
WO2022049923A1 (ja) 電子機器
WO2008018459A1 (fr) Procédé de traitement d'image, appareil de traitement d'image, programme de traitement d'image, et appareil de prise d'image
CN100594418C (zh) 影像撷取装置、其对焦方法以及影像对比值的确定方法
EP1847958B1 (fr) Segmentation d'image numérique d'une zone d'observation en temps réel
KR20130121621A (ko) 카메라 및 이의 영상 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 4