KR19980035969A - 화상 회의 시스템의 회의자 추적 방법 및 장치 - Google Patents

화상 회의 시스템의 회의자 추적 방법 및 장치 Download PDF

Info

Publication number
KR19980035969A
KR19980035969A KR1019960054437A KR19960054437A KR19980035969A KR 19980035969 A KR19980035969 A KR 19980035969A KR 1019960054437 A KR1019960054437 A KR 1019960054437A KR 19960054437 A KR19960054437 A KR 19960054437A KR 19980035969 A KR19980035969 A KR 19980035969A
Authority
KR
South Korea
Prior art keywords
model
boundary
face
participant
extracted
Prior art date
Application number
KR1019960054437A
Other languages
English (en)
Other versions
KR100220836B1 (ko
Inventor
정성학
Original Assignee
배순훈
대우전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자 주식회사 filed Critical 배순훈
Priority to KR1019960054437A priority Critical patent/KR100220836B1/ko
Publication of KR19980035969A publication Critical patent/KR19980035969A/ko
Application granted granted Critical
Publication of KR100220836B1 publication Critical patent/KR100220836B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 화상 회의 시스템에 있어서, 적외선 영상을 이용하여 회의자를 인식한후 이를 추적하는 회의자 추적 방법 및 장치에 관한 것이다.
본 발명은 모델과 회의자 영상 신호로 부터 추출된 경계 화소를 이용하여 각각의 모델의 얼굴을 데이타 베이스화하고 회의자 얼굴도 모델의 얼굴 추출 방법과 동일한 방법으로 추출하여 정합한후 회의시 중심점 추적 방법을 통해 추적한다.
따라서 본 발명은 경계 화소 및 방향을 이용하여 폐곡선을 추출하여 회의자를 인식한후 이를 추적하는 기능이 있어 화상 회의중 회의자가 이동하더라도 카메라로 추적이 가능하다.

Description

화상 회의 시스템의 회의자 추적 방법 및 장치 (Speaker Tracking Method and Device for Video Conference System)
본 발명은 화상 회의 시스템에 있어서, 적외선 영상을 이용하여 회의자를 인식한후 이를 추적하는 회의자 추적 방법 및 장치에 관한 것이다.
일반적으로 화상 회의 시스템은 회의 참석자가 원거리에 있어도 화면을 통해 회의를 진행할 수 있다.
따라서 회의자는 카메라 앞에 위치하여야만 화면을 통해 원거리에 있는 상대방 회의자에게 자신의 모습을 보여줄 수 있었다.
즉, 종래의 화상 회의 시스템은 화상 회의시 회의자가 반드시 카메라 앞에 위치하여야만 하므로 회의자의 이동이 불가능한 문제점이 있었다.
상기 문제점을 개선하기 위한 본 발명은 화상 회의 시스템에 있어서, 적외선 영상을 이용하여 회의자를 인식한후 이를 추적하여 회의자의 이동을 자유롭게 하기 위한 회의자 추적 방법 및 장치를 제공함에 그 목적이 있다.
도1은 본 발명에 의한 모델 처리 단계를 나타낸 흐름도
도2는 본 발명에 의한 회의자 인식, 정합, 및 추적 단계를 나타낸 흐름도
도3a, 도3b, 도3c는 도1 및 도2의 경계 화소 및 방향 추출 단계를 설명하기
위한 도면
도4 및 도 5는 도1 및 도2의 폐곡선 추출 단계를 설명하기 위한 도면
도6은 도2의 정합 단계를 설명하기 위한 도면
도7은 도2의 추적 단계를 나타낸 세부 흐름도
도8은 본 발명에 의한 회의자 추적 장치의 구성도
도면의 주요 부분에 대한 부호의 설명
300 : 적외선 카메라400 : 모터부
410 : 모터420 : 모터 드라이버
500 : 제어부600 : 영상 저장부
610 : A/D 변환부510, 620 : 메모리
700 : 인식부710 : 경계 화소 추출부
720 : 경계 방향 추출부730 : 폐곡선 추출부
800 : 초기 위치 결정부900 : 추적기
상기 목적을 달성하기 위해 본 발명에 의한 화상 회의 시스템의 회의자 추적 방법은 화상 회의시 하나 또는 그 이상의 회의자 영상에 해당하는 모델 영상 신호를 입력으로 추출된 경계 화소를 이용하여 각각의 모델 얼굴에 해당하는 폐곡선을 추출하여 모델 얼굴을 인식하는 모델 처리 단계; 상기 인식된 하나 또는 그 이상의 모델 영상 신호 중에서 하나를 선택하는 모델 선택 단계; 카메라를 통해 입력되는 회의자 영상 신호를 입력으로 추출된 경계 화소를 이용하여 회의자 얼굴에 해당하는 폐곡선을 추출하여 회의자 얼굴을 인식하는 회의자 영상 처리 단계; 상기 선택된 모델 얼굴의 폐곡선과 상기 인식된 회의자 얼굴의 폐곡선을 정합시키는 정합 단계; 상기 정합된 회의자를 추적하여 카메라를 이동시키는 회의자 추적 단계; 및 상기 인식된 하나 또는 그 이상의 모델 영상 신호 중에서 다른 하나를 선택하는 경우 정합 단계로 진행하는 모델 변경 단계에 의해 수행됨을 특징으로 한다.
또한, 상기 목적을 달성하기 위해 본 발명에 의한 화상 회의 시스템의 회의자 추적 장치는 화상 회의시 하나 또는 그 이상의 회의자의 영상에 해당하는 각각의 모델과 회의자의 영상 신호를 A/D 변환하여 저장하는 영상 저장 수단; 상기 영상 저장 수단으로 부터 출력되는 모델과 회의자 영상 신호를 입력으로 추출된 경계 화소를 이용하여 각각의 모델과 회의자의 얼굴에 해당하는 폐곡선을 추출하여 모델 얼굴을 인식하는 인식 수단; 상기 영상 저장 수단과 인식 수단의 동작을 제어하고 상기 인식 수단에서 인식된 모델과 회의자 얼굴의 윤곽선을 정합하고 정합된 회의자를 추적하도록 제어하는 제어 수단; 상기 제어 수단의 제어에 따라 상기 정합된 회의자가 있는 초기 위치에서 일정한 크기의 윈도우를 설정하는 초기 위치 결정 수단; 및 상기 제어 수단의 제어에 따라 상기 초기 위치 결정 수단의 출력을 입력으로 상기 정합된 회의자를 추적하는 추적 수단으로 구성됨을 특징으로 한다.
이하 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
본 발명에 의한 화상 회의 시스템의 회의자 추적 방법은 도1 및 도2에 도시한 바와 같이 모델 처리 단계(100 내지 105), 모델 선택 단계(201), 회의자 영상 처리 단계(202, 206), 정합 단계(207), 회의자 추적 단계(208), 및 모델 변경 단계(210)에 의해 수행된다.
상기 모델 처리 단계(100 내지 105)에서는 화상 회의시 하나 또는 그 이상의 회의자 영상에 해당하는 모델 영상 신호를 입력으로 추출된 경계 화소를 이용하여 각각의 모델 얼굴에 해당하는 폐곡선을 추출하여 모델 얼굴을 인식하며, 화상 회의시 인식할 회의자의 적외선 영상에 해당하는 모델 영상 신호를 A/D 변환하여 저장하는 모델 영상 신호 저장 단계(100), 상기 저장된 모델 영상 신호로부터 경계 화소를 추출하는 경계 화소 추출 단계(101), 상기 추출된 경계 화소를 이용하여 경계 방향을 추출하고 상기 모델 영상 신호의 각 화소의 밝기값과 주변 화소의 밝기값의 평균을 비교하여 상기 경계 방향에 벡터를 첨가하는 경계 방향 추출 단계(102), 상기 모델의 수에 따라 상기 모델 영상 신호의 각 화소중에서 밝기값이 큰 경계 화소로 부터 상기 추출된 경계 방향에 따라 이동하면서 폐곡선을 추출하는 폐곡선 추출 단계(103, 105), 및 상기 추출된 폐곡선의 내부를 모델 얼굴로 인식하여 저장하는 모델 얼굴 저장 단계(104)에 의해 수행된다.
상기 모델 선택 단계(201)에서는 상기 인식된 하나 또는 그 이상의 모델 영상 신호 중에서 하나를 선택한다.
상기 회의자 영상 처리 단계(202 내지 206)에서는 카메라를 통해 입력되는 회의자 영상 신호를 입력으로 추출된 경계 화소를 이용하여 회의자 얼굴에 해당하는 폐곡선을 추출하여 회의자 얼굴을 인식하며, 카메라를 통해 입력되는 회의자 영상 신호를 A/D 변환하여 저장하는 회의자 영상 신호 저장 단계(202), 상기 저장된 회의자 영상 신호로부터 경계 화소를 추출하는 경계 화소 추출 단계(203), 상기 추출된 경계 화소를 이용하여 경계 방향을 추출하고 상기 회의자 영상 신호의 각 화소의 밝기값과 주변 화소의 밝기값의 평균을 비교하여 상기 경계 방향에 벡터를 첨가하는 경계 방향 추출 단계(204), 상기 회의자의 수에 따라 상기 회의자 영상 신호의 각 화소중에서 밝기값이 큰 경계 화소로 부터 상기 추출된 경계 방향에 따라 이동하면서 폐곡선을 추출하는 폐곡선 추출 단계(205), 및 상기 추출된 폐곡선의 내부를 회의자 얼굴로 인식하여 저장하는 회의자 얼굴 저장 단계(206)에 의해 수행된다.
여기서, 상기 경계 화소는 상기 저장된 모델 영상 신호의 수직 및 수평 방향의 미분값과 설정된 경계선 판별용 문턱치의 비교에 의해 결정되고, 상기 경계 방향은 상기 경계 화소의 수직 및 수평 방향의 미분값의 아크탄젠트값(aran(h/v))으로 계산된다.
상기 정합 단계(207)에서는 상기 선택된 모델 얼굴의 폐곡선과 상기 인식된 회의자 얼굴의 폐곡선을 정합시킨다.
상기 회의자 추적 단계(208)에서는 상기 정합된 회의자를 추적하여 카메라를 이동시키며, 상기 정합된 회의자가 있는 초기 위치에서 회의자의 얼굴을 포함하는 일정한 크기의 윈도우를 설정하는 윈도우 설정 단계(300), 상기 설정된 윈도우 내의 화소값을 이진화하는 이진화 단계(301), 상기 정합된 회의자의 중심점 추적을 위한 문턱치를 설정하는 문턱치 설정 단계(302), 상기 이진화된 화소값이 설정된 문턱치 보다 큰지 검색하는 이진화 값 검색 단계(303), 및 상기 이진화 값 검색 결과 이진화 값이 상기 문턱치보다 큰 경우 상기 카메라를 이동시켜 추적을 수행하는 카메라 이동 및 추적 단계(304)에 의해 수행된다.
상기 모델 변경 단계(210)에서는 상기 인식된 하나 또는 그 이상의 모델 영상 신호 중에서 다른 하나를 선택하는 경우 정합 단계(207)로 진행한다.
이와 같이 수행되는 본 발명에 의한 화상 회의 시스템의 상세한 동작 과정을 첨부한 도면을 참조하여 설명한다.
먼저, 화상 회의에 참석하는 모든 회의자에 해당하는 적외선 모델 영상 신호를 카메라를 통해 취하여 모델의 얼굴 모양을 추출해야 한다.
즉, 모델 처리 단계(100 내지 105)를 수행하여 기준이 되는 하나 또는 그 이상의 회의자의 영상에 해당하는 각각의 모델 영상 신호를 입력으로 각각의 모델 얼굴의 윤곽선을 추출하여 인식하는데, 이를 첨부한 도면을 참조하여 설명한다.
먼저, 화상 회의시 인식할 회의자의 영상에 해당하는 모델 영상 신호를 적외선 카메라를 통해 취한후 A/D 변환하여 저장한다(100).
적외선 카메라에서 들어오는 신호, 예를 들어 NTSC 신호는 A/D 변환되면 2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x, y))이 된다. 이 영상을 메모리에 저장하여 입력 영상으로 사용한다.
이와 같이 모델 영상 신호 저장 단계(100)를 수행한후 상기 저장된 모델 영상 신호로부터 경계 화소를 추출하는 경계 화소 추출 단계(101)를 수행한다.
상기 저장된 모델 영상 신호를 수직 및 수평 방향으로 미분하여 수평 및 수직 방향의 미분값(h, v)을 찾아낸후 이 미분값의 크기((h2+ v2)1/2)와 설정된 경계선 판별용 문턱치를 비교하여 경계 화소를 찾아낸다.
2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x, y)신호는 아래 식(1) 및 식(2)와 같이 수평 및 수직 방향으로 미분이 이루어진다.
[식 1]
I(x-1, y-1)+I(x-1, y)+I(x-1, y+1)-I(x+1, y-1)-I(x+1, y)-I(x+1, y-1) = h
[식 2]
I(x-1, y-1)+I(x, y-1)+I(x+1, y-1)-I(x-1, y+1)-I(x, y+1)-I(x+1, y+1) = v
즉, 도 3a에 도시한 바와 같이 수평 미분은 기준 화소(x, y)를 중심으로 하여 좌측의 화소의 밝기값(A4, A5, A6)과 우측의 화소의 밝기값(A1, A2, A3)의 차를 구하므로써 이루어지고, 수직 미분은 기준 화소(x, y)를 중심으로 하여 상측의 화소의 밝기값(A4, A7, A1)과 하측의 화소의 밝기값(A6, A8, A3)의 차를 구하므로써 이루어진다.
위의 식(1)에 도시한 바와 같이 수평 미분을 수행하여 수평 미분값(h)을 계산하고, 위의 식(2)에 도시한 바와 같이 수직 미분을 수행하여 수직 미분값(v)을 계산한후 이들 미분값(h, v)의 크기((h2+ v2)1/2)를 계산한다. 즉, 수직 및 수평 미분값(h, v)을 각각 제곱하여 가산한후 다시 제곱근을 취해 미분값의 크기((h2+ v2)1/2)를 계산한다.
상기 계산된 미분값의 크기((h2+ v2)1/2)가 미리 설정된 경계선 판별용 문턱치와 비교되어 상기 경계선 판별용 문턱치보다 큰 경우 기준 화소(A(x, y))가 경계 화소가 된다.
이와 같은 미분값의 크기 및 비교 과정을 모델 영상 신호의 각 화소에 대해 수행하여 한 프레임의 모델 영상 신호내의 모든 경계 화소를 추출해낸다.
이와 같이 경계 화소를 추출한후에는 경계 방향을 산출하는데(102), 경계 방향은 상기 경계 화소의 수직 및 수평 방향의 미분값의 아크탄젠트값(aran(h/v))으로 계산된다.
이를 위해 내부의 ROM에 룩업 테이블을 준비하여 놓으면 해당 값(h/v)에 대한 아크탄젠트 결과를 얻을 수 있으므로, 이를 통하여 경계 방향을 산출할 수 있다(102). 이때, 계산된 아크 탄젠트 값(atan(h,v))은 -180도에서 180도까지의 값을 가질 수 있으므로 이를 8단계로 나눈다. 즉, 도 3b에 도시한 바와 같이 경계의 방향에 따라 (x방향,y방향)으로 각각(-1,-1), (-1,0), (-1,1), (0,1), (0,-1), (1,-1), (1,0), (1,1)의 8가지를 가지게 된다.
한편, z성분은 도 3c에 도시한 바와 같이 현재 화소의 밝기값과 주변 8개 회소의 밝기값의 평균과의 비교에 의해서 '-1' 또는 '1'로 결정된다. 즉, 현화소의 밝기값이 주변 8개 화소의 평균값보다 크면 x, y 방향에 수정을 가하여 하향 벡터를 첨가하고, 현화소의 밝기값이 주변 8개 화소의 평균값보다 작으면 x, y 방향에 수정을 가하여 상향 벡터를 첨가한다. 다시말해서, 현화소의 밝기값이 주변 8개 화소의 평균값보다 크면 x, y 방향에 수정을 가하여 z성분이 '-1'이 되고, 현화소의 밝기값이 주변 8개 화소의 평균값보다 작으면 x, y 방향에 수정을 가하여 z성분이 '1'이 되게 한다.
이와 같이 경계 방향 추출 단계(102)를 수행한후에는 폐곡선 추출 단계(103)를 수행하여 모델 얼굴을 추출해낸다.
도 4 에 도시한 바와 같이 밝기값이 큰 경계 화소, 즉 밝기값이 상위 1/10 이상에 포함되는 경계 화소에서 출발하여 상기 추출된 경계 방향인 x,y,z 방향에 따라서 이동하고, 이동 궤적이 폐곡선을 형성하면 회의자의 얼굴이 추출되는 것이다.
한편, 폐곡선이 형성되지 않으면 다시 밝기값이 상위 1/10 이상에 포함되는 경계 화소를 선택하여 폐곡선을 추적하게 된다.
폐곡선이 형성되면 폐곡선의 내부가 올굴 부분이 되며 이 부분에 대해 화소값(I(x,y))을 '1'로 세팅한다.
이때, 화소값(I(x,y))이 '1'이 아닌 출발 화소가 존재하지 않으면 위의 과정을 종료한다. 즉, 타모델이 존재하지 않으면 위의 폐곡선 추출 단계를 종료한다.
이와 같이 모델 영상 신호에서 추출된 모델의 얼굴은 메모리에 저장되어 입력되는 회의자 영상 신호에서 추출된 회의자의 얼굴과의 정합에 이용된다.
모든 모델 영상 신호에 대해 선형 특징을 추출하여 다른 모델 영상 신호가 없는 경우에는 모델 처리 단계를 종료하고 상기 인식된 하나 또는 그 이상의 모델 영상 신호 중에서 하나를 선택하는 모델 선택 단계(201)를 수행한다.
즉, 카메라를 통해 영상 신호가 전달되어야 할 모델을 선택한다(201).
예를 들면 화상 회의에 참석하는 많은 회의자 중에서 주로 이야기를 하는 하나의 회의자를 선택한다.
카메라를 통해 입력되는 회의자의 영상 신호로부터 회의자 얼굴의 윤곽선을 추출하여 인식하는 회의자 영상처리 단계(202 내지 206)를 수행한다.
회의자 영상 처리단계는 위의 모델 처리 단계와 동일한 방법으로 수행된다.
즉, 카메라를 통해 입력되는 회의자 영상 신호를 A/D 변환하여 저장하고(202), 상기 저장된 회의자 영상 신호로부터 경계 화소를 추출하고(203), 상기 추출된 경계 화소를 이용하여 경계 방향을 추출하고 상기 회의자 영상 신호의 각 화소의 밝기값과 주변 화소의 밝기값의 평균을 비교하여 상기 경계 방향에 벡터를 첨가하고(204), 상기 회의자의 수에 따라 상기 회의자 영상 신호의 각 화소중에서 밝기값이 큰 경계 화소로 부터 상기 추출된 경계 방향에 따라 이동하면서 폐곡선을 추출하고(205), 상기 추출된 폐곡선의 내부를 회의자 얼굴로 인식하여 저장한다(206).
이때 도 5에 도시한 바와 같이 추출된 폐곡선은 회의자의 수에 따라 여러개가 될 수 있다.
이와 같이 회의자 영상 신호로부터 추출되어 저장된 다수의 회의자의 얼굴은 도 6에 도시한 바와 같이 상기 모델 영상 신호로부터 추출되고 선택된 모델의 얼굴과 비교되어 정합 여부가 판단된다(207). 이때 정합을 판단하기 위해서 상관도 계산이 사용된다.
선택된 모델과 다수의 회의자 얼굴의 상관도를 계산하기 위해서는 사용할 상관 함수를 결정해야 한다. 이러한 상관도 계산을 위한 상관 함수로는 아래 (식 3), (식 4), (식 5)에 나타낸 바와 같이 NCCF(Normalized Cross Correlation Function), MSE(Mean Square Error), 및 MAE(Mean Absolute Error)가 있다.
[식 3]
NCCF(p, q) = [ΣIn(i, j)·In+1(i+p, j+q)] / [(ΣIn 2(i, j))1/2·(ΣIn+1 2(i+p, j+q))1/2]
[식 4]
MSE(p, q) = E([In(i, j) - In+1(i+p, j+q)]2)
[식 5]
MAE(p, q) = E(┃In(i, j) - In+1(i+p, j+q)┃)
여기서 E(·)는 평균을 나타낸다.
상관 함수로는 NCCF가 가장 적합하지만 계산량을 고려하여 MAE를 사용한다.
MAE는 영상간의 상관도가 높을수록 작은 값을 나타내게 된다. 따라서 상관 함수로 MAE를 사용할때는 그 값이 가장 낮은 회의자의 얼굴이 정합된 것으로 판단되고 모델에 해당하는 회의자의 얼굴이 되는 것이다. 이때 정합된 회의자 얼굴이 초기 위치가 되며 이를 이용하여 중심점 추적 방법을 통해 회의자 추적 단계를 수행하게 된다.
즉, 정합이 이루어지면 회의자에 대한 초기 위치 추정이 가능하므로 이 초기 정보를 이용하여 카메라를 이동시켜 추적시키는데(208), 이를 도 7을 참조하여 세부적으로 설명한다.
인식 기능이 이루어진 다음에는 추적할 얼굴이 있는 초기 위치를 입력 영상에서 파악할 수 있다. 추적 단계에서는 이 초기 위치를 이용하여 계속 그 얼굴 부분을 추적하는 기능을 수행하는데, 이때 사용되는 추적 방법은 중심점 추적 방법이다.
적외선 영상은 배경에서 얼굴 부분을 추출하는 것이 일반 영상보다 상대적으로 용이하므로 중심점 추적 방법이 적절하며, 이의 수행 과정을 상세히 설명한다.
먼저, 윈도우 설정 단계(301)를 수행하여 상기 정합된 회의자가 있는 초기 위치에서 회의자의 얼굴을 포함하는 일정한 크기의 윈도우를 설정한다.
일반적으로 중심점 추적은 전체 영상을 대상으로하여 수행된다. 그러나 본 발명에서는 인식 기능을 통하여 초기 위치를 알 수 있으므로 초기 위치 근방에 한정하여 추적 기능을 수행한다. 즉, 사람의 얼굴을 포함하는 크기의 창인 윈도우를 설정하여 이 창내에서만 추적 기능을 수행하면 된다.
여기서, 창의 크기는 영상내에 얼굴의 크기를 포함하면서 회의자 영상 처리단계에서 제외된 다른 사람의 얼굴을 포함하지 않는 크기이면 된다.
이와 같이 윈도우 설정 단계(300)를 수행한후에는 상기 설정된 윈도우 내의 화소값을 이진화하는 이진화 단계(301)를 수행하고, 상기 정합된 회의자의 중심점 추적을 위한 문턱치(Thres)를 설정하는 문턱치 설정 단계(302)를 수행한다.
윈도우내에서 문턱치(Thres)를 설정하면 얼굴 부분을 쉽게 추출할 수 있으므로 문턱치를 설정하여 아래 식(6)에 도시한 바와 같이 이진화값 검색 단계를 수행한다.
[식 6]
I(x, y) = 1 if I(x, y) Thres
위의 식(6)에서 이진화 값을 검색하여 영상에서의 값이 '1'인 부분을 계속 추적하면 회의자의 추적이 가능해진다. 즉, 초기 인식에 의해 '1'값이 나타낸 부분으로 카메라가 움직이도록 모터를 구동하고 회의자가 움직이게 되면 '1'로 표시된 부분도 같이 이동하게 되고 이 이동 정보를 다시 모터에 전달하여 카메라를 이동시킨다(304).
따라서 창도 카메라와 같이 이동하게 되므로 계속 추적이 가능해진다.
한편, 추적을 위해 카메라가 이동하는 도중에 대상 얼굴의 급격한 이동이나 창안에 2인 이상의 얼굴이 촬영된 경우에는 인식기의 작용을 다시 활성화하여 인식 기능을 거쳐서 추적 대상 얼굴을 다시 인식해야 한다.
즉, 상기 카메라 이동 및 추적 단계(304) 수행 도중 회의자의 추적이 불가능한 경우 상기 회의자 영상 처리단계(202 내지 206)로 진행하여 회의자를 재인식 및 재추적하는 추적 불가능 처리 단계(305, 306)를 수행한다.
다음으로, 화상 회의 시스템의 회의자 추적 장치는 도8에 도시한 바와 같이 영상 저장부(600), 인식부(700), 제어부(500), 초기 위치 결정부(800), 추적부(900) 및 모터부(420)로 구성된다.
상기 영상 저장부(600)는 화상 회의시 하나 또는 그 이상의 회의자의 영상에 해당하는 각각의 모델과 회의자의 영상 신호를 A/D 변환하여 저장하는 것으로, 상기 제어부(600)의 제어에 따라 화상 회의시 하나 또는 그 이상의 회의자의 영상에 해당하는 각각의 모델 영상 신호와 회의자 영상 신호를 A/D 변환하는 A/D(Analog/Digital) 변환기(510), 및 상기 제어부(500)의 제어에 따라 상기 A/D 변환기(610)로부터 출력되는 영상 신호를 저장하여 상기 인식부(700)로 출력하는 메모리(620)로 구성된다.
상기 인식부(700)는 상기 영상 저장부(600)로 부터 출력되는 모델과 회의자 영상 신호를 입력으로 추출된 경계 화소를 이용하여 각각의 모델과 회의자의 얼굴에 해당하는 폐곡선을 추출하여 모델 얼굴을 인식하는 것으로, 상기 영상 저장부(600)에 저장된 모델과 회의자 영상 신호로부터 경계 화소를 추출하는 경계 화소 추출부(710), 상기 경계 화소 추출부(710)에서 추출된 경계 화소를 이용하여 경계 방향을 추출하고 상기 모델 및 회의자 영상 신호의 각 화소의 밝기값과 주변 화소의 밝기값의 평균을 비교하여 상기 경계 방향에 벡터를 첨가하는 경계 방향 추출부(720), 및 상기 경계 방향 추출부(720)에서 추출된 경계 방향에 따라 모델 및 회의자 영상 신호의 각 화소중에서 밝기값이 큰 경계 화소로 부터 상기 추출된 경계 방향에 따라 이동하면서 폐곡선을 추출하여 모델 및 회의자 얼굴로 인식하는 폐곡선 추출부(730)로 구성된다.
상기 제어부(500)는 CPU로 구성되어 상기 영상 저장부(600)와 인식부(700)의 동작을 제어하고 상기 인식부(700)에서 인식된 모델과 회의자 얼굴의 윤곽선을 정합하고 정합된 회의자를 추적하도록 제어한다.
상기 초기 위치 결정부(800)는 상기 제어부(500)의 제어에 따라 상기 정합된 회의자가 있는 초기 위치에서 일정한 크기의 윈도우를 설정한다.
상기 추적부(900)는 상기 제어부(500)의 제어에 따라 상기 초기 위치 결정부(800)의 출력을 입력으로 상기 정합된 회의자를 중심점 추적을 총해 추적한다.
상기 모터부(400)는 카메라(300)를 이동시키는 모터(410), 및 상기 제어부(500)의 제어에 따라 카메라의 방향을 이동시키기 위해 모터(420)를 구동시키는 모터 드라이버(420)로 구성된다.
이와 같이 구성되는 본 발명에 의한 화상 회의 시스템의 회의자 추적 장치의 동작을 설명한다.
먼저, 적외선 카메라(300)에서의 신호를 메모리에 저장하여 입력 영상을 생성해야 한다. 적외선 카메라에서 들어오는 신호, 예를 들어 NTSC 신호는 A/D 변환기(610)를 거쳐 2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x, y)이 된다. 이 영상은 RAM으로 이루어진 메모리(620)에 저장되어 입력 영상으로 사용된다.
디지탈 영상이 메모리(620)에 저장이 되고 나서는 제어부(500)에서 폐곡선 추출부(730)의 동작이 끝날때까지 상기 A/D 변환기(610)에서 메모리(620)에 신호를 저장하는 기능을 오프시켜서 입력 영상이 변하지 않게 한다.
물론 폐곡선 추출부(730)의 폐곡선 추출이 완료되면 다시 새로운 입력 영상을 받아들이도록 A/D 변환기(610)를 온시킨다.
상기 메모리(620)로부터 출력되는 영상 신호(I(x, y)는 경계 화소 추출부(710)에서 미분에 의해 경계 화소가 추출된다. 즉, 위의 식(1)과 식(2)에 의해 도 3a에 도시한 바와 같이 수평 및 수직 미분이 수행되어 미분값(h, v)이 구해진후 이 미분값의 크기((h2+ v2)1/2)는 다시 계산되고 설정된 경계선 판별용 문턱치와 비교되어 경계 화소를 찾아낸다.
또한, 경계 방향 추출부(720)에서는 이와 같이 추출된 경계 화소의 수직 및 수평 방향의 미분값의 아크탄젠트값(aran(h/v))으로 경계선 방향을 산출하고, 3차원적으로 z방향 성분을 추가한다.
폐곡선 추출부(800)에서는 밝기값이 상위 1/10 이상에 속하는 경계 화소에서 출발하여 상기 추출된 (x,y,z) 방향에 따라서 이동한다. 이동 궤적이 폐곡선을 형성하면 회의자의 얼굴로 추출하게 된다. 이와 같이 폐곡선을 추출하는 과정을 회의 참석자의 수만큼 수행한다. 이와 같이 추출된 폐곡선이 회의자의 얼굴이 된다.
제어부(500)에서는 모델의 영상 신호에 대해 미리 위의 과정을 수행하여 하나 또는 그 이상의 회의자의 얼굴을 사전에 카메라로 촬영해 놓은 모델의 얼굴을 데이타 베이스로 구축한다.
한편, 현재 카메라를 통해 입력되는 회의자의 적외선 영상 신호에 대해서도 위와 같은 과정을 통해 회의자의 얼굴을 추출한다. 즉, 회의자 영상 신호는 A/D 변환기(610)를 통해 메모리(620)에 저장된후, 경계 화소 추출부(710), 경계 방향 추출부(720), 및 폐곡선 추출부(730)를 거쳐 회의자의 얼굴이 추출된다.
이와 같이 추출된 회의자의 얼굴은 메모리에 저장되고, 이때 다수의 모델중에서 선택된 하나의 모델과 동일한 회의자를 제어부(500)에서 정합을 통해 추출해내고, 추출된 회의자를 중심점 추적 방법을 통해 추적기(900)에서 추적한다.
이상에서 설명한 바와 같이 본 발명에 의한 화상 회의 시스템의 회의자 추적 방법 및 장치는 경계 화소 및 방향을 이용하여 폐곡선을 추출하여 회의자를 인식한후 이를 추적하는 기능이 있어 화상 회의중 회의자가 이동하더라도 카메라로 추적이 가능하다.

Claims (9)

  1. 화상 회의시 하나 또는 그 이상의 회의자 영상에 해당하는 모델 영상 신호를 입력으로 추출된 경계 화소를 이용하여 각각의 모델 얼굴에 해당하는 폐곡선을 추출하여 모델 얼굴을 인식하는 모델 처리 단계(100 내지 105);
    상기 인식된 하나 또는 그 이상의 모델 영상 신호 중에서 하나를 선택하는 모델 선택 단계(201);
    카메라를 통해 입력되는 회의자 영상 신호를 입력으로 추출된 경계 화소를 이용하여 회의자 얼굴에 해당하는 폐곡선을 추출하여 회의자 얼굴을 인식하는 회의자 영상 처리 단계(202 내지 206);
    상기 선택된 모델 얼굴의 폐곡선과 상기 인식된 회의자 얼굴의 폐곡선을 정합시키는 정합 단계(207);
    상기 정합된 회의자를 추적하여 카메라를 이동시키는 회의자 추적 단계(208), 및
    상기 인식된 하나 또는 그 이상의 모델 영상 신호 중에서 다른 하나를 선택하는 경우 정합 단계(207)로 진행하는 모델 변경 단계(210)에 의해 수행됨을 특징으로 하는 화상 회의 시스템의 회의자 추적 방법.
  2. 제 1 항에 있어서, 상기 모델 처리 단계(100 내지 105)는 화상 회의시 인식할 회의자의 적외선 영상에 해당하는 모델 영상 신호를 A/D 변환하여 저장하는 모델 영상 신호 저장 단계(100); 상기 저장된 모델 영상 신호로부터 경계 화소를 추출하는 경계 화소 추출 단계(101); 상기 추출된 경계 화소를 이용하여 경계 방향을 추출하고 상기 모델 영상 신호의 각 화소의 밝기값과 주변 화소의 밝기값의 평균을 비교하여 상기 경계 방향에 벡터를 첨가하는 경계 방향 추출 단계(102); 상기 모델의 수에 따라 상기 모델 영상 신호의 각 화소중에서 밝기값이 큰 경계 화소로 부터 상기 추출된 경계 방향에 따라 이동하면서 폐곡선을 추출하는 폐곡선 추출 단계(103, 105); 및 상기 추출된 폐곡선의 내부를 모델 얼굴로 인식하여 저장하는 모델 얼굴 저장 단계(104)를 포함하여 수행됨을 특징으로 하는 화상 회의 시스템의 회의자 추적 방법.
  3. 제 1 항에 있어서, 상기 회의자 영상 처리단계(202 내지 206)는 카메라를 통해 입력되는 회의자 영상 신호를 A/D 변환하여 저장하는 회의자 영상 신호 저장 단계(202); 상기 저장된 회의자 영상 신호로부터 경계 화소를 추출하는 경계 화소 추출 단계(203); 상기 추출된 경계 화소를 이용하여 경계 방향을 추출하고 상기 회의자 영상 신호의 각 화소의 밝기값과 주변 화소의 밝기값의 평균을 비교하여 상기 경계 방향에 벡터를 첨가하는 경계 방향 추출 단계(204); 상기 회의자의 수에 따라 상기 회의자 영상 신호의 각 화소중에서 밝기값이 큰 경계 화소로 부터 상기 추출된 경계 방향에 따라 이동하면서 폐곡선을 추출하는 폐곡선 추출 단계(205), 및 상기 추출된 폐곡선의 내부를 회의자 얼굴로 인식하여 저장하는 회의자 얼굴 저장 단계(206)를 포함하여 수행됨을 특징으로 하는 화상 회의 시스템의 회의자 추적 방법.
  4. 제 2 항 또는 제 3 항에 있어서, 상기 경계 화소는 상기 저장된 모델 영상 신호의 수직 및 수평 방향의 미분값과 설정된 경계선 판별용 문턱치의 비교에 의해 결정됨을 특징으로 하는 화상 회의 시스템.
  5. 제 4 항에 있어서, 상기 경계 방향은 상기 경계 화소의 수직 및 수평 방향의 미분값의 아크탄젠트값(aran(h/v))으로 계산됨을 특징으로 하는 화상 회의 시스템.
  6. 제 1 항에 있어서, 상기 회의자 추적 단계(208)는 상기 정합된 회의자가 있는 초기 위치에서 회의자의 얼굴을 포함하는 일정한 크기의 윈도우를 설정하는 윈도우 설정 단계(300); 상기 설정된 윈도우 내의 화소값을 이진화하는 이진화 단계(301); 상기 정합된 회의자의 중심점 추적을 위한 문턱치를 설정하는 문턱치 설정 단계(302); 상기 이진화된 화소값이 설정된 문턱치 보다 큰지 검색하는 이진화 값 검색 단계(303); 및 상기 이진화 값 검색 결과 이진화 값이 상기 문턱치보다 큰 경우 상기 카메라를 이동시켜 추적을 수행하는 카메라 이동 및 추적 단계(304)를 포함하여 수행됨을 특징으로 하는 화상 회의 시스템의 회의자 추적 방법.
  7. 화상 회의시 하나 또는 그 이상의 회의자의 영상에 해당하는 각각의 모델과 회의자의 영상 신호를 A/D 변환하여 저장하는 영상 저장 수단(600);
    상기 영상 저장 수단(600)으로 부터 출력되는 모델과 회의자 영상 신호를 입력으로 추출된 경계 화소를 이용하여 각각의 모델과 회의자의 얼굴에 해당하는 폐곡선을 추출하여 모델 얼굴을 인식하는 인식 수단(700);
    상기 영상 저장 수단(600)과 인식 수단(700)의 동작을 제어하고 상기 인식 수단(700)에서 인식된 모델과 회의자 얼굴의 윤곽선을 정합하고 정합된 회의자를 추적하도록 제어하는 제어 수단(500);
    상기 제어 수단(500)의 제어에 따라 상기 정합된 회의자가 있는 초기 위치에서 일정한 크기의 윈도우를 설정하는 초기 위치 결정 수단(800); 및
    상기 제어 수단(500)의 제어에 따라 상기 초기 위치 결정 수단(800)의 출력을 입력으로 상기 정합된 회의자를 추적하는 추적 수단(900)으로 구성됨을 특징으로 하는 화상 회의 시스템의 회의자 추적 장치.
  8. 제 7 항에 있어서, 상기 영상 저장 수단(600)은 상기 제어 수단(600)의 제어에 따라 화상 회의시 하나 또는 그 이상의 회의자의 영상에 해당하는 각각의 모델 영상 신호와 회의자 영상 신호를 A/D 변환하는 A/D(Analog/Digital) 변환기(510); 및 상기 제어 수단(500)의 제어에 따라 상기 A/D 변환기(610)로부터 출력되는 영상 신호를 저장하여 상기 인식 수단(700)으로 출력하는 메모리(620)로 구성됨을 특징으로 하는 화상 회의 시스템의 회의자 추적 장치.
  9. 제 7 항에 있어서, 상기 인식 수단(700)은 상기 영상 저장 수단(600)에 저장된 모델과 회의자 영상 신호로부터 경계 화소를 추출하는 경계 화소 추출부(710); 상기 경계 화소 추출부(710)에서 추출된 경계 화소를 이용하여 경계 방향을 추출하고 상기 모델 및 회의자 영상 신호의 각 화소의 밝기값과 주변 화소의 밝기값의 평균을 비교하여 상기 경계 방향에 벡터를 첨가하는 경계 방향 추출부(720); 및 상기 경계 방향 추출부(720)에서 추출된 경계 방향에 따라 모델 및 회의자 영상 신호의 각 화소중에서 밝기값이 큰 경계 화소로 부터 상기 추출된 경계 방향에 따라 이동하면서 폐곡선을 추출하여 모델 및 회의자 얼굴로 인식하는 폐곡선 추출부(730)로 구성됨을 특징으로 하는 화상 회의 시스템의 회의자 추적 장치.
KR1019960054437A 1996-11-15 1996-11-15 화상 회의 시스템의 회의자 추적 방법 및 장치 KR100220836B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960054437A KR100220836B1 (ko) 1996-11-15 1996-11-15 화상 회의 시스템의 회의자 추적 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960054437A KR100220836B1 (ko) 1996-11-15 1996-11-15 화상 회의 시스템의 회의자 추적 방법 및 장치

Publications (2)

Publication Number Publication Date
KR19980035969A true KR19980035969A (ko) 1998-08-05
KR100220836B1 KR100220836B1 (ko) 1999-09-15

Family

ID=19482052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960054437A KR100220836B1 (ko) 1996-11-15 1996-11-15 화상 회의 시스템의 회의자 추적 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100220836B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378660A (zh) * 2021-05-25 2021-09-10 广州紫为云科技有限公司 一种低数据成本的人脸识别的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378660A (zh) * 2021-05-25 2021-09-10 广州紫为云科技有限公司 一种低数据成本的人脸识别的方法及装置
CN113378660B (zh) * 2021-05-25 2023-11-07 广州紫为云科技有限公司 一种低数据成本的人脸识别的方法及装置

Also Published As

Publication number Publication date
KR100220836B1 (ko) 1999-09-15

Similar Documents

Publication Publication Date Title
US6005609A (en) Method and apparatus for digital correlation object tracker using a shape extraction focalization technique
CN104601964B (zh) 非重叠视域跨摄像机室内行人目标跟踪方法及系统
CN101406390B (zh) 检测人体部位和人的方法和设备以及对象检测方法和设备
US20080013837A1 (en) Image Comparison
WO2006025691A1 (en) Method and apparatus for processing document image captured by camera
Hongo et al. Focus of attention for face and hand gesture recognition using multiple cameras
JP2008071172A (ja) 顔認証装置、顔認証方法および入退場管理装置
US20220318369A1 (en) Face recognition system and method capable of updating registered face templates
US20020041324A1 (en) Video conference system
CN115131405A (zh) 一种基于多模态信息的发言人跟踪方法及系统
Loutas et al. Probabilistic multiple face detection and tracking using entropy measures
JP3272584B2 (ja) 領域抽出装置及びそれを用いた方向検出装置
JP3774495B2 (ja) 画像情報抽出装置および方法
KR19980035969A (ko) 화상 회의 시스템의 회의자 추적 방법 및 장치
KR100215206B1 (ko) 화상 회의 시스템
CN113688680A (zh) 一种智能识别与追踪系统
JP3607440B2 (ja) ジェスチャー認識方法
CN113766130A (zh) 视频拍摄方法、电子设备及装置
JP3401511B2 (ja) 画像の特徴点の抽出方法、およびコンピュータに当該画像の特徴点の抽出方法を実行させるためのプログラム記録した、コンピュータ読取可能な記録媒体ならびに画像特徴点抽出装置
Hua et al. Detection and tracking of faces in real-time environments
KR101711307B1 (ko) 깊이정보 기반의 안면인식 휴대장치 또는 컴퓨터 기기 잠금해제시스템
JPH10149447A (ja) ジェスチャー認識方法および装置
JP2000078564A (ja) テレビカメラモニタ人物追跡方式
Sawettanusorn et al. Detection of face representative using newly proposed filter
KR102582431B1 (ko) 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090601

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee