KR100215208B1 - 화상 전화기의 대화자 추적 방법 및 장치 - Google Patents

화상 전화기의 대화자 추적 방법 및 장치 Download PDF

Info

Publication number
KR100215208B1
KR100215208B1 KR1019960048092A KR19960048092A KR100215208B1 KR 100215208 B1 KR100215208 B1 KR 100215208B1 KR 1019960048092 A KR1019960048092 A KR 1019960048092A KR 19960048092 A KR19960048092 A KR 19960048092A KR 100215208 B1 KR100215208 B1 KR 100215208B1
Authority
KR
South Korea
Prior art keywords
histogram
filter coefficient
value
center point
filtering
Prior art date
Application number
KR1019960048092A
Other languages
English (en)
Other versions
KR19980028902A (ko
Inventor
정성학
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019960048092A priority Critical patent/KR100215208B1/ko
Publication of KR19980028902A publication Critical patent/KR19980028902A/ko
Application granted granted Critical
Publication of KR100215208B1 publication Critical patent/KR100215208B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 적외선 카메라를 이용한 화상 전화기에 있어서, 히스토그램에 의해 적응적으로 결정된 필터 계수에 따라 이동 평균 필터링하여 배경과 대화자를 뚜렷하게 분리하고 중심적 추적을 통해 카메라를 이동시켜 대화자를 추적하는 대화자 추적 방법 및 장치에 관한 것이다.
본 발명은 영상의 통계학적인 특성인 히스토그램을 이용하여 이동 평균 필터를 개선하여 영상의 필터링 과정을 수행하므로써 추적 성능을 향상시키기 위한 것이다.
따라서 본 발명은 히스토그램에 의해 이동 평균 필터의 계수를 적응적으로 계산하여 필터링하므로써 대화자 부분을 더욱 선명하게 할 수 있다.

Description

화상 전화기의 대화자 추적 방법 및 장치
본 발명은 적외선 카메라를 이용한 화상 전화기에 있어서, 히스토그램에 의해 적응적으로 결정된 필터 계수에 따라 이동 평균 필터링하여 배경과 대화자를 뚜렷하게 분리하고 중심적 추적을 통해 카메라를 이동시켜 대화자를 추적하는 대화자 추적 방법 및 장치에 관한 것이다.
일반적으로 목표물, 즉 대화자(Target)를 추적하는 추적 기법에는 상관 추적 기법과 중심점 추적 기법이 있다.
상관 추적 기법은 도 1a에 도시한 바와 같이 이전 프레임의 이동 물체, 즉 대화자의 위치에 적당한 크기의 영역(A)을 정의하고 정의된 영역(A)과 현재 프레임내의 검색 영역과의 상관도를 계산하여 상관도가 가장 높은 영역(A')으로 물체가 이동한 것으로 추정하는 방법이다.
즉, 상관 추적 기법은 주어진 n번째 영상에서 이동 물체의 위치가 주어진 경우 이동 물체를 포함하는 일정한 크기의 윈도우 영역, 즉 상관 영역을 정의하고, n+1번째 영상에서의 검색 영역상의 각 위치에 대하여 상관도를 계산하여 상관도가 가장 높은 영역의 위치를 n+1번째 영상에서의 이동 물체의 위치로 간주한다.
여기서, 상관도 계산시 초기창의 모양, 즉 현재 프레임과 이전 프레임의 상관도 계산시 사용되는 영역은 주로 정사각형 형태의 윈도우로 이루어진다.
따라서 상관 추적 기법은 영상 영역화 과정을 수행하지 않고 입력되는 현재 프레임의 영상으로 부터 직접 상관도를 계산하기 때문에 비교적 복잡한 영상에 대해서도 추적 성능이 유지되지만 계산량이 많아지는 단점이 있다.
즉, 상관 추적 기법은 일반적으로 중심점 추적 기법에 비하여 영상을 이진화하지 않고 영상의 명암 정보를 사용하기 때문에 배경 산란 등이 첨가되어 영상 영역화가 불가능한 경우에도 어느 정도의 추적 성능을 기대할 수 있으나, 이동 물체의 움직임을 추정하기 위해서 상관도를 계산하여야 하기 때문에 계산량이 많아지는 단점이 있다.
한편, 중심점 추적 기법은 도1b에 도시한 바와 같이 이동 물체를 배경으로 부터 분리한후 추출된 이동 물체의 중심점(B)을 추적하는 방법이다.
일반적으로, 적외선 영상의 밝기값이 '0'에서 'N'까지 라고 하면 사람의 얼굴은 'N'의 값에 가깝고 배경은 '0'에 가깝다. 따라서 입력 영상(I(x,y))에 대해 미리 정해진 문턱치(t)를 적용하여 문턱치 보다 입력 영상의 밝기값이 크면 사람의 얼굴이라고 판단하게 된다. 즉, 아래 (식 1)과 같이 영상에서 물체, 즉 대화자의 얼굴을 추출한다.
[식 1]
┏ I(x,y) ≥ t, 대화자의 얼굴
┗ 그외의 경우, 배경
따라서 영상이 비교적 단순하여 영상 영역화가 용이할때에는 추적 안정성이 좋고 추적 가능한 물체의 속도에 대한 제약이 비교적 적어 추적 성능이 좋다.
그러나 중심점 추적 기법은 이동 물체, 즉 대화자를 배경과 분리하기 위해 문턱치를 이용하게 되어 영상에서 정확한 대화자를 추출하기 어렵다. 즉, 중심점 추적 기법은 문턱치를 이용하여 배경과 물체를 이진화하므로, 영상에서 정확한 물체를 추출하기 어려울 뿐만 아니라 입력 영상에 잡음이 존재하는 경우 그에 대한 영향을 많이 받는 단점이 있다.
이러한 잡음으로 발생되는 문제점을 개선하기 위해 일반적으로 이동 평균 필터를 사용하여 영상에서의 잡음을 줄인다.
일반적으로 이동 평균 필터는 다음 (식 2)와 같은 필터 계수(CO)를 갖게 된다.
[식 2]
┏ a b c ┓
CO = 1/N┃ d e f ┃
┗ g h i ┛
여기서, a, b, …, h, i, N의 값은 각 필터마다 다를 수 있으나 전부 '1'인 필터가 보편적이다. 즉, 현재 화소 주변에 인접한 8개의 화소를 평균내는데 8개중 히스토그램에서 같은 봉우리(Peak)내에 있는 화소만을 포함시켜서 평균을 낸다. 그러나 이러한 일반적인 이동 평균 필터는 잡음을 감소시키지만 영상에서 대화자와 배경 사이의 경계선도 같이 물러지게하여 대화자 추출을 방해하는 단점이 있다.
상기 단점을 개선하기 위한 본 발명은 화상 전화기에 있어서, 영상의 통계학적인 특성인 히스토그램을 이용하여 이동 평균 필터를 개선하여 추적 성능을 향상시키기 위한 대화자 추적 방법 및 장치를 제공함에 그 목적이 있다.
도 1a 는 종래의 상관 추적 기법을 설명하기 위한 도면
도 1b 는 종래의 중심점 추적 기법을 설명하기 위한 도면
도 2 는 본 발명에 의한 대화자 추적 방법의 흐름도
도 3 은 도 2 의 필터링 단계의 세부 흐름도
도 4a 는 도 3 의 필터링 단계를 설명하기 위한 도면
도 4b 는 도 3 의 필터링 단계를 설명하기 위한 히스토그램도
도 5 는 본 발명에 의한 대화자 추적 장치의 구성도
도면의 주요 부분에 대한 부호의 설명
300 : 카메라400 : 모터부
410 : 모터420 : 모터 드라이버
500 : 제어부600 : 영상 저장부
610 : A/D 변환기620 : 메모리
700 : 필터링부710 : 히스토그램 추출기
720 : 필터 계수 결정기 730 : 필터
800 : 이진화부900 : 중심점 계산부
상기 목적을 달성하기 위해 본 발명에 의한 화상 전화기의 대화자 추적 방법은 추적 모드에서 입력되는 적외선 영상 신호의 각 화소의 밝기값에 따라 결정된 히스토그램값에 의해 필터 계수를 결정하여 이동 평균 필터링(Moving Average filtering)하는 필터링 단계; 상기 필터링된 각 화소의 밝기값을 이진화하는 이진화 단계; 상기 이진화된 값에 따라 대화자의 얼굴을 추출하여 중심점을 계산하는 중심점 계산 단계; 및 상기 계산된 중심점에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정 및 모터 구동 단계를 포함하여 수행됨을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명에 의한 화상 전화기의 대화자 추적 장치는 추적 모드에서 입력되는 적외선 영상 신호를 A/D 변환하여 저장하는 영상 저장 수단; 상기 영상 저장 수단에 저장된 적외선 영상 신호의 각 화소의 밝기값에 따라 결정된 히스토그램값에 의해 필터 계수를 결정하여 이동 평균 필터링하는 필터링 수단; 상기 필터링 수단에서 필터링된 각 화소의 밝기값을 이진화하는 이진화 수단; 상기 이진화 수단에서 이진화된 값에 따라 대화자 얼굴을 추출하여 중심점을 계산하는 중심점 계산 수단; 및 상기 영상 저장 수단의 동작을 제어하고 상기 중심점 계산 수단에서 계산된 중심점에 따라 대화자의 움직임을 추정하여 카메라를 이동시키도록 제어하는 제어 수단을 포함하여 구성됨을 특징으로 한다.
이하 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
본 발명에 의한 화상 전화기의 대화자 추적 방법은 도2에 도시한 바와 같이 필터링 단계(100, 101, 102), 이진화 단계(103, 104), 중심점 계산 단계(105), 및 움직임 추정 및 모터 구동 단계(106)에 의해 수행된다.
상기 필터링 단계(100, 101, 102)는 추적 모드에서 입력되는 적외선 영상 신호의 각 화소의 밝기값에 따라 결정된 히스토그램값에 의해 필터 계수를 결정하여 이동 평균 필터링(Moving Average filtering)하는 단계로, 추적 모드에서 입력되는 적외선 영상 신호를 A/D(Analog/Digital) 변환하여 저장하는 적외선 영상 저장 단계(100, 101), 상기 저장된 각 밝기값에 따라 히스토그램값을 추출하는 히스토그램 추출 단계(201), 상기 추출된 히스토그램값에 따라 주변 화소의 동일 봉우리 여부를 판단하여 각 화소에 적응적으로 필터 계수를 결정하는 필터 계수 결정 단계(202, 203, 204, 205, 206), 및 상기 결정된 필터 계수를 이용하여 필터링하고 이동 평균을 수행하는 이동 평균 수행 단계(207, 208)에 의해 수행된다.
상기 이진화 단계(103, 104)는 상기 필터링된 각 화소의 밝기값을 이진화하는 단계이다.
상기 중심점 계산 단계(105)는 이진화된 값에 따라 대화자의 얼굴을 추출하여 중심점을 계산하는 단계이다.
움직임 추정 및 모터 구동 단계(106, 107)는 상기 계산된 중심점에 따라 움직임을 추정하여 카메라를 이동시키는 단계이다.
이와 같이 이루어지는 본 발명에 의한 화상 전화기의 대화자 추적 방법을 첨부한 도면을 참조하여 상세하게 설명한다.
먼저, 필터링 단계(100, 101, 102)를 수행하여 입력되는 적외선 영상 신호의 각 화소의 밝기값을 이동 평균 필터링하는데, 이를 세부적으로 설명하면 다음과 같다.
전화가 개시되고 사용자의 상황에 따라서 추적 기능을 사용하기를 원하지 않을 경우가 있을 수 있으므로 사용자가 추적 기능을 사용할 것인가를 먼저 결정한다(100). 추적 모드와 비추적 모드의 구별은 스위치로 간단하게 구현할 수 있다. 즉, 스위치가 온(ON)되어 있으면 추적 기능을 수행하고 오프(OFF)되어 있으면 수행하지 않는다.
스위치를 온시켜 추적 기능을 수행하는 추적 모드가 되면 카메라로 부터 입력되는 적외선 영상을 A/D(Analog/Digital) 변환하여 저장하는 적외선 영상 저장 단계(101)를 수행한다.
즉 카메라에서 들어오는 적외선 영상 신호는 A/D 변환기를 통해 2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x, y))이 되어 저장된다. 이러한 디지탈 영상을 메모리에 저장하여 입력 영상으로 사용하게 된다.
이와 같이 저장된 적외선 영상 신호는 이동 평균 필터링(102)이 수행되는데, 이 과정을 도 3, 도 4a, 및 도4b를 참조하여 설명한다.
상기 저장된 적외선 영상 신호의 각 화소의 밝기값에 따라 히스토그램값을 추출한다(201).
히스토그램이란 입력 영상의 각 밝기값에 대해 얼마나 많은 화소가 그 값을 가지는지를 나타내는 그래프이다. 따라서 도 4b에 도시한 바와 같이 각 밝기값에 대해 히스토그램 값, 즉 화소수를 그래프로 표시한다.
이와 같이 히스토그램값을 추출한후에는 필터 계수, 즉 이동 평균 필터의 필터 계수인 a, b, …, h, i, N 값을 구한다.
먼저, 도 4a 에 도시한 바와 같이 현재 화소(F)에 대한 주변 화소(X1 내지 X8)의 밝기값에 따라 동일 봉우리에 위치하였는지의 여부를 판단한다(202, 203).
즉, 도 4b에 도시한 바와 같이 현재 화소의 밝기값인 k에 해당하는 히스토그램에서의 값, 즉 화소수가 n이라고 하고, 주변 화소의 밝기값인 l에 해당하는 히스토그램에서의 값, 즉 화소수가 m이라고 할 때, 밝기값 k와 l사이의 밝기값인 x에 해당하는 히스토그램에서의 값, 즉 화소수 y에 대해 (k, n)과 (l, m)을 잇는 직선(d)과 (x, y)의 거리(O1, O2, …, O6)가 일정한 문턱치 이상이 되면 현재 화소와 주변 화소는 같은 봉우리내에 있는 화소가 아니다.
디시말해서, 히스토그램(HG)의 특정 위치의 두 점인 (k, n)과 (l, m)을 잇는 직선(d)이 있고, 두 점인 (k, n)과 (l, m) 사이에 위치한 히스토그램상의 한 점(x, y)이 있을 때, 직선(d)과 한점(x, y)사이의 거리(O)가 일정한 문턱치 이상이 되면 주변 화소를 동일 봉우리 내에 포함시키지 않고 그렇지 않으면 동일한 봉우리이므로 평균 계산시에 포함시킨다.
동일한 봉우리로 판단된 경우에는 평균 계산을 위해 주변 화소의 위치에 따라 해당하는 위치의 계수를 '1'로 세트하고, 다른 봉우리로 판단된 경우에는 주변 화소의 위치에 따라 해당하는 위치의 계수를 '0'으로 세트하여 필터 계수를 결정한다(204, 205, 206). 이때 '1'의 갯수에 따라 이동 평균 필터의 계수 'N'을 결정한다. 즉, 'N'의 값을 '1'의 값을 가지는 주변 화소의 갯수가 된다.
이와 같이 필터 계수를 결정한후에는 상기 결정된 필터 계수를 이용하여 필터링하고(207) 현재 화소를 대체하는 이동 평균을 수행한다(208).
즉, 필터 계수 결정 단계를 수행하여 결정된 필터 계수 a, b, …, h, i 까지의 값을 이용하여 평균을 구한 다음 이값으로 현재 화소의 값을 대체한다.
위의 필터링 단계(102)를 수행한후에는 문턱치를 설정하여(103) 이진화를 수행한다(104). 즉, 이동 평균 필터링을 통한 전처리 과정이 끝난 입력 영상에 대해 문턱치를 설정하여 상기 문턱치보다 화소의 밝기값이 크면 그 화소의 값을 '1'로 하고 아니면 '0'으로 클리어한다.
이와 같이 각 화소의 밝기값에 대해 이진화를 수행한후에는 '1'로 세트된 화소를 대화자의 얼굴로 결정하고 중심점을 계산한다(105). 각 화소의 이진화값이 '1'인 부분에 대해 중심점은 다음 (식 3)과 (식 4)와 같이 계산할 수 있다.
[식 3]
x중심점 = 1/N Σ I(i, j) X i
[식 4]
y중심점 = 1/N Σ I(i, j) X j
여기서, N은 대화자 얼굴의 영상을 이루는 화소, 즉 이진화 값이 '1'인 화소의 갯수이다.
중심점 계산후에는 움직임 추정 및 모터 구동 단계(106, 107)를 수행하여 상기 계산된 중심점에 따라 움직임을 추정하여 카메라를 이동시킨다.
상기 필터링 단계, 이진화 단계, 및 중심점 계산 단계를 계속 반복 적용하여 카메라가 대화자를 추적하는데, 1초에 10회 정도만 실행되더라도 대화자를 충분히 추적할 수 있다.
다음으로, 화상 전화기의 대화자 추적 장치는 도 5에 도시한 바와 같이 영상 저장부(600), 필터링부(700), 이진화부(800), 중심점 계산부(900), 모터부(400), 제어부(500) 및 적외선 카메라(300)로 구성된다.
상기 영상 저장부(600)는 제어부(500)의 제어에 따라 추적 모드에서 입력되는 적외선 영상 신호를 A/D 변환하여 저장하는 것으로, 상기 제어부(500)의 제어에 따라 추적 모드에서 입력되는 적외선 영상신호를 A/D 변환하는 A/D 변환기(610), 및 상기 제어부(500)의 제어에 따라 상기 A/D 변환기(610)로부터 출력되는 적외선 영상 신호를 저장하는 메모리(620)로 구성된다.
상기 모터부(400)는 카메라(300)를 이동시키는 모터(410)와, 상기 제어부(500)의 제어에 따라 상기 모터(410)를 구동시키는 모터 드라이버(420)로 구성된다.
상기 필터링부(700)는 상기 영상 저장부(600)의 메모리(620)에 저장된 적외선 영상 신호의 각 화소의 밝기값에 따라 결정된 히스토그램값에 의해 필터 계수를 결정하여 이동 평균 필터링하는 것으로, 상기 영상 저장부(600)의 메모리(620)에 저장된 적외선 영상 신호의 각 화소의 밝기값에 따라 히스토그램값을 추출하는 히스토그램 추출기(710), 상기 히스토그램 추출기(710)로부터 출력되는 히스토그램값에 따라 주변 화소의 동일 봉우리 여부를 판단하여 필터 계수를 결정하는 필터 계수 결정기(720), 및 상기 필터 계수 결정기(720)로부터 출력되는 필터 계수에 따라 상기 영상 저장부(600)의 메모리(620)에 저장된 적외선 영상 신호를 이동 평균 필터링하는 필터(730)로 구성된다.
상기 이진화부(800)는 상기 필터링부(700)의 필터(730)에서 출력되는 필터링된 각 화소의 밝기값을 이진화한다.
상기 중심점 계산부(900)는 상기 이진화부(800)에서 이진화된 값에 따라 대화자 얼굴을 추출하여 중심점을 계산한다.
제어부(500)는 상기 영상 저장부(600)의 동작을 제어하고 상기 중심점 계산 부(900)에서 계산된 중심점에 따라 대화자의 움직임을 추정하여 카메라를 이동시키기 위해 모터부(400)의 모터 드라이버(420)를 제어한다.
이와 같이 구성되는 본 발명에 의한 화상 전화기의 대화자 추적 장치의 동작을 설명한다.
먼저, 제어부(500)의 제어에 따라 A/D 변환기(610)가 온되어 적외선 카메라(300)로 부터 들어오는 NTSC 신호를 A/D 변환하여 디지탈 신호로 출력하게 된다.
즉, 추적 모드가 온되어 전화 통화를 시작하는 경우에는 카메라(300)로부터 들어오는 영상 신호를 A/D 변환기(610)에서 A/D 변환하고 A/D 변환된 디지탈 영상 신호를 메모리(620)에 저장하게 된다.
메모리(620)에 저장된 영상 신호는 히스토그램 추출기(710)에서 도4 b에 도시한 바와 같이 히스토그램 값이 추출된다.
히스토그램 추출기(710)로부터 출력되는 히스토그램 값에 따라 각 화소에 대해 전처리 과정이 필터 계수 결정기(720)에서 수행된다. 즉, 위의 이동 평균 필터의 필터 계수인 a, b, …, h, i 값을 구한다.
즉, 히스토그램(HG)의 특정 위치의 두 점인 (k, n)과 (l, m)을 잇는 직선(d)이 있고, 두 점인 (k, n)과 (l, m) 사이에 위치한 히스토그램상의 한 점(x, y)이 있을 때, 직선(d)과 한점(x, y)사이의 거리(O)가 일정한 문턱치 이상이 되면 주변 화소를 동일 봉우리 내에 포함시키지 않고 그렇지 않으면 동일한 봉우리이므로 평균 계산시에 포함시킨다. 이때 도 4a에 도시한 바와 같이 동일한 봉우리로 판단된 경우에는 평균 계산을 위해 주변 화소의 위치에 따라 해당하는 위치의 계수를 '1'로 세트하고, 다른 봉우리로 판단된 경우에는 주변 화소의 위치에 따라 해당하는 위치의 계수를 '0'으로 세트하여 필터 계수를 결정한다.
이와 같이 필터 계수 결정기(720)에서 필터 계수를 결정한후에는 필터(730)에서 결정된 필터 계수를 이용하여 필터링된 값을 구하고, 현재 화소를 대체하는 이동 평균을 수행한다. 즉, 위에서 결정된 필터 계수 a, b, …, h, i 값을 이용하여 필터(730)에서 평균을 구한 다음 이값을 현재 화소의 값으로 대체한다.
필터(730)로부터 출력되는 필터링된 값은 이진화부(800)에 입력되어 설정된 문턱치에 따라 이진화가 수행된다. 즉, 이진화부(800)에서는 이동 평균으로 전처리 과정이 끝난 입력 영상을 설정된 문턱치와 비교하여 설정된 문턱치보다 화소의 밝기값이 크면 그 화소의 값을 '1'로 세트하고 아니면 '0'으로 클리어한다.
중심점 계산부(900)에서는 각 화소(I(x,y)) 중에서 '1'로 세트된 화소를 얼굴 부분으로 판단하여 대화자 얼굴로 추출하고 중심점을 계산한다.
즉, 중심점 계산부(900)에서는 위의 (식 3)과 (식 4)와 같이 중심점이 계산된다.
추적 장치, 즉 제어부(500)가 먼저 기동된후에는 영상 저장부(600)와 필터부(700)와 이진화부(800)가 기동되고 중심점 계산부(900)에서 중심점이 계산되어 제어부(500)로 중심점의 위치를 전달한다. 이때 모터 드라이버(420)에서는 제어부(500)의 제어에 따라 모터(410)를 구동시켜 적외선 카메라(300)가 대화자를 추적할 수 있도록 한다.
한편, 제어부(500)에서는 적외선 카메라(300)에서 적외선 영상이 입력되면 A/D 변환기(610)와 메모리(620)를 온시켜 적외선 카메라(300)로부터 들어오는 영상 신호를 A/D 변환하여 저장할 수 있도록 한다.
이와 같이 메모리(620)에 저장한후에는 A/D 변환기(610)를 오프시켜 다시 카메라(300)로부터 들어오는 영상 신호를 받아들이지 못하도록 한다.
그리고 중심점 계산부(900)에서 중심점이 계산된후에는 다시 A/D 변환기(610)와 메모리(620)를 온시켜 카메라(300)로부터 들어오는 다음 영상 신호를 받아들일 수 있도록 한다.
이와 같은 동작은 입력된 영상 신호로부터 대화자 얼굴이 추출되어 중심점이 계산될때까지 현재 입력된 영상이 변하지 않도록 하기 위한 것이다.
이상에서 설명한 바와 같이 본 발명에 의한 화상 전화기의 대화자 추적 방법 및 장치는 히스토그램에 의해 이동 평균 필터의 계수를 적응적으로 계산하여 필터링하므로써 대화자 부분을 더욱 선명하게 할 수 있는 효과가 있다.

Claims (5)

  1. 추적 모드에서 입력되는 적외선 영상 신호의 각 화소의 밝기값에 따라 결정된 히스토그램값에 의해 필터 계수를 결정하여 이동 평균 필터링(Moving Average filtering)하는 필터링 단계(100, 101, 102);
    상기 필터링된 각 화소의 밝기값을 이진화하는 이진화 단계(103, 104);
    상기 이진화된 값에 따라 대화자의 얼굴을 추출하여 중심점을 계산하는 중심점 계산 단계(105); 및
    상기 계산된 중심점에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정 및 모터 구동 단계(106, 107)를 포함하여 수행됨을 특징으로 하는 화상 전화기의 대화자 추적 방법.
  2. 제 1 항에 있어서, 상기 필터링 단계(100, 101, 102)는 추적 모드에서 입력되는 적외선 영상 신호를 A/D(Analog/Digital) 변환하여 저장하는 적외선 영상 저장 단계(100, 101); 상기 저장된 각 밝기값에 따라 히스토그램값을 추출하는 히스토그램 추출 단계(201); 상기 추출된 히스토그램값에 따라 주변 화소의 동일 봉우리 여부를 판단하여 각 화소에 적응적으로 필터 계수를 결정하는 필터 계수 결정 단계(202, 203, 204, 205, 206); 및 상기 결정된 필터 계수를 이용하여 필터링하고 이동 평균을 수행하는 이동 평균 수행 단계(207, 208)에 의해 수행됨을 특징으로 하는 화상 전화기의 대화자 추적 방법.
  3. 추적 모드에서 입력되는 적외선 영상 신호를 A/D 변환하여 저장하는 영상 저장 수단(600);
    상기 영상 저장 수단(600)에 저장된 적외선 영상 신호의 각 화소의 밝기값에 따라 결정된 히스토그램값에 의해 필터 계수를 결정하여 이동 평균 필터링하는 필터링 수단(700);
    상기 필터링 수단(700)에서 필터링된 각 화소의 밝기값을 이진화하는 이진화 수단(800);
    상기 이진화 수단(800)에서 이진화된 값에 따라 대화자 얼굴을 추출하여 중심점을 계산하는 중심점 계산 수단(900); 및
    상기 영상 저장 수단(600)의 동작을 제어하고 상기 중심점 계산 수단(900)에서 계산된 중심점에 따라 대화자의 움직임을 추정하여 카메라를 이동시키도록 제어하는 제어 수단(500)을 포함하여 구성됨을 특징으로 하는 화상 전화기의 대화자 추적 장치.
  4. 제 3 항에 있어서, 상기 영상 저장 수단(600)은 상기 제어 수단(500)의 제어에 따라 추적 모드에서 입력되는 적외선 영상신호를 A/D 변환하는 A/D 변환기(610); 및 상기 제어 수단(500)의 제어에 따라 상기 A/D 변환기(610)로부터 출력되는 적외선 영상 신호를 저장하는 메모리(620)를 포함하여 구성됨을 특징으로 하는 화상 전화기의 대화자 추적 장치.
  5. 제 3 항에 있어서, 상기 필터링 수단(700)은 상기 영상 저장 수단(600)에 저장된 적외선 영상 신호의 각 화소의 밝기값에 따라 히스토그램값을 추출하는 히스토그램 추출기(710); 상기 히스토그램 추출기(710)로부터 출력되는 히스토그램값에 따라 주변 화소의 동일 봉우리 여부를 판단하여 필터 계수를 결정하는 필터 계수 결정기(720); 및 상기 필터 계수 결정기(720)로부터 출력되는 필터 계수에 따라 상기 영상 저장 수단(600)에 저장된 적외선 영상 신호를 이동 평균 필터링하는 필터(730)로 구성됨을 특징으로 하는 화상 전화기의 대화자 추적 장치.
KR1019960048092A 1996-10-24 1996-10-24 화상 전화기의 대화자 추적 방법 및 장치 KR100215208B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960048092A KR100215208B1 (ko) 1996-10-24 1996-10-24 화상 전화기의 대화자 추적 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960048092A KR100215208B1 (ko) 1996-10-24 1996-10-24 화상 전화기의 대화자 추적 방법 및 장치

Publications (2)

Publication Number Publication Date
KR19980028902A KR19980028902A (ko) 1998-07-15
KR100215208B1 true KR100215208B1 (ko) 1999-08-16

Family

ID=19478785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960048092A KR100215208B1 (ko) 1996-10-24 1996-10-24 화상 전화기의 대화자 추적 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100215208B1 (ko)

Also Published As

Publication number Publication date
KR19980028902A (ko) 1998-07-15

Similar Documents

Publication Publication Date Title
JP4335565B2 (ja) 画像あるいは一連の画像内の1つあるいは複数の色領域を検出しかつ/または追跡するための方法および装置
CN101223786A (zh) 带有视频时间上变换的处理方法和设备
KR20090037275A (ko) 인체 부분 검출 장치 및 그 방법
CN111583357A (zh) 一种基于matlab系统的物体运动图像捕捉合成方法
EP2017788A1 (en) Shielding-object video-image identifying device and method
KR100215208B1 (ko) 화상 전화기의 대화자 추적 방법 및 장치
CN114529715B (zh) 一种基于边缘提取的图像识别方法及系统
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
KR100220838B1 (ko) 화상 전화기의 목표물 추적 방법 및 장치
KR100220834B1 (ko) 화상전화기의 목표물 추적장치 및 방법
KR100235316B1 (ko) 화상전화기의 목표물 추적 방법 및 장치
Talea et al. Automatic combined lip segmentation in color images
KR100220837B1 (ko) 화상 전화기의 목표물 추적 방법 및 장치
CN113380236A (zh) 基于唇部的语音端点检测方法及装置、车载终端、存储介质
KR100215209B1 (ko) 화상전화기의 목표물 추적장치 및 방법
KR100220833B1 (ko) 화상 전화기의 목표물 추적 방법
KR100220843B1 (ko) 화상 전화기의 대화자 추적 방법
KR100215203B1 (ko) 화상 전화기의 목표물 추적 방법 및 장치
JP4636314B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
Kim et al. Design and implementation of a lip reading system in smart phone environment
KR100209193B1 (ko) 화상전화기의 목표물 추적장치 및 방법
KR100215206B1 (ko) 화상 회의 시스템
KR100215210B1 (ko) 화상전화기의 대화자 추적장치 및 방법
JP4687955B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
KR100226583B1 (ko) 화상전화기의 목표물 추적장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee