KR100298184B1 - 동영상부호화장치에서눈동자영상처리방법 - Google Patents

동영상부호화장치에서눈동자영상처리방법 Download PDF

Info

Publication number
KR100298184B1
KR100298184B1 KR1019980054718A KR19980054718A KR100298184B1 KR 100298184 B1 KR100298184 B1 KR 100298184B1 KR 1019980054718 A KR1019980054718 A KR 1019980054718A KR 19980054718 A KR19980054718 A KR 19980054718A KR 100298184 B1 KR100298184 B1 KR 100298184B1
Authority
KR
South Korea
Prior art keywords
eye image
image
window
eye
model
Prior art date
Application number
KR1019980054718A
Other languages
English (en)
Other versions
KR20000039399A (ko
Inventor
장순화
김시중
김재동
Original Assignee
이계철
한국전기통신공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이계철, 한국전기통신공사 filed Critical 이계철
Priority to KR1019980054718A priority Critical patent/KR100298184B1/ko
Publication of KR20000039399A publication Critical patent/KR20000039399A/ko
Application granted granted Critical
Publication of KR100298184B1 publication Critical patent/KR100298184B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은 동영상 부호화 장치에서 눈동자 영상 처리 방법에 관한 것임.
2. 발명이 해결하고자하는 과제
본 발명은 동영상 부호화 장치에서, 인간의 눈 주위의 영상정보를 효과적으로 처리하여 압축 효율을 높일 수 있는 눈동자 영상 처리 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 사용자의 눈 영상의 모델을 추출하는 제 1 단계; 실제 입력되는 영상에서 상기 눈 영상의 위치를 추적하고 영상 전체의 움직임을 추정하는 제 2 단계; 및 상기 추출한 눈 영상의 모델과 실제 추출된 눈 영상의 차이를 구하여, 그 차이가 소정의 임계값을 넘어가는지를 확인한 후, 상기 실제 입력된 눈 영상의 위치에 상기 추출한 눈 영상 모델을 삽입하여 눈의 움직임을 제한하는 제 3 단계를 포함한다.
4. 발명의 중요한 용도
본 발명은 동영상 부호화 장치 등에 이용됨.

Description

동영상 부호화 장치에서 눈동자 영상 처리 방법{EYE IMAGE PROCESS METHOD IN VIDEO CODER}
본 발명은 동영상 부호화 장치에서의 눈동자 영상 처리 방법에 관한 것이다.
일반적인, 저속 동영상 압축 부호화 장치에서의 압축부호화 방식은 영상전화 표준(예 : ITU-T H.261, H.263 )이나, 티브리(TV)급 혹은 에이치디티브이(HDTV)급 동영상 압축부호화 표준(ISO/IEC MPEG-2)에서 공히 사용되고 있는 방식이다.
또한, 향후 전개될 차세대 이동통신(IMT-2000) 시스템과 같은 차세대 휴대전화 표준에서도 영상전화/회의 등을 위하여 사용되는 방식이다. 그중 이동벡터 추정 기능은 16x16 블록의 이동벡터를 추정하기 위하여 이전 영상에서 적절한 탐색영역을 정하고, 현재 부호화하려는 16x16 블록의 영상을 탐색영역내의 영상과 비교하여 가장 유사한 곳을 찾아 그 상대적인 변위를 이동벡터로서 전송한다.
그리고, 그 변위에 해당하는 과거영상의 위치에서 현재영상의 블록에 해당하는 크기의 블록을 가져와 그 차이만을 변환부호화를 통해 전송함으로써, 시간축 방향의 중복성을 없앰으로써 데이터량을 감축하는 것이다.
또한, 대부분의 영상 부호기 알고리즘에서 사용하고 있는 움직임 추정방법은 블록정합 알고리즘(BMA: Block Matching Algorithm)을 이용한다.
그러나, 블록정합 알고리즘은 물체의 회전, 확대, 축소, 밝기의 변화, 모양의 변화가 없다는 것을 전제로 한다.
즉, 딱딱한 물체가 카메라 축에 수직방향으로 2차원 운동(병진운동 : translational motion)을 할 때만 가장 정확하게 움직임을 추정할 수 있으며, 사람의 머리와 어깨 영상에서 이에 근접한 움직임은 머리 전체의 움직임이다.
그리고, 머리의 움직임도 목을 중심으로 회전운동을 할 때가 많으나, 초당 10 내지 15 프레임을 부호화할 경우 약 0.1초 정도의 시간 간격에서는 거의 병진운동으로 근사화할 수 있다.
그 중에서 입의 움직임은 들리는 말소리와 일치해야 하기 때문에, 주의를 기울여 부호화해야 할 부분이다.
반면에, 눈의 움직임은 때로는 눈을 감기도 하나 대부분 떠있는 상태로 상대방과 대화를 주고받는다.
눈의 깜박임은 사람에 따라 다르나 대개 0.2 내지 0.5초 정도의 시간을 소요로 한다.
또한, 깜박임의 횟수도 개인차가 많이 나서, 통상 5초에서 1분까지 다양한 분포를 보인다.
사람 눈의 시선 자체는 중요한 정보를 포함하지만 이러한 눈의 깜박임은 상대방에게 큰 정보를 제공하지 못하며, 오히려 너무 자주 깜박이는 것은 대화상의 불안한 요인으로 작용할 수도 있다.
상기한 바와 같은 종래의 눈동자 영상 처리 방법의 경우, 사람의 눈의 움직임으로 인해 상대방에게 큰 정보를 제공하지 못하며, 오히려 너무 자주 깜박이는 것은 대화상의 불안한 요인으로 작용함로써, 저속에서 부호화해야 할 정보량이 늘어나고, 압축효율이 떨어지는 문제점이 있다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 동영상 부호화 장치에서, 눈 주위의 영상정보를 효과적으로 처리하여 압축 효율을높일 수 있는 눈동자 영상 처리 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1은 본 발명이 적용되는 동영상 부호화 장치의 구성 블록도.
* 도면의 주요 부분에 대한 부호의 설명
111: 입력 처리부 112: 움직임 추정 및 보상부
113: 부호화 모드 결정부 114: 2차원 이산 여현 변환부
115: 양자화부 116: 역양자화부
117: 2차원 역이산 여현 변환부 118: 이전영상 재생부
119: 이전영상 메모리 120: 스캐너
121: 가변길이 부호화부
이와 같은 목적을 달성하기 위하여 본 발명은, 동영상 부호화 장치에 적용되는 눈동자 영상 처리 방법에 있어서, 사용자의 눈 영상의 모델을 추출하는 제 1 단계; 실제 입력되는 영상에서 상기 눈 영상의 위치를 추적하고 영상 전체의 움직임을 추정하는 제 2 단계; 및 상기 추출한 눈 영상의 모델과 실제 추출된 눈 영상의 차이를 구하여, 그 차이가 소정의 임계값을 넘어가는지를 확인한 후, 상기 실제 입력된 눈 영상의 위치에 상기 추출한 눈 영상 모델을 삽입하여 눈의 움직임을 제한하는 제 3 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명은, 컴퓨터에, 사용자의 눈 영상의 모델을 추출하는 제 1 기능; 실제 입력되는 영상에서 상기 눈 영상의 위치를 추적하고 영상 전체의 움직임을 추정하는 제 2 기능; 및 상기 추출한 눈 영상의 모델과 실제 추출된 눈 영상의 차이를 구하여, 그 차이가 소정의 임계값을 넘어가는지를 확인한 후, 상기 실제 입력된 눈 영상의 위치에 상기 추출한 눈 영상 모델을 삽입하여 눈의 움직임을 제한하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예를 상세하게 설명한다.
도 1은 본 발명이 적용되는 동영상 부호화 장치의 구성 블록도로서, 입력 처리부(111)와, 움직임 추정 및 보상부(112)와, 부호화 모드 결정부(113)와, 2차원 이산 여현 변환부(114)와, 양자화부(115)와, 역양자화부(116)와, 2차원 역이산 여현 변환부(117)와, 이전영상 재생부(118)와, 이전영상 메모리(119)와, 스캐너(120)와, 가변길이 부호화부(121)를 구비한다.
상기한 바와 같은 구조를 갖는 본 발명이 적용되는 동영상 부호화 장치의 동작에 대하여 설명하면 다음과 같다.
입력 처리부(111)가 외부로부터 영상 관련 데이터를 입력받아 움직임 추정 및 보상부(112)와 부호화 모드 결정부(113)로 전달한다.
그러면, 움직임 추정 및 보상부(112)는 입력 처리부(111)로부터 영상 관련 데이터를 입력받아 이전 영상 메모리(119)에 저장된 이전 영상을 이용하여 움직임 추정과 보상을 하여 부호화 모드 결정부(113)로 전달한다.
이어서, 부호화 모드 결정부(113)는 입력 처리부(111)로부터 전달된 영상 데이터를 매크로 블록(MB: Macro Block) 단위로 부호화할 것인지, 움직임 추정 및 보상부(112)로부터 전달된 영상 데이터를 매크로블럭 단위로 부호화할 것인지를 결정하여 2차원 이산 여현 변환부(114)로 전달한다.
이렇게, 부호화 모드가 결정된 영상 데이터는 2차원 이산 여현 변환부(114)와 양자화부(115)를 순차적으로 거쳐 2차원적으로 이산 여현 변환(DCT : Discrete Cosine Transform)된 다음 양자화되어, 역양자화부(116)와 가변 길이 부호화부(120)로 전달된다.
이때, 역양자화부(116)로 전달된 영상 데이터는 역양자화된 후 2차원 역이산 여현 변환부(117)를 통해 2차원적으로 역이산 여현 변환되어 이전영상 재생부(118)로 전달된다.
이어서, 이전영상 재생부(118)는 역이산 여현 변환된 영상 데이터와 움직임 추정 및 보상부(112)로부터 전달된 영상 데이터를 입력받아 이전 영상을 재생하여 이전영상 메모리(119)에 저장한다.
한편, 양자화부(120)에 의해 양자화되어 스캐너(120)로 전달된 영상 데이터는 스캐너(120)를 통해 지그재그 형태로 스캐닝된 다음 가변길이 부호화부(121)로 전달된다.
이어서, 가변길이 부호화부(121)는 스캐닝된 영상 데이터를 입력받아 가변길이 부호화하여 수신단으로 출력한다.
이와 같은 압축 부호화 방식은 영상전화 표준(예 : ITU-T H.261, H.263 )이나, 티브리(TV)급 혹은 에이치디티브이(HDTV)급 동영상 압축부호화 표준(ISO/IEC MPEG-2)에서 공히 사용되고 있는 방식이다.
또한, 향후 전개될 차세대 이동통신(IMT-2000) 시스템과 같은 차세대 휴대전화 표준에서도 영상전화/회의 등을 위하여 사용되는 방식이다. 그중 이동벡터 추정 기능은 16x16 블록의 이동벡터를 추정하기 위하여 이전 영상에서 적절한 탐색영역을 정하고, 현재 부호화하려는 16x16 블록의 영상을 탐색영역내의 영상과 비교하여 가장 유사한 곳을 찾아 그 상대적인 변위를 이동벡터로서 전송한다.
그리고, 그 변위에 해당하는 과거영상의 위치에서 현재영상의 블록에 해당하는 크기의 블록을 가져와 그 차이만을 변환부호화를 통해 전송함으로써, 시간축 방향의 중복성을 없앰으로써 데이터량을 감축하는 것이다.
또한, 대부분의 영상 부호기 알고리즘에서 사용하고 있는 움직임 추정방법은 블록정합 알고리즘(BMA: Block Matching Algorithm)을 이용한다.
그러나, 블록정합 알고리즘은 물체의 회전, 확대, 축소, 밝기의 변화, 모양의 변화가 없다는 것을 전제로 한다.
즉, 딱딱한 물체가 카메라 축에 수직방향으로 2차원 운동(병진운동 : translational motion)을 할 때만 가장 정확하게 움직임을 추정할 수 있으며, 사람의 머리와 어깨 영상에서 이에 근접한 움직임은 머리 전체의 움직임이다.
그리고, 머리의 움직임도 목을 중심으로 회전운동을 할 때가 많으나, 초당 10 내지 15 프레임을 부호화할 경우 약 0.1초 정도의 시간 간격에서는 거의 병진운동으로 근사화할 수 있다.
그 중에서 입의 움직임은 들리는 말소리와 일치해야 하기 때문에, 주의를 기울여 부호화해야 할 부분이다.
반면에, 눈의 움직임은 때로는 눈을 감기도 하나 대부분 떠있는 상태로 상대방과 대화를 주고받는다.
눈의 깜박임은 사람에 따라 다르나 대개 0.2 내지 0.5초 정도의 시간을 소요로 한다.
또한, 깜박임의 횟수도 개인차가 많이 나서, 통상 5초에서 1분까지 다양한 분포를 보인다.
사람 눈의 시선 자체는 중요한 정보를 포함하지만 이러한 눈의 깜박임은 상대방에게 큰 정보를 제공하지 못하며, 오히려 너무 자주 깜박이는 것은 대화상의 불안한 요인으로 작용할 수도 있다.
따라서, 본 발명에서는 이러한 영상전화나 회의와 같이 사람의 머리와 어깨일부만을 부호화하여 전달하는 영상부호기에서, 많은 데이터량을 수반하여 압축율을 떨어뜨리는 눈의 움직임을 제한하여, 압축율을 높이고 너무 자주 깜박거림으로 인한 불안요인을 없애는 방법을 제시한 것이다. 물론, 본 발명의 눈동자 영상 처리 방법은 선택적이고 사용자의 의지에 의해 켜고 끌 수 있다.
우선, 눈동자 인식 및 특징 추출 과정을 설명하면 다음과 같다.
첫째, 눈동자 윈도우(window)의 센터 사이의 거리를 DistEye로 놓는다. 여기서, 양쪽 눈의 영상에 대해 임계치를 1에서 254까지 증가시키면서 화소값이 임계치보다 작으면 0으로 놓고, 크면 1로 놓아 이진 영상화(binarization)하고, 각 임계치에 대해 0의 수와 1의 수를 카운팅(counting)한다.
둘째, 각각의 눈동자 영상에서 0의 수가 1의 수보다 같거나 많아지는 임계치를 구한다. 이때, 구한 임계치 값을 TL 및 TR이라 놓는다.
여기서, TL과 TR의 차이가 양쪽 눈의 인식과정에서 오차 임계치 TRE 보다 크면 사용자에게 인식과정을 다시 할 것을 요구한다.
이것은, 통상 조명조건 등으로 양쪽 눈의 밝기 분포가 판이하게 달라지는 것을 막기 위한 것이다.
그리고, 오차 임계치 TRE는 전체 밝기범위(즉, 0 내지 255임)의 10 내지 20%범위에서 결정하고, 임계치 TL과 TR의 평균을 TLR로 놓는다.
셋째, 이제 양쪽 눈의 윈도우 영상 중앙에 다시 이의 약 1/2 크기(즉, 수평으로 1/1.414, 수직으로 1/1.414임)의 가상의 눈동자 윈도우를 만들고, 그 안의 0의수와 1의수를 카운팅한다.
통상적으로, 눈동자는 주위에 비해 검으므로 0의 수가 휠씬 많을 것이다.
만일, 0의 수가 70%를 넘지 않으면 사용자에게 다시 시작하라 하고, 윈도우를 조금 크게 하거나 작게 할 것을 요구한다. 여기서, 0과 1의 수의 비를 TCR로 놓는다.
넷째, 세 번째 과정에서의 눈동자 윈도우를 제외한 부분의 0의 수와 1의 수를 카운팅한다. 여기서는, 1의 수가 70%를 넘도록 하며, 0과 1의 수의 비를 TCB로 놓는다.
마지막으로, DistEye와 TLR과 TCR과 TCB를 특징값으로 하여 추적 및 이동 추정 기능부에 전달한다.
다음은, 눈동자 추적 및 영상 전체 움직임 추정 과정에 대하여 설명한다.
첫째, 휴대 영상전화를 사용하기 시작하여 영상이 입력되면, 입력영상의 중앙 부위에서 눈동자를 찾기 시작한다. 여기서는, 전체 영상 크기의 중앙 1/2 영역(즉, 수평으로 1/1.414, 수직으로 1/1.414 크기임)을 눈동자 탐색 윈도우로 설정하고 찾기 시작한다. 또한, 눈동자 탐색 윈도우내의 화소를 추출한다.
둘째, 탐색 윈도우내를 TLR에서 Lc를 감산한 감산값 까지의 임계치를 가지고 이진 영상화하면서 각 임계치에 대해 다음의 세 번째부터 다섯 번째 까지의 과정을반복한다. 여기서, Lc는 조명조건에 의한 임계치변화 여유로서 구해진 밝기범위의 약 20% 전후로 놓는다.
셋째, 탐색 윈도우를 인식단계에서 눈동자 추출에 사용한 윈도우와 동일한 크기의 윈도우를 격자 모양으로 가상적으로 자른다.
넷째, 각 서브윈도우(subwindow)에 0의 갯수나 1의 갯수가 80%를 넘으면 해당 서브윈도우는 제외하고 나머지 서브윈도우를 후보윈도우로 정한다.
다섯째, 후보윈도우내의 모든 화소 위치를 중심으로 눈동자추출윈도우와 동일한 크기의 윈도우를 가상적으로 설정하고, 그 안에 1/2 넓이의 서브윈도우를 설정한다.
그리고, 그 서브윈도우 내부와 외부의 1과 0의 수의 비를 각각 구한다. 이때, 구한 값이 TCR 혹은 TCL 값의 허용된 오차범위(즉, 10% 내외로 설정함)에 들면 후보위치로 등록한다.
여섯째, 모든 후보 위치에 대해 후보위치간의 거리가 DistEye*(1-DET) 보다 크고, DistEye*(1+DET)보다 작으며, 중심점의 위치가 영상의 수직 크기의 TVP 이내에 들어오는 모든 페어에 대한 TCRi, TCLi 값과, 인식단계에서 구한 TCR과 TCL 값의 차이 Diff(k)를 다음의 [수학식 1]을 이용해 구한다.
여기서, DET는 DistEye에 대한 편차로서 사용자가 임의로 설정한다. TVP는 양쪽 눈동자의 수직 위치의 차이의 임계치이고, TCRi는 i번째 TCR이며, TCLi는 i번째 TCL이다
그리고, TVP는 사람의 얼굴에 대해 카메라가 기울어있지 않는다는 것을 가정하며, 여기서는 수직크기의 0.2배로 설정한다.
일곱째, Diff 값이 가장 작은 페어(pair)를 구하여 추출된 눈동자로 한다.
전술한 바와 같은 과정에 의해 눈동자 주위의 영상 모델이 얻어졌고, 또한 실제 입력영상에서 눈주위의 영상이 얻어졌다.
끝으로, 눈동자 영상의 움직임 제한 과정에 대하여 설명한다.
첫째, 눈동자 추적 및 영상 전체 움직임 추정 알고리즘에 의해서 추적된 눈 주위의 영상을 얻어내고 이를 주위로 하여, 눈동자 인식 및 특징 추출 알고리즘에서 얻어진 눈 영상에 대하여 블록 정합 알고리즘을 이용하여 정확한 위치를 찾는다.
둘째, 이렇게 찾아진 위치에서 눈동자 인식 및 특징 추출 알고리즘에서 얻어진 눈 영상과 찾아진 눈 영상의 차이의 절대값의 합을 구한다.
셋째, 두 번째 과정에서 구한 절대값의 합이 임계치를 넘어서면 입력된 영상에 눈동자 인식 및 특징 추출 알고리즘에서 얻어진 눈 영상을 대치하여 영상 부호기로 넘긴다.
이와 같은, 눈동자 영상의 움직임 제한 알고리즘을 사용자에 의해 선택적으로 적용함으로써 상황에 따라 부호화율을 높일 수 있도록 한다.
본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
이상에서 설명한 바와 같이 본 발명은, 눈 영상의 모델과 실제 추출된 눈 영상의 차이를 구하여, 그 차이가 설정된 임계값을 넘어가면 실제 입력된 눈 영상의 위치에 기추출한 눈 영상 모델을 삽입하여 눈의 움직임을 제한함으로써, 압축 효율을 높이고, 휴대용 영상 전화기내에 영상 부호화 시스템의 움직임 추정 장치에서 적은 계산량으로 움직임을 효과적으로 추정할 수 있는 효과가 있다.
또한, 본 발명은 개인 휴대 통신망 및 종합 정보 통신망 등과 같은 저속 유선망 및 차세대 이동통신(IMT-2000) 등과 같은 무선채널에서 사용하는 영상전화 및 회의를 위한 영상 압축 부호화 장치에 유용하게 적용될 수 있다.

Claims (5)

  1. 동영상 부호화 장치에 적용되는 눈동자 영상 처리 방법에 있어서,
    사용자의 눈 영상의 모델을 추출하는 제 1 단계;
    실제 입력되는 영상에서 상기 눈 영상의 위치를 추적하고 영상 전체의 움직임을 추정하는 제 2 단계; 및
    상기 추출한 눈 영상의 모델과 실제 추출된 눈 영상의 차이를 구하여, 그 차이가 소정의 임계값을 넘어가는지를 확인한 후, 상기 실제 입력된 눈 영상의 위치에 상기 추출한 눈 영상 모델을 삽입하여 눈의 움직임을 제한하는 제 3 단계
    를 포함하는 동영상 부호화 장치에서 눈동자 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 제 1 단계는,
    양쪽 눈의 영상에 대해 임계치를 증가시키면서 이진 영상화하는 제 4 단계;
    상기 이진 영상화된 눈 영상에서 검은 부분이 흰 부분보다 같거나 많아지는 임계치를 구하는 제 5 단계;
    양쪽 눈의 윈도우(window) 영상 중앙에 다시 절반 크기 정도의 가상의 눈동자 윈도우를 만들고, 이 눈동자 윈도우안의 검은 부분과 흰 부분을 체크하는 제 6 단계; 및
    상기 제 6 단계에서의 눈동자 윈도우를 제외한 부분에 대하여 검은 부분과 흰 부분을 체크하는 제 7 단계
    를 포함하는 동영상 부호화 장치에서 눈동자 영상 처리 방법.
  3. 제 1 항에 있어서,
    상기 제 2 단계는,
    영상이 입력되면, 입력영상의 중앙 부위에서 눈동자를 찾기 시작하는 제 4 단계;
    탐색 윈도우(window)내를 이진 영상화하는 제 5 단계;
    상기 탐색 윈도우를 인식단계에서 눈동자 추출에 사용한 윈도우 크기로 격자 모양으로 가상적으로 자르는 제 6 단계;
    각 서브윈도우(subwindow)에서 검은 부분과 흰 부분의 비율이 소정의 비율(80%)를 넘으면 해당 서브윈도우는 제외하고 나머지 서브윈도우를 후보윈도우로 정하는 제 7 단계;
    상기 후보 윈도우내의 모든 화소 위치를 중심으로 눈동자 추출 윈도우와 같은 크기의 윈도우를 가상적으로 설정하고, 그 안에 절반 정도 넓이의 서브윈도우를 설정하는 제 8 단계; 및
    상기 서브윈도우 내부와 외부의 검은 부분과 흰 부분의 비를 구하는 제 9 단계
    를 포함하는 동영상 부호화 장치에서 눈동자 영상 처리 방법.
  4. 제 1 항 내지 제 3 항중 어느 한 항에 있어서,
    상기 제 3 단계는,
    상기 제 2 단계에서 추적된 눈 주위의 영상을 얻어내고 이를 주위로 하여, 상기 제 1 단계에서 얻어진 눈 영상에 대하여 블록 정합을 통해 정확한 위치를 찾는 제 10 단계;
    상기 제 10 단계에서 찾아진 위치에서 상기 제 1 단계에서 얻어진 눈 영상과 찾아진 눈 영상의 차이의 절대값의 합을 구하는 제 11 단계; 및
    상기 제 11 단계에서 구한 절대값의 합이 소정의 임계치를 넘어서면 입력된 영상에 상기 제 1 단계에서 얻어진 눈 영상을 대치하여 영상 부호화 수단으로 넘기는 제 12 단계
    를 포함하는 동영상 부호화 장치에서 눈동자 영상 처리 방법.
  5. 컴퓨터에,
    사용자의 눈 영상의 모델을 추출하는 제 1 기능;
    실제 입력되는 영상에서 상기 눈 영상의 위치를 추적하고 영상 전체의 움직임을 추정하는 제 2 기능; 및
    상기 추출한 눈 영상의 모델과 실제 추출된 눈 영상의 차이를 구하여, 그 차이가 소정의 임계값을 넘어가는지를 확인한 후, 상기 실제 입력된 눈 영상의 위치에 상기 추출한 눈 영상 모델을 삽입하여 눈의 움직임을 제한하는 제 3 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1019980054718A 1998-12-12 1998-12-12 동영상부호화장치에서눈동자영상처리방법 KR100298184B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980054718A KR100298184B1 (ko) 1998-12-12 1998-12-12 동영상부호화장치에서눈동자영상처리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980054718A KR100298184B1 (ko) 1998-12-12 1998-12-12 동영상부호화장치에서눈동자영상처리방법

Publications (2)

Publication Number Publication Date
KR20000039399A KR20000039399A (ko) 2000-07-05
KR100298184B1 true KR100298184B1 (ko) 2001-08-07

Family

ID=19562621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980054718A KR100298184B1 (ko) 1998-12-12 1998-12-12 동영상부호화장치에서눈동자영상처리방법

Country Status (1)

Country Link
KR (1) KR100298184B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100954884B1 (ko) * 2009-10-29 2010-04-28 주식회사 힘스코리아 영상 이진화 장치

Also Published As

Publication number Publication date
KR20000039399A (ko) 2000-07-05

Similar Documents

Publication Publication Date Title
US5852669A (en) Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
US5832115A (en) Ternary image templates for improved semantic compression
JP3256474B2 (ja) 色映像信号における皮膚のトーンを定める装置およびその方法、ならびに、皮膚領域を符号化する装置およびその方法
Chen et al. ROI video coding based on H. 263+ with robust skin-color detection technique
KR100539923B1 (ko) 화상통화시 화자의 영상을 구분하여 차등적 부호화할 수있는 비디오 엔코더 및 이를 이용한 비디오신호의 압축방법
JP3133517B2 (ja) 画像領域検出装置、該画像検出装置を用いた画像符号化装置
Menser et al. Face detection and tracking for video coding applications
KR20010031548A (ko) 디지털화된 영상을 처리하기 위한 방법 및 장치
JP3316157B2 (ja) ポストフィルタリング方法並びにその装置
KR100298184B1 (ko) 동영상부호화장치에서눈동자영상처리방법
KR100310863B1 (ko) 동영상부호화장치에서눈동자영상추적에의한동영상움직임추정방법
KR100493702B1 (ko) 화상통신 시스템 및 그 운용방법
Ciaramello et al. Complexity constrained rate-distortion optimization of sign language video using an objective intelligibility metric
EP1739965A1 (en) Method and system for processing video data
JP3005147B2 (ja) 動画像符号化装置
Trew et al. Automatic face location to enhance videophone picture quality
JPH06233292A (ja) 画像信号伝送装置
Koufakis et al. Linear combination of face views for low bit rate face video compression
Chen Advancing video compression with error resilience and content analysis
JPH0281590A (ja) 動画像符号化方式
Pérez-Iglesias et al. A novel video coding scheme based on principal component analysis
KR100627553B1 (ko) 소형의 무선 영상전화 단말장치에서의 송신자영역판단방법 및 그를 이용한 위치정보 출력장치
KR100602048B1 (ko) 동화상 송수신장치
WO2020181540A1 (zh) 一种视频处理方法、装置、编码设备及解码设备
Ishikawa et al. Very low bit-rate video coding based on a method of facial area specification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110509

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee