KR20040072286A - 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법 - Google Patents

입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법 Download PDF

Info

Publication number
KR20040072286A
KR20040072286A KR1020030008287A KR20030008287A KR20040072286A KR 20040072286 A KR20040072286 A KR 20040072286A KR 1020030008287 A KR1020030008287 A KR 1020030008287A KR 20030008287 A KR20030008287 A KR 20030008287A KR 20040072286 A KR20040072286 A KR 20040072286A
Authority
KR
South Korea
Prior art keywords
face
user
image
value
mouth
Prior art date
Application number
KR1020030008287A
Other languages
English (en)
Other versions
KR100515798B1 (ko
Inventor
김대진
변증남
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR10-2003-0008287A priority Critical patent/KR100515798B1/ko
Publication of KR20040072286A publication Critical patent/KR20040072286A/ko
Application granted granted Critical
Publication of KR100515798B1 publication Critical patent/KR100515798B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 얼굴 제스처 인식방법 및 얼굴 제스처를 이용하여 로봇을 구동하는 방법에 관한 것이다.
본 발명에 따른 로봇 구동방법은, CCD 카메라로부터 얻어진 사용자 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출단계와, 상기 추출된 얼굴 영역으로부터 입 영역을 추출하여 입 벌림 정도를 인식하는 입 벌림 정도 인식단계와, 상기 추출된 얼굴 영역의 수평에지 얼굴영상 명도값을 계산하여 얼굴방향을 인식하는 얼굴방향 인식단계와, 상기 입 벌림 정도 인식단계와 얼굴방향 인식단계에서 추출된 입 벌림 정도와 얼굴방향을 데이터베이스에 적용하여 사용자의 의도를 추론하는 사용자 의도 추론단계와, 상기 추론된 사용자의 의도에 따라 로봇 구동신호를 발생하여 상기 로봇 구동부에게 제공하는 로봇 구동신호 발생단계를 포함한다.

Description

입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를 이용한 로봇 구동방법{Robot driving method using facial gestures}
본 발명은 얼굴 제스처를 인식하고 이를 기반으로 로봇을 구동하는 방법에 관한 것으로서, 보다 상세하게는 사용자의 얼굴영상으로부터 입 벌림 정도와 얼굴방향을 인식하고 이를 기반으로 로봇을 구동하는 방법에 관한 것이다.
인간-기계 인터페이스 방법으로서, 컴퓨터의 경우에는 전통적인 명령어-키보드 방식에서 아이콘-마우스 방식으로 변화하였으며, 근래에는 음성인식을 사용자 인터페이스로 활용하기 위한 연구와 개발이 이루어지고 있다. 또한, 인간-기계 차세대 인터페이스로서, 얼굴 제스처(gesture), 뇌파, 안전도 및 근전도 등을 이용한 인간 친화적인 인터페이스에 대한 연구가 시도되고 있다.
이 중 뇌파, 안전도 및 근전도를 이용하여 기계를 조작하는 기술은 사용자가 뇌파, 안전도 및 근전도를 측정하기 위한 장비를 착용해야 하는 불편함이 있다. 즉, 뇌파를 측정하기 위한 전극을 사용자의 이마에 부착하거나, 안전도를 측정하기 위한 안경이나 헬맷형 측정기를 착용하거나, 근전도 측정을 위한 쌍극전극을 사용자의 어깨나 목 근육에 부착해야 하는 불편함이 있다.
이에 반해, 얼굴 제스처를 이용하여 기계를 조작하는 기술은, 사용자와 기계 사이의 거리가 떨어져 있고 사용자가 불편한 장비를 착용하지 않더라도 기계에 부착된 카메라가 원거리의 사용자 얼굴을 촬영하고 얼굴 제스처를 인식함으로써, 해당 얼굴 제스처에 따른 동작을 수행한다. 그러나, 촬영된 사용자의 얼굴 영상으로부터 얼굴 제스처를 정확하게 인식하기란 쉽지 않다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 사용자의 얼굴 영상에서 입 벌림 정도와 얼굴방향을 추출하여 사용자의 얼굴 제스처를 인식하는 방법을 제공하기 위한 것이다. 또한 본 발명은 인식한 얼굴 제스처에 정의된 사용자의 의도를 파악하여 로봇을 구동하는 방법을 제공하기 위한 것이기도 하다.
도 1은 본 발명의 한 실시예에 따른 얼굴 제스처를 이용한 로봇 구동장치를 도시한 구성 블록도,
도 2는 본 발명의 한 실시예에 따른 얼굴 제스처를 이용한 로봇 구동방법을 도시한 동작 흐름도,
도 3은 도 2의 입 벌림 정도 추출 서브루틴의 상세 동작 흐름도,
도 4는 도 3의 입 벌림 정도 추출 서브루틴의 각 단계에서 추출된 얼굴영상을 도시한 도면,
도 5는 입 벌림 정도의 차이를 설명하기 위하여 도시한 도면,
도 6은 도 2의 얼굴방향 추출 서브루틴의 상세 동작 흐름도,
도 7은 사용자의 얼굴방향에 따른 수평에지 얼굴영상을 도시한 도면,
도 8은 좌우측 및 정면에 대한 표준 소속도 함수를 도시한 도면,
도 9는 본 발명에 따른 로봇 구동방법이 적용된 로봇의 한 실시예를 도시한 도면이다.
※ 도면의 주요 부분에 대한 부호의 설명 ※
110 : CCD 카메라 120 : 제어부
130 : 데이터베이스 140 : 로봇 구동부
141 : 로봇 팔 142 : 로봇 다리
앞서 설명한 바와 같은 목적을 달성하기 위한 본 발명에 따른 입 벌림 정도 인식방법은, 입력된 사용자 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출단계와, 상기 추출된 얼굴 영역으로부터 입 영역을 추출하는 입 영역 추출단계와, 상기 추출된 입 영역의 영상을 가버 필터링하는 가버 필터링단계와, 상가 가버 필터링된 입 영역의 영상에 대해 가우시안 가중치와 수평투영정보를 계산하고 상기 가우시안 가중치와 수평투영정보를 이용하여 입 벌림 정도값을 계산하는 입 벌림 정도 계산단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 얼굴방향 인식방법은, 입력된 사용자 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출단계와, 상기 추출된 얼굴 영역의 영상의 명도값과 수평에지 커널을 컨볼루션 연산하여 수평에지 얼굴영상 명도값을 계산하는 수평에지 얼굴영상 계산단계와, 상기 수평에지 얼굴영상 명도값의 수직투영정보와 표준 소속도 함수()를 이용하여 좌측 소속도 측정값(dL)과 정면 소속도 측정값(dM)과 우측 소속도 측정값(dR)을 계산하는 소속도 측정단계와, 상기 좌측, 정면, 우측 소속도 측정값을 이용하여 얼굴방향을 결정하는 의사결정단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 얼굴 제스처를 이용한 로봇 구동방법은, 사용자의 영상을 촬영하는 CCD 카메라와, 사용자의 얼굴 제스처에 따른 사용자 의도를 저장한 데이터베이스와, 상기 CCD 카메라로부터 얻어진 사용자 영상으로부터 사용자의 얼굴 제스처를 인식하여 사용자 의도를 파악하는 제어부와, 상기 사용자 의도에 따라 로봇을 구동하는 로봇 구동부를 포함한 로봇 시스템의 상기 제어부에서의 로봇 구동방법에 있어서,
상기 CCD 카메라로부터 얻어진 사용자 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출단계와, 상기 추출된 얼굴 영역으로부터 입 영역을 추출하여 입 벌림 정도를 인식하는 입 벌림 정도 인식단계와, 상기 추출된 얼굴 영역의 수평에지 얼굴영상 명도값을 계산하여 얼굴방향을 인식하는 얼굴방향 인식단계와, 상기 입벌림 정도 인식단계와 얼굴방향 인식단계에서 추출된 입 벌림 정도와 얼굴방향을 데이터베이스에 적용하여 사용자의 의도를 추론하는 사용자 의도 추론단계와, 상기 추론된 사용자의 의도에 따라 로봇 구동신호를 발생하여 상기 로봇 구동부에게 제공하는 로봇 구동신호 발생단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따르면 로봇 시스템에 상술한 바와 같은 로봇 구동방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를 이용한 로봇 구동방법의 한 실시예를 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 한 실시예에 따른 로봇 구동장치의 구성 블록도이다. 로봇 구동장치는 사용자의 영상을 촬영하는 컬러 CCD 카메라(110)와, 컬러 CCD 카메라(110)에서 촬영된 사용자의 영상으로부터 사용자의 얼굴 제스처를 인식하고 사용자의 의도를 추론하는 제어부(120)와, 제어부(120)에서 추론된 사용자의 의도에 따라 로봇 팔(141)이나 로봇 다리(142)를 움직이는 로봇 구동부(140)를 구비한다. 제어부(120)는 사용자의 입 벌림 정도나 얼굴방향을 이용하여 사용자의 얼굴 제스처를 인식한다. 얼굴 제스처에 대응되는 사용자 의도는 데이터베이스(130)에 저장되어 있다가 제어부(120)에 제공된다.
도 2는 본 발명의 한 실시예에 따른 제어부의 얼굴 제스처를 이용한 로봇 구동방법을 도시한 동작 흐름도이다.
컬러 CCD 카메라로부터 사용자 영상이 입력되면(S21), 제어부는 입력된 사용자 영상에서 얼굴 영역을 추출하고(S22, S23), 입 벌림 정도 인식 서브루틴(S25) 및/또는 얼굴방향 인식 서브루틴(S26)을 수행하여 사용자의 얼굴 제스처를 추출한다. 그리고, 추출된 사용자의 얼굴 제스처를 데이터베이스에 적용하여 사용자의 의도를 추론하고 그에 따른 로봇 구동신호를 발생한다(S27, S28).
이를 보다 상세하게 설명한다. 사용자의 얼굴을 포함한 영상이 입력되면(S21), 입력된 영상에서 얼굴 부분을 추출하기 위하여 수학식 1로 표현되는 HSI(Hue Saturation Illuminance) 컬러 공간 정보를 이용한다. 즉, 컬러 CCD 카메라에서 얻어진 입력 영상을 수학식 1에 의해 조명 변화에 둔감한 H(색상), S(채도) 컬러 성분과 조명 변화에 의한 영향을 가장 잘 반영하는 I(명도) 성분으로 분리한다(S22).
그리고, 조도 변화에 따른 영향을 최소화하기 위하여 I(명도) 성분을 제외한 H(색상)와 S(채도) 성분으로 이루어진 HS 영상을 피부색 모델 히스토그램에 적용하여 피부색 영역을 추출하고 얼굴 영역을 추출한다(S23). 그리고, 추출하고자 하는 얼굴 제스처의 종류(입 벌림 정도, 얼굴방향)를 인식하고(S24), 그에 따라 입 벌림정도 인식 서브루틴(S25)과 얼굴방향 인식 서브루틴(S26)을 각각 수행한다. 단계 S22와 단계 S23을 통해 추출된 얼굴 영역의 사용자 영상을 이하에서는 '얼굴영상'이라고 한다. 입 벌림 정도 인식 서브루틴(S25)과 얼굴방향 인식 서브루틴(S26)의 상세한 동작 설명은 후술하기로 한다.
입 벌림 정도 인식 서브루틴(S25)과 얼굴방향 인식 서브루틴(S26)에서 각각 추출한 입 벌림 정도 정보와 얼굴방향 정보를 데이터베이스에서 검색하여 사용자의 의도를 추출한다(S27). 그리고 난 후, 사용자의 의도를 따른 로봇 구동신호를 발생하여 로봇 구동부에게 출력한다(S28).
도 3은 입 벌림 정도 인식 서브루틴(S25)을 도시한 동작 흐름도이다. 입 벌림 정도 인식 서브루틴(S25)에서는 HSI 컬러공간 정보를 이용하여 추출된 도 4의 (a)에 도시된 바와 같은 얼굴영상의 명도값(Iface)을 이용하여 입 벌림 정도를 추출한다. 즉, 사용자가 입을 다물고 있는 지, 아니면 벌리고 있는 지를 인식한다. 얼굴영상의 크기가 H(높이)×W(너비)라고 할 때, 얼굴영상의 임의의 점(x,y)의 명도값은 I(x,y)(단, 1≤x≤W, 1≤y≤H)라고 표기한다.
먼저, 도 4의 (b)에 도시된 바와 같은 얼굴영상 색상값(Hface)을 취득한다(S251). 이 얼굴영상 색상값(Hface)은 수학식 1을 이용하여 구할 수 있다.
다음, 도 4의 (c)에 도시된 바와 같은 수평에지 얼굴영상 명도값()을 취득한다(S252). 이 수평에지 얼굴영상 명도값()은 수평에지 커널(Kernel)K와얼굴영상 명도값(Iface)을 컨볼루션(Convolution) 연산(Iface*K)하여 얻는다. 일반적인 수평에지 영상을 얻는 과정과 커널의 형태에 관한 상세한 내용은 참조문헌(R.C. Gonzalez and R.E. Woods, "Digital Image Processing", Addison-Wesley, PP.416-420, 1992)에 기재되어 있다.
다음, 얼굴영상 색상값(Hface)과 수평에지 얼굴영상 명도값()을 논리곱 연산하여 도 4의 (d)에 도시된 바와 같은 사용자 입영상 명도값(Imouse)을 취득한다(S253). 그 후, 입영상 명도값(Imouse)을 가버 필터링하여 가버 필터링된 입영상 명도값()을 취득한다(S254).
입영상 명도값(Imouse)을 가버 필터링하기 위하여, 먼저 가버 필터를 표현하기 위한 수학식에 기반하여 가버 필터링에 필요한 커널(Kernel)(이하, 가버 커널이라 함)G를 구하고, 입영상 명도값(Imouse)과 가버 커널G를 컨벌루션(Convolution)하여 얻는다. 가버 커널G는 아래의 수학식 2와 같이 얻어진다.
여기서, (x,y)는 2차원 커널의 좌표를 나타내며, r2= x2+ y2이다. θ는로 정의되며, σ2는 가버 커널의 분산(Variance)매개변수를, k는 가버 커널의 공간주파수(Spatial frequency)를 나타낸다. σ2의 값이 클수록 가버 커널의 최대/최소값에 대한 차이가 증가하며, k값이 증가할수록 가버 커널의 폭이 감소한다.
수학식 2로 표현된 가버 커널은 아래의 수학식 3과 같이 입영상 명도값(Imouse)과 컨벌루션되어 가버 필터링된 입영상 명도값()이 얻어진다.
이렇게 가버 필터링된 입영상 명도값()이 구해지면, 이를 아래의 수학식 4에 적용하여 입 벌림 정도(fG)를 계산한다(S255).
여기서,로서, 가우시안 가중치이며, m=H2/2, σ=H2/4로 정의된다.로서, 수평 투영정보의 미분치의 절대값으로 정의되며, 수평 투영정보이다. 여기서, H2와 W2는 사용자 입영상의 높이와 너비(픽셀 단위)를 의미한다.
수학식 4를 통해 구해진 입 벌림 정도값(fG)과 실제 입 벌림 정도는 반비례하는 바, 도 5의 (a)에 도시된 바와 같이 입을 크게 벌리고 있으면 fG값이 작고, 도 5의 (b)에 도시된 바와 같이 입을 다물고 있으면 fG값이 크다.
도 6은 얼굴방향 인식 서브루틴(S26)의 상세 동작 흐름도이다. 얼굴방향 인식 서브루틴(S26)에서는 얼굴영상 명도값(Iface)을 이용하여 사용자의 얼굴방향을 추출한다. 즉, 사용자의 얼굴이 좌측, 정면, 또는 우측 중 어느 방향으로 향하는 지를 추출한다.
이를 위해, 먼저 수평에지 얼굴영상 명도값()을 취득한다(S261). 이 수평에지 얼굴영상 명도값()은 도 3의 사용자 입영상을 취득하기 위한 수평에지 얼굴영상 명도값을 구하는 방법과 동일하다. 즉, 수평에지 커널(Kernel)K와 얼굴영상 명도값(Iface)을 컨볼루션(Convolution) 연산(Iface*K)하여 수평에지 얼굴영상 명도값()을 계산한다.
다음, 이 수평에지 얼굴영상 명도값()을 수학식 5를 적용하여 세 가지 소속도 측정값(dL, dM, dR)을 계산한다(S262).
여기서,로서 수직투영정보이고, 표준 소속도 함수는 도 4에 도시한 바와 같다. 아래첨자 L, M, R은 각각 얼굴방향에 대한 좌측/정면/우측을 명시한다.
도 7은 각 얼굴방향에 따른 사용자 입력 영상, 수평에지 얼굴영상, 수직투영정보를 도시한 것이다. (a)는 얼굴방향이 우측인 경우의 입력 영상과 수평에지 얼굴영상과 수직투영정보가 위에서부터 순차적으로 도시되어 있는 바, 얼굴방향이 우측인 경우에는 우측의 수직투영값()이 좌측이나 중앙의 수직투영값보다 크다. (b)는 얼굴방향이 정면인 경우의 입력 영상과 수평에지 얼굴영상과 수직투영정보가 위에서부터 순차적으로 도시되어 있는 바, 얼굴방향이 정면인 경우의 중앙 수직투영값이 얼굴방향이 좌측이나 우측인 경우의 중앙 수직투영값보다 크다. (c)는 얼굴방향이 좌측인 경우의 입력 영상과 수평에지 얼굴영상과 수직투영정보가 위에서부터 순차적으로 도시되어 있는 바, 얼굴방향이 좌측인 경우에는 좌측의 수직투영값이 우측이나 중앙의 수직투영값보다 크다.
한편, 도 8에는 표준 소속도 함수를 도시한다.는 x가fL내지 fM일 때 1에서 0까지 선형적으로 변하는 값이고,는 x가 fL내지 fM일 때 0에서 1까지 선형적으로 변하고 x가 fM내지 fR일 때 1에서 0까지 선형적으로 변하는 값이며,는 x가 fM내지 fR일 때 0에서 1까지 선형적으로 변하는 값이다.
수학식 5에 의해 계산된 소속도 측정값 중 정면 소속도 측정값(dM)이 임계값보다 크면(S263), 사용자의 얼굴방향을 정면이라고 인지한다(S264). 단계 S263에서 정면 소속도 측정값(dM)이 임계값보다 크지 않으면 좌측 소속도 측정값(dL)과 우측 소속도 측정값(dR)을 비교한다(S265). 비교 결과, 좌측 소속도 측정값(dL)이 더 크면 사용자의 얼굴방향을 좌측이라고 인지하고(S266), 우측 소속도 측정값(dR)이 더 크면 사용자의 얼굴방향을 우측이라고 인지한다(S267).
제어부는 상술한 바와 같은 입 벌림 정도와 얼굴방향 정보를 이용하여 사용자의 의도를 추론하고, 로봇을 구동하기 위한 신호를 발생한다. 사용자의 얼굴 제스처에 따른 사용자의 의도 및 로봇 동작의 일 예를 아래의 표 1로 정리한다.
전건부 후건부
입을 크게 벌린 경우 로봇은 사용자에게 빠르게 접근한다.
입을 작게 벌린 경우 로봇은 사용자에게 느리게 접근한다.
입을 다문 경우 로봇은 움직임을 멈춘다.
고개를 좌우로 흔드는 경우 로봇은 사용자에게서 멀어진다.
도 9는 본 발명에 따른 로봇 구동방법이 적용된 로봇의 한 실시예를 도시한 도면이다. 로봇의 말단부에 CCD 카메라(110)를 설치하고 로봇팔(141)에 컵(C)을 장착한 상태에서, 사용자(U)가 입을 벌리고 다무는 동작 내지 고개를 돌리는 동작을 하면, 사용자의 얼굴 제스처를 CCD 카메라(110)가 촬영하여 로봇팔(141)을 구동함으로써, 사용자의 얼굴 제스처를 이용한 로봇의 음료수 서비스 작업을 수행할 수 있다.
이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
이상과 같이 본 발명에 따르면, 사용자 얼굴 영상으로부터 입 벌림 정도와 얼굴방향 등의 얼굴 제스처를 추출하고, 추출된 얼굴 제스처를 이용하여 사용자의 의도를 파악하여 로봇을 구동할 수 있기 때문에, 사용자가 별도의 장비를 착용하지 않더라도 로봇이 사용자의 의도를 정확하게 파악하고 그에 따른 동작을 취할 수 있다.

Claims (14)

  1. 입력된 사용자 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출단계와,
    상기 추출된 얼굴 영역으로부터 입 영역을 추출하는 입 영역 추출단계와,
    상기 추출된 입 영역의 영상을 가버 필터링하는 가버 필터링단계와,
    상가 가버 필터링된 입 영역의 영상에 대해 가우시안 가중치와 수평투영정보를 계산하고, 상기 가우시안 가중치와 수평투영정보를 이용하여 입 벌림 정도값을 계산하는 입 벌림 정도 계산단계를 포함한 것을 특징으로 하는 입 벌림 정도 인식방법.
  2. 제 1 항에 있어서, 상기 입 영역 추출단계는,
    상기 얼굴 영역의 영상의 명도값과 수평에지 커널을 컨볼루션 연산하여 수평에지 얼굴영상 명도값을 계산하고, 상기 얼굴 영역의 영상의 색상(H)값과 상기 수평에지 얼굴영상 명도값을 논리곱 연산하여 입 영역을 추출하는 것을 특징으로 하는 입 벌림 정도 인식방법.
  3. 제 1 항에 있어서, 상기 입 벌림 정도 계산단계는 가우시안 가중치()와 수평투영정보()를 아래의 수식에 적용하여 입 벌림 정도값(fG)을 계산하는 것을 특징으로 하는 입 벌림 정도 인식방법.
    [수식]
    여기서,, m=H2/2, σ=H2/4,,, H2와 W2는 입 영역의 높이와 너비이다.
  4. 입력된 사용자 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출단계와,
    상기 추출된 얼굴 영역의 영상의 명도값과 수평에지 커널을 컨볼루션 연산하여 수평에지 얼굴영상 명도값을 계산하는 수평에지 얼굴영상 계산단계와,
    상기 수평에지 얼굴영상 명도값의 수직투영정보와 표준 소속도 함수()를 이용하여 좌측 소속도 측정값(dL)과 정면 소속도 측정값(dM)과 우측 소속도 측정값(dR)을 계산하는 소속도 측정단계와,
    상기 좌측, 정면, 우측 소속도 측정값을 이용하여 얼굴방향을 결정하는 의사결정단계를 포함한 것을 특징으로 하는 얼굴방향 인식방법.
  5. 제 4 항에 있어서, 상기 소속도 측정단계는 상기 수평에지 얼굴영상명도값()으로부터 수직투영정보()를 계산하고, 상기 수직투영정보()와 표준 소속도 함수()를 아래의 수식에 적용하여 상기 좌측 소속도 측정값(dL)과 정면 소속도 측정값(dM)과 우측 소속도 측정값(dR)을 계산하는 것을 특징으로 하는 얼굴방향 인식방법.
    [수식]
  6. 제 4 항에 있어서, 상기 의사 결정단계는, 상기 정면 소속도 측정값(dM)이 임계값보다 크면 사용자의 얼굴방향이 정면이라고 인식하고, 상기 정면 소속도 측정값(dM)이 임계값보다 작고 좌측 소속도 측정값(dL)이 우측 소속도 측정값(dR)보다 크면 사용자의 얼굴방향이 좌측이라고 인식하고, 상기 정면 소속도 측정값(dM)이 임계값보다 작고 우측 소속도 측정값(dR)이 좌측 소속도 측정값(dL)보다 크면 사용자의 얼굴방향이 우측이라고 인식하는 것을 특징으로 하는 얼굴방향 인식방법.
  7. 사용자의 영상을 촬영하는 CCD 카메라와, 사용자의 얼굴 제스처에 따른 사용자 의도를 저장한 데이터베이스와, 상기 CCD 카메라로부터 얻어진 사용자 영상으로부터 사용자의 얼굴 제스처를 인식하여 사용자 의도를 파악하는 제어부와, 상기 사용자 의도에 따라 로봇을 구동하는 로봇 구동부를 포함한 로봇 시스템의 상기 제어부에서의 로봇 구동방법에 있어서,
    상기 CCD 카메라로부터 얻어진 사용자 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출단계와,
    상기 추출된 얼굴 영역으로부터 입 영역을 추출하여 입 벌림 정도를 인식하는 입 벌림 정도 인식단계와,
    상기 추출된 얼굴 영역의 수평에지 얼굴영상 명도값을 계산하여 얼굴방향을 인식하는 얼굴방향 인식단계와,
    상기 입 벌림 정도 인식단계와 얼굴방향 인식단계에서 추출된 입 벌림 정도와 얼굴방향을 데이터베이스에 적용하여 사용자의 의도를 추론하는 사용자 의도 추론단계와,
    상기 추론된 사용자의 의도에 따라 로봇 구동신호를 발생하여 상기 로봇 구동부에게 제공하는 로봇 구동신호 발생단계를 포함한 것을 특징으로 하는 얼굴 제스처를 이용한 로봇 구동방법.
  8. 제 7 항에 있어서, 상기 입 벌림 정도 인식단계는,
    상기 추출된 얼굴 영역으로부터 입 영역을 추출하는 입 영역 추출단계와,
    상기 추출된 입 영역의 영상을 가버 필터링하는 가버 필터링단계와,
    상가 가버 필터링된 입 영역의 영상에 대해 가우시안 가중치와 수평투영정보를 계산하고 상기 가우시안 가중치와 수평투영정보를 이용하여 입 벌림 정도값을 계산하는 입 벌림 정도 계산단계를 포함한 것을 특징으로 하는 얼굴 제스처를 이용한 로봇 구동방법.
  9. 제 8 항에 있어서, 상기 입 영역 추출단계는,
    상기 얼굴 영역의 영상의 명도값과 수평에지 커널을 컨볼루션 연산하여 수평에지 얼굴영상 명도값을 계산하고, 상기 얼굴 영역의 영상의 색상(H)값과 상기 수평에지 얼굴영상 명도값을 논리곱 연산하여 입 영역을 추출하는 것을 특징으로 하는 얼굴 제스처를 이용한 로봇 구동방법.
  10. 제 8 항에 있어서, 상기 입 벌림 정도 계산단계는 가우시안 가중치()와 수평투영정보()를 아래의 수식에 적용하여 입 벌림 정도값(fG)을 계산하는 것을 특징으로 하는 얼굴 제스처를 이용한 로봇 구동방법.
    [수식]
    여기서,, m=H2/2, σ=H2/4,,, H2와 W2는 입 영역의 높이와 너비이다.
  11. 제 7 항에 있어서, 상기 얼굴방향 인식단계는,
    상기 추출된 얼굴 영역의 영상의 명도값과 수평에지 커널을 컨볼루션 연산하여 수평에지 얼굴영상 명도값을 계산하는 수평에지 얼굴영상 계산단계와,
    상기 수평에지 얼굴영상 명도값의 수직투영정보와 표준 소속도 함수()를 이용하여 좌측 소속도 측정값(dL)과 정면 소속도 측정값(dM)과 우측 소속도 측정값(dR)을 계산하는 소속도 측정단계와,
    상기 좌측, 정면, 우측 소속도 측정값을 이용하여 얼굴방향을 결정하는 의사결정단계를 포함한 것을 특징으로 하는 얼굴 제스처를 이용한 로봇 구동방법.
  12. 제 11 항에 있어서, 상기 소속도 측정단계는 상기 수평에지 얼굴영상 명도값()으로부터 수직투영정보()를 계산하고, 상기 수직투영정보()와 표준 소속도 함수()를 아래의 수식에 적용하여 상기 좌측 소속도 측정값(dL)과 정면 소속도 측정값(dM)과 우측 소속도 측정값(dR)을 계산하는 것을 특징으로 하는 얼굴 제스처를 이용한 로봇 구동방법.
    [수식]
  13. 제 11 항에 있어서, 상기 의사 결정단계는, 상기 정면 소속도 측정값(dM)이 임계값보다 크면 사용자의 얼굴방향이 정면이라고 인식하고, 상기 정면 소속도 측정값(dM)이 임계값보다 작고 좌측 소속도 측정값(dL)이 우측 소속도 측정값(dR)보다 크면 사용자의 얼굴방향이 좌측이라고 인식하고, 상기 정면 소속도 측정값(dM)이 임계값보다 작고 우측 소속도 측정값(dR)이 좌측 소속도 측정값(dL)보다 크면 사용자의 얼굴방향이 우측이라고 인식하는 것을 특징으로 하는 얼굴 제스처를 이용한 로봇 구동방법.
  14. 사용자의 영상을 촬영하는 CCD 카메라와, 사용자의 얼굴 제스처에 따른 사용자 의도를 저장한 데이터베이스와, 상기 CCD 카메라로부터 얻어진 사용자 영상으로부터 사용자의 얼굴 제스처를 인식하여 사용자 의도를 파악하는 제어부와, 상기 사용자 의도에 따라 로봇을 구동하는 로봇 구동부를 포함한 로봇 시스템에,
    상기 CCD 카메라로부터 얻어진 사용자 영상으로부터 얼굴 영역을 추출하는얼굴 영역 추출단계와,
    상기 추출된 얼굴 영역으로부터 입 영역을 추출하여 입 벌림 정도를 인식하는 입 벌림 정도 인식단계와,
    상기 추출된 얼굴 영역의 수평에지 얼굴영상 명도값을 계산하여 얼굴방향을 인식하는 얼굴방향 인식단계와,
    상기 입 벌림 정도 인식단계와 얼굴방향 인식단계에서 추출된 입 벌림 정도와 얼굴방향을 데이터베이스에 적용하여 사용자의 의도를 추론하는 사용자 의도 추론단계와,
    상기 추론된 사용자의 의도에 따라 로봇 구동신호를 발생하여 상기 로봇 구동부에게 제공하는 로봇 구동신호 발생단계를 포함한 얼굴 제스처를 이용한 로봇 구동방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2003-0008287A 2003-02-10 2003-02-10 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법 KR100515798B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2003-0008287A KR100515798B1 (ko) 2003-02-10 2003-02-10 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0008287A KR100515798B1 (ko) 2003-02-10 2003-02-10 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법

Publications (2)

Publication Number Publication Date
KR20040072286A true KR20040072286A (ko) 2004-08-18
KR100515798B1 KR100515798B1 (ko) 2005-09-21

Family

ID=37359860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0008287A KR100515798B1 (ko) 2003-02-10 2003-02-10 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법

Country Status (1)

Country Link
KR (1) KR100515798B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007055525A1 (en) * 2005-11-10 2007-05-18 Lg Electronics Inc. Record media written with data structure for recognizing a user and method for recognizing a user
KR20110009614A (ko) * 2009-07-22 2011-01-28 삼성전자주식회사 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
WO2010126321A3 (ko) * 2009-04-30 2011-03-24 삼성전자주식회사 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
US8014567B2 (en) 2006-07-19 2011-09-06 Electronics And Telecommunications Research Institute Method and apparatus for recognizing gesture in image processing system
US8204311B2 (en) 2006-08-14 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for shoulder-line detection and gesture spotting detection
KR102099123B1 (ko) * 2020-02-03 2020-04-09 김성 인공지능을 이용한 수상스포츠 장치 제어방법
KR20220030956A (ko) 2019-07-05 2022-03-11 오노 야꾸힝 고교 가부시키가이샤 Pd-1/cd3 이중 특이성 단백질에 의한 혈액암 치료
US11869219B2 (en) 2020-01-17 2024-01-09 Subaru Corporation Inspection support system for erroneous attachment using image color conversion

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101309562B1 (ko) * 2006-10-25 2013-09-17 에스케이플래닛 주식회사 사용자의 행동을 판단하여 몸을 움직여 감정을 표현하는로봇 및 그 방법
KR102639904B1 (ko) * 2016-12-23 2024-02-26 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007055525A1 (en) * 2005-11-10 2007-05-18 Lg Electronics Inc. Record media written with data structure for recognizing a user and method for recognizing a user
US8014567B2 (en) 2006-07-19 2011-09-06 Electronics And Telecommunications Research Institute Method and apparatus for recognizing gesture in image processing system
US8204311B2 (en) 2006-08-14 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for shoulder-line detection and gesture spotting detection
WO2010126321A3 (ko) * 2009-04-30 2011-03-24 삼성전자주식회사 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
US8606735B2 (en) 2009-04-30 2013-12-10 Samsung Electronics Co., Ltd. Apparatus and method for predicting user's intention based on multimodal information
KR20110009614A (ko) * 2009-07-22 2011-01-28 삼성전자주식회사 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
KR20220030956A (ko) 2019-07-05 2022-03-11 오노 야꾸힝 고교 가부시키가이샤 Pd-1/cd3 이중 특이성 단백질에 의한 혈액암 치료
US11869219B2 (en) 2020-01-17 2024-01-09 Subaru Corporation Inspection support system for erroneous attachment using image color conversion
KR102099123B1 (ko) * 2020-02-03 2020-04-09 김성 인공지능을 이용한 수상스포츠 장치 제어방법

Also Published As

Publication number Publication date
KR100515798B1 (ko) 2005-09-21

Similar Documents

Publication Publication Date Title
CN105469113B (zh) 一种二维视频流中的人体骨骼点追踪方法及系统
KR100776801B1 (ko) 화상 처리 시스템에서의 제스처 인식 장치 및 방법
CN110221699B (zh) 一种前置摄像头视频源的眼动行为识别方法
CN110287790B (zh) 一种面向静态多人场景的学习状态混合分析方法
CN109993068B (zh) 一种基于心率和面部特征的非接触式的人类情感识别方法
Iga et al. A gender and age estimation system from face images
WO2009131539A1 (en) A method and system for detecting and tracking hands in an image
CN105844242A (zh) 图像中的肤色检测方法
KR100515798B1 (ko) 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법
Tu et al. Human computer interaction using face and gesture recognition
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
KR20180093632A (ko) 멀티 모달 데이터 기반 표정인식방법 및 장치
CN109299641B (zh) 一种列车调度员疲劳监测图像自适应处理算法
CN105912126A (zh) 一种手势运动映射到界面的增益自适应调整方法
Gupta et al. Accurate heart-rate estimation from face videos using quality-based fusion
CN111144174A (zh) 利用神经网络与传统算法识别视频中老人跌倒行为的系统
KR20100011280A (ko) 표정 증폭을 이용한 미세 표정인식 방법 및 장치
Liang et al. Real time hand movement trajectory tracking for enhancing dementia screening in ageing deaf signers of British sign language
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
CN103400118B (zh) 一种映射关系自适应调整的手势控制方法
KR20070103895A (ko) 손 제스쳐 인식 시스템 및 방법
KR101158016B1 (ko) 상체자세 및 손모양 검출 장치 및 그 방법
Mahajan et al. Emotion detection algorithm
Hosseini et al. Facial expression analysis for estimating patient's emotional states in RPMS
KR100788057B1 (ko) 바이오 마우스

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100831

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee