KR100515798B1 - 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법 - Google Patents

입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법 Download PDF

Info

Publication number
KR100515798B1
KR100515798B1 KR10-2003-0008287A KR20030008287A KR100515798B1 KR 100515798 B1 KR100515798 B1 KR 100515798B1 KR 20030008287 A KR20030008287 A KR 20030008287A KR 100515798 B1 KR100515798 B1 KR 100515798B1
Authority
KR
South Korea
Prior art keywords
face
user
value
image
belonging
Prior art date
Application number
KR10-2003-0008287A
Other languages
English (en)
Other versions
KR20040072286A (ko
Inventor
김대진
변증남
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR10-2003-0008287A priority Critical patent/KR100515798B1/ko
Publication of KR20040072286A publication Critical patent/KR20040072286A/ko
Application granted granted Critical
Publication of KR100515798B1 publication Critical patent/KR100515798B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 얼굴 제스처 인식방법 및 얼굴 제스처를 이용하여 로봇을 구동하는 방법에 관한 것이다.
본 발명에 따른 로봇 구동방법은, CCD 카메라로부터 얻어진 사용자 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출단계와, 상기 추출된 얼굴 영역으로부터 입 영역을 추출하여 입 벌림 정도를 인식하는 입 벌림 정도 인식단계와, 상기 추출된 얼굴 영역의 수평에지 얼굴영상 명도값을 계산하여 얼굴방향을 인식하는 얼굴방향 인식단계와, 상기 입 벌림 정도 인식단계와 얼굴방향 인식단계에서 추출된 입 벌림 정도와 얼굴방향을 데이터베이스에 적용하여 사용자의 의도를 추론하는 사용자 의도 추론단계와, 상기 추론된 사용자의 의도에 따라 로봇 구동신호를 발생하여 상기 로봇 구동부에게 제공하는 로봇 구동신호 발생단계를 포함한다.

Description

입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를 이용한 로봇 구동방법{Robot driving method using facial gestures}
본 발명은 얼굴 제스처를 인식하고 이를 기반으로 로봇을 구동하는 방법에 관한 것으로서, 보다 상세하게는 사용자의 얼굴영상으로부터 입 벌림 정도와 얼굴방향을 인식하고 이를 기반으로 로봇을 구동하는 방법에 관한 것이다.
인간-기계 인터페이스 방법으로서, 컴퓨터의 경우에는 전통적인 명령어-키보드 방식에서 아이콘-마우스 방식으로 변화하였으며, 근래에는 음성인식을 사용자 인터페이스로 활용하기 위한 연구와 개발이 이루어지고 있다. 또한, 인간-기계 차세대 인터페이스로서, 얼굴 제스처(gesture), 뇌파, 안전도 및 근전도 등을 이용한 인간 친화적인 인터페이스에 대한 연구가 시도되고 있다.
이 중 뇌파, 안전도 및 근전도를 이용하여 기계를 조작하는 기술은 사용자가 뇌파, 안전도 및 근전도를 측정하기 위한 장비를 착용해야 하는 불편함이 있다. 즉, 뇌파를 측정하기 위한 전극을 사용자의 이마에 부착하거나, 안전도를 측정하기 위한 안경이나 헬맷형 측정기를 착용하거나, 근전도 측정을 위한 쌍극전극을 사용자의 어깨나 목 근육에 부착해야 하는 불편함이 있다.
이에 반해, 얼굴 제스처를 이용하여 기계를 조작하는 기술은, 사용자와 기계 사이의 거리가 떨어져 있고 사용자가 불편한 장비를 착용하지 않더라도 기계에 부착된 카메라가 원거리의 사용자 얼굴을 촬영하고 얼굴 제스처를 인식함으로써, 해당 얼굴 제스처에 따른 동작을 수행한다. 그러나, 촬영된 사용자의 얼굴 영상으로부터 얼굴 제스처를 정확하게 인식하기란 쉽지 않다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 사용자의 얼굴 영상에서 입 벌림 정도와 얼굴방향을 추출하여 사용자의 얼굴 제스처를 인식하는 방법을 제공하기 위한 것이다. 또한 본 발명은 인식한 얼굴 제스처에 정의된 사용자의 의도를 파악하여 로봇을 구동하는 방법을 제공하기 위한 것이기도 하다.
앞서 설명한 바와 같은 목적을 달성하기 위한 본 발명에 따른 입 벌림 정도 인식방법은, 입력된 사용자 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출단계와, 상기 추출된 얼굴 영역으로부터 입 영역을 추출하는 입 영역 추출단계와, 상기 추출된 입 영역의 영상을 가버 필터링하는 가버 필터링단계와, 상가 가버 필터링된 입 영역의 영상에 대해 가우시안 가중치와 수평투영정보를 계산하고 상기 가우시안 가중치와 수평투영정보를 이용하여 입 벌림 정도값을 계산하는 입 벌림 정도 계산단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 얼굴방향 인식방법은, 입력된 사용자 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출단계와, 상기 추출된 얼굴 영역의 영상의 명도값과 수평에지 커널을 컨벌루션 연산하여 수평에지 얼굴영상 명도값을 계산하는 수평에지 얼굴영상 계산단계와, 상기 수평에지 얼굴영상 명도값의 수직투영정보와 표준 소속도 함수()를 이용하여 좌측 소속도 측정값(dL)과 정면 소속도 측정값(dM)과 우측 소속도 측정값(dR)을 계산하는 소속도 측정단계와, 상기 좌측, 정면, 우측 소속도 측정값을 이용하여 얼굴방향을 결정하는 의사결정단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 얼굴 제스처를 이용한 로봇 구동방법은, 사용자의 영상을 촬영하는 CCD 카메라와, 사용자의 얼굴 제스처에 따른 사용자 의도를 저장한 데이터베이스와, 상기 CCD 카메라로부터 얻어진 사용자 영상으로부터 사용자의 얼굴 제스처를 인식하여 사용자 의도를 파악하는 제어부와, 상기 사용자 의도에 따라 로봇을 구동하는 로봇 구동부를 포함한 로봇 시스템의 상기 제어부에서의 로봇 구동방법에 있어서,
상기 CCD 카메라로부터 얻어진 사용자 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출단계와, 상기 추출된 얼굴 영역으로부터 입 영역을 추출하여 입 벌림 정도를 인식하는 입 벌림 정도 인식단계와, 상기 추출된 얼굴 영역의 수평에지 얼굴영상 명도값을 계산하여 얼굴방향을 인식하는 얼굴방향 인식단계와, 상기 입 벌림 정도 인식단계와 얼굴방향 인식단계에서 추출된 입 벌림 정도와 얼굴방향을 데이터베이스에 적용하여 사용자의 의도를 추론하는 사용자 의도 추론단계와, 상기 추론된 사용자의 의도에 따라 로봇 구동신호를 발생하여 상기 로봇 구동부에게 제공하는 로봇 구동신호 발생단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따르면 로봇 시스템에 상술한 바와 같은 로봇 구동방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를 이용한 로봇 구동방법의 한 실시예를 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 한 실시예에 따른 로봇 구동장치의 구성 블록도이다. 로봇 구동장치는 사용자의 영상을 촬영하는 컬러 CCD 카메라(110)와, 컬러 CCD 카메라(110)에서 촬영된 사용자의 영상으로부터 사용자의 얼굴 제스처를 인식하고 사용자의 의도를 추론하는 제어부(120)와, 제어부(120)에서 추론된 사용자의 의도에 따라 로봇 팔(141)이나 로봇 다리(142)를 움직이는 로봇 구동부(140)를 구비한다. 제어부(120)는 사용자의 입 벌림 정도나 얼굴방향을 이용하여 사용자의 얼굴 제스처를 인식한다. 얼굴 제스처에 대응되는 사용자 의도는 데이터베이스(130)에 저장되어 있다가 제어부(120)에 제공된다.
도 2는 본 발명의 한 실시예에 따른 제어부의 얼굴 제스처를 이용한 로봇 구동방법을 도시한 동작 흐름도이다.
컬러 CCD 카메라로부터 사용자 영상이 입력되면(S21), 제어부는 입력된 사용자 영상에서 얼굴 영역을 추출하고(S22, S23), 입 벌림 정도 인식 서브루틴(S25) 및/또는 얼굴방향 인식 서브루틴(S26)을 수행하여 사용자의 얼굴 제스처를 추출한다. 그리고, 추출된 사용자의 얼굴 제스처를 데이터베이스에 적용하여 사용자의 의도를 추론하고 그에 따른 로봇 구동신호를 발생한다(S27, S28).
이를 보다 상세하게 설명한다. 사용자의 얼굴을 포함한 영상이 입력되면(S21), 입력된 영상에서 얼굴 부분을 추출하기 위하여 수학식 1로 표현되는 HSI(Hue Saturation Illuminance) 컬러 공간 정보를 이용한다. 즉, 컬러 CCD 카메라에서 얻어진 입력 영상을 수학식 1에 의해 조명 변화에 둔감한 H(색상), S(채도) 컬러 성분과 조명 변화에 의한 영향을 가장 잘 반영하는 I(명도) 성분으로 분리한다(S22).
그리고, 조도 변화에 따른 영향을 최소화하기 위하여 I(명도) 성분을 제외한 H(색상)와 S(채도) 성분으로 이루어진 HS 영상을 피부색 모델 히스토그램에 적용하여 피부색 영역을 추출하고 얼굴 영역을 추출한다(S23). 그리고, 추출하고자 하는 얼굴 제스처의 종류(입 벌림 정도, 얼굴방향)를 인식하고(S24), 그에 따라 입 벌림 정도 인식 서브루틴(S25)과 얼굴방향 인식 서브루틴(S26)을 각각 수행한다. 단계 S22와 단계 S23을 통해 추출된 얼굴 영역의 사용자 영상을 이하에서는 '얼굴영상'이라고 한다. 입 벌림 정도 인식 서브루틴(S25)과 얼굴방향 인식 서브루틴(S26)의 상세한 동작 설명은 후술하기로 한다.
입 벌림 정도 인식 서브루틴(S25)과 얼굴방향 인식 서브루틴(S26)에서 각각 추출한 입 벌림 정도 정보와 얼굴방향 정보를 데이터베이스에서 검색하여 사용자의 의도를 추출한다(S27). 그리고 난 후, 사용자의 의도에 따른 로봇 구동신호를 발생하여 로봇 구동부에게 출력한다(S28).
도 3은 입 벌림 정도 인식 서브루틴(S25)을 도시한 동작 흐름도이다. 입 벌림 정도 인식 서브루틴(S25)에서는 HSI 컬러공간 정보를 이용하여 추출된 도 4의 (a)에 도시된 바와 같은 얼굴영상의 명도값(Iface)을 이용하여 입 벌림 정도를 추출한다. 즉, 사용자가 입을 다물고 있는 지, 아니면 벌리고 있는 지를 인식한다. 얼굴영상의 크기가 H(높이)×W(너비)라고 할 때, 얼굴영상의 임의의 점(x,y)의 명도값은 I(x,y)(단, 1≤x≤W, 1≤y≤H)라고 표기한다.
먼저, 도 4의 (b)에 도시된 바와 같은 얼굴영상 색상값(Hface)을 취득한다(S251). 이 얼굴영상 색상값(Hface)은 수학식 1을 이용하여 구할 수 있다.
다음, 도 4의 (c)에 도시된 바와 같은 수평에지 얼굴영상 명도값()을 취득한다(S252). 이 수평에지 얼굴영상 명도값()은 수평에지 커널(Kernel) K와 얼굴영상 명도값(Iface)을 컨벌루션(Convolution) 연산(Iface * K)하여 얻는다. 일반적인 수평에지 영상을 얻는 과정과 커널의 형태에 관한 상세한 내용은 참조문헌(R.C. Gonzalez and R.E. Woods, "Digital Image Processing", Addison-Wesley, PP.416-420, 1992)에 기재되어 있다.
다음, 얼굴영상 색상값(Hface)과 수평에지 얼굴영상 명도값()을 논리곱 연산하여 도 4의 (d)에 도시된 바와 같은 사용자 입영상 명도값(Imouse)을 취득한다(S253). 그 후, 입영상 명도값(Imouse)을 가버 필터링하여 가버 필터링된 입영상 명도값()을 취득한다(S254).
입영상 명도값(Imouse)을 가버 필터링하기 위하여, 먼저 가버 필터를 표현하기 위한 수학식에 기반하여 가버 필터링에 필요한 커널(Kernel)(이하, 가버 커널이라 함) G를 구하고, 입영상 명도값(Imouse)과 가버 커널 G를 컨벌루션(Convolution)하여 얻는다. 가버 커널 G는 아래의 수학식 2와 같이 얻어진다.
여기서, (x,y)는 2차원 커널의 좌표를 나타내며, r2 = x2 + y2이다. θ는 로 정의되며, σ2는 가버 커널의 분산(Variance) 매개변수를, k는 가버 커널의 공간주파수(Spatial frequency)를 나타낸다. σ2의 값이 클수록 가버 커널의 최대/최소값에 대한 차이가 증가하며, k값이 증가할수록 가버 커널의 폭이 감소한다.
수학식 2로 표현된 가버 커널은 아래의 수학식 3과 같이 입영상 명도값(Imouse)과 컨벌루션되어 가버 필터링된 입영상 명도값()이 얻어진다.
이렇게 가버 필터링된 입영상 명도값()이 구해지면, 이를 아래의 수학식 4에 적용하여 입 벌림 정도(fG)를 계산한다(S255).
여기서, 로서, 가우시안 가중치이며, m=H2/2, σ=H2/4로 정의된다. 로서, 수평 투영정보 의 미분치의 절대값으로 정의되며, 수평 투영정보 이다. 여기서, H2와 W2는 사용자 입영상의 높이와 너비(픽셀 단위)를 의미한다.
수학식 4를 통해 구해진 입 벌림 정도값(fG)과 실제 입 벌림 정도는 반비례하는 바, 도 5의 (a)에 도시된 바와 같이 입을 크게 벌리고 있으면 fG값이 작고, 도 5의 (b)에 도시된 바와 같이 입을 다물고 있으면 fG값이 크다.
도 6은 얼굴방향 인식 서브루틴(S26)의 상세 동작 흐름도이다. 얼굴방향 인식 서브루틴(S26)에서는 얼굴영상 명도값(Iface)을 이용하여 사용자의 얼굴방향을 추출한다. 즉, 사용자의 얼굴이 좌측, 정면, 또는 우측 중 어느 방향으로 향하는 지를 추출한다.
이를 위해, 먼저 수평에지 얼굴영상 명도값()을 취득한다(S261). 이 수평에지 얼굴영상 명도값()은 도 3의 사용자 입영상을 취득하기 위한 수평에지 얼굴영상 명도값을 구하는 방법과 동일하다. 즉, 수평에지 커널(Kernel) K와 얼굴영상 명도값(Iface)을 컨벌루션(Convolution) 연산(Iface * K)하여 수평에지 얼굴영상 명도값()을 계산한다.
다음, 이 수평에지 얼굴영상 명도값()을 수학식 5를 적용하여 세 가지 소속도 측정값(dL, dM, dR)을 계산한다(S262).
여기서, 로서 수직투영정보이고, 표준 소속도 함수 는 도 4에 도시한 바와 같다. 아래첨자 L, M, R은 각각 얼굴방향에 대한 좌측/정면/우측을 명시한다.
도 7은 각 얼굴방향에 따른 사용자 입력 영상, 수평에지 얼굴영상, 수직투영정보를 도시한 것이다. (a)는 얼굴방향이 우측인 경우의 입력 영상과 수평에지 얼굴영상과 수직투영정보가 위에서부터 순차적으로 도시되어 있는 바, 얼굴방향이 우측인 경우에는 우측의 수직투영값()이 좌측이나 중앙의 수직투영값보다 크다. (b)는 얼굴방향이 정면인 경우의 입력 영상과 수평에지 얼굴영상과 수직투영정보가 위에서부터 순차적으로 도시되어 있는 바, 얼굴방향이 정면인 경우의 중앙 수직투영값이 얼굴방향이 좌측이나 우측인 경우의 중앙 수직투영값보다 크다. (c)는 얼굴방향이 좌측인 경우의 입력 영상과 수평에지 얼굴영상과 수직투영정보가 위에서부터 순차적으로 도시되어 있는 바, 얼굴방향이 좌측인 경우에는 좌측의 수직투영값이 우측이나 중앙의 수직투영값보다 크다.
한편, 도 8에는 표준 소속도 함수 를 도시한다. 는 x가 fL 내지 fM일 때 1에서 0까지 선형적으로 변하는 값이고, 는 x가 fL 내지 fM일 때 0에서 1까지 선형적으로 변하고 x가 fM 내지 fR일 때 1에서 0까지 선형적으로 변하는 값이며, 는 x가 fM 내지 fR일 때 0에서 1까지 선형적으로 변하는 값이다.
수학식 5에 의해 계산된 소속도 측정값 중 정면 소속도 측정값(dM)이 임계값보다 크면(S263), 사용자의 얼굴방향을 정면이라고 인지한다(S264). 단계 S263에서 정면 소속도 측정값(dM)이 임계값보다 크지 않으면 좌측 소속도 측정값(dL)과 우측 소속도 측정값(dR)을 비교한다(S265). 비교 결과, 좌측 소속도 측정값(dL)이 더 크면 사용자의 얼굴방향을 좌측이라고 인지하고(S266), 우측 소속도 측정값(dR)이 더 크면 사용자의 얼굴방향을 우측이라고 인지한다(S267).
제어부는 상술한 바와 같은 입 벌림 정도와 얼굴방향 정보를 이용하여 사용자의 의도를 추론하고, 로봇을 구동하기 위한 신호를 발생한다. 사용자의 얼굴 제스처에 따른 사용자의 의도 및 로봇 동작의 일 예를 아래의 표 1로 정리한다.
전건부 후건부
입을 크게 벌린 경우 로봇은 사용자에게 빠르게 접근한다.
입을 작게 벌린 경우 로봇은 사용자에게 느리게 접근한다.
입을 다문 경우 로봇은 움직임을 멈춘다.
고개를 좌우로 흔드는 경우 로봇은 사용자에게서 멀어진다.
도 9는 본 발명에 따른 로봇 구동방법이 적용된 로봇의 한 실시예를 도시한 도면이다. 로봇의 말단부에 CCD 카메라(110)를 설치하고 로봇팔(141)에 컵(C)을 장착한 상태에서, 사용자(U)가 입을 벌리고 다무는 동작 내지 고개를 돌리는 동작을 하면, 사용자의 얼굴 제스처를 CCD 카메라(110)가 촬영하여 로봇팔(141)을 구동함으로써, 사용자의 얼굴 제스처를 이용한 로봇의 음료수 서비스 작업을 수행할 수 있다.
이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
이상과 같이 본 발명에 따르면, 사용자 얼굴 영상으로부터 입 벌림 정도와 얼굴방향 등의 얼굴 제스처를 추출하고, 추출된 얼굴 제스처를 이용하여 사용자의 의도를 파악하여 로봇을 구동할 수 있기 때문에, 사용자가 별도의 장비를 착용하지 않더라도 로봇이 사용자의 의도를 정확하게 파악하고 그에 따른 동작을 취할 수 있다.
도 1은 본 발명의 한 실시예에 따른 얼굴 제스처를 이용한 로봇 구동장치를 도시한 구성 블록도,
도 2는 본 발명의 한 실시예에 따른 얼굴 제스처를 이용한 로봇 구동방법을 도시한 동작 흐름도,
도 3은 도 2의 입 벌림 정도 추출 서브루틴의 상세 동작 흐름도,
도 4는 도 3의 입 벌림 정도 추출 서브루틴의 각 단계에서 추출된 얼굴영상을 도시한 도면,
도 5는 입 벌림 정도의 차이를 설명하기 위하여 도시한 도면,
도 6은 도 2의 얼굴방향 추출 서브루틴의 상세 동작 흐름도,
도 7은 사용자의 얼굴방향에 따른 수평에지 얼굴영상을 도시한 도면,
도 8은 좌우측 및 정면에 대한 표준 소속도 함수를 도시한 도면,
도 9는 본 발명에 따른 로봇 구동방법이 적용된 로봇의 한 실시예를 도시한 도면이다.
※ 도면의 주요 부분에 대한 부호의 설명 ※
110 : CCD 카메라 120 : 제어부
130 : 데이터베이스 140 : 로봇 구동부
141 : 로봇 팔 142 : 로봇 다리

Claims (14)

  1. 삭제
  2. CCD 카메라로부터 얻어진 사용자 영상으로부터 사용자의 입 벌림 정도를 인식하는 제어부에서의 입 벌림 정도 인식방법에 있어서,
    상기 제어부가 상기 사용자 영상으로부터 얼굴 영역을 추출하는 단계와,
    상기 제어부가 상기 추출된 얼굴 영역의 얼굴영상 명도값과 수평에지 커널을 컨벌루션 연산하여 수평에지 얼굴영상 명도값을 계산하는 단계와,
    상기 제어부가 상기 추출된 얼굴 영역의 얼굴영상 색상값과 상기 수평에지 얼굴영상 명도값을 논리곱 연산하여 입영상 명도값을 계산하는 단계와,
    상기 제어부가 상기 입영상 명도값과 가버 커널을 컨벌루션 연산하여 가버 필터링된 입영상 명도값을 계산하는 단계와,
    상기 제어부가 상기 가버 필터링된 입영상 명도값을 이용하여 가우시안 가중치와 수평투영정보를 계산하는 단계와,
    상기 제어부가 상기 가우시안 가중치와 수평투영정보를 이용하여 입 벌림 정도값을 계산하는 단계를 포함한 것을 특징으로 하는 입 벌림 정도 인식방법.
  3. 제 2 항에 있어서, 상기 입 벌림 정도값을 계산하는 단계는,
    상기 가우시안 가중치()와 수평투영정보()를 아래의 수식에 적용하여 입 벌림 정도값(fG)을 계산하는 것을 특징으로 하는 입 벌림 정도 인식방법.
    [수식]
    여기서, 가우시안 가중치 , m=H2/2, σ=H2/4, , , H2와 W2는 입 영역의 높이와 너비이다.
  4. CCD 카메라로부터 얻어진 사용자 영상으로부터 사용자의 얼굴방향을 인식하는 제어부에서의 얼굴방향 인식방법에 있어서,
    상기 제어부가 상기 사용자 영상으로부터 얼굴 영역을 추출하는 단계와,
    상기 제어부가 상기 추출된 얼굴 영역의 얼굴영상의 명도값과 수평에지 커널을 컨벌루션 연산하여 수평에지 얼굴영상 명도값을 계산하는 단계와,
    상기 제어부가 상기 수평에지 얼굴영상 명도값의 수직투영정보와 표준 소속도 함수()를 이용하여 좌측 소속도 측정값(dL)과 정면 소속도 측정값(dM)과 우측 소속도 측정값(dR)을 계산하는 소속도 측정단계와,
    상기 제어부가 상기 좌측, 정면, 우측 소속도 측정값을 이용하여 얼굴방향을 결정하는 의사결정단계를 포함한 것을 특징으로 하는 얼굴방향 인식방법.
  5. 제 4 항에 있어서, 상기 소속도 측정단계는,
    상기 수평에지 얼굴영상 명도값()으로부터 수직투영정보()를 계산하고, 상기 수직투영정보()와 표준 소속도 함수()를 아래의 수식에 적용하여 상기 좌측 소속도 측정값(dL)과 정면 소속도 측정값(dM)과 우측 소속도 측정값(dR)을 계산하는 것을 특징으로 하는 얼굴방향 인식방법.
    [수식]
  6. 제 4 항에 있어서, 상기 의사결정단계는,
    상기 정면 소속도 측정값(dM)이 임계값보다 크면 사용자의 얼굴방향이 정면이라고 인식하고, 상기 정면 소속도 측정값(dM)이 임계값보다 작고 좌측 소속도 측정값(dL)이 우측 소속도 측정값(dR)보다 크면 사용자의 얼굴방향이 좌측이라고 인식하고, 상기 정면 소속도 측정값(dM)이 임계값보다 작고 우측 소속도 측정값(dR)이 좌측 소속도 측정값(dL)보다 크면 사용자의 얼굴방향이 우측이라고 인식하는 것을 특징으로 하는 얼굴방향 인식방법.
  7. 사용자 영상을 촬영하는 CCD 카메라와, 사용자의 얼굴 제스처에 따른 사용자 의도를 저장한 데이터베이스와, 상기 CCD 카메라로부터 얻어진 사용자 영상으로부터 사용자의 얼굴 제스처를 인식하여 사용자 의도를 파악하는 제어부와, 상기 사용자 의도에 따라 로봇을 구동하는 로봇 구동부를 포함한 로봇 시스템의 상기 제어부에서의 로봇 구동방법에 있어서,
    상기 제어부가 상기 사용자 영상으로부터 얼굴 영역을 추출하는 단계와,
    상기 제어부가 상기 추출된 얼굴 영역의 얼굴영상 명도값과 수평에지 커널을 컨벌루션 연산하여 수평에지 얼굴영상 명도값을 계산하는 단계와,
    상기 제어부가 상기 수평에지 얼굴영상 명도값과 상기 추출된 얼굴 영역의 얼굴영상 색상값으로부터 입 영역을 추출하고 입 벌림 정도를 인식하는 단계와,
    상기 제어부가 상기 수평에지 얼굴영상 명도값의 수직투영정보와 표준 소속도 함수를 이용하여 얼굴방향을 인식하는 단계와,
    상기 제어부가 상기 인식된 입 벌림 정도와 얼굴방향을 데이터베이스에 적용하여 사용자의 의도를 추론하는 단계와,
    상기 제어부가 상기 추론된 사용자의 의도에 따라 로봇 구동신호를 발생하여 상기 로봇 구동부에게 제공하는 단계를 포함한 것을 특징으로 하는 얼굴 제스처를 이용한 로봇 구동방법.
  8. 제 7 항에 있어서, 상기 입 벌림 정도를 인식하는 단계는,
    상기 제어부가 상기 추출된 얼굴 영역의 얼굴영상 색상값과 상기 수평에지 얼굴영상 명도값을 논리곱 연산하여 입영상 명도값을 얻는 단계와,
    상기 제어부가 상기 입영상 명도값과 가버 커널을 컨벌루션 연산하여 가버 필터링된 입영상 명도값을 얻는 단계와,
    상기 제어부가 상기 가버 필터링된 입영상 명도값을 이용하여 가우시안 가중치와 수평투영정보를 계산하는 단계와,
    상기 제어부가 상기 가우시안 가중치와 수평투영정보를 이용하여 입 벌림 정도값을 계산하는 단계를 포함한 것을 특징으로 하는 얼굴 제스처를 이용한 로봇 구동방법.
  9. 삭제
  10. 제 8 항에 있어서, 상기 입 벌림 정도값을 계산하는 단계는,
    상기 가우시안 가중치()와 수평투영정보()를 아래의 수식에 적용하여 입 벌림 정도값(fG)을 계산하는 것을 특징으로 하는 얼굴 제스처를 이용한 로봇 구동방법.
    [수식]
    여기서, 가우시안 가중치 , m=H2/2, σ=H2/4, , , H2와 W2는 입 영역의 높이와 너비이다.
  11. 제 7 항에 있어서, 상기 얼굴방향을 인식하는 단계는,
    상기 수평에지 얼굴영상 명도값()으로부터 수직투영정보()를 계산하는 단계와,
    상기 수직투영정보()와 표준 소속도 함수()를 아래의 수식에 적용하여 상기 좌측 소속도 측정값(dL)과 정면 소속도 측정값(dM)과 우측 소속도 측정값(dR)을 계산하는 단계와,
    상기 좌측 소속도 측정값과 정명 소속도 측정값과 우측 소속도 측정값을 이용하여 사용자의 얼굴방향을 결정하는 단계를 포함한 것을 특징으로 하는 얼굴 제스처를 이용한 로봇 구동방법.
    [수식]
  12. 삭제
  13. 제 11 항에 있어서, 상기 얼굴방향을 결정하는 단계는,
    상기 정면 소속도 측정값(dM)이 임계값보다 크면 사용자의 얼굴방향이 정면이라고 인식하고, 상기 정면 소속도 측정값(dM)이 임계값보다 작고 좌측 소속도 측정값(dL)이 우측 소속도 측정값(dR)보다 크면 사용자의 얼굴방향이 좌측이라고 인식하고, 상기 정면 소속도 측정값(dM)이 임계값보다 작고 우측 소속도 측정값(dR)이 좌측 소속도 측정값(dL)보다 크면 사용자의 얼굴방향이 우측이라고 인식하는 것을 특징으로 하는 얼굴 제스처를 이용한 로봇 구동방법.
  14. 사용자의 영상을 촬영하는 CCD 카메라와, 사용자의 얼굴 제스처에 따른 사용자 의도를 저장한 데이터베이스와, 상기 CCD 카메라로부터 얻어진 사용자 영상으로부터 사용자의 얼굴 제스처를 인식하여 사용자 의도를 파악하는 제어부와, 상기 사용자 의도에 따라 로봇을 구동하는 로봇 구동부를 포함한 로봇 시스템에, 얼굴 제스처를 이용한 로봇 구동방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 얼굴 제스처를 이용한 로봇 구동방법은,
    상기 사용자 영상으로부터 얼굴 영역을 추출하는 단계와,
    상기 추출된 얼굴 영역의 얼굴 영상의 명도값과 수평에지 커널을 컨벌루션 연산하여 수평에지 얼굴영상 명도값을 계산하는 단계와,
    상기 수평에지 얼굴영상 명도값과 상기 추출된 얼굴 영역의 얼굴영상 색상값으로부터 입 영역을 추출하고 입 벌림 정도를 인식하는 단계와,
    상기 수평에지 얼굴영상 명도값의 수직투영정보와 표준 소속도 함수를 이용하여 얼굴방향을 인식하는 단계와,
    상기 인식된 입 벌림 정도와 얼굴방향을 데이터베이스에 적용하여 사용자의 의도를 추론하는 단계와,
    상기 추론된 사용자의 의도에 따라 로봇 구동신호를 발생하여 상기 로봇 구동부에게 제공하는 로봇 구동신호 발생단계를 포함한 것을 특징으로 컴퓨터로 읽을 수 있는 기록매체.
KR10-2003-0008287A 2003-02-10 2003-02-10 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법 KR100515798B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2003-0008287A KR100515798B1 (ko) 2003-02-10 2003-02-10 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0008287A KR100515798B1 (ko) 2003-02-10 2003-02-10 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법

Publications (2)

Publication Number Publication Date
KR20040072286A KR20040072286A (ko) 2004-08-18
KR100515798B1 true KR100515798B1 (ko) 2005-09-21

Family

ID=37359860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0008287A KR100515798B1 (ko) 2003-02-10 2003-02-10 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법

Country Status (1)

Country Link
KR (1) KR100515798B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101309562B1 (ko) * 2006-10-25 2013-09-17 에스케이플래닛 주식회사 사용자의 행동을 판단하여 몸을 움직여 감정을 표현하는로봇 및 그 방법
WO2018117514A1 (ko) * 2016-12-23 2018-06-28 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890522B2 (en) * 2005-11-10 2011-02-15 Lg Electronics Inc. Record media written with data structure for recognizing a user and method for recognizing a user
KR100776801B1 (ko) 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
KR100847136B1 (ko) 2006-08-14 2008-07-18 한국전자통신연구원 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치
KR101652705B1 (ko) * 2009-07-22 2016-09-01 삼성전자주식회사 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
JP5911796B2 (ja) 2009-04-30 2016-04-27 サムスン エレクトロニクス カンパニー リミテッド マルチモーダル情報を用いるユーザ意図推論装置及び方法
TWI809286B (zh) 2019-07-05 2023-07-21 日商小野藥品工業股份有限公司 以pd-1/cd3雙特異性蛋白質所進行之血液性癌症治療
JP7454382B2 (ja) 2020-01-17 2024-03-22 株式会社Subaru 誤取り付け検査支援システム
KR102099123B1 (ko) * 2020-02-03 2020-04-09 김성 인공지능을 이용한 수상스포츠 장치 제어방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101309562B1 (ko) * 2006-10-25 2013-09-17 에스케이플래닛 주식회사 사용자의 행동을 판단하여 몸을 움직여 감정을 표현하는로봇 및 그 방법
WO2018117514A1 (ko) * 2016-12-23 2018-06-28 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법
KR20180074404A (ko) * 2016-12-23 2018-07-03 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법
KR102639904B1 (ko) 2016-12-23 2024-02-26 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법

Also Published As

Publication number Publication date
KR20040072286A (ko) 2004-08-18

Similar Documents

Publication Publication Date Title
CN105469113B (zh) 一种二维视频流中的人体骨骼点追踪方法及系统
US8218862B2 (en) Automatic mask design and registration and feature detection for computer-aided skin analysis
KR100776801B1 (ko) 화상 처리 시스템에서의 제스처 인식 장치 및 방법
CN110287790B (zh) 一种面向静态多人场景的学习状态混合分析方法
CN110221699B (zh) 一种前置摄像头视频源的眼动行为识别方法
CN109993068B (zh) 一种基于心率和面部特征的非接触式的人类情感识别方法
Iga et al. A gender and age estimation system from face images
KR101893554B1 (ko) 멀티 모달 데이터 기반 표정인식방법 및 장치
CN108197534A (zh) 一种人头部姿态检测方法、电子设备及存储介质
KR100515798B1 (ko) 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
Tu et al. Human computer interaction using face and gesture recognition
CN109299641B (zh) 一种列车调度员疲劳监测图像自适应处理算法
Sobia et al. Facial expression recognition using PCA based interface for wheelchair
Gupta et al. Accurate heart-rate estimation from face videos using quality-based fusion
CN115346272A (zh) 基于深度图像序列的实时摔倒检测方法
CN103400118B (zh) 一种映射关系自适应调整的手势控制方法
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
Gu et al. Automatic Tongue Image Segmentation Based on Thresholding and an Improved Level Set Model
KR101158016B1 (ko) 상체자세 및 손모양 검출 장치 및 그 방법
Hosseini et al. Facial expression analysis for estimating patient's emotional states in RPMS
KR100788057B1 (ko) 바이오 마우스
Mahajan et al. Emotion detection algorithm
Tamilselvi et al. Feature Extraction and Facial Expression Recognition using Support Vector Machine
JP2005309862A (ja) 図形抽出プログラム、図形抽出方法、及び図形抽出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100831

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee