KR20170068661A - 계층적 불변 모멘트를 이용한 외곽선 영상기반 asl 숫자인식 방법 - Google Patents

계층적 불변 모멘트를 이용한 외곽선 영상기반 asl 숫자인식 방법 Download PDF

Info

Publication number
KR20170068661A
KR20170068661A KR1020150174883A KR20150174883A KR20170068661A KR 20170068661 A KR20170068661 A KR 20170068661A KR 1020150174883 A KR1020150174883 A KR 1020150174883A KR 20150174883 A KR20150174883 A KR 20150174883A KR 20170068661 A KR20170068661 A KR 20170068661A
Authority
KR
South Korea
Prior art keywords
image
hand
invariant
fine
feature value
Prior art date
Application number
KR1020150174883A
Other languages
English (en)
Other versions
KR101841503B1 (ko
Inventor
강대성
임혜연
Original Assignee
동아대학교 산학협력단
주식회사 엠디테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단, 주식회사 엠디테크 filed Critical 동아대학교 산학협력단
Priority to KR1020150174883A priority Critical patent/KR101841503B1/ko
Publication of KR20170068661A publication Critical patent/KR20170068661A/ko
Application granted granted Critical
Publication of KR101841503B1 publication Critical patent/KR101841503B1/ko

Links

Images

Classifications

    • G06K9/00355—
    • G06K9/40—
    • G06K9/4652—
    • G06K9/6204—
    • G06K9/6267—

Landscapes

  • Image Analysis (AREA)

Abstract

본 발명은 계층적 불변 모멘트를 이용한 외곽선 영상기반 ASL(American sign language) 숫자인식 방법에 관한 것으로서, 더욱 상세하게는 조명 변화에 따른 오검출을 줄이고자 HSV 색 공간을 사용하고, 검출된 이진화 영상을 침식과 팽창연산 순의 열림 연산으로 잡영을 제거하며, 캐니 엣지(Canny-edge)로 외곽선을 획득한 후 계층적 불변 모멘트를 실행하여 ASL 숫자를 인식하는 방법에 관한 것이다.
본 발명에 따른 계층적 불변 모멘트를 이용한 외곽선 영상기반 ASL 숫자인식 방법은 영상 프레임 입력 단계; RGB에서 HSV로 색 공간 변환 단계; 가우시안 필터링에 의한 초기 잡음 제거 단계; 손바닥의 이진 영상 획득 단계; 손바닥 이진 영상을 관심영역으로 설정하는 단계; 내부 레이블링에 의한 손 내부 잡음 제거 단계; 거리변환벡터로 손 중심점을 검출하는 단계; 거리변환벡터로 손목을 타원의 차 연산으로 제거하는 단계; 캐니 알고리즘에 의한 손바닥 외곽정보 획득 단계; 방향 계층에서 입력 받은 영상의 고유 방향 정보 획득 단계; 물체 외형 계층의 편심도 계산 단계; 물체 외형 계층의 진원도 계산 단계; 편심도 및 진원도에 의한 손 외부 변화 특징값 획득 단계; 수평/수직 분산의 합에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계; 상호 분산에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계; 왜도 감소에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계; 왜도 상쇄에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계; 편심도에 의한 손 외부 변화 특징값 정규화 단계; 진원도에 의한 손 외부 변화 특징값 정규화 단계; 수평/수직 분산의 합 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계; 상호 분산 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계; 왜도 감소 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계; 왜도 상쇄 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계; 상기 정규화 된 특징값의 입력층 설정 및 목표값 설정 단계; 역전파 인공신경망으로 분류하여 최종 손 모양을 인식하는 단계;를 포함하여 실시 흐름이 형성되는 것을 특징으로 한다.

Description

계층적 불변 모멘트를 이용한 외곽선 영상기반 ASL 숫자인식 방법{ASL Numbers Recognition Method Using Hierarchical Moment Invariants Based on Edge Image}
본 발명은 미래창조과학부와 부산정보산업진흥원의 정보통신·방송 연구개발사업으로 수행된 연구결과이다.
본 발명은 계층적 불변 모멘트를 이용한 외곽선 영상기반 ASL(American sign language) 숫자인식 방법에 관한 것으로서, 더욱 상세하게는 조명 변화에 따른 오검출을 줄이고자 HSV 색 공간을 사용하고, 검출된 이진화 영상을 침식과 팽창연산 순의 열림 연산으로 잡영을 제거하며, 캐니 엣지(Canny-edge)로 외곽선을 획득한 후 계층적 불변 모멘트를 실행하여 ASL 숫자를 인식하는 방법에 관한 것이다.
영상 처리를 위한 컴퓨터 및 모바일 기기의 연산능력이 발전함에 따라 복잡한 영상처리가 필요한 손 모양 인식 및 제스처 인식 기능이 증가하는 추세이다. 하지만 다양한 모양의 인식에서 성능이 제한적이며 상용화된 장치에서는 한두 가지의 제스처만 인식하는 정도이다. 본 발명에서는 일상에서 쉽게 볼 수 있는 단일 RGB 카메라를 이용해 ASL 중에서 숫자 부분 9개를 정확하게 인식하는 방법을 제안하고자 한다.
본 발명에 따른 계층적 불변 모멘트를 이용한 외곽선 영상기반 ASL 숫자인식 방법을 개시하려는 유사 선행 기술에는 대한민국 등록특허공보 제10-1017936호 '사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템', 대한민국 공개특허공보 제10-2014-0024421호 '손가락 인식 및 트래킹 시스템', 대한민국 등록특허공보 제10-1434533호 '손가락 동작인식 기반의 카메라 촬영 시스템 및 그 방법', 대한민국 공개특허공보 제10-2015-0065109호 '손가락 인식을 통한 객체 제어 방법 및 장치' 등이 있다.
상기한 종래의 유사 선행 기술은 조명 변화에 따른 오검출을 줄이고자 HSV 색 공간을 사용하고, 검출된 이진화 영상을 침식과 팽창연산 순의 열림 연산으로 잡영을 제거하며, 캐니 엣지로 외곽선을 획득한 후 계층적 불변 모멘트를 실행하여 ASL 숫자를 인식하는 방법을 제공하지 못하였다.
KR10-2014-0024421(A) KR10-2015-0065109(A) KR10-1017936(B1) KR10-1434533(B1) CA2837470(A1) EP02718900(A2) JP26524070(A) US20120309532(A1) WO2012170349(A2)
본 발명은 상기한 발명의 배경으로부터 요구되는 기술적 필요성을 충족하는 것을 목적으로 한다. 구체적으로, 본 발명의 목적은 전처리 과정을 거쳐 잡음이 제거된 영상에 캐니 엣지를 사용하여 손의 외곽선 정보를 얻고 이후 불변 모멘트 값을 이용하여 특징값을 획득하고 신경망 학습으로 ASL 숫자를 인식하는 기술을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명에 따른 계층적 불변 모멘트를 이용한 외곽선 영상기반 ASL 숫자인식 방법은 영상 프레임 입력 단계; RGB에서 HSV로 색 공간 변환 단계; 가우시안 필터링에 의한 초기 잡음 제거 단계; 손바닥의 이진 영상 획득 단계; 손바닥 이진 영상을 관심영역으로 설정하는 단계; 내부 레이블링에 의한 손 내부 잡음 제거 단계; 거리변환벡터로 손 중심점을 검출하는 단계; 거리변환벡터로 손목을 타원의 차 연산으로 제거하는 단계; 캐니 알고리즘에 의한 손바닥 외곽정보 획득 단계; 방향 계층에서 입력 받은 영상의 고유 방향 정보 획득 단계; 물체 외형 계층의 편심도 계산 단계; 물체 외형 계층의 진원도 계산 단계; 편심도 및 진원도에 의한 손 외부 변화 특징값 획득 단계; 수평/수직 분산의 합에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계; 상호 분산에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계; 왜도 감소에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계; 왜도 상쇄에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계; 편심도에 의한 손 외부 변화 특징값 정규화 단계; 진원도에 의한 손 외부 변화 특징값 정규화 단계; 수평/수직 분산의 합 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계; 상호 분산 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계; 왜도 감소 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계; 왜도 상쇄 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계; 상기 정규화 된 특징값의 입력층 설정 및 목표값 설정 단계; 역전파 인공신경망으로 분류하여 최종 손 모양을 인식하는 단계;를 포함하여 실시 흐름이 형성되는 것을 특징으로 한다.
이상과 같이 본 발명은 3-레이어(layer)로 계층적 불변 모멘트를 이용해 방향정보, 외형정보, 픽셀 전체의 특징값 정보를 획득해 정확한 분류를 목적으로 해서 인식률을 향상시키면 향후 많은 전자기기에서의 응용이 가능한 효과가 있다.
본 발명의 기술적 효과들은 이상에서 언급한 기술적 효과들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 청구범위의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 계층적 불변 모멘트를 이용한 외곽선 영상기반 ASL 숫자인식 방법 중 전처리 단계에 대한 실시 흐름도;
도 2는 ASL 기반의 숫자 표시 손 모양 및 외곽선 획득 과정에 대한 예시도;
도 3은 본 발명에 따른 계층적 불변 모멘트를 이용한 외곽선 영상기반 ASL 숫자인식 방법 중 계층적 불변 모멘트 시행 단계에 대한 실시 흐름도;
도 4는 타원 기울기 검출에 대한 이론적 예시도;
도 5는 타원의 각도 계산 시 각도 보정을 위한 조건식의 예시도;
도 6은 ASL 숫자 외곽선 산출 결과의 예시도;
도 7은 모멘트불변 값과 물체 외형계층에 대한 진원도 및 편심도 로그 정규화 결과의 예시도;
도 8은 본 발명에 따른 계층적 불변 모멘트를 이용한 외곽선 영상기반 ASL 숫자인식 방법 중 신경망 분류 단계에 대한 실시 흐름도;
도 9는 계층적 특징값 정규화 결과의 예시도;
도 10은 역전파 인공신경망 학습 결과의 예시도;
도 11은 본 발명에 따른 계층적 불변 모멘트를 이용한 외곽선 영상기반 ASL 숫자인식 방법 성능 평가에 대한 예시도이다.
이하에서는, 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다. 또한 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.
본 발명의 각 구성 단계에 대한 상세한 설명에 앞서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과하며 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
캐니 외곽선 검출 알고리즘은 다양한 외곽선 검출기를 기본으로 외곽선 강도와 위치에 따른 연결 정도를 변화시켜 정확한 외곽선의 검출 결과를 보인다. 단점으로는 각 외곽선의 위치정보를 저장하고 비교하는 단계의 추가로 연산량이 늘어난다. 이런 경우에는 임계 값 처리된 기울기와 같은 방법을 통해 속도를 개선하면서 정확성 높은 외곽선 결과를 얻는 절충안이 있다. 소벨(Sobel) 마스크로 미분 값을 산출해 외곽지점을 찾는 것으로 시작한다. 그리고 외곽선 극값을 선택해 잡음 부분을 제거한 후 이중 문턱 값으로 현재 픽셀 위치의 외곽선 강도를 비교한다. 마지막으로 4방향 혹은 8방향으로 연결 여부의 강약을 판단해서 최종 외곽선을 형성한다.
불변 모멘트는 모양기술자 방법의 하나라고 볼 수 있다. 모양 기술자는 영상 전체의 픽셀 값, 위치 값을 일련의 숫자들의 집합으로 표현하는 것을 의미한다. 그 중 Hu-불변모멘트가 대표적이며 영상의 방향, 이동, 크기변화에 불변한 특징값을 나타낸다. 기하학적 모멘트인 수식(1)을 기본으로 (p+q) 차수를 계산할 수 있다. 여기서 M, N은 영상의 가로와 세로 픽셀의 크기이다.
Figure pat00001
수식(1)
이를 3차 수 이하의 중심모멘트와 회전불변 모멘트 η를 조합해 7개의 Hu 불변 모멘트 수식을 정의할 수 있다. 수식(2) 내지 수식(5)는 7개의 불변 모멘트 중 연산량이 적은 처음 4개의 불변 모멘트를 나타낸 것이다.
Figure pat00002
수식(2)
Figure pat00003
수식(3)
Figure pat00004
수식(4)
Figure pat00005
수식(5)
본 발명에서 제안하는 방법은, 먼저 전처리 과정으로 입력받은 영상을 조명변화에 강인한 색 공간인 RGB에서 HSV로 변환한다. 그리고 획득한 손의 이진 영상을 관심영역으로 두고 내부 레이블링을 통해 다양한 제스처에서 발생할 수 있는 손 내부 잡음을 모두 제거한다. 그 후 거리변환벡터의 중심점을 기준으로 손목 부분을 제거하고 캐니 외곽선 검출기로 외곽 손바닥 외곽정보를 획득한다. 다음으로 계층적 불변 모멘트를 시행하는데 첫 단계로 방향 계층에서 입력받은 영상의 고유 방향 정보를 획득한다. 그리고 물체 외곽 계층에서 진원도와 편심도를 통해 손 외부의 변화 특징값을 획득하고 마지막으로 왜도 불변 모멘트를 이용해 미세한 손 영상의 특징값을 획득한다. 앞서 획득한 7개의 특징값을 BP 인공 신경망으로 분류하고 최종 손 모양 인식을 완성한다.
도 1 내지 도 11을 참조하여 본 발명에 따른 계층적 불변 모멘트를 이용한 외곽선 영상기반 ASL 숫자인식 방법을 보다 자세하게 설명하면 다음과 같다. 본 발명의 기술을 개시하기 위한 실시 단계는 크게 전처리 단계(S100); 계층적 불변 모멘트 시행 단계(S200); 신경망 분류 단계(S300);가 포함되는 것을 특징으로 한다.
상기 전처리 단계(S100)는 모양기술자들을 이용하여 특징값을 획득하기 전까지의 과정을 의미하는 것으로, 영상 프레임의 입력 단계(S110); RGB에서 HSV로 색 공간을 변환하는 단계(S120); 가우시안 필터링(Gaussian filtering)에 의한 초기 잡음 제거 단계(S130); 손바닥의 이진 영상 획득 단계(S140); 상기 손바닥 이진 영상을 관심영역으로 설정하는 단계(S150); 내부 레이블링에 의한 손 내부 잡음 제거 단계(S160); 거리변환벡터로 손 중심점을 검출하는 단계(S170); 상기 거리변환벡터로 손목을 타원의 차 연산으로 제거하는 단계(S180); 캐니 알고리즘에 의한 손바닥 외곽정보 획득 단계(S190);가 추가로 포함되는 것을 특징으로 한다(도 1). 전술한 단계를 보다 상세히 설명하면, 먼저 영상을 입력 받아서 HSV 색 공간으로 변환 작업을 수행한 후, 가우시안 필터링으로 초기 잡음을 제거하고 Hue영역 범위로 10 이하, 345 이상을 사용해 이진 손바닥 영상을 획득한다. 다음으로 손바닥 내부에서 발생하는 잡음을 제거하기 위해 이중 레이블링을 사용한다. 처음 손바닥의 관심영역(ROI)을 기준으로 내부에 다시 상기 ROI를 생성해 그 부분을 손바닥과 같은 픽셀로 바꿔 잡음을 모두 제거한다. 그 후에는 외곽선 검출에 앞서 거리변환벡터를 이용해 손 중심점 부분을 검출하고 손목 부분을 타원의 차 연산으로 제거하는 단계를 수행한다. 손목 부분이 제거된 이진 영상으로 캐니 알고리즘을 이용해 외곽선을 검출한다(도 2).
상기 전처리 단계(S100)가 모두 수행되면, 상기 계층적 불변 모멘트 시행 단계(S200)를 수행하게 되는데, 이는 방향 계층에서 입력 받은 영상의 고유 방향 정보 획득 단계(S210); 물체 외형 계층의 편심도 계산 단계(S220); 상기 물체 외형 계층의 진원도 계산 단계(S230); 상기 편심도 및 상기 진원도에 의한 손 외부 변화 특징값 획득 단계(S240); 수평/수직 분산의 합(I1)에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계(S250); 상호 분산(I2)에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계(S260); 왜도 감소(I3)에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계(S270); 왜도 상쇄(I4)에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계(S280);가 추가로 포함되는 것을 특징으로 한다(도 3). 전술한 단계를 보다 상세히 설명하면, 상기 계층적 불변 모멘트 시행 단계(S200)는 크게 방향계층, 물체외형 계층 그리고 불변모멘트계층으로 구성하였다. 우선 방향 층은 도 4와 같이 타원의 장축과 단축을 이용해 물체 고유의 각도를 알아내는 방법을 적용하였다. 앞서 왜도 불변모멘트값을 이용해 특징값을 획득했지만, 이는 이동, 방향, 크기에 불변한 값이다. 그리고 양손의 구별과 향후 방향 정보에 따른 차별된 모양인식 추가를 위해 방향 불변 모멘트를 사용하였다. 각도는 타원의 각도를 구하는 방법을 이용하였고 사용한 식은 하기의 수식(6)과 같다. θ값은 하기의 도 5에 제시된 조건을 통해 정확한 방향 정보로 변환할 수 있다.
Figure pat00006
수식(6)
다음으로 물체 외형계층의 진원도(Circularity)와 편심도(Eccentricity)를 계산한다. 우선 편심도는 힘의 작용이 중심에서 벗어나 작용하는 것을 의미한다. 손 모양에 적용하게 되면 손 영상의 중심을 기준으로 균형 정도의 값을 획득할 수 있다. 상기 도 4에서 장축 a와 단축 b를 이용해 편심도 수식(7)을 얻을 수 있다. 그리고 여기서 불변 모멘트 값을 이용해 수식(8)과 같이 나타낼 수 있다.
Figure pat00007
수식(7)
Figure pat00008
수식(8)
두 번째 물체 외형계층의 진원도의 경우 외곽선의 둘레와 손 영역의 면적을 이용해 수식(9)와 같이 구할 수 있다.
Figure pat00009
수식(9)
물체가 원형에 가까울 경우 1에 근접한 값을 보인다. 각각의 제스처마다 고유의 진원도, 편심도가 존재하기 때문에 마지막 불변모멘트의 결과값을 보조해 인식률을 높일 수 있다. 또한, 외형계층에서의 결과값은 이동, 크기변화 방향변화에 불변해 손의 움직임에도 신뢰도 높은 결과를 보인다.
마지막으로 불변 모멘트값을 이용한 특징값을 획득한다. 사용한 불변모멘트는 상기 수식(2) 내지 상기 수식(5)이며 상기 수식(2)는 수평/수직 분산의 합, 상기 수식(3)은 상호분산, 상기 수식(4)와 상기 수식(5)는 각각 왜도를 감소 및 상쇄하는 특징값을 나타낸다. Hu 불변모멘트는 그 외에의 왜도 불변모멘트가 있지만, 계산량이 많고 영상의 변화에 따른 분류를 할 때 잡음이 많이 발생하여서 사용하지 않았다. 각 숫자에 대한 외곽선 실험 결과는 도 6과 같다. 그리고 도 7의 그래프는 각 영상에 따른 4개의 모멘트불변 값과 2개 물체 외형계층에 대한 진원도와 편심도를 로그 정규화한 결과이다.
상기 계층적 불변 모멘트 시행 단계(S200)가 모두 수행되면, 상기 신경망 분류 단계(S300)를 수행하게 되는데, 이는 편심도에 의한 손 외부 변화 특징값 정규화 단계(S310); 진원도에 의한 손 외부 변화 특징값 정규화 단계(S320); 수평/수직 분산의 합(I1) 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계(S330); 상호 분산(I2) 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계(S340); 왜도 감소(I3) 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계(S350); 왜도 상쇄(I4) 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계(S360); 상기 정규화 된 특징값의 입력층 설정 및 목표값 설정 단계(S370); 역전파 인공신경망(Back-propagation ANN)으로 분류하여 최종 손 모양을 인식하는 단계(S380);가 추가로 포함되는 것을 특징으로 한다(도 8). 전술한 단계를 보다 상세히 설명하면, 상기 신경망 분류 단계(S300)에서는 신경망 분류에 앞서 4개의 불변모멘트 m[1]에서 m[4], 진원도 그리고 편심도를 포함해 6개의 특징값을 0에서 1사이의 값으로 정규화시켰으며 그 결과는 도 9와 같다. 여기서 수직, 수평 분산의 합인 m[1]의 경우 손 모양에 따른 변화가 미미해 분류에 의미가 없으므로 신경망 학습에 사용하지 않았다. 손 모양에 따른 특징값을 분류하기 위해 역전파 인공신경망을 사용하였다. 9개의 제스처 분류를 위해 m[1]을 제외한 5개의 특징값을 입력 층으로 정했고 목표 값으로 4bit를 사용하였다. 도 10은 ASL제스처에 따른 지정한 목표 값과 학습결과표이다. 목표 값과 학습결과 사이의 오류율이 0.01까지 되도록 학습했고 은닉 층의 수는 10개로 하기의 수식(10)을 이용하였다. 여기서 M은 출력층 수이며 N은 입력층 수이다.
Figure pat00010
수식(10)
도 11은 본 발명을 이용한 각 숫자의 인식률 및 성능을 나타낸 것으로 각 숫자의 인식률 평균은 97.15%이고 처리속도는 0.046frame/sec로 산출되었으며 이는 본 발명을 이용한 숫자 인식률이 종래의 기술을 이용한 것에 비하여 월등히 증가하였음을 입증할 수 있는 근거 자료로 활용할 수 있다.
이상 본 발명의 실시예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용, 변형 및 개작을 행하는 것이 가능할 것이다. 이에, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (10)

  1. 계층적 불변 모멘트를 이용한 외곽선 영상기반 ASL 숫자인식 방법에 있어서,
    손 모양 영상을 인식하고 색 공간을 변환하며 잡음을 제거한 후 외곽선을 검출하는 전처리 단계(S100);
    방향 계층, 물체외형 계층 및 불변모멘트 계층 방법으로 손 모양의 특징값을 산출하는 계층적 불변 모멘트 시행 단계(S200);
    역전파 인공신경망을 이용하여 손 모양의 특징값을 분류하는 신경망 분류 단계(S300);가 포함되는 것을 특징으로 하는 ASL 숫자인식 방법.
  2. 제 1 항에 있어서,
    상기 전처리 단계(S100)는,
    영상 프레임의 입력 단계(S110);
    RGB에서 HSV로 색 공간을 변환하는 단계(S120);
    가우시안 필터링에 의한 초기 잡음 제거 단계(S130);
    손바닥 이진 영상 획득 단계(S140);
    상기 손바닥 이진 영상을 관심영역으로 설정하는 단계(S150);
    내부 레이블링에 의한 손바닥 내부 잡음 제거 단계(S160);
    거리변환벡터에 의한 손 중심점 검출 단계(S170);
    타원의 차 연산으로 손목을 제거하는 단계(S180);
    캐니 외곽선 검출 알고리즘에 의한 손바닥 외곽정보 획득 단계(S190);가 추가로 포함되는 것을 특징으로 하는 ASL 숫자인식 방법.
  3. 제 2 항에 있어서,
    상기 전처리 단계(S100)는 상기 손 모양 영상을 입력 받아서 HSV 색 공간으로 변환하고, 가우시안 필터링으로 초기 잡음을 1차 제거하며 Hue영역 범위를 조절하여 이진 영상을 획득하는 것을 특징으로 하는 ASL 숫자인식 방법.
  4. 제 2 항에 있어서,
    이중 레이블링을 사용하여 손바닥 내부에서 발생하는 잡음을 2차 제거하고 손바닥 ROI를 기준으로 내부에 상기 ROI를 재생성하여 미세 잡음을 3차 제거하는 것을 특징으로 하는 ASL 숫자인식 방법.
  5. 제 2 항에 있어서,
    상기 거리변환벡터로 상기 손 중심점 부분을 검출하고 상기 타원의 차 연산으로 손목 부분을 제거하며 상기 캐니 외곽선 검출 알고리즘으로 상기 손목 부분이 제거된 상기 이진 영상에서 외곽선을 검출하는 것을 특징으로 하는 ASL 숫자인식 방법.
  6. 제 1 항에 있어서,
    상기 계층적 불변 모멘트 시행 단계(S200)는,
    방향 계층에서 입력 받은 영상의 고유 방향 정보 획득 단계(S210);
    물체 외형 계층의 편심도 계산 단계(S220);
    상기 물체 외형 계층의 진원도 계산 단계(S230);
    상기 편심도 및 상기 진원도에 의한 손 외부 변화 특징값 획득 단계(S240);
    수평/수직 분산의 합(I1)에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계(S250);
    상호 분산(I2)에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계(S260);
    왜도 감소(I3)에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계(S270);
    왜도 상쇄(I4)에 대한 불변 모멘트값으로 미세 손 영상 특징값 획득 단계(S280);가 추가로 포함되는 것을 특징으로 하는 ASL 숫자인식 방법.
  7. 제 6 항에 있어서,
    상기 편심도는
    Figure pat00011
    의 관계로 산출하고 상기 불변 모멘트값을 이용하여
    Figure pat00012
    와 같이 나타낼 수 있는 것을 특징으로 하는 ASL 숫자인식 방법.
  8. 제 6 항에 있어서,
    상기 진원도는
    Figure pat00013
    의 관계로 산출되는 것을 특징으로 하는 ASL 숫자인식 방법.
  9. 제 1 항에 있어서,
    상기 신경망 분류 단계(S300)는, 편심도에 의한 손 외부 변화 특징값 정규화 단계(S310);
    진원도에 의한 손 외부 변화 특징값 정규화 단계(S320);
    수평/수직 분산의 합(I1) 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계(S330);
    상호 분산(I2) 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계(S340);
    왜도 감소(I3) 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계(S350);
    왜도 상쇄(I4) 불변 모멘트에 의한 미세 손 영상 특징값 정규화 단계(S360);
    상기 정규화 된 특징값의 입력층 설정 및 목표값 설정 단계(S370);
    상기 역전파 인공신경망으로 분류하여 최종 손 모양을 인식하는 단계(S380);가 추가로 포함되는 것을 특징으로 하는 ASL 숫자인식 방법.
  10. 제 9 항에 있어서,
    상기 역전파 인공신경망 적용 시, 상기 목표값과 학습결과 사이의 오류율이 0.01이하가 되도록 하고 은닉 층은 10개가 되도록 하며 상기 은닉층은
    Figure pat00014
    의 관계로 산출되는 것을 특징으로 하는 ASL 숫자인식 방법.
KR1020150174883A 2015-12-09 2015-12-09 계층적 불변 모멘트를 이용한 외곽선 영상기반 asl 숫자인식 방법 KR101841503B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150174883A KR101841503B1 (ko) 2015-12-09 2015-12-09 계층적 불변 모멘트를 이용한 외곽선 영상기반 asl 숫자인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150174883A KR101841503B1 (ko) 2015-12-09 2015-12-09 계층적 불변 모멘트를 이용한 외곽선 영상기반 asl 숫자인식 방법

Publications (2)

Publication Number Publication Date
KR20170068661A true KR20170068661A (ko) 2017-06-20
KR101841503B1 KR101841503B1 (ko) 2018-03-28

Family

ID=59281017

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150174883A KR101841503B1 (ko) 2015-12-09 2015-12-09 계층적 불변 모멘트를 이용한 외곽선 영상기반 asl 숫자인식 방법

Country Status (1)

Country Link
KR (1) KR101841503B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114838711A (zh) * 2022-03-16 2022-08-02 东北大学秦皇岛分校 一种海冰综合监测系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281461B1 (ko) 2012-04-24 2013-07-03 군산대학교산학협력단 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
KR101526426B1 (ko) 2013-12-31 2015-06-05 현대자동차 주식회사 제스처 인식 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114838711A (zh) * 2022-03-16 2022-08-02 东北大学秦皇岛分校 一种海冰综合监测系统及方法

Also Published As

Publication number Publication date
KR101841503B1 (ko) 2018-03-28

Similar Documents

Publication Publication Date Title
Kakani et al. Improved OCR based automatic vehicle number plate recognition using features trained neural network
Jin et al. A mobile application of American sign language translation via image processing algorithms
JP4464686B2 (ja) さまざまな光線条件下におけるリアルタイムの目の検知および追跡
US8781221B2 (en) Hand gesture recognition system
US20160154469A1 (en) Mid-air gesture input method and apparatus
CN109684959B (zh) 基于肤色检测和深度学习的视频手势的识别方法及装置
Konwar et al. An American sign language detection system using HSV color model and edge detection
CN109919039B (zh) 一种基于手掌和手指特征的静态手势识别方法
CN106297755B (zh) 一种用于乐谱图像识别的电子设备及识别方法
JP2018524726A (ja) ジェスチャーの検知識別の方法及びシステム
US20150063690A1 (en) Method and device for detecting glare pixels of image
Rujikietgumjorn et al. Real-time hog-based pedestrian detection in thermal images for an embedded system
US20140169664A1 (en) Apparatus and method for recognizing human in image
US20110142345A1 (en) Apparatus and method for recognizing image
Minhas et al. Accurate pixel-wise skin segmentation using shallow fully convolutional neural network
KR101841503B1 (ko) 계층적 불변 모멘트를 이용한 외곽선 영상기반 asl 숫자인식 방법
Goto et al. Cs-hog: Color similarity-based hog
Supreeth et al. An adaptive SVM technique for object tracking
US11275926B2 (en) Face tracking method and device
CN110321828B (zh) 一种基于双目摄像机和车底阴影的前方车辆检测方法
KR101429271B1 (ko) 표적 추적방법 및 이를 이용한 표적 추적장치
Nguyen et al. LAWNet: A lightweight attention-based deep learning model for wrist vein verification in smartphones using RGB images
Higashi et al. New feature for shadow detection by combination of two features robust to illumination changes
Yildirim et al. Gender classification based on binary haar cascade
Chang et al. Automatic detection and correction for glossy reflections in digital photograph

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant