KR20120062168A - 부분 궤적 인식 장치 및 방법 - Google Patents

Abstract

본 발명은 부분 궤적 인식 기술에 관한 것으로, 카메라 기반의 필기체 문자 인식 및 제스처 인식을 수행하는 과정에서 카메라 화각을 벗어나는 경우에 다른 클래스로 오인식 되는 문제점을 해결하기 위한 방법으로서, 발생 가능한 부분궤적을 생성하고, 생성된 부분궤적에 대해 학습과정을 거쳐, 최종 인식 과정에서 다른 클래스로 인식되는 것을 방지하는 것을 특징으로 한다. 부분궤적을 생성하는 부분에 있어서도, 실제 카메라 화각을 벗어나는 부분궤적을 매번 얻는 것은 현실적으로 불가능하므로, 전체 궤적에서 평균거리 이상에 위치하는 점들에 대해 위치별로 부분 삭제하여 부분궤적을 생성함으로써, 여러가지 상황에 대해서 효과적인 인식성능을 얻을 수 있다.

Description

부분 궤적 인식 장치 및 방법{APPARATUS AND METHOD FOR RECOGNITING SUB-TRAJECTORY}

본 발명은 문자 인식이나 제스쳐를 인식하는 기술에 관한 것으로서, 특히 카메라 기반의 문자 인식이나 제스처 인식 작업에서 발생할 수 있는 부분 궤적들을 임의로 생성하여, 이를 해당 종류에 따라 학습시킨 다음, 각각의 부분 궤적 상황에 대처하여 오인식을 방지하는데 적합한 부분 궤적 인식 장치 및 방법에 관한 것이다.

일반적으로 카메라 기반으로 필기체 문자 인식을 수행할 경우, 카메라 화각 범위 내에 들어온 필기체 문자의 경우에는 들어온 입력 영상 그대로 인식 작업을 수행하면 되지만, 카메라 화각 범위를 벗어나거나 다른 방해물로 인해 온전한 문자 궤적이 영상에 표현되지 않는 경우에는 원래 의도했던 문자로 인식되지 않을 수 있다.

카메라 기반으로 제스처 인식을 수행하는 경우에도 이와 같은 비슷한 문제점이 발생될 수 있으며, 의도했던 제스처가 카메라 영상에 제대로 표현되지 않을 경우, 그 이후의 인식 작업에도 많은 영향을 주게 된다. 이와 같이 카메라 기반으로 문자 및 제스처를 인식하는 작업에서, 카메라 화각 범위를 일부 벗어나거나 다른 방해물에 의해 가려진 부분이 있더라도, 그에 상관없이 의도했던 문자나 제스처로 인식될 수 있는 방법이 요구되나 이에 대한 별다른 방안이 없었다.

상기한 바와 같은 종래 기술의 문제점을 해결하기 위한 본 발명의 실시예는 카메라 기반 문자 인식이나 제스처 인식 작업에서 발생할 수 있는 부분 궤적들을 임의로 생성하여, 이를 해당 종류에 따라 학습시킨 다음, 각각의 부분 궤적 상황에 대처하여 의도된 문자나 제스쳐로 인식할 수 있는 부분 궤적 인식 장치 및 방법을 제공한다.

또한 본 발명은, 카메라 기반의 필기체 문자 인식 및 제스처 인식을 수행하는 과정에서 카메라 화각을 벗어나 발생 가능한 부분궤적을 생성하고, 생성된 부분궤적에 대한 학습과정을 거쳐 최종 인식을 수행할 수 있는 부분 궤적 인식 장치 및 방법을 제공한다.

본 발명의 일 실시예에 따른 부분 궤적 인식 장치는, 다양한 문자 또는 제스쳐를 촬영하는 카메라와, 복수의 클래스가 저장된 클래스 데이터베이스로부터 전달받은 대상 클래스에 대해 기 설정된 위치별로 부분 궤적을 생성하고, 생성된 부분 궤적을 상기 클래스 데이터베이스로 전달하는 부분 궤적 생성부와, 상기 클래스 데이터베이스로부터 전달받은 대상 클래스 및 부분 궤적을 토대로 HMM 모델을 생성하고, 상기 카메라로부터 촬영된 이미지를 분석하여 촬영 이미지 궤적이 모두 포함된 경우에는 각 클래스별로 학습된 HMM 모델과 비교하고, 촬영 이미지 궤적이 부분 궤적인 경우에는 각 클래스 및 각 클래스의 부분 궤적 별로 학습된 HMM 모델과 비교하여 최대 비교값을 가지는 모델을 최종 인식 클래스로 선택하는 HMM 기반 학습 및 인식부를 포함할 수 있다.

본 발명의 일 실시예에 따른 부분 궤적 인식 방법은, 부분 궤적 생성부에서 복수의 클래스가 저장된 클래스 데이터베이스로부터 전달받은 대상 클래스에 대해 기 설정된 위치별로 부분 궤적을 생성하는 과정과, 생성된 부분 궤적을 상기 클래스 데이터베이스로 전달하는 과정과, 카메라를 통해 다양한 문자 또는 제스쳐를 촬영하는 과정과, HMM 기반 학습 및 인식부에서 상기 클래스 데이터베이스로부터 전달받은 대상 클래스 및 부분 궤적을 토대로 HMM 모델을 생성하는 과정과, 상기 카메라로부터 촬영된 이미지를 분석하여 촬영 이미지 궤적이 모두 포함된 경우에는 각 클래스별로 학습된 HMM 모델과 비교하는 과정과, 촬영 이미지 궤적이 부분 궤적인 경우에는 각 클래스 및 각 클래스의 부분 궤적 별로 학습된 HMM 모델과 비교하는 과정과, 상기 비교를 통해 최대 비교값을 가지는 모델을 최종 인식 클래스로 선택하는 과정을 포함할 수 있다.

상기와 같은 본 발명의 실시예에 따른 부분 궤적 인식 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상이 있다.

본 발명의 실시예에 따른 부분 궤적 인식 장치 및 방법에 의하면, 카메라 기반의 필기체 문자 인식 및 제스처 인식을 수행하는 과정에서 카메라 화각을 벗어나는 경우에 다른 클래스로 오인식 되는 문제점을 해결하기 위해 발생 가능한 부분궤적을 생성하고, 생성된 부분궤적에 대해 학습과정을 거쳐 최종 인식 과정에서 다른 클래스로 인식되는 것을 방지할 수 있다.

그리고 실제 카메라 화각을 벗어나는 부분궤적을 매번 얻는 것은 현실적으로 불가능하므로, 전체 궤적에서 평균거리 이상에 위치하는 점들에 대해 위치별로 부분 삭제하여 부분궤적을 생성함으로써, 여러가지 상황에 대해서 효과적인 인식 성능을 얻을 수 있다.

도 1은 본 발명의 실시예에 따른 부분 궤적 인식 장치의 구조를 도시한 블록도,
도 2는 본 발명의 실시예에 따른 부분 궤적 생성부의 동작 절차를 도시한 흐름도,
도 3은 본 발명의 실시예에 따라 부분 궤적 생성부의 동작을 나타내는 도면,
도 4는 본 발명의 실시예에 따른 HMM 기반 학습 및 인식부의 구조를 도시한 도면,
도 5는 본 발명의 실시예에 따라 부분 궤적을 이용한 HMM 기반 학습 및 인식부의 구조를 도시한 도면,
도 6은 본 발명의 실시예에 따른 부분 궤적 인식 장치의 동작 절차를 도시한 흐름도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 발명의 실시예는 카메라 기반의 문자 인식이나 제스처 인식 작업에서 발생할 수 있는 부분 궤적들을 임의로 생성하여, 이를 해당 종류에 따라 학습시킨 다음, 각각의 부분 궤적 상황에 대처하여 오인식을 방지하는 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 부분 궤적 인식 장치의 구조를 도시한 블록도이다.

도 1을 참조하면, 부분 궤적 인식 장치(100)는 카메라(110), 부분 궤적 생성부(120), 클래스 데이터베이스(DB)(130), 은닉 마코프 모델(Hidden Markov Model, 이하 HMM이라 한다) 기반 학습 및 인식부(140) 등을 포함할 수 있다.

구체적으로 카메라(110)는 실내에서 책이나 명함, 실외에서는 간판이나 도로 표지판 등으로부터 다양한 형태의 문자 및 제스쳐를 촬영할 수 있으며, 촬영된 문자 및 제스쳐 이미지는 HMM 기반 학습 및 인식부(140)로 전달할 수 있다.

부분 궤적 생성부(120)는 카메라 화각을 벗어나는 인식 형태에 대해 오인식을 방지하기 위해 발생 가능한 부분 궤적을 생성할 수 있으며, 생성된 부분궤적은 HMM 기반 학습 및 인식부(140)로 전달할 수 있다. 이때, 부분 궤적은 중심을 구하고, 평균값을 산출 및 평균거리 이상의 포인터 추출을 통해 위치별 부분 궤적을 설정하여 어느 한 클래스 별로 다양한 부분궤적을 생성할 수 있다.

클래스 데이터베이스(130)는 다양한 클래스 형태를 저장하고 있으며, 부분 궤적 생성부(120) 및 HMM 기반 학습 및 인식부(140)로 요청된 클래스 데이터를 전달할 수 있다.

HMM 기반 학습 및 인식부(140)는 복수의 클래스를 클래스 데이터베이스(130)로부터 전달 받아 HMM 모델링을 수행하고, 테스트 샘플 또는 카메라(110)로부터 전달된 필기체 문자 및 제스쳐 데이터를 필터링하여 궤적을 추출하고, 추출한 궤적을 학습된 HMM 모델들과 비교하여 최대값을 가지는 모델을 최종적으로 인식된 클래스로 설정할 수 있다.

도 2는 본 발명의 실시예에 따른 부분 궤적 생성부의 동작 절차를 도시한 흐름도이며, 도 3은 본 발명의 실시예에 따라 부분 궤적 생성부의 동작을 나타내는 도면이다.

도 2 내지 도 3을 참조하여 부분 궤적 생성부(120)의 동작 절차를 설명하면, 200단계에서 부분 궤적 생성부(120)는 클래스 데이터베이스(130)로 요청하여 궤적이 포함된 샘플 예제(300) 이미지와 같은 어느 한 클래스를 전달 받게 된다.

부분 궤적 생성부(120)에서는 전달 받은 클래스의 궤적에서 중심 구하기(302) 이미지와 같이 전체 중심점을 구하게 된다. 이후, 202단계에서 궤적 위의 각 점들로부터 중심점까지의 거리를 구하여, 전체 평균 거리 값을 얻게 된다. 이는 평균 거리 구하기(304) 이미지와 같이 구하게 된다.

그리고 일반적으로는 카메라 기반의 응용에서 화각을 벗어나는 부분이 궤적의 가장자리 부분이 많으므로, 부분궤적을 얻기 위해서는 궤적에서 가장자리 부분을 차지하는 점들이 무엇인가를 파악해야 한다. 이에 204단계에서는 전체 궤적의 중심 즉, 중심점으로부터의 평균거리를 구하고, 이 평균거리를 벗어나는 점을 궤적의 가장자리 포인터 즉, 점이라고 정의한다. 여기서 정의되는 궤적의 가장자리 점은 응용에 따라 바뀔 수 있는 부분으로서, 궤적의 가장자리를 판별할 수 있는 기준은 평균거리 이외에 다른 것이 될 수도 있다.

이후, 부분 궤적 생성부(120)에서는 평균 거리를 벗어난 점들을 추출하고, 206단계에서는 추출된 점들에서 위치를 기준으로 일정 부분을 삭제하여 부분 궤적을 생성하는 것으로서, 즉, 전체 궤적에서 평균거리 이상에 위치하는 점들에 대해 기 설정된 위치별로 부분 삭제하여 이를 부분궤적으로 생성(부분궤적1(306), 부분궤적2(308), 부분궤적3(310))하게 된다. 예를 들어, 기 설정된 위치는 8방위의 각 방향이 될 수 있으며, 궤적에서 각 방향 별로 점 5개 혹은 점 8개의 부분을 삭제하여 부분궤적을 생성하게 된다.

이를 통해 208단계에서는 생성된 부분궤적들을 샘플 예제(300) 이미지와 같은 어느 한 클래스에 대한 부분궤적으로 설정하여 클래스 데이터베이스(130)로 전달함으로써, 클래스 데이터베이스(130)에서는 해당 클래스에 대한 부분 궤적으로 저장하게 된다.

도 4는 본 발명의 실시예에 따른 HMM 기반 학습 및 인식부의 구조를 도시한 도면이다.

도 4를 참조하면, HMM 기반 학습 및 인식부(140)는 학습부(400) 및 인식부(402) 등을 포함할 수 있다. 학습부(400)는 인식하려고 하는 대상 클래스에 대해 각각의 HMM 모델을 생성할 수 있으며, 이때 대상 클래스는 클래스 데이터베이스(130)로 요청하여 전달받을 수 있다.

인식부(402)는 학습부(400)를 통해 학습된 HMM 모델들을 가지고, 테스트할 샘플 또는 카메라(110)로부터 입력된 문자 및 제스쳐 이미지의 궤적을 비교하여 그 중에서 최대값을 가지는 모델을 최종 인식 클래스로 선택할 수 있다.

도 5는 본 발명의 실시예에 따라 부분 궤적을 이용한 HMM 기반 학습 및 인식부의 구조를 도시한 도면이다.

도 5를 참조하면, HMM 기반 학습 및 인식부(140)는 일반적으로 모든 궤적을 포함하는 이미지 외에 부분 궤적 이미지에 대한 최대 비교값을 산출할 수 있도록 부분궤적에 대한 HMM모델을 생성할 수 있다.

이에 학습부(400)에서는 클래스 데이터베이스(130)로 부분 궤적을 포함하는 클래스를 요청하여 전달받을 수 있으며, 이에 전달받은 각 대상 클래스 및 각 대상 클래스의 부분궤적에 대한 학습 과정을 통해 각각의 HMM 모델을 생성할 수 있다.

그리고 인식부(402)에서는 학습부(400)를 통해 대상 클래스 및 부분궤적에 대해 학습된 HMM 모델들을 가지고, 카메라(110)로부터 입력된 부분 궤적 이미지를 비교하여 그 중에서 최대값을 가지는 모델을 최종 인식 클래스로 선택할 수 있다.

이와 같이 HMM 기반 학습 및 인식부(140)는 카메라(110)로부터 전달된 문자 및 제스쳐 이미지의 궤적을 분석하여 촬영된 이미지가 화각에 모두 포함된 경우에는 도 4와 같은 인식과정을 수행할 수 있고, 촬영된 이미지가 화각을 벗어나 부분 궤적 형태로 전달된 경우에는 도 5에서와 같은 인식과정을 수행할 수 있다.

이를 통해 HMM 기반 학습 및 인식부(140)에서는 각 촬영 이미지의 상태에 따라 인식부(402)에서 이용하는 HMM 모델을 달리 함으로써, 일반적인 대상 클래스에 대해서는 빠른 인식을 수행하고, 부분궤적을 포함하는 촬영 이미지에 대해서는 부분궤적으로 학습된 HMM 모델을 토대로 비교를 수행함으로써, 오인식을 방지할 수 있다.

도 6은 본 발명의 실시예에 따른 부분 궤적 인식 장치의 동작 절차를 도시한 흐름도이다.

도 6을 참조하면, 600단계에서 부분 궤적 인식 장치(100)의 부분궤적 생성부(120)에서는 각 대상 클래스에 대해 다양한 위치별로 부분궤적을 생성하고, 이를 클래스 데이터베이스(130)에 저장시키게 된다.

이후 602단계에서 HMM 기반 학습 및 인식부(140)의 학습부(400)는 각 대상 클래스 별로 HMM 모델을 생성하고, 각 대상 클래스 및 각 대상 클래스의 부분 궤적에 대한 HMM 모델을 생성하게 된다.

이후, 604단계에서 부분 궤적 인식 장치(100)는 카메라(110)를 이용하여 문자 또는 제스쳐를 촬영하게 되며, 이에 촬영된 이미지는 HMM 기반 학습 및 인식부(140)로 전달하게 된다.

이에 HMM 기반 학습 및 인식부(140)에서는 606단계에서 촬영된 이미지의 궤적을 분석하여 촬영된 이미지가 화각을 벗어난 상태인지 여부를 판단하게 된다. 촬영된 이미지가 화각을 벗어난 상태가 아닌 경우에는 608단계로 진행하여 인식부(402)에서 각 대상 클래스로부터 생성된 HMM 모델을 토대로 촬영된 이미지의 궤적과 비교하여 612단계에서 최대 비교값을 가지는 모델을 최종 인식 클래스로 선택하게 된다.

그러나 606단계에서 촬영된 이미지가 화각을 벗어나 부분 궤적을 이루는 상태인 경우에는 610단계로 진행하여 인식부(402)에서 각 대상 클래스 및 각 대상 클래스의 부분 궤적으로부터 생성된 HMM 모델과 비교를 통해 비교하여 612단계에서 최대 비교값을 가지는 모델을 최종 인식 클래스로 선택하게 된다.

이상 설명한 바와 같이, 본 발명의 실시예에 따른 부분 궤적 인식 장치 및 방법은, 카메라 기반의 문자 인식이나 제스처 인식 작업에서 발생할 수 있는 부분 궤적들을 임의로 생성하여, 이를 해당 종류에 따라 학습시킨 다음, 각각의 부분 궤적 상황에 대처하여 오인식을 방지한다.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

100 : 부분 궤적 인식 장치 110 : 카메라
120 : 부분궤적 생성부 130 : 클래스 데이터베이스
140 : HMM 기반 학습 및 인식부 400 : 학습부
500 : 인식부

Claims (1)

1. 다양한 문자 또는 제스쳐를 촬영하는 카메라와,
   복수의 클래스가 저장된 클래스 데이터베이스로부터 전달받은 대상 클래스에 대해 기 설정된 위치별로 부분 궤적을 생성하고, 생성된 부분 궤적을 상기 클래스 데이터베이스로 전달하는 부분 궤적 생성부와,
   상기 클래스 데이터베이스로부터 전달받은 대상 클래스 및 부분 궤적을 토대로 HMM 모델을 생성하고, 상기 카메라로부터 촬영된 이미지를 분석하여 촬영 이미지 궤적이 모두 포함된 경우에는 각 클래스별로 학습된 HMM 모델과 비교하고, 촬영 이미지 궤적이 부분 궤적인 경우에는 각 클래스 및 각 클래스의 부분 궤적 별로 학습된 HMM 모델과 비교하여 최대 비교값을 가지는 모델을 최종 인식 클래스로 선택하는 HMM 기반 학습 및 인식부
   를 포함하는 부분 궤적 인식 장치.

Images