KR101730711B1 - 스트로크 입력 순서의 복원 방법 및 장치 - Google Patents

Abstract

본 발명은 스트로크 입력 순서의 복원 방법 및 장치에 관한 것으로서, 본 발명에 따른 스트로크 입력 순서의 복원 방법은 입력된 스트로크를 세선화하여 스켈레톤 그래프를 생성하는 단계, 스켈레톤 그래프로부터 노드 및 세그먼트을 추출하는 단계, 동일한 노드를 공유하는 인접 세그먼트가 이루는 각도에 기초하여 인접 세그먼트 사이의 이동에 대응하는 코스트를 산출하는 단계, 코스트의 합이 최소화되도록 스켈레톤 그래프의 모든 세그먼트를 통과하는 경로를 탐색하는 단계 및 경로에 기초하여 스트로크의 입력 방향 및 입력 순서를 판단하는 단계를 포함하고, 서로 인접하는 2개의 세그먼트를 통과하기 위해 소비되는 에너지의 크기에 대응하는 코스트를 산출함으로써, 스트로크를 입력하기 위해 소비되는 에너지가 최소화되는 경로를 탐색할 수 있다.

Description

스트로크 입력 순서의 복원 방법 및 장치{METHOD AND APPARATUS FOR RESTORING DRAWING ORDER OF STROKE}

본 발명은 스트로크 입력 순서의 복원 방법 및 장치에 관한 것으로서, 보다 상세하게는 인접하는 세그먼트 간의 이동을 위한 코스트에 기초하여 스트로크의 입력 순서 및 입력 방향을 복원할 수 있는 방법 및 장치에 관한 것이다.

전자 디바이스에 문자를 입력하는 방법으로써 키보드 등을 이용하는 타이핑을 대체하기 위해 핸드라이팅 (handwriting) 인식에 관한 기술이 지속적으로 개발되고 있다. 핸드라이팅의 인식에 있어서, 스트로크를 이루는 픽셀 각각이 입력된 시간 정보가 있는 경우에는 스트로크의 입력 방향 및 입력 순서가 용이하게 파악될 수 있다. 그러나, 스트로크를 이루는 픽셀 각각이 입력된 시간 정보가 없는 경우에는 핸드라이팅의 인식을 위해 스트로크가 입력된 순서 및 방향을 추정해야 할 필요가 있다.

그러나, 스트로크가 입력된 좌표 정보를 통해서 스트로크가 입력된 순서 및 방향에 대한 정보를 복원하는 것은 불량 조건 문제 (ill-posed problem) 이기 때문에 매우 난해하다. 특히, 스트로크에 교차점이나 접점이 포함된 경우에는 좌표 정보를 통해 산출된 순서 및 방향에 오류가 있을 가능성이 매우 높다.

따라서, 스트로크를 이루는 픽셀 각각이 입력된 시간 정보가 없는 경우, 스트로크가 입력된 순서 및 방향에 대한 정보를 정확하고 빠르게 복원함으로써 핸드라이팅의 인식률을 향상시킬 수 있는 방법 및 장치의 개발이 요구된다.

본 발명이 해결하고자 하는 과제는 서로 인접하는 2개의 세그먼트를 통과하기 위해 소비되는 에너지의 크기에 대응하는 코스트를 산출함으로써, 스트로크를 입력하기 위해 소비되는 에너지가 최소화되는 경로를 탐색할 수 있는 스트로크 입력 순서의 복원 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 스켈레톤 그래프에 대응하는 라인 그래프에 대한 해밀턴 경로를 탐색함으로써, 스트로크의 입력 방향 및 입력 순서를 복원하기 위해 요구되는 계산량을 감소시킬 수 있는 스트로크 입력 순서의 복원 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는 라인 그래프에 대응하는 완전 그래프에 기초하여 해밀턴 경로를 탐색함으로써, 스트로크의 시점 및 종점을 결정하는 과정 없이 스트로크의 입력 방향 및 입력 순서를 복원할 수 있는 스트로크 입력 순서의 복원 방법 및 장치를 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 방법은 입력된 스트로크를 세선화하여 스켈레톤 그래프를 생성하는 단계, 스켈레톤 그래프로부터 노드 및 세그먼트을 추출하는 단계, 동일한 노드를 공유하는 인접 세그먼트가 이루는 각도에 기초하여 인접 세그먼트 사이의 이동에 대응하는 코스트를 산출하는 단계, 코스트의 합이 최소화되도록 스켈레톤 그래프의 모든 세그먼트를 통과하는 경로를 탐색하는 단계 및 경로에 기초하여 스트로크의 입력 방향 및 입력 순서를 판단하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 특징에 따르면, 경로를 탐색하는 단계는, 스켈레톤 그래프에 대응하는 라인 그래프를 생성하는 단계 및 라인 그래프에 기초하여 코스트의 합이 최소화되는 해밀턴 경로를 탐색하는 단계를 포함하고, 판단하는 단계는, 해밀턴 경로에 기초하여 스트로크의 입력 방향 및 입력 순서를 판단하는 단계인 것을 특징으로 한다.

본 발명의 또 다른 특징에 따르면, 코스트를 산출하는 단계는, 인접 세그먼트 각각으로부터 주 성분 분석을 통해 추출된 주 성분 벡터가 이루는 각도에 기초하여 코스트를 산출하는 단계인 것을 특징으로 한다.

본 발명의 또 다른 특징에 따르면, 해밀턴 경로를 탐색하는 단계는, 라인 그래프의 시점 및 종점에 대한 정보 없이 라인 그래프에 대응하는 완전 그래프에 기초하여 해밀턴 경로를 탐색하는 단계인 것을 특징으로 한다.

본 발명의 또 다른 특징에 따르면, 세그먼트 중 길이가 미리 설정된 값보다 작은 허위 세그먼트 (spurious segment) 를 추출하는 단계 및 허위 세그먼트 및 허위 세그먼트와 연결된 노드를 하나의 노드로 변환하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 또 다른 특징에 따르면, 허위 세그먼트를 추출하는 단계는, 스트로크의 평균 두께에 기초하여 허위 세그먼트를 추출하는 단계인 것을 특징으로 한다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 장치는 입력된 스트로크를 세선화하여 스켈레톤 그래프를 생성하는 생성부, 스켈레톤 그래프로부터 노드 및 세그먼트을 추출하는 추출부, 동일한 노드를 공유하는 인접 세그먼트가 이루는 각도에 기초하여 인접 세그먼트 사이의 이동에 대응하는 코스트를 산출하는 산출부, 코스트의 합이 최소화되도록 스켈레톤 그래프의 모든 세그먼트를 통과하는 경로를 탐색하는 탐색부 및 경로에 기초하여 스트로크의 입력 방향 및 입력 순서를 판단하는 판단부를 포함하는 것을 특징으로 한다.

본 발명의 다른 특징에 따르면, 탐색부는, 스켈레톤 그래프에 대응하는 라인 그래프를 생성하고, 라인 그래프에 기초하여 코스트의 합이 최소화되는 해밀턴 경로를 탐색하고, 판단부는, 해밀턴 경로에 기초하여 스트로크의 입력 방향 및 입력 순서를 판단하는 것을 특징으로 한다.

본 발명의 또 다른 특징에 따르면, 탐색부는, 인접 세그먼트 각각으로부터 주 성분 분석을 통해 추출된 주 성분 벡터가 이루는 각도에 기초하여 코스트를 산출하는 것을 특징으로 한다.

본 발명의 또 다른 특징에 따르면, 탐색부는, 라인 그래프의 시점 및 종점에 대한 정보 없이 라인 그래프에 대응하는 완전 그래프에 기초하여 해밀턴 경로를 탐색하는 것을 특징으로 한다.

본 발명의 또 다른 특징에 따르면, 세그먼트 중 길이가 미리 설정된 값보다 작은 허위 세그먼트를 추출하여, 허위 세그먼트 및 허위 세그먼트와 연결된 노드를 하나의 노드로 변환하는 변환부를 더 포함하는 것을 특징으로 한다.

본 발명의 또 다른 특징에 따르면, 변환부는, 스트로크의 평균 두께에 기초하여 허위 세그먼트를 추출하는 것을 특징으로 한다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 컴퓨터 판독 가능한 기록 매체는 입력된 스트로크를 세선화하여 스켈레톤 그래프를 생성하고, 스켈레톤 그래프로부터 노드 및 세그먼트을 추출하고, 동일한 노드를 공유하는 인접 세그먼트가 이루는 각도에 기초하여 인접 세그먼트 사이의 이동에 대응하는 코스트를 산출하고, 코스트의 합이 최소화되도록 스켈레톤 그래프의 모든 세그먼트를 통과하는 경로를 탐색하고, 경로에 기초하여 스트로크의 입력 방향 및 입력 순서를 판단하는 명령어들의 세트를 포함하는 것을 특징으로 한다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 서로 인접하는 2개의 세그먼트를 통과하기 위해 소비되는 에너지의 크기에 대응하는 코스트를 산출함으로써, 스트로크를 입력하기 위해 소비되는 에너지가 최소화되는 경로를 탐색할 수 있다.

본 발명은 스켈레톤 그래프에 대응하는 라인 그래프에 대한 해밀턴 경로를 탐색함으로써, 스트로크의 입력 방향 및 입력 순서를 복원하기 위해 요구되는 계산량을 감소시킬 수 있는 효과가 있다.

본 발명은 라인 그래프에 대응하는 완전 그래프에 기초하여 해밀턴 경로를 탐색함으로써, 스트로크의 시점 및 종점을 결정하는 과정 없이 스트로크의 입력 방향 및 입력 순서를 복원할 수 있는 방법 및 장치를 제공할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 장치의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 방법을 설명하기 위한 순서도이다.
도 3a 내지 도 3i는 본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 방법에 따라 구현된 예시적인 실시예를 도시한다.
도 4는 본 발명의 몇몇 실시예에 따른 스트로크 입력 순서의 복원 방법에 따라 스트로크의 입력 순서를 복원한 예시적인 실험예들을 도시한다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 장치 (100) 의 개략적인 구성도이다. 도 1을 참조하면 스트로크 입력 순서의 복원 장치 (100) 는 적어도 생성부 (110), 추출부 (120), 산출부 (130), 탐색부 (140) 및 판단부 (150) 를 포함한다.

본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 장치 (100) 는 시간 정보를 포함하지 않는 스트로크를 분석하여 스트로크가 입력된 방향 및 순서를 복원할 수 있도록 구현된 장치이다.

스트로크의 분석을 위해 사용하는 알고리즘은 스트로크가 입력될 때 스트로크의 입력 순서는 에너지 사용이 최소화되는 형태로 이루어진다는 것을 전제한다. 따라서, 입력된 스트로크에 대한 순서 정보 및 방향 정보를 복원하는 것은 스트로크를 입력하기 위해 소모되는 에너지가 최소화되는 스트로크의 입력 경로를 탐색하는 것과 동일하다. 스트로크 입력 순서의 복원 장치 (100) 는 사용자가 스트로크를 입력하기 위해 소모하는 에너지에 대응하는 코스트를 산출하고 산출된 코스트가 최소화되는 경로를 탐색함으로써 스트로크가 입력된 방향 및 순서를 복원할 수 있다.

스트로크 입력 순서의 복원 장치 (100) 는 터치 패드 또는 터치 스크린 디스플레이 등과 같이 사용자로부터 터치 입력을 수신할 수 있는 모듈을 탑재한 컴퓨팅 디바이스로서 프로세서 및 메모리를 포함하는 컴퓨터, 스마트폰, 노트패드, 노트북, 태블릿 PC 등의 단말일 수 있고, 상술한 단말에 탑재되는 모듈일 수도 있다.

생성부 (110) 는 입력된 스트로크를 세선화하여 스켈레톤 그래프를 생성한다. 스트로크란 사용자가 입력을 인가한 때부터 입력이 해제 (release) 된 때까지 한번의 입력으로 쓰여지거나 그려지는 획 또는 선을 의미한다. 스트로크는 디지타이저 (digitizer), 터치 패드 또는 터치 스크린 디스플레이 등과 같이 사용자로부터 터치 입력을 수신할 수 있는 장치를 통해 입력될 수 있다. 생성부 (110) 는 입력된 스트로크로부터 세선화 알고리즘을 통해 두께가 1 픽셀인 스켈레톤 그래프를 생성할 수 있다.

추출부 (120) 는 스켈레톤 그래프로부터 노드 및 세그먼트을 추출한다. 추출부 (120) 는 스켈레톤 그래프를 이루는 픽셀 각각과 인접하는 픽셀의 개수를 분석하여 스켈레톤 그래프의 시점, 종점, 교점 및 접점을 포함하는 노드 및 2 개의 노드를 연결하는 세그먼트를 추출할 수 있다.

산출부 (130) 는 동일한 노드를 공유하는 인접 세그먼트가 이루는 각도에 기초하여 인접 세그먼트 사이의 이동에 대응하는 코스트를 산출한다. 산출부 (130) 는 동일한 노드를 공유하는 세그먼트들의 방향 벡터를 추출한 후 방향 벡터들이 이루는 각도에 기초하여 코스트를 산출할 수 있다.

탐색부 (140) 는 코스트의 합이 최소화되도록 스켈레톤 그래프의 모든 세그먼트를 통과하는 경로를 탐색한다. 탐색부 (140) 는 경로에 따른 코스트의 합이 최소인 스켈레톤 그래프에 대한 경로를 탐색할 수도 있고, 스켈레톤 그래프에 대응하는 라인 그래프에 대한 해밀턴 경로를 탐색할 수도 있다.

판단부 (150) 는 경로에 기초하여 스트로크의 입력 방향 및 입력 순서를 판단한다. 판단부 (150) 는 미리 저장된 알고리즘에 탐색된 경로에 대한 정보를 대입함으로써 스트로크의 입력 방향 및 입력 순서를 판단할 수 있다.

도 1에 도시되지는 않았으나 본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 장치 (100) 는 세그먼트 중 길이가 미리 설정된 값보다 작은 허위 세그먼트 (spurious segment) 를 추출하여, 허위 세그먼트 및 허위 세그먼트와 연결된 노드를 하나의 노드로 변환하는 변환부를 더 포함할 수도 있다.

도 1에서는 식별의 편의를 위해 스트로크 입력 순서의 복원 장치 (100) 내에 생성부 (110), 추출부 (120), 산출부 (130), 탐색부 (140) 및 판단부 (150) 가 개별적인 구성으로 도시되었으나, 각각의 모듈은 구현 방법 또는 본 발명의 실시예에 따라 하나의 통합적인 형태 또는 분리적 형태로 설계 구현되는 것도 가능하다.

도 2는 본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 방법을 설명하기 위한 순서도이다. 도 3a 내지 도 3i는 본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 방법에 따라 구현된 예시적인 실시예를 도시한다. 설명의 편의를 위해 도 1을 함께 참조하여 설명한다.

본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 방법은 생성부 (110) 가 입력된 스트로크를 세선화하여 스켈레톤 그래프를 생성함으로써 개시된다 (S210).

도 3a를 참조하면, 생성부 (110) 는 사용자로부터 터치 입력을 수신할 수 있는 디지타이저, 터치 패드 또는 터치 스크린 디스플레이 등과 같은 장치를 통해 입력된 스트로크 (310) 를 세선화할 수 있다. 스켈레톤 그래프는 스트로크 (310) 의 궤적을 따르고 두께가 1 픽셀인 그래프를 의미한다. 생성부 (110) 는 공지된 세선화 알고리즘을 이용하여 스트로크 (310) 를 세선화함으로써 도 3b에 도시된 스켈레톤 그래프 (320) 를 생성할 수 있다. 예를 들어, 생성부 (110) 는 “T. Y. Zhang and C. Y. Suen, “A Fast Parallel Algorithm for Thinning Digital Patterns”, Communications of the ACM, Vol. 27 No. 3, pp. 236-239, March 1984”에 개시된 세선화 알고리즘을 통해 스트로크 (310) 를 세선화하여 스켈레톤 그래프 (320) 를 생성할 수 있다.

다음으로, 추출부 (120) 는 스켈레톤 그래프로부터 노드 및 세그먼트을 추출한다 (S320).

도 3b를 참조하면, 추출부 (120) 는 스켈레톤 그래프 (320) 를 분석하여 노드 a, b, c, d, e, f 및 세그먼트 0, 1, 2, 3, 4, 5를 추출할 수 있다. 노드란 스켈레톤 그래프가 시작되는 지점, 끝나는 지점 및 교차하는 지점을 의미한다. 세그먼트란 2개의 노드를 연결하는 픽셀들의 집합을 의미한다. 추출부 (120) 는 스켈레톤 그래프 (320) 를 이루는 픽셀 각각과 인접하는 픽셀을 분석하여 노드를 결정할 수 있다. 인접하는 블랙 픽셀 (black pixel) 이 1개인 경우 해당 픽셀은 시점 또는 종점일 수 있고, 인접하는 블랙 픽셀이 3개 이상인 경우 해당 픽셀은 교점일 수 있다. 따라서, 추출부 (120) 는 인접하는 블랙 픽셀이 1개인 픽셀 및 인접하는 블랙 픽셀이 3개 이상인 픽셀을 노드로 결정할 수 있다. 추출부 (120) 는 노드를 분석하여 2개의 노드를 연결하는 세그먼트를 추출할 수 있다.

도 3c를 참조하면, 인접하는 8개의 픽셀 중 블랙 픽셀 (321a) 이 1개인 픽셀 (321) 은 시점 또는 종점에 해당하므로, 추출부 (120) 는 픽셀 (321) 을 노드로 결정할 수 있다. 또한, 인접하는 8개의 픽셀 중 블랙 픽셀 (322a, 322b, 322c) 이 3개인 픽셀 (322) 은 교점 또는 접점에 해당하므로, 추출부 (120) 는 픽셀 (322) 을 노드로 결정할 수 있다.

본 발명의 몇몇 실시예에 따르면, 변환부는 세그먼트 중 길이가 미리 설정된 값보다 작은 허위 세그먼트 (spurious segment) 를 추출하고, 허위 세그먼트 및 허위 세그먼트와 연결된 노드를 하나의 노드로 변환할 수 있다. 허위 세그먼트는 스트로크의 세선화 과정에서 생성되는 세그먼트로서, 노드로 인식되어야 하는 스트로크의 교차점이 스트로크의 두께로 인해 세그먼트로 인식되어 생성되는 세그먼트이다. 허위 세그먼트는 스트로크의 구조를 왜곡하여 핸드라이팅 인식의 정확성을 저해할 수 있으므로, 허위 세그먼트를 제거하는 과정이 요구된다.

도 3d를 참조하면, 스켈레톤 그래프 (320) 로부터 추출된 세그먼트 1은 스트로크 (310) 의 교차점에 해당하나 스트로크 (310) 의 두께로 인해 세선화 과정에서 생성된 세그먼트이다. 변환부는 스켈레톤 그래프 (320) 의 세그먼트의 길이를 스트로크 (310) 의 평균 두께와 비교하여 허위 세그먼트를 추출할 수 있다.

변환부는 스트로크 (310) 가 차지하는 블랙 픽셀의 개수를 s 라 하고, 스켈레톤 그래프 (320) 의 총 길이를 l 이라 할 때 스트로크 (310) 의 평균 두께 w=s/l 를 산출할 수 있다. 변환부는, 예를 들어, 길이가 1.5w 보다 작은 세그먼트들을 허위 세그먼트로 분류할 수 있다. 또한, 변환부는, 예를 들어, 길이가 1.5w 보다 크거나 같고 4w 보다 작거나 같은 세그먼트 중 수학식

및 수학식

를 만족하는 세그먼트를 허위 세그먼트로 분류할 수도 있다. 여기서, p_i 는 세그먼트를 이루는 픽셀 각각을 의미하고, C는 스트로크의 윤곽선을 의미하고, d(p_i,C)는 p_i 와 C 사이의 최단 거리를 의미하고, N은 스트로크에 포함된 픽셀의 개수를 의미한다.

변환부는 도 3d에 도시된 세그먼트 1을 허위 세그먼트로서 추출한 후, 도 3d에 도시된 세그먼트 1 및 세그먼트 1과 연결된 노드 b 및 노드 d를, 도 3e에 도시된 바와 같이, 하나의 노드 b로 변환할 수 있다. 상술한 바와 같이, 스트로크의 두께에 비해 길이가 짧은 허위 세그먼트를 추출하고 허위 세그먼트 및 허위 세그먼트와 인접한 노드를 하나의 노드로 변환함으로써, 세선화 과정에서 발생할 수 있는 스켈레톤 그래프의 왜곡을 방지할 수 있다.

다음으로, 산출부 (130) 는 동일한 노드를 공유하는 인접 세그먼트가 이루는 각도에 기초하여 인접 세그먼트 사이의 이동에 대응하는 코스트를 산출한다 (S230). 코스트란 특정 세그먼트 및 그 세그먼트와 인접하는 다른 세그먼트에 대응하는 스트로크를 입력하기 위해 요구되는 에너지에 비례하는 값을 의미한다. 예를 들어, 도 3e를 참조하면, 산출부 (130) 는 세그먼트 0으로부터 세그먼트 3 방향으로의 스트로크 입력에 대응하는 코스트를 산출할 수 있다. 마찬가지로, 산출부 (130) 는 세그먼트 0과 세그먼트 1, 세그먼트 1과 세그먼트 3, 세그먼트 1과 세그먼트 2, 세그먼트 1과 세그먼트 4 및 세그먼트 2와 세그먼트 4 각각에 대한 코스트를 각각 산출할 수 있다. 스트로크가 이루는 각도에 따라 스트로크의 입력 시 소모되는 에너지가 변화하므로, 코스트는 인접 세그먼트가 이루는 각도에 기초하여 산출될 수 있다.

산출부 (130) 는 인접 세그먼트 각각으로부터 주 성분 분석을 통해 추출된 주 성분 벡터가 이루는 각도에 기초하여 코스트를 산출할 수 있다. 도 3f를 참조하면, 스트로크 (s₁) 및 스트로크 (s₂) 에 대한 코스트를 산출하는 경우, 먼저, 주성분 벡터를 구하기 위해 스켈레톤 그래프 내에서 스켈레톤 그래프의 노드로부터 거리가 w/2 만큼 떨어진 점 p₁ 및 p₂ 가 선택될 수 있다. 다음으로, 스켈레톤 그래프 내에서 p₁ 및 p₂ 로부터 노드와 반대 방향으로 미리 정해진 거리만큼 떨어진 점 p₁` 및 p<sub>2</sub>` 이 선택될 수 있다. 다음으로, p₁, p₂, p₁` 및 p<sub>2</sub>` 에 기초하여 폭이 w 인 직사각형 영역 A 및 직사각형 영역 B 가 선택될 수 있다. 다음으로, 직사각형 내에 포함된 스트로크의 픽셀의 좌표에 기초하여 주 성분 분석 (principal component analysis; PCA) 을 수행함으로써 스트로크 (s₁, s₂) 각각에 대한 주 성분 벡터 (v₁, v₂) 를 추출할 수 있다. 다음으로, 주 성분 벡터 (v₁) 와 주 성분 벡터 (v₂) 가 이루는 각에 기초하여 스트로크 (s₁) 와 스토르크 (s₂) 사이의 코스트를 산출할 수 있다. 2개의 스트로크 사이의 코스트를 산출하는 예시적인 수학식은 다음과 같다.

[수학식 1]

여기서, ω는 주 성분 벡터 (v₁) 와 주 성분 벡터 (v₂) 가 이루는 각을 의미한다.

다음으로, 탐색부 (140) 는 코스트의 합이 최소화되도록 스켈레톤 그래프의 모든 세그먼트를 통과하는 경로를 탐색한다 (S240). 코스트의 합은 경로에 의해 정의된 순서대로 세그먼트를 통과하기 위한 코스트의 합을 의미한다. 예를 들어, 세그먼트 1 → 세그먼트 2 → 세그먼트 3 →세그먼트 4를 통과하는 경로에 대한 코스트의 합은 cost(s₁,s₂) + cost(s₂,s₃) + cost(s₃,s₄) 일 수 있다. 여기서, s₁은 세그먼트 1을, s₂는 세그먼트 2를, s₃은 세그먼트 3을, s₄는 세그먼트 4를 의미한다. 코스트의 합이 최소화되는 경로는 경로에 의해 정의된 순서대로 세그먼트를 통과하기 위한 코스트가 가장 작은 경로를 의미한다. 경로는 단절없이 스켈레톤 그래프의 모든 세그먼트를 1회 이상 통과하는 경로로서, 스켈레톤 그래프에 대한 오일러 경로일 수도 있고, 동일한 세그먼트를 2회 이상 통과하는 경로일 수도 있다.

본 발명의 몇몇 실시예에 따르면, 생성부 (110) 는 스켈레톤 그래프에 대응하는 라인 그래프를 생성하고, 탐색부 (140) 는 라인 그래프에 기초하여 코스트의 합이 최소화되는 해밀턴 경로를 탐색할 수도 있다.

도 3g를 참조하면, 생성부 (110) 는 도 3e에 도시된 스켈레톤 그래프 (330) 에 대응하는 라인 그래프 (340) 를 생성할 수 있다. 스켈레톤 그래프에 대응하는 라인 그래프란 스켈레톤 그래프의 세그먼트와 일대일 대응하는 노드 및 스켈레톤 그래프의 서로 인접하는 한쌍의 세그먼트와 일대일 대응하는 세그먼트로 이루어진 그래프를 의미한다. 즉, 생성부 (110) 는 스켈레톤 그래프 (330) 의 노드와 세그먼트의 역할을 서로 교환함으로써 라인 그래프 (340) 을 생성할 수 있다. 라인 그래프 (340) 는 스켈레톤 그래프 (330) 의 세그먼트 0, 세그먼트 1, 세그먼트 2, 세그먼트 3 및 세그먼트 4에 각각 대응하는 노드 a0b, 노드 b1d, 노드 d2c, 노드 b3b 및 노드 d4e를 포함한다.

탐색부 (140) 는 라인 그래프 (340) 에 기초하여 코스트의 합이 최소화되는 해밀턴 경로를 탐색할 수 있다. 해밀턴 경로란 그래프 내의 모든 노드를 한번씩 통과하는 경로를 의미한다. 해밀턴 경로가 a0b → b3b → b1d → d2c → d4e 순으로 노드를 통과하는 경로인 경우, 해밀턴 경로에 대한 코스트의 합은 cost(s₀,s₃) + cost(s₃,s₁) + cost(s₁,s₂) + cost(s₂,s₄) 일 수 있다. 여기서, s₀은 스켈레톤 그래프 (330) 의 세그먼트 0을, s₁은 스켈레톤 그래프 (330) 의 세그먼트 1을, s₂는 스켈레톤 그래프 (330) 의 세그먼트 2를, s₃은 스켈레톤 그래프 (330) 의 세그먼트 3을, s₄는 스켈레톤 그래프 (330) 의 세그먼트 4를 의미한다. 탐색부 (140) 는 라인 그래프 (340) 에 대한 해밀턴 경로 각각에 대한 코스트의 합을 비교하여 코스트의 합이 최소인 경로를 탐색할 수도 있다. 상술한 바와 같이, 스켈레톤 그래프에 대한 경로를 직접 탐색하는 대신에 라인 그래프에 대한 해밀턴 경로를 탐색함으로써, 스트로크의 입력 방향 및 입력 순서를 복원하기 위해 요구되는 계산량을 감소시킬 수 있다.

본 발명의 몇몇 실시예에 따르면, 생성부 (110) 는 라인 그래프에 대응하는 완전 그래프를 생성하고, 탐색부 (140) 는 라인 그래프의 시점 및 종점에 대한 정보 없이 라인 그래프에 대응하는 완전 그래프에 기초하여 해밀턴 경로를 탐색할 수도 있다.

도 3h를 참조하면, 생성부 (110) 는 도 3g에 도시된 라인 그래프 (340) 에 대응하는 완전 그래프 (350) 를 생성할 수 있다. 완전 그래프란 서로 다른 두 개의 노드가 하나의 세그먼트로 연결된 그래프를 의미한다. 생성부 (110) 는 라인 그래프 (340) 에서 서로 연결되지 않은 노드들을 의사 세그먼트 (pseudo segment) 를 통해 연결함으로써 완전 그래프 (350) 를 생성할 수 있다. 의사 세그먼트란 완전 그래프를 생성하기 위해 라인 그래프에서 서로 연결되지 않은 두 개의 노드를 연결 시킨 세그먼트로서, 도 3h에서 파선으로 표시된 세그먼트를 의미한다.

탐색부 (140) 는 완전 그래프 (350) 에 기초하여 해밀턴 경로를 탐색할 수도 있다. 구체적으로, 탐색부 (140) 는 완전 그래프 (350) 에 기초하여 코스트의 합이 최소화되는 해밀턴 주기 (Hamiltonian cycle) 를 탐색한 후 해밀턴 주기로부터 해밀턴 경로를 획득할 수도 있다. 해밀턴 경로를 탐색하기 위해서는 먼저 해밀턴 경로의 시점 및 종점이 결정되어야 한다. 그러나, 경로의 시점 및 종점을 결정하는 과정은 난해한 과정에 해당하며, 결정된 시점 및 종점은 정확하지 않을 수도 있다. 따라서, 시점 및 종점을 결정하는 과정을 피하기 위해, 탐색부 (140) 는 시점 및 종점이 정의되지 않는 해밀턴 주기를 탐색한 후 해밀턴 주기로부터 해밀턴 경로를 획득할 수 있다.

완전 그래프 (350) 의 의사 세그먼트에 대한 코스트는 실선으로 연결된 실제 세그먼트를 통해 의사 세그먼트로 연결된 두 개의 노드를 연결하는 해밀턴 경로에 대응하는 코스트의 합을 통해 산출된다. 즉, 노드 a0b와 노드 d2c를 연결하는 의사 세그먼트에 대한 코스트는 해밀턴 경로 a0b → b3b → b1d → d2c, a0b → b3b → b1d → d4e → d2c, a0b → b1d → d2c 또는 a0b → b1d → d4e → d2c 에 대한 코스트의 합일 수 있다. 다시 말해, 의사 세그먼트를 통해 연결된 노드 a0b와 노드 d2c 사이의 코스트는 cost(s₀,s₃) + cost(s₃,s₁) + cost(s₁,s₂), cost(s₀,s₁) + cost(s₁,s₂), cost(s₀,s₃) + cost(s₃,s₁) + cost(s₁,s₄) + cost(s₄,s₂) 또는 cost(s₀,s₁) + cost(s₁,s₄) + cost(s₄,s₂) 일 수 있다. 의사 세그먼트에 대한 코스트가 최소화되는 경로는 다익스트라 알고리즘 (Dijkstra`s algorithm) 에 의해 산출될 수도 있다. 예를 들어, 의사 세그먼트를 통해 연결된 노드 a0b와 노드 d2c 사이의 코스트는 cost(s₀,s₃) + cost(s₃,s₁) + cost(s₁,s₂) = 0.027 + 0.087 + 0.394 = 0.508 일 수 있다.

코스트의 합이 최소화되는 해밀턴 주기는 그리디 알고리즘 (Greedy algorithm) 에 의해 탐색될 수도 있다. 완전 그래프 (350) 에서 그리디 알고리즘을 통해 탐색된 코스트의 합이 최소화되는 해밀턴 주기는 a0b → b3b → b1d → d2c → d4e → a0b 일 수 있다. 탐색부 (140) 는 해밀턴 주기 a0b → b3b → b1d → d2c → d4e → a0b 로부터 코스트의 합이 최소화되는 해밀턴 경로 a0b → b3b → b1d → d2c → d4e 를 획득할 수 있다. 해밀턴 경로 a0b → b3b → b1d → d2c → d4e 는 완전 그래프 (350) 의 노드 대응하는 스켈레톤 그래프 (330) 의 세그먼트를 이용하여 (s₀, s₃, s₁, s₂, s₄) 와 같이 표현할 수도 있다. 완전 그래프 (350) 로부터 코스트의 합이 최소화되는 해밀턴 주기를 탐색하고, 해밀턴 주기로부터 코스트의 합이 최소화되는 해밀턴 경로를 획득함으로써, 시점 및 종점을 미리 결정하는 과정 없이 해밀턴 경로를 획득할 수 있다.

다음으로, 판단부 (150) 는 경로에 기초하여 스트로크의 입력 방향 및 입력 순서를 판단한다 (S250). 예를 들어, 판단부 (150) 는 해밀턴 경로 (s₀, s₃, s₁, s₂, s₄)에 기초하여 스트로크 (310) 의 입력 방향 및 입력 순서를 판단할 수도 있다. 해밀턴 경로를 이용하여 스트로크의 입력 방향 및 입력 순서를 판단하는 알고리즘은 다음과 같다.

여기서, 리얼 루프는 특정 노드에서 출발하여 동일한 노드로 돌아오는 세그먼트를 의미하고, 히든 루프는 해밀턴 경로에 따라 스트로크의 궤적을 쫓을 때 2번 통과되는 세그먼트를 의미한다. 예를 들어, 도 3e에 도시된 스켈레톤 그래프 (330) 에서 리얼 루프는 세그먼트 3이고, 히든 루프는 세그먼트 2이다.

도 3i를 참조하면, 스켈레톤 그래프 (330) 에 대해 탐색된 해밀턴 경로가 (s₀, s₃, s₁, s₂, s₄)인 경우, 우선 s₀ 및 s₃에 대하여, s₀은 리얼 루프가 아니므로, 알고리즘 1.3이 적용되어, s₀의 방향은 a → b 로 판단된다.

다음으로, 방향이 결정된 s₀ 및 s₃에 대하여, s₃은 리얼 루프에 해당하므로, 알고리즘 2.2가 적용되어, s₃의 방향은 s₀의 방향 백터와 s₃의 방향 벡터의 각도 차이가 최소화되는 반시계방향으로 판단된다.

다음으로, 방향이 결정된 s₃ 및 s₁에 대하여, s₃이 히든 루프에 해당하지 않고 s₁이 리얼 루프에 해당하지도 않으므로, 알고리즘 2.3이 적용되어, s₁의 방향은 b → d 로 판단된다.

다음으로, 방향이 결정된 s₁ 및 s₂에 대하여, s₁이 히든 루프에 해당하지 않고 s₂가 리얼 루프에 해당하지도 않으므로, 알고리즘 2.3이 적용되어, s₂의 방향은 d → c 로 판단된다.

다음으로, 방향이 결정된 s₂ 및 s₄에 대하여, s₂의 방향은 d → c 이고 는 c → d이므로, 알고리즘 2.1이 적용되어, 해밀턴 경로 상에서 s₂ 오른쪽에 s₂`이 복제되고 s<sub>2</sub>`의 방향은 c → d 로 판단된다. 즉, 최종적으로 s₂의 방향은 d → c → d 로 판단된다.

다음으로, 방향이 결정된 s₂` 및 s<sub>4</sub>에 대하여, s<sub>2</sub>`은 히든 루프에 해당하지 않고 s₄가 리얼 루프에 해당하지도 않으므로, 알고리즘 2.3이 적용되어, s₄의 방향은 d → e 로 판단된다.

즉, 해밀턴 경로 (s₀, s₃, s₁, s₂, s₄) 에 기초하여 스켈레톤 그래프 (330) 가 a → b → b → d → c → d → e 순으로 입력된다는 것이 판단될 수 있으며, b → b 구간이 반시계 방향으로 입력된다는 것도 판단할 수 있다.

상술한 바와 같이, 서로 인접하는 2개의 세그먼트를 통과하기 위해 소비되는 에너지의 크기에 대응하는 코스트를 산출하고 코스트의 합이 최소화되는 경로를 탐색함으로써, 시간 정보를 포함하지 않는 스트로크의 입력 방향 및 입력 순서를 복원할 수 있다.

도 4는 본 발명의 몇몇 실시예에 따른 스트로크 입력 순서의 복원 방법에 따라 스트로크의 입력 순서를 복원한 예시적인 실험예들을 도시한다.

실험은 도 4의 좌측에 도시된 4개의 스트로크들에 대해 본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 방법을 적용함으로써 수행되었다. 4개의 스트로크들은 교점 노드, 접점 노드, 리얼 루프 및 히든 루프를 포함하고, 시점 및 종점이 숨겨져 있어 시점 및 종점을 판단하기 어려운 스트로크에 해당한다. 도 4에서 스트로크의 입력 순서는 숫자로 도시되고 스트로크의 입력 방향은 화살표로 도시된다. 도 4에 도시된 바와 같이, 교점 노드, 접점 노드, 리얼 루프 및 히든 루프를 포함하고, 시점 및 종점이 숨겨져 있어 스트로크의 입력 순서 및 입력 방향을 복원하기 어려운 스트로크들에 대해, 본 발명의 일 실시예에 따른 스트로크 입력 순서의 복원 방법을 적용한 경우, 스트로크의 입력 순서 및 입력 방향이 정확히 복원될 수 있다.

본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능 (들) 을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 (ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 스트로크 입력 순서의 복원 장치
110 생성부
120 추출부
130 산출부
140 탐색부
150 판단부
310 스트로크
320 스켈레톤 그래프
330 스켈레톤 그래프
340 라인 그래프
350 완전 그래프

Claims (13)

1. 입력된 스트로크를 세선화하여 스켈레톤 그래프를 생성하는 단계;
   상기 스켈레톤 그래프로부터 노드 및 세그먼트을 추출하는 단계;
   동일한 노드를 공유하는 인접 세그먼트가 이루는 각도에 기초하여 상기 인접 세그먼트 사이의 이동에 대응하는 코스트를 산출하는 단계;
   상기 코스트의 합이 최소화되도록 상기 스켈레톤 그래프의 모든 세그먼트를 통과하는 경로를 탐색하는 단계; 및
   상기 경로에 기초하여 상기 스트로크의 입력 방향 및 입력 순서를 판단하는 단계를 포함하고,
   상기 코스트를 산출하는 단계는,
   상기 인접 세그먼트 각각으로부터 주 성분 분석을 통해 추출된 주 성분 벡터가 이루는 각도에 기초하여 상기 코스트를 산출하는 단계인 것을 특징으로 하는, 스트로크 입력 순서의 복원 방법.
2. 제 1 항에 있어서,
   상기 경로를 탐색하는 단계는,
   상기 스켈레톤 그래프에 대응하는 라인 그래프를 생성하는 단계; 및
   상기 라인 그래프에 기초하여 상기 코스트의 합이 최소화되는 해밀턴 경로를 탐색하는 단계를 포함하고,
   상기 판단하는 단계는,
   상기 해밀턴 경로에 기초하여 상기 스트로크의 입력 방향 및 입력 순서를 판단하는 단계인 것을 특징으로 하는, 스트로크 입력 순서의 복원 방법.
3. 삭제
4. 제 2 항에 있어서,
   상기 해밀턴 경로를 탐색하는 단계는,
   상기 라인 그래프의 시점 및 종점에 대한 정보 없이 상기 라인 그래프에 대응하는 완전 그래프에 기초하여 상기 해밀턴 경로를 탐색하는 단계인 것을 특징으로 하는, 스트로크 입력 순서의 복원 방법.
5. 제 1 항에 있어서,
   상기 세그먼트 중 길이가 미리 설정된 값보다 작은 허위 세그먼트 (spurious segment) 를 추출하는 단계; 및
   상기 허위 세그먼트 및 상기 허위 세그먼트와 연결된 노드를 하나의 노드로 변환하는 단계를 더 포함하는 것을 특징으로 하는, 스트로크 입력 순서의 복원 방법.
6. 제 5 항에 있어서,
   상기 허위 세그먼트를 추출하는 단계는,
   상기 스트로크의 평균 두께에 기초하여 상기 허위 세그먼트를 추출하는 단계인 것을 특징으로 하는, 스트로크 입력 순서의 복원 방법.
7. 입력된 스트로크를 세선화하여 스켈레톤 그래프를 생성하는 생성부;
   상기 스켈레톤 그래프로부터 노드 및 세그먼트을 추출하는 추출부;
   동일한 노드를 공유하는 인접 세그먼트가 이루는 각도에 기초하여 상기 인접 세그먼트 사이의 이동에 대응하는 코스트를 산출하는 산출부;
   상기 코스트의 합이 최소화되도록 상기 스켈레톤 그래프의 모든 세그먼트를 통과하는 경로를 탐색하는 탐색부; 및
   상기 경로에 기초하여 상기 스트로크의 입력 방향 및 입력 순서를 판단하는 판단부를 포함하고,
   상기 산출부는,
   상기 인접 세그먼트 각각으로부터 주 성분 분석을 통해 추출된 주 성분 벡터가 이루는 각도에 기초하여 상기 코스트를 산출하는 것을 특징으로 하는, 스트로크 입력 순서의 복원 장치.
8. 제 7 항에 있어서,
   상기 탐색부는,
   상기 스켈레톤 그래프에 대응하는 라인 그래프를 생성하고,
   상기 라인 그래프에 기초하여 상기 코스트의 합이 최소화되는 해밀턴 경로를 탐색하고,
   상기 판단부는,
   상기 해밀턴 경로에 기초하여 상기 스트로크의 입력 방향 및 입력 순서를 판단하는 것을 특징으로 하는, 스트로크 입력 순서의 복원 장치.
9. 삭제
10. 제 8 항에 있어서,
    상기 탐색부는,
    상기 라인 그래프의 시점 및 종점에 대한 정보 없이 상기 라인 그래프에 대응하는 완전 그래프에 기초하여 상기 해밀턴 경로를 탐색하는 것을 특징으로 하는, 스트로크 입력 순서의 복원 장치.
11. 제 7 항에 있어서,
    상기 세그먼트 중 길이가 미리 설정된 값보다 작은 허위 세그먼트를 추출하여, 상기 허위 세그먼트 및 상기 허위 세그먼트와 연결된 노드를 하나의 노드로 변환하는 변환부를 더 포함하는 것을 특징으로 하는, 스트로크 입력 순서의 복원 장치.
12. 제 11 항에 있어서,
    상기 변환부는,
    상기 스트로크의 평균 두께에 기초하여 상기 허위 세그먼트를 추출하는 것을 특징으로 하는, 스트로크 입력 순서의 복원 장치.
13. 입력된 스트로크를 세선화하여 스켈레톤 그래프를 생성하고,
    상기 스켈레톤 그래프로부터 노드 및 세그먼트을 추출하고,
    동일한 노드를 공유하는 인접 세그먼트가 이루는 각도에 기초하여 상기 인접 세그먼트 사이의 이동에 대응하는 코스트를 산출하고,
    상기 코스트의 합이 최소화되도록 상기 스켈레톤 그래프의 모든 세그먼트를 통과하는 경로를 탐색하고,
    상기 경로에 기초하여 상기 스트로크의 입력 방향 및 입력 순서를 판단하는 명령어들의 세트를 포함하고,
    상기 코스트를 산출하는 것은 상기 인접 세그먼트 각각으로부터 주 성분 분석을 통해 추출된 주 성분 벡터가 이루는 각도에 기초하여 상기 코스트를 산출하는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.
    

Images