KR101080316B1

KR101080316B1 - 광학 네비게이션 방법

Info

Publication number: KR101080316B1
Application number: KR1020050062647A
Authority: KR
Inventors: 유진용
Original assignee: (주)신세계엔지니어링
Priority date: 2005-07-12
Filing date: 2005-07-12
Publication date: 2011-11-07
Anticipated expiration: 2025-07-12
Also published as: KR20070008829A

Abstract

본 발명은 입력되는 영상의 이전 영상과 입력 영상을 비교하여 마우스의 이동 방향성과 이동 거리를 산정하는 광학 세서의 제어에 있어서 핵심 기술인 광학 네이게이션 방법에 관한 것으로, 광학 센서를 사용하여 궤적을 트레이싱을 하는 광학 네비게이션 방법에 있어서,입력된 영상 프레임에서 사용 패턴 분석을 통해 비교 우선순위를 결정한 다음 비교 우선순위 픽셀들에 대한 검색을 순차적으로 하면서, 하위 순위 픽셀들의 비교 대상 픽셀개수를 줄여가면서 비교하는 것을 특징으로 하는 광학 네비게이션 방법과 마우스의 움직임 탐색 범위 설정을 탐색 마우스가 어느 방향으로 움직일지를 예측 기반 탐색 기법을 통한 예측으로 수행하는 것을 특징으로 하는 광학 네비게이션 방법을 제공한다. 이와 같은 본 발명에 의하면 실질적으로 비교 영역이 축소되는 장점이 있으며, 최악의 경우라 하더라도 기존의 영상 비교 횟수를 넘지 않게 되므로 평균적으로 비교 횟수가 현격히 줄어들게 된다. 또한 본 발명은 예측 기반 탐색 기법을 사용하여 탐색 범위의 설정에 따라 수배 이상의 고속화가 가능하고, 기존 방법에서 입력 영상의 화질이 기대 이하일 경우 LED의 광량과 노출 시간 보정을 위해 순차적으로 입력되는 영상의 일부에 대해 움직임을 따라가지 못하는 문제를 움직임 탐색 시간을 줄이고, 남은 시간에 이러한 보정 작업을 수행하여 보다 부드러운 움직임 추적이 가능하다는 장점을 가지고 있다.

Description

광학 네비게이션 방법{Method for optical navigation}

본 발명은 입력되는 영상의 이전 영상과 입력 영상을 비교하여 마우스의 이동 방향성과 이동 거리를 산정하는 광학 세서의 제어에 있어서 핵심 기술인 광학 네이게이션 방법에 관한 것이다.

광학 센서를 사용하여 궤적을 트레이싱을 하는 네비게이션에서는 정확도도 물론 중요하지만, 그보다도 구현의 단순화에 따른 연산 속도의 중요성이 더 크다고 할 수 있다. 그래서 대부분 광학 마우스 제품에서도 단순화된 패턴 비교 알고리즘을 적용하고 있다.

널리 알려져 있는 기술인 미국 애질런트 테크놀로지(Agilent Technologies) 社의 네비게이션 방법을 살펴보면, 단순화된 패턴 비교을 위해 아래와 같은 상관도(Correlation) 기반의 네비게이션 방법을 사용한다.

하기의 그림 1과 2에서와 같이 먼저 brightness와 contrast matching 전처리 방법을 통하여 영상을 전처리하는데, Brightness는 입력 프레임(frame)의 average illumination을 중간값(mid range)으로 조정하며, Contrast는 변위를 고려한 5*5 상관도 매트릭스(correlation matrix)의 최고 값이 임계치 이상이 되도록 조정한 다.

이어서, 2~+2 까지의 변위를 고려한 상관도 기반 매칭 기법, 즉 16*16에 대해서 이전 영상과 입력 영상의 상관도를 계산하고 해당 변위만큼 이동하면서 상관도의 평균을 구해서 상관도 테이블을 구성하고, 테이블에서 가장 상관도가 높은 값으로 이동한 것으로 인식하는 것이다.

상세하게 설명하면, 데이터 프레임을 레퍼런스 프레임의 왼쪽으로 2 cell, 위로 2 cell(-2, -2)부터 시작하여 레퍼런스 프레임의 오른쪽으로 2 cell, 아래로 2 cell (2,2)까지 이동하면서 레퍼런스 프레임과의 상관도를 계산하여 평균 내어, +2 ~ -2변위만큼 5 X 5의 상관도를 구하게 된다. (-2,-2)에서 (-2,-1), (-2,0, (-2,1 (-2,2), (-1,-2), (-1,-1), (-1,0), (-1,1), (-1,2), (0,-2), ... , (2,-2), (2,-1), (2,0), (2,1), (2,2)까지 25번을 계산하여 5X5의 정규화된 상관도 테이블을 만들고, 상관도가 1에 가장 가까운 곳으로 이동되었다고 판단하는 것이다. 이상과 같은 미국 애질런트 테크놀러지사의 네비게이션 방법은 단순한 패턴비교 방법 사용으로 알고리즘 간략화하였으며, 패턴 비교에서 사용되는 상관도 테이블을 contrast 조절에 사용하여 추가적인 계산 과정을 생략한 장점을 가지고 있다.

<그림 1: 영상 전처리 과정>

→

→

1. 원영상 2. Brightness 조정 3. Contrast 조정

<그림 2: 상관도(Correlation)를 이용한 네비게이션 방법>

4. Reference Frame 5. Data Frame (dx = -2, dy = -2)

0.04	0.12	0.20	0.32	0.48
0.12	0.24	0.40	0.56	0.68
0.20	0.40	0.60	0.76	0.84
0.32	0.56	0.76	0.88	0.96
0.48	0.68	0.84	0.96	1.00

Normalized Correlation table with reference and data frame

또한 두 개의 영상을 비교하는 알고리즘에 있어서 속도를 개선시키는 방법은다음과 같이 다양한 알고리즘들이 존재한다.

먼저, 디피 알고리즘(DP Algorithm)은 입력된 프래임에서 적당한 비교 우선순위를 결정 한 뒤, 비교 우선순위 픽셀들에 대한 서칭을 순차적으로 하면서, 하위 순위 픽셀들의 비교 대상 픽셀개수를 줄여가면서 비교하는 방법으로서 영상의 contrast가 이상적일 경우, 하위 순위 픽셀들의 비교 대상을 줄여 속도 개선 효과를 얻을 수 있으나 영상의 contrast가 나쁠 경우에는 원 상관도 방법과 유사한 비교횟수를 가지면서 프로그램 복잡도가 높아지는 문제점이 있다.

클러스터링 알고리즘(Clustering Algorithm)은 입력된 프레임을 적당한 그룹으로 분할한 뒤, 각각의 분할 segment 중에서 1~N 개 그룹의 중심점을 비교하는 방법으로서 비교적 간단한 연산의 반복(사칙 연산 만을 사용)으로 가능하다는 장점을 가고 있으나 프레임의 촬영 조건, 부분 픽셀(Partial pixel) 문제 등에 의한 영향을 크게 받을 수 있는 단점을 가지고 있다.

또한 이미지 플로우 알고리즘(Image Flow Algorithm)은 데이터 프레임의 밝기값(intensity, illumination)을 레퍼런스 플레임(reference frame)의 밝기값과 disparity로 정의하고, 각각의 픽셀에서 픽셀들의 네비게이션 벨로시트 벡터(navigation velocity vector)를 계산하여 평균 이동 거리로 환산하여 계산하는 방법으로 타켓에서와 같이 모션이 비교적 적은 경우에 한하여 적합하다는 문제점이 있다.

따라서 본 발명이 이루고자 하는 기술적 과제는 여러 알고리즘의 장단점을 분석하여 불필요한 비교 횟수를 줄여 비교 영상의 대상을 늘림으로써 인식의 정확 도를 꾀하기 위한 광학 네비게이션 방법을 제공하는 것이다.

상기 기술적 과제를 달성하기 위하여, 본 발명은

광학 센서를 사용하여 궤적을 트레이싱을 하는 광학 네비게이션 방법에 있어서,

(a) 레퍼런스 프레임에 대하여 +1 ~ -1 변위만큼 이동하여 상관도값을 구하고 상관도값 중에서 임계값 이상의 값이 있는 경우 임계값 이상을 보인 값으로 이동한 것으로 판단하는 단계; 및

(b) 상기 (a) 단계에서 구한 상관도 값 중에서 임계값 이상의 값이 없는 경우 +2 ~ -2 변위만큼 넓혀 나머지 부분에 대해 상관도 값을 구하여 상관도 값이 1에 가장 가까운 값으로 이동한 것으로 판단하게 하는 단계를 포함하는 것을 특징으로 하는 광학 네비게이션 방법을 제공한다.

또한 다른 예로서 본 발명은,

(a) 레퍼런스 프레임에 대하여 +2 ~ -2 변위 중에서 탐색 마우스가 어느 방향으로 움직일 지를 예측하여 예측 부분에 대하여 먼저 상관도 값을 구하고 관도값 중에서 임계값 이상의 값이 있는 경우 임계값 이상을 보인 값으로 이동한 것으로 판단하는 단계; 및

(b) 상기 (a) 단계에서 구한 상관도 값 중에서 임계값 이상의 값이 없는 경 우 +2 ~ -2 변위의 나머지 부분에 대해서도 상관도 값을 구하여 상관도 값이 1에 가장 가까운 값으로 이동한 것으로 판단하게 하는 단계를 포함하는 것을 특징으로 하는 광학 네비게이션 방법을 제공한다.

상술한 바와 같은 본 발명은 여러 알고리즘의 장단점을 분석하고 광마우스 내지 펜마우스의 사용 패턴에 따른 사용자 분석을 통해 불필요한 비교 횟수를 줄여, 비교 영상의 대상을 늘림으로써 인식의 정확도를 꾀할 수 있도록 개선된 2가지 알고리즘을 개발하여 이를 응용한 것으로서, 비교 우선 순위에 따른 네비게이션과 예측 기반 탐색 기법(Prediction Based Searching Method)을 이용한 네비게이션으로 나누어 설명하기로 한다.

<비교 우선 순위에 따른 네비게이션 >

비교 우선 순위에 따른 네비게이션 방법은 입력된 영상 프레임에서 사용 패턴 분석을 통해 적당한 비교 우선순위를 결정한 뒤, 비교 우선순위 픽셀들에 대한 검색을 순차적으로 하면서, 하위 순위 픽셀들의 비교 대상 픽셀개수를 줄여가면서 비교하는 방법이다.

구체적으로 설명하면, 그림 3에서 보는 바와 같이 본 발명은 비교 순서를 변경하여, (-1,-1) (-1,0), (-1,1), (0,0), (0,-1), (0,1), (1,-1), (1,0), (1,1)의 내부 3X3 테이블을 먼저 만들어 상관도가 임계값 이상의 경우, 그 방향으로 이동되었다고 판단하고, 만일 임계값 이하일 경우는 이미 값을 구한 내부 3X3 테이블 외의 5X5의 나머지 cell도 비교하여 5X5 상관도 테이블을 완성하여 1에 가장 가까운 값으로 이동했다고 판단하게 하는 것이다.

실제 사용자들의 마우스 사용 패턴을 분석한 결과, 급격한 마우스의 이동보다는 천천히 이동하는 경우의 수가 더 많아 3X3 비교에서 대부분 이동방향을 감지할 수 있으며, 급격한 이동의 경우에도 기존의 영상 비교 횟수를 넘지 않으므로 전체적인 평균 비교횟수가 감소된다.

<그림 3: 정규화된 상관도 테이블>

<예측 기반 탐색 기법(Prediction Based Searching Method)을 이용한 네비게 이션 >

일반적인 사용자들의 마우스 움직임을 알기 위하여 컴퓨터 사용에 대한 조사 결과, 10대에서 20대 초반의 경우, 대부분 인터넷 검색(34%)과 채팅(22%) 및 게임(20%) 이용이 주를 이루었으며, 20대 중반에서 30대 후반까지의 경우, 인터넷 검색(40%)과 게임(25%), 문서작업(20%)을 주된 사용이었다. 그 외 음악 및 영화감상, 응용 프로그램 사용 등이었다. 이를 바탕으로 일반적인 사용자들의 마우스 움직임 패턴을 분석한 결과 , 마우스 움직임의 급격한 이동은 전체 마우스 이동 작업의 20% 미만으로 상대적으로 적었으며, 이동방향의 정반대 방향으로 급하게 선회하는 경우는 10% 미만으로 더욱 드물게 발생하였으며 주로 마우스가 멈춰 있거나 정해진 한 방향으로 움직이는 경우가 대부분이었다.

그림 4에서와 같이 이러한 일반적인 상황만을 가정한다면 어느 시점에서 마우스의 움직임을 알고 있다면, 그 다음 순간 마우스가 어느 방향으로 움직일 지를 예측할 수 있다.

<그림 4: 현재 상태의 마우스 움직임 -> 다음 순간 마우스 움직임 예측>

마우스의 움직임 서칭을 위해 임의의 알고리즘(기존 타사 방법 또는 앞서 제안한 방법 등)을 사용할 때, 임의의 시간 t-1에서 획득한 영상과 시간 t에서 획득한 영상 간의 모션(motion)을 추출하기 위해 n * m의 영역에 대해 상관도(correlation)와 같은 유사도를 계산하는 과정을 미리 정해진 움직임 예상 범위 전체에 대해서 비교를 해야 하지만, 이러한 예측 기반 탐색 기법을 사용한다면 탐색 범위의 설정에 따라 수배 이상의 고속화가 가능하다.

예를 들어, 그림 5에서와 같이 임의의 시간 t-1에서 (0,0)좌표에 있던 마우스 커서의 시간 t에서의 움직임을 계산하기 위해서, 기존 알고리즘에서는 A 영역에 대해 모두 탐색을 해야 하므로 n * m 화소에 대한 상관도 계산을 25번 반복해야 하지만, 본 발명에 따른 알고리즘에서는 오른쪽 아래로 진행되는 방향일 경우 B 영역을 우선적으로 탐색을 수행하며, 임계값 이상의 평균 상관도가 발생되지 않을 경우, A영역의 나머지 부분도 탐색을 수행한다. 오른쪽 윗부분으로 진행되는 방향일 경우는 B 영역이 오른쪽 위의 3 X 3이 되는 것이다.

이러한 예측 기반 방법을 적용하기 위해서는 앞서 가정한 바와 같이 마우스의 움직임이 정반대 방향으로 급하게 선회하는 경우가 없어야만 가능하지만, CCD 촬영 소자의 초당 바닥면 촬영 횟수가 일반적으로 1500회~6000회 정도이므로, 한 영상을 촬영한 후 다음 영상을 촬영할 때까지의 시간이 16 ~ 60us 정도로 매우 짧다는 점과 탐색 영역의 크기와 배치 등을 적절히 최적화하여 사용할 수 있다는 것을 고려한다면, 일반적인 사용자의 마우스 움직임 패턴은 물론이고 프로 게이머, 그래픽 디자이너와 같은 고급 사용자들의 마우스 움직임에 대해서도 충분히 대응할 수 있을 것이다.

또한 기존 방법에서 입력 영상의 화질이 기대 이하일 경우 LED의 광량과 노출 시간 보정을 위해 순차적으로 입력되는 영상의 일부에 대해 움직임을 따라가지 못하는 문제를 움직임 탐색 시간을 줄이고, 남은 시간에 이러한 보정 작업을 수행하여 보다 부드러운 움직임 추적이 가능할 것으로 예상된다.

<그림 5: 기존 방법에서의 탐색 영역과 예측 기반 방법에서의 탐색 영역 크기 비교>

상술한 바와 같은 본 발명에 의하면 실질적으로 비교 영역이 축소되는 장점이 있으며, 최악의 경우라 하더라도 기존의 영상 비교 횟수를 넘지 않게 되므로 평균적으로 비교 횟수가 현격히 줄어들게 된다.

또한 본 발명은 예측 기반 탐색 기법을 사용하여 탐색 범위의 설정에 따라 수배 이상의 고속화가 가능하고, 기존 방법에서 입력 영상의 화질이 기대 이하일 경우 LED의 광량과 노출 시간 보정을 위해 순차적으로 입력되는 영상의 일부에 대해 움직임을 따라가지 못하는 문제를 움직임 탐색 시간을 줄이고, 남은 시간에 이러한 보정 작업을 수행하여 보다 부드러운 움직임 추적이 가능하다는 장점을 가지 고 있다.

Claims

광학 센서를 사용하여 궤적을 트레이싱을 하는 광학 네비게이션 방법에 있어서,

(a) 레퍼런스 프레임에 대하여 +1 ~ -1 변위만큼 이동하여 상관도값을 구하고 상관도값 중에서 임계값 이상의 값이 있는 경우 임계값 이상을 보인 값으로 이동한 것으로 판단하는 단계; 및

(b) 상기 (a) 단계에서 구한 상관도 값 중에서 임계값 이상의 값이 없는 경우 +2 ~ -2 변위만큼 넓혀 나머지 부분에 대해서도 상관도 값을 구하여 상관도 값이 1에 가장 가까운 값으로 이동한 것으로 판단하게 하는 단계를 포함하는 것을 특징으로 하는 광학 네비게이션 방법.
광학 센서를 사용하여 궤적을 트레이싱을 하는 광학 네비게이션 방법에 있어서,

(a) 레퍼런스 프레임에 대하여 +2 ~ -2 변위 중에서 탐색 마우스가 어느 방향으로 움직일 지를 예측하여 예측 부분에 대하여 먼저 상관도 값을 구하고 관도값 중에서 임계값 이상의 값이 있는 경우 임계값 이상을 보인 값으로 이동한 것으로 판단하는 단계; 및

(b) 상기 (a) 단계에서 구한 상관도 값 중에서 임계값 이상의 값이 없는 경우 +2 ~ -2 변위의 나머지 부분에 대해서도 상관도 값을 구하여 상관도 값이 1에 가장 가까운 값으로 이동한 것으로 판단하게 하는 단계를 포함하는 것을 특징으로 하는 광학 네비게이션 방법.