KR100869441B1 - 이미지 공간 필터링 방법 및 그레인 영향 최소화 방법 - Google Patents

Abstract

그레인 표면(그 방향은 네비게이션 메카니즘의 X축 및 Y축에 대하여 약 45도 기울어져 있음)상 광학 네비게이션(optical navigation)은, 첫째, 이용중인 공간 필터가 현재 나타나는 방향에 대하여 부적당함을 파악하고, 둘째, 그 파악에 뒤이어 보다 적절한 다른 공간 필터를 이용함으로써 강화된다. 표준 필터(Standard filter)에 대하여 대략 45도 및 135도 경사에 있어서 각각 효율적인 두 개의 공간 필터(52,53)를 연구해왔다. 네비게이션 처리에서 이용되는 상관 표면의 형상(89)은 그 상관 표면에 리지(ridge)가 존재하는지 테스트(93,94)된다. 제어 기준(control metrics)(제어 시스템이 그 익스커전(excursion)을 트랙킹하여 이용중인 필터를 변화시킴)이 생성된다. 제어 시스템은 쓰래싱(thrashing)을 피하고 격리형 임의적 변동(isolated random variation)에 지나치게 민감하지 않도록 시간 상수(time constant)를 정한다. X축 및 Y축과 관련하여 빛이 도달하는 방향은, 궁극적으로 네비게이팅될 인지된 피쳐(perceived feature)의 외관 사이즈(apparent size)와 명암 비율(proportions of the highlights and shadows)을 변화시킴으로써, 필터가 유효한 각도 범위에 영향을 미치는 것으로 보인다. 제어 시스템의 안정적 동작은, 필터의 동작 범위를 확실하게 중첩시킴으로써 강화될 수 있고, 빛이 네비게이션 표면에 도달하는 방향을 이용중인 필터에 대응하거나 또는 그 필터와 관련하여 변화하도록 동적으로 변경(102)함으로써 촉진될 수 있다.

Description

이미지 공간 필터링 방법 및 그레인 영향 최소화 방법{IMAGE FILTERS AND SOURCE OF ILLUMINATION FOR OPTICAL NAVIGATION UPON ARBITRARY SURFACES ARE SELECTED ACCORDING TO ANALYSIS OF CORRELATION DURING NAVIGATION}

도 1은 2차원 데이터 구조(two dimensional data structure)로서 메모리에 저장되어 있는 광 네비게이션 시스템(optical navigation system)을 위한 25개의 디지털화된 셀 이미지를 도시하는 도면,

도 2는 도 1에 있어서의 이미지를, 필터링을 돕기 위하여 인공적으로 확대하여 도시하는 도면,

도 3은 사선 그레인(diagonal grain)이 있는 경우 문제를 일으키는, 종래 기술에서 이용되는 "표준(Standard)" 필터를 도시하는 도면,

도 4는 도 3의 필터로 도 2의 확대 이미지를 필터링한 산술 계산 결과(arithmetic outcome)를 도시하는 도면,

도 5는 수평 그레인(horizontal grain)을 거슬러 움직이는 입력 이미지와 그 바람직한 필터링된 이미지를 도시하는 예시적 도면,

도 6은 사선 그레인을 거슬러 움직이는 것을 제외하고는 도 5와 동일한 입력 이미지와, 표준 필터로부터 얻어지는 바람직하지 못한 결과 생성을 보여주는 도면,

도 7은 도 3의 표준 필터가 실패하는 어떠한 환경에서 이용될 수 있는 필터를 도시하는 도면,

도 8은 도 3의 표준 필터가 실패하는 어떠한 다른 환경에서 이용될 수 있는 다른 필터를 도시하는 도면,

도 9는 도 6의 움직이는 입력 이미지를 도 7의 필터로 필터링하여 도시하는 예시적 도면,

도 10은 도 8의 필터를 이용한다는 점을 제외하고는, 도 9와 유사한 예시적 도면,

도 11은 상관값 어레이(array of correlation value)로 구성되는 샘플 상관 표면(sample correlation surface)을 도시하는 도면,

도 12는 이용중인 필터에 대하여 적합하지 못한 그레인에 의하여 야기되는 어려움을 피하기 위하여 광 네비게이션 동안 이루어질 수 있는, 상관 표면의 형상에 기초한 필터 선택 처리(filter selection process)를 도시하는 상태도,

도 13은 상관 표면의 형상을 검사함으로써 조명 위치(illumination location)의 변화를 제어한다는 점을 제외하고는 도 12의 경우와 유사한 상태도,

도 14는 상관 결과를 분석하여 선택 가능한 광원(source of illumination)의 위치를 도시하는 도면.

도면의 주요 부분에 대한 부호의 설명

7 : 표준 필터 52 : 필터 QⅠ

53 : 필터 QⅡ 88 : 상관 어레이

본 출원의 주제는 MOUSELESS OPTICAL AND POSITION TRANSLATION TYPE SCREEN POINTER CONTROL FOR A COMPUTER SYSTEM이라는 명칭으로 1998년 4월 30일에 출원된 미국 특허 제 6,057,540호에 관련되며, 또한 FREEHAND IMAGE SCANNING DEVICE WHICH COMPENSATES FOR NON-LINEAR MOVEMENT라는 명칭으로 1995년 3월 2일에 출원되어 1996년 11월 26일에 허여된 미국 특허 제 5,578,813호의 주제에 관련된다. 이 출원은 또한, Hewlett-Packard사에 양도된, METHOD AND SYSTEM FOR TRACKING ATTITUDE라는 명칭으로 1995년 10월 6일에 출원되어 1998년 7월 28일에 허여된 미국 특허 제 5,786,804호의 주제에 역시 관련된다. 이들 세 특허는, 위치 움직임(position movement)을 트랙킹(tracking)하는 기법을 설명하고 있으며, 이러한 기법은 후술하는 바람직한 실시예의 구성을 포함하고 있다. 따라서, 미국 특허 제 6,057,540호와, 제 5,578,813호와, 제 5,786,804호는 본 명세서에서 참조로써 인용된다.

부정형 표면(arbitrary surface)상의 광 네비게이션(optical navigation)은 좌표축 방향에 대한 상대적 움직임(relative movement)을 표시하는 모션 신호(motion signal)를 생성하는 것으로서, 점차 일반적이 되어가고 있다. 예컨 대, 광 컴퓨터마우스(optical computer mice)와 핑거팁 트랙킹 장치(fingertip tracking device)에서는, 통상적인 마우스와 트랙볼(trackball)을 대신하여 컴퓨터 시스템을 위한 윈도우형 사용자 인터페이스(windowed user interface) 내 스크린 포인터(screen pointer)의 위치를 제어하기 위해서 이를 이용한다. 이는, 오염물이 누적되고 사용함에 따라 점차 기계적으로 마멸 및 파열(mechanical wear and tear)되는 이동부(moving part)가 없다는 점 등 많은 이점을 갖는다. 광 마우스의 또 다른 이점은 마우스 패드(mouse pad)가 필요하지 않다는 점인데, 일반적으로 부정형 표면이 광학적으로 특색이 없는(featureless) 상태가 아닌 한 그 부정형 표면상에서 네비게이팅할 수 있기 때문이다.

광 네비게이션은 이미지의 상대적 변위(displacement)를 트랙킹함으로써 동작한다. 그 표면의 일부에 대한 2차원 뷰(view)가 광 검출기(photo detector) 어레이 상에 포커싱(focused)되고, 그 광 검출기 출력이 디지털화(digitized)되어 대응하는 메모리 어레이 내에서 기준 이미지(reference image)로서 저장된다. 잠시 후 샘플 이미지(sample image)도 디지털화된다. 아무런 모션도 없다면, 샘플 이미지와 기준 이미지는 동일(또는 거의 동일)하다. 이는 당연히, 저장 어레이가 서로 매칭(match up)하는 것으로 보인다는 것을 의미한다. 반면, 어떠한 모션이 존재한다면, 그 경계선(border) 내에서 샘플 이미지가 이동한 것으로 보일 것이며 그 디지털화된 어레이는 더 이상 매칭하지 않을 것이다(즉, 경계선이 또한 정렬(lined up)되어 있는 경우). 그 매칭 처리는 "상관(correlation)"이라고 불리며 다양한 방식으로 수행될 수 있는데, 인용되는 특허에서 그 중 하나가 설명되고 있다. 별 도로 생각해보면, 상관 처리는 "이들 두 이미지가 일치(aligned)되는가?"하는 엄격한 질문에 대하여 답을 제공한다. 그 답이 "아니오(No)"라면, 이는 어떤 방향으로든 개재 모션(intervening motion)이 있었기 때문일 것이며, "예(Yes)"나 "거의(Almost)"의 상관 결과를 생성할 방향 및 변위량(amount of displacement)을 알아내려면 소정의 추가 메카니즘이 필요로 된다. 하나의 저장된 이미지(말하자면, 기준 이미지) 및 이와 다른(샘플) 이미지 이동형 버전(shifted version) 집합(collection) 사이에서 상관 처리가 수행될 것이다. 8번의 실제 이동과 한번의 "널(null)" 이동에 있어서, 그 이동형 집합은 무이동(no shift), 앞으로 한번 이동(one over), 앞으로 한번 그리고 위로 한번 이동(one over and one up), 위로 한번 이동, 다른 방향 앞으로 한번 이동(one over the other direction), 등으로 이루어진다. 이들 9번의 상관 중 어느 하나가 다른 모든 것들보다 클 것이며, 그 방향과 이동량이 그 개재 모션에 대한 표시로서 이용될 것으로 기대할 수 있다.

네비게이션 메카니즘은 속도(속력 및 방향) 정보를 유지한다. 새로운 샘플 프레임이 기준 프레임과 상관될 경우, 예측 이동(predicted shift)이 그 9번의 이동에 대한 개시점(starting point)으로 이용될 수 있다. 이러한 방법에서 상관 결과는 속도 갱신을 돕고 또한 그 예측되었던 모션을 승인(ratify)하거나 변형(modify)시킨다. 새로운 샘플 프레임이 이동형 기준 프레임의 중요 부분에 중첩되지 않을 때까지, 예측을 이용하여 그 기준 프레임을 "사전 이동(pre-shift)"시킨다. 그 시점에서 새로운 기준 프레임이 얻어진다. 전류 속도가 느린 경우 (광원(light source)이 펄스형(pulsed)이거나, 또는 샘플 사이에 턴오프(turned off) 될 수 있다면) 전력을 보존하도록 샘플 속도를 늦추는데 예측이 이용될 수 있다.

전술된 기본적 기법은 그 표면이 폐쇄형 경계선(closed boundaries)으로 정의된 명암 영역(regions of light and dark)으로 보이는 이미지를 생성하는 경우 효과적일 것이다. 경계선이 뚜렷할(abrupt) 필요는 없으며, 점진적 형태(gradual)일 수도 있다. 그리고, 그 영역의 형상이 충분히 비대칭(non-symmetric) 즉 비정규형(irregular)이라면, 그 경계선에 대한 어떠한 폐쇄 요청(closure requirement)도 완화될 수 있다. 그러나, 매우 대칭적이고 또한 어떠한 폐쇄형 경계선도 없다면, 이동 및 상관 메카니즘이 어려워질 수 있다. 말하자면, 예컨대, 마우스가 우드 그레인형 데스크(wood grained desk) 위에서 네비게이팅하는 경우가 그러할 것이다. 그러한 경우에는, 상관기(correlator)에 제공되는 이미지가 일련의 평행선을 표시하는 것으로 보일 수 있다. 그 라인을 가로지르는 방향으로 움직임을 검출하는 것은 쉬운 일이지만, 그 라인에 따르는 방향으로는 그렇지 않다. 그 결과 마우스가 이미 지나갔어도 사용자는 원하는 결과를 얻을 수 없게 된다. (그레인 표면은 문제를 일으키는 원인의 일부에 지나지 않는다. 피쳐(feature)의 사이즈와 방향에도 크게 의존한다. 광 검출기 사이의 간격보다 적게 떨어져 있는 병렬 피쳐는 별도의 엔티티로 분리되지 않는다. 말하자면, 하나 걸러 또는 둘씩 걸러 광 검출기에 검출되는 병렬 피쳐의 경우 곤란한 문제가 된다. 일반적으로, 피쳐 구별(feature separation)은 그러한 곤란한 경우와 다르면 다를수록, 더 쉬워진다. 곤란한 문제를 야기할 수 있는 이유가 단지 그 표면이 그레인형이기 때문만은 아니다.)

때때로 발생하는 이러한 곤란한 문제에 대한 한가지 해결책은 이미지가 표현되는 해상도를 증가시키는 것일 것이다. 이미지를 더 확대하거나, 픽셀 밀도를 증가시키거나, 각 픽셀을 많은 수의 비트로 디지털화할 수 있다. 정규 반복적(regular repeating)(그에 따라 구별할 수 없는) 피쳐로 보이는 것이 궁극적으로 비정규적인 것이 되도록(그리고 그에 따라 서로 구별할 수 있도록) 해야 할 것이다. 앞서의 해결책은 각각 자체적인 단점을 가지는바, 비용과 복잡도가 증가될 수 있고, 주어진 표면 트랙킹 속도를 단지 유지만 하려해도 더 빠른 속력(speed)을 필요로 할 수 있다.

평행선 문제를 해결하는데 이용되는 또 다른 기법은 이미지가 서로 상관되기 이전에 그 이미지를 (공간) 필터링하는 것이다. 이러한 기법은 상관될 어레이를 변형시켜 데이터 내 정규적 패턴이 적어도 일부 억제되도록 한다. 이는 상관 메카니즘의 응답이 이미지에서의 비정규적 피쳐에 더 많이 기초하도록 하고, 모션에 의존하지 않는 강한 상관 관계를 생성하는 정규적 순환 피쳐에 덜 기초하도록 한다. 이 기법은 이미 알려져 있는 강한 신호를 필터링해 내어 더 약한 신호를 복원하는 것과 유사하다. 그러한 필터링은 관심의 대상이 되는 위치 주변에 대칭적으로 대향 배치된 위치들의 값에 대한 연산 조합(arithmetic combination)에 따라서 어레이의 다양한 위치에서의 값을 변경함으로써 수행된다. 차동 증폭기(differential amplifier)에 의한 동상분 제거(common mode rejection)에 의하여 간섭 신호(interfering signal)가 제거된다. 당연한 순서에 따라 일예가 주어질 것이지만, 지금도 이러한 기법은 트랙킹되는 이미지를 왜곡하거나 변경하는 것이 아닌지 의심되고 있다. 그러나 어찌되었건 그러한 정확도(fidelity)에는 특별히 관심을 가지지 않기 때문에, 이 기법도 수용 가능하다. 어레이의 콘텐츠를 이미지로서 누군가에게 디스플레이하는 일은 결코 없으며, 단지 이를 트랙하기 원할 뿐이다. 종래 기술은 전술한 방법에서 이용할 수 있는 다양한 공간 필터들을 포함하고, 일단 설계자가 적합한 것을 확인하면 그것을 시스템에 대한 영구 피쳐(permanent feature)로서 단순히 통합한다.

그러한 (공간) 필터가 통상적 광 마우스에 이용되어, 예컨대 그레인 등으로부터 발생하는 평행선 문제를 처리하고 있다. 이는 (광 센서(photo sensor) 어레이가 배치되는 공간 패턴(spatial pattern)에 관련된) 두 직교 방향에 있어서 효율적이고, "표준(Standard)" 필터라고 불린다. 그러나, 이들 두 축 사이 중간쯤에는 표준 필터를 무력화(fool)하고 마우스가 긴 평행 피쳐를 만나는 경우 다시 혼란을 일으키기 시작하는 상당한 범위의 방향이 있다.

그레인 표면(그 방향은 네비게이션 메카니즘의 X축 및 Y축에 대하여 45도 기울어져 있음)상에서 광학적으로 네비게이팅하는 경우 그 문제점을 해결하려면, 첫째, 이용중인 공간 필터가 현재 나타나는 방향에 대하여 부적당함을 파악하고, 둘째, 그 파악에 뒤이어 보다 적절한 다른 공간 필터를 이용하는 것이다. 표준 필터(X축 및 Y축을 따라서 방향 설정됨)의 대략 45도 및 135도 경사(문제의 영역)에 있어서 각각 효율적인 두 개의 추가적 필터를 연구해왔다. 또한 네비게이션 처 리에서 이용되는 상관 표면의 형상(즉 아래에서 보는 경우, 보울(bowl))에 대한 테스트를 연구해왔다. 그 테스트에서는 상관 표면(보울)에 리지(ridge)(즉 새들(saddle))가 존재한다는 점을 이용하여, 제어 기준(control metrics)(제어 시스템이 그 익스커전(excursion)을 트랙킹하여 이용중인 필터를 변화시킴)이 생성된다. 제어 시스템은 쓰래싱(thrashing)을 피하고 격리형 임의적 변동(isolated random variation)에 지나치게 민감하지 않도록 시간 상수(time constant)를 정한다. X축 및 Y축과 관련하여 빛이 도달하는 방향은, 궁극적으로 네비게이팅될 인지된 피쳐(perceived feature)의 외관 사이즈(apparent size)와 명암 비율(proportions of the highlights and shadows)을 변화시킴으로써, 필터가 유효한 각도 범위에 영향을 미치는 것으로 보인다. 예컨대, 빛이 본질적으로 Y축(일반적으로)에 평행한 광선(ray)으로 네비게이션 표면에 입사하는 경우라면, X축 주변의 표준 필터 (그레인 방향에 대한) 동작 각도 범위는 그 Y축 주변의 대응 범위의 대략 절반 정도일 수 있다. 유사한 비대칭성이 경사형 필터(inclined filter)에서 발견된다. 필터 동작의 범위를 확실하게 중첩시킴으로써, 그러한 중첩이 없는 경우와 같이 제어 시스템이 불안정해지지 않도록 하여, 제어 시스템 동작을 강화할 수 있다. 필터 범위 중첩(filter range overlap)은, 빛이 네비게이션 표면에 도달하는 방향을 이용중인 필터에 대응하거나 또는 그 필터와 관련하여 변화하도록 동적으로 변경함으로써 촉진될 수 있다.

본 문제점에 대한 해결책에 관하여 설명하기에 앞서서, 그 문제점을 다시 한번 확인하는 것이 좋겠다. 그러한 과정에서 "전(before)" 및 "후(after)"의 좋은 비교가 될 간단한 약간의 예를 제공할 것이며, 뒤이은 설명에서도 이용할 수 있는 유용한 개념을 제공하여 보다 도움이 될 것이다. 또한 명확한 예를 이용하여 바람직한 이해를 해칠 수 있는 일부 추상적 측면을 없앨 것이다.

도 1을 참조하면, 광 센서(photo sensor)(도시되지 않음) 어레이로부터 획득되는 25개의 디지털화된 값(a-y)을 갖는 5픽셀(X = 1 내지 5) × 5픽셀(Y = 1 내지 5)이 도시되어 있다. 디지털화된 이미지 어레이(1)는 2차원 어레이로 구성된 메모리 데이터 구조로 저장되어 있는 25개의 6비트(또는 어쩌면 8비트) 값이라고 생각할 수 있다. 컴퓨터용 마우스 및 기타 포인팅 입력 장치를 위한 바람직한 광 네비게이션 회로에서, 실제(actual) 디지털화된 이미지는 바람직하게 16 × 16, 또는 18 × 18일 것이다. 본 설명에서는 5 × 5에 의하기로 하는데, 이는 지적 간소화(intellectual simplification)를 위한 것이라기보다는, 실제 경우의 사이즈가 지나치게 크기 때문에, 물적 상태(real estate)를 드로잉(drawing)하는 관점에서 그리고 이용되는 표시법(notation consumed)의 관점에서 그러한 것이며, 여기서 설명하는 5 × 5 경우와 같이 작은 표현에 관하여 어떠한 실제적 이점도 제공하지 않는다.

설명을 계속하면, 도 1은 광 검출기 어레이(도시되지 않음) 상에 포커싱되고, 디지털화되고, 그런 다음 메모리에 저장되는 광학 이미지를 보여주고 있다. 또한, 이는 방금 막 얻어진 이미지(샘플 이미지)일 수도 있고 또는 얼마 전에 얻어져서 기준 이미지로 이용되고 있는 것일 수도 있다.

샘플과 기준 이미지 모두 상관 처리되기 전에 (공간) 필터링된다. 이미지들은 한정된 범위(finite extent)를 가지기 때문에, 어떤 필터링 처리가 이미지 에지에서 일부 트랜지언트 유사 상태(transient-like behavior)를 보여줄 것이라 예상할 수 있다. 상관 메카니즘에 있어서 이러한 영향을 최소화하기 위하여, 먼저 필터링될 이미지를 확장한다. 이러한 방법이 도 2에 도시되어 있다. 확장으로 인하여 어레이 외곽 에지(outer edge)가 적절하게 각 방향으로 행 하나 또는 열 하나씩 늘어나서, 원래의 4코너 각각이 3번 복제된다는 점에 주의해야 한다. 그러므로, 도 1의 어레이(1)가 도 2의 확장된 어레이(2)가 되어, 7개의 행과 7개의 열을 갖게 된다. 예컨대, 어떻게 원래의 값 'a'(3)가 3개 더 많은 'a'(4,5,6)로 복제되어 확장되는지 알아보도록 한다. 다른 코너의 'e', 'u' 및 'y'에 대하여도 동일한 일이 일어난다.

도 2는 25개의 위치(X1 내지 X5라고 불리는 5개의 X위치와 Y1 내지 Y5라고 불리는 5개의 Y위치의 데카르트곱(Cartesian product))를 보여주고 있음에 또한 주의하도록 한다. 이들 25개의 위치 각각은 필터에 대한 입력 인스턴스(instance)가 될 9개 멤버(3 × 3)의 순차 집합(nine member ordered collection)을 정의한다. 필터는 순차적 9개 멤버(다수 비트 넘버(multi-bit number)임)에 대하여 동작하여 3 × 3 입력의 중심에 관련되는 단일의 수치 출력을 생성한다.

단지 3 × 3 필터만이 적절하다고 생각해서는 안 된다. 다른 필터 사이즈도 이용될 수 있으며, 또한 비대칭적일 수도 있다(예컨대, 3 × 4).

"표준" 필터라고 부르는 필터가 도 3에 도시되어 있다. 이는 X(1-5) × Y(1-5) 인덱스로 표시되는 25개의 필터 위치 각각에서 그 확대된 이미지 상에 배치되는 9개 계수(coefficient)의 어레이(7)이다. 이들 위치 각각에서, 각 셀을 필터의 계수와 곱하여 이를 합산한 값으로 단일 출력 값을 생성한다. 도 4의 어레이(8)는 도 2의 확장형 어레이(2)에 대하여 도 3의 표준 필터(7)를 적용하여 얻어지는 5 × 5 필터링된 어레이를 정확하게 표시하고 있다.

그러나, 한가지 더 언급해야할 필터 특징이 있다. 디지털화된 입력이, 말하자면 8비트 값인 경우에는, 도 4에 표시된 산술 계산에 따라 그 계산 결과값을 충실하게 보존하고자 한다면 그 결과를 기록하기 위하여 10비트 값을 필요로 할 수 있다. 그렇게 할 수도 있겠지만, 여기서는 그렇게 하지 않는다. 대신에, 다른 방법을 택한다. 이미지를 그 이동형 버전과 상관시키고자 하는 경우, 이미지의 "명암(shading)"을 중요하게 다루는 경우와 마찬가지로, 이미지의 "형상"에만 반응함으로써 용이하게 이를 이룰 수 있음을 알고 있다. 이를 달성하기 위하여 필터의 출력으로서 그 필터의 수치 결과의 사인(sign) 비트만을 취한다. (이와 다른 실시예에서는, 소정의 중간 비트들을 선택할 수도 있다.) 사인 비트만을 취하는 경우 때때로 약간의 확실성을 희생할 수도 있겠지만, 회로 복잡도가 줄어들고, 광학 네비게이션 IC의 사이즈 및 비용이 줄어들고, 심지어 아마도 주어진 클록 속도에 대한 동작 속도가 증가되는 등 많은 이익을 얻을 수 있다. 따라서, 필터에 관련된 동작(도 4의 여러 셀에 표시되어 있음)에 대하여 실제 계산 결과 중 한 비트의 사 인만을 출력하도록 필터를 제조한다. 이러한 장치(이하의 도면에서도 이용될 것임)에서, 필터 출력이 1이라면 그 셀에 대한 수치 결과가 네거티브(negative)임을 나타내는 반면, 0이라면 그 결과가 포지티브(positive)이거나 0임을 나타낸다.

이제 도 5를 참조하면, 종래 기술에서 표준 필터가 적절한 방식으로 동작하는 케이스를 간단히 도시하고 있다. 도 5의 좌측에는, 화살표(24,25)에 의한 표시에 따라, 불변 이미지(unchanging image)에 상에서 연속되는 마우스의 움직임을 나타내는 3개의 입력 이미지(9,14,19)가 도시되어 있다. 그 움직임은 한 픽셀 "아래로(down)"(이미지 9에서 14로) 움직임과, 그런 다음 한 픽셀 "앞으로(over)"(이미지 14에서 19로) 움직임으로 이루어진다. 그 이미지는 인접한 4개의 1로 이루어진 사각형(이미지(9,14,19) 각각에서 편의를 위하여 두꺼운 박스(10,15,20)로 표시됨)의 식별 가능한 피쳐를 갖는다. 이들 필터링되지 않은 입력 이미지(9,14,19)는 수평의 그레인 구성 부분을 포함하는데, 이는 예상되는 바와 같이 필터링되는 과정을 보여주기 위하여 부가된 것이다. 수평 그레인 구성 부분은 참조번호(9)의 경우 최상위 행인데, 이는 입력 이미지(14,19)로 이어지면서 그 최상위에서부터 다음 행으로 바뀐다.

설명에 앞서서 도 5 이후로 제시될, 잠재적으로 혼란을 야기할 수 있는 단순화에 관하여 짚고 넘어갈 필요가 있다. 입력 어레이(9,14,19)에 존재하는 값들은 다수 비트 값이라고 앞서 말한 바 있다. 그러나, 도 5에서부터는 단순함을 위하여, "밝음(light)"과 "어두움(dark)" 상태(이들은 각각 한 비트 심볼 "1"과 "0"으로 표시할 수 있음)로만 표시할 것이다. 대신 "L"과 "D"를 이용할 수도 있겠지만, 누군가가 "어떻게 L과 D에 대하여 산술 계산을 할 수 있는가?"라고 불평할지도 모른다. "1들"(L들)을 더 큰 다수 비트 (정수) 수로, "0's"(D들)를 더 작은 수로 생각하고, 또한 필터가 소정 유형의 AC 커플링(coupling)을 포함한다고 생각하는 것이 도움이 될 수 있다. 이와 달리, 입력 이미지 어레이가 한 비트(밝음 상태의 경우 1과 어두움 상태의 경우 0)로 디지털화되었다고 생각할 수 있다. 실제 파트에서 사실상 그렇게 하지는 않지만, 그 단순화는 유효하고, 본 실시예에서 유용하다. 필터의 출력단에서 한 비트의 사인 비트(1은 네거티브를 나타내고 0은 네거티브가 아님을 나타냄)를 취할 것이며, 이는 그 입력이 기술된 방식과 모순되어 보일 수 있음을 잊지 않도록 한다(그리고 이는 잠재적으로 혼란을 야기할 수 있음). 출력 표시가 바람직하게 단순화되면, 이는 실제 파트에서 이용하는 실제적인 것이다. 그러나, "이 수는 네거티브이고 그러므로..."식의 생각을 이용하는 일은 결코 없다. (형상 대 명암에 관하여) 전술된 바와 같이, 필터 출력에서의 1과 0은 단지 최소한의 형태로 표시된 두 개의 심볼일 뿐이다.

요컨대, 필터는 단지 입력 이미지상의 심볼 세트로 적용되는 산술 계산의 조작 가능한 조합 규칙이다. 이는 9개의 인접한 입력값을 필터링된 출력에서 하나의 값으로 매핑한다. 인접한 많은 다른 필터 위치가 이용되어 필터링된 출력 이미지를 생성한다. 입력이나 출력에서 이웃하는 심볼들을 비교할 수도 있지만, 입력 심볼(예컨대, "1")이 변형없이(untransformed) 그 필터를 통과하여 단지 다른 장소에 있을 뿐 이전의 것과 동일한 종류가 되는 불가분의 핵 엔티티(indivisible nuclear entity)라고 생각하는 것은 옳지 않다. 기본적으로 그 모두는 수이지만, 필터링 전후에 있어서 동일한 종류는 아니라는 점을 알아야 한다. 또한, 일단 완전히 이해되고 나면, 필터의 입력단에서 (다수 비트 값 대신에) 오로지 단일 "1들"과 단일 "0들"만 이용하는 것(이는 불행히도 출력단에서의 "1들"과 "0들"에 유사함)이 엄밀하게 편의상 유용하다는 점을 기억해야만 한다.

다시 본론으로 돌아가서, 화살표(26,27,28)가 어떻게 필터링된 출력(11,16,21)을 그 각각의 필터링되지 않은 입력에 연관시키는지 주목하기로 한다. 이에 3가지 요점이 있다. 첫 번째, 입력의 수평 그레인이 제거된다는 것이다. 이는 어느 정도 표준 필터에 관한 것이다. 두 번째, 입력 피쳐(10,15,20)(마우스 움직임으로 인하여, 입력 이미지에서 서로 다른 위치에 있을 뿐, 실제 동일한 것임)가 대응하는 출력 피쳐(12/13,17/18,22/23)로 어떻게 매칭되는지에 주목한다. 그런데, 필터링된 출력 이미지(11)에서의 피쳐(12/13)는 필터링되지 않은 입력 이미지(9)에서의 원래 입력 피쳐(10)와 거의 매칭되지 않는 것이 사실이고, 실제로, 그 피쳐(10)가 필터를 통과할 때 변형(deformed)(즉 "스플랫(splat)")되었다고 말할 수 있다. 모든 경우에, 피쳐가 동일한 방식으로 변형(즉 스플랫)될 것이므로 이는 문제가 되지 않는다. 세 번째 요점으로서, 보다 더 중요한 것은, 필터링된 이미지(11,16,22)에서 변형되는 피쳐 위치가 필터링되지 않은 이미지에서 대응하는 입력 피쳐의 변화에 비례(정확히 1 대 1로)하여 변화한다는 점이다. 이는 상관기가 변형된 이미지를 마치 변형되지 않은 것처럼 용이하게 트랙킹할 수 있게 하는 적절한 대응이다.

이제 도 6에 대하여 살펴보기로 한다. 역시 3개의 필터링되지 않은 입력 이 미지(29,36,43) 시퀀스가 있으며, 한 픽셀 "아래로" 움직인(화살표(35)) 다음 한 픽셀 "앞으로" 움직인다(화살표(42)). 즉, 도 5의 마우스 움직임과 도 6의 마우스 움직임이 동일하다는 점에 주의하기 바란다. 또한, 이전과 같이, 4개의 인접한 1들로 구성된 입력 피쳐(두꺼운 윤곽선으로 그려진 사각형(30,37,44)으로 도시됨)를 갖는다. 그러나, 이번 경우에는, "백그라운드"(왼쪽 위에서부터 오른쪽 아래까지 이어짐)로서 약간의 사선 방향 그레인(mild diagonal grain)이 있다.

이제 필터링된 출력(31,38,45)에서, 그 필터링되지 않은 카운터파트(counterpart)에 대한 대응이 화살표(34,41,48)로 각각 표시된다는 점에 주의한다. 입력 피쳐(30,37,44)가 역시 "스플랫"되지만, 적절한 방식으로는 아니다. 참조번호(32/33)의 방향은 참조번호(39/40)의 방향과 서로 다르고, 참조번호(46/47)와 외관상 일관성이 없다. 출력 피쳐(32/33) 등은 입력 피쳐(30)의 움직임에 대응하지 않는 방식으로 움직인다. (참조 번호(49,50,51)에서 예상치 못한 서로 다른 외관의 l들에 주목한다. 그러나, 아마도 이들은 이미지 경계선에서 확장되고 예시된 경우의 사이즈를 축소한 인공물이며, 아마도 필터의 오류의 증거로서 이용되기보다 차라리 무시될 수 있다. 대체로, 도 3의 복잡한 표준 필터(7)는 불안정하고, 여전히 혼란을 일으킨다. 이 모든 것들로 인하여 상관기가 무력해진다(이는 결국 혼란을 가져온다). 이러한 곤란한 상황을 해결해야 한다.

도 7과 도 8을 참조하면, 필터링되지 않은 입력 이미지에서의 사선 방향 그레인으로 인하여 도 3의 표준 필터(7)가 문제를 야기하는 환경에서 이용할 수 있는 두 개의 필터(52,53)가 도시되어 있다.

각설하고, 표준 필터를 앞지르고 상관기를 무력화시키는 상황에서 이들 필터가 어떤 처리를 할 것인지 살펴보기로 한다. 도 9를 참조하면, 필터(QⅠ)를 이용한다는 점을 제외하고는 (표준 필터가 실패했던) 도 6에서와 같이 시작한다. 앞서와 같이, 입력 피쳐(65,66,67)를 수반하는 3개의 입력 이미지(54,55,56)(이들 모두는 도 6의 참조번호(29,36,33) 및 참조번호(30,37,44)와 동일하다. 심지어 도 6에서와 같이 동일하게 커서 움직임(cursor motion)은 한번 아래로(화살표(63)) 움직이고 한번 앞으로(화살표(64)) 움직인다. 화살표(60,61,62)는 각각 필터링되지 않은 입력 이미지를 필터링된 이미지(57,58,59)와 연관시킨다. 피쳐(65)(사각형 패턴 내부의 4개의 인접한 1들)는 필터(QⅠ)를 통과하면 역시 "스플랫"되고, 심지어 1의 개수가 달라지기까지 하는 등 왜곡된 패턴(68)으로 변한다. 그러나, 이 경우 필터(QⅠ)는 안정적(well behaved)이다. 마찬가지로 패턴(69,70)도 왜곡되는데, 그 위치는 필터링되지 않은 이미지 내의 원래의 피쳐의 위치를 트랙킹한다는 점에 주의해야 한다. 표준 필터가 실패한 경우 도 7의 필터(QⅠ)는 잘 작동한다.

더 설명하기에 앞서서, 또 다른 개념에 대한 이해가 필요하다. 평행한 그레인이 존재하고, 이를 수직선으로 보이도록 정렬하였음을 알고 있다고 가정한다. 이러한 경우, 최상부가 12시 정각 위치이고, 다른 것들은 3시 정각 방향, 9시 정각 방향 등 이와 다른 위치에 있다고 말할 수 있다. 이를 각도로 대응시키면, 12 정각 방향은 0도, 3시 정각 방향은 90도이고, 6시 정각 방향은 180도, 그리고 9시 정각 방향은 270도가 되며, 다른 모든 값들이 언급한 각도 사이에 분명히 놓이게 된다. 이미지 내 피쳐의 주요 방향(하나라면)을 결정하고, 앞서의 결정에 따라서 순 차적으로 이에 방향을 설정한다. 제 1 사분면(QⅠ)은, 물론 0도에서 90도까지이고, 제 3 사분면과 대칭된다. 제 2 사분면(QⅡ)은, 물론, 90도부터 180도까지이고, 제 4 사분면과 대칭된다. 도 7에 도시된 필터(52)는 "필터 QⅠ"이라고 불리는데, 이는 앞서의 결정이 끝난 다음 그 축이 제 1 사분면과 제 3 사분면에 대략 중심을 두는 피쳐에 대하여 가장 잘 동작하는 것으로 보이기 때문이다. 그러므로, 예컨대, 도 9를 보면 왼쪽 위에서부터 오른쪽 아래로 이어지는 사선 그레인을 확인할 수 있다. 그 그레인이 수직하게 보이도록 도면을 시계방향으로 약 45도 회전시킨다. 1 집단(인접한 8개가 있음)의 주요 축이 제 1 사분면에 있음을 알 수 있다. 본 예에서는 필터(QⅠ)가 필터(QⅡ)보다 더 잘 동작한다. 도 8의 필터(53)는 "필터(QⅡ)"라고 불리는데 이는 그 축이 제 2 사분면과 제 4 사분면에 대략 중심을 두는 피쳐에 대하여 가장 잘 동작하는 것으로 보이기 때문이다.

도 10은 도 6의 경우와 유사한 예로서, 표준 필터는 실패하지만 필터(QⅡ)(53)는 정상 기능을 할 것으로 예상할 수 있다. 도면에는 다시 세 개의 필터링되지 않은 이미지 입력(71,72,73)(각각 이미지 피쳐(77,78,79)를 포함함)이 있음을 알 수 있다. 그러나, 이 경우, 그레인은 오른쪽 위에서부터 왼쪽 아래까지 이어지며, 그 피쳐(두꺼운 상자(77,78,79)내에 밝게 표시된 4개의 인접한 1)는 약간 다른 위치에서 시작하고 약간 다른 경로를 따라서 움직인다. 화살표(86)는 이미지(71)에서 한 픽셀 아래로 움직여 이미지(72)가 되는 것을 표시하며, 반면 화살표(87)는 이미지(72)가 한 픽셀 왼쪽 앞으로 움직여 이미지(73)가 되는 것을 표시(이전의 예에서는 오른쪽으로 움직였음)한다. 필터링되지 않은 이미지(71,72,73) 와, 필터링된 출력(74,75,76) 사이의 대응은, 다른 도면에서와 유사한 방법으로, 화살표(83,84,85)에 의하여 표시된다. 마찬가지로, 출력 피쳐(80,81,82)는 (심지어 "스플랫"되는 경우에도) 규칙적으로 움직이고 안정적임을 알 수 있다. 이는 상관기에 혼동을 일으키지 않고, 네비게이팅될 수 있다.

분명히, 이들 필터(QⅠ)(52)와 필터(QⅡ)(53)는, 심지어 그 양자 모두를 이용해도, 도 3의 표준 필터(7)를 완전히 대신할 수는 없다. 즉, 표준 필터와 마찬가지로, 이들 역시 바람직하지 않은 환경에서 이용되는 경우 실패할 것이다. 나아가, 표준 필터는 좌표축(앞서 정의된 바와 같이, 예컨대, 수직 및 수평 그레인에 대한 축)을 따라서는 꽤 잘 동작한다. 그러나 이들 세 필터끼리 완전한 적용 범위(complete coverage)를 이룬다. 우리가 필요로 하는 것은 서로 다른 필터를 각각 가장 적합한 환경에서 이용하는 방법이다.

표면상에서 마우스가 네비게이팅하는데 이용될 가장 좋은 필터를 예측하는 툴(tool)이 연구되어 왔다. 그것이 무엇이고 어떻게 동작하는지 설명하기 위하여 먼저 광 네비게이션 처리에서의 다음 단계, 즉 예측 및 상관 단계에 관하여 조금 더 언급할 필요가 있다. 이들 개념 각각은 별도로 이해하는 것이 보다 더 쉬운데, 인용 특허에 꽤 상세히 설명되어 있다. 여기서는 이에 관하여 더 이상 상세히 설명하지 않을 것이며, 계속될 필요가 있는 것에 관하여만 언급한다.

광 네비게이션 시스템은 그 속도(속력 및 방향)를 트랙킹하고, 대개 어디서 다음 샘플 프레임이 이용중인 기준 프레임에 위치할 것인지 예측하기 위한 정보를 이용한다. 바꾸어 말하면, 상관에 앞서 다음 (필터링된) 샘플 프레임이 (필터링 된) 기준 프레임 상 어디에 중심을 두는지 이다.

상관은 9개의 시험 샘플 프레임 위치와 기준 프레임간에 9번의 비교를 수행하고, 그 위치들 중 어느 한 위치에서 다른 위치에서보다 더 잘 라인업(line-up) 즉 매칭되는 것을 알아낸다. 9개의 위치는, 변화되지 않은 위치(변경되지 않은 예측치를 이용함), 한 픽셀 위로 움직인 위치, 한 픽셀 위로 움직이고 한 픽셀 왼쪽으로 움직인 위치, 한 픽셀 위로 움직이고 한 픽셀 오른쪽으로 움직인 위치, 한 픽셀 왼쪽으로 움직인 위치, 한 픽셀 오른쪽으로 움직인 위치, 한 픽셀 아래로 움직인 위치, 한 픽셀 아래로 움직이고 한 픽셀 왼쪽으로 움직인 위치, 그리고 한 픽셀 아래로 움직이고 한 픽셀 오른쪽으로 움직인 위치이다. 여기서 설명한 시스템에서는, 필터 출력으로 사인 비트만을 취하는 경우, 각각의 시험 위치에서의 상관을 위한 비교 처리 과정이 상대적으로 용이하다. 각각의 시험 위치에서, 두 이미지에 대한 대응 위치간에 상이점의 수(또는 이와 달리, 1의 수)를 세기만 하면 된다. 다양한 상관 이동에 대응하여 이들을 알 수 있도록 어레이 내에 배열할 수 있는 9개의 수가 있다. 그 결과, 바람직하지 않은 환경 하에서, 소정의 특성을 가지는 상관 표면을 설명할 수 있다. 말하자면, 예컨대, 네비게이팅하는 표면이 그레인 및 기타 어떠한 해로운 인공물도 가지고 있지 않아서, 마우스 속도가 제한선 안에서 적절하고, 나머지도 모두 대개는 바라는 바대로 잘 동작한다. 최종 예측이 올바르고, 9개 셀 중 중심 셀에 그 상관 표면의 피크가 있고, 나머지 8개 셀은 모두 실제적으로 더 적은 값을 갖는다고 생각할 수 있다. 이는 도 11에 도시되어 있는 상황의 일예로써, 9개 상관 값(CS1 내지 CS9)의 어레이(88)는, 표면이 상승하는 것 처럼 투영되는 경우, 끝이 뾰족한 상관 표면(89)을 생성할 것이다. 여기처럼 "위"에서부터가 아니라 반대로 "아래"에서부터 상관 표면을 뷰잉할 수도 있다. 아래에서부터 뷰잉되는 경우, 잘 형성된 상관 표면은 "보울(bowl)"과 같은 모양이고 때때로 그렇게 불리기도 한다.

(이러한 단순화된 논의를 간단하게 유지하면서 동시에 이를 정확하게 하기 위하여 잠시 본론에서 벗어날 필요가 있다. 분명히, 5 × 5 샘플 프레임은 설명한 예측과 상관을 이용하는 시스템에서 적절하지 않다. 그렇게 작은 사이즈의 기준 프레임을 이용해서는 3번 앞으로 그리고 4번 위로의 움직임을 상관시키도록 다음 샘플을 예측하기 곤란할 것이다. 상관되는 것들 내에는 어떠한 중첩도 발생하지 않는다. 그러므로 더 큰 샘플 프레임이 유용하다는 것을 알 수 있다. 그러나 그렇더라도, 예측을 진행하는 동안, 샘플 프레임 부분이 기준 프레임과 중첩되지 않을 것임(그리고 따라서 도움이 되지 않을 것임)이 분명하고, 더 나쁜 것은, 일부 시험적 이동에서는, 다른 것들보다 훨씬 더 큰 잠재적인 이미지 중첩 가능성이 있다는 점이다. 이는, 어떠한 수정을 가하지 않는 경우, 그 9개의 상관수들이 모두 동일한 유닛을 가지지 않을 것이고, 적절하게 서로 직접 비교될 수 없다는 것을 의미한다. 즉, 프레임 경계선간에 큰 오표시(mis-registration)가 있는 시험 이동에 있어서, 제 1 위치에서는 단지 극소수 픽셀 위치만이 적절한 이미지 매칭에 중요하다. 그러므로, 상관 처리 과정은 그 상관수를 "정규화(normalize)"하여 개별적인 계산 환경에 관련된 가변적인 프레임 경계선 오표시의 정도가 변화함에도 불구하고 그 전체가 동일한 가중치(weight)를 갖도록 한다. 상관 표면에 대하여 이용하는 것은 이러한 정규화된 수이고, 이것이 네비게이션 처리를 드라이브(drive)한다.)

이용할 가장 좋은 필터를 예측하기 위하여 이용하는 툴이 상관 표면의 형상을 분석한다. 그 툴은, 상관 표면(89)이 격리형 피크(isolated peak)를 갖는 대신에 리지를 이루고 있는지 파악할 것이다. 리지는 두 가지 방식으로 나타날 수 있는바, 축에 따라 정렬되거나 사선으로 나타난다. 이에 주의하면서, 다음 두 가지 기준을 정의할 수 있다.

(1)

(2)

기준 AR(축방향 리지(Axial Ridge)에 대한 기준)은 축들 중 하나에 평행한 방향으로 이어지는 리지가 존재함을 나타낸다. AR의 절대값이 소정의 임계값(말하자면, 상관 어레이(88)내 셀의 최대값의 15% 내지 20%)을 넘는다면, 이용중인 필터가 얼마나 잘 기능할지 의심하게 될 것이다. "원래(raw)"의 AR 성분(괄호 안의 두 차의 합)은 지수 함수(exponential)나 자동 회귀(auto-regression) 메카니즘(

)에 의하여 필터링되어 적절한 시간 상수로써 그 변화율을 늦춘다. 나아가, 적절한 상관 표면을 나타내기에 충분할 만큼 X축과 Y축에서의 분리가 적은 이미지만이 AR 계산에 이용된다. AR은 서보 제어(servo-control) 메카니즘에 대한 입력으로서 이용될 것이고, 그 이미지 데이터는 다소 잡음이 있는 경향이 있는데, 그 데이터에 있어서 격리형 임의적 익스커전에 의하여 서보가 너무나 쉽게 "스푸크되는(spooked)" 것은 바람직하지 않다. 이와 다른 기준 DR(사선 리지(Diagonal Ridge))은 축에 대하여 사선 방향으로 이어지는 리지가 존재함을 나타내며, 이는 제한된 입력으로 계 산되고 AR과 동일한 방식으로 필터링된다. 또한 이 경우도 의심의 여지가 있는 관련 임계치를 갖는다. 개별적으로 고려된 이들 두 기준으로 이미지 필터 선택 메카니즘을 조정하여, 이를 하나의 인디케이터(indicator)로 결합하는 것이 더 바람직하다.

(3)

AR과 DR의 개별적 값의 노트를 얻을 수 있는 다른 방법이 있을지라도, AR이나 DR이 크기 면에서 더 커짐에 따라 RM(리지 기준(Ridge Metric))은 더 커질 것이다. RM은 이들 두 기준의 공통적 의미를 하나의 단일 인디케이터로 통합하는 편리한 방법이다. 그러나, 아직 AR과 DR에 관하여 끝마친 것은 아니다. AR과 DR의 신호는 유용한 정보를 담고 있음에 주의해야 한다. 그런 유형의 시스템에서 상관 표면이 리지를 얻을 수 있다(또는 보울(아래에서 볼 경우)이 트로프(trough)를 얻을 수 있다)고 설명한 것으로 가정한다면, 적합한 필터링 이후에, 적절하게 동작하는 시스템은 그 상관 표면에서 비트랜지언트(non-transient) 트로프(또는 보울에서 리지)를 가지지 않을 것이라고 역시 예상할 수 있다. 이에 관한 상세한 증명을 제공하지는 않을 것이지만, 사실 그러하며, 상관에 의한 네비게이션은 이에 의존한다. 어쨌든, Y축이 CS2-CS5-CS8 방향(이는 각도 측정 결정에서 정해졌던 방법임)에 있다면, AR > 0은 축방향 리지가 있음을 나타낸다. 마찬가지로 DR의 사인이 인터프리팅(interpreted)되어 두 개의 가능한 사선 리지를 구별한다.

도 12를 참조하면, 본 명세서에서 설명하는 기법을 이용하는 광 네비게이션 시스템, 예컨대 마우스 등이 네비게이팅될 표면에서의 그레인에 의하여 야기되는 피해에 영향을 덜 받도록 하는 방법에 관한 상태도(90)가 도시되어 있다. 소정의 초기 상태(턴온(turn on), 리셋(reset) 등)를 끝마치고, 시작(START) 상태(92)에서 표준 필터로 네비게이트(NAVIGATE WITH STANDARD FILTER) 상태(92)에 들어간다. 이 상태에서, 광 네비게이션 시스템은, AR, DR, 및 RM을 계산하고 모니터링한다는 점을 제외하고는, 대부분 표준 필터(7)를 이용하여 통상적 방법에 따라 동작한다. 상태(92)에서 다시 그 상태로 돌아오는 상태 변화(93)는 RM이 상관 표면(89)에 리지가 존재하지 않음을 표시하는 값을 갖는 상황에서 일어난다.

RM의 값이 그 상관 표면(89)에 리지가 나타나는 경우를 표시하도록 변화한다고 가정한다. 현재 이용중인 필터가 표준 필터(7)이고, 표준 필터가 축 리지를 제거하는데 효과적임을 알고 있으므로, 나타나는 에지가 사선 에지라고 가정할 수 있다. 그러나, 사선 레지가 나타날 수 있는 방식은 두 가지(왼쪽 위에서부터 오른쪽 아래로 또는 오른쪽 위에서부터 왼쪽 아래로)가 있는데, 일실시예에서, 필터(QⅠ)(52)는 왼쪽 위로부터 오른쪽 아래로 이어지는 사선 그레인에 대하여 가장 잘 동작하는 것으로 알려져 있는 반면, 필터(QⅡ)(53)는 오른쪽 위로부터 왼쪽 아래로 이어지는 사선 그레인에 대하여 가장 잘 동작하는 것으로 알려져 있다. 두 경우의 차이는 앞서 설명된 바와 같이, DR의 사인에 의하여 표시된다. 따라서, RM이 충분히 높고 DR < 0이라면, 상태 변화(94)가 이루어져 필터(QⅡ)로 네비게이트(NAVIGATE WITH FILTER(QⅡ)) 상태(95)가 된다. DR < 0인 동안은 계속하여 상태(95)에서 상태 변화(100)가 이루어진다. DR의 사인이 바뀌어 DR ≥ 0이 되면, 상태 변화(98)가 이루어져 표준 필터로 네비게이트 상태(92)로 되돌아간다.

반면, 상태(92)에서 RM이 충분히 높고 DR ≥ 0이라면, 상태 변화(96)가 이루어져 필터(QⅠ)로 네비게이트(NAVIGATE WITH FILTER(QⅠ)) 상태(97)가 된다. DR ≥ 0인 동안은 계속하여 상태(92)에서 상태 변화(101)가 이루어진다. DR의 사인이 바뀌어 DR < 0이 되면, 상태 변화(99)가 이루어져 표준 필터로 네비게이트 상태(92)로 되돌아간다.

여기서 약간의 설명을 덧붙이는 것이 적절하겠다. 앞서 네비게이팅이 가능한 피쳐의 그레인 방향에 상대적인 각도 방향을 설명하기 위하여 제시한 결정을 떠올려보기 바란다. 소정의 필터나, 그와 다른 필터에 있어서, 원래의 상태에 상대적인 회전된 그레인의 위치를 설명하는데 이를 다시 이용할 수 있다.

앞서의 원리에 따르면, 바람직하게 광원은 네비게이팅될 표면상에 명암을 생성한다. 이는, 광원으로부터의 광 입사에 있어서의 각도를 적게 즉 "그레이징(grazing)"하게 함으로써 가장 잘 이루어진다. 그 실시예에서는 필터(QⅠ) 및 필터(QⅡ)가 이용되고 (각도 결정에 따라서) 180도에 배치된 광원이 이용된다. 결과적인 필터 유효 범위는 서로 중첩되고, 아래에 표시되는 선별된 동작 범위보다 다소 더 크다.

표준 필터 320도 - 40도, 85도 - 95도, 140도 -220도, 265도 - 275도

필터 QⅠ 40도 - 85도, 220도 - 265도

필터 QⅡ 95도 - 140도, 275도 - 320도

앞서의 테이블로부터 표준 필터는 Y축에 대한 범위와 비교하여 X축에 대해서 90도 다른 동작 범위를 갖는다. 그레인 가시성이 측면(broadside) 조명에 의하여 최소화되는 X축 케이스에 비교하여, 엔드온 조명에 의하여 그레인 가시성이 최소화되는 경우 Y축에 대한 동작 범위가 더 넓어지는 것으로 보인다. X축 케이스에 대한 대처는 전적으로 필터의 책임인 반면, Y축 케이스에 있어서는 조명 방식이 필터를 돕는다.

필터(QⅠ)뿐만 아니라 필터(QⅡ)도 45도나 135도의 사선 방향, 또는 그 확장인 225도 및 315도 상에 중심을 두지 않는 다는 것을 주의해야 한다. 이러한 비대칭성은 필터(QⅠ) 및 필터(QⅡ) 그 자체의 속성에 더 많이 근거하는 것으로 보인다. 그럼에도 불구하고, 이들은 표준 필터에 의하여 커버링되지 않는 영역에서 e동작함으로써 표준 필터와 협력한다. 예컨대, 표준 필터는 45부터 80도까지 범위에서 동작하지 않지만, 그 범위는 필터(QⅠ)의 40도 내지 85도 섹션에 의하여 커버링된다. 본 예는 그러한 4개의 경우중 하나이다.

이제, 도 12의 상태도(90)에 의하여 표현되는 알고리즘으로 돌아가서, 상태(95,97) 중 어느 하나에 있는 경우라면, 사선 방향 그레인이 존재하는 것이고, 게다가, 그 두 상태간에, 그 각각은 최대한 서로 다른 사선 방향 그레인을 나타낸다. 각 상태에 있어서 그레인이 더 나빠진다면(상태(95)에서 DR이 더 네거티브가 되거나, 상태(97)에서 더 포지티브가 되는 경우), 하나의 사선 유형으로부터 다른 것으로 사선 방향 타입이 급작스럽게 변화(DR 사인 변화)할 수 있는 방법을 예상하는 것이 곤란하게 된다. 그러므로, DR이 사인을 변경하면, 가장 안전한 방법은 표준 필터로 돌아가는 것인데, 그레인 방향이 크게 변화하는 경우(또는 사용자가 그 마우스를 회전시키는 경우), 그 다음 표준 필터에 의하여 커버링되는 영역으로 들 어가는 것으로 예상하는 것이 합리적이기 때문이다. 어떠한 다른 방법도 불안정성 루프의 위험을 가져올 것이다.

그리고, 필터에 대하여 바람직하지 않은 그레인 방향의 영향을 줄이기 위한 또 다른 방법으로서, 광원의 위치를 동적으로 변경하여 그 축 방향에 따라서 그레인을 비추도록 하는 방법이 있다. 그레인이 본질적으로 그로브와 그 사이의 숄더인 경우에, 그 방법은 측면 조명 동안 그레인을 나타내는 긴 실같은 그림자(shadow)(그리고 그 인접한 평행 하이라이트(highlight))를 최소화하는 효과를 얻을 수 있다. 그러므로, 그러한 경우 필터를 변경하는 대신에 조명 방향을 변경할 수 있다.

조명 방법을 변경하려면 아마도 조명 레벨과 AGC 등을 세팅하는 주기를 간단히 트레이닝할 필요가 있을 것이지만, 이는 단지 짧은 시간만을 요하고 광 네비게이션은 이러한 가외 오버헤드가 저해가 되지 않을 만큼 상당히 높은 속도(그리고 충분히 느린 듀티 사이클)로 이루어진다. 따라서, 이러한 방법에 의하면 전력 소모가 증가되지 않는다.

도 13의 상태도(102)는, 도 14에 도시된 다른 조명 위치가 이용 가능하다고 가정하여, 위와 같은 방법이 어떻게 구현되는지 도시하고 있다. 상관 표면에 9개보다 더 많은 셀이 있다면, 두 종류의 축 그레인과 두 종류의 사선 그레인의 경우보다 더 많은 그레인이 발견될 수 있으며, 선택되는 조명 위치의 견지에서 보다 엄밀한 응답이 가능할 것이다.

마지막으로, 위의 두 방법을 결합하여 이용 중인 필터를 변경하는 한편 조명 위치를 변경시키는 것이 바람직할 수 있다. 예컨대, 네비게이팅되는 표면이, 실제 그로브가 되는 대신, 이산(discrete)의 홀(hole)이나 투영(projection)(그 하이라이트와 그림자가 결합되어 그레인을 생성함) 패턴인 그레인을 갖는다고 가정한다. 홀이나 프로젝션의 이산 속성은, 조명 방향에 관계없이, 하이라이트와 그림자(이들은 그레인으로 보이게 됨)를 계속하여 생성한다는 것을 의미할 것이다. 그러므로 공간 필터에 제공된 이미지에서의 그레인 양은 조명 방향의 함수에 따라 단지 조금만 변화할 것이다.

그레인 표면(그 방향은 네비게이션 메카니즘의 X축 및 Y축에 대하여 45도 기울어져 있음)상의 광학 네비게이팅은, 이용중인 공간 필터가 현재 나타나는 방향에 대하여 부적당함을 파악하고, 그 파악에 뒤이어 보다 적절한 다른 공간 필터를 이용함으로써 강화된다.

Claims (4)

1. 광 네비게이션 시스템(optical navigation system)에서, 네비게이션하기 이전에 그레인(grain)을 제거하도록 이미지를 공간 필터링(spatially filtering)하는 방법으로서,

   (a) 제 1 필터(a first filter)를 사용하여 네비게이팅하는 단계(92)와,

   (b) 상기 단계(a)에 따라서 네비게이팅하는 동안, 상관값(correlation value)의 순차형 집합(ordered collection)(88)을 생성하는 단계와,

   (c) 상기 단계(b)에서 생성된 상기 상관값의 순차형 집합을 검사(examining)하여, 상기 순차형 집합 내의 상기 값으로 표시되는 상관 표면(correlation surface)(89)에 리지(ridge)가 존재(presence)하는지 확인하는 단계와,

   (d) 상기 단계(c)의 상기 검사에서 리지의 존재가 밝혀지는 경우, 상기 제 1 필터를 대신하여 제 2 필터를 사용하여 네비게이팅하기 시작하는 단계(94,96)와,

   (e) 상기 단계(d)에 따라서 네비게이팅(95,97)하는 동안, 상기 제 2 필터가 사용되는 중에 생성된 상관값의 순차형 집합을 검사하되,

   (e1) 상기 단계(e)의 상기 검사에서 리지의 부재(absence)가 밝혀지는 경우, 상기 단계(d)에 따라서 계속 네비게이팅(100,101)하고,

   (e2) 상기 단계(e)의 상기 검사에서 리지의 존재가 밝혀지는 경우, 상기 제 1 필터의 상기 이용 상태를 복원(re-instituting)(98,99)하고, 상기 단계(a)에 따라서 네비게이션을 재개(resuming)하는 단계를 포함하는

   이미지 공간 필터링 방법.
2. 제 1 항에 있어서,

   상기 제 2 필터는 서로에 대하여 공간적으로 90도를 이루는 제 3 및 제 4 필터(52,53) 중 선택되는 하나를 포함하고,

   상기 단계(c)는 상기 제 3 및 제 4 필터 중 어떤 것이 상기 밝혀진 리지(revealed ridge)를 가장 효과적으로 처리하는지 판정하는 단계를 더 포함하는

   이미지 공간 필터링 방법.
3. 광 네비게이션 시스템에 있어서, 네비게이션 시에 그레인의 영향을 최소화하는 방법으로서,

   (a) 제 1 광원(first source of illumination)으로 제 1 위치에서 네비게이팅하는 단계(103)와,

   (b) 상기 단계(a)에 따라서 네비게이팅하는 동안, 상관값의 순차형 집합(88)을 생성하는 단계와,

   (c) 상기 단계(b)에서 생성된 상기 상관값의 순차형 집합을 검사하여, 상기 순차형 집합 내의 값들에 의하여 표시되는 상관 표면(89)에서 리지의 존재를 확인하는 단계와,

   (d) 상기 단계(c)의 상기 검사에서 리지의 존재가 밝혀지는 경우, 상기 제 1 광원을 끄고 제 2 광원으로 제 2 위치에서 네비게이팅하기 시작(104)하는 단계와,

   (e) 상기 단계(d)에 따라서 네비게이팅(105)하는 동안, 상기 제 2 광원이 이용되는 중에 생성된 상관값의 순차형 집합을 검사하되,

   (e1) 상기 단계(e)의 상기 검사에서 리지의 부재가 밝혀지는 경우 상기 단계(d)에 따라서 계속 네비게이팅(106)하고,

   (e2) 상기 단계(e)의 상기 검사에서 리지의 존재가 밝혀지는 경우, 상기 제 2 광원을 끄고, 상기 제 1 광원의 상기 이용 상태를 복원하고, 상기 단계(a)에 따라서 네비게이션을 재개하는 단계를 포함하는

   그레인 영향 최소화 방법.
4. 제 3 항에 있어서,

   상기 제 1 및 제 2 광원이 상기 밝혀진 리지의 엔드온 조명(end-on illumination)을 최대화하도록 선택되는

   그레인 영향 최소화 방법.

Images