KR101097572B1 - 제어 장치, 제어 방법 및 네비게이션 센서 - Google Patents

제어 장치, 제어 방법 및 네비게이션 센서 Download PDF

Info

Publication number
KR101097572B1
KR101097572B1 KR1020050080801A KR20050080801A KR101097572B1 KR 101097572 B1 KR101097572 B1 KR 101097572B1 KR 1020050080801 A KR1020050080801 A KR 1020050080801A KR 20050080801 A KR20050080801 A KR 20050080801A KR 101097572 B1 KR101097572 B1 KR 101097572B1
Authority
KR
South Korea
Prior art keywords
image
noise
pixel
digital image
digital
Prior art date
Application number
KR1020050080801A
Other languages
English (en)
Other versions
KR20060050884A (ko
Inventor
통 시에
마샬 토마스 데푸에
Original Assignee
아바고 테크놀로지스 이씨비유 아이피 (싱가포르) 피티이 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아바고 테크놀로지스 이씨비유 아이피 (싱가포르) 피티이 리미티드 filed Critical 아바고 테크놀로지스 이씨비유 아이피 (싱가포르) 피티이 리미티드
Publication of KR20060050884A publication Critical patent/KR20060050884A/ko
Application granted granted Critical
Publication of KR101097572B1 publication Critical patent/KR101097572B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Image Analysis (AREA)

Abstract

스크린 포인터의 위치를 제어하는 장치는, 촬영 표면을 조명하고, 이로써 반사 영상을 생성하기 위한 적어도 부분적으로 코히어런트 광원을 포함한다. 본 장치는, 상기 반사 영상을 기초로 하여 디지털 영상을 생성하고, 디지털 영상을 기초로 하여 움직임 계산을 수행하고, 움직임 계산을 기초로 하여, 촬영 표면과 장치간의 상대적인 움직임을 나타내는 움직임 데이터를 생성하기 위한 네비게이션 센서를 포함하는데, 여기서 움직임 계산은 디지털 영상에서 고정형 패턴 잡음을 감소시키는 것을 포함한다.

Description

제어 장치, 제어 방법 및 네비게이션 센서{APPARATUS FOR CONTROLLING THE POSITION OF A SCREEN POINTER WITH LOW SENSITIVITY TO FIXED PATTERN NOISE}
도 1은 본 발명의 일 실시예에 따라 광학식 포인팅 디바이스의 주요 구성요소들을 도시하는 블록도,
도 2는 본 발명의 일 실시예에 따라 광학식 포인팅 디바이스의 부가 구성요소들을 도시하는 블록도,
도 3은 본 발명의 일 실시예에 따라 광학식 포인팅 디바이스를 이용하여 움직임 데이터를 생성하는 방법을 나타내는 순서도,
도 4는 본 발명의 일 실시예에 따라 디지털 영상으로부터 고정형 패턴 잡음을 분리하는 움직임 데이터를 생성하는 방법을 나타내는 순서도,
도 5는 본 발명의 일 실시예에 따라 움직임 데이터를 생성하는 방법과 연관된 고정형 패턴 잡음의 맵을 도시하는 도면,
도 6은 본 발명의 일 실시예에 따라 디지털 영상에서 고정형 패턴 잡음을 필터링하는 움직임 데이터를 생성하는 방법을 나타내는 순서도,
도 7은 본 발명의 일 실시예에 따라 움직임 데이터를 생성하는 방법과 연관된 고정형 패턴 잡음의 필터링을 도시하는 도면.
컴퓨터 및 컴퓨터 디스플레이와 함께 사용되는 손 동작형 포인팅 디바이스의 사용은 거의 보편적이 되었다. 각종 유형의 포인팅 디바이스의 일 형태는, 협력식 마우스 패드와 함께 사용되는 종래의 (기계식) 마우스이다. 기계식 마우스는 통상, 마우스가 이동되는 것에 따라 마우스 패드 위에서 구르는 표면이 고무인 쇠 볼을 포함한다. 마우스의 내부는 볼의 균분원에서 볼과 접촉하고, 마우스 움직임의 수직 성분을 나타내는 전기 신호로 볼의 회전을 변환하는 롤러 또는 휠이다. 이들 전기 신호는, 소프트웨어가 마우스의 움직임을 따라서 포인터(커서)의 표시 위치를 △X 및 △Y 만큼 변경하는 신호에 응하는 컴퓨터에 결합된다.
종래의 기계식 마우스와 같은 포인팅 디바이스의 기계식 유형에 더하여, 광학식 포인팅 디바이스도 개발되었다. 광학식 포인팅 디바이스의 일 형태에서, 손가락 또는 데스크탑과 같은 네비게이션 표면과, 광학식 포인팅 디바이스 내의 영상 센서간의 상대적인 움직임은 광학식으로 감지되고 움직임 정보로 변환된다. 광원은, 네비게이션 표면을 조명하고, 이 네비게이션 표면은 상대적인 움직임을 감지하는 영상 센서에 의해 수신되는 반사 영상을 생성한다. 광원은 비코히어런트 광원 또는 부분적으로 코히어런트 광원일 수 있다.
광학식 포인팅 디바이스에서 통상적으로 사용되는 것과 같은 전자식 영상 센서는 두가지 유형이 주를 이루고, 이들은 즉, CCD(Charge Coupled Devices) 및 CMOS-APS(Complimentary Metal Oxide Semiconductor-Active Pixel Sensors)이다. 두가지 유형의 센서는 통상 패턴을 이루며 배열되는 광 검출기의 어레이(예컨대, 픽셀)를 포함한다. 각 개개의 광 검출기는 광 검출기의 위치에 입사하는 광의 강도에 비례하는 크기를 갖는 신호를 출력하도록 동작한다. 그 후, 이들 출력 신호는 후속적으로 프로세싱되고 조작되어, 복수의 개개의 화소(픽셀)를 포함하는 영상을 생성하는데, 여기서, 영상 내의 각 픽셀은 영상 감지기 내 광 검출기 중 하나에 대응된다.
영상 센서와 네비게이션 표면간의 상대적인 움직임을 추적하는 것은, 상관관계 알고리즘을 이용하여 시간 경과에 따라 생성된 이 영상들을 비교하는 것을 기초로 한다. 진행 중인 움직임 동안에 생성된 연속 영상에 있어서, 각 픽셀 위치에서 측정되는 광 강도의 변화는 움직임의 양 및 방향을 나타낸다. 이에 따라, 영상 센서가 네비게이션 표면을 따라서 이동함에 따라, 이들 강도 변화는 일정하게 변동하고, 이러한 변화되는 강도 변화는, 포인트를 안내하기 위한 정보를 컴퓨터 상에 제공한다.
그러나, 이러한 광학식 포인팅 디바이스는 통상, 생성된 또는 캡쳐된 영상에서, 영상 센서가 이동하여도 변하지 않는 강도 변화인 고정형 패턴 잡음에 민감하다. 이러한 고정형 패턴 잡음은 네비게이션 표면과 영상 센서 사이에서의 상대적인 움직임으로부터 생기지 않는다. 이 보다도 고정형 패턴 잡음은 영상 센서내 결함 픽셀, 입자 오염 및/또는 광원에서의 비균일성으로부터 생긴다. 이러한 고정형 패턴 잡음은, 생성된 영상의 이러한 부분이 시간 경과에 따라 변하지 않기 때문에 네비게이션 표면에 대해서 영상 센서의 움직임을 결정하는 것을 방해한다. 이에 따라, 이러한 상대적인 움직임의 고도로 정확한 추적은 이러한 고정형 패턴 잡음을 제거하거나 보상하는 것을 필요로 한다.
디지털 영상 센서는, 디지털 영상 센서가 제조 에러, 예컨대 실리콘에서의 결함과 같은 불순물 오염으로부터 몇몇의 결함 픽셀을 포함하기도 한다. 결함 픽셀은 입사광에 부적절하게 응하므로, 캡쳐된 영상에서 고정형 패턴 잡음으로서 관측되는 부정확한 센서값을 생성한다. 결함 픽셀은 주로 세 가지 유형 : 스턱 하이(stuck high) 민감성, 스턱 로우(stuck low) 민감성 또는 비정상적인 민감성이다. 스턱 하이 픽셀은 매우 높은 또는 거의 전체 범위의 출력을 가지고, 스턱 로우 픽셀은 매우 낮은 또는 거의 0의 출력을 가진다. 비정상적인 감도 픽셀은, 동일한 광 조건에 노출되면 이웃 픽셀들과 다른 어떤 양보다 큰 센서 값을 생성한다. 광학식 포인팅 디바이스의 영상 센서는 스턱 하이 또는 스턱 로우 픽셀과 같은 결함 픽셀을 포함하며, 이들 픽셀로부터의 값은 절대 변할 수 없고, 네비게이션 계산을 치우치게 하고 에러를 야기할 수 있다. 비정상적 민감성 픽셀로부터의 값은 변할 수 없지만, 이러한 픽셀은 예상되는 것처럼 동작하지 않으며, 또한 에러를 야기할 수 있다.
제조 프로세스 이후에 고객이 사용하는 동안에 발생하는 다른 조건들도 어떤 픽셀이 결함 픽셀같이 동작하게 하여, 이로써 고정형 패턴 잡음을 생성할 수 있다. 먼지 또는 오물, 섬유 등과 같은 외부 입자 오염물이 어레이에 놓여, 광 검출기 어레이의 어떤 픽셀들을 차단하여 이들이 결함 픽셀로 동작하게 할 수 있다. 먼지 또는 오물도 조명 소스 또는 포커싱 광학 장치 상에 놓여 네비게이션 표면의 조명에서의 비균일성을 초래하고, 궁극적으로는 생성되는 영상에서의 픽셀이 결함 픽셀처럼 동작하게 한다. 결정적으로, 코히어런트 광원을 포함하는 광학식 포인팅 디바이스는 비코히어런트 광원을 갖는 광학식 포인팅 디바이스보다 고정형 패턴 잡음으로부터의 에러에 더 민감하다.
또한, 입자 오염에 독립적으로 광원 자체의 비균일성도 광 검출기 어레이의 어떤 픽셀이 너무 "어둡게" 나타나게 할 수 있고, 이로써 결함 픽셀로서 동작하고 고정형 패턴 잡음을 생성할 수 있다. 이러한 상태에서, 비교적 깨끗한 가우시안 빔을 달성하기 위해서 레이저의 유형 및 그 패키징에 관한 특수 제한이 생성될 수 있다. 특수 패키징 캔 및 고 성능 레이저 소스는 광학식 포인팅 디바이스의 비용을 상승시킨다. 이러한 보다 고가의 광원과 함께, 이들 광학식 포인팅 디바이스는 영상 센서 및/또는 입자 오염에서의 결함 픽셀에 대해 민감할 수 있다.
이러한 이유 때문에, 광학식 네비게이션에서 고정형 패턴 잡음을 해결하려는 노력이 계속된다.
본 발명의 일 형태는 스크린 포인터의 위치를 제어하기 위한 장치를 제공한다. 본 장치는 촬영 표면을 조명하고, 이로써 반사 영상을 생성하는 광원을 포함한다. 본 장치는 반사 영상을 기초로 하여 디지털 영상을 생성하고, 디지털 영상을 기초로 하여 움직임 계산을 수행하고, 움직임 계산을 기초로 하여, 촬영 표면과 장치간의 상대적인 움직임을 나타내는 움직임 데이터를 생성하기 위한 네비게이션 센서를 포함하되, 여기서 움직임 계산은 디지털 영상에서 고정형 패턴 잡음을 감소시키는 것을 포함한다.
다음 상세한 설명에서, 본 발명의 일부를 구성하며, 본 발명이 실시될 수 있는 특정 실시예를 예로서 도시하는 첨부 도면을 참조한다. 이러한 점에서, "상부", "바닥", "전면", "후면", "선두의", "후미의" 등과 같은 방향 용어가 도시하는 도면의 방향에 관해서 사용된다. 본 발명의 실시예의 구성요소들은 다수의 상이한 방향으로 배치될 수 있으므로, 이러한 방향 용어는 예시적으로 사용되며 제한적인 것이 아니다. 다른 실시예들이 사용될 수 있고, 본 발명의 범주로부터 벗어나지 않고도 구조적 또는 논리적 변경이 이루어질 수 있음을 이해해야 한다. 그러므로, 다음 상세한 설명은 제한적인 의미가 아니며, 본 발명의 범주는 첨부 청구의 범위에 의해 정의된다.
위에서 본 발명의 배경에서 언급한 바와 같이, 입자 오염, 광원의 비균일성 및 제조 결함으로 인한 고정형 패턴 잡음은 광학식 포인팅 디바이스, 특히, 코히어런트 조명을 사용하는 광학식 포인팅 디바이스에 성능에 손상을 입힐 수 있다. 이들 광학식 포인팅 디바이스에서 고정형 패턴 잡음을 완전히 제거하기란 어렵다.
따라서, 본 발명의 일 형태에서는, 고정형 패턴 잡음 문제를 해결하기 위한 보상 메카니즘을 제공한다. 일 실시예에서, 영상을 획득한 후 네비게이션 프로세 서에 의해 실행되는 영상의 디지털 프로세싱에 보상이 포함된다. 본 발명의 일 형태에서, 네비게이션 프로세서에 의해 실행되는 디지털 프로세싱 또는 계산은 획득한 디지털 영상에서의 영상 효과에 대해 저 민감도(즉, 고 공차)를 가진다. 이에 따라, 본 발명의 일 형태에서는 광학식 포인팅 디바이스에 의해 캡쳐되는 디지털 영상으로부터 고정형 패턴 잡음을 분리하거나 필터링하여 고정형 패턴 잡음을 감소시키는 방법을 제공한다.
보상 메카니즘은 코히어런트 조명 또는 부분적으로 코히어런트 조명에 있어서 특히 효과적이지만, 비코히어런트 광원을 사용하는 광학식 포인팅 디바이스에서 고정형 패턴 잠음을 감소시키는 데에도 사용될 수 있다. 비코히어런트 광학식 포인팅 장치도 동일한 고정형 패턴 잡음 소스로 인해 성능이 열화될 수도 있지만, 코히어런트 광원을 이용하는 광학식 포인팅 장치보다 덜 불리하다. 이에 따라, 본 발명의 보상 메카니즘은 코히어런트 광원에만 국한되는 것이 아니다.
도 1은 본 발명의 일 실시예에 따라 광학식 포인팅 디바이스(100)의 주요 구성요소들을 도시하는 블록도이다. 광학식 포인팅 디바이스(100)는 광학식 네비게이션 센서 집적 회로(IC)(102), 광원(119) 및 렌즈(120)를 포함한다. 광학식 네비게이션 센서(102)는 디지털 입/출력 회로(106), 네비게이션 프로세서(108), 아날로그-디지털 컨버터(ADC)(112), 광 검출기 어레이(광 검출기 어레이)(114) 및 광원 구동기 회로(116)를 포함한다. 일 실시예에서, 광학식 포인팅 디바이스(100)는 데스크탑 PC, 워크스테이션, 휴대용 컴퓨터 등 기타 장치용 광 마우스이다. 또 다른 실시예에서, 광학식 포인팅 디바이스(100)는 광학식 지문 감지 포인팅 디바이스 또 는 기타 포인팅 다비이스로서 구성된다.
동작시, 일 실시예에 따라, 광원(118)은 데스크탑 또는 기타 적합한 촬영 표면인 네비게이션 표면(114) 상으로 광(112)을 조사하고, 반사 영상이 생성된다. 일 실시예에서, 광원(118)은 코히어런트 광원 또는 적어도 부분적으로 코히어런트 광원이다. 일 실시예에서, 광원(118)은 레이저이다. 본 발명의 일 형태에서, 광원(118)은 VCSEL(vertical cavity surface emitting laser) 다이오드이다. 본 발명의 또 다른 형태에서, 광원(118)은 발광 다이오드(LED) 광원과 같은 비코히어런트 광원이다.
본 발명의 일 형태에서, 광원(118)은 단일 모드 또는 다중 모드 레이저를 포함하고, 다양한 패키징 캔 내에 보호 유리 커버와 함께 또는 이것 없이 수용될 수 있다. 특히, 본 발명의 실시예의 고정형 패턴 잡음의 효과를 최소화하는 능력으로 인해, 종래에 코히어런트 조명 소스와 연관되어 있는 엄격한 설계 및 테스팅 제약조건(예컨대, 잡음 대역 제한)이 완화될 수 있다. 이에 따라, 통상적으로 LED 광원과 함께 사용되는 것과 같은 보다 저가의 광원 패키지가 레이저 광원과 함께 사용될 수 있고, 보다 고가인 단일 모드 다이오드가 다중 모드 다이오드와 같은 훨씬 저가의 레이저 광원으로 대체될 수 있다.
광원(118)은, 제어 라인(110)을 통해서 네비게이션 프로세서(108)에 의해 제어되는 구동기 회로(116)에 의해 제어된다. 일 실시예에서, 제어 라인(110)은 네비게이션 프로세서(108)에 의해 사용되어 구동기 회로(116)가 파워 온 및 오프되게 하고, 이에 따라 광원(118)이 파워 온 및 오프되게 한다.
표면(124)으로부터의 반사광은 렌즈(120)에 의해 광 검출기 어레이(114)로 향한다. 광 검출기 어레이(114) 내의 각 광 검출기(픽셀이라고도 함)는 광 검출기에 입사하는 광 강도를 기초로 하여 크기가 다양한 신호를 제공한다. 광 검출기 어레이(114)로부터의 신호는 아날로그-디지털 변환기(112)로 출력되는데, 이 아날로그-디지털 변환기(123)에서는 신호를 적절한 해상도의 디지털 값(예컨대, 8 비트)로 변환한다. 디지털값은 광학식 포인팅 디바이스(100) 아래에서 데스크탑 또는 기타 네비게이션 표면의 일부의 디지털 영상 또는 디지털 표시를 나타낸다. 아날로그-디지털 변환기(112)에 의해 생성되는 디지털값은 네비게이션 프로세서(108)로 출력된다. 네비게이션 프로세서(108)에 의해 수신되는 디지털값은 메모리(111) 내에 프레임으로서 저장된다.
광 검출기 어레이(114)의 전체 크기는 바람직하게 여러가지 특징들을 갖는 영상을 수신할만큼 충분히 크다. 이러한 공간적 특징의 영상은, 광학식 포인팅 디바이스(100)가 네비게이션 표면(124)에서 이동하는 것에 따라 픽셀 정보의 변형된 패턴을 생성한다. 어레이(114) 내의 광 검출기의 개수, 및 그 내용이 캡쳐되고 디지털화되는 프레임 속도가, 광학식 포인팅 디바이스(100)가 표면을 가로질러 이동되며 추적될 수 있는 속도에 함께 영향을 미친다. 새로 캡쳐한 샘플 프레임과 이전에 캡쳐한 기준 프레임을 비교하여 이동 방향 및 양을 조사함으로써 네비게이션 프로세서(108)에 의한 추적이 수행된다. 영상 비교를 통한 이러한 추적은 공지된 패턴 인식 방법, 교차 상관 방법 또는 영상의 움직임 데이터를 계산하기 위한 다른 공지된 영상 비교 방법을 이용하여 수행될 수 있다.
일 실시예에서, 네비게이션 프로세서(108)는 움직임 정보를 결정하기 위해 순차 프레임들을 교차 상관시킨다. 본 발명의 일 측면에서, 이 프레임들 중 하나의 전체 내용은 네비게이션 프로세서(108)에 의해, 연속적으로 8개 방향의 각각으로 1 픽셀 오프셋 시도 이동(한쪽 옆으로(one over), 한쪽 옆으로 그리고 한쪽 아래로, 한쪽 아래로, 한쪽 위로, 한쪽 위로 그리고 한쪽 옆으로, 다른 방향으로 한쪽 옆으로 등)에 의해 가능하게 되는 하나의 픽셀 거리만큼 이동된다. 이들을 모두 합하면 8회 시도가 된다. 또한, 움직임이 없을 수도 있기 때문에, 제 9 시도인 "널 이동"도 사용된다. 각각의 시도 이동 후에, 서로 중첩되는 프레임의 부분들은 네비게이션 프로세서(108)에 의해 픽셀별로 감산되고, 결과로 생기는 차는 바람직하게 제곱된 후 합산되어 그 중첩 영역 내에서 유사성(상관관계)의 측정치를 생성한다. 또 다른 실시예에서, 보다 큰 시도 이동(예를 들면, 둘 옆으로 그리고 하나 아래로)도 사용될 수 있다. 최소 차(최고 상관관계)를 갖는 이동 시도는 2개 프레임들간의 움직임 표시로서 사용될 수 있다. 즉, 이로써, 크기 조정되고 누산되어 편리한 입도의 움직임 정보(△X 및 △Y) 및 적절한 속도의 정보 교환을 제공할 수 있는 미가공 움직임 정보가 제공되고, 디지털 입/출력 회로(106)에 의해 데이터 및 제어 라인(104) 상에서 호스트 장치로 출력된다. 광학식 포인팅 디바이스(100)는 데이터 및 제어 라인(104)을 통해서 호스트 장치로부터 데이터 및 제어 신호를 수신하도록 구성된다.
본 발명의 일 형태에서, 기술한 픽셀 이동 방법은 복수의 픽셀 오프셋 이동을 이용하여 수행될 수 있다.
본 발명의 일 형태에서, 위에서 설명한 바와 같이, 연속적인 변경되지 않은 디지털 영상들의 영상 비교를 통해 움직임 정보를 결정하기 보다 네비게이션 프로세서(108)는 연속적인 수정된 디지털 영상들을 기초로 하여 움직임 계산을 위한 영상 비교를 행하여 획득한 디지털 영상에서 먼지 또는 기타 소스와 같은 고정형 잡음 패턴들을 감소시키도록 구성된다.
고정형 패턴 잡음의 소스에 의해, 장치(100)가 캡쳐한 디지털 영상 내의 픽셀이 시간에 따라 거의 변하지 않는 부적절한 픽셀값을 갖게 된다. 따라서, 본 명세서에서는 입자 오염에 의해 영향을 받은 픽셀을 결함 픽셀 또는 고정형 잡음 픽셀이라고 한다. 입자 오염에 더하여, 고정형 잡음 픽셀은 광 검출기 어레이에서의 실리콘 결함과 같은 다른 문제들에 의해서 야기될 수도 있다. 고정형 잡음 픽셀은 "온" 또는 "오프" 상태만 나타내는 픽셀, 원하는 것보다 작은 강도 또는 큰 강도를 내는 픽셀, 또는 변덕스럽게 혹은 랜덤 동작하는 픽셀과 같은 이상이 있는 혹은 작동하지 않는 픽셀을 포함하는 것으로 정의된다. 결함의 소스와 무관하게, 이러한 픽셀은 캡쳐한 디지털 영상에서, 고정형 잡음 패턴이라고 하는 일반적으로 고정된 잡음 패턴을 형성한다.
본 발명의 일 형태는 결합의 원인과 무관하게 일반적으로 고정형 잡음 픽셀에 대해 저 민감도를 갖는 움직임 데이터를 생성하는 방법을 제공한다. 본 발명의 각종 실시예에 따라 네비게이션 프로세서(108)에 의해 수행되는 잡음을 감소시키는 치환 계산에 대해서는 도 2 내지 7을 참조하여 아래에 기술한다.
도 2는 본 발명의 일 실시예에 따라 네비게이션 프로세서(108)의 주요 구성요소들을 도시하는 블록도이다. 본 발명의 일 형태에서, 네비게이션 프로세서(108)는 영상 비교기(150) 및 잡음 감쇠기(160)뿐만 아니라 메모리(111)를 포함한다. 본 발명의 일 형태에서 영상 비교기(150)는 상관 모듈(152)을 포함하고, 본 발명의 또 다른 형태에서 영상 비교기(150)는 패턴 인식 모듈(154)을 포함한다. 잡음 감쇠기(160)는 영상 버퍼(162)를 포함하고, 고정형 잡음 분리기(164) 및/또는 고정형 잡음 필터(154)도 포함한다.
영상 비교기(150)는 아날로그-디지털 변환기(112)로부터 획득한 연속 디지털 영상을 사용하고, 이 연속 디지털 영상들을 비교하여 움직임의 양 및 방향을 결정한다. 영상 비교기(150)의 상관 모듈(152)은 연속 디지털 영상들의 교차 상관 비교를 행하여 움직임 계산을 하고, 패턴 인식 모듈(154)은 연속 디지털 영상내의 패턴들을 비교하여 움직임 계산을 한다.
잡음 감쇠기(160)는 영상 비교기(150)에서 움직임 데이터를 계산하기 전에, 고정형 패턴 잡음을 식별하고 감소시키는 데 사용하기 위한 디지털 영상의 복사본(예컨대, 샘플 영상 및 기준 영상)을 그 영상 버퍼(162)에 저장하도록 동작한다. 특히, 움직임이 발생하면, 이러한 디지털 영상의 사본들은 영상 버퍼(152)에 저장되고, 그 후, 주기적으로(예컨대, 50, 100, 150, 200 이상의 프레임마다) 저장된 영상들을 평균화하여 합성 영상을 구성하여 픽셀별로 고정형 잡음의 패턴을 나타낸다. 그 후, 잡음 감쇠기(160)는 고정형 패턴 잡음의 이러한 패턴을 사용하여, 움직임 데이터를 계산하기 이전에 디지털 영상을 수정하여, 고정형 패턴 잡음을 보상하며, 광학식 포인팅 디바이스에 대한 움직임 정보를 정확하게 생성한다.
본 발명의 일 형태에서, 잡음 감쇠기(160)의 고정형 잡음 분리기(164)는, 디지털 영상의 저 잡음 부분 또는 다른 가변 잡음으로부터 고정형 잡음 픽셀을 분리 또는 제외하여 고정형 잡음 패턴을 감소시키도록 동작한다. 본 발명의 또 다른 형태에서, 잡음 감쇠기(160)의 고정형 잡음 필터(166)는, 고정형 패턴 잡음의 강도에 해당되는 양만큼 각 픽셀값의 강도를 감소시키는 논리적 연산을 통해 픽셀별로 디지털 영상(예컨대, 비교 대상인 샘플 및 기준 영상들)을 수정함으로써 고정형 잡음 패턴을 감소시키도록 동작한다. 영상 버퍼(162), 고정형 잡음 분리기(164) 및 고정형 잡음 필터(166)를 포함하는 잡음 감쇠기(160)는 도 3 내지 7에 도시하는 바와 같이 움직임 데이터를 생성하는 방법을 포함하는 본 발명의 실시예와 연관하여 보다 상세히 설명된다.
도 1에서 네비게이션 프로세서(108)의 부분으로서 잡음 감쇠기(160)를 도시하지만, 잡음 감쇠기(160)는 네비게이션 프로세서(108) 외부에 배치되는 별도의 모듈을 포함할 수도 있다. 이러한 구성에서 잡음 감쇠기(160)는 아날로그-디지털 변환기(112)와 네비게이션 프로세서(108) 사이에 배치되어서, 영상 비교 및 관련된 프로세싱을 위해 네비게이션 프로세서 내로 들어가기 이전에 아날로그-디지털 변환기(112)로부터의 디지털 영상에 입각하여 동작하게 된다.
도 3은 본 발명의 일 실시예에 따라 움직임 데이터를 생성하는 방법(200)을 나타내는 순서도이다. 일 실시예에서, 방법(200)은 광학식 포인팅 디바이스(100)를 이용하여 수행되지만, 또 다른 실시예에서 방법(200)은 움직임 데이터를 생성하기 위한 다른 장치를 이용하여 수행된다. 방법(200)은 움직임 데이터를 생성하는 측면과 관련된 측면을 제외하고는 다른 것을 나타내는 제 1 부분(202) 및 제 2 부분(204)을 포함한다. 제 1 부분(202) 및 제 2 부분(204)은 일반적으로 주기적인 상호작용으로 서로 병행하여 동시에 동작한다. 특히, 방법(200)의 제 1 부분(202)은 일반적으로 기준 영상 및 샘플 영상을 획득하는 시퀀스를 반복함으로써 움직임 정보를 생성하는 단계와, 그 후, 기준 영상 및 샘플 영상을 비교하여 움직임 정보를 결정하는 단계를 나타낸다. 방법(200)의 제 2 부분(204)은 일반적으로 움직임이 발생하면 (방법(200)의 제 1 부분(202)에서 획득되는) 샘플 영상을 저장하는 단계와, 그 후, 대량의 저장된 샘플 영상의 복합 프레임을 형성하여 샘플 영상에서 고정된 고정형 잡음을 식별하고, 그 후 각각의 기준 영상 및 샘플 영상으로부터, 방법(200)의 제 1 부분(202)에서 비교되는 그 고정형 잡음을 감소시킨다. 이에 따라, 제 1 부분(202)은 제 2 부분(204)으로 영상을 제공하여, 제 1 부분(202)에서 수행되는 계산으로부터 고정형 잡음을 감소시키는 제 1 부분(202)에 대한 피드백 메카니즘으로서 제 2 부분(204)이 나중에 동작할 수 있게 한다.
방법(200)의 제 1 부분(202)은 광 검출기 어레이(114)를 통해서 기준 영상을 획득하는 단계(210)와, 광 검출기 어레이(114)를 통해서 샘플 영상을 획득하는 단계(212)를 포함한다. 획득한 영상은 아날로그-디지털 변환기(112)에 의해 디지털 영상으로 변환되고, 디지털 영상은 네비게이션 프로세서(108)로 출력된다. 단계(214)에서, 네비게이션 프로세서(108)는 디지털 샘플 및 기준 영상으로부터 고정형 패턴 잡음을 선택적으로 감소시킨다. 즉, 네비게이션 프로세서(108)는, 움직임 계산의 일부로서 고정형 잡음을 완화시키기 위해 방법(200)의 제 2 부분(204)으로부 터의 정보가 사용되는 때와 빈도에 관한 제어를 계속 유지한다. 이에 따라, 고정형 잡음 패턴을 위한 샘플 및 기준 영상들간의 상관은 연속적으로, 또는 간헐적으로 또는 네비게이션 프로세서(108)가 선택한 간격으로 수행될 수 있다.
도 3의 단계(216)에서, 네비게이션 프로세서(108)는 영상 비교기(150)를 통하여 기준 영상 및 샘플 영상에 관하여 영상 비교를 행하고, 이 비교를 기초로 하여 움직임의 크기 및 방향을 결정한다. 영상 비교는 네비게이션 프로세서(108)를 통해 상관관계 모듈(152) 또는 패턴 인식 모듈(154), 또는 다른 영상 비교 방법을 사용하여 수행될 수 있다.
도 3의 단계(218)에서, 네비게이션 프로세서(108)는 단계(216)에서 수행되는 영상 비교를 기초로 하여 움직임 정보를 생성하고, 디지털 입/출력 회로(106)를 통해서 움직임 정보를 호스트 장치로 출력한다. 또한, 이러한 움직임 정보 및 (단계(212)에서 획득한) 샘플 영상의 복사본은 출력 경로(219)를 통하여 방법(200)의 제 2 부분(204)의 판단 단계(250)로 출력된다.
방법(200)의 단계(220)에서, 그 후에 방법(200)의 다음 반복 동안에 기준 영상이 되는 샘플 영상으로 기준 영상이 대체된다. 그 후, 또 다른 샘플 영상이 단계(212)에서 획득되고, 방법(200)은 단계(214, 216)에서 시작하는 것부터 반복된다. 임의의 원하는 회수의 방법(200)의 반복이 수행될 수 있다.
방법(200)의 제 2 부분(204)은 복수의 저장된 샘플 영상을 사용하여 보상 메카니즘을 제공하여, 방법(200)의 제 1 부분(202) 중 단계(216)에서의 영상 비교 이전에 (단계(214)에서) 기준 및 샘플 영상으로부터 고정형 패턴 잡음을 감소시킨다. 특히, 도 3 중 단계(250)에 도시하는 바와 같이, 단계(218)로부터 출력되는 움직임 정보는 출력 경로(219)를 통해 평가되어 움직임이 발생했는지를 판단한다. 이를 위해 고려되는 움직임은 적어도 움직임의 절반 픽셀을 포함하는 움직임이다. 네비게이션 표면에 대해 영상 센서의 움직임이 발생하지 않았으면, 제 2 부분(204)에서의 경로를 따라 어떤 다른 동작도 취하지 않는다.
움직임이 발생했으면, 도 3의 단계(260)에서, 제 2 부분(204)에서의 경로는 방법(200)의 제 1 부분(202)으로부터 가장 최근의 샘플 영상의 복사본을 영상 버퍼(162)에 저장하는 제 1 동작을 포함하여 완성된다. 물론, 움직임이 발생할 때마다, 가장 최근의 샘플 영상은 영상 버퍼(162) 내에 저장된다.
방법(200)의 단계(262)에서, 영상 버퍼(162) 내의 모든 샘플 영상은, 영상에 대해 픽셀별로 계산되는 평균 강도값을 이용하여 저장된 영상의 각 픽셀에 대한 평균값을 포함하는 합성 영상으로 주기적으로 결합되어 형성된다. 일 실시예에서, 합성 영상을 형성하기 위해 약 10,000개의 저장된 샘플 영상이 사용된다. 본 발명의 일 형태에서, 각 샘플 영상이 영상 버퍼(162) 내에 저장되기 때문에, 샘플 영상은 이전에 저장된 샘플 영상과 픽셀별로 평균화된다. 이러한 방식으로, 각각의 새로운 샘플 영상은 영상 버퍼(162)에 이미 저장되어 있는 영상으로부터 생성되는 샘플의 진행 중인 합성 영상 내로 즉시 통합된다. 합성 영상을 형성하는 데 사용되는 영상의 개수는 다양(예를 들어, 50, 100, 150, 200 또는 이 이상)할 수 있고, 고정형 패턴 잡음의 특징적인 영상 효과를 검출하기에 충분히 큰 개수의 프레임 정도로 선택된다. 합성 영상을 형성하기 위해 사용되는 프레임의 개수는, 고유의 고 정형 잡음 패턴이 발생하는 주파수 및/또는 광학식 포인팅 디바이스의 사용에서 관찰되는 고정형 잡음 패턴의 부피/크기 및 기타 요인들에 응답하여 다양(보다 높은 수 또는 보다 낮은 수)하게 선택될 수 있다.
단계(262)에서 본 발명의 또 다른 형태에서, 각 샘플 영상은 영상 버퍼(162)에 저장되고 수집되고, 그 후 복수의 프레임의 저장 후에만, 이들 샘플 영상은 단일의 합성 영상으로 평균화된다. 이러한 합성 영상에 사용되는 영상의 개수는 이전에 설명한 바와 같이 선택된다.
방법(200)의 단계(264)에서, 합성 영상은 사전정의된 잡음 임계를 초과하는 강도값을 갖는 픽셀 위치를 식별하기 위해 평가된다. 이들 픽셀 위치는 고정형 잡음 픽셀, 즉, 움직임 데이터의 정확한 생성을 방해하기에 충분히 높은 고정형 잡음 레벨을 갖는 픽셀인 것으로 생각된다. 사전정의된 잡음 임계치는, 영상 비교기(150)가 견딜 수 있는 잡음 양만큼 결정된다. 또한, 이러한 잡음 임계치는 아날로그-디지털 변환기(112)의 성능 특성 및 네비게이션 프로세서(108)에서의 종래의 영상의 필터링 설정과 관련된다.
프레임간에 변하는 잡음이, 픽셀별로 함께 평균화되면 비교적 낮은 강도값을 내고, 일반적으로, 픽셀별로 함께 평균화되면 동일한 위치에서 프레임간에 비교적 높은 강도값을 내기 때문에 다수의 프레임(즉, 샘플 영상)의 평균을 기초로 하는 합성 영상을 형성함으로써, 고정형 잡음 픽셀과 가변 잡음 픽셀간의 대비가 향상된다. 즉, 동일한 위치에서, 다수의 프레임에 걸쳐 지속되는 고 잡음 픽셀은 합성 영상에서, 다수의 프레임에 걸쳐 위치나 강도가 다른 다른 잡음 픽셀보다 훨씬 더 밝게 나타난다. 이러한 특징에 의해, 고정형 패턴 잡음에 의해 야기되는 움직임 정보를 식별하고 에러를 제한할 수 있는 것이 용이하게 된다.
본 발명의 일 형태에서, 고정형 잡음 픽셀 또는 고정형 잡음 패턴의 검출은 네비게이션 센서(102)를 통해 경보의 형태로 사용자에게 전달되어 클리닝, 또는 검출된 고정형 잡음을 개선하기 위한 다른 동작에 의해 광학식 포인팅 디바이스(100)에 관한 관리를 행한다.
단계(266)에서, 고정형 패턴 잡음의 맵은, 픽셀별로 샘플 및 기준 영상의 픽셀에 해당되는 합성 영상으로부터 형성된다. 본 발명의 일 형태에서, 고정형 잡음의 이러한 매핑된 정보는 출력 경로(280)를 통해 방법(200)의 제 1 부분(202)에서의 단계(214)로 출력되는데, 단계(214)에서는 고정형 패턴 잡음의 이러한 맵이 샘플 및 기준 영상을 감소시켜, 단계(216)에서, 움직임 계산을 위한 영상 비교 이전에 고정형 패턴 잡음에 대한 그 감도를 감소시키기 위해 사용된다.
실시예의 또 다른 형태에서, 단계(262)에서 합성 영상을 형성한 후에, 이러한 합성 영상은 출력 경로(282)를 통해서 방법(200)의 제 1 부분(200)의 단계(214)로 즉시 출력되는데, 단계(214)에서 합성 영상은, 단계(216)에서 움직임 계산을 위한 영상 비교 이전에 샘플 및 기준 영상으로부터 고정형 패턴 잡음을 감소시키는 데 사용된다.
이에 따라, 제 1 부분(202) 내의 방법(200)은 광학식 포인팅 디바이스의 일반적인 동작을 위한 움직임 동작을 발생시키기 위해 연속적으로 수행되고, 이와 병행하여 방법(200)의 제 2 부분(204)이 제 1 부분(202)과 제 2 부분(204) 사이에 진 행중인 상호 작용과 함께 수행된다. 특히, 제 1 부분(202)의 각 반복에서, 가장 최근의 샘플 정보 및 움직임 정보의 복사본의 형태로 정보가 (출력 경로(219)를 통해서) 제 2 부분(204)으로 전달된다. 또한, (단계(262)에서 생성되는) 합성 영상 또는 (단계(266)에서 생성되는) 고정형 잡음 맵과 같은 정보가 출력 경로(282, 280) 각각을 통해 제 1 부분(202)으로 거꾸로 전달된다.
도 4는 방법(200)의 부분으로서 단계(214)(도 3)에서 수행되는 바와 같이, 광학식 포인팅 디바이스(100)와 함께 고정형 패턴 잡음을 감소시키기 위한 방법(300)을 나타내는 순서도이다. 단계(302)에서, 샘플 영상 및 기준 영상은 (방법(200)의 제 2 부분(204)의 단계(266)에서 획득되는) 고정형 패턴 잡음의 맵과 비교되어 고정형 잡음 맵에서 고 잡음 픽셀의 위치에 해당되는 샘플 및 기준 영상에서의 픽셀 위치를 식별한다. 단계(304)에서, 수정된 샘플 및 기준 영상은, 고정형 잡음 패턴의 맵 상의 고 잡음 픽셀에 해당되는 샘플 및 기준 영상의 픽셀을 제외함으로써 형성된다. 단계(306)에서, 수정된 샘플 및 기준 영상은 움직임 데이터를 생성하기 위해 서로 상대적으로 비교된다. 방법(300)을 행하기 위해 네비게이션 센서(102)가 사용되면, 이러한 영상 비교는 네비게이션 프로세서(108)의 영상 비교기(152)에 의해 수행된다. 수정된 샘플 및 기준 영상의 비교를 기초로 한 움직임 데이터는, 디지털 영상의 나머지 부분으로부터 고정형 패턴 잡음을 분리함으로써 고정형 패턴 잡음이 비교적 없는 움직임 정보를 생성해서, 움직임 계산은 고정형 패턴 잡음이 없이 움직임 정보를 지니고 있는 픽셀에 대해서만 수행되게 된다.
도 5는 움직임 계산을 수행하는 데 있어서 가변 잡음 픽셀 또는 저 잡음 픽셀로부터 고정된 고 잡음 픽셀을 분리하기 위해, 도 4의 방법(300)에서 사용되는 고정형 패턴 잡음의 맵과, 수정된 디지털 영상을 도시하는 도면이다. 방법(300)은 네비게이션 프로세서(108)(도 2 참조)의 잡음 감쇠기(160)의 분리기 모듈(164) 또는 기타 적합한 모듈에 의해 수행될 수 있다. 맵(350)은 고정형 잡음 픽셀(356), 정규 픽셀 영역(352) 및 고정형 잡음 패턴 영역(354)을 포함한다. 방법(300)에서 사용되는 바와 같이, 영역(354)의 크기 및 형태는, 가변 잡음 픽셀 및/또는 저 잡음 픽셀을 에워싸는 부분(352)으로부터 고정형 잡음 픽셀(356)을 분리하기 위해, 고정형 잡음 픽셀(356)을 에워싸도록 선택된다. 그 후, 고정형 잡음 맵의 영역(354)은 샘플 또는 기준 영상(360)의 영역(364) 내에서 나머지 픽셀 부분(362)으로부터의 픽셀을 제외시키기 위한 안내자로서 사용되어, 영상 비교로부터 이러한 고정형 잡음 픽셀을 제외하여 움직임 정보를 생성한다.
도 6은 방법(200)의 부분으로서 단계(214)(도 3)에서 수행되는 바와 같이, 도 1에 도시한 광학식 포인팅 디바이스(100)를 이용하여 움직임 데이터를 생성하는 방법(400)을 나타내는 흐름도이다. 방법(400)은 네비게이션 프로세서(108)(도 2) 또는 기타 적합한 시스템의 잡음 감쇠기(160)의 필터 모듈(164)에 의해 수행될 수 있다. 방법(440)의 단계(402)에서, (도 3에서 방법(200)의 단계(262)에서 생성되는) 합성 영상이 논리적 연산자를 통해 적용되어 기준 영상 및 샘플 영상에 대한 각각의 픽셀값을 조정하여 픽셀별로 수정된 샘플 및 기준 영상을 형성한다. 논리 연산자는 합성 영상의 픽셀값을 샘플 및 기준 영상의 픽셀값에 적용하여 샘플 및 기준 영상에서 고정형 패턴 잡음을 샘플마다 감소시키는 임의의 하나 이상의 논리 연산(예컨대, +, -, ×, ÷)을 포함한다. 이러한 연산은 샘플 및 기준 영상으로부터 지속형 고 잡음 픽셀, 즉, 고정형 잡음 픽셀을 효과적으로 필터링한다.
이러한 필터링 후에, 방법(400)의 단계(404)에서, 수정된 샘플 및 기준 영상은 움직임 데이터를 생성하기 위해서 서로 상대 비교된다. 네비게이션 센서(102)가 방법(300)을 수행하기 위해 사용되면, 이러한 영상 비교는 네비게이션 프로세서(108)의 영상 비교기(152)에 의해 수행된다. 수정된 샘플과 기준 영상의 비교를 기초로 하여 움직임 데이터는, 픽셀별로 디지털 영상의 각 픽셀로부터 임의의 양의 고정형 패턴 잡음을 필터링하여 비교적 고정형 패턴 잡음이 없는 움직임 정보를 생성한다. 마지막으로, 이러한 필터링 방법(400)을 사용하면 고정형 잡음은, 방법(300)(도 4 및 5)에서 또는 방법(200)(도 3)의 제 2 부분(204)의 단계(264, 266)에서 발생하는 바와 같이 고정형 잡음 패턴의 맵을 형성하지 않고도 감소될 수 있다.
도 7은 도 6의 방법(400)의 동작의 측면을 도시하는 도면이다. 도 7에 도시하는 바와 같이, 샘플 영상 및 기준 영상(410)은 픽셀(411)을 포함하고, 고정형 잡음 마스크(412)는 영상(410)의 픽셀(411)의 위치에 대응하는 픽셀(413)을 포함한다. 논리적 연산(414)(예컨대, +, -, ×, ÷)은 고정형 패턴 잡음이 필터링된 픽셀(417)을 갖는 수정된 샘플 및 기준 영상(416)을 생성하기 위해 샘플/기준 영상(410)의 픽셀(411)에 합성 마스크(412)의 픽셀 값(413)을 적용한다.
본 발명의 실시예는 서로 다른 소스로부터 생기는 고정형 잡음 패턴의 존재시에도, 시간에 따라 지속하는 고 잡음 픽셀을 식별하기 위한 안내자로서 저장된 샘플 영상을 이용하고, 샘플 및 기준 영상으로부터 고 잡음 픽셀을 분리 또는 필터 링함으로써 광학식 포인팅 디바이스의 사용 진행을 가능하게 한다. 이들 실시예는 비코히어런트 조명 또는 코히어런트 조명에서 효과적이다. 또한, 고정형 잡음 패턴 또는 고정형 잡음 픽셀의 검출은 클리닝 또는 다른 동작 형태로 디바이스 관리가 필요하다는 것을 사용자에게 경보하기 위해 사용된다.
당업자라면, 네비게이션 프로세서(108), 그 영상 비교기(150) 및/또는 잡음 감쇠기(160)를 포함하는 광학식 포인팅 디바이스(100, 500)에 의해 실행되는 기능이 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다는 것을 이해할 수 있을 것이다. 본 구현은 마이크로프로세서, 프로그램 가능 논리 장치 또는 상태 머신을 통해 이루어질 수 있다. 본 발명의 구성요소들은 하나 이상의 컴퓨터 판독 가능 매체 상의 소프트웨어에 상주할 수 있다. 본 명세서에서 사용되는 용어 컴퓨터 판독 가능 매체는 플로피 디스크, 하드 디스크, CD-ROM, 플래시 메모리, ROM(read-only memory) 및 RAM과 같은 휘발성 또는 비휘발성의 임의 유형의 메모리를 포함하는 것으로 정의된다.
본 명세서에서 특정 실시예를 도시하고 설명하였으나, 당업자라면, 본 발명의 범주로부터 벗어남이 없이 도시하고 설명한 특정 실시예를 다양한 대안 및/또는 등가 실시예로 대체할 수 있다는 것을 이해할 수 있을 것이다. 본 출원은 본 명세서에서 설명한 특정 실시예의 임의의 개조 또는 변형을 포함한다. 그러므로, 본 발명은 청구의 범위 및 그 등가물에 의해서만 한정된다.
보다 정확하게 광학식 포인팅 디바이스의 움직임을 검출할 수 있다.

Claims (20)

  1. 스크린 포인터의 위치를 제어하는 장치로서,
    촬영 표면을 조명하고, 이로써 반사 영상을 생성하도록 구성되는 광원과,
    상기 반사 영상을 기초로 하여 디지털 영상을 생성하고, 상기 디지털 영상을 기초로 하여 움직임 계산을 수행하고, 상기 움직임 계산을 기초로 하여, 상기 촬영 표면과 상기 장치간의 상대적인 움직임을 나타내는 움직임 데이터를 생성하도록 구성되는 네비게이션 센서를 포함하되,
    상기 움직임 계산은 상기 디지털 영상내의 고정형 패턴 잡음(fixed pattern noise)을 감쇠시키는 것을 포함하는
    제어 장치.
  2. 제 1 항에 있어서,
    상기 네비게이션 센서는 영상 비교기 및 잡음 감쇠기를 포함하는 프로세서를 포함하는
    제어 장치.
  3. 제 1 항에 있어서,
    상기 영상 비교기는, 각각 디지털 영상들을 비교하여 상기 움직임 계산을 수행하도록 구성되는 패턴 인식 모듈 및 교차 상관 모듈(cross-correlation module) 중 적어도 하나를 포함하는
    제어 장치.
  4. 제 2 항에 있어서,
    상기 잡음 감쇠기는 잡음 분리기(noise isolator) 및 잡음 필터 중 적어도 하나와, 영상 버퍼를 포함하되,
    상기 영상 버퍼는 상기 촬영 표면에 대해서 네비게이션 센서의 이동시 디지털 영상을 저장하도록 구성되는
    제어 장치.
  5. 제 4 항에 있어서,
    상기 잡음 감쇠기는, 상기 영상 버퍼에 저장되어 있는 복수의 영상으로부터 주기적으로 합성 영상(composite image)을 형성하되, 상기 영상 버퍼에서, 상기 영상의 강도값들이 픽셀별로 평균화되어 상기 합성 영상을 형성하는
    제어 장치.
  6. 제 5 항에 있어서,
    상기 잡음 감쇠기의 필터는, 논리적 연산을 통하여 상기 합성 영상의 평균 픽셀값을 각각의 상기 디지털 영상에 픽셀별로 적용함으로써, 상기 디지털 영상으로부터 고정형 패턴 잡음을 감쇠시키도록 구성되는
    제어 장치.
  7. 제 5 항에 있어서,
    상기 잡음 감쇠기는 사전 정의된 대비 임계값보다 큰 로컬 대비값을 갖는 상기 합성 영상 내의 픽셀 위치를 고 잡음 픽셀(high-noise pixels)로서 식별하도록 구성되는
    제어 장치.
  8. 제 7 항에 있어서,
    상기 잡음 감쇠기는 고정형 패턴 잡음의 영역을 식별하기 위해 고 잡음 픽셀의 맵을 형성하도록 구성되는
    제어 장치.
  9. 제 8 항에 있어서,
    상기 잡음 감쇠기의 분리기는 움직임 계산 이전에, 상기 고정형 패턴 잡음의 영역 내의 픽셀 위치에 대응하는 픽셀들을 상기 디지털 영상으로부터 제외하는
    제어 장치.
  10. 제 1 항에 있어서,
    상기 네비게이션 센서에서 상기 움직임 계산을 수행하는 것은,
    상기 움직임 계산에서 연속적인 디지털 영상들을 비교하기 이전에 상기 디지털 영상에 고정형 잡음 감쇠 마스크를 주기적으로 적용하면서 상기 디지털 영상을 기초로 하여 상기 움직임 계산을 거의 연속적으로 수행하는 것을 포함하는
    제어 장치.
  11. 제 10 항에 있어서,
    상기 고정형 잡음 감쇠 마스크를 적용하는 것은,
    복수의 저장된 디지털 영상의 합성 영상을 형성하는 것을 포함하되,
    상기 합성 영상의 각 픽셀은 상기 저장된 영상의 픽셀값의 평균이며, 픽셀별로 계산되는
    제어 장치.
  12. 제 1 항에 있어서,
    상기 광원은 적어도 부분적으로 코히어런트 광원을 포함하는
    제어 장치.
  13. 제 1 항에 있어서,
    상기 광원은 비코히어런트 광원(non-coherent light source)을 포함하는
    제어 장치.
  14. 광학식 포인팅 디바이스를 이용하여 움직임 데이터를 생성하는 방법으로서,
    적어도 부분적으로 코히어런트 광원을 이용하여 촬영 표면을 조명하고, 이로써 반사 영상을 생성하는 단계와,
    상기 반사 영상을 기초로 하여 디지털 영상을 생성하는 단계와,
    상기 디지털 영상내의 고정형 패턴 잡음을 감쇠시키는 움직임 계산을 수행하는 단계를 포함하며 상기 디지털 영상을 기초로 하여 움직임 데이터를 생성하는 단계를 포함하는
    제어 방법.
  15. 제 14 항에 있어서,
    상기 움직임 계산을 수행하는 단계는,
    고정된 고 잡음 픽셀과 가변 잡음 픽셀 사이의 대비를 향상시켜 상기 고정된 고 잡음 픽셀과 상기 가변 잡음 픽셀의 분산을 기초로 하여 고정형 패턴 잡음의 맵을 형성하는 단계를 포함하며 저장된 디지털 영상의 합성 영상을 형성하는 단계를 포함하는
    제어 방법.
  16. 제 15 항에 있어서,
    상기 움직임 계산을 수행하는 단계는,
    상기 고정된 고 잡음 픽셀의 픽셀 위치에 대응하는 상기 디지털 영상 내의 픽셀 위치를 상기 움직임 계산으로부터 제외하는 단계를 포함하는
    제어 방법.
  17. 제 15 항에 있어서,
    상기 합성 영상을 형성하는 단계는,
    메모리에 복수의 디지털 영상을 저장하고, 그 후에 상기 복수의 저장된 디지 털 영상으로부터, 상기 디지털 영상의 각 픽셀에 대한 평균 강도값을 픽셀별로 계산하는 단계를 포함하는
    제어 방법.
  18. 제 17 항에 있어서,
    상기 움직임 계산을 수행하는 단계는,
    상기 움직임 계산에서, 논리적 연산을 통하여 상기 디지털 영상에 상기 합성 영상의 픽셀값을 픽셀별로 적용함으로써 상기 디지털 영상의 상기 픽셀값을 필터링하는 단계를 포함하는
    제어 방법.
  19. 제 14 항에 있어서,
    상기 움직임 데이터를 생성하는 단계는,
    각각의 움직임 계산 이전에, 저장된 디지털 영상의 합성 영상으로부터 계산되는 픽셀값의 고정형 잡음 감쇠 마스크를 상기 디지털 영상에 주기적으로 적용하면서 상기 움직임 계산을 연속적으로 행하는 단계를 포함하는
    제어 방법.
  20. 스크린 포인터의 위치를 제어하기 위해 움직임 데이터를 생성하기 위한 네비게이션 센서로서,
    광원에 의해 생성되는 촬영 표면으로부터 반사 영상을 감지하도록 구성되는 센서 어레이와,
    상기 센서 어레이의 출력을 기초로 하여 디지털 영상을 생성하도록 구성되는 아날로그-디지털 변환기(analog to digital converter)와,
    상기 디지털 영상을 기초로 하여 움직임 데이터를 형성하도록 구성되는 프로세서를 포함하되,
    상기 움직임 데이터는 고정형 패턴 잡음이 야기하는 상기 디지털 영상내의 효과에 대해 민감도가 낮은 움직임 계산을 기초로 하여 생성되는
    네비게이션 센서.
KR1020050080801A 2004-09-01 2005-08-31 제어 장치, 제어 방법 및 네비게이션 센서 KR101097572B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/931,577 US7423633B2 (en) 2004-09-01 2004-09-01 Apparatus for controlling the position of a screen pointer with low sensitivity to fixed pattern noise
US10/931,577 2004-09-01

Publications (2)

Publication Number Publication Date
KR20060050884A KR20060050884A (ko) 2006-05-19
KR101097572B1 true KR101097572B1 (ko) 2011-12-22

Family

ID=35220699

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050080801A KR101097572B1 (ko) 2004-09-01 2005-08-31 제어 장치, 제어 방법 및 네비게이션 센서

Country Status (6)

Country Link
US (1) US7423633B2 (ko)
JP (1) JP2006073008A (ko)
KR (1) KR101097572B1 (ko)
CN (1) CN100476705C (ko)
GB (1) GB2417872A (ko)
TW (1) TWI363982B (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613329B2 (en) * 2004-03-08 2009-11-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Apparatus for controlling the position of a screen pointer that detects defective pixels
US7474297B2 (en) * 2004-03-22 2009-01-06 Avago Technologies Ecbu Ip (Singapore) Pte. Contaminant-resistant optical mouse and cradle
US7446756B2 (en) * 2004-03-22 2008-11-04 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Apparatus for controlling the position of a screen pointer with low sensitivity to particle contamination
US8197399B2 (en) * 2006-05-19 2012-06-12 Avantis Medical Systems, Inc. System and method for producing and improving images
US8289381B2 (en) * 2005-01-05 2012-10-16 Avantis Medical Systems, Inc. Endoscope with an imaging catheter assembly and method of configuring an endoscope
US8235887B2 (en) * 2006-01-23 2012-08-07 Avantis Medical Systems, Inc. Endoscope assembly with retroscope
US20060149129A1 (en) * 2005-01-05 2006-07-06 Watts H D Catheter with multiple visual elements
US8797392B2 (en) * 2005-01-05 2014-08-05 Avantis Medical Sytems, Inc. Endoscope assembly with a polarizing filter
US8872906B2 (en) * 2005-01-05 2014-10-28 Avantis Medical Systems, Inc. Endoscope assembly with a polarizing filter
US7843434B2 (en) * 2005-09-12 2010-11-30 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical mouse with a wavelength converting layer
US7593833B2 (en) * 2006-03-03 2009-09-22 At&T Intellectual Property I, L.P. System and method for determining performance of network lines
US8287446B2 (en) * 2006-04-18 2012-10-16 Avantis Medical Systems, Inc. Vibratory device, endoscope having such a device, method for configuring an endoscope, and method of reducing looping of an endoscope
CN101101216B (zh) * 2006-07-05 2010-05-12 中国农业大学 棉田喷药机导航路径识别方法
US8064666B2 (en) 2007-04-10 2011-11-22 Avantis Medical Systems, Inc. Method and device for examining or imaging an interior surface of a cavity
US8125619B2 (en) * 2007-07-25 2012-02-28 Eminent Electronic Technology Corp. Integrated ambient light sensor and distance sensor
WO2009049324A1 (en) * 2007-10-11 2009-04-16 Avantis Medical Systems, Inc. Method and device for reducing the fixed pattern noise of a digital image
US8237684B2 (en) * 2008-09-26 2012-08-07 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. User input device with planar light guide illumination plate
US7960699B2 (en) * 2008-10-22 2011-06-14 Eminent Electronic Technology Corp. Light detection circuit for ambient light and proximity sensor
WO2010085487A1 (en) * 2009-01-20 2010-07-29 Tom Chang Light-proximity-inertial sensor combination
US8189954B2 (en) 2009-01-30 2012-05-29 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. System and method for performing optical navigation using enhanced frames of image data
WO2010134899A1 (en) * 2009-05-20 2010-11-25 Tom Chang Optical touch panel
CN103136784B (zh) * 2011-11-29 2016-08-03 鸿富锦精密工业（深圳）有限公司 街景建立系统及街景建立方法
US10013078B2 (en) * 2014-04-11 2018-07-03 Pixart Imaging Inc. Optical navigation device and failure identification method thereof
US9817488B2 (en) * 2015-01-21 2017-11-14 Pixart Imaging (Penang) Sdn. Bhd. Optical navigation device and related automatic magnification adjusting method
US10409393B2 (en) * 2015-03-10 2019-09-10 Pixart Imaging Inc. Image processing method capable of detecting noise and related navigation device
WO2018164625A1 (en) * 2017-03-10 2018-09-13 Fingerprint Cards Ab Suppressing impairment data in fingerprint images
US11523722B2 (en) 2019-05-28 2022-12-13 Pixart Imaging Inc. Dirtiness level determining method and electronic device applying the dirtiness level determining method
US11493336B2 (en) * 2020-06-22 2022-11-08 Pixart Imaging Inc. Optical navigation device which can determine dirtiness level of cover or fix multi light pattern issue
US11128825B2 (en) * 2019-07-02 2021-09-21 Pixart Imaging Inc. Navigation device with adaptive fixed pattern noise update and operating method thereof
JP6901531B2 (ja) * 2019-08-23 2021-07-14 Kddi株式会社 管理装置、管理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297513B1 (en) 1999-10-28 2001-10-02 Hewlett-Packard Company Exposure servo for optical navigation over micro-textured surfaces
JP2003076486A (ja) 2001-07-30 2003-03-14 Microsoft Corp ポインティングデバイス

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4794384A (en) * 1984-09-27 1988-12-27 Xerox Corporation Optical translator device
US5578813A (en) * 1995-03-02 1996-11-26 Allen; Ross R. Freehand image scanning device which compensates for non-linear movement
DE69611113T3 (de) * 1995-03-06 2007-03-15 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Videorauschreduktion
US5786804A (en) * 1995-10-06 1998-07-28 Hewlett-Packard Company Method and system for tracking attitude
US7164810B2 (en) * 2001-11-21 2007-01-16 Metrologic Instruments, Inc. Planar light illumination and linear imaging (PLILIM) device with image-based velocity detection and aspect ratio compensation
JP4192428B2 (ja) * 2001-01-09 2008-12-10 ソニー株式会社 固体撮像装置及び画像入力装置
US6836292B2 (en) * 2001-06-01 2004-12-28 Hewlett-Packard Development Company, L.P. Conductively coated and grounded optics to eliminate dielectric dust attraction
US6737625B2 (en) * 2001-06-28 2004-05-18 Agilent Technologies, Inc. Bad pixel detection and correction in an image sensing device
US6750846B2 (en) * 2001-12-05 2004-06-15 Em Microelectronic - Marin Sa Sensing device for optical pointing devices such as an optical mouse
TWI263942B (en) * 2001-12-05 2006-10-11 Em Microelectronic Marin Sa Method and sensing device for motion detection in an optical pointing device, such as an optical mouse
US7283164B2 (en) * 2002-09-18 2007-10-16 Micron Technology, Inc. Method for detecting and correcting defective pixels in a digital image sensor
US6891143B2 (en) 2002-10-30 2005-05-10 Microsoft Corporation Photo-sensor array with pixel-level signal comparison
KR100494470B1 (ko) * 2002-11-12 2005-06-10 삼성전기주식회사 광 마우스의 이미지 데이터 처리 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297513B1 (en) 1999-10-28 2001-10-02 Hewlett-Packard Company Exposure servo for optical navigation over micro-textured surfaces
JP2003076486A (ja) 2001-07-30 2003-03-14 Microsoft Corp ポインティングデバイス

Also Published As

Publication number Publication date
US7423633B2 (en) 2008-09-09
TW200609811A (en) 2006-03-16
JP2006073008A (ja) 2006-03-16
CN1744018A (zh) 2006-03-08
GB2417872A (en) 2006-03-08
US20060044267A1 (en) 2006-03-02
GB0517816D0 (en) 2005-10-12
TWI363982B (en) 2012-05-11
KR20060050884A (ko) 2006-05-19
CN100476705C (zh) 2009-04-08

Similar Documents

Publication Publication Date Title
KR101097572B1 (ko) 제어 장치, 제어 방법 및 네비게이션 센서
US8264461B2 (en) Apparatus for controlling the position of a screen pointer with low sensitivity to particle contamination
US8330720B2 (en) Optical navigation system and method for performing self-calibration on the system using a calibration cover
JP4392377B2 (ja) デバイスと表面との間の距離を測定する光学デバイス
US8358271B2 (en) Optical navigation system with lift detection
US7613329B2 (en) Apparatus for controlling the position of a screen pointer that detects defective pixels
US8928626B2 (en) Optical navigation system with object detection
KR100522178B1 (ko) 광마우스 및 광마우스의 오동작 방지 방법
CN113570582B (zh) 相机盖板清洁度检测方法及检测装置
JP2003215059A (ja) パターン検査装置及びその方法
JP2010019667A (ja) 画像計測装置及びコンピュータプログラム
TW201627827A (zh) 光學導航裝置及其相關自動倍率調整方法
US7193203B1 (en) Method and device for tracking movement between a surface and an imager
US8330721B2 (en) Optical navigation device with phase grating for beam steering
JP6694137B2 (ja) 表面検査方法、表面検査装置および表面検査プログラム
JP2006292500A (ja) 表面検査方法及び表面検査装置
JP4389568B2 (ja) 欠陥検査装置
TWI549024B (zh) 光學導航裝置及其失效判斷方法
JP2019028004A (ja) 三次元計測装置、及び三次元計測装置における異常検知方法
JP7427845B2 (ja) セル－対－セル比較方法
JP2010129800A (ja) 干渉光学系撮像画像を用いた干渉縞によるアライメントマーク検出方法およびそれを用いた装置
JP4496149B2 (ja) 寸法測定装置
JP3432446B2 (ja) 表面検査装置および表面検査方法
CN108469909B (zh) 可动态学习不同工作表面之材质的光学导航装置及方法
JP3474619B2 (ja) ２重映り検査方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141126

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171211

Year of fee payment: 7