KR20090024958A - 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법 - Google Patents

카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법 Download PDF

Info

Publication number
KR20090024958A
KR20090024958A KR1020070089954A KR20070089954A KR20090024958A KR 20090024958 A KR20090024958 A KR 20090024958A KR 1020070089954 A KR1020070089954 A KR 1020070089954A KR 20070089954 A KR20070089954 A KR 20070089954A KR 20090024958 A KR20090024958 A KR 20090024958A
Authority
KR
South Korea
Prior art keywords
light source
camera module
image sensor
point light
signal
Prior art date
Application number
KR1020070089954A
Other languages
English (en)
Other versions
KR101432295B1 (ko
Inventor
강화영
윤영권
이준영
강성욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070089954A priority Critical patent/KR101432295B1/ko
Priority to US12/203,208 priority patent/US8149213B2/en
Publication of KR20090024958A publication Critical patent/KR20090024958A/ko
Application granted granted Critical
Publication of KR101432295B1 publication Critical patent/KR101432295B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)
  • Image Input (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

카메라를 구비한 휴대단말기에서 마우스 실행 방법에 있어서, 카메라 모듈에서 외부 영상 신호를 캡쳐하는 과정과, 상기 외부 영상 신호를 샘플링하여 영상 데이터로 변환하는 과정과, 상기 샘플링된 영상 데이터의 픽셀 군과 이미지 센서의 픽셀 군을 단위 픽셀 별로 일대일로 맵핑하는 과정과, 상기 맵핑된 픽셀 군에서 점광원을 포함하는 데이터의 좌표 값을 검출하는 과정과, 상기 검출된 데이터 값이 실제로 점광원을 포함하는가를 판별하는 과정과, 상기 점광원을 포함하는 데이터 값을 스크린에 디스플레이하는 과정을 포함하는 것을 특징으로 한다.
마우스, 매칭, 점광원

Description

카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법{REALIZING APPARATUS AND METHOD OF MOUSE FOR PORTABLE WIRELESS TERMINAL WITH CAMERA}
본 발명은 휴대용 기기에 관한 것으로, 특히 카메라를 포함하는 휴대단말기에서 마우스(Mouse)의 실행 장치 및 그 방법에 관한 것이다.
일반적으로 휴대단말기는 셀룰러 폰(Cellular Phone), 개인용 정보 단말기(PDA:Personal Digital Assistant), 개인용 통신 서비스 폰(PCS: Personal Communication Services Phone), IMT-2000 단말기(International Mobile Telecommunication-2000), GSM(Global System For Mobile Communication)단말기 등과 같이, 이동하면서 통화를 하거나 데이터를 교환할 수 있는 통신 기능을 제공하는 기기를 말한다.
이러한 휴대단말기는 남녀노소를 막론하고 전 세계 어디에서도 통용되는 기기로서, 항시 휴대하고 다녀야 할 필수품으로 인식되어 가고 있다. 때문에 휴대단말기는 휴대성을 고려하여 소형화, 슬림화 및 경량화 되어가는 추세에 있으며, 보다 다양한 기능을 추구할 수 있는 멀티미디어화 방향으로 나아가고 있다.
특히 앞으로의 휴대단말기는 점점 소형화, 다기능 및 다목적으로 사용될 것 이며, 다양한 멀티미디어 환경이나 인터넷 환경에 적응되도록 변형될 것이다.
이러한 휴대단말기의 입력 장치에서의 입력 방식은 키 입력의 조합으로 정보를 입력하는 키 버튼 방식과, 손가락 또는 펜을 이용하여 화면에 정보를 입력하는 터치패드 방식, 개인용 컴퓨터나 노트북에 흔히 사용되는 마우스를 이용하는 방식으로 분류가 된다.
키 버튼 방식은 전통적으로 휴대단말기에 사용하던 방식으로써, 휴대단말기의 할당된 공간에 위치해 있는 정보 입력에 필요한 하나 이상의 키를 이용하여 필요한 정보를 입력하는 방식이다. 통상적으로 사용자들이 많이 사용하여 왔고 지금도 대부분의 휴대단말기에서 사용하는 익숙해진 방식이므로 문자나 숫자 형태의 정보 입력이 쉽다.
터치패드 방식은 손가락 또는 펜과 같은 입력 도구로 스크린을 터치하여 입력하는 방식으로써, 키 입력 방식에서 필요한 정보 입력을 위해 사용자가 미리 숙지해야 할 조합 방식을 숙지할 필요 없이 간단하게 손가락 또는 펜과 같은 도구를 이용하여 정보를 쉽게 입력 할 수 있다.
마우스를 이용한 방식은 사용자가 마우스를 이용하여 원하는 정보를 입력하는 방식으로써, 스크린을 가리지 않고 원하는 방향으로 쉽게 입력할 위치를 이동하여 정보를 입력할 수 있다.
그러나 상기의 기능들을 구비한 휴대단말기는 각각의 문제점을 가지고 있다. 먼저 키 입력 방식의 문제점은 휴대단말기에서 특정한 공간을 할당하여야 하며, 버튼에 표기되어 있는 각 정보를 판독할 수 있도록 사용자가 미리 숙지해야 하는 번 거로움이 있다. 또한 제조사 별로 버튼의 표기 방법이 다르므로 제조사가 다른 휴대단말기를 사용할 경우에도 새롭게 버튼에 대한 정보를 숙지하여야 한다.
터치패드 방식은 사용자가 직접 손가락이나 펜과 같은 도구로 정보를 입력함으로 인하여 해상도가 떨어져 원하지 않는 다른 정보가 입력될 수도 있고, 다른 사물에 의한 터치패드의 작동으로 인하여 사용자가 정보를 입력하지 않는 순간에도 원하지 않는 정보가 입력될 수가 있다.
마지막으로 마우스를 이용한 방식은 마우스 패드와 평평한 바닥이 필요하게 되고, 이로 인한 사용 공간의 제약을 받게 된다.
특히 휴대단말기를 이용하여 사진을 편집하거나 그래픽 사용자 인터페이스를 사용하는데 있어서 상기의 기능들을 구비한 휴대단말기는 그래픽 사용자 인터페이스를 사용하기 어렵고, 그림을 그리거나 페인팅을 하는 작업을 하기에도 불충분한 문제점이 있다.
본 발명은 휴대단말기에 장착된 카메라 모듈을 이용하여 사용자가 원하는 정보를 입력하는 장치 및 방법을 제안하고자 한다.
본 발명의 일 견지에 따르면, 카메라를 구비한 휴대단말기에서 마우스 실행 방법에 있어서, 카메라 모듈에서 외부 영상 신호를 캡쳐하는 과정과, 상기 외부 영상 신호를 샘플링하여 영상 데이터로 변환하는 과정과, 상기 샘플링된 영상 데이터의 픽셀 군과 이미지 센서의 픽셀 군을 단위 픽셀 별로 일대일로 맵핑하는 과정과, 상기 맵핑된 픽셀 군에서 점광원을 포함하는 데이터의 좌표 값을 검출하는 과정과, 상기 검출된 데이터 값이 실제로 점광원을 포함하는가를 판별하는 과정과, 상기 점광원을 포함하는 데이터 값을 스크린에 디스플레이하는 과정을 포함하는 것을 특징으로 하고,
상기 샘플링하여 영상 데이터로 변환하는 과정은 상기 휴대단말기에 장착되어 있는 카메라 모듈의 이미지 센서에서 변환하는 것을 특징으로 하고,
상기 일대일로 맵핑하는 과정은 상기 이미지 센서의 센서 군에서 X 축과 Y축을 기준으로 좌표를 생성하여 스크린에 매칭시키는 것을 특징으로 하고,
상기 검출된 데이터 값이 실제로 점광원을 포함하는가를 판별하는 과정은 특정 값으로 정해져있는 임계값을 기준으로 하여 임계값보다 큰 데이터 값이 검출되면 상기 데이터 값을 활성화시키는 것을 특징으로 한다.
본 발명의 다른 견지에 따르면, 카메라를 구비한 휴대단말기에서 마우스 실행 장치에 있어서, 외부 영상 신호를 받아들이는 카메라 모듈과, 가시광이나 적외선과 같은 신호원을 상기 카메라 모듈로 전달하는 입력 장치를 포함하는 것을 특징으로 하고,
상기 카메라 모듈은 카메라 모듈의 이미지 센서에서 상기 외부 영상 신호를 받아들이는 것을 특징으로 하고,
상기 입력 장치는 상기 가시광 또는 적외선과 같이 이미지 센서가 인식할 수 있는 신호원을 광원으로 사용할 수 있는 것을 특징으로 하고,
상기 입력 장치는 스위치를 통하여 상기 가시광 또는 적외선과 같은 신호원을 점광원으로 카메라 모듈의 이미지 센서로 방출하는 것을 특징으로 한다.
본 발명에 의하면, 휴대단말기에 장착된 카메라 모듈을 이용하여 사용자가 원하는 정보를 입력함으로 인하여 공간의 제약에 상관 없이 정보를 입력할 수 있는 효과가 있다.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
종래의 기술에서 언급한 바와 같이, 기존의 기능들을 구비한 휴대단말기는 휴대단말기의 특정한 공간 또는 사용 공간을 할당하여야 하거나 정보를 입력 시 사용자가 원하는 정보를 정확히 입력하기 어려운 문제점이 있었다. 따라서 종래 기술에서 언급한 문제를 해결하고자 본 발명에서는 손가락으로 쉽게 제어할 수 있는 입력 장치와 휴대단말기에 장착되어 있는 카메라 모듈을 이용하여 사용자가 원하는 정보를 정확히 입력할 수 있는 새로운 방법을 제안한다. 이하 본 발명의 내부 구성을 도시한 구성도와 흐름도를 참조하여 자세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 점광원이 이용하여 데이터를 입력하는 모습을 나타낸 도면이다.
도 1의 구성을 살펴보면, 휴대단말기에 장착되어 있는 카메라 모듈, 사용자가 쉽게 ON 또는 OFF 할 수 있는 입력 장치, 입력 장치의 움직임을 출력하는 스크린으로 구성된다. 본 발명에서 사용되는 펜 모양의 입력 장치에서의 출력은 LED 또는 적외선과 같은 점광원을 사용하고, 이 광원이 카메라 모듈로 향하여 진행할 때 가리지 않도록 입력 장치의 전단부에 돌출되어 설치한다. 입력 장치에서 출력된 광원은 휴대단말기에 장착된 카메라 모듈 내의 이미지 센서에서 감지하여 광원에 대한 정보를 스크린으로 출력하게 된다.
여기서 휴대단말기에 장착되어 있는 카메라 모듈에서 이미지 센서는 효율적으로 가시광선 또는 적외선을 흡수하는 특성이 있다. 하기의 이미지 센서의 내부 구성도를 상세하게 나타내었다.
도 2는 본 발명에 적용되는 카메라 모듈의 이미지 센서의 내부 구성도이다.
도 2를 살펴보면, 외부 영상이 마이크로 렌즈 군으로 들어가서 하나하나의 단위 픽셀 형태로 나누어진다. 이 픽셀 형태의 외부 영상은 컬러 필터 군을 거쳐서 외부 영상을 결상하는 필터 군으로 전송된다. 필터 군에서는 포토 다이오드를 이용하여 하나의 단위 픽셀을 형성하고, 이 픽셀들이 X와 Y의 좌표 방향으로 정렬되어 만들어진다. 픽셀 군에서는 각각의 단위 픽셀의 해당 위치에 따른 영상 신호를 샘플링하여 모자이크 형태의 영상 데이터를 만들게 된다. 이것이 적기적인 신호로 변환되어, CDS(Correlated Double Sampling)와 ASC(Analog Signal Chain)를 거쳐 아날로그적인 영상 신호로 완성된다. 이 신호는 ADC(Analog Digital Convertor)를 통해 디지털적인 신호로 변환되어 이미지 신호 처리부로 전송된다.
상기 도 2에서 설명된 이미지 센서에서 외부 영상 신호를 샘플링하여 만들어진 모자이크 형태의 영상 데이터는 가로축을 X, 세로축을 Y 로 하는 좌표의 형태로 표현할 수 있다. 그 좌표를 이미지 센서의 필터 군 내에서의 단위 픽셀들의 좌표와 일대일로 맵핑시킬 수 있다.
도 3은 본 발명의 일 실시 예에 따른 이미지 센서의 픽셀 군과 단일 혹은 다수의 픽셀로 이루어진 점광원 신호를 맵핑시킨 도면이다. 이 경우, 만약 강한 점광원 신호가 같이 들어왔을 때, 이를 이미지 센서의 픽셀 군 내에서 X와 Y의 좌표를 검색하여 그 위치 값을 검출할 수 있고, 이를 이미지 신호 처리부를 통하여 스크린에 표시할 수도 있다.
도 3을 살펴보면, 사용자가 쉽게 ON 또는 OFF 할 수 있는 입력 장치를 이용하여 휴대용기기의 카메라 모듈에 가시광 또는 적외선을 광원으로 하는 점광원 신 호를 방사하면, 카메라 모듈의 이미지 센서에서 점광원 신호를 함께 받아들여 X, Y 좌표에 맞게 휴대용기기의 스크린에 출력한다. 이때 입력 장치에서 방사되는 점광원은 가시광 또는 적외선을 집적하여 방사하기 때문에 외부 영상 신호에 비하여 강한 신호의 특성을 가지고 있으며 이러한 특성으로 인하여 점광원 신호의 위치를 맵핑하여 검출할 수 있다.
또한 이미지 센서 픽셀의 노출 시간을 충분히 작게 하여 외부 영상 신호의 신호 크기를 줄이고, 외부 영상 신호 보다 강한 신호인 점광원만을 유효한 데이터로 만들어 유효한 데이터의 위치 값을 검출할 수도 있다. 상기에서 설명한 점광원 검출 과정을 흐름도로 나타내면 하기와 같다.
도 4는 본 발명의 일 실시 예에 따른 입력 장치의 입력에 따른 점광원을 검출하는 흐름도로서, 입력 장치에서 출력한 점광원을 이미지 센서를 이용하여 스크린에 출력하는 흐름을 나타내었다.
도 4를 살펴보면, 먼저 401단계에서 점광원 신호를 카메라 모듈에서 받아들인다. 403단계에서 카메라 모듈의 이미지 센서는 받아들인 외부 영상 신호를 샘플링하여 영상 데이터로 변환시킨다. 변환된 영상 데이터를 이용하여 405단계에서 단위 픽셀의 조합으로 이루어져 있는 영상 데이터와 이미지 센서의 픽셀 군을 단위 픽셀 별로 일대일로 맵핑하여 외부 영상 신호에 대한 데이터 값을 휴대단말기의 스크린에 출력한다. 여기서 외부 영상 신호에 대한 데이터 값은 이미지 센서의 픽셀 군과 일대일로 맵핑되었기 때문에 특정 픽셀에 대한 위치 값을 알 수 있게 된다.
이때 맵핑된 영상 데이터 안에 점광원이라고 생각되는 강한 신호원이 존재 할 수 있다. 이를 판별하기 위해서 407단계에서 점광원이라고 생각되는 강한 신호원의 픽셀의 좌표 값을 검출하여 409단계에서 특정 값으로 미리 저장되어 있는 임계값 1, 2와 비교하게 된다.
411단계에서 만약 점광원을 포함하는 데이터 값이 임계값 1보다 작을 경우에는 415단계로 진행하여 입력 장치의 출력이 없는 것으로 판단하고 점광원 검출을 종료한다. 만약 점광원을 포함하는 데이터 값이 임계값 1보다 클 경우에는 413단계로 진행한다.
413단계에서 만약 점광원을 포함하는 데이터 값이 임계값 2보다 작을 경우에는 417단계로 진행하여 데이터 값을 스크린에서 특정 인식 표시로 디스플레이하여 스크린 내의 원하는 방향으로 인식 표시를 이동하거나 스크린 상에서 사용자가 원하는 코멘트를 입력 할 수 있다.
만약 점광원을 포함하는 데이터 값이 임계값 2보다 큰 경우에는 419단계로 진행하여 스크린 상에서 선택된 값을 실행시키는 키보드의 엔터와 같은 역할을 하게 된다.
여기서 임계값 1과 임계값 2는 입력 장치에서 방사한 가시광 또는 적외선의 밝기 또는 세기를 파악하는데 기준이 되는 값으로, 임계값 1은 외부 영상에 점광원이 포함되어 있는지의 유무를 판별하는 값으로 쓰이고, 임계값 2는 외부 영상에 점광원이 포함되어 있을 경우에 점광원의 세기에 따른 각기 다른 값을 판별할 때 쓰인다.
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 픽셀 군과 활성화된 점 광원들의 값을 맵핑한 도면이다.
도 5를 살펴보면, 카메라 모듈의 이미지 센서의 픽셀 군이 도시되어 있고, 단위 픽셀의 조합으로 이루어져 있는 영상 데이터와 이미지 센서의 픽셀 군을 단위 픽셀 별로 일대일로 맵핑하여 외부 영상 신호에 대한 데이터 값을 휴대용기기의 스크린에 출력할 수 있다.
이 외부 영상 신호에 대한 데이터 값에 점광원의 데이터 값이 다수의 단위 픽셀로 검출 될 경우, 이를 이미지 센서의 픽셀 군과 맵핑하여 도 5의 두 번째 도면과 같이 나타낼 수 있다. 다수의 단위 픽셀로 형성된 외부 영상 신호에 대한 데이터 값에는 입력 장치에서 방사한 모든 가시광 또는 적외선이 포함되어 있다.
점광원(신호원)으로 사용될 수 있는 것은 휴대단말기에 장착된 카메라 모듈의 이미지 센서가 인식 가능한 가시광이나 적외선이 될 수 있으며, 이 외에도 이미지 센서가 인식 가능한 작고 충분히 밝은 점광원으로 만들 수 있는 광원은 모두 신호원으로 사용될 수 있다.
입력 장치는 사용이 간편하도록 손가락으로 쥐고 스위칭이 가능한 형태의 작은 마우스나 손가락 끝에 끼울 수 있는 손톱 마우스 형태에 광원을 탑재하여 광원의 ON 또는 OFF를 스위칭 하여 사용자가 원하는 신호를 보낼 수 있도록 구성된다.
사용 환경 상의 특징으로는 카메라 전면에서 신호를 입력하는 경우, 공간형 마우스로 사용 할 수 있으며, 보통의 마우스 사용 환경과 유사하게 바닥에서 광원의 위치를 움직여 신호를 입력 할 수도 있다. 이 경우에는 바닥의 굴곡 상태나 색깔에 무관하게 사용할 수 있다.
또한 카메라 모듈의 화각을 크게 하는 경우, 사용자가 입력 장치를 충분히 움직여 비교적 정교하게 스크린에 출력 값을 나타낼 수 있다.
상기와 같이 본 발명의 일 실시 예에 따른 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법의 구성 및 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 점광원이 이용하여 데이터를 입력하는 모습을 나타낸 도면
도 2는 본 발명에 적용되는 카메라 모듈의 이미지 센서의 내부 구성도
도 3은 본 발명의 일 실시 예에 따른 이미지 센서의 픽셀 군과 단일 혹은 다수의 픽셀로 이루어진 점광원 신호를 맵핑시킨 도면
도 4는 본 발명의 일 실시 예에 입력 장치의 입력에 따른 점광원을 검출하는 흐름도
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 픽셀 군과 활성화된 점광원들의 값을 맵핑한 도면

Claims (8)

  1. 카메라를 구비한 휴대단말기에서 마우스 실행 방법에 있어서,
    카메라 모듈에서 외부 영상 신호를 캡쳐하는 과정과,
    상기 외부 영상 신호를 샘플링하여 영상 데이터로 변환하는 과정과,
    상기 샘플링된 영상 데이터의 픽셀 군과 이미지 센서의 픽셀 군을 단위 픽셀 별로 일대일로 맵핑하는 과정과,
    상기 맵핑된 픽셀 군에서 점광원을 포함하는 데이터의 좌표 값을 검출하는 과정과,
    상기 검출된 데이터 값이 실제로 점광원을 포함하는가를 판별하는 과정과,
    상기 판별된 점광원을 포함하는 데이터 값을 스크린에 디스플레이하는 과정을 포함하는 것을 특징으로 하는 마우스 실행 방법.
  2. 제 1항에 있어서, 상기 샘플링하여 영상 데이터로 변환하는 과정은
    상기 휴대단말기에 장착되어 있는 카메라 모듈의 이미지 센서에서 변환하는 것을 특징으로 하는 마우스 실행 방법.
  3. 제 1항에 있어서, 상기 일대일로 맵핑하는 과정은
    상기 이미지 센서의 센서 군에서 X 축과 Y축을 기준으로 좌표를 생성하여 스크린에 맵핑시키는 것을 특징으로 하는 마우스 실행 방법.
  4. 제 1항에 있어서, 상기 검출된 데이터 값이 실제로 점광원을 포함하는가를 판별하는 과정은
    특정 값으로 정해져있는 임계값을 기준으로 하여 임계값보다 큰 데이터 값이 검출되면 상기 데이터 값을 활성화시키는 것을 특징으로 하는 마우스 실행 방법.
  5. 카메라를 구비한 휴대단말기에서 마우스 실행 장치에 있어서,
    외부 영상 신호를 받아들이는 카메라 모듈과,
    가시광이나 적외선과 같은 신호원을 상기 카메라 모듈로 전달하는 입력 장치를 포함하는 것을 특징으로 하는 마우스 실행 장치.
  6. 제 5항에 있어서, 상기 카메라 모듈은
    카메라 모듈의 이미지 센서에서 상기 외부 영상 신호를 받아들이는 것을 특징으로 하는 마우스 실행 장치.
  7. 제 5항에 있어서, 상기 입력 장치는
    상기 가시광 또는 적외선과 같이 이미지 센서가 인식할 수 있는 신호원을 광원으로 사용할 수 있는 것을 특징으로 하는 마우스 실행 장치.
  8. 제 5항에 있어서, 상기 입력 장치는
    스위치를 통하여 상기 가시광 또는 적외선과 같은 신호원을 점광원으로 카메라 모듈의 이미지 센서로 방출하는 것을 특징으로 하는 마우스 실행 장치.
KR1020070089954A 2007-09-05 2007-09-05 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법 KR101432295B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070089954A KR101432295B1 (ko) 2007-09-05 2007-09-05 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법
US12/203,208 US8149213B2 (en) 2007-09-05 2008-09-03 Mouse pointer function execution apparatus and method in portable terminal equipped with camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070089954A KR101432295B1 (ko) 2007-09-05 2007-09-05 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090024958A true KR20090024958A (ko) 2009-03-10
KR101432295B1 KR101432295B1 (ko) 2014-08-21

Family

ID=40406683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070089954A KR101432295B1 (ko) 2007-09-05 2007-09-05 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법

Country Status (2)

Country Link
US (1) US8149213B2 (ko)
KR (1) KR101432295B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4530419B2 (ja) * 2006-03-09 2010-08-25 任天堂株式会社 座標算出装置および座標算出プログラム
US8730169B2 (en) * 2009-10-29 2014-05-20 Pixart Imaging Inc. Hybrid pointing device
US20120013532A1 (en) * 2009-10-29 2012-01-19 Pixart Imaging Inc. Hybrid pointing device
US8581847B2 (en) 2009-10-29 2013-11-12 Pixart Imaging Inc. Hybrid pointing device
US8648836B2 (en) 2010-04-30 2014-02-11 Pixart Imaging Inc. Hybrid pointing device
US8760403B2 (en) 2010-04-30 2014-06-24 Pixart Imaging Inc. Hybrid human-interface device
CN105513532B (zh) * 2015-12-07 2018-04-24 深圳市奥拓电子股份有限公司 一种led单元板连接方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128007A (en) * 1996-07-29 2000-10-03 Motorola, Inc. Method and apparatus for multi-mode handwritten input and hand directed control of a computing device
JP4697916B2 (ja) * 2000-07-07 2011-06-08 キヤノン株式会社 座標入力装置及びその制御方法、プログラム
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
KR100677457B1 (ko) * 2005-05-24 2007-02-02 엘지전자 주식회사 단말기의 카메라를 이용한 메뉴 입력 장치 및 방법

Also Published As

Publication number Publication date
US20090058807A1 (en) 2009-03-05
US8149213B2 (en) 2012-04-03
KR101432295B1 (ko) 2014-08-21

Similar Documents

Publication Publication Date Title
US20230384867A1 (en) Motion detecting system having multiple sensors
US8022928B2 (en) Free-space pointing and handwriting
TWI450159B (zh) Optical touch device, passive touch system and its input detection method
KR100811015B1 (ko) 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
CN103365549B (zh) 输入装置、显示系统及输入方法
US8610670B2 (en) Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
KR101432295B1 (ko) 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법
US20100207872A1 (en) Optical displacement detecting device and operating method thereof
CN102331884A (zh) 具有可触控投影画面的投影系统
JP2010205069A (ja) 入力装置
KR20110074488A (ko) 촬상 장치, 표시 촬상 장치 및 전자 기기
KR20160081855A (ko) 스마트 펜 및 이를 이용한 증강현실 구현 시스템
US20120044143A1 (en) Optical imaging secondary input means
US6538645B1 (en) Computer input system utilizing a camera to sense point source
US8502778B2 (en) Dual-mode input device operable in a selected one of a relative coordinate mode and an absolute coordinate mode
US20070131031A1 (en) Wireless inertial input device
US20150153892A1 (en) Input device and input management method
KR200477008Y1 (ko) 마우스 겸용 스마트폰
TWI510966B (zh) 用於一電子裝置之輸入系統及相關方法
JP4894905B2 (ja) 情報処理システム及び表示処理プログラム
KR20090025560A (ko) 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법
US20140267033A1 (en) Information Technology Device Input Systems And Associated Methods
KR20070042858A (ko) 펜 형태의 디지털 입력 장치
TWI522892B (zh) 具有虛擬輸入功能的電子裝置
KR20160121963A (ko) 제스처 인식이 가능한 적외선 터치스크린 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180727

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 6