KR20090025560A - 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법 - Google Patents

카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법 Download PDF

Info

Publication number
KR20090025560A
KR20090025560A KR1020070090505A KR20070090505A KR20090025560A KR 20090025560 A KR20090025560 A KR 20090025560A KR 1020070090505 A KR1020070090505 A KR 1020070090505A KR 20070090505 A KR20070090505 A KR 20070090505A KR 20090025560 A KR20090025560 A KR 20090025560A
Authority
KR
South Korea
Prior art keywords
data
light source
camera module
point light
image sensor
Prior art date
Application number
KR1020070090505A
Other languages
English (en)
Inventor
강화영
윤영권
이준영
강성욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070090505A priority Critical patent/KR20090025560A/ko
Priority to EP08163587A priority patent/EP2034394A1/en
Priority to US12/203,307 priority patent/US20090066649A1/en
Priority to CN2008102157651A priority patent/CN101382838B/zh
Publication of KR20090025560A publication Critical patent/KR20090025560A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

카메라를 구비한 휴대단말기에서 마우스 실행 방법에 있어서, 카메라 모듈에서 외부 영상 신호를 캡쳐하는 과정과, 외부 영상 신호를 샘플링하여 영상 데이터로 변환하는 과정과, 샘플링된 영상 데이터의 픽셀 군과 이미지 센서의 픽셀 군을 단위 픽셀 별로 일대일로 맵핑하는 과정과, 맵핑된 픽셀 군에서 점광원을 포함하는 데이터의 좌표 값을 검출하는 과정과, 검출된 데이터의 평균 밝기 값이 실제로 점광원을 포함하는가를 판별하는 과정과, 판별된 점광원을 포함하는 데이터 값을 스크린에 디스플레이하는 과정을 포함하는 것을 특징으로 한다.
마우스, 동화상, 점광원

Description

카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법{REALIZING APPARATUS AND METHOD OF MOUSE FOR PORTABLE WIRELESS TERMINAL WITH CAMERA}
본 발명은 휴대용 기기에 관한 것으로, 특히 카메라를 포함하는 휴대단말기에서 마우스(Mouse)의 실행 장치 및 그 방법에 관한 것이다.
일반적으로 휴대단말기는 셀룰러 폰(Cellular Phone), 개인용 정보 단말기(PDA:Personal Digital Assistant), 개인용 통신 서비스 폰(PCS: Personal Communication Services Phone), IMT-2000 단말기(International Mobile Telecommunication-2000), GSM(Global System For Mobile Communication)단말기 등과 같이, 이동하면서 통화를 하거나 데이터를 교환할 수 있는 통신 기능을 제공하는 기기를 말한다.
휴대단말기는 남녀노소를 막론하고 전 세계 어디에서도 통용되는 기기로서, 항시 휴대하고 다녀야 할 필수품으로 인식되어 가고 있다. 때문에 휴대단말기는 휴대성을 고려하여 소형화, 슬림화 및 경량화 되어가는 추세에 있으며, 보다 다양한 기능을 추구할 수 있는 멀티미디어화 방향으로 나아가고 있다.
특히 앞으로의 휴대단말기는 점점 소형화, 다기능 및 다목적으로 사용될 것 이며, 다양한 멀티미디어 환경이나 인터넷 환경에 적응되도록 변형될 것이다.
현재 휴대 이동통신 단말기는 음성 통신 기능 이외에 고속의 데이터를 전송할 수 있는 구조로 변환하고 있다. 휴대단말기를 이용하여 음성통신 이외에 고속의 데이터 통신을 구현할 수 있고, 데이터 통신을 수행하는 휴대단말기에서 처리할 수 있는 데이터들은 패킷 데이터 및 영상데이터들이 될 수 있다. 또한 휴대단말기에 카메라나 TV수신기 등을 부가하여 동영상신호를 표시할 수 있는 기능이 구현되고 있다. 따라서 상기와 같이 카메라를 구비하는 휴대단말기는 영상화면을 촬영하여 동영상(moving picture) 및 정지영상(still picture)으로 표시할 수 있으며, 또한 촬영된 영상 화면을 전송할 수도 있다.
이러한 화상통화 기능을 구비하는 휴대단말기는 오디오송수신과 함께 비디오송수신을 수행하면서, 사용자의 비디오 데이터를 송신하고 상대측의 비디오 데이터를 수신하여 스크린에 동시에 출력하여 통화를 수행할 수 있다.
그러나 통상적으로 동화상 통화 시에 상대방에게 전송되는 동영상 또는 정지영상 속의 일부 내용을 설명하거나 지시하기 위해서는 사용자가 말로 설명을 하거나 행동으로 설명을 할 수 밖에 없었다. 이러한 경우 사용자가 스크린을 보지 못하고 설명을 해야 하는 경우가 생길 수 있고, 동영상 또는 정지영상에서 설명하고자 하는 일부 내용이 복잡할 경우 정확한 의사 전달이 어려워지는 문제점이 생긴다. 또한 정확한 의사 전달을 위해서 말이나 행동으로 설명하기 위한 소비 시간이 길어지는 문제점도 생긴다.
즉 동영상으로 전송되는 특정 상황이나 정지영상으로 전송되는 특정 부분을 사용자의 추가적인 설명이 필요 없이 신속하고 정확하게 지적하여 상대방에게 전달하기 위한 입력 방법이 없었다.
본 발명은 동화상 통화 시 전송되는 화면에 대한 설명을 보다 효과적으로 전달하기 위하여 사용자의 시선을 바꾸지 않고 분명하게 전달할 수 있는 장치 및 방법을 제공하고자 한다.
본 발명의 일 견지에 따르면, 카메라를 구비한 휴대단말기에서 마우스 실행 방법에 있어서, 카메라 모듈에서 외부 영상 신호를 캡쳐하는 과정과, 상기 외부 영상 신호를 샘플링하여 영상 데이터로 변환하는 과정과, 상기 샘플링된 영상 데이터의 픽셀 군과 이미지 센서의 픽셀 군을 단위 픽셀 별로 일대일로 맵핑하는 과정과, 상기 맵핑된 픽셀 군에서 점광원을 포함하는 데이터의 좌표 값을 검출하는 과정과, 상기 검출된 데이터의 평균 밝기 값이 실제로 점광원을 포함하는가를 판별하는 과정과, 상기 판별된 점광원을 포함하는 데이터 값을 스크린에 디스플레이하는 과정을 포함하는 것을 특징으로 하고,
상기 샘플링하여 영상 데이터로 변환하는 과정은 상기 휴대단말기에 장착되어 있는 카메라 모듈의 이미지 센서에서 변환하는 것을 특징으로 하고,
상기 일대일로 맵핑하는 과정은 상기 이미지 센서의 센서 군에서 X 축과 Y축을 기준으로 좌표를 생성하여 스크린에 맵핑시키는 것을 특징으로 하고,
상기 검출된 데이터의 평균 밝기 값은 특정 프레임의 수로 정해져 있는 평균 밝기 값을 나타내는 것을 특징으로 하고,
상기 검출된 데이터 평균 밝기 값이 실제로 점광원을 포함하는가를 판별하는 과정은 특정 값으로 정해져있는 임계값을 기준으로 하여 임계값보다 큰 데이터 값이 검출되면 상기 데이터 값을 활성화시키는 것을 특징으로 한다.
본 발명의 다른 견지에 따르면, 카메라를 구비한 휴대단말기에서 마우스 실행 장치에 있어서, 외부 영상 신호를 받아들이는 카메라 모듈과, 가시광이나 적외선과 같은 신호원을 상기 카메라 모듈로 전달하는 입력 장치를 포함하는 것을 특징으로 하고,
상기 카메라 모듈은 카메라 모듈의 이미지 센서에서 상기 외부 영상 신호를 받아들이는 것을 특징으로 하고,
상기 입력 장치는 상기 가시광 또는 적외선과 같이 이미지 센서가 인식할 수 있는 신호원을 광원으로 사용할 수 있는 것을 특징으로 하고, ]
상기 입력 장치는 스위치를 통하여 상기 가시광 또는 적외선과 같은 신호원을 점광원으로 카메라 모듈의 이미지 센서로 방출하는 것을 특징으로 한다.
본 발명에 의하면, 동화상 통화 시 전송되는 화면에 대한 설명을 사용자의 시선을 바꾸지 않고 정확하고 분명하게 전달할 수 있는 효과가 있다.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
종래의 기술에서 언급한 바와 같이, 기존의 동화상 통화 시 상대방에게 전송되는 동영상 또는 정지영상 속의 일부 내용을 설명하거나 지시하기 위해서는 사용자가 말로 설명을 하거나 행동으로 설명을 할 수 밖에 없어서 사용자가 스크린을 보지 못하고 설명을 해야 하는 경우가 생길 수 있고, 동영상 또는 정지영상에서 설명하고자 하는 일부 내용이 복잡할 경우 정확한 의사 전달이 어려워지는 문제점이 있었다. 따라서 종래 기술에서 언급한 문제를 해결하고자 본 발명에서는 손가락으로 쉽게 제어할 수 있는 입력 장치와 휴대단말기에 장착되어 있는 카메라 모듈을 이용하여 사용자가 원하는 정보를 정확히 입력할 수 있는 새로운 방법을 제안한다. 이하 본 발명의 내부 구성을 도시한 구성도와 흐름도를 참조하여 자세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 점광원이 이용하여 데이터를 입력하는 모습을 나타낸 도면이다.
도 1의 구성을 살펴보면, 휴대단말기에 장착되어 있는 카메라 모듈, 사용자가 쉽게 ON 또는 OFF 할 수 있는 입력 장치, 입력 장치의 움직임을 출력하는 스크린으로 구성된다. 본 발명에서 사용되는 펜 모양의 입력 장치에서의 출력은 LED 또는 적외선과 같은 점광원을 사용하고, 이 광원이 카메라 모듈로 향하여 진행할 때 가리지 않도록 입력 장치의 전단부에 돌출되어 설치한다. 입력 장치에서 출력된 광원은 휴대단말기에 장착된 카메라 모듈 내의 이미지 센서에서 감지하여 광원에 대한 정보를 스크린으로 출력하게 된다.
여기서 휴대단말기에 장착되어 있는 카메라 모듈에서 이미지 센서는 효율적으로 가시광선 또는 적외선을 흡수하는 특성이 있다. 하기의 이미지 센서의 내부 구성도를 상세하게 나타내었다.
도 2는 본 발명에 적용되는 카메라 모듈의 이미지 센서의 내부 구성도이다.
도 2를 살펴보면, 외부 영상이 마이크로 렌즈 군으로 들어가서 하나하나의 단위 픽셀 형태로 나누어진다. 이 픽셀 형태의 외부 영상은 컬러 필터 군을 거쳐서 외부 영상을 결상하는 필터 군으로 전송된다. 필터 군에서는 포토 다이오드를 이용하여 하나의 단위 픽셀을 형성하고, 이 픽셀들이 X와 Y의 좌표 방향으로 정렬되어 만들어진다. 픽셀 군에서는 각각의 단위 픽셀의 해당 위치에 따른 영상 신호를 샘플링하여 모자이크 형태의 영상 데이터를 만들게 된다. 이것이 적기적인 신호로 변환되어, CDS(Correlated Double Sampling)와 ASC(Analog Signal Chain)를 거쳐 아날로그적인 영상 신호로 완성된다. 이 신호는 ADC(Analog Digital Convertor)를 통해 디지털적인 신호로 변환되어 이미지 신호 처리부로 전송된다.
상기 도 2에서 설명된 이미지 센서에서 외부 영상 신호를 샘플링하여 만들어진 모자이크 형태의 영상 데이터는 가로축을 X, 세로축을 Y 로 하는 좌표의 형태로 표현할 수 있다. 그 좌표를 이미지 센서의 필터 군 내에서의 단위 픽셀들의 좌표와 일대일로 맵핑시킬 수 있다.
도 3은 본 발명의 일 실시 예에 따른 동영상 모드에서 이미지 센서의 픽셀 군과 단일 혹은 다수의 픽셀로 이루어진 점광원 신호를 맵핑시킨 도면이다. 이 경우, 만약 강한 점광원 신호가 같이 들어왔을 때, 이를 이미지 센서의 픽셀 군 내에 서 X와 Y의 좌표를 검색하여 그 위치 값을 검출할 수 있고, 이를 이미지 신호 처리부를 통하여 스크린에 표시할 수 있다.
도 3을 살펴보면, 동화상 통화 중 사용자가 지시하거나 설명해야 할 화면의 특정 영역이 나오면, 카메라 모듈의 화각 내에서 입력 장치를 이용한 점광원을 방사하여 특정 영역을 포인터로 표시하듯 가리킨다. 이때 카메라 모듈의 이미지 센서에서는 특정 값으로 미리 설정되어 있는 임계값 이상의 데이터가 검출되는 단위 픽셀의 위치 정보를 X와 Y를 기준으로 파악하여, 검출된 데이터를 스크린에 출력하게 된다.
여기서 스크린에 출력되는 신호는 지시 아이콘 등으로 구현이 가능하고, 사용자의 선택에 따라서 복수개의 신호가 스크린 상에 계속 남아 있을 수도 있고, 한 번 디스플레이 후 지울 수도 있다.
또한 휴대단말기의 기종에 따라 카메라 모듈이 하나 더 장착될 수 있는데, 이러한 경우에는 카메라 모듈의 선택을 사용자가 원하는 대로 바꾸어 가며 사용자가 지시하거나 설명해야 할 화면의 특정 영역이 나오면, 입력 장치를 이용한 점광원을 방사하여 특정 영역을 포인터로 표시하듯 가리킬 수 있다.
도 4는 본 발명의 일 실시 예에 따른 정지영상 모드에서 이미지 센서의 픽셀 군과 단일 혹은 다수의 픽셀로 이루어진 점광원 신호를 맵핑시킨 도면이다. 이 경우에도 상기 도 3과 같이 만약 강한 점광원 신호가 같이 들어왔을 때, 이를 이미지 센서의 픽셀 군 내에서 X와 Y의 좌표를 검색하여 그 위치 값을 검출할 수 있고, 이를 이미지 신호 처리부를 통하여 스크린에 표시할 수 있다.
도 4를 살펴보면, 동화상 통화 중 지도나 사진과 같은 특정 화면에 대한 자세한 설명이 필요한 경우, 설명하고자 하는 특정 화면을 계속 전송하면서 이 화면에 지시하고자 하는 내용을 담아서 전송할 수 있다. 지시하고자 하는 내용은 상기에서처럼 입력 장치를 이용한 점광원과 카메라 모듈의 이미지 센서에 의해 생성되며 도 4에서 도시된 바와 같이 하나 이상의 단일 픽셀을 특정 화면에 겹쳐서 디스플레이하여 하나의 선으로 스크린에 출력되어질 수 있다.
상기에서 본 발명의 일 실시 예를 들어 설명한 점광원 검출 과정을 흐름도로 나타내면 하기와 같다.
도 5는 본 발명의 일 실시 예에 따른 동영상에서 입력 장치의 입력에 따른 점광원을 검출하는 흐름도로서, 입력 장치에서 출력한 점광원을 이미지 센서를 이용하여 스크린에 출력하는 흐름을 나타내었다.
도 5를 살펴보면, 먼저 501단계에서 점광원 신호를 카메라 모듈에서 받아들인다. 503단계에서 카메라 모듈의 이미지 센서는 받아들인 외부 영상 신호를 샘플링하여 영상 데이터로 변환시킨다. 변환된 영상 데이터를 이용하여 505단계에서 단위 픽셀의 조합으로 이루어져 있는 영상 데이터와 이미지 센서의 픽셀 군을 단위 픽셀 별로 일대일로 맵핑하여 외부 영상 신호에 대한 데이터 값을 휴대단말기의 스크린에 출력한다. 여기서 외부 영상 신호에 대한 데이터 값은 이미지 센서의 픽셀 군과 일대일로 맵핑되었기 때문에 특정 픽셀에 대한 위치 값을 알 수 있게 된다.
이때 맵핑된 영상 데이터 안에 점광원이라고 생각되는 강한 신호원이 존재 할 수 있다. 이를 판별하기 위해서 507단계에서 점광원이라고 생각되는 강한 신호 원의 픽셀의 좌표 값을 검출하여 509단계에서 점광원이 포함되어 있는 데이터의 평균 값을 계산하여 임계값과 비교한다. 동영상의 특성상 하나의 프레임이 아닌 복수개의 프레임에서 좌표 값을 검출하고, 검출된 복수개의 좌표 값에 해당하는 데이터의 평균 값을 계산한다.
511단계에서 만약 점광원을 포함하는 데이터의 평균 값이 임계값보다 작을 경우에는 515단계로 진행하여 입력 장치의 출력이 없는 것으로 판단하고 점광원 검출을 종료한다. 만약 점광원을 포함하는 데이터의 평균 값이 임계값 1보다 클 경우에는 513단계로 진행하여 점광원을 포함하는 데이터의 좌표 값을 검출하여 스크린에 디스플레이한다.
여기서 점광원의 변하는 위치 정보를 누적하여 스크린에 디스플레이 할 수도 있고, 현재의 위치 정보만 디스플레이 할 수도 있다.
임계값은 입력 장치에서 방사한 가시광 또는 적외선의 밝기 또는 세기를 파악하는데 기준이 되는 값으로 점광원의 세기에 따른 값을 판별할 때 쓰인다.
도 6은 본 발명의 일 실시 예에 따른 이미지 센서의 픽셀 군과 활성화된 점광원들의 값을 맵핑한 도면이다.
도 6을 살펴보면, 카메라 모듈의 이미지 센서의 픽셀 군이 도시되어 있고, 단위 픽셀의 조합으로 이루어져 있는 영상 데이터와 이미지 센서의 픽셀 군을 단위 픽셀 별로 일대일로 맵핑하여 외부 영상 신호에 대한 데이터 값을 휴대용기기의 스크린에 출력할 수 있다.
이 외부 영상 신호에 대한 데이터 값에 점광원의 데이터 값이 다수의 단위 픽셀로 검출 될 경우, 이를 이미지 센서의 픽셀 군과 맵핑하여 도 5의 두 번째 도면과 같이 나타낼 수 있다. 다수의 단위 픽셀로 형성된 외부 영상 신호에 대한 데이터 값에는 입력 장치에서 방사한 모든 가시광 또는 적외선이 포함되어 있다.
점광원(신호원)으로 사용될 수 있는 것은 휴대단말기에 장착된 카메라 모듈의 이미지 센서가 인식 가능한 가시광이나 적외선이 될 수 있으며, 이 외에도 이미지 센서가 인식 가능한 작고 충분히 밝은 점광원으로 만들 수 있는 광원은 모두 신호원으로 사용될 수 있다.
입력 장치는 사용이 간편하도록 손가락으로 쥐고 스위칭이 가능한 형태의 작은 마우스나 손가락 끝에 끼울 수 있는 손톱 마우스 형태에 광원을 탑재하여 광원의 ON 또는 OFF를 스위칭 하여 사용자가 원하는 신호를 보낼 수 있도록 구성된다.
또한 카메라 모듈의 화각을 크게 하는 경우, 사용자가 입력 장치를 충분히 움직여 비교적 정교하게 스크린에 출력 값을 나타낼 수 있다.
상기와 같이 본 발명의 일 실시 예에 따른 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법의 구성 및 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 점광원이 이용하여 데이터를 입력하는 모습을 나타낸 도면이다.
도 2는 본 발명에 적용되는 카메라 모듈의 이미지 센서의 내부 구성도
도 3은 본 발명의 일 실시 예에 따른 동영상 모드에서 이미지 센서의 픽셀 군과 단일 혹은 다수의 픽셀로 이루어진 점광원 신호를 맵핑시킨 도면
도 4는 본 발명의 일 실시 예에 따른 정지영상 모드에서 이미지 센서의 픽셀 군과 단일 혹은 다수의 픽셀로 이루어진 점광원 신호를 맵핑시킨 도면
도 5는 본 발명의 일 실시 예에 따른 동영상에서 입력 장치의 입력에 따른 점광원을 검출하는 흐름도
도 6은 본 발명의 일 실시 예에 따른 이미지 센서의 픽셀 군과 활성화된 점광원들의 값을 맵핑한 도면

Claims (9)

  1. 카메라를 구비한 휴대단말기에서 마우스 실행 방법에 있어서,
    카메라 모듈에서 외부 영상 신호를 캡쳐하는 과정과,
    상기 외부 영상 신호를 샘플링하여 영상 데이터로 변환하는 과정과,
    상기 샘플링된 영상 데이터의 픽셀 군과 이미지 센서의 픽셀 군을 단위 픽셀 별로 일대일로 맵핑하는 과정과,
    상기 맵핑된 픽셀 군에서 점광원을 포함하는 데이터의 좌표 값을 검출하는 과정과,
    상기 검출된 데이터의 평균 밝기 값이 실제로 점광원을 포함하는가를 판별하는 과정과,
    상기 판별된 점광원을 포함하는 데이터 값을 스크린에 디스플레이하는 과정을 포함하는 것을 특징으로 하는 마우스 실행 방법.
  2. 제 1항에 있어서, 상기 샘플링하여 영상 데이터로 변환하는 과정은
    상기 휴대단말기에 장착되어 있는 카메라 모듈의 이미지 센서에서 변환하는 것을 특징으로 하는 마우스 실행 방법.
  3. 제 1항에 있어서, 상기 일대일로 맵핑하는 과정은
    상기 이미지 센서의 센서 군에서 X 축과 Y축을 기준으로 좌표를 생성하여 스 크린에 맵핑시키는 것을 특징으로 하는 마우스 실행 방법.
  4. 제 1항에 있어서, 상기 검출된 데이터의 평균 밝기 값은
    특정 프레임의 수로 정해져 있는 데이터의 평균 밝기 값을 나타내는 것을 특징으로 하는 마우스 실행 방법.
  5. 제 1항에 있어서, 상기 검출된 데이터 평균 밝기 값이 실제로 점광원을 포함하는가를 판별하는 과정은
    특정 값으로 정해져있는 임계값을 기준으로 하여 임계값보다 큰 데이터 값이 검출되면 상기 데이터 값을 활성화시키는 것을 특징으로 하는 마우스 실행 방법.
  6. 카메라를 구비한 휴대단말기에서 마우스 실행 장치에 있어서,
    외부 영상 신호를 받아들이는 카메라 모듈과,
    가시광이나 적외선과 같은 신호원을 상기 카메라 모듈로 전달하는 입력 장치를 포함하는 것을 특징으로 하는 마우스 실행 장치.
  7. 제 6항에 있어서, 상기 카메라 모듈은
    카메라 모듈의 이미지 센서에서 상기 외부 영상 신호를 받아들이는 것을 특징으로 하는 마우스 실행 장치.
  8. 제 6항에 있어서, 상기 입력 장치는
    상기 가시광 또는 적외선과 같이 이미지 센서가 인식할 수 있는 신호원을 광원으로 사용할 수 있는 것을 특징으로 하는 마우스 실행 장치.
  9. 제 6항에 있어서, 상기 입력 장치는
    스위치를 통하여 상기 가시광 또는 적외선과 같은 신호원을 점광원으로 카메라 모듈의 이미지 센서로 방출하는 것을 특징으로 하는 마우스 실행 장치.
KR1020070090505A 2007-09-06 2007-09-06 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법 KR20090025560A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020070090505A KR20090025560A (ko) 2007-09-06 2007-09-06 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법
EP08163587A EP2034394A1 (en) 2007-09-06 2008-09-03 Mouse pointer function execution apparatus and method in portable terminal equipped with camera
US12/203,307 US20090066649A1 (en) 2007-09-06 2008-09-03 Mouse pointer function execution apparatus and method in portable terminal equipped with camera
CN2008102157651A CN101382838B (zh) 2007-09-06 2008-09-08 配备相机的便携式终端中的鼠标指针功能执行设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070090505A KR20090025560A (ko) 2007-09-06 2007-09-06 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20090025560A true KR20090025560A (ko) 2009-03-11

Family

ID=40070674

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070090505A KR20090025560A (ko) 2007-09-06 2007-09-06 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법

Country Status (4)

Country Link
US (1) US20090066649A1 (ko)
EP (1) EP2034394A1 (ko)
KR (1) KR20090025560A (ko)
CN (1) CN101382838B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314258B (zh) * 2010-07-01 2013-10-23 原相科技股份有限公司 光学触控系统、物件位置计算装置以及物件位置计算方法
CN102446034B (zh) * 2010-10-13 2014-05-07 原相科技股份有限公司 光学触控系统及其物件侦测方法
KR101981141B1 (ko) * 2012-04-04 2019-08-28 삼성전자주식회사 펜 방식에 기반한 디스플레이의 좌표 검출 방법 및 장치
CN103677317B (zh) * 2013-12-11 2018-09-11 Tcl光电科技(惠州)有限公司 实现光标控制的移动终端及其实现光标控制的方法
CN105227854B (zh) * 2015-09-28 2019-01-11 浙江宇视科技有限公司 一种动态点光源判断方法及装置
US20180286130A1 (en) * 2016-01-06 2018-10-04 Hewlett-Packard Development Company, L.P. Graphical image augmentation of physical objects

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311396A (ja) * 1993-04-27 1994-11-04 Mitsubishi Electric Corp 映像回路
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
DE4336677C1 (de) 1993-10-27 1995-03-30 Siemens Ag Anordnung zur Bestimmung einer räumlichen Position und zur Eingabe von Steuerinformationen in ein System mit graphischer Benutzeroberfläche
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
KR100630888B1 (ko) * 2004-11-23 2006-10-04 삼성전자주식회사 이미지 암부인식률 개선을 위한 장치 및 방법
KR100677457B1 (ko) * 2005-05-24 2007-02-02 엘지전자 주식회사 단말기의 카메라를 이용한 메뉴 입력 장치 및 방법
US7996776B2 (en) 2006-02-27 2011-08-09 Microsoft Corporation Shared telepointer
TW200802036A (en) * 2006-06-01 2008-01-01 Micro Nits Co Ltd Input method of a pointer input system

Also Published As

Publication number Publication date
EP2034394A1 (en) 2009-03-11
CN101382838A (zh) 2009-03-11
CN101382838B (zh) 2010-06-16
US20090066649A1 (en) 2009-03-12

Similar Documents

Publication Publication Date Title
CN109766066A (zh) 一种消息处理的方法、相关装置及系统
KR102686603B1 (ko) 이미지 촬영 방법 및 전자 장비
KR20090025560A (ko) 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법
CN108234894B (zh) 一种曝光调整方法及终端设备
US9641743B2 (en) System, method, and apparatus for controlling timer operations of a camera
CN108628565A (zh) 一种移动终端操作方法及移动终端
CN108040209B (zh) 一种拍摄方法和移动终端
US20150253971A1 (en) Electronic apparatus and display control method
CN110944139B (zh) 一种显示控制方法及电子设备
KR101432295B1 (ko) 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법
CN112929734B (zh) 投屏方法、装置和电子设备
CN111491072A (zh) 一种像素时钟频率调整方法、装置及电子设备
CN109257505A (zh) 一种屏幕控制方法及移动终端
US20070131031A1 (en) Wireless inertial input device
CN109302564A (zh) 一种拍摄方法及移动终端
CN113612957B (zh) 通话方法以及相关设备
US8130134B2 (en) Reduced instruction set television control system and method of use
US10268283B2 (en) Pointing system, control device, and control method
US11438986B2 (en) Methods and systems for feature operational mode control in an electronic device
US9223386B2 (en) Interactive pointing device capable of switching capture ranges and method for switching capture ranges for use in interactive pointing device
CN109561258B (zh) 一种补光方法及终端设备
CN110851107B (zh) 一种电子设备的控制方法及电子设备
US20170011713A1 (en) Image outputting device
CN111273848A (zh) 一种显示方法和电子设备
CN110248050B (zh) 一种摄像头模组及移动终端

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application