KR100807622B1 - 영상처리를 이용한 입력장치 및 그 입력방법 - Google Patents

영상처리를 이용한 입력장치 및 그 입력방법 Download PDF

Info

Publication number
KR100807622B1
KR100807622B1 KR1020060091416A KR20060091416A KR100807622B1 KR 100807622 B1 KR100807622 B1 KR 100807622B1 KR 1020060091416 A KR1020060091416 A KR 1020060091416A KR 20060091416 A KR20060091416 A KR 20060091416A KR 100807622 B1 KR100807622 B1 KR 100807622B1
Authority
KR
South Korea
Prior art keywords
image
input
keypad
input image
frame
Prior art date
Application number
KR1020060091416A
Other languages
English (en)
Inventor
전정범
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020060091416A priority Critical patent/KR100807622B1/ko
Application granted granted Critical
Publication of KR100807622B1 publication Critical patent/KR100807622B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/021—Arrangements integrating additional peripherals in a keyboard, e.g. card or barcode reader, optical scanner

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • Image Input (AREA)

Abstract

영상처리를 이용한 입력장치가 개시된다. 복수 개의 버튼을 구비하는 키패드와, 피사체가 버튼을 지시할 때의 이미지를 촬상하여 입력영상을 생성하게 하는 이미지 센서와, 입력영상을 미리 저장된 참조영상들과 비교하여 각각의 참조영상에 대한 입력영상의 상관 값을 구한 후 입력영상과 가장 유사한 참조영상에 대응하는 정보가 입력되게 하는 영상처리부를 포함하는 영상처리를 이용한 입력장치는 그 부피를 줄일 수 있고 입력을 용이하게 할 수 있다.
영상처리, 입력영상, 참조영상, 상관 값

Description

영상처리를 이용한 입력장치 및 그 입력방법{INPUT APPARATUS USING IMAGE PROCESSING AND METHOD THEREOF}
도 1은 키패드를 이용한 종래의 입력장치를 구비하는 휴대용 단말기의 평면도.
도 2는 도 1에서 키패드가 눌려지는 상태를 개략적으로 도시한 단면도.
도 3은 본 발명의 일 실시 예에 따른 입력장치를 구비한 휴대용 단말기의 사시도.
도 4는 도 3에 도시된 휴대용 단말기에서 키패드의 평면도.
도 5는 본 발명의 일 실시 예에 따른 입력장치의 구성을 도시하는 도 4의 AA'선에 따른 단면도.
도 6a는 적외선 광원부가 작동할 때 피사체를 촬영하여 생성된 온 프레임의 개략도.
도 6b는 적외선 광원부가 작동하지 않을 때 피사체를 촬영하여 생성된 오프 프레임의 개략도.
도 6c는 온 프레임 및 오프 프레임의 차를 나타낸 개략도.
도 7은 본 발명의 일 실시 예에 따른 참조 영상의 개략도.
도 8은 본 발명의 일 실시 예에 따른 입력장치의 입력방법을 나타내는 흐름 도.
<도면 부호의 설명>
30 휴대용 단말기 31 키패드
33 버튼 35 렌즈
37 이미지 센서 39 인쇄회로기판
41 지지대 43 광원부
45 투광부 47 적외선 필터
49 피사체 51 배경
본 발명은 영상처리를 이용한 입력장치 및 그 입력방법에 관한 것이다.
최근의 전자장치는 정보의 입력수단으로서 버튼을 이용한 전자장치가 주류를 이루고 있다. 즉, 각각의 버튼에 대응하는 센서 또는 돔버튼을 버튼 아래에 구비하고 버튼이 눌려지면 상기 센서 또는 돔버튼이 이를 인식하여 정보가 입력되는 방식이 널리 채용되고 있다.
도 1은 이와 같은 종래의 입력장치를 구비하는 전자장치의 일 예인 휴대용 전화기의 개략도이고, 도 2는 도 1에서 키패드가 눌려져서 정보가 입력되는 상태를 개략적으로 나타낸 도면이다.
도 1을 참조하면, 휴대용 전화기(10)는 입력된 정보가 표시되는 디스플레이부(17) 및 키패드(11)가 전면에 구비되어 있는 본체부(19)로 이루어진다. 키패드(11)는 숫자 또는 문자 등이 기재된 복수 개의 버튼(13)을 포함하고, 상기 버튼(13)은 일면이 키패드(11)를 통하여 외부로 노출되어 있다. 키패드(11)의 x축 및 y축 방향의 길이는 각각 Δx, Δy이다.
도 2를 참조하면, 각각의 버튼(13)의 하면에는 돔버튼(15)이 구비되어 있는데, 돔버튼(15)은 사용자에 의해 눌려져서 상기 버튼(13)의 종류가 호스트 프로세서(host processor)에 알려짐으로써 대응하는 정보가 입력되고, 그 결과 디스플레이부(19)에 입력된 정보가 표시된다. 돔버튼(15)은 타원 형상의 단면을 가지는 금속의 돔(dome)을 구비하고 있는데, 돔의 탄성력에 의해 눌려진 버튼(13)이 원상으로 복귀하게 되는 것이다.
이와 같은 종래의 입력장치는 각각의 버튼(13)의 하부에 돔버튼(15)이 배열되어 있고, 각각의 돔버튼(15)은 일정한 두께를 갖기 때문에, 도 2에서와 같이 Z축 방향으로 일정한 두께가 필요하다. 이 두께를 Δz라고 하면, 종래의 키패드(11)가 차지하는 부피는 ΔxΔyΔz가 된다.
이와 같은 종래의 입력장치는 키패드가 일정한 두께 및 면적을 갖기 때문에 많은 부피를 차지하는 문제점이 있다. 그리고 사용자는 일정한 힘으로 버튼(13)을 눌러야 하기 때문에 정보의 입력에 많은 어려움이 있다.
본 발명은 부피를 줄일 수 있는 영상처리를 이용한 입력장치 및 그 입력방법을 제공하는 것이다.
본 발명은 입력을 용이하게 할 수 있는 영상처리를 이용한 입력장치 및 그 입력방법을 제공하는 것이다.
본 발명의 일 측면에 따른 영상처리를 이용한 입력장치는, 복수 개의 버튼을 구비하는 키패드와, 피사체가 버튼을 지시할 때의 이미지를 촬상하여 입력영상을 생성하게 하는 이미지 센서와, 입력영상을 미리 저장된 참조영상들과 비교하여 각각의 참조영상에 대한 입력영상의 상관 값을 구한 후 입력영상과 가장 유사한 참조영상에 대응하는 정보가 입력되게 하는 영상처리부를 포함한다.
본 발명에 따른 영상처리를 이용한 입력장치의 실시 예들은 다음과 같은 특징들을 하나 또는 그 이상 구비할 수 있다. 예를 들면, 이미지 센서의 상부에 대응하는 키패드에는 렌즈가 구비될 수 있다. 그리고 이미지 센서는 인쇄회로기판에 실장되어 있고, 인쇄회로기판은 지지대에 의해 키패드의 하부에 위치할 수 있다.
참조영상은 사용자에 의해 설정되어 저장되거나 제조자에 의해 설정되어 미리 저장되어 있을 수 있다. 그리고 영상처리부는 참조영상과 입력영상의 상관값이 소정치 이하인 경우 재입력을 요구할 수 있으며, 인쇄회로기판 상에는 발광부가 장착되어 있고, 키패드에는 발광부의 위치에 대응하여 투광부가 형성될 수도 있다.
영상처리부는 이미지 센서로 입사되는 빛의 양을 측정하고, 측정된 빛의 양이 일정치 이하인 경우 발광부를 작동시킬 수 있으며, 이미지 센서 상에는 적외선 필터가 구비되어 있고, 피사체에는 적외선 광원부에 의해 적외선이 조사될 수 있다. 그리고 이미지 센서는 적외선 광원부를 온 오프 하였을 때를 촬영하여 온 프레임 및 오프 프레임을 생성하고, 영상 처리부는 온 프레임 및 오프 프레임의 차를 입력영상 또는 참조영상으로 할 수 있다.
키패드는 버튼에 각각 대응하여 s개의 구역으로 구분되어 있고,
영상 처리부는 아래의 식을 이용하여 입력영상과 참조영상의 상관 값을 구한 후 가장 큰 상관 값을 갖는 참조영상에 대응하는 정보를 입력할 수 있다. 여기서, ci는 입력영상과 i번째 참조영상과의 상관 값을 나타내고, in(m,n)은 입력영상의 (m,n) 좌표에서의 레벨 값을 그리고 refi(m,n)은 i번째 참조영상의 (m,n) 좌표에서의 레벨 값을 나타낸다. 그리고 i는 1부터 s까지의 자연수이다.
Figure 112006068049928-pat00001
키패드에는 상기 피사체가 상기 키패드에 접촉하는지 여부를 인식하는 접촉 감지수단이 구비되어 있고, 영상처리부는 상기 접촉 감지수단에 의해 상기 피사체가 상기 키패드에 접촉하는 것을 인식되면 상기 이미지 센서를 작동하게 구성할 수 있다.
본 발명의 일 측면에 따른 영상처리를 이용한 입력장치를 구비한 휴대 단말 기는, 상기와 같은 구성을 갖는 입력장치를 본체부에 구비하고, 본체부와 연결되며 입력장치에 의해 입력된 정보가 표시되는 디스플레이부를 구비한다.
그리고 디스플레이부가 이동하여 키패드가 외부로 노출되는 경우 이미지 센서가 작동하게 구성할 수 있다.
본 발명의 일 측면에 따른 영상처리를 이용한 입력방법은, 피사체가 특정한 버튼을 지시하는 경우 피사체를 촬영하여 입력영상을 생성하는 단계와, 미리 저장된 참조영상과 입력영상을 비교하여 상관 값을 구하고, 상관 값을 이용하여 입력영상과 가장 유사한 참조영상을 판단하는 단계와, 입력영상과 참조영상이 유사한 경우 참조영상에 대응하는 신호를 출력하고, 입력영상과 참조영상이 유사하지 않은 경우 새로운 입력영상을 생성하는 단계를 포함한다.
그리고 본 발명의 실시 예들에 따른 정보 입력방법은 입력영상과 참조영상이 유사하지 않는 경우, 재입력하라는 신호를 출력하는 단계를 더 포함할 수 있으며, 입력영상은 적외선 광원부를 온 오프 했을 때의 피사체를 각각 촬영하여 온 프레임 및 오프 프레임을 생성하고, 온 프레임 및 오프 프레임의 차를 입력영상으로 할 수 있다. 또한, 참조영상은 적외선 광원부를 온 오프 했을 때의 피사체를 각각 촬영하여 온 프레임 및 오프 프레임을 생성하고, 온 프레임 및 오프 프레임의 차를 입력영상으로 할 수도 있다.
이하, 본 발명에 따른 영상처리를 이용한 입력장치 및 그 입력방법의 실시 예를 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 입력장치가 장착된 전자기기의 일 예인 휴대용 단말기(30)의 사시도이다. 본 실시 예에서는 전자기기로서 휴대용 전화기를 예시하였지만, 본 발명에 따른 영상처리를 이용한 입력장치는 휴대용 전화기 뿐만 아니라 휴대용 컴퓨터, PDA(Personal Digital Assistant) 등과 같은 다른 전자기기에도 장착될 수 있음은 물론이다. 그리고 본 실시 예에서는 폴더형(folder type) 휴대 전화기를 예시하였지만, 슬라이드(slide) 또는 바(bar) 타입 휴대 전화기에도 적용될 수 있음은 물론이다.
휴대용 단말기(30)는 키패드(31)가 그 전면에 구비되어 있는 본체(47) 및 본체(47)와 힌지(51)에 의해 결합되어 있는 디스플레이부(49)를 구비한다. 디스플레이부(49)는 힌지(51)에 본체(47)에 대해 회전 가능하게 결합되어 있으며, 디스플레이부(49)의 회전에 의해 본체(47)에 구비된 키패드(31)가 전면으로 노출된다. 디스플레이부(49)가 회전하여 키패드(31)가 도 3에서와 같이 노출되는 경우, 디스플레이부(49)가 작동됨은 물론, 아래에서 설명하는 바와 같이, 이미지 센서(37)가 작동하여 입력 대기 상태에 있게 된다.
사용자가 디스플레이부(49)를 열고 휴대용 단말기(30)를 파지한 상태에서 키패드(31)에 구비된 복수 개의 버튼(33)을 지시하면, 이때 피사체를 촬영한 입력영상을 이용하여, 지시된 버튼(33)에 대응하는 정보가 입력되는 것이다. 여기서 피사 체가 버튼(33)을 지시한다는 것은 피사체와 버튼(33)이 서로 접하거나 접하지는 않더라도 피사체가 어떤 특정 버튼(33)을 누르는 것으로 인식할 수 있을 정도로 피사체가 버튼(33)에 근접하는 것을 의미한다.
도 4는 도 3에 도시된 휴대용 단말기(30)의 키패드(31)의 일부를 도시한 평면도이다. 키패드(31)에는 0~9까지의 숫자가 기재된 버튼(33) 및 "*" 및 "#"의 문자가 기재된 버튼(33)이 구비되어 있다. 본 실시 예에서 설명하는 버튼(33)은 사용자에 의해 눌려져서 기능이 수행되는 것이 아니고 단지 사용자의 손가락이 어디로 향하는지 알 수 있게 하는 표시 기능을 한다. 즉 사용자는 버튼(33)을 실제로 눌러서 정보를 입력하는 것이 아니라 원하는 버튼(33)과 접하거나 누르는 것처럼 손가락 등을 움직이는 경우, 이때의 피사체를 이미지 센서(37)가 촬영하여 입력영상이 생성되게 하고, 영상처리부가 이를 미리 저장되어 있는 참조영상과 비교함으로써 정보가 입력되는 것이다. 따라서 버튼(33)은 돔 버튼과 같은 개별적인 입력수단을 가지는 것이 아니고 키패드(31) 상에 문자 등으로 기재되어 있는 부분에 해당한다.
도 4에 도시되지는 않았지만, 키패드(31)에는 손가락 등과 같은 피사체가 키패드(31)와 접촉하는지 유무를 인식할 수 있는 접촉 감지수단이 구비될 수 있다. 접촉 감지수단은 압력 센서, 접촉 센서 등으로 이루어질 수 있다. 접촉 감지수단에 의해 피사체가 키패드(31)와 접촉하는 것으로 인식되는 경우에만 영상처리부는 이미지 센서(37) 및 광원부(43)를 동작하도록 구성할 수 있다. 이는 피사체가 키패드(31) 상의 어떤 버튼과 접촉했을 때의 동작을 바탕으로 피사체의 움직임을 파악하는 것이 입력 시 오류를 가장 줄일 수 있을 뿐만 아니라 전력 소모도 줄일 수 있 기 때문이다.
도 4에 도시된 키패드(31)의 실질적인 중앙 부분에는 렌즈(35)가 외부로 향하고 있는데, 렌즈(35)는 도 5에 도시된 바와 같이 외부의 빛을 집속하여 이미지 센서(37)로 수광하는 역할을 한다. 렌즈(35)는 키패드(31)의 중앙 뿐만 아니라 버튼(31)과 버튼(31) 사이 및 버튼이 형성된 부분에도 구비될 수 있으며, 사용자의 손가락 등의 움직임을 인식하고 입력정보를 용이하게 획득할 수 있으면 그 위치는 어떠한 곳이라도 좋다.
렌즈(35)로는 화각이 큰 어안렌즈(fish eye lens)를 사용할 수 있다. 어안렌즈는 물고기의 눈이 180ㅀ를 한번에 볼 수 있다는 점을 이용하여 이를 모방하여 제작한 것으로, 현재 인공위성의 자세 제어를 위한 별 관측용(star tracker) 또는 예술사진의 촬영 등에 사용되고 있다. 어안렌즈는 180ㅀ의 각도로 입사하는 빛을 오목렌즈에 의해 90ㅀ의 원뿔로 굴절시키고 뒤쪽의 결상 렌즈에 의해 초점이 맺히도록 하는 방식을 이용한다.
렌즈(35)의 둘레에는 투광부(45)가 도넛 형상으로 구비되어 있다. 투광부(45)는, 도 5에 도시된 광원부(43)에 의해 생성된 빛이 외부로 나아갈 수 있게 하고 외부에 위치하는 피사체에 의해 반사된 빛이 이미지 센서(37)를 향해 들어올 수 있게 한다. 투광부(45)는 빛이 통과할 수 있는 재질로서, 예를 들면 유리 또는 투명 플라스틱 등이 사용될 수 있다. 투광부(45)로서, 각각의 버튼(33)을 제외한 키패드(31) 부분을 투명한 재질로 구성할 수도 있다.
도 4에서는 키패드(31)로서 숫자(0~9) 및 문자(*, #)가 기재된 12개의 버 튼(33)을 도시하였지만, 이는 예시일 뿐이며 필요에 따라서 더욱 다양한 버튼이 구비될 수 있음은 물론이다. 도 4에서, 키패드(31)는 가로 길이가 Δx이고 세로 길이는 Δy이다.
도 5는 도 4의 AA'선에 따른 본 발명의 일 실시 예에 따른 입력장치의 구성을 나타내는 단면도이다.
도 5를 참조하면, 키패드(31)의 중앙에 형성된 홀에는 렌즈(35)가 삽입되어 외부로 노출되어 있다. 그리고 렌즈(35)의 하부에는 이미지 센서(37)가 인쇄회로기판(PCB, 39) 상에 실장되어 있고, 이미지 센서(37)의 주위에는 광원부(43)가 복수 개 구비되어 있다. 인쇄회로기판(39)은 지지대(41)에 의해 키패드(31)에 대해 지지되어 있다. 그리고 이미지 센서(37) 상에는 적외선 필터(47)가 위치하고 있다.
이미지 센서(37)는 렌즈(35)를 통해 입사되는 사용자의 손가락 등의 움직임에 따른 이미지를 촬영한다. 이미지 센서(37)로는 소형화가 가능한 CCD(Charge-Coupled Device) 또는 CMOS(complementary metal-oxide semiconductor) 등과 같은 디지털 카메라 모듈이 사용될 수 있다. 그리고 이미지 센서(37)는 영상처리부(도시하지 않음)와 연결되며, 이미지 센서(37)에 의해 캡쳐된 입력영상 또는 참조영상이 영상처리부로 전달된다.
이미지 센서(37)는 키패드(31)에 대한 피사체(49)의 상대적인 위치를 촬영하여 입력영상을 생성한다. 예를 들면, 사용자가 "1"에 해당하는 정보를 입력하고자 하는 경우, 사용자의 손가락은 키패드(31)에서 "1"을 향하는데, 이때 촬영된 영상이 입력영상이 될 수 있다. 물론, 더욱 정확한 입력영상을 구하기 위해서는 아래에 서 설명하는 바와 같이 다양한 상황에서 피사체를 촬영하여 이를 보정함으로써 입력영상 등을 구할 수도 있다.
그리고 이미지 센서(37)는 휴대용 단말기(30)에서 디스플레이부(49)가 개방되어 키패드(31)가 외부로 노출되는 경우 작동하며, 디스플레이부(49)가 본체(47)와 접하고 있는 경우에는 작동하지 않는데, 이는 이미지 센서(37)가 불필요하게 작동하여 전력이 소모되는 것을 방지하기 위함이다. 그리고 이미지 센서(37)는 디스플레이부(49)가 회전하여 키패드(31)가 외부로 노출되는 경우 작동을 시작하면서 렌즈(35)로부터 입사되는 빛의 양을 측정할 수 있다. 만약 빛의 양이 소정치 이하인 경우, 즉 휴대용 단말기의 사용 환경이 야간 또는 어두운 장소인 경우, 영상처리부는 이를 인식하고 광원부(43)를 작동시켜 빛을 발광하게 한다. 이로 인해 어두운 환경에서도 이미지 센서(37)는 피사체(49)를 용이하게 촬영할 수 있다.
광원부(43)는 이미지 센서(37)의 둘레에 위치하고 영상처리부의 신호에 의해 작동하여 빛을 키패드(31)의 외부로 투사한다. 광원부(43)는 영상처리부로부터 신호가 입력되지 않거나 이미지 센서(37)가 작동하지 않는 경우에는, 전력 소모를 방지하기 위해서 작동하지 않는다. 광원부(43)는 휴대용 단말기의 사용환경이 어두워서 이미지 센서(37)가 손가락 등의 움직임을 용이하게 파악할 수 없는 경우에 작동하여 입력영상의 촬영을 용이하게 한다. 광원부(43)로는 발광 다이오드(luminescent diode, LED) 또는 유기 다이오드(Organic Lighting Emitting Diodes, OLED) 등이 사용될 수 있으며 이에 국한되는 것은 아니다.
그리고 광원부(43)는 적외선을 발광하는 LED 등과 같은 적외선 광원부일 수 있다. 이때 이미지 센서(37) 상에는 적외선 필터(47)가 구비될 수 있다. 따라서 적외선 광원부에서 나온 빛은 피사체(49)에서 반사된 후 적외선 필터(47)를 통해 이미지 센서(37)에 입사되고 다른 빛은 적외선 필터(47)에 의해 필터링되어 이미지센서(37)로 입사되지 않는다.
본 실시 예에서는 이미지 센서(37)의 둘레에 구비되어 있는 광원부(43)를 도시하였지만, 본 발명은 이에 국한되는 것이 아니며 어두운 환경에서도 사용자의 손가락 등의 움직임에 따른 입력영상을 용이하게 캡쳐할 수 있다면 어떠한 구성도 가능함은 물론이다. 예를 들면, 키패드(31) 자체에서 빛이 발광되게 할 수 있을 뿐만 아니라, 복수 개의 LED 또는 OLED 등을 키패드(31)의 하부에 배치할 수 있다.
도 5에 도시된 바와 같이 본 실시 예에 따른 입력장치는 키패드(31)의 하부에 하나의 이미지 센서(37)를 구비하면 되기 때문에, 각각의 버튼에 대응하여 복수 개의 돔버튼을 구비한 종래의 키패드에 비해 두께를 줄일 수 있다. 이로 인해 휴대용 단말기 내부에 여유 공간이 발생하기 때문에 전자기기의 설계가 용이할 뿐만 아니라 소형화가 가능하게 된다.
영상처리부는, 도시되지는 않았지만, 이미지 센서(37)와 일체로 형성되거나 별개로 구비될 수 있다. 영상처리부는 이미지 센서(37) 및 광원부(43)의 동작을 제어하고, 이미지 센서(37)에 의해 캡쳐된 입력영상을 참조영상과 비교하여 어떤 버튼(33)이 지시되었는지를 인식한 후 지시된 버튼(33)에 대응하는 정보가 입력되게 한다.
영상처리부는 이미지 센서(37)로부터 캡쳐된 입력영상을 입력 받은 후 이미 저장되어 있는 참조영상과의 비교를 통해, 해당 입력영상이 어떤 버튼에 대응하는 것인지를 인식한다. 참조영상은 영상처리부 또는 별도의 저장부(도시하지 않음)에 저장되어 있으며, 각각의 버튼(33)이 지시될 때의 영상이 저장되어 있다. 예를 들면, 도 4에 도시된 0~9까지의 숫자가 기재된 버튼 및 "#", "*"이 기재된 버튼이 지시될 때의 영상이 참조영상에 해당한다. 참조영상은 사용자가 휴대용 단말기를 사용하기 전 각각의 버튼(33)에 손가락 등을 올려 놓고 영상을 취득할 수도 있고, 휴대용 단말기 제조사가 단말기 제작과정에서 미리 저장한 것일 수 있다. 참조영상은 사용자에 의해 새로 설정될 수 있음은 물론이다.
영상처리부는 이미지 센서(37)에 의해 입력영상이 캡쳐되는 경우, 참조영상 중에서 상기 입력영상과 가장 유사한 영상을 찾아내어 상호 비교함으로써 사용자가 어떤 버튼(33)을 지시했는 지를 인식한다. 예를 들면, 사용자가 "7"의 버튼을 손가락으로 지시할 경우 이미지 센서(37)는 이때 손가락을 촬영하고, 영상처리부는 이 입력영상을 미지 저장되어 있는 참조영상들과 비교하여, 가장 유사한 참조영상을 찾아낸 후 이에 대응하는 정보를 입력한다.
입력영상 및 참조영상은 피사체(49)가 특정 버튼을 지시할 때 촬영한 이미지를 그대로 사용할 수도 있지만, 더욱 정확한 입력을 위해서 입력영상 및 참조영상을 보정할 수도 있다. 이를 도 6a 내지 도 6c를 참조하면서 설명하기로 한다.
도 6a를 참조하면, 광원부(43)를 온(on) 했을 때 이미지 센서(37)는 피시체(49)는 물론 주변의 배경(51)까지 촬상한다. 이는 광원부(43)가 적외선 광원을 조사하고 이미지 센서(37) 상에도 적외선 필터(47)가 구비되어 있는 경우에도, 자 연광 중에도 적외선이 존재하기 때문이다. 그리고 도 6b에 도시된 바와 같이, 광원부(43)를 오프 했을 때 피사체(49)는 별도의 빛을 못 내기 때문에 적외선 필터(47)에 의해 이미지 센서(37)에 의해 인식되지 않는다. 그러나 외부의 배경(51)은 자연광 중에 적외선이 존재하기 때문에 계속 이미지 센서(37)에 의해 촬상된다. 이때 영상처리부는 도 6a와 같이 광원부(43)를 온 했을 때 촬상한 온 프레임(on frame)과 광원부(43)를 오프 했을 때 촬상한 오프 프레임(off frame)의 차를 구하여 파사체(49)에 대한 선명한 이미지를 구할 수 있다. 영상 처리부에 의해 생성된 온 프레임 및 오프 프레임의 차는 도 6c에 도시된 바와 같다. 도 6c에서 알 수 있는 바와 같이, 온 프레임 및 오프 프레임의 차에 의해 피사체(49)의 이미지가 선명하게 되고 기타 배경은 제거된다.
이와 같이, 온 프레임과 오프 프레임의 차를 입력영상 또는 참조영상으로 할 수 있다. 그리고 이와 같이 생성된 참조영상의 예는 도 7과 같다. 도 7을 참조하면, 각각의 버튼(33)에 대응하는 참조영상(ref1~ref9)이 도시되어 있다. ref1은 피사체(49)가 버튼 "1"을 지시할 때 촬영한 이미지이고, ref2은 피사체(49)가 버튼 "2"를 지시할 때 촬영한 이미지이며, ref3은 피사체(49)가 버튼 "3"을 지시할 때의 이미지이다. 그리고 ref4는 피사체(49)가 버튼 "4"를 지시할 때의 이미지이고, ref5는 피사체(49)가 버튼 "5"를 지시할 때 촬영한 이미지이며, ref6은 피사체(49)가 버튼 "6"을 지시할 때의 이미지이다. 또한, ref7는 피사체(49)가 버튼 "7"을 지시할 때의 이미지이고, ref8는 피사체(49)가 버튼 "8"을 지시할 때 촬영한 이미지이며, ref9는 피사체(49)가 버튼 "9"를 지시할 때의 이미지이다. 이와 같이 각각의 참조영상(ref1~ref9)에서 피사체(49)의 위치는 키패드(31) 상에서 버튼(33)의 위치에 대응하여 조금씩 다름을 알 수 있다.
영상처리부는 입력영상(예를 들면 도 6c)과 참조영상(ref1~ref9)을 각각 비교하여 각각의 참조영상(ref1~ref8)에 대한 상관 값(correlation value)을 모두 구한 후 가장 상관 값이 큰 참조영상을 인식하고, 이에 대응하는 정보가 입력되도록 한다. 예를 들어서, 입력영상이 도 6c와 같은 경우, 영상처리부는 이를 참조영상(ref1~ref9)과 모두 비교하여 참조영상 ref1이 입력영상과 가장 유사한 것으로 판단한 후 숫자 "1"에 해당하는 정보를 입력하게 한다. 물론, 입력영상과 참조영상(ref1~ref9)의 비교결과 상관 값이 모두 문턱 값(threshold value) 이하이어서 유사하지 않은 것으로 판단되는 경우에는 사용자에게 다른 입력영상을 요구할 수도 있다.
입력영상과 참조영상으로부터 상관 값을 구하는 방법의 예를 들면 다음과 같다. 즉, 입력영상을 참조영상과 중첩시켜 두 영상의 같은 좌표끼리 곱 연산을 취한 후 모든 좌표 값에 대해 더하여 상관 값을 구한다. 이를 수식으로 나타내면 아래 식과 같다.
Figure 112006068049928-pat00002
여기서, ci는 입력영상과 i번째 참조영상과의 상관 값을 나타내고, in(m,n)은 입력영상의 (m,n) 좌표에서의 레벨 값을 그리고 refi(m,n)은 i번째 참조영상의 (m,n) 좌표에서의 레벨 값을 나타낸다. 그리고 키패드(31)가 s개로 분할되어 참조영상의 개수가 s개인 경우, i는 1부터 s까지의 자연수를 나타낸다. 이와 같이 구한 각각의 상관 값 ci 중 가장 큰 값을 나타내는 참조영상에 대응하는 정보가 입력된다.
그리고 영상처리부는 입력영상이 참조영상 중에서 어떠한 것과도 동일하지 않거나 유사하지 않은 경우에는 재입력을 요청할 수 있다. 재입력 요청은 디스플레이부(49)를 통해서 문자로 표시하거나 별도의 알람 기능을 통하여 사용자에게 통보함으로써 이루어진다.
또한, 영상처리부는 디스플레이부(49)가 회전하여 키패드(31)가 외부로 노출되는 경우 이미지 센서(37)를 작동하게 하고 디스플레이부(49)가 닫히는 경우 이미지 센서(37)의 작동을 중단하여 전력 소모를 줄일 수 있다. 그리고 영상처리부는, 위에서 설명한 접촉 감지수단에 의해 피사체와 키패드(31)의 버튼이 접촉한 것으로 인식되는 경우에만 이미지 센서(37) 및 광원부(43)를 작동시켜 입력영상을 촬영하고 이를 기준영상과 비교하여 정보를 입력할 수 있다.
영상처리부는 또한 이미지 센서(37)에 의해 외부의 광량이 일정치 이하인 것을 인식한 후 광원부(43)에 신호를 인가하여 광원부(43)가 작동하게 할 수 있다. 그리고 영상처리부는 휴대용 단말기가 통화 중이거나 카메라 기능이 사용되는 등과 같이 버튼(33)이 사용되지 않는 시간이 일정 시간 이상 지속되는 경우 광원부(43)의 동작을 멈추게 할 수 있다.
도 5를 통해서 알 수 있는 바와 같이, 본 실시 예에 따른 입력장치는 키패드의 전체에 걸쳐 있는 것이 아니라 일정한 길이(Δy')에 걸쳐서 있기 때문에 종래의 키패드에 비해 부피를 줄일 수 있다. 이로 인해 본 발명의 실시 예에 따른 입력장치를 적용한 휴대용 단말기와 같은 전자기기는 설계가 용이할 뿐만 아니라 소형화가 가능하다. 그리고 사용자가 힘을 들여서 버튼을 가압하지 않고 버튼을 누르는 동작만으로 정보를 입력할 수 있기 때문에, 정보를 편리하게 입력할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 입력장치의 작동 과정을 설명한 흐름도이다.
도 8을 참조하면, S10 단계에서 영상처리부의 신호에 의해 이미지 센서(37)는 사용자의 손가락 등이 특정 버튼을 지시할 때의 입력영상을 캡쳐한다. 이때 영상처리부는 광원부(43)를 작동시켜 손가락 등을 더욱 용이하게 촬영할 수도 있다. 그리고 이미지 센서에 취득된 입력영상은 영상처리부로 전송된다.
S20 단계에서, 영상처리부는 이미지 센서(37)에 의해 캡쳐된 입력영상을 각각의 참조영상과 비교하여 상관 값(correlation value)을 도출한다. 상관 값을 도출하는 방법은 위에서 설명한 식에 의해 구할 수도 있고 최소 자승법(least square method)을 이용해서 구할 수 있다.
S30 단계에서, 영상처리부는 S20 단계에서 도출한 상관 계수가 문턱값(threshold value)을 넘는지를 판단하고, 상관 계수가 문턱값을 넘는 경우에는 해당 참조영상에 대응하는 신호가 입력되도록 한 후(S40) 다시 S10 단계로 진행한다. 그리고 상관 계수가 문턱값을 넘지 않는 경우에는 사용자에게 재입력하라는 신 호를 출력(S50)한 후 S10 단계로 진행한다.
이상에서 본 발명의 실시 예를 설명하였지만, 본 발명의 다양한 변경예와 수정예도 본 발명의 기술적 사상을 구현하는 한 본 발명의 범위에 속하는 것으로 해석되어야 한다.
본 발명은 부피를 줄일 수 있는 영상처리를 이용한 입력장치 및 그 입력방법을 제공할 수 있다.
본 발명은 정보를 용이하게 입력할 수 있는 영상처리를 이용한 입력장치 및 그 입력방법을 제공할 수 있다.

Claims (19)

  1. 복수 개의 버튼을 구비하는 키패드와;
    피사체가 상기 버튼을 지시할 때의 이미지를 촬상하여 입력영상을 생성하게 하는 이미지 센서와;
    상기 입력영상을 미리 저장된 참조영상들과 비교하여 각각의 상기 참조영상에 대한 입력영상의 상관 값을 구한 후 상기 입력영상과 가장 유사한 상기 참조영상에 대응하는 정보가 입력되게 하는 영상처리부를 구비하는 영상처리를 이용한 입력장치.
  2. 제 1 항에 있어서,
    상기 이미지 센서의 상부에 대응하는 상기 키패드에는 렌즈가 구비되어 있는 것을 특징으로 하는 영상처리를 이용한 입력장치.
  3. 제 1 항에 있어서,
    상기 이미지 센서는 인쇄회로기판에 실장되어 있고,
    상기 인쇄회로기판은 지지대에 의해 상기 키패드의 하부에 위치하는 것을 특징으로 하는 영상처리를 이용한 입력장치.
  4. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.
    제 1 항에 있어서,
    상기 참조영상은 사용자에 의해 설정되어 저장되는 것을 특징으로 하는 영상처리를 이용한 입력장치.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제 1 항에 있어서,
    상기 영상처리부는 상기 참조영상과 상기 입력영상의 상관값이 소정치 이하인 경우 재입력을 요구하는 것을 특징으로 하는 영상처리를 이용한 입력장치.
  6. 제 3 항에 있어서,
    상기 인쇄회로기판 상에는 발광부가 장착되어 있고, 상기 키패드에는 상기 발광부의 위치에 대응하여 투광부가 형성되어 있는 것을 특징으로 하는 영상처리를 이용한 입력장치.
  7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.
    제 6 항에 있어서,
    상기 영상처리부는 상기 이미지 센서로 입사되는 빛의 양을 측정하고, 측정 된 빛의 양이 일정치 이하인 경우 상기 발광부를 작동시키는 것을 특징으로 하는 영상처리를 이용한 입력장치.
  8. 제 1 항에 있어서,
    상기 이미지 센서 상에는 적외선 필터가 구비되어 있고, 상기 피사체에는 적외선 광원부에 의해 적외선이 조사되는 것을 특징으로 하는 영상처리를 이용한 입력장치.
  9. 제 8 항에 있어서,
    상기 이미지 센서는 상기 적외선 광원부를 온 오프 하였을 때를 촬영하여 온 프레임 및 오프 프레임을 생성하고,
    상기 영상 처리부는 상기 온 프레임 및 상기 오프 프레임의 차를 상기 입력영상으로 하는 영상처리를 이용한 입력장치.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제 9 항에 있어서,
    상기 이미지 센서는 상기 적외선 광원부를 온 오프 하였을 때를 촬영하여 온 프레임 및 오프 프레임을 생성하고,
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제 10 항에 있어서,
    상기 키패드는 상기 버튼에 각각 대응하여 s개의 구역으로 구분되어 있고,
    상기 영상 처리부는 아래의 식을 이용하여 상기 입력영상과 상기 참조영상의 상관 값을 구한 후 가장 큰 상관 값을 갖는 참조영상에 대응하는 정보를 입력하는 것을 특징으로 하는 영상처리를 이용한 입력장치.
    Figure 112006068049928-pat00003
    여기서, ci는 입력영상과 i번째 참조영상과의 상관 값을 나타내고, in(m,n)은 입력영상의 (m,n) 좌표에서의 레벨 값을 그리고 refi(m,n)은 i번째 참조영상의 (m,n) 좌표에서의 레벨 값을 나타낸다. 그리고 i는 1부터 s까지의 자연수이다.
  12. 제 1 항에 있어서,
    상기 키패드에는 상기 피사체가 상기 키패드에 접촉하는지 여부를 인식하는 접촉 감지수단이 구비되어 있고,
    상기 영상처리부는 상기 접촉 감지수단에 의해 상기 피사체가 상기 키패드에 접촉하는 것을 인식되면 상기 이미지 센서를 작동하게 하는 것을 특징으로 하는 영상처리를 이용한 입력장치.
  13. 청구항 13은(는) 설정등록료 납부시 포기되었습니다.
    제 1 항 내지 제 12 항에 기재된 입력장치를 구비한 휴대 단말기에 있어서,
    상기 휴대 단말기는 상기 키패드가 일면에 형성된 본체부와,
    상기 본체부와 연결되어 있으며 상기 입력장치에 의해 생성된 입력신호를 표시하는 디스플레이부를 포함하는 휴대 단말기.
  14. 청구항 14은(는) 설정등록료 납부시 포기되었습니다.
    제 13 항에 있어서,
    상기 디스플레이부가 이동하여 상기 키패드가 외부로 노출되는 경우 상기 이미지 센서가 작동하는 것을 특징으로 하는 휴대 단말기.
  15. 피사체가 특정한 버튼을 지시하는 경우 상기 피사체를 촬영하여 입력영상을 생성하는 (a)단계와;
    미리 저장된 참조영상과 상기 입력영상을 비교하여 상관 값을 구하고, 상기 상관 값을 이용하여 상기 입력영상과 가장 유사한 상기 참조영상을 판단하는 (b) 단계와;
    상기 입력영상과 상기 참조영상이 유사한 경우 상기 참조영상에 대응하는 신호를 출력하고, 상기 입력영상과 상기 참조영상이 유사하지 않은 경우 새로운 입력영상을 생성하는 (c)단계를 포함하는 영상처리를 이용한 입력방법.
  16. 청구항 16은(는) 설정등록료 납부시 포기되었습니다.
    제 15 항에 있어서,
    상기 (c)단계에서 상기 입력영상과 상기 참조영상이 유사하지 않는 경우, 상기 재입력하라는 신호를 출력하는 단계를 더 포함하는 것을 특징으로 하는 영상처리를 이용한 입력방법.
  17. 제 15 항에 있어서,
    상기 (a) 단계에서 상기 입력영상은 적외선 광원부를 온 오프 했을 때의 피사체를 각각 촬영하여 온 프레임 및 오프 프레임을 생성하고, 상기 온 프레임 및 상기 오프 프레임의 차를 상기 입력영상으로 하는 것을 특징으로 하는 영상처리를 이용한 입력방법.
  18. 청구항 18은(는) 설정등록료 납부시 포기되었습니다.
    제 15 항에 있어서,
  19. 제 15 항에 있어서,
    상기 (b)단계에서 상기 상관 값은 아래의 식에 의해 구해지는 것을 특징으로 하는 영상처리를 이용한 입력방법.
    Figure 112006068049928-pat00004
    여기서, ci는 입력영상과 i번째 참조영상과의 상관을 나타내고, in(m,n)은 입력영상의 (m,n) 좌표에서의 레벨 값을 그리고 refi(m,n)은 i번째 참조영상의 (m,n) 좌표에서의 레벨 값을 나타낸다. 그리고 i는 참조영상의 개수가 s개인 경우 i부터 s까지의 자연수.
KR1020060091416A 2006-09-20 2006-09-20 영상처리를 이용한 입력장치 및 그 입력방법 KR100807622B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060091416A KR100807622B1 (ko) 2006-09-20 2006-09-20 영상처리를 이용한 입력장치 및 그 입력방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060091416A KR100807622B1 (ko) 2006-09-20 2006-09-20 영상처리를 이용한 입력장치 및 그 입력방법

Publications (1)

Publication Number Publication Date
KR100807622B1 true KR100807622B1 (ko) 2008-02-28

Family

ID=39383413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060091416A KR100807622B1 (ko) 2006-09-20 2006-09-20 영상처리를 이용한 입력장치 및 그 입력방법

Country Status (1)

Country Link
KR (1) KR100807622B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014197243A3 (en) * 2013-06-03 2015-01-29 Qualcomm Incorporated In-cell multifunctional pixel and display
WO2015046658A1 (ko) * 2013-09-24 2015-04-02 한국 한의학 연구원 설진기 재현성 측정 장치 및 방법
KR101788809B1 (ko) * 2016-07-08 2017-10-23 (주)피코셈 개인 식별 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309427A (ja) * 1993-04-23 1994-11-04 Sharp Corp 画像入力編集装置
JPH0965028A (ja) * 1995-08-24 1997-03-07 Matsushita Electric Ind Co Ltd イメージセンサー内蔵携帯端末装置
KR20000039600A (ko) * 1998-12-15 2000-07-05 구자홍 영상검색장치 및 방법
KR20020006790A (ko) * 2000-07-13 2002-01-26 리랜드 이 웹 카메라를 내장한 무선 키보드
KR100443142B1 (ko) 2000-07-04 2004-08-04 가시오게산키 가부시키가이샤 이미지대조장치 및 방법
KR20070071187A (ko) * 2005-12-29 2007-07-04 삼성전자주식회사 다중기능 가상 사용자 입력 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309427A (ja) * 1993-04-23 1994-11-04 Sharp Corp 画像入力編集装置
JPH0965028A (ja) * 1995-08-24 1997-03-07 Matsushita Electric Ind Co Ltd イメージセンサー内蔵携帯端末装置
KR20000039600A (ko) * 1998-12-15 2000-07-05 구자홍 영상검색장치 및 방법
KR100443142B1 (ko) 2000-07-04 2004-08-04 가시오게산키 가부시키가이샤 이미지대조장치 및 방법
KR20020006790A (ko) * 2000-07-13 2002-01-26 리랜드 이 웹 카메라를 내장한 무선 키보드
KR20070071187A (ko) * 2005-12-29 2007-07-04 삼성전자주식회사 다중기능 가상 사용자 입력 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014197243A3 (en) * 2013-06-03 2015-01-29 Qualcomm Incorporated In-cell multifunctional pixel and display
US9465429B2 (en) 2013-06-03 2016-10-11 Qualcomm Incorporated In-cell multifunctional pixel and display
US9494995B2 (en) 2013-06-03 2016-11-15 Qualcomm Incorporated Devices and methods of sensing
US9606606B2 (en) 2013-06-03 2017-03-28 Qualcomm Incorporated Multifunctional pixel and display
US9798372B2 (en) 2013-06-03 2017-10-24 Qualcomm Incorporated Devices and methods of sensing combined ultrasonic and infrared signal
US10031602B2 (en) 2013-06-03 2018-07-24 Qualcomm Incorporated Multifunctional pixel and display
WO2015046658A1 (ko) * 2013-09-24 2015-04-02 한국 한의학 연구원 설진기 재현성 측정 장치 및 방법
KR101788809B1 (ko) * 2016-07-08 2017-10-23 (주)피코셈 개인 식별 장치

Similar Documents

Publication Publication Date Title
US8605960B2 (en) Fingerprint sensing device
US6809723B2 (en) Pushbutton optical screen pointing device
US20050275618A1 (en) Pointing device
TWI303773B (ko)
TWI536209B (zh) 具高追蹤速度的光學導航裝置
JP2004348739A (ja) 光学的にクリックを検出する方法およびシステム
US10592721B2 (en) Biometric authentication device
CN103299259A (zh) 检测装置、输入装置、投影机以及电子设备
JP2010250466A (ja) 個人認証装置
CN110245548A (zh) 包括非接触式手掌生物特征传感器的电子设备和相关方法
US7631811B1 (en) Optical headset user interface
KR100807622B1 (ko) 영상처리를 이용한 입력장치 및 그 입력방법
CN201477614U (zh) 单反射液晶触摸屏指掌纹采集仪
KR100843590B1 (ko) 광 포인팅 장치 및 이를 구비한 휴대 단말기
CN201498007U (zh) 混合式指掌纹采集仪
US7817141B2 (en) Portable electronic device
KR20180000158A (ko) 광학 장치가 설치된 전자 장치 및 전자 장치의 광학 센싱 방법
JP2006195706A (ja) 光学式座標入力装置及び電子機器
KR100864289B1 (ko) 광 포인팅 장치 및 이를 구비한 휴대 단말기
KR101790518B1 (ko) 적외선 광학 장치를 탑재한 전자 장치 및 적외선 광학 장치의 제어 방법
TW200923734A (en) Coordinate positioning mouse having suspended positioning function
US9348464B2 (en) Imaging systems and methods for user input detection
CN108921112B (zh) 一种移动终端及其闪光灯指纹识别组件
KR100734246B1 (ko) 반사거울을 이용한 광학식 포인팅 장치
KR100816095B1 (ko) 광 입력장치 및 이를 구비한 휴대 단말기

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130221

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140203

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 11