KR20080024252A - 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체 - Google Patents

카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체 Download PDF

Info

Publication number
KR20080024252A
KR20080024252A KR1020060088343A KR20060088343A KR20080024252A KR 20080024252 A KR20080024252 A KR 20080024252A KR 1020060088343 A KR1020060088343 A KR 1020060088343A KR 20060088343 A KR20060088343 A KR 20060088343A KR 20080024252 A KR20080024252 A KR 20080024252A
Authority
KR
South Korea
Prior art keywords
camera
coordinates
image
computer screen
homography
Prior art date
Application number
KR1020060088343A
Other languages
English (en)
Other versions
KR100844129B1 (ko
Inventor
김재헌
박창준
김홍석
유정재
박상욱
김혜미
이재광
이인호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020060088343A priority Critical patent/KR100844129B1/ko
Priority to US11/618,809 priority patent/US20080062124A1/en
Publication of KR20080024252A publication Critical patent/KR20080024252A/ko
Application granted granted Critical
Publication of KR100844129B1 publication Critical patent/KR100844129B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한 시스템 및 방법에 관한 것으로, 카메라를 통해 촬영된 컴퓨터 화면으로부터 상기 컴퓨터 화면의 테두리 상에 존재하는 복수의 점에 대한 카메라 영상에서의 위치인 영상좌표(xi, yi)를 검출하여 이 영상 좌표(xi, yi)와 상기 복수의 점에 대한 상기 컴퓨터 화면이 이루는 평면상의 좌표인 평면 좌표(Xi, Yi)를 이용하여 카메라의 영상 좌표(xi, yi)를 상기 컴퓨터 화면의 평면 좌표(Xi, Yi)로 변환하는 호모그래피를 구하고, 이렇게 구한 호모그래피를 이용하여 카메라의 이동에 따라 카메라 영상의 임의의 점을 컴퓨터 화면의 평면 좌표로 변환하여 그 평면 좌표에 커서를 위치하도록 하여 상기 카메라의 이동에 따라 컴퓨터 화면의 커서의 위치를 움직일 수 있는 인터페이스에 관한 것이다.
호모그래피, 커서, 마우스 드라이브

Description

카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한 시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을 수 있는 기록매체{A PARATUS FOR INTERFACING A MOUSE USING A CAMERA IMAGE, SYSTEM AND METHOD USING THE PARATUS, COMPUTER READABLE RECORD MEDIUM ON WHICH A PROGRAM THEREFORE IS RECORDED}
도 1은 본 발명에 의한 인터페이스에 이용되는 카메라와 모니터 사이의 관계를 나타내는 도면,
도 2는 카메라가 컴퓨터 화면을 촬영한 상태를 나타내는 도면,
도 3은 컴퓨터 화면의 테두리에 존재하는 복수의 점의 좌표를 나타내는 도면,
도 4는 본 발명에 의한 카메라의 임의의 점이 호모그래피에 의해 컴퓨터 화면의 점으로 구해진 상태를 나타내는 도면,
도 5는 본 발명에 의한 카메라를 이용한 마우스 인터페이스 시스템의 구성을 나타내는 도면,
도 6은 본 발명에 의한 카메라를 이용한 마우스 인터페이스 시스템의 제 1 실시예를 나타내는 도면,
도 7은 본 발명에 의한 카메라를 이용한 마우스 인터페이스 시스템의 제 2 실시예를 나타내는 도면,
도 8은 본 발명에 의한 카메라를 이용한 마우스 인터페이스 시스템의 제 3 실시예를 나타내는 도면,
도 9는 본 발명에 의한 카메라를 이용한 마우스 인터페이스 방법을 나타내는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : 카메라 110 : 영상 처리부
120: 이미지 프로세싱 유닛 200 : 모니터
300 : 프로세서부 310 : 영상 좌표 검출모듈
320 : 호모그래피 처리모듈 330 : 커서 좌표 출력 모듈
400 : 마우스 드라이브 500 : 컴퓨터
본 발명은 컴퓨터 화면상의 커서 위치를 조절하는 인터페이스에 관한 것으로, 더욱 상세하게는 카메라 영상의 좌표계를 컴퓨터 화면의 평면 좌표계로 변환하는 호모그래피를 이용하여 컴퓨터 화면상의 커서를 조절하는 카메라를 이용한 마우 스 인터페이스 장치, 이를 이용한 시스템 및 방법에 관한 것이다.
종래, 컴퓨터 화면상의 커서를 조절하는 인터페이스로는 기울기 센서 또는 가속도 센서를 이용하여 센서의 3차원 상의 움직임이나 위치를 측정하여 마우스나 키보드를 제어하는 인터페이스 방법이 있었지만, 이러한 방법은 컴퓨터 장치와 별도로 복잡한 센서 장치가 필요하다는 번거로움이 있을 뿐만 아니라 시간이 지남에 따라 오차가 누적되고, 센서의 방향과 컴퓨터 화면상의 커서의 위치가 대응되지 않는 문제가 있다.
또한, 다른 방법으로 특정 장치에 의해 적외선 빔을 특수 고안된 입력장치의 표면에 쏘아 마우스의 조절기능과 키보드 입력기능을 수행하는 인터페이스 방법이 있지만, 이러한 방법은 적외선 빔을 쏘기 위한 장치뿐만 아니라 적외선 빔을 입력정보로 처리하기 위한 컴퓨터 모니터 외의 특수한 부가 장치가 필요한 문제가 있다.
또한 사용자의 얼굴에 적외선 센서나 마크를 부착하고 컴퓨터 화면의 상단에 수신기나 카메라를 장착하여 사용자 얼굴의 움직이는 방향을 감지하여 마우스를 움직이는 인터페이스와 척수 장애인이 많이 사용하는 컴퓨터 인터페이스 방법으로 스틱을 입에 물고 마우스나 키보드를 조절하는 방법이 있지만, 위생상의 문제가 있고, 또한 신체 일부에 부착해야 하는 까다로운 문제가 있다.
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 기존의 컴퓨터에 카메라를 제외한 어떠한 추가적인 장치 없이도 컴퓨터 화면상의 마우스 커서의 위치를 조절하는 카메라를 이용한 마우스 인터페이스 장치, 이를 이용한 시스템 및 방법을 제공하는데 있다.
한편, 본 발명의 다른 목적은 카메라 영상의 좌표를 컴퓨터 화면상의 좌표로 변환하는 호모그래피를 카메라의 이동에 따라 실시간 계속해서 구하여 이에 따라 카메라 영상의 임의의 좌표와 대응되는 컴퓨터 화면상의 좌표에 위치하는 커서를 카메라의 이동과 매칭되게 제어하는 카메라를 이용한 마우스 인터페이스 장치, 이를 이용한 시스템 및 방법을 제공하는데 있다.
또한, 본 발명의 다른 목적은 실시간 카메라 이동에 따른 호모그래피를 구하기 때문에 별도의 보정과정이 필요하지 않은 카메라를 이용한 마우스 인터페이스 장치, 이를 이용한 시스템 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 카메라를 이용한 마우스 인터페이스 장치는 카메라를 통해 촬영된 컴퓨터 화면으로부터 상기 컴퓨터 화면의 테두리 상에 존재하는 복수의 점에 대한 카메라 영상에서의 위치인 영상좌표(xi, yi)를 검출하는 영상좌표 검출모듈, 상기 검출된 영상 좌표(xi, yi)와 기 설정되어 있 는 상기 복수의 점에 대한 상기 컴퓨터 화면이 이루는 평면상의 좌표인 평면 좌표(Xi, Yi)를 이용하여 호모그래피를 구하는 호모그래피 처리모듈 및 상기 호모그래피를 이용하여 상기 카메라 영상의 임의의 점에 대한 상기 컴퓨터 화면상의 좌표를 출력하고, 상기 좌표를 커서의 위치로 결정하는 커서 좌표 출력모듈을 포함하여 이루어지는 것을 특징으로 한다.
이때, 상기 카메라를 이용한 마우스 인터페이스 장치는 상기 커서 좌표 출력모듈에 의해 결정된 좌표의 변화에 따라 커서의 위치를 움직이는 마우스 드라이브를 더 포함한다.
한편, 본 발명의 카메라를 이용한 마우스 인터페이스 시스템은 컴퓨터 화면을 연속으로 촬영하여 상기 컴퓨터 화면을 포함하는 영상을 획득하는 카메라, 상기 획득된 영상으로부터 상기 컴퓨터 화면의 테두리 상의 복수의 점에 대한 상기 카메라 영상에서의 위치인 영상좌표(xi , yi)와 기 설정되어 있는 상기 복수의 점에 대한 상기 컴퓨터 화면이 이루는 평면상의 좌표인 평면 좌표(Xi, Yi)를 이용하여 구한 호모그래피에 의해 상기 카메라 영상의 임의의 좌표에 대한 상기 컴퓨터 화면상의 대응되는 좌표를 구하여 출력하는 프로세서부 및 상기 프로세서부에 의해 출력된 좌표에 커스를 위치하여 디스플레이하는 모니터를 포함하여 이루어지는 것을 특징으로 한다. .
이때, 상기 프로세서부는 상기 출력되는 좌표의 변화에 따라 상기 모니터에 디스플레이되는 커서의 위치를 이동하는 마우스 드라이브를 더 포함하는 것을 특징으로 한다.
한편, 본 발명의 카메라를 이용한 마우스 인터페이스 방법은 카메라를 통해 컴퓨터 화면의 카메라 영상을 촬영하는 1 단계, 상기 촬영된 영상에서 상기 컴퓨터 화면의 테두리에 존재하는 복수의 점에 관한 영상 좌표를 검출하는 2 단계, 상기 복수의 점의 상기 컴퓨터 화면이 이루는 평면상의 평면 좌표와 상기 검출된 영상 좌표를 이용하여 호모그래피를 구하는 3 단계, 상기 카메라 영상의 임의의 점을 호모그래피를 이용하여 상기 컴퓨터 화면의 좌표로 변환하는 4 단계, 상기 4단계에 의한 상기 컴퓨터 화면의 좌표에 커서를 위치하도록 하는 5 단계를 포함하여 이루어지는 것을 특징으로 한다.
이때, 카메라를 이용한 마우스 인터페이스 방법은 상기 카메라의 이동에 따른 상기 영상 좌표의 변화에 따라 상기 제 1단계에서 상기 제 5단계의 과정이 계속적으로 반복되는 것을 특징으로 한다.
또한, 본 발명의 카메라를 이용한 인터페이스 기능을 실현하기 위한 기록매체는 카메라를 통해 촬영된 컴퓨터 화면으로부터 상기 컴퓨터 화면의 테두리 상에 존재하는 복수의 점에 대한 상기 카메라 영상에서의 위치인 영상좌표(xi, yi)를 검출하는 영상좌표 검출기능, 상기 검출된 영상 좌표(xi, yi)와 기 설정되어 있는 상 기 복수의 점에 대한 상기 컴퓨터 화면이 이루는 평면상의 좌표인 평면 좌표(Xi, Yi)를 이용하여 호모그래피를 구하는 호모그래피 처리기능, 상기 호모그래피를 이용하여 상기 카메라 영상의 임의의 점에 대한 상기 컴퓨터 화면상의 좌표를 구하여 커서의 위치를 결정하는 커서 좌표를 출력하는 기능을 실현하는 것을 특징으로 한다.
이하, 본 발명의 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한 인터페이스 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 도면을 첨부함에 있어서 동일한 구성은 동일한 도면 부호를 부여한다.
도 1은 본 발명에 의한 인터페이스에 이용되는 카메라와 모니터 사이의 관계를 나타내는 도면이다.
본 발명에 의한 카메라를 이용한 마우스 인터페이스 장치는 컴퓨터 화면(200)의 영상을 연속으로 획득하고 컴퓨터 화면 테두리상의 복수의 점(21, 22, 23,24)의 위치를 이차원 영상으로 검출하기 위한 카메라(100)를 구비한다.
카메라(100)는 컴퓨터의 화면인 모니터의 전체 화면을 영상으로 획득한다. 카메라(100)에 의해 획득된 영상에서 컴퓨터 화면의 테두리에 해당하는 복수의 점의 위치를 검출하여 실제 컴퓨터 화면(200)상의 복수의 점(21, 22, 23,24)의 위치와의 관계에서 호모그래피를 구한다. 이렇게 구한 호모그래피는 카메라에 의한 영상 좌표계(x, y)를 실제 컴퓨터 화면에 의해 이루어지는 평면의 평면 좌표계(X, Y) 로 변환하는 역할을 한다.
따라서, 카메라(100)와 호모그래피를 이용하여 컴퓨터 화면상의 커서를 조절할 수 있는 마우스 인터페이스를 실현할 수 있다.
이하, 도 2 내지 도 4를 통해 카메라에 의한 영상 좌표계(x, y)를 실제 컴퓨터 화면에 의해 이루어지는 평면의 평면 좌표계(X, Y)로 변환하는 호모그래피를 구하는 방법을 나타낸다.
도 2는 카메라가 컴퓨터 화면을 촬영한 상태를 나타내는 도면이다.
카메라(100)는 컴퓨터 화면(200)의 영상을 연속적으로 획득한다. 카메라(100)에 의해 획득된 영상은 컴퓨터 화면(200)을 포함하고 있지만 이러한 컴퓨터 화면(200)은 카메라(100)와 컴퓨터 화면(200)의 관계에 따라 즉 카메라가 움직임에 따라 카메라(100)의 영상에 존재하는 컴퓨터 화면(200)의 위치가 변화한다.
따라서, 카메라(100)는 계속적으로 컴퓨터 화면의 영상을 촬영하고, 카메라 영상에서 컴퓨터 화면의 테두리에 존재하는 복수의 점(11, 12, 13, 14)에 대한 위치를 파악한다.
카메라 영상에 존재하는 컴퓨터 화면의 테두리 상의 복수의 점(11, 12, 13, 14)의 위치는 좌표의 값으로 이루어진다. 여기서 카메라 영상에 의한 평면이 이루는 좌표계를 영상 좌표계라 하고 (x, y)로 표현한다. 영상 좌표계의 각각의 좌표값은 (xi, yi)로 나타낸다. 도 2에 나타나는 것과 같이 영상 좌표계는 카메라 영상의 상부 좌측 꼭지점을 원점으로 설정하고, 이 꼭지점을 기준으로 카메라 영상의 복수 의 점에 대한 좌표를 검출할 수 있다. 이렇게 영상 좌표의 값을 구하는 것은 하나의 실시예에 불과하고 다양한 방법으로 적용될 수 있다.
본 발명에 의한 호모그래피를 구하기 위해 카메라에 의해 획득된 영상에서 실제 컴퓨터 화면의 테두리상에 존재하는 복수의 점(11, 12, 13, 14)의 좌표를 검출한다. 이렇게 컴퓨터 화면의 테두리상에 존재하는 복수의 점(11, 12, 13, 14)을 검출하는 위치는 카메라에 내장된 영상 처리부에 의해 구해질 수 있는 것은 물론 카메라에 의해 촬영된 영상을 컴퓨터로 전송하여 컴퓨터 내에서 영상으로부터 복수의 좌표를 추출할 수도 있다.
도 3은 컴퓨터 화면의 테두리에 존재하는 복수의 점의 좌표를 나타내는 도면이다.
컴퓨터 화면의 테두리상에 존재하는 복수의 점(21, 22, 23, 24)의 좌표는 컴퓨터 화면이 이루는 평면상의 좌표로 평면 좌표계(X, Y)상에 존재한다. 평면 좌표계(X, Y)를 이루는 좌표는 평면 좌표라 하고 (Xi, Yi)로 표현한다.
호모그래피는 카메라 영상에서의 위치인 영상 좌표(x, y)와 실제 컴퓨터 화면에 의한 위치인 평면 좌표(X, Y)의 관계를 나타내는 것으로 호모그래피를 구하기 위해 도 2에 의한 카메라 영상에서의 컴퓨터 테두리 상의 복수의 점(11, 12, 13, 14)에 대응되는 실제 컴퓨터 화면의 테두리 상의 복수의 점(21, 22, 23, 24)의 평면 좌표를 구한다.
평면 좌표(X, Y)는 컴퓨터 화면에 의해 이루어지는 평면으로 복수의 점의 좌 표는 컴퓨터 화면의 상부 좌측 꼭지점을 원점으로 하여 복수의 점의 각각의 좌표를 구할 수 있다. 다만, 원점의 위치는 다양하게 변경하여 적용할 수 있다.
컴퓨터 화면의 테두리상의 복수의 점은 사용자에 의해 그 값이 기 설정되어 저장된다. 따라서, 사용자에 의해 기 설정된 복수의 점과 카메라에 의한 영상으로부터 영상 좌표계에서 검출되는 좌표가 나타내는 점들의 위치는 일치하여야 한다.
다음으로, 컴퓨터 화면의 테두리 상의 동일한 복수의 점에 대해 검출된 영상 좌표(xi, yi)와 기 설정된 평면 좌표(Xi, Yi)를 이용하여 영상좌표계(x, y)를 평면 좌표계(X, Y)로 변환하는 호모그래피는 다음과 같다.
복수의 점에 대해 검출된 영상 좌표(xi, yi)(i = 1 … N)와 사용자에 의해 기 설정된 평면 좌표(Xi, Yi)(i = 1 … N)를 이용한 호모그래피는 다음과 같은 3*3 matrix 이며
Figure 112006065960635-PAT00001
이때 호모그래피를 구하는 수식은 다음과 같다.
Figure 112006065960635-PAT00002
위 식의 A matrix를 singular value decomposition 했을 때 가장 작은 singular value에 대응하는 singular 벡터가 원하는 해 h가 되며 해가 존재하기 위해서는 카메라 영상에서 모든 N개의 점을 구할 필요는 없고, 적어도 네 개 이상의 점만 검출되면 가능하다.
해모그래피를 이용하여 카메라 영상의 임의의 점에 대응되는 컴퓨터 화면의 좌표는 도 4를 통해 설명된다.
도 4는 본 발명에 의한 카메라의 임의의 점이 호모그래피에 의해 컴퓨터 화면의 점으로 구해진 상태를 나타내는 도면이다.
호모그래피를 이용하여 카메라 영상의 임의의 점(x', y')을 컴퓨터 화면의 대응되는 좌표(X', Y')로 변환하기 위해 사용자에 의해 카메라 영상의 임의의 점(x', y')을 먼저 설정한다. 카메라 영상의 임의의 점(x', y')은 카메라 영상에 의한 영상 좌표(x, y)에 기반하기 때문에 상기에서 구한 호모그래피를 이용하여 다 음의 수기에 의해 컴퓨터 화면의 특정좌표(X', Y')로 변환할 수 있다.
Figure 112006065960635-PAT00003
컴퓨터 화면의 특정좌표(X', Y')는 컴퓨터 화면에 의한 평면 좌표계(X, Y)에 기반하여 계산되면, 이 좌표는 카메라의 초점(30)과 사용자에 의해 설정된 카메라 영상의 임의의 점(x', y')을 연결하는 직선이 컴퓨터 화면의 평면 좌표계와 만나는 점을 말한다. 이렇게 계산된 교점의 위치에 마우스 커서를 위치시키면 카메라의 방향과 위치를 조정함으로써 카메라의 초점(30)과 사용자에 의해 설정된 카메라 영상의 임의의 점(x', y')을 연결하는 직선이 향하는 컴퓨터 화면상의 위치에 따라 마마우스 커서의 이동을 조절할 수 있다.
카메라의 방향과 위치를 조정하는 경우에 카메라에 의해 촬영되는 영상에 투영되어 있는 컴퓨터 화면의 위치가 달라지고, 따라서 컴퓨터 화면의 테두리에 존재하는 복수의 점(11, 12, 13, 14)의 영상 좌표(xi, yi)가 달라지기 때문에 계속적으로 호모그래피를 구하게 된다. 따라서 계속적으로 구해지는 호모그래피에 따라 카메라 영상의 임의의 점(x', y')에 대한 마우스 커서가 위치하는 평면 좌표계의 특정좌표(X', Y')는 변경되기 때문에 카메라의 움직임에 따라 그에 대응되게 커서도 컴퓨터 화면상에서 움직인다.
도 5는 본 발명에 의한 카메라를 이용한 마우스 인터페이스 시스템의 구성을 나타내는 도면이다.
카메라를 이용한 마우스 인터페이스 시스템은 컴퓨터 화면을 포함한 영상을 촬영하는 카메라(100), 촬영된 영상으로부터 컴퓨터 화면의 테두리 상에 존재하는 복수의 점의 좌표를 검출하는 영상 처리부(110), 검출된 복수의 점의 좌표와 사용자에 의해 기 설정된 복수의 점의 컴퓨터 화면에 의한 평면 좌표를 이용하여 호모그래피를 구하고, 호모그래피와 카메라 영상의 임의의 점을 이용하여 마우스 커서가 위치할 좌표를 구하여 출력하는 프로세서부(300), 출력된 좌표의 변화에 따라 마우스 커서의 위치를 변경하는 마우스 드라이브(400), 컴퓨터 화면상의 출력된 좌표의 위치에 마우스 커서를 디스플레이하는 모니터(200)로 이루어진다.
카메라(100)는 사용자의 제어에 따라 자유롭게 움직일 수 있다. 카메라(100)는 자체적으로 영상 처리부(110)를 구비할 수 있다. 즉 촬영된 영상으로부터 복수의 점의 영상 좌표를 검출하여 출력할 수 있다.
영상 처리부(110)는 카메라의 내부에 자체 구비될 수 있을 뿐만 아니라, 영상 처리부의 영상좌표 검출 기능을 프로세서부(300) 내에서 수행할 수 있다.
프로세서부(300)는 영상좌표 검출 모듈(310), 호모그래피 처리모듈(330). 커서 좌표 출력모듈(330)을 포함하여 이루어진다.
영상좌표 검출 모듈(310)은 카메라에 의해 촬영된 영상으로부터 복수의 점의 카메라 영상의 영상 좌표(xi, yi)를 검출한다.
호모그래피 처리모듈(320)은 검출된 영상 좌표(xi, yi)와 기 설정되어 있는 상기 복수의 점에 대한 상기 컴퓨터 화면이 이루는 평면상의 좌표인 평면 좌표(Xi, Yi)를 이용하여 호모그래피를 구한다. 호모그래피는 카메라의 이동에 따라 영상 좌표(xi, yi)가 바뀌기 때문에 계속하여 구해진다.
커서 좌표 출력모듈(330)은 계속하여 구해지는 호모그래피를 이용하여 상기 카메라 영상의 임의의 점(x', y')에 대한 컴퓨터 화면상의 좌표(X', Y')를 출력하고, 상기 좌표를 커서의 위치로 선택한다.
마우스 드라이브(400)는 커서의 위치로 선택된 컴퓨터 화면상의 좌표(X', Y')의 이동에 따라 마우스 커서의 움직임을 조절한다.
도 6은 본 발명에 의한 카메라를 이용한 마우스 인터페이스 시스템의 제 1 실시예를 나타내는 도면이다.
컴퓨터 화면을 포함하는 영상을 촬영하기 위한 카메라(100)는 일반적으로 이용되는 다양한 카메라를 이용할 수 있다. 예를 들어 USB 카메라나 1394 카메라를 이용할 수 있다. 이 경우에 카메라(100)는 촬영한 영상을 출력하여 COMPUTER(500)로 전송한다. 카메라(100)와 COMPUTER(500)는 USB Port 혹은 1394 Port(510)를 통해 영상 데이터를 송수신한다.
COMPUTER(500)는 카메라(100)에 의해 전송된 영상으로부터 컴퓨터 화면 테두리상의 복수의 점의 좌표인 영상 좌표를 검출하고, 검출된 영상 좌표와 실제 평면 좌표를 이용하여 호모그래피를 구하고, 영상 좌표의 임의의 점을 호모그래피를 이 용하여 컴표터 화면상의 특정 좌표로 변화하여 마우스 커서의 위치를 결정하여 출력하는 일련의 과정을 실행하는 프로세서부(300)를 포함한다.
프로세서부(300)는 COMPUTER(500)에 설치되어 카메라의 영상을 입력받아 처리하는 실행 프로그램에 의해 그 기능을 수행할 수 있다.
프로세서부(300)에 의해 출력되는 마우스 커서(201)의 위치에 커서를 위치하여 모니터(200)를 이용하여 디스플레이하는 마우스 드리아브(400)가 COMPUTER(500)에 설치된다.
따라서, 모니터(200)는 카메라(100)의 이동에 따라 구해지는 호모그래피를 이용하여 마우스 커스(201)를 디스플레이한다.
도 7은 본 발명에 의한 카메라를 이용한 마우스 인터페이스 시스템의 제 2 실시예를 나타내는 도면이다.
도 7에 의한 카메라(100)는 컴퓨터 화면을 포함하는 영상을 촬영하는 것은 물론, 촬영된 영상에서 컴퓨터 화면의 테두리 상의 복수의 점의 좌표인 영상 좌표를 검출하고, 호모그래피를 구하고 또한 호모그래피를 이용하여 마우스 커스의 위치 좌표를 구해서 컴퓨터(500)로 전송하는 Image Processing Unit(120)를 포함한다.
따라서 Image Processing Unit(120)은 상기 도 5의 컴퓨터 내에 존재하는 프로세서부(300)에 의해 실행되는 기능을 수행한다. 즉, 촬영된 영상으로부터 검출된 영상 좌표와 실제 평면 좌표를 이용하여 호모그래피를 구하고, 영상 좌표의 임의의 점을 호모그래피를 이용하여 컴퓨터 화면상의 특정 좌표로 변화하여 마우스 커서의 위치를 결정하여 출력하는 일련의 과정을 카메라(100) 내에 존재하는 Image Processing Unit(120)에 의해 수행한다.
카메라(100)는 Image Processing Unit(120)에 의해 출력된 마우스 커서의 위치에 관한 좌표값을 컴퓨터(500)로 전송한다. 이때, 카메라(100)와 COMPUTER(500)는 USB Port 혹은 1394 Port(510)를 통해 좌표값에 관한 신호를 송수신한다.
도 8은 본 발명에 의한 카메라를 이용한 마우스 인터페이스 시스템의 제 3 실시예를 나타내는 도면이다.
도 8은 카메라(100)와 컴퓨터(500) 사이에서 이루어지는 통신이 무선통신을 통해 이루어지는 구성을 나타낸다. 따라서, 카메라(100)는 촬영된 영상 혹은 Image Processing Unit(120)에 의해 처리된 마우스 커서의 좌표 값을 송신부(transmitter, 130)를 통해 전송한다. 컴퓨터(500)는 수신부(Receiver, 520)를 통해 카메라(100)에서 전송된 촬영된 영상이나 마우스 커서의 좌표 값을 수신하여 모니터(200)의 커서의 위치를 조절한다.
도 9는 본 발명에 의한 카메라를 이용한 마우스 인터페이스 방법을 나타내는 도면이다.
카메라를 이용한 마우스 인터페이스 방법은 카메라를 통해 컴퓨터 화면의 카메라 영상을 촬영하는 영상 촬영 단계(S920), 상기 촬영된 영상에서 상기 컴퓨터 화면의 테두리에 존재하는 복수의 점에 관한 영상 좌표를 검출하는 복수의 위치 검출 단계(S930), 상기 복수의 점의 상기 컴퓨터 화면이 이루는 평면상의 평면 좌표와 상기 검출된 영상 좌표를 이용하여 호모그래피를 구하는 단계(S940), 상기 카메라 영상의 임의의 점을 상기 호모그래피를 이용하여 상기 컴퓨터 화면의 좌표로 변환하여 모니터상의 커서 위치를 구하는 단계(S950), 상기 컴퓨터 화면의 좌표에 커서를 위치하여 커서의 움직임을 조절하여 커서를 구동하는 단계(S960), 상기 카메라의 이동이 있는지 여부를 판단하는 단계(S970)에 의해 카메라의 이동이 있는 경우에는 카메라는 컴퓨터 화면을 포함하는 영상을 촬영하는 단계로 다시 돌아가서 처음부터 과정을 수행한다. 따라서 카메라의 이동에 따라 마우스 커서의 위치를 계속하여 조절한다.
본 발명의 또 다른 일 실시 예로 도면에 도시되지는 않았지만 프로그램으로 기록되어 컴퓨터로 읽을 수 있는 기록매체로 본 발명의 기능을 실현할 수 있다. 본 발명에 의한 카메라를 이용한 인터페이스 기능을 실현하기 위한 기록매체는 카메라를 통해 촬영된 컴퓨터 화면으로부터 상기 컴퓨터 화면의 테두리 상에 존재하는 복수의 점에 대한 상기 카메라 영상에서의 위치인 영상좌표(xi, yi)를 검출하는 영상좌표 검출기능과 상기 검출된 영상 좌표(xi, yi)와 기 설정되어 있는 상기 복수의 점에 대한 상기 컴퓨터 화면이 이루는 평면상의 좌표인 평면 좌표(Xi, Yi)를 이용하여 호모그래피를 구하는 호모그래피 처리기능 및 상기 호모그래피를 이용하여 상 기 카메라 영상의 임의의 점에 대한 상기 컴퓨터 화면상의 좌표를 구하여 커서의 위치를 결정하는 커서 좌표를 출력하는 기능을 실현하는 것을 특징으로 한다.
또한 본 발명은 커서 좌표를 출력하는 기능에 의해 결정된 좌표의 변화에 따라 커서의 위치를 움직이는 기능을 더 실현할 수 있다.
이상에서 몇 가지 실시 예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
상술한 바와 같이, 본 발명에 따르면 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한 시스템 및 방법은, 컴퓨터에 연결할 수 있는 카메라를 통해 사용 전 보정과정이 필요 없을 뿐만 아니라 별도의 인터페이스 장치를 구비하지 않고 저렴한 비용으로 인터페이스 시스템을 구축할 수 있는 효과가 있다.
또한 본 발명은 소형 카메라를 이용하여 척수 장애인이 머리에 착용하여 컴퓨터를 조작할 수 있을 뿐만 아니라 일반적인 컴퓨터 사용이나 컴퓨터 게임, 프리젠테이션 시의 인터페이스로 활용할 수 있는 효과가 있다.

Claims (33)

  1. 카메라를 통해 촬영된 컴퓨터 화면으로부터 상기 컴퓨터 화면의 테두리 상에 존재하는 복수의 점에 대한 카메라 영상에서의 위치인 영상좌표(xi, yi)를 검출하는 영상좌표 검출모듈;
    상기 검출된 영상 좌표(xi, yi)와 기 설정되어 있는 상기 복수의 점에 대한 상기 컴퓨터 화면이 이루는 평면상의 좌표인 평면 좌표(Xi, Yi)를 이용하여 호모그래피를 구하는 호모그래피 처리모듈;
    상기 호모그래피를 이용하여 상기 카메라 영상의 임의의 점에 대한 상기 컴퓨터 화면상의 좌표를 출력하고, 상기 좌표를 커서의 위치로 결정하는 커서 좌표 출력모듈을 포함하여 이루어지는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 장치.
  2. 제 1항에 있어서,
    상기 커서 좌표 출력모듈에 의해 결정된 좌표의 변화에 따라 커서의 위치를 움직이는 마우스 드라이브를 더 포함하는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 장치.
  3. 제 2항에 있어서, 상기 복수의 점은
    상기 컴퓨터 화면의 테두리에 존재하는 적어도 4개 이상의 점으로 이루어지는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 장치.
  4. 제 3항에 있어서, 상기 호모그래피는
    영상 좌표(xi, yi)를 평면 좌표(Xi, Yi)로 변환하는 3×3 matrix로 이루어지는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 장치.
  5. 제 4항에 있어서, 상기 호모그래피 처리모듈은
    Figure 112006065960635-PAT00004
    의 수식에 의해 구해진
    Figure 112006065960635-PAT00005
    인 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 장치.
  6. 제 1항 내지 제 5항에 있어서, 상기 호모그래피 처리모듈은
    상기 카메라의 이동으로 인한 영상 좌표(xi, yi)의 변화에 따라 계속적으로 호모그래피를 구하는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 장치.
  7. 컴퓨터 화면을 연속으로 촬영하여 상기 컴퓨터 화면을 포함하는 영상을 획득하는 카메라;
    상기 획득된 영상으로부터 상기 컴퓨터 화면의 테두리 상의 복수의 점에 대한 상기 카메라 영상에서의 위치인 영상좌표(xi , yi)와 기 설정되어 있는 상기 복수의 점에 대한 상기 컴퓨터 화면이 이루는 평면상의 좌표인 평면 좌표(Xi, Yi)를 이용하여 구한 호모그래피에 의해 상기 카메라 영상의 임의의 좌표에 대한 상기 컴퓨터 화면상의 대응되는 좌표를 구하여 출력하는 프로세서부;
    상기 프로세서부에 의해 출력된 좌표에 커스를 위치하여 디스플레이하는 모니터를 포함하여 이루어지는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템
  8. 제 7항에 있어서, 상기 호모그래피는
    상기 카메라의 영상 좌표를 상기 컴퓨터 화면의 평면 좌표로 변환하는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  9. 제 8항에 있어서, 상기 프로세서부는
    상기 카메라의 이동으로 영상 좌표(xi , yi)가 변화하면 계속하여 호모그래피를 구하는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  10. 제 9항에 있어서, 상기 프로세서부는
    상기 계속하여 구해지는 호모그래피에 따라 상기 카메라 영상의 임의의 좌표에 대한 상기 컴퓨터 화면상의 대응되는 좌표를 계속하여 구하는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  11. 제 10항에 있어서,
    상기 프로세서부는 상기 출력되는 좌표의 변화에 따라 상기 모니터에 디스플레이 되는 커서의 위치를 이동하는 마우스 드라이브를 더 포함하는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  12. 제 7항 내지 제 11항에 있어서,
    상기 컴퓨터 화면의 테두리 상의 복수의 점은 적어도 4개 이상의 점인 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  13. 컴퓨터 화면을 연속으로 촬영하여 상기 컴퓨터 화면을 포함하는 영상을 획득하고, 상기 획득된 영상으로부터 상기 컴퓨터 화면의 테두리 상의 복수의 점에 대한 상기 카메라 영상에서의 위치인 영상좌표(xi , yi)와 기 설정되어 있는 상기 복수의 점에 대한 상기 컴퓨터 화면이 이루는 평면상의 좌표인 평면 좌표(Xi, Yi)를 이용하여 구한 호모그래피에 의해 상기 카메라 영상의 임의의 좌표에 대한 상기 컴퓨터 화면상의 대응되는 좌표를 구하여 출력하는 카메라를 포함하여 이루어지는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  14. 제 13항에 있어서,
    상기 컴퓨터 화면에 상기 카메라로부터 출력된 좌표에 해당하는 위치에 커서를 위치하도록 제어하는 마우스 드라이브를 더 포함하여 이루어지는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  15. 제 14항에 있어서,
    상기 카메라와 상기 마우스 드라이브는 무선 통신으로 상기 카메라에서 출력된 좌표에 관한 신호를 송수신하는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  16. 제 14항에 있어서,
    상기 카메라와 상기 마우스 드라이브는 USB 포트에 의해 연결되는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  17. 컴퓨터 화면을 연속으로 촬영하여 상기 컴퓨터 화면을 포함하는 영상을 획득하는 카메라;
    상기 획득된 영상으로부터 상기 컴퓨터 화면의 테두리 상의 복수의 점에 대한 상기 카메라 영상에서의 위치인 영상좌표(xi , yi)와 기 설정되어 있는 상기 복수의 점에 대한 상기 컴퓨터 화면이 이루는 평면상의 좌표인 평면 좌표(Xi, Yi)를 이용하여 구한 호모그래피에 의해 상기 카메라 영상의 임의의 좌표에 대한 상기 컴퓨터 화면상의 대응되는 좌표를 구하여 출력하는 프로세서부를 구비하는 컴퓨터를 포함하여 이루어지는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  18. 제 17항에 있어서, 상기 카메라는
    상기 획득된 영상으로부터 상기 컴퓨터 화면의 테두리 상의 복수의 점에 대한 상기 카메라 영상에서의 위치인 영상 좌표를 검출하는 영상처리부를 구비하는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  19. 제 17항에 있어서, 상기 컴퓨터는
    상기 컴퓨터 화면에 상기 카메라로부터 출력된 좌표에 해당하는 위치에 커서를 위치하도록 제어하는 마우스 드라이브를 포함하는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  20. 제 17 내지 제 19항에 있어서,
    상기 복수의 점은 상기 컴퓨터 화면의 테두리 상의 적어도 4개 이상의 점인 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  21. 제 20항에 있어서,
    상기 카메라와 상기 컴퓨터는 무선 통신에 의해 상기 카메라에서 출력된 신호를 송수신하는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  22. 제 20항에 있어서,
    상기 카메라와 상기 컴퓨터는 USB 포트에 의해 연결되는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  23. 제 21항에 있어서,
    상기 해모그래피는 상기 카메라의 이동에 따라 계속하여 변하는 것을 특징으 로 하는 카메라를 이용한 마우스 인터페이스 시스템.
  24. 카메라를 통해 컴퓨터 화면의 카메라 영상을 촬영하는 1 단계;
    상기 촬영된 영상에서 상기 컴퓨터 화면의 테두리에 존재하는 복수의 점에 관한 영상 좌표를 검출하는 2 단계;
    상기 복수의 점의 상기 컴퓨터 화면이 이루는 평면상의 평면 좌표와 상기 검출된 영상 좌표를 이용하여 호모그래피를 구하는 3 단계;
    상기 카메라 영상의 임의의 점을 호모그래피를 이용하여 상기 컴퓨터 화면의 좌표로 변환하는 4 단계;
    상기 4단계에 의한 상기 컴퓨터 화면의 좌표에 커서를 위치하도록 하는 5 단계를 포함하여 이루어지는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 방법.
  25. 제 24항에 있어서,
    상기 복수의 점은 적어도 4개 이상인 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 방법.
  26. 제 25항에 있어서,
    상기 호모그래피는 상기 영상 좌표(x, y)를 평면 좌표(X, Y)로 변환하는 3×3 matrix로 이루어지는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 방 법.
  27. 제 26항에 있어서, 상기 호모그래피는
    Figure 112006065960635-PAT00006
    의 수식에 의해 구해진
    Figure 112006065960635-PAT00007
    인 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 방법.
  28. 제 24 내지 제 27항에 있어서,
    상기 카메라의 이동에 따른 상기 영상 좌표의 변화에 따라 상기 제 1단계에서 상기 제 5단계의 과정이 계속적으로 반복되는 것을 특징으로 하는 카메라를 이용한 마우스 인터페이스 방법.
  29. 카메라를 통해 촬영된 컴퓨터 화면으로부터 상기 컴퓨터 화면의 테두리 상에 존재하는 복수의 점에 대한 상기 카메라 영상에서의 위치인 영상좌표(xi, yi)를 검출하는 영상좌표 검출기능;
    상기 검출된 영상 좌표(xi, yi)와 기 설정되어 있는 상기 복수의 점에 대한 상기 컴퓨터 화면이 이루는 평면상의 좌표인 평면 좌표(Xi, Yi)를 이용하여 호모그래피를 구하는 호모그래피 처리기능;
    상기 호모그래피를 이용하여 상기 카메라 영상의 임의의 점에 대한 상기 컴퓨터 화면상의 좌표를 구하여 커서의 위치를 결정하는 커서 좌표를 출력하는 기능;을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  30. 제 29항에 있어서,
    상기 커서 좌표를 출력하는 기능에 의해 결정된 좌표의 변화에 따라 커서의 위치를 움직이는 기능을 더 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  31. 제 30항에 있어서, 상기 호모그래피 처리기능은
    상기 영상 좌표(xi, yi)의 변화에 따라 계속적으로 호모그래피를 구하는 기능을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  32. 제 31항에 있어서, 상기 호모그래피 처리기능은
    상기 영상 좌표(x, y)를 평면 좌표(X, Y)로 변환하는 3×3 matrix로 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  33. 제 32항에 있어서, 상기 복수의 점은
    상기 컴퓨터 화면의 테두리에 존재하는 적어도 4개 이상의 점인 것을 특징으로 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060088343A 2006-09-13 2006-09-13 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체 KR100844129B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060088343A KR100844129B1 (ko) 2006-09-13 2006-09-13 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체
US11/618,809 US20080062124A1 (en) 2006-09-13 2006-12-30 Mouse interface apparatus using camera, system and method using the same, and computer recordable medium for implementing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060088343A KR100844129B1 (ko) 2006-09-13 2006-09-13 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체

Publications (2)

Publication Number Publication Date
KR20080024252A true KR20080024252A (ko) 2008-03-18
KR100844129B1 KR100844129B1 (ko) 2008-07-04

Family

ID=39169093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060088343A KR100844129B1 (ko) 2006-09-13 2006-09-13 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체

Country Status (2)

Country Link
US (1) US20080062124A1 (ko)
KR (1) KR100844129B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411437A (zh) * 2010-09-21 2012-04-11 申金坡 对鼠标绕z轴旋转后的倾角进行补偿的方法及设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI345720B (en) * 2007-04-24 2011-07-21 Pixart Imaging Inc Cursor controlling device and method for image apparatus and image system
US20130187854A1 (en) * 2007-05-26 2013-07-25 Moon Key Lee Pointing Device Using Camera and Outputting Mark
US8054332B2 (en) * 2007-09-19 2011-11-08 Fuji Xerox Co., Ltd. Advanced input controller for multimedia processing
US20150138085A1 (en) * 2013-07-31 2015-05-21 Bradley Lloyd Wilk Electronic apparatus for simulating or interfacing a backward compatible human input device by means or control of a gesture recognition system
CN108513077B (zh) * 2018-05-28 2021-01-01 安徽文香信息技术有限公司 一种通过鼠标控制摄像头位置居中的方法
CN110413353B (zh) * 2019-07-25 2023-05-12 浙江大华技术股份有限公司 一种数据处理方法、装置和存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010010514A1 (en) * 1999-09-07 2001-08-02 Yukinobu Ishino Position detector and attitude detector
US6738041B2 (en) * 1999-10-29 2004-05-18 Intel Corporation Using video information to control cursor position
US6774889B1 (en) 2000-10-24 2004-08-10 Microsoft Corporation System and method for transforming an ordinary computer monitor screen into a touch screen
US6594616B2 (en) * 2001-06-18 2003-07-15 Microsoft Corporation System and method for providing a mobile input device
US20030076980A1 (en) * 2001-10-04 2003-04-24 Siemens Corporate Research, Inc.. Coded visual markers for tracking and camera calibration in mobile computing systems
DE60205662T2 (de) * 2001-12-21 2006-06-29 British Telecommunications P.L.C. Vorrichtung und Verfahren zur Berechnung einer Position einer Anzeige
KR100532525B1 (ko) * 2002-05-07 2005-11-30 이문기 카메라를 이용한 삼차원 포인팅장치
US20050162384A1 (en) * 2004-01-28 2005-07-28 Fujinon Corporation Pointing device, method for displaying point image, and program therefor
KR20040027561A (ko) * 2004-02-12 2004-04-01 학교법인 한국정보통신학원 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그동작 방법
US7496229B2 (en) * 2004-02-17 2009-02-24 Microsoft Corp. System and method for visual echo cancellation in a projector-camera-whiteboard system
US7394946B2 (en) * 2004-05-18 2008-07-01 Agfa Healthcare Method for automatically mapping of geometric objects in digital medical images
US7355583B2 (en) * 2004-08-10 2008-04-08 Mitsubishi Electric Research Laboretories, Inc. Motion-based text input
JP2006146760A (ja) 2004-11-24 2006-06-08 Aisin Seiki Co Ltd 画像変換方法及び画像変換装置
JP4681856B2 (ja) * 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
US7477236B2 (en) * 2005-04-29 2009-01-13 Microsoft Corporation Remote control of on-screen interactions
KR100714722B1 (ko) * 2005-06-17 2007-05-04 삼성전자주식회사 광원의 신호를 사용하여 포인팅 사용자 인터페이스를구현하는 장치 및 방법
US20070177806A1 (en) * 2006-02-01 2007-08-02 Nokia Corporation System, device, method and computer program product for using a mobile camera for controlling a computer
US7852315B2 (en) * 2006-04-07 2010-12-14 Microsoft Corporation Camera and acceleration based interface for presentations

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411437A (zh) * 2010-09-21 2012-04-11 申金坡 对鼠标绕z轴旋转后的倾角进行补偿的方法及设备

Also Published As

Publication number Publication date
KR100844129B1 (ko) 2008-07-04
US20080062124A1 (en) 2008-03-13

Similar Documents

Publication Publication Date Title
KR100844129B1 (ko) 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체
US9007400B2 (en) Image processing device, image processing method and computer-readable medium
US8411911B2 (en) Image processing apparatus, image processing method, and storage medium for storing program
US8350896B2 (en) Terminal apparatus, display control method, and display control program
JP3950837B2 (ja) プロジェクタ並びにプロジェクタを使用した電子黒板システム及び指示位置取得方法
US20040246229A1 (en) Information display system, information processing apparatus, pointing apparatus, and pointer cursor display method in information display system
JP2011081506A (ja) 映像表示装置、および、その表示制御方法
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
WO2017057106A1 (ja) 入力装置、入力方法、及びプログラム
US20020136455A1 (en) System and method for robust foreground and background image data separation for location of objects in front of a controllable display within a camera view
JP2011095985A (ja) 画像表示装置
US10835109B2 (en) Endoscope system
US10401146B2 (en) Information processing device, information processing method, and program
US20140191959A1 (en) Pointing system and display having improved operable range
KR20140137564A (ko) 인물 추적용 3차원 이미지 센싱 시스템 및 그 방법
US9300908B2 (en) Information processing apparatus and information processing method
CN109765990B (zh) 画面显示控制方法及画面显示控制系统
JP2008107886A (ja) 情報表示システム、及び、ポインティング制御方法
US10403002B2 (en) Method and system for transforming between physical images and virtual images
US10742883B2 (en) Data processing method for generating composite image data indicating positional changes of an object
JP6885133B2 (ja) 画像処理装置、撮像システム、画像処理方法及びプログラム
JP2009222446A (ja) 距離測定装置及びそのプログラム
US10200617B2 (en) Camera apparatus, and method of generating view finder image signal
US20220417427A1 (en) Image processing apparatus that retouches and displays picked-up image, image processing method, and storage medium
CN117808993A (zh) 处理器、信息处理方法及非暂时性存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130527

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee