KR100790896B1 - 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치 - Google Patents

촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치 Download PDF

Info

Publication number
KR100790896B1
KR100790896B1 KR1020060114100A KR20060114100A KR100790896B1 KR 100790896 B1 KR100790896 B1 KR 100790896B1 KR 1020060114100 A KR1020060114100 A KR 1020060114100A KR 20060114100 A KR20060114100 A KR 20060114100A KR 100790896 B1 KR100790896 B1 KR 100790896B1
Authority
KR
South Korea
Prior art keywords
gestures
gesture
application
motion
movement
Prior art date
Application number
KR1020060114100A
Other languages
English (en)
Inventor
치펑 리우
문영수
김윤경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060114100A priority Critical patent/KR100790896B1/ko
Priority to US11/892,401 priority patent/US7952561B2/en
Application granted granted Critical
Publication of KR100790896B1 publication Critical patent/KR100790896B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Abstract

본 발명은 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법 및 장치에 관한 것으로, 어플리케이션을 제어하는 명령에 대응하는 제스처들을 저장하고, 연속적으로 입력되는 영상에 대응하는 움직임 파라미터를 추정하고, 상기 저장된 제스처들 중에서 상기 추정된 움직임 파라미터와 대응하는 제스처를 검출한 후, 상기 검출된 제스처와 대응하는 명령의 제어 신호를 출력함으로써, 촬상부 외에 추가적으로 하드웨어를 부가하지 않고, 촬상부의 움직임만으로 제어하고자 하는 장치의 어플리케이션을 편리하게 제어할 수 있다.

Description

촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및 장치{Controlling method and apparatus for application using image pickup unit.}
도 1은 본 발명의 바람직한 일실시예에 따라 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 장치를 나타낸 도면이다.
도 2는 본 발명의 바람직한 일실시예에 따라 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 장치의 연산부를 보다 구체적으로 나타낸 도면이다.
도 3은 도 2의 움직임 추정부에서 움직임 파라미터를 추정하는 과정을 나타낸 흐름도이다.
도 4a는 본 발명의 일실시예에 의해 추정된 움직임 파라미터를 구성하는 병진 운동을 나타낸 도면이다.
도 4b는 본 발명의 일실시예에 의해 추정된 움직임 파라미터를 구성하는 회전 운동을 나타낸 도면이다.
도 5는 도 2의 제스처 모델 저장부에서 실행되는 과정을 나타낸 흐름도이다.
도 6은 도 2의 제스처 모델 저장부에 저장된 제스처들의 집합을 나타낸 도면이다.
도 7은 본 발명의 바람직한 일실시예에 따라 어플리케이션을 제어하는 제스처를 나타낸 도면이다.
도 8은 본 발명의 바람직한 제 1 실시예에 따라 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법을 나타낸 도면이다.
도 9는 본 발명의 바람직한 제 2 실시예에 따라 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법을 나타낸 도면이다.
도 10은 본 발명의 바람직한 제 3 실시예에 따라 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법을 나타낸 도면이다.
본 발명은 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법 및 그 장치에 관한 것이다.
모바일 폰(Mobile phone), 디지털 카메라(Digital camera), 디지털 리코더(Digital recorder), PDA(Personal Digital Associate) 및 디지털 TV, DVD, 전자 게임기기를 제어하기 위한 리모트 콘트롤러(remote controller)와 같은 핸드 헬드(hand-held) 장치들이 많이 사용되고 있다. 이와 같은 핸드 헬드 장치들은 그 크기가 작기 때문에 이러한 장치의 어플리케이션(Application)을 제어하는 데는 몇 가지 불편한 점이 있다. 예를 들면, 입력 키(Input key)들이 매우 작기 때문에 원하는 입력 키를 누르는데 제약이 따르는 불편함이 있다. 이러한, 불편함을 대체하는 도구로 손으로 직접 내용을 작성해서 입력하는 PDA 펜과 같은 스타일러스(stylus)가 사용되고 있다. 그러나, 스타일러스를 동작하기 위해서는 한 손은 포 켓용 컴퓨터를 들고, 다른 한 손은 스타일러스를 들고 내용을 입력해야 하는 입력 방식으로 인해 양손이 함께 요구되고, 값이 비싼 터치스크린(touch screen)이 필요하다는 문제점이 있다. 또한, 쌍방향(Interactive)의 게임과 같은 어플리케이션에서는 게임 플레이어를 더욱 직접적이고 자연스럽게 제어하는 것이 요구되는데, 입력 키 및 스타일러스을 통해서는 3D 게임에서 게임 플레이어의 동작을 자연스럽게 제어할 수 없다는 문제점이 있다.
이러한 문제점을 해결하기 위한 방안으로 카메라가 장착된 핸드 헬드 장치의 움직임을 이용하여 핸드 헬드 장치를 제어하기 위한 카메라 움직임 제어에 관해 많은 연구가 이루어지고 있다. 그러한 연구 결과로, 핸드 헬드 장치의 움직임이 사용자 인터페이스(User interface)의 입력으로 사용되고, 이러한 움직임은 카메라의 의해 획득한 영상에 의해 추정됨을 특징으로 하는 발명이 개시되었다. 그러나 이 발명은 그 내용이 너무 개념적이고, 별도의 입력키를 사용하여 어플리케이션을 선택하여야 하므로, 여전히 입력키를 사용하여야 하는 문제점이 있다. 또한, 카메라의 움직임이 디스플레이(Display)에서 그래픽 요소들의 위치로 사용되고, 이러한 카메라의 움직임은 자이로스코프(Gyroscope) 또는 카메라 자체에 의해 검출되는 것을 특징으로 하는 발명이 개시되었다. 그러나 이 발명은 프린터하기 전에 미리 보는 축소 화상에서 커서의 위치를 의미하는 썸 네일 포인팅(Thumb nail pointing) 및 하위 이미지 선택 등 제한된 어플리케이션에 관해서만 기술하였고, 포인팅의 정확성이 낮은 문제점이 있다.
또한, 단지 2개의 축들을 따라 방향을 변화시킴으로써, 뷰 네비게이션(View navigation) 및 디스플레이의 확장을 수행하는 것을 특징으로 하는 발명이 개시되었다. 그러나 이 발명은 미니어처 센서(Miniature sensor)가 필수적으로 요구되기 때문에 많은 비용이 요구되고, 무게가 많이 나가게 된다는 문제점이 있다.
또한, 카메라 움직임이 모바일 폰의 사용자 인터페이스의 입력으로 사용되고, 카메라 움직임은 획득한 영상들에 의해 추정되는 것을 특징으로 하는 발명이 개시되었다. 그러나, 이 발명에서 실시예들은 모의 데이터들에 의해 수행되었고, 타깃 어플리케이션(Target application)에 대해서는 거의 논의하지 않았으므로, 그 실용성 여부가 불확실하다는 문제점이 있다.
또한, 카메라 움직임이 모바일 폰의 사용자 인터페이스의 입력으로 사용되고, 카메라 움직임은 획득한 영상들에 의해 추정되고, 카메라 움직임은 병진 운동만으로 단순하게 추정되는 다른 발명이 개시되었다. 그러나, 이 발명에서 제안된 움직임 모델은 너무 단순하여 복잡한 사용자 인터페이스에 적용할 수 없다는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 핸드 헬드 디바이스와 같은 장치의 어플리케이션을 제어하는데 있어서, 영상을 입력 받는 촬상부 외에 별도의 하드웨어 장치를 구비하지 않고, 촬상부의 움직임만으로 어플리케이션을 편리하게 제어할 수 있는 방법 및 장치를 제공하는데 있다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 문제점을 해결하기 위한 본 발명에 따른 촬상부의 움직임을 이용한 어플리케이션의 제어 방법은 어플리케이션을 제어하는 명령에 대응하는 제스처들을 저장하는 단계; 연속적으로 입력되는 영상에 대응하는 움직임 파라미터를 추정하는 단계; 상기 저장된 제스처들 중에서 상기 추정된 움직임 파라미터와 대응하는 제스처를 검출하는 단계; 및 상기 검출된 제스처와 대응하는 명령의 제어 신호를 출력하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명에 따른 청각특성을 이용한 저음 보강 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명에 따른 촬상부의 움직임을 이용한 어플리케이션의 제어 장치는 연속적으로 입력되는 영상에 대응하는 움직임 파라미터를 추정하는 움직임 추정부; 어플리케이션을 제어하는 명령에 대응하는 제스처들을 저장하는 제스처 모델 저장부; 상기 움직임 추정부에서 추정한 움직임 파라미터와 대응하는 제스처를 상기 제스처 모델 저장부로부터 검출하고, 검출한 제스처에 대응하는 명령의 제어 신호를 출력하는 움직임 분석부를 포함한다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한 다.
도 1은 본 발명의 바람직한 일실시예에 따라 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 장치를 나타낸 도면이다.
본 발명의 바람직한 일실시예에 따라, 촬상부의 움직임을 이용한 제어 장치는 촬상부(100), 신호 처리부(110), 연산부(120) 및 제어 신호 생성부(130)를 포함한다.
촬상부(100)는 연속적으로 영상을 촬상하고, 촬상한 영상을 연속적으로 입력받는다. 또한, 입력 받은 영상을 연속적으로 신호 처리부(110)로 출력한다. 본 발명에서 사용되는 촬상부(pickup unit)는 렌즈를 통해 영상을 획득하고, 획득한 영상을 영상 표시부에 표시하는 기능을 가진 모듈을 의미하고, 이러한 촬상부(100)에는 카메라가 일반적이나, 반드시 이에 한정되지는 않는다.
신호 처리부(110)는 촬상부(100)로부터 영상 신호를 입력 받고, 입력 받은 영상 신호를 디지털 신호로 변환하여, 연산부(120)로 출력한다.
연산부(120)는 신호 처리부(110)로부터 디지털 처리된 영상 신호를 입력 받고, 입력 받은 영상 신호를 연산 처리하여 제어하고자 하는 장치의 어플리케이션을 제어하는 명령을 출력한다.
도 2는 본 발명의 바람직한 일실시예에 따라 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 장치의 연산부를 보다 구체적으로 나타낸 도면이다. 이하, 도 2를 참조하여, 도 1의 연산부(120)에서 수행되는 과정을 상세히 살펴본다.
도 1에 도시된 촬상부의 움직임을 이용한 제어 장치의 연산부(120)는 움직임 추정부(200), 움직임 분석부(210) 및 제스처 모델 저장부(220)를 포함한다. 또한, 제스처 모델 저장부(220)은 제스처 집합 정의부(221) 및 제스처 정의부(222)를 포함한다. 또한, 움직임 분석부(210)은 제스처 집합 선택부(211) 및 제스처 선택부(212)를 포함한다.
움직임 추정부(200)는 입력 단자 2(IN 2)를 통해 디지털 처리된 영상 신호를 입력 받고, 입력 받은 영상 신호로부터 촬상부(100)의 움직임을 추정한 후, 추정한 움직임 파라미터를 움직임 분석부(210)로 출력한다.
도 3은 도 2의 움직임 추정부에서 움직임 파라미터를 추정하는 과정을 나타낸 흐름도이다. 이하, 도 3을 참조하여, 도 2의 움직임 추정부(200)에서 실행되는 과정을 상세히 살펴본다.
300 단계에서 신호 처리부(110)로부터 디지털 처리된 영상 신호를 연속적으로 입력 받는다.
310 단계에서 입력 받은 최초의 영상에서 특징점을 검출한다. 여기서, 특징점이란, 영상에서 주변의 다른 픽셀(pixel)과 구별되는 지점을 의미한다. 특징점을 검출하는 방법으로는 여러 방법이 이용될 수 있으나, 본 발명의 바람직한 일실시예에서는 코너(corner)를 기반으로 한 특징점을 검출한다. 즉, 각 화소 단위로 표현되는 영상에서 주변의 화소의 농도와 가장 큰 차이가 나는 화소를 특징점으로 검출한다.
320 단계에서 연속적으로 입력 받은 영상의 특징점을 트래킹(tracking)한다. 트래킹이란, 시공간적으로 변화하는 특징점의 궤도를 추적하는 것을 의미한다. 연 속적으로 입력되는 영상에서 특징점의 명암도를 비교하여 유사도를 측정하여 특징점을 트래킹한다. 이 때, 특징점을 트래킹하는 방법으로는 피라미드 엘 케이(Pyramid Lucas kanade, PLK) 방법을 이용한다. 피라미드 엘 케이 방법이란, 특징점을 트래킹 시 피라미드 형식으로 점차적으로 확대하는 것을 의미한다. 즉, 처음에는 낮은 해상도에서 특징점을 트래킹하고, 점차적으로 보다 높은 해상도에서 특징점을 트래킹하는 것을 의미한다. 이와 같이 해상도를 높여가면서 트래킹을 하면, 점차적으로 많은 수의 특징점을 트래킹하게 되므로, 움직임이 큰 경우에도 트래킹이 가능하다.
330 단계에서 란삭(RANdom SAMple Consensus, RANSAC)을 이용하여 잘못 매칭(matching)된 대응점을 제거한다. 란삭이란, 무작위로 샘플링한 데이터로부터 수학적 모델의 파라미터를 추정하는 것을 의미한다. 이 경우, 무작위로 샘플링한 데이터에는 각 데이터와 매우 상이한 값을 가진 데이터가 포함될 수 있는데, 이러한 데이터를 샘플링하여 수학적 모델의 파라미터를 추정하게 되면, 추정한 파라미터는 각 데이터로 추정한 파라미터와 매우 상이하게 된다. 이렇게 추정한 파라미터와 각 데이터로 추정한 파라미터가 매우 상이하면, 이러한 데이터를 제외하고 샘플링하여 파라미터를 추정하는데, 이와 같은 과정을 란삭이라고 한다. 본 발명에서도 란삭에 의해 잘못 매칭된 대응점을 제거함으로서, 정확한 움직임 파리미터를 추정한다. 제 330 단계에 의해 추정된 파라미터는 x, y, z 축으로 움직이는 3개의 병진 운동(Translation motion) 및 x, y, z 축을 중심으로 회전하는 3개의 회전 운동(Rotation motion)으로 구성된다.
도 4a는 본 발명의 일실시예에 의해 추정된 움직임 파라미터를 구성하는 병진 운동을 나타낸 도면이다. 도 4a에 도시된 바와 같이, 추정된 움직임 파라미터를 구성하는 병진 운동은 3개의 형태로 나타낼 수 있다. 병진 운동은 도 4a에서 도시된 바와 같이, 촬상부가 장착된 장치를 A의 방향으로 움직이는 제 1 형태의 병진 운동, 촬상부가 장착된 장치를 B의 방향으로 움직이는 제 2 형태의 병진 운동, 촬상부가 장착된 장치를 C의 방향으로 움직이는 제 3 형태의 병진 운동으로 분류된다. 제 1 형태의 병진 운동 및 제 2 형태의 병진 운동은 화상 평면에서 움직이는 병진 운동을 의미한다. 제 3 형태의 병진 운동은 화상 평면을 기준으로 앞뒤로 움직이는 병진 운동을 의미한다. 화상 평면(Image plane)이란, 촬상부의 렌즈에서 영상을 촬상하는 경우, 촬상한 영상에 평행한 면을 의미한다. 일반적으로 도 4a에 도시된 휴대폰의 경우에는 렌즈가 휴대폰의 뒷면에 위치하므로 화상 평면은 도 4a의 D와 같이 휴대폰의 정면에 평행한 면이 된다.
도 4b는 본 발명의 일실시예에 의해 추정된 움직임 파라미터를 구성하는 회전 운동을 나타낸 도면이다. 도 4b에 도시된 바와 같이 회전 운동은 3개의 형태로 나타낼 수 있다. 제 1 형태는 A 방향과 같이 촬상부의 광학축(Optical axis)인 Z축을 기준으로 회전하는 회전운동이고, 제 2 형태는 B 방향과 같이 카메라 화상 평면의 X축을 기준으로 회전하는 회전운동이고, 제 3 형태는 C 방향과 같이 카메라 화상 평면의 Y축을 기준으로 회전하는 회전운동이다. 제 1 형태의 회전운동의 기준이 되는 촬상부의 광학축(Optical axis)은 촬상부의 렌즈가 향하는 방향을 의미하는데, 일반적으로 휴대폰과 같은 장치에서 렌즈는 휴대폰의 뒷면에 위치하므로, Z축 이 촬상부의 광학축이 된다. 제 1 형태에 의해 회전하는 각은 회전 각(Rotation Angle)이라고 하고, 제 2 형태에 의해 회전하는 각은 팬 각(Pan angle)이라고 하고, 제 3 형태에 의해 회전하는 각은 틸트 각(Tilt angle)이라고 한다.
도 4a 및 도 4b에 도시된 바와 같이, 도 2의 움직임 추정부(200)에서 추정한 파라미터는 수학식 1과 같이 3개의 병진 운동과 3개의 회전 운동으로 나타낼 수 있다.
P=(x, y, z, θv, θp, θt)
(P는 움직임 파라미터, x는 x축으로 이동 거리, y는 y축으로 이동 거리, z는 z축으로 이동 거리, θv는 회전 각, θp는 팬 각, θt는 틸트 각을 의미한다.)
다시 도 3을 참조하면, 340 단계에서는 추정한 움직임 파라미터를 움직임 분석부(210)으로 출력한다.
다시 도 2를 참조하면, 움직임 분석부(210)에서는 움직임 추정부(200)로부터 입력 받은 움직임 파라미터와 대응하는 제스처를 제스처 모델 저장부(220)로부터 검출하여, 검출한 제스처에 대응되는 제어 명령을 출력한다.
도 5는 도 2의 제스처 모델 저장부에서 실행되는 과정을 나타낸 흐름도이다. 이하, 도 5에 기재된 흐름도를 참조하여, 도 2의 제스처 모델 저장부(220)에서 실행되는 과정을 상세히 살펴본다.
제 500 단계에서 제스처 집합 정의부(221)은 각 장치의 어플리케이션을 제어하는 다양한 명령에 각각 대응하는 제스처들의 집합을 정의한다. 제스처들의 집합 이란, 동일한 어플리케이션을 제어하는 모든 명령에 각각 대응시킨 여러 제스처들을 의미한다.
도 6은 도 2의 제스처 모델 저장부에 저장된 제스처들의 집합을 나타낸 도면이다. 도 6에 도시된 바와 같이 각 제스처들은 동일한 어플리케이션을 제어하는지에 따라 분류되고, 분류된 제스처들은 제스처들의 집합으로 정의된 후, 각 제스처들은 정의된 집합 단위로 저장된다. 본 발명의 바람직한 일실시예에 의하면, A 어플리케이션을 제어하는 모든 명령에 대응하는 제스처들(제 1 제스처, 제 2 제스처, 제 3 제스처)은 제스처들의 집합 A(600)로 정의된 후 저장되고, B 어플리케이션을 제어하는 모든 명령에 대응하는 제스처들(제 4 제스처, 제 5 제스처)은 제스처들의 집합 B(610)로 정의된 후 저장되고, C 어플리케이션을 제어하는 모든 명령에 대응하는 제스처들(제 6 제스처, 제 7제스처, 제 8 제스처)은 제스처들의 집합 C(620)로 정의된 후, 저장된다. 이는 각 장치마다 실행되는 어플리케이션이 다르고, 어플리케이션을 제어하는 명령도 다양하므로, 어플리케이션을 제어하는 명령에 대응하는 제스처들을 어플리케이션 단위로 미리 저장하는 것이다. 이러한 과정은 사용자 또는 제품 제조업자가 미리 제어하고자 하는 장치의 어플리케이션을 제어하는 명령에 대응하여 제스처들을 정의하고, 제스처 모델 저장부(220)는 정의된 제스처를 입력받을 수도 있다. 이와 같이, 각 어플리케이션을 제어하는 모든 명령들은 제스처에 대응되어 정의되므로, 제스처만으로도 어플리케이션을 제어하는 것이 가능하게 된다.
도 7은 본 발명의 바람직한 일실시예에 따라 어플리케이션을 제어하는 명령 에 대응하는 제스처를 나타낸 도면이다. 도 7에 도시된 바와 같이, 도 2의 제스처 정의부(222)는 각 장치의 어플리케이션을 제어하는 명령 및 이러한 명령에 대응하는 제스처는 제스처들의 집합 단위로 미리 정의된다. 도 7은 본 발명의 바람직한 일실시예에 따라 슈팅 게임과 같은 어플리케이션을 제어하는 명령에 대응하는 제스처를 나타낸 도면이다. 도 7의 700에서와 같이, 시간에 따라 틸트 각(Tilt angle)이 감소하는 제스처는 슈팅 게임과 같은 어플리케이션에서 아래 화면을 보여주는 제어 명령으로 정의된다. 도 7의 710에서와 같이, 시간에 따라 틸트 각(Tilt angle)이 감소하는 제스처는 슈팅 게임과 같은 어플리케이션에서 윗 화면을 보여주는 제어 명령으로 정의된다. 이러한 제스처는 임의로 정한 것이므로, 도 7에 도시된 내용에 한정되지 않고 다양하게 정의할 수 있다.
다시 도 5를 참조하면, 제 510 단계에서는 제 500단계에서 입력 받은 제스처를 HMM(Hidden Markov Model)을 이용하여 기술한다. 본 발명의 일실시예에서는 어플리케이션을 제어하는 명령에 대응하는 제스처를 각 상태의 파라미터로 나타낸다.
제 510 단계를 구체적으로 살펴보면 다음과 같다.
제 520 단계에서 트레이닝 데이터(Training Data)를 수집한다. 본 발명의 바람직한 일실시예서는 촬상부의 이동을 나타내는 방향 벡터를 수집한다.
제 530 단계에서는 수집한 트레이닝 데이터를 이용하여 HMM 트레이닝을 수행한다. 각 상태로 표현되는 제스처의 파라미터를 각 상태로 이동하는 방향 벡터를 통해 다른 상태로 이동할 확률을 계산한다. 즉, 트레이닝 과정을 통해서 각 상태로 이동할 확률이 결정되면, 움직임 파라미터를 HMM 모델에 적합하도록 모델링한다.
다시 도 2를 참조하면, 움직임 분석부(210)은 제스처 집합 선택부(211) 및 제스처 선택부(212)로 구성된다.
제스처 집합 선택부(211)는 제스처 모델 저장부(220)로부터 제어하고자 하는 장치에 대응하는 제스처 집합을 선택한다. 즉, 제스처 모델 저장부에 제스처 집합 단위로 저장되어 있는 어플리케이션들 중 제어하고자 하는 장치에 대응하는 제스처 집합을 선택한다.
제스처 선택부(212)는 선택한 제스처 집합의 HMM 모델들 중에서 가장 높은 확률을 만족하는 움직임 파라미터가 움직임 분석부(200)로부터 입력되면, 이에 대응하는 HMM 모델의 제스처를 제스처 모델 저장부(220)로부터 검출한다. 그리고, 입력된 움직임 파라미터를 검출한 HMM 모델에 대응되는 동작으로 인식하고, 이러한 동작에 대응하는 어플리케이션의 제어 명령을 출력 단자 2(OUT 2)를 통해 출력한다.
다시 도 1을 참조하면, 제어 신호 생성부(130)는 어플리케이션의 제어 명령을 입력 받고, 입력 받은 제어 명령에 대응하는 명령 신호를 생성한다. 이 때, 생성된 명령 신호는 제어 대상이 되는 장치의 어플리케이션으로 입력된다. 제어 대상이 되는 장치는 촬상부를 구비하여 움직임 파라미터를 추정하는 장치일 수도 있고, 촬상부를 구비하지 않는 별도의 장치일 수도 있다. 즉, 제어 신호를 생성하는 장치와 동일한 장치일수도 있지만, 제어 신호를 생성하는 장치와 동일하지 않는 장치이어도 무방하다.
도 8은 본 발명의 바람직한 제 1 실시예에 따라 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법을 나타낸 도면이다. 도 8은 본 발명의 바람직한 제 1 실시예에 따라 촬상부의 움직임을 가상 마우스(Virtual mouse)에 대응시켜 컴퓨터를 제어하는 방법을 구체적으로 나타낸 도면이다. 본 발명의 바람직한 제 1 실시예에서는 가상 마우스에 대응하는 4가지의 제스처를 미리 정의한다.
제 1 제스처는 촬상부가 가까운 영상을 획득하는 경우, 병진 운동을 하거나, 멀리 있는 영상을 획득할 경우, 팬(Pan) 또는 틸트(Tilt) 운동을 하는 움직임으로 정의한다. 이러한 제 1 제스처는 가상 마우스의 커서를 움직이는 동작에 대응하도록 설정한다.
제 2 제스처는 촬상부를 일시적으로 머무르게 하는 움직임으로 정의한다. 이러한 제 2 제스처는 가상 마우스의 왼쪽 버튼을 클릭하는 동작에 대응하도록 설정한다.
제 3 제스처는 촬상부를 가볍게 흔드는 움직임으로 정의한다. 이러한 제 3 제스처는 가상 마우스의 오른쪽 버튼을 클릭하는 동작에 대응하도록 설정한다.
제 4 제스처는 촬상부를 화상 평면을 기준으로 전 또는 후로 움직이는 병진운동으로 정의한다. 이러한 제 4 제스처는 가상 마우스가 화면을 스크롤(Scroll)하는 동작에 대응하도록 설정한다.
제 800 단계에서는 영상 신호를 연속적으로 입력 받는다. 즉, 촬상부로 입력되는 영상을 디지털 신호 처리한 영상 신호를 연속적으로 입력 받는다.
제 810 단계에서는 입력 받은 영상 신호의 움직임 파라미터를 추정한다. 도 4a 도시된 3개의 병진 운동 및 도 4b에 도시된 3개의 회전 운동으로 구성된 움직임 파라미터를 추정한다. 추정된 움직임 파라미터는 수학식 1과 같이 나타낸다.
제 820 단계에서는 추정한 움직임 파라미터에 대응하는 마우스 커서를 제어하고자 하는 장치의 화면으로 매핑(mapping)시킨다. 수학식 2를 이용하여, 마우스 커서의 움직임 벡터를 결정한다.
Figure 112006084426217-pat00001
(x는 움직임 파라미터의 x축으로 이동 거리, y는 움직임 파라미터에서 y축으로 이동 거리, u
Figure 112006084426217-pat00002
는 장치의 화면에 정의된 단위 길이, u는 마우스 커서의 x 방향 벡터, v는 마우스 커서의 y 방향 벡터를 의미한다.) 즉, 장치의 2 차원의 화면에 표시되는 마우스 커서를 움직임 파라미터를 이용하여, 2 차원의 방향 벡터로 나타낸다.
또한 수학식 3을 이용하여, 움직임 파라미터에 대응하여 이동한 마우스 커서가 위치를 결정한다. 장치의 화면에 표시되는 마우스 커서의 위치는 수학식 3을 이용하여 결정한다.
Figure 112006084426217-pat00003
(x는 장치의 화면에 표시되는 마우스 커서의 초기 x 좌표, y는 장치의 화면에 표시되는 마우스 커서의 초기 y 좌표, u는 마우스 커서의 x 방향 벡터, v는 마우스 커서의 y 방향 벡터, s는 스케일 요소,
Figure 112006084426217-pat00004
는 각, x'는 이동한 마우스 커서의 x 좌표 및 y'는 이동한 마우스 커서의 y좌표이다.)
수학식 3을 통해, 장치의 화면에서 이동한 마우스 커서의 위치를 알 수 있다.
제 830 단계에서는 추정한 움직임 파라미터가 일시적으로 머무르는 움직임으로 정의된 제 2 제스처를 만족하는지 확인한다. 추정한 움직임 파라미터가 제 2 제스처를 만족하면, 제 840 단계로 진행하고, 추정한 움직임 파라미터가 제 2 제스처를 만족하지 않으면, 제 850 단계로 진행한다.
제 840 단계는 제 2 제스처에 대응하는 가상 마우스의 왼쪽 버튼을 클릭하는 동작에 대응하는 명령 신호를 생성하여 출력하고, 제 890 단계로 진행한다.
제 850 단계에서는 추정한 움직임 파라미터가 가볍게 흔드는 움직임으로 정의된 제 3 제스처를 만족하는지 확인한다. 추정한 움직임 파라미터가 제 3 제스처를 만족하면 제 860 단계로 진행하고, 추정한 움직임 파라미터가 제 3 제스처를 만족하지 않으면, 제 870 단계로 진행한다.
제 860 단계에서는 제 3 제스처에 대응하는 가상 마우스의 오른쪽 버튼을 클릭하는 동작에 대응하는 명령 신호를 생성하여 출력하고, 제 890 단계로 진행한다.
제 870 단계에서는 추정한 움직임 파라미터가 화상 평면을 기준으로 전 또는 후로 움직이는 병진 운동으로 정의한 제 4 제스처를 만족하는지 확인한다. 추정한 움직임 파라미터가 제 4 제스처를 만족하면 제 880 단계를 진행하고, 추정한 움직임 파라미터가 제 4 제스처를 만족하지 않으면, 제 890 단계로 진행한다.
제 880 단계에서는 제 4 제스처에 대응하는 가상 마우스가 화면을 스크롤(scroll)하라는 명령 신호를 생성하여 출력하고, 제 890 단계로 진행한다.
제 890 단계에서는 다음 프레임으로 진행시킨다. 다시 제 800 단계로 수행한다.
상기 상술한 바와 같이, 도 8에 도시된 흐름도를 실행하면, 촬상부의 움직임을 가상 마우스에 대응시켜, 촬상부의 움직임만으로 가상 마우스를 이용한 컴퓨터를 제어할 수 있다.
도 9는 본 발명의 바람직한 제 2 실시예에 따라 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법을 나타낸 도면이다. 도 9는 본 발명의 바람직한 제 2 실시예에 따라 촬상부의 움직임을 가상 펜(Virtual pen)에 대응시켜 컴퓨터를 제어하는 방법을 구체적으로 나타낸 도면이다. 본 발명의 바람직한 제 2 실시예에서는 가상 펜에 대응하는 2 가지의 제스처를 미리 정의한다.
제 1 제스처는 촬상부가 가까운 영상을 획득하는 경우, 병진 운동을 하거나, 촬상부가 멀리 있는 영상을 획득하는 경우, 팬(Pan) 또는 틸트(Tilt) 운동을 하는 움직임으로 정의한다. 이러한 제 1 제스처는 커서를 움직이는 동작에 대응하도록 설정한다.
제 2 제스처는 촬상부를 일시적으로 머무르게 하는 움직임으로 정의한다. 이러한 제 2 제스처는 가상 펜으로 글씨를 쓰는 것을 시작하는 동작 또는 글씨를 쓰 는 것을 중단하는 동작에 대응하도록 설정한다.
제 900 단계에서는 영상 신호를 연속적으로 입력 받는다. 즉, 촬상부로 입력되는 영상을 디지털 신호 처리한 영상 신호를 연속적으로 입력 받는다.
제 910 단계에서는 입력 받은 영상 신호의 움직임 파라미터를 추정한다. 도 4a에 도시된 3개의 병진 운동 및 도 4b에 도시된 3개의 회전 운동으로 구성된 움직임 파라미터를 추정한다. 추정된 움직임 파라미터는 수학식 1과 같이 나타낸다.
제 920 단계에서는 추정한 움직임 파라미터에 대응하는 가상 펜의 커서(cursor)를 제어하고자 하는 장치의 화면으로 매핑(mapping)시킨다. 매핑하는 과정은 도 8의 제 820 단계와 동일하다. 이러한 매핑을 통해 장치의 화면에 표시되는 가상 펜의 커서의 위치를 알 수 있다.
제 930 단계에서는 추정한 움직임 파라미터가 일시적으로 머무르는 움직임으로 정의된 제 2 제스처를 만족하는지 확인한다. 추정한 움직임 파라미터가 제 2 제스처를 만족하지 않으면, 제 940 단계로 진행하고, 추정한 움직임 파라미터가 제 2 제스처를 만족하면, 제 970 단계로 진행한다.
제 940 단계는 현재 가상 펜이 설정되어 있는 상태가 가상 펜으로 글씨를 쓰는 상태의 동작 모드인지를 확인한다. 제 1 제스처는 가상 펜으로 글씨를 쓰는 것을 시작하거나 글씨를 쓰는 것을 중단하는 동작으로 설정되어 있으므로, 이에 대한 확인이 필요하다. 현재 가상 펜이 설정되어 있는 동작 모드가 글씨를 쓰는 동작 모드이면, 제 950 단계로 진행하고, 현재 가상 펜이 설정되어 있는 동작 모드가 글씨를 쓰는 동작 모드가 아니면, 제 960 단계로 진행한다.
제 950 단계에서는 움직임 파라미터는 가상 펜의 커서에 대응하여 움직임 파라미터의 움직임대로 가상 커서로 글씨를 쓰고, 제 991 단계로 진행한다.
제 960 단계에서는 움직임 파라미터에 대응하는 가상 펜의 커서로 글씨를 쓰는 것을 중단하고, 제 991 단계로 진행한다.
제 970 단계에서는 현재 가상 펜이 설정되어 있는 상태가 가상 펜으로 글씨를 쓰는 상태의 동작 모드인지를 확인한다. 제 1 제스처는 가상 펜으로 글씨를 쓰는 것을 시작하거나 글씨를 쓰는 것을 중단하는 동작으로 설정되어 있으므로, 이에 대한 확인이 필요하다. 현재 가상 펜이 설정되어 있는 동작 모드가 글씨를 쓰는 동작 모드가 아니면, 제 980 단계로 진행하고, 현재 가상 펜이 설정되어 있는 동작 모드가 글씨를 쓰는 동작 모드이면, 제 990 단계로 진행한다.
제 980 단계에서는 움직임 파라미터는 가상 펜의 커서에 대응하여 움직임 파라미터의 움직임대로 가상 커서로 글씨를 쓰고, 제 991 단계로 진행한다.
제 990 단계에서는 움직임 파라미터에 대응하는 가상 펜의 커서로 글씨를 쓰는 것을 중단하고, 제 991 단계로 진행한다.
제 991 단계에서는 다음 프레임으로 진행시킨다. 다시 제 900 단계로 수행한다.
상기 상술한 바와 같이, 도 8에 도시된 흐름도를 실행하면, 촬상부의 움직임을 가상 펜에 대응시켜, 촬상부의 움직임만으로 가상 펜을 이용한 컴퓨터를 제어할 수 있다.
도 10은 본 발명의 바람직한 제 3 실시예에 따라 촬상부의 움직임을 이용하 여 어플리케이션을 제어하는 방법을 나타낸 도면이다. 도 10은 촬상부의 움직임을 제어하고자 하는 장치의 메뉴를 선택하는 여러 기능에 대응시켜 장치를 제어하는 방법을 구체적으로 나타낸 도면이다. 본 발명의 바람직한 제 3 실시예에서는 장치의 메뉴를 선택하는 여러 기능에 대응하는 3 가지의 제스처를 미리 정의한다.
제 1 제스처는 촬상부가 가까운 영상을 획득하는 경우, 병진 운동을 하거나, 멀리 있는 영상을 획득하는 경우, 팬(Pan) 또는 틸트(Tilt) 운동을 하는 움직임으로 정의한다. 이러한 제 1 제스처는 장치의 메뉴를 선택하는 기능에 대응하도록 설정한다.
제 2 제스처는 촬상부를 일시적으로 머무르게 하는 움직임 또는 가상 평면을 기준으로 한 정면으로 이동하는 빠른 움직임으로 정의한다. 이러한 제 2 제스처는 선택한 메뉴를 실행하는 기능에 대응하도록 설정한다.
제 3 제스처는 촬상부를 가상 평면을 기준으로 한 후면으로 이동하는 빠른 움직임으로 정의한다. 이러한 제 3 제스처는 선택한 메뉴의 전 단계의 메뉴로 복원하는 기능에 대응하도록 설정한다.
제 1000 단계에서는 영상 신호를 연속적으로 입력 받는다. 즉, 촬상부로 입력되는 영상을 디지털 신호 처리한 영상 신호를 연속적으로 입력 받는다.
제 1010 단계에서는 연속적으로 입력 받은 영상 신호의 움직임 파라미터를 추정한다. 도 4a에 도시된 3 개의 병진 운동 및 도 4b에 도시된 3 개의 회전 운동으로 구성된 움직임 파라미터를 추정한다. 추정된 움직임 파라미터는 수학식 1과 같이 나타낸다.
제 1020 단계에서는 추정한 움직임 파라미터에 대응하는 기능 선택의 커서(cursor)를 제어하고자 하는 장치의 화면으로 매핑(mapping)시킨다. 매핑하는 과정은 도 8의 제 820 단계와 동일하다. 이러한 매핑을 통해 장치의 화면에 표시되는 기능 선택의 커서의 위치를 알 수 있다.
제 1030 단계에서는 추정한 움직임 파라미터가 일시적으로 머무르게 하는 움직임 또는 가상 평면을 기준으로 한 정면으로 이동하는 빠른 움직임으로 정의된 제 2 제스처를 만족하는지 확인한다. 움직임 파라미터가 제 2 제스처를 만족하면, 제 1040 단계로 진행하고, 움직임 파라미터가 제 2 제스처를 만족하지 않으면, 제 1050 단계로 진행한다.
제 1040 단계에서는 커서가 위치한 메뉴를 선택하고, 제 1000 단계로 진행한다.
제 1050 단계에서는 추정한 움직임 파라미터가 가상 평면을 기준으로 한 후면으로 이동하는 빠른 움직임으로 정의한 제 3 제스처를 만족하는지 확인한다. 움직임 파라미터가 제 3 제스처를 만족하면, 제 1060 단계로 진행하고, 움직임 파라미터가 제 3 제스처를 만족하지 않으면 제 1000 단계로 진행한다.
제 1060 단계에서는 선택한 메뉴의 전 단계의 메뉴로 복원하고, 제 1000 단계로 진행한다.
상기 상술한 바와 같이, 도 10에 도시된 흐름도를 실행하면, 촬상부의 움직임을 메뉴를 선택하는 여러 기능에 대응시켜, 촬상부의 움직임만으로 제어하고자 하는 장치의 메뉴를 자유롭게 선택할 수 있다.
본 발명의 바람직한 일실시예에 따라 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법으로 몇 개의 실시예만을 기술하였으나, 본 발명에서 개시한 실시예외에도 모바일 폰(Mobile phone), 디지털 카메라(Digital camera), 디지털 리코더(Digital recorder), PDA(Personal Digital Associate) 및 디지털 TV, DVD, 전자 게임기기를 제어하기 위한 리모트 콘트롤러(remote controller)와 같은 다양한 핸드 헬드(hand-held) 장치의 어플리케이션에서도 동일한 구성을 기초로 어플리케이션을 제어할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
또한 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 씨디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 의한 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및 장치에 따르면, 어플리케이션을 제어하는 명령에 대응하는 제스처들을 저장하고, 연속적으로 입력되는 영상에 대응하는 움직임 파라미터를 추정하고, 상기 저장된 제스처들 중에서 상기 추정된 움직임 파라미터와 대응하는 제스처를 검출한 후, 상기 검출된 제스처와 대응하는 명령의 제어 신호를 출력함으로써, 센서, 키 등의 추가적인 하드웨어를 부가하지 않고 단지 낮은 비용의 카메라만을 이용하여 쌍방향의 어플리케이션을 사용하는 장치를 포함한 다양한 장치의 어플리케이션을 편리하게 제어할 수 있는 효과가 있다.

Claims (15)

  1. (a) 어플리케이션을 제어하는 명령에 대응하는 제스처들을 저장하는 단계;
    (b) 연속적으로 입력되는 영상에 대응하는 움직임 파라미터를 추정하는 단계;
    (c) 상기 저장된 제스처들 중에서 상기 추정된 움직임 파라미터와 대응하는 제스처를 검출하는 단계; 및
    (d) 상기 검출된 제스처와 대응하는 명령의 제어 신호를 출력하는 단계를 포함하는 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법.
  2. 제 1 항에 있어서,
    촬상부를 구비한 장치의 이동을 통해 영상을 연속적으로 획득하는 단계를 더 포함하고,
    상기 (b) 단계는 상기 획득한 영상을 연속적으로 입력 받고, 입력 받은 영상에 대응하는 움직임 파라미터를 추정하는 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법.
  3. 제 1 항에 있어서, 상기 (a) 단계는
    상기 제스처들을 동일한 어플리케이션을 제어하는 제스처들로 분류하고, 상 기 분류된 제스처들을 소정의 집합으로 정의하는 단계를 더 포함하고,
    상기 제스처들을 상기 정의된 집합의 단위로 저장하는 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법.
  4. 제 3 항에 있어서, 상기 (a) 단계는
    상기 정의된 제스처들의 집합에 대응하는 어플리케이션을 제어하는 모든 명령에 각각 대응되는 제스처들을 정의하는 단계를 더 포함하고,
    상기 정의된 제스처들을 상기 정의된 집합의 단위로 저장하는 단계를 포함하는 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법.
  5. 제 4 항에 있어서, 상기 (c) 단계는
    (c 1) 상기 제스처들의 집합들 중에서 상기 제어 신호를 수신하는 어플리케이션에 대응하는 제스처들의 집합을 선택하는 단계; 및
    (c 2) 상기 선택된 제스처들의 집합에서 상기 추정된 움직임 파라미터와 대응하는 제스처를 검출하는 단계를 포함하는 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법.
  6. 제 1 항에 있어서, 상기 (b) 단계는
    (b 1) 상기 입력되는 영상의 특징점을 검출하는 단계;
    (b 2) 상기 연속적으로 입력되는 영상으로부터 상기 검출된 특징점의 시공간의 궤도를 추적하는 단계; 및
    (b 3) 상기 추적된 특징점의 시공간의 궤도에 대응하는 움직임 파라미터를 추정하는 단계를 포함하는 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법.
  7. 제 1 항에 있어서, 상기 움직임 파라미터는
    3 개의 회전 운동 및 3 개의 병진 운동으로 구성된 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 방법.
  8. 제 1 항 내지 제 7 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  9. 연속적으로 입력되는 영상에 대응하는 움직임 파라미터를 추정하는 움직임 추정부;
    어플리케이션을 제어하는 명령에 대응하는 제스처들을 저장하는 제스처 모델 저장부;
    상기 움직임 추정부에서 추정한 움직임 파라미터와 대응하는 제스처를 상기 제스처 모델 저장부로부터 검출하고, 검출한 제스처에 대응하는 명령의 제어 신호를 출력하는 움직임 분석부를 포함하는 것을 특징으로 하는 촬상부의 움직임을 이 용하여 어플리케이션을 제어하는 장치.
  10. 제 9 항에 있어서,
    연속적으로 영상을 획득하는 촬상부를 더 포함하고,
    상기 움직임 추정부는 상기 획득한 영상을 연속적으로 입력 받고, 입력 받은 영상에 대응하는 움직임 파라미터를 추정하는 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 장치.
  11. 제 9 항에 있어서, 상기 제스처 모델 저장부는
    상기 제스처들을 동일한 어플리케이션을 제어하는 제스처들로 분류하고, 상기 분류된 제스처들을 소정의 집합으로 정의하는 제스처 집합 정의부를 더 포함하고,
    상기 제스처들을 상기 정의된 집합 단위로 저장하는 것을 저장하는 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 장치.
  12. 제 11 항에 있어서, 상기 제스처 모델 저장부는
    상기 정의된 제스처들의 집합에 대응하는 어플리케이션을 제어하는 모든 명령에 각각 대응되는 제스처들을 정의하는 제스처 정의부를 더 포함하고,
    상기 정의된 제스처들을 상기 정의된 집합 단위로 저장하는 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 장치.
  13. 제 12 항에 있어서, 움직임 분석부는
    상기 제스처 모델 저장부에 저장된 제스처들의 집합 중에서 상기 제어 신호를 수신하는 어플리케이션에 대응하는 제스처들의 집합을 선택하는 어플리케이션 선택부; 및
    상기 선택된 제스처들의 집합 중에서 상기 추정된 파라미터와 대응되는 제스처를 검출하는 제스처 검출부를 포함하는 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 장치.
  14. 제 9 항에 있어서, 상기 움직임 추정부는
    상기 입력되는 영상의 특징점을 검출하고, 검출된 특징점의 시공간의 궤도를 추적하여 움직임 파라미터를 추정하는 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 장치.
  15. 제 9 항에 있어서, 상기 움직임 파라미터는
    3 개의 회전 운동 및 3 개의 병진 운동으로 구성된 것을 특징으로 하는 촬상부의 움직임을 이용하여 어플리케이션을 제어하는 장치.
KR1020060114100A 2006-11-17 2006-11-17 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치 KR100790896B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060114100A KR100790896B1 (ko) 2006-11-17 2006-11-17 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치
US11/892,401 US7952561B2 (en) 2006-11-17 2007-08-22 Method and apparatus for controlling application using motion of image pickup unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060114100A KR100790896B1 (ko) 2006-11-17 2006-11-17 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치

Publications (1)

Publication Number Publication Date
KR100790896B1 true KR100790896B1 (ko) 2008-01-03

Family

ID=39216421

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060114100A KR100790896B1 (ko) 2006-11-17 2006-11-17 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치

Country Status (2)

Country Link
US (1) US7952561B2 (ko)
KR (1) KR100790896B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101474022B1 (ko) * 2008-10-27 2014-12-26 삼성전자주식회사 이동 통신 단말에서 표시부의 축 변화에 따라 어플리케이션을 자동으로 실행하기 위한 방법 및 그 이동 통신 단말
DE102009005223B4 (de) * 2008-02-20 2015-01-08 Intel Mobile Communications GmbH Elektronische Einrichtung und Verfahren zum Betreiben einer elektronischen Einrichtung
US9507439B2 (en) 2013-08-05 2016-11-29 Samsung Electronics Co., Ltd. Method of inputting user input by using mobile device, and mobile device using the method

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060146009A1 (en) * 2003-01-22 2006-07-06 Hanno Syrbe Image control
US8144780B2 (en) * 2007-09-24 2012-03-27 Microsoft Corporation Detecting visual gestural patterns
US8631358B2 (en) * 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
KR101417808B1 (ko) * 2007-12-06 2014-07-09 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
KR100978929B1 (ko) * 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
KR101503835B1 (ko) * 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
US9652030B2 (en) 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US8386963B2 (en) * 2009-05-28 2013-02-26 Microsoft Corporation Virtual inking using gesture recognition
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US10560621B2 (en) * 2010-11-19 2020-02-11 Symbol Technologies, Llc Methods and apparatus for controlling a networked camera
KR101878141B1 (ko) * 2011-05-30 2018-07-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9014421B2 (en) * 2011-09-28 2015-04-21 Qualcomm Incorporated Framework for reference-free drift-corrected planar tracking using Lucas-Kanade optical flow
CN108762577A (zh) 2011-10-18 2018-11-06 卡内基梅隆大学 用于分类触敏表面上的触摸事件的方法和设备
US20130335203A1 (en) * 2012-06-19 2013-12-19 Yan Long Sun Portable electronic device for remotely controlling smart home electronic devices and method thereof
US9292107B1 (en) * 2012-10-29 2016-03-22 Trend Micro Inc. Mobile telephone as computer mouse
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US10082935B2 (en) * 2013-04-15 2018-09-25 Carnegie Mellon University Virtual tools for use with touch-sensitive surfaces
US9727915B2 (en) * 2013-09-26 2017-08-08 Trading Technologies International, Inc. Methods and apparatus to implement spin-gesture based trade action parameter selection
US11435895B2 (en) 2013-12-28 2022-09-06 Trading Technologies International, Inc. Methods and apparatus to enable a trading device to accept a user input
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
TWI587176B (zh) * 2015-12-03 2017-06-11 財團法人工業技術研究院 行動虛擬實境操作方法、系統與其儲存媒體
US11182853B2 (en) 2016-06-27 2021-11-23 Trading Technologies International, Inc. User action for continued participation in markets
US10606457B2 (en) 2016-10-11 2020-03-31 Google Llc Shake event detection system
US20190007536A1 (en) * 2017-07-03 2019-01-03 Essential Products, Inc. Handheld writing implement form factor mobile device
US10462345B2 (en) 2017-08-11 2019-10-29 Essential Products, Inc. Deformable structure that compensates for displacement of a camera module of a camera accessory
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
CN111666782A (zh) * 2019-03-05 2020-09-15 百度在线网络技术（北京）有限公司 用于运动状态检测的方法和装置
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050026171A (ko) * 2003-09-09 2005-03-15 데이비드 앤드 크리스 코포레이션 유비쿼터스 동작인식장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
US7379563B2 (en) * 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
KR100960577B1 (ko) * 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
JP4384240B2 (ja) * 2008-05-28 2009-12-16 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050026171A (ko) * 2003-09-09 2005-03-15 데이비드 앤드 크리스 코포레이션 유비쿼터스 동작인식장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009005223B4 (de) * 2008-02-20 2015-01-08 Intel Mobile Communications GmbH Elektronische Einrichtung und Verfahren zum Betreiben einer elektronischen Einrichtung
KR101474022B1 (ko) * 2008-10-27 2014-12-26 삼성전자주식회사 이동 통신 단말에서 표시부의 축 변화에 따라 어플리케이션을 자동으로 실행하기 위한 방법 및 그 이동 통신 단말
US9507439B2 (en) 2013-08-05 2016-11-29 Samsung Electronics Co., Ltd. Method of inputting user input by using mobile device, and mobile device using the method
US9916016B2 (en) 2013-08-05 2018-03-13 Samsung Electronics Co., Ltd. Method of inputting user input by using mobile device, and mobile device using the method

Also Published As

Publication number Publication date
US7952561B2 (en) 2011-05-31
US20080117168A1 (en) 2008-05-22

Similar Documents

Publication Publication Date Title
KR100790896B1 (ko) 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치
KR102319207B1 (ko) 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체
US10545579B2 (en) Remote control with 3D pointing and gesture recognition capabilities
CN110169056B (zh) 一种动态三维图像获取的方法和设备
KR102182607B1 (ko) 가상 콘트롤러를 위한 손쓰임을 결정하는 방법
US8472665B2 (en) Camera-based user input for compact devices
CN102915112B (zh) 用于近距离动作跟踪的系统和方法
JP6072237B2 (ja) ジェスチャー入力のための指先の場所特定
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
KR101433305B1 (ko) 증강 현실 환경을 위한 모바일 디바이스 기반 콘텐츠 맵핑
US20110221664A1 (en) View navigation on mobile device
US20120306734A1 (en) Gesture Recognition Techniques
JP2012514786A (ja) モバイルデバイスのためのユーザインターフェース
KR20140090159A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
US20150058782A1 (en) System and method for creating and interacting with a surface display
CN104428791A (zh) 通过检测图像中的圆形物体操作计算装置
EP2392991A1 (en) Hand-held pointing device, software cursor control system and method for controlling a movement of a software cursor
JP2013054470A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2010041557A1 (ja) 表示装置、表示方法、情報記録媒体、ならびに、プログラム
WO2020110547A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2021129317A (ja) 多次元反応型映像提供方法及びコンピュータ装置。
CN111258413A (zh) 虚拟对象的控制方法和装置
WO2005041017A2 (en) Handheld device for navigating and displaying data
CN115393427A (zh) 一种相机位姿的确定方法、装置、计算机设备和存储介质
CN116246335A (zh) 追踪扩展现实的输入手势的方法和使用其的系统

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121115

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141119

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151116

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161118

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171120

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20191119

Year of fee payment: 13