KR100959516B1 - 영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그장치 - Google Patents

영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그장치 Download PDF

Info

Publication number
KR100959516B1
KR100959516B1 KR1020080052557A KR20080052557A KR100959516B1 KR 100959516 B1 KR100959516 B1 KR 100959516B1 KR 1020080052557 A KR1020080052557 A KR 1020080052557A KR 20080052557 A KR20080052557 A KR 20080052557A KR 100959516 B1 KR100959516 B1 KR 100959516B1
Authority
KR
South Korea
Prior art keywords
image
displacement value
layer
workspace
window
Prior art date
Application number
KR1020080052557A
Other languages
English (en)
Other versions
KR20090126465A (ko
Inventor
박덕기
Original Assignee
텔코웨어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텔코웨어 주식회사 filed Critical 텔코웨어 주식회사
Priority to KR1020080052557A priority Critical patent/KR100959516B1/ko
Publication of KR20090126465A publication Critical patent/KR20090126465A/ko
Application granted granted Critical
Publication of KR100959516B1 publication Critical patent/KR100959516B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그 장치가 개시된다. 상기 영상인식을 이용한 공간지각 사용자 인터페이스 방법은, 카메라로부터 수신되는 영상에 기초하여 상기 영상의 패턴변화를 검출하고 검출된 패턴변화에 상응하는 변위 값을 산출하는 단계; 및 상기 변위 값에 기초하여 디스플레이 화면을 통해서 디스플레이되는 적어도 하나의 가상 이미지를 이동, 회전, 확대, 축소 또는 변형또는 축소시키는 단계를 포함할 수 있다.
공간지각, 카메라, 사용자 인터페이스

Description

영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그 장치{Space perception user interface method using image recognition and device thereof}
본 발명은 공간지각 사용자 인터페이스 기술에 관한 것으로, 보다 상세하게는 영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그 장치를 제공하는 것이다.
오늘날 휴대용 단말기를 비롯한 멀티미디어 기기는 그 기능이 다양화되고 있다. 예컨대, 사용자는 상기 휴대용 단말기를 통하여 통화 및 웹 브라우징(web browsing)을 할 수 있을 뿐만 아니라 DMB(Digital Multimedia Broadcasting), 영화, 오디오 등의 다양한 콘텐츠들을 이용할 수 있다.
그러나 일반적인 휴대용 단말기를 포함하는 멀티미디어 기기들은 제한적인 사용자 인터페이스를 제공하여 사용자는 불편함을 느낄 수 있다.
예컨대, 사용자가 상기 휴대용 단말기의 제한된 디스플레이 화면(즉, 작은 사이지의 디스플레이 화면)을 이용하여 웹 브라우징을 하는 경우 일일이 입력 키 또는 터치스크린을 이용하여 상기 제한된 디스플레이 화면을 통해서 디스플레이되는 이미지를 이동시켜야 하는 불편함이 발생할 수 있다.
또한, 일반적인 휴대용 단말기의 경우 마우스(mouse)가 연동되지 않아 사용자는 상기 마우스 대신에 상기 휴대용 단말기 입력 키를 사용해야 하는 등 사용자와 멀티미디어 기기의 인터페이스는 어려울 수 있다.
따라서 본 발명이 이루고자 하는 기술적 과제는 영상인식을 이용하여 가상 이미지의 공간지각이 가능한 사용자 인터페이스 방법 및 그 장치를 제공하는 것이다.
상기 기술적 과제를 해결하기 위한 공간지각 사용자 인터페이스 방법은, 카메라로부터 수신되는 영상에 기초하여 상기 영상의 패턴변화를 검출하고 검출된 패턴변화에 상응하는 변위 값을 산출하는 단계; 및 상기 변위 값에 기초하여 디스플레이 화면을 통해서 디스플레이되는 적어도 하나의 가상 이미지를 이동, 회전, 확대, 축소 또는 변형시키는 단계를 포함할 수 있다.
상기 변위 값을 산출하는 단계는, 상기 카메라로부터 수신되는 이전 영상과 현재 영상을 비교하는 비교단계; 및 상기 비교단계의 비교결과에 기초하여 상기 패턴변화를 검출하고 검출결과와 상응하는 상기 변위 값을 산출하는 단계를 포함할 수 있다.
상기 이전 영상과 상기 현재 영상의 비교는, 상기 이전 영상과 상기 현재 영상 각각을 구성하는 N(N은 자연수) 차원 좌표값들 중에서 서로 대응되는 좌표값들을 서로 비교함으로써 이뤄지거나, 상기 이전 영상과 상기 현재 영상 각각의 벡터값들을 서로 비교함으로써 이뤄질 수 있다.
상기 변위 값은, N(N은 자연수) 차원 좌표값들 각각의 변화량 또는 벡터값들 의 변화량과 상응할 수 있다.
상기 변위 값을 산출하는 단계는, 소정의 시간 주기에 따라 상기 영상의 상기 패턴변화를 검출하고 검출된 패턴변화에 상응하는 상기 변위 값을 산출하는 단계일 수 있다.
상기 적어도 하나의 가상 이미지는, 적어도 하나의 레이어로 분리된 가상 공간에서 디스플레이될 수 있다.
상기 적어도 하나의 레이어는, 뷰뷰어 레이어, 윈도우 레이어, 및 워크 스페이스 레이어 중에서 적어도 어느 하나를 포함하며, 상기 뷰 레이어는, 상기 디스플레이 화면의 어느 한 부분을 클릭할 수 있도록 하는 포인터가 이동하는 레이어이고, 상기 윈도우 레이어는, 특정 프로그램의 실행결과에 의해서 디스플레이되는 적어도 하나의 윈도우가 디스플레이되는 레이어이고, 상기 워크 스페이스 레이어는, 각각이 상기 윈도우 레이어를 포괄하는 적어도 하나의 워크 스페이스가 디스플레이되는 레이어일 수 있다.
상기 적어도 하나의 가상 이미지는, 제1 모드에서 상기 포인터와 상응하고, 제2 모드에서 상기 적어도 하나의 윈도우와 상응하고, 제3 모드에서 상기 적어도 하나의 워크 스페이스와 상응하고, 상기 포인터, 상기 적어도 하나의 윈도우, 및 상기 적어도 하나의 워크 스페이스는 상기 변위값에 기초하여 상기 이동, 상기 회전, 상기 확대, 또는 상기 축소, 또는 상기 변형될 수 있다.
상기 포인터는, 상기 디스플레이 화면의 어느 한 부분에 위치하며, 상기 적어도 하나의 윈도우의 특정 영역을 선택할 수 있다.
상기 공간지각 사용자 인터페이스 방법은, 제1 모드에서 적어도 하나의 워크 스페이스를 M(M은 자연수) 차원으로 배치하고 상기 변위 값에 따라 상기 적어도 하나의 워크 스페이스 중에서 대응되는 워크 스페이스를 디스플레이하는 단계를 더 포함할 수 있다.
상기 공간지각 사용자 인터페이스 방법은, 제2 모드에서 상기 워크 스페이스 상에 형성되는 윈도우를 상기 변위 값에 따라 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형시키는 단계를 더 포함할 수 있다.
상기 공간지각 사용자 인터페이스 방법은, 제3 모드에서 상기 윈도우 상에 형성되는 포인터의 위치를 상기 변위 값에 따라 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형시키는 단계를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 공간지각 사용자 인터페이스 장치는 외부영상을 촬영하는 카메라; 상기 카메라에 의해서 촬영된 영상에 기초하여 상기 영상의 패턴변화를 검출하고 검출된 패턴변화에 상응하는 변위 값을 산출하는 변위값 산출모듈; 및 상기 변위 값에 기초하여 디스플레이 화면을 통해서 디스플레이되는 적어도 하나의 가상 이미지를 이동, 회전, 확대, 축소, 또는 변형시키는 제어부를 포함할 수 있다.
상기 변위값 산출모듈은, 상기 카메라로부터 수신되는 이전 영상과 현재 영상을 비교하고 비교결과에 기초하여 상기 패턴변화를 검출하고 검출결과와 상응하는 상기 변위 값을 산출할 수 있다.
상기 변위값 산출모듈은, 상기 카메라로부터 수신되는 이전 영상의 영상 패 턴과 현재 영상의 영상 패턴을 검출하는 영상 패턴 인식부; 및 상기 이전 영상과 상기 현재 영상 사이의 상기 패턴변화를 검출하고 검출결과와 상응하는 상기 변위 값을 산출하는 변위값 산출부를 포함할 수 있다.
상기 적어도 하나의 가상 이미지는, 적어도 하나의 레이어로 분리된 가상 공간에서 디스플레이될 수 있다.
상기 적어도 하나의 레이어는, 뷰 레이어, 윈도우 레이어, 및 워크 스페이스 레이어 중에서 적어도 어느 하나를 포함하며, 상기 뷰 레이어는, 상기 디스플레이 화면의 어느 한 부분을 클릭할 수 있도록 하는 포인터가 이동하는 레이어이고, 상기 윈도우 레이어는, 특정 프로그램의 실행결과에 의해서 디스플레이되는 적어도 하나의 윈도우가 디스플레이되는 레이어이고, 상기 워크 스페이스 레이어는, 각각이 상기 윈도우 레이어를 포괄하는 적어도 하나의 워크 스페이스가 디스플레이되는 레이어일 수 있다.
상기 적어도 하나의 가상 이미지는, 제1 모드에서 상기 포인터와 상응하고, 제2 모드에서 상기 적어도 하나의 윈도우와 상응하고, 제3 모드에서 상기 적어도 하나의 워크 스페이스와 상응하고, 상기 포인터, 상기 적어도 하나의 윈도우, 및 상기 워크 스페이스는 상기 변위값에 기초하여 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형될 수 있다.
상기 공간지각 사용자 인터페이스 장치는, 공간지각 인터페이스 버튼을 포함하는 키입력부를 더 포함하며, 상기 제어부는, 상기 공간지각 인터페이스 버튼의 싱글 클릭 여부에 따라 상기 적어도 하나의 가상 이미지를 3차원 또는 2차원으로 배열하고, 상기 공간지각 인터페이스 버튼의 더블 클릭 여부에 따라 상기 적어도 하나의 가상 이미지를 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형시킬 수 있다.
상기 제어부는, 상기 공간지각 인터페이스 버튼이 더블 클릭되는 제1 상태가 되는 경우 상기 적어도 하나의 가상 이미지가 상기 변위 값에 기초하여 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형되는 이동모드로 인지하고, 상기 이동모드 하에서, 상기 공간지각 인터페이스 버튼이 눌러지지 않은 경우, 상기 변위 값에 기초하여 상기 뷰 레이어 상의 포인터를 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형시키고, 상기 공간지각 인터페이스 버튼이 눌러진 경우, 상기 변위 값에 기초하여 상기 윈도우 레이어 상의 윈도우를 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형시키고, 상기 공간지각 인터페이스 버튼이 한번 클릭되고 다시 눌러진 상태에서 다시 이 눌러진 경우, 상기 워크 스페이스 레이어 상의 상기 워크 스페이스를 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형시킬 수 있다.
상기 버튼은, 키패드, 기계식 버튼, 전자식 버튼 또는 터치 스크린을 통하여 구현될 수 있다.
따라서, 본 발명의 실시 예에 의한 영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그 장치는 지능적으로 공간지각이 가능한 가상 이미지를 제공할 수 있는 효과가 있다.
본 발명의 실시 예에 의한 영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그 장치는 적어도 하나의 레이어로 분리되는 가상공간(즉, 가상공간 데스크톱 환경)을 제공함으로써 사용자는 보다 손쉽게 가상 공간의 이미지와 인터페이스 할 수 있는 효과가 있다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
도 1은 본 발명의 실시 예에 따른 공간지각 사용자 인터페이스 장치의 블록도이고, 도 2는 도 1의 제어부의 블록도이고, 도 3은 도 1의 제어부가 생성한 가상공간을 나타낸다.
도 4a 내지 도 4f 각각은 도 1의 공간지각 사용자 인터페이스 장치에 의해서 변화되는 윈도우를 나타낸다. 도 1 내지 도 4f를 참조하면, 공간지각 사용자 인터페이스 장치(10)는 카메라(20), 변위값 산출모듈(30), 제어부(40), 출력부(50), 키입력부(60), 버튼 처리입력부(70), 응용 프로그램부(80), 및 메모리부(90)를 포함할 수 있다.
카메라(20)는 외부영상을 촬영하고 촬영된 영상을 출력할 수 있다. 예컨대, 상기 카메라(20)는 제어부(40)에서 발생된 제어신호(미도시)에 응답하여 외부영상을 실시간으로 촬영할 수 있으며, 이때 촬영되는 영상은 비디오 영상일 수 있다.
이때, 카메라(20)는 적외선 카메라, 레이저 카메라, 또는 초음파 카메라일 수 있으며, 상기 카메라(20)의 렌즈는 일안-렌즈(Single-lens) 또는 다안-렌즈(Multi-lens)로 구현될 수도 있다.
한편, 카메라(20)는 도 1과 같이 공간지각 사용자 인터페이스 장치(10) 내에 구현될 수 있으나, 상기 공간지각 사용자 인터페이스 장치(10)와 탈착 가능하도록 구현될 수 있다.
변위값 산출모듈(30)은 카메라(20)에 의해서 촬영된 영상에 기초하여 상기 영상의 패턴변화를 검출하고 검출된 패턴변화에 상응하는 변위 값을 산출할 수 있다.
예컨대, 변위값 산출모듈(30)은 카메라(20)로부터 수신되는 이전 영상과 현재 영상을 비교하고 비교결과에 기초하여 패턴변화를 검출하고 검출결과와 상응하는 상기 변위 값을 산출할 수 있다.
변위값 산출모듈(30)은 소프트웨어(S/W), 하드웨어(H/W), 또는 이들의 조합으로 이뤄질 수 있으며, 카메라(20)의 모듈 내부에 내장될 수 있고, 별도의 칩 셋으로 구현될 수도 있다.
한편, 변위값 산출모듈(30)은 현재 영상을 기준으로 변위 값 산출이 끝나면 현재 영상을 이전 영상으로 저장하고 새로 입력되는 영상을 상기 현재 영상으로 선정하여 변위 값을 업 데이트할 수 있다.
또한, 변위값 산출모듈(30)은 소정의 시간 주기(예컨대, 10ms)에 따라 영상의 패턴변화를 검출하고 검출된 패턴변화에 상응하는 변위 값을 산출할 수 있다.
이때, 소정의 시간 주기는 제어부(40)의 성능에 따라 달라질 수 있으며, 상 기 소정의 시간 주기가 빨라질수록 공간지각 사용자 인터페이스 장치(10)의 공간이동에 대한 가상이미지의 이동, 회전, 확대, 축소, 변형, 및 회전감도는 좋아질 수 있음은 물론이다.
변위값 산출모듈(30)은 영상 패턴 인식부(32) 및 변위값 산출부(34)를 포함할 수 있다. 상기 영상 패턴 인식부(32) 및 상기 변위값 산출부(34) 각각은 H/W , S/W, 또는 이들의 조합으로 이뤄질 수 있다.
영상 패턴 인식부(32)는 카메라(20)로부터 수신되는 이전 영상의 영상 패턴과 현재 영상의 영상 패턴을 검출할 수 있다. 예컨대, 영상 패턴 인식부(32)는 이전 영상과 현재 영상 각각을 구성하는 픽셀들(pixels)을 각각의 픽셀 값을 영상패턴으로서 검출할 수 있다.
변위값 산출부(34)는 이전 영상과 현재 영상 사이의 패턴변화를 검출하고 검출결과와 상응하는 변위 값을 산출할 수 있다.
보다 상세하게는, 변위값 산출부(34)는 이전 영상과 현재 영상 각각을 구성하는 N(N은 자연수) 차원 좌표값들 중에서 서로 대응되는 좌표값들을 비교하고 비교결과 변화되는 상기 패턴변화를 검출하고 검출결과와 상응하는 변위 값을 산출할 수 있다.
또는, 변위값 산출부(34)는 이전 영상과 현재 영상 각각의 벡터값들을 비교하고 비교결과 변화되는 패턴변화를 검출하고 검출결과와 상응하는 변위 값을 산출할 수도 있다.
이때, 변위값은 N(N은 자연수) 차원 좌표값들 각각의 변화량 또는 벡터값들 의 변화량과 상응할 수 있다.
제어부(40)는 변위 값에 기초하여 디스플레이 화면을 통해서 디스플레이되는 적어도 하나의 가상 이미지를 이동, 회전, 확대(zoom-in), 또는 축소(zoom-out), 또는 변형 시킬 수 있다.
여기서, 변형의 의미는 적어도 하나의 가상 이미지의 모양이나 형태가 달라지는 것으로, 상기 적어도 하나의 가상 이미지의 비틀기, 말아 감기, 펼치기, 접기, 구기기, 늘이기, 줄이기, 날리기, (책장 넘기듯) 넘기기, 또는 돌리기 등을 포함할 수 있다.
제어부(40)는 적어도 하나의 레이어로 분리되는 가상공간(이하, '가상공간 데스크톱 환경' 이라 한다.)에 적어도 하나의 가상 이미지를 디스플레이하고 변위값 산출모듈(30)에서 출력된 변위 값에 기초하여 상기 가상공간상의 적어도 하나의 가상 이미지를 이동, 회전, 확대(zoom-in), 또는 축소(zoom-out), 또는 변형 시킬 수 있다.
이때, 적어도 하나의 레이어는, 도 3과 같이 디스플레이 화면의 뷰 레이어(View layer, VL), 윈도우 레이어(Window layer, WL), 및 워크 스페이스 레이어(Work space layer, WSL) 중에서 적어도 어느 하나를 포함할 수 있으며, 적어도 하나의 가상 이미지는 적어도 하나의 레이어로 분리된 가상 공간에서 디스플레이되는 이미지일 수 있다.
뷰 레이어(VL)는 상기 디스플레이 화면의 어느 한 부분을 클릭할 수 있도록 하는 포인터가 이동하는 레이어일 수 있다. 예컨대, 제어부(40)는 제1 모드에서 포 인터(P)가 변위값 산출모듈(30)에 의해서 산출된 변위 값에 따라 이동되도록 제어할 수 있다.
윈도우 레이어(WL)는 특정 프로그램의 실행결과에 의해서 디스플레이되는 적어도 하나의 윈도우(예컨대, WL-1 및 WL-2)가 디스플레이되는 레이어일 수 있다.
이때, 특정 프로그램은 응용 프로그램부(80)에 저장되는 프로그램일 수 있으며, 상기 특정 프로그램은 인터넷 익스플로러, 워드 프로세서, 윈도우 미디어 등과 같은 응용 프로그램이 될 수 있으며, 적어도 하나의 윈도우(WL-1 및 WL-2)는 상기 특정 프로그램이 실행되는 창일 수 있다.
예컨대, 제어부(40)는 특정 프로그램(예컨대, 인터넷 익스플로러)에 의해서 실행되는 제1 윈도우(WL-1) 및 제2 윈도우(WL-2)가 윈도우 레이어(WL)에서 디스플레이되도록 제어할 수 있다.
또한, 제어부(40)는 제2 모드에서 적어도 하나의 윈도우 중에서 포인터(P)에 의해서 선택된 제1 윈도우(WL-1)가 변위값 산출모듈(30)에 의해서 산출된 변위 값에 기초하여 이동, 회전, 확대, 또는 축소, 또는 변형되도록 제어할 수 있다.
이때, 제어부(40)는 제1 윈도우(WL-1)를 2차원 또는 3차원적으로 배치하고, 2차원 또는 3차원적으로 배치된 제1 윈도우(WL-1)를 변위 값에 기초하여 이동, 회전, 확대, 또는 축소, 또는 변형할 수 있다.
예컨대, 제어부(40)는 변위값 산출모듈(30)에 의해서 산출된 변위 값이 x축 양(+)의 방향으로 이동된 제1 크기와 상응하는 경우 제1 윈도우(WL-1)를 상기 x축 양(+)의 방향으로 상기 제1 크기만큼 이동시킬 수 있고(도 4a), 변위값 산출모 듈(30)에 의해서 산출된 변위 값이 y축 음(-)의 방향으로 이동된 제2 크기와 상응하는 경우 제1 윈도우(WL-1)를 상기 y축 음(-)의 방향으로 상기 제2 크기만큼 이동시킬 수 있다(도 4b).
또한, 제어부(40)는 변위값 산출모듈(30)에 의해서 산출된 변위 값이 x축 음(-)의 방향으로 이동된 제3 크기와 상응하는 경우 제1 윈도우(WL-1)를 상기 x축 음(-)의 방향으로 상기 제3 크기만큼 이동시킬 수 있고(도 4c), 변위값 산출모듈(30)에 의해서 산출된 변위 값이 y축 양(+)의 방향으로 이동된 제4 크기와 상응하는 경우 제1 윈도우(WL-1)를 상기 y축 양(+)의 방향으로 상기 제4 크기만큼 이동시킬 수 있다(도 4d).
또한, 제어부(40)는 변위값 산출모듈(30)에 의해서 산출된 변위 값이 z축 양(+)의 방향으로 이동된 제5 크기와 상응하는 경우 제1 윈도우(WL-1)를 상기 z축 양(+)의 방향으로 상기 제5 크기만큼 이동시킬 수 있고(즉, 줌 아웃(zoom-out), 도 4e), 변위값 산출모듈(30)에 의해서 산출된 변위 값이 z축 음(-)의 방향으로 이동된 제6 크기와 상응하는 경우 제1 윈도우(WL-1)를 상기 z축 음(-)의 방향으로 상기 제6 크기만큼 이동시킬 수 있다(즉, 줌 인(zoom-in), 도 4f).
또한, 제어부(40)는 가상공간에 워크 스페이스 레이어(WSL)를 생성할 수 있다. 상기 워크 스페이스 레이어(WSL)는 각각이 윈도우 레이어(WL)를 포괄하는 적어도 하나의 워크 스페이스(WS)가 디스플레이되는 레이어일 수 있다.
이때, 제어부(40)는 적어도 하나의 워크 스페이스(WS)를 2차원 또는 3차원적으로 배치하고, 2차원 또는 3차원적으로 배치된 적어도 하나의 워크 스페이스(WS) 를 변위 값에 기초하여 이동, 회전, 확대, 또는 축소, 또는 변형할 수 있다.
이때, 적어도 하나의 워크 스페이스(WS) 각각은 사용자에게 WIMP(Window, Icon, Menu, Pointing) interaction과 같은 GUI(graphical user interface)를 제공할 수 있다.
예컨대, 도 5는 도 1의 공간지각 사용자 인터페이스 장치에 의해서 생성되는 워크 스페이스 상의 윈도우들을 나타내는 도면으로 워크 스페이스(WS)는 입체적으로 중첩되어 배치되는 다수의 윈도우 레이어들을 포함할 수 있으며(도 5의 (a)), 각각이 입체적으로 연결되는 다수의 윈도우 레이어들을 포함할 수 있다(도 5의 (b)).
또한, 도 6은 도 1의 공간지각 사용자 인터페이스 장치에 의해서 생성되는 워크 스페이스 상의 가상 이미지들을 나타내는 도면으로, 워크 스페이스 상에는 2차원 및 3차원 가상 이미지들이 형성될 수 있으며, 상기 2차원 및 3차원 가상 이미지들 각각은 변위값 산출모듈(30)에 의해서 산출된 변위 값에 의해서 사용자에게 선택되어 디스플레이 될 수 있으며, 이동, 회전, 확대, 또는 축소, 또는 변형될 수 있다.
도 7은 도 1의 제어부에 의해서 형성되는 워크 스페이스 레이어들을 나타내는 도면이다. 도 1과 도 7을 참조하면, 워크 스페이스 레이어(WSL)는 사용자를 중심으로 직육면체형의 워크 스페이스 레이어(도 7의 a, WSL1), 원통형의 워크 스페이스 레이어(도 7의 b, WSL3), 및 구형의 워크 스페이스 레이어(도 7의 c, WSL5)가 될 수 있다.
즉, 직육면체형의 워크 스페이스 레이어(도 7의 a, WSL1), 원통형의 워크 스페이스 레이어(도 7의 b, WSL3), 및 구형의 워크 스페이스 레이어(도 7의 c, WSL5) 각각에는 다수개의 워크 스페이스(예컨대, 도 8의 WS1 내지 WS3)가 형성될 수 있다.
이때, 다수개의 워크 스페이스(예컨대, 도 8의 WS1 내지 WS3) 각각은 변위값 산출모듈(30)에 의해서 산출된 변위 값에 의해서 사용자에게 선택되어 디스플레이 될 수 있다.
제어부(40)는 제3 모드에서 변위값 산출모듈(30)에 의해서 산출된 변위 값에 기초하여 적어도 하나의 워크 스페이스(WS) 중에서 대응되는 워크 스페이스(WS)가 선택되도록 제어하거나 선택된 워크 스페이스를 이동, 회전, 확대, 또는 축소, 또는 변형되도록 제어할 수 있다.
도 8은 도 1의 공간지각 사용자 인터페이스 장치에 의해서 변화되는 워크 스페이스를 나타내는 도면이다. 도 1과 도 8을 참조하면, 도 8의 (a)는 현재 워크 스페이스의 위치를 나타내고, 도 8의 (b)는 워크 스페이스의 이동을 나타내고, 도 8의 (c)는 워크 스페이스의 확대를 나타낸다.
예컨대, 워크 스페이스 레이어(WSL3) 상에 형성되어 있는 다수개의 워크 스페이스(WS1 내지 WS3) 중에서 사용자에게 디스플레이되는 제1 워크 스페이스(WS1)는 변위값 산출모듈(30)에 의해서 산출된 변위 값에 의해서 오른쪽으로 이동될 수 있다(도 8의 (b)). 이때, 사용자는 제2 워크 스페이스(WS2)를 디스플레이 화면을 통해서 볼 수 있다.
또한, 제1 워크 스페이스(WS1)는 변위값 산출모듈(30)에 의해서 산출된 변위 값에 의해서 확대될 수 있다(도 8의 (c)).
다시 도 1과 도 2를 참조하면, 제어부(40)는 입력표준 API(Application Programming Interface)부(42), 이동 제어부(44), 가상공간 생성부(46), 영상처리부(48), 및 출력 인터페이스(49)를 포함할 수 있다.
입력표준 API(Application Programming Interface)부(42), 이동 제어부(44), 가상공간 생성부(46), 영상처리부(48), 및 출력 인터페이스(49) 각각은 H/W , S/W, 또는 이들의 조합으로 이뤄질 수 있다.
입력표준 API부(42)는 변위값 산출모듈(30)에서 출력된 변위값 또는 버튼 입력 처리부(70)를 통하여 수신된 버튼 입력정보를 인터페이스하고, 이동 제어부(44)는 상기 변위값 또는 상기 버튼 입력정보에 기초하여 가상공간 생성부(46)에서 생성된 적어도 하나의 가상 이미지를 이동, 회전, 확대, 또는 축소, 또는 변형시킬 수 있다.
가상공간 생성부(46)는 영상처리부(48)에서 생성된 이미지를 적어도 하나의 레이어를 포함하는 가상공간 데스크톱에 배치시키고 배치된 이미지를 적어도 하나의 가상 이미지로서 출력한다. 이때, 적어도 하나의 가상 이미지는 이동 제어부(44)에 의해서 이동, 회전, 확대, 또는 축소, 또는 변형될 수 있다.
적어도 하나의 가상 이미지가 이동, 회전, 확대, 또는 축소, 또는 변형되는 과정을 위에서 상세히 설명하였는바 이에 대한 상세한 설명은 생략하도록 한다.
영상처리부(48)는 응용 프로그램부(80)의 실행에 의해서 발생되는 이미지 또 는 메모리부(90)에 저장된 이미지의 영상처리를 수행할 수 있다.
출력 인터페이스(49)는 가상공간 생성부(46)에서 이동, 회전, 확대, 또는 축소, 또는 변형되는 가상 이미지를 출력부(50, 예컨대, 디스플레이 장치)로 인터페이스할 수 있다.
출력부(50)는 제어부(40)에 의해서 이동, 회전, 확대, 또는 축소, 또는 변형되는 가상 이미지를 출력(또는, 디스플레이)할 수 있다. 상기 출력부(50)는 디스플레이 장치 또는 디스플레이 화면일 수 있다.
키입력부(60)는 키패드(61), 버튼(63, 예컨대, 기계식 버튼 또는 전자식 버튼), 및/ 또는 터치 스크린(65)를 이용하여 사용자로부터 명령을 수신하고, 버튼 입력 처리부(70)는 키입력부(60)로 입력되는 사용자 명령을 해석하고 해석된 사용자 명령을 제어부(40)로 전송한다.
도 9는 도 1의 키 입력부의 키 입력에 따른 공간지각 사용자 인터페이스 장치의 동작을 나타내는 도면이다.
도 1, 도 3, 및 도 9를 참조하면, 키 입력부는 도 9 (a)와 같이 제1 버튼(63-1), 제2 버튼(63-2), 및 제3 버튼(63-3)으로 구성되는 버튼(63)을 포함할 수 있다.
이하에서 상세히 설명되는 버튼(63)의 입력에 따른 공간 지각 사용자 인터페이스 장치(10)의 동작은 본 발명의 일 실시 예에 불과하며, 상기 버튼(63)의 입력에 따른 공간 지각 사용자 인터페이스 장치(10)의 동작은 다양한 변형이 가능함이 물론이다.
상기 제1 버튼(63-1)은 마우스(mouse)의 오른쪽 버튼과 동일 또는 유사한 기능을 갖는 버튼이고, 상기 제2 버튼(63-2)은 가상공간 제어버튼(또는, 상기 공간지각 인터페이스 버튼)으로서 사용자는 상기 제2 버튼(63-2)을 통하여 디스플레이 화면을 통해서 디스플레이되는 적어도 하나의 가상 이미지를 이동, 회전, 확대, 또는 축소, 또는 변형시킬 수 있다.
예컨대, 공간지각 사용자 인터페이스 장치에서 생성되는 가상 공간(즉, 가상공간 데스크톱)은 제2 버튼(63-2)의 클릭에 의해서 2차원 모드 또는 3차원 모드로 토글(toggle)될 수 있다.
또한, 가상 공간상의 적어도 하나의 가상 이미지는 제2 버튼(63-2)의 더블 클릭에 의해서 이동 모드 또는 고정 모드로 토글(toggle)될 수 있다.
뷰 레이어(VL) 상의 포인터는 제2 버튼(63-2)을 누르지 않는 경우 변위값 산출모듈(30)에 의해서 산출된 변위값에 의해서 이동될 수 있는데, 2차원 모드에서 포인터(P)는 상,하,좌, 및 우(즉, x,y축)로 이동될 수 있다.
그리고, 3차원 모드에서 포인터(P)는 변위값에 따라 상, 하, 좌, 및 우(즉, x,y축)로 이동, 전 및 후(즉, z축)로 이동되어 확대/ 축소, 또는 회전될 수 있다.
또한, 윈도우 레이어(WL) 상의 윈도우(WL-1)는 2차원 모드에서 제2 버튼(63-2)을 누른 상태에서 변위값이 변하는 경우 변화되는 변위값에 따라 상,하,좌, 및 우(즉, x,y축)로 이동, 전 및 후(즉, z축)로 이동되어 확대/ 축소될 수 있다.
그리고, 3차원 모드에서 윈도우(WL-1)는 변위값에 따라 상, 하, 좌, 및 우(즉, x,y축)로 이동, 전 및 후(즉, z축)로 이동되어 확대/ 축소, 또는 회전될 수 있다.
또한, 워크 스페이스 레이어(WSL) 상의 워크 스페이스(WS1)는 2차원 모드에서 제2 버튼(63-2)이 한번 클릭된 후 상기 버튼을 누른 상태가 되는 경우에 변위값이 변하는 경우 변화되는 변위값에 따라 상,하,좌, 및 우(즉, x,y축)로 이동, 전 및 후(즉, z축)로 이동되어 확대/ 축소될 수 있다.
그리고, 3차원 모드에서 워크 스페이스(WS1)는 변위값에 따라 상, 하, 좌, 및 우(즉, x,y축)로 이동, 전 및 후(즉, z축)로 이동되어 또는 확대/ 축소될 수 있다. 한편, 제3 버튼(63-3)은 마우스의 왼쪽 버튼과 동일 또는 유사한 기능을 갖는 버튼일 수 있다.
다시 도 1을 참조하면, 응용 프로그램부(80)는 특정 프로그램(예컨대, 인터넷 익스플로러, 워드 프로세서, 또는 윈도우 미디어 등)을 저장한 프로그램으로서 특정 프로그램을 실행하여 영상처리부(48)를 통하여 그 출력 이미지를 출력할 수 있다.
메모리부(90)는 다수의 컨텐츠 파일(예컨대, 이미지 파일 또는 영상 파일)을 저장하고 영상처리부(48)를 통하여 그 출력 이미지를 출력할 수 있다. 또한, 메모리부(90)는 제어부(40)의 동작 알고리즘을 저장할 수도 있다.
즉, 본 발명의 실시 예에 의한 영상인식을 이용한 공간지각 사용자 인터페이스 장치(10)는 적어도 하나의 레이어로 분리되는 가상공간(즉, 가상공간 데스크톱 환경)을 제공함으로써 사용자는 보다 손쉽게 가상 공간의 이미지와 인터페이스 할 수 있는 효과가 있다.
도 10은 본 발명의 실시 예에 따른 공간지각 사용자 인터페이스 방법에 대한 흐름도이다. 도 1과 도 10을 참조하면, 제어부(40)는 공간지각 사용자 인터페이스 장치(또는, 휴대형 디바이스)의 가상공간 데스크톱 모드를 실행한다(S10).
제어부(40)는 사용자에 의해서 가상공간 데스크톱 모드로 진입할 것인지 여부를 판단하고(S12), 사용자에 의한 가상공간 데스크톱 모드 명령이 수신되는 경우 변위값 산출모듈(30)은 카메라(20)로부터 영상을 수신한다, 이때, 변위값 산출모듈(30)은 카메라(20)로부터 수신되는 영상을 아날로그-디지털변환 할 수 있다(S14).
변위값 산출모듈(30)은 카메라(20)로부터 수신된 영상(예컨대, 피사체 및 배경)의 패턴을 추출하고(S16), 추출된 패턴와 이전영상의 패턴과의 차이를 연산한다(S18).
변위값 산출모듈(30)은 공간지각 알고리즘에 의해서 변위값(예컨대, 피사체의 이동에 따른 변화량)을 산출하고(S20), 키입력부(60)는 사용자로부터 발생된 공간지각 버튼(예컨대, 제2 버튼(63))의 입력을 감지하고(S22), 버튼입력처리부(70)는 공간지각 버튼(63)의 입력을 처리한다(S24).
제어부(40)는 변위값 산출모듈(30)에서 산출된 변위값 및 공간지각 버튼(63)의 입력을 처리(예컨대, 표준 HID(human interface device)용으로 변환)한다(S24).
제어부(40)는 산출된 변위값 또는 공간지각 버튼(63)을 통한 입력 정보의 변화가 있는지 판단한다(S28). 상기 제어부(40)는 S28 단계의 판단결과 입력 정보의 변화가 있는 경우 가상 공간 데스크톱 환경하에서 입력 이벤트를 처리한 다(S30).
제어부(40)는 공간지각 버튼(63)을 통하여 모드(예컨대, 고정모드 또는 이동모드)변환이 있는지를 판단하고(S34), S34 판단결과 고정모드인 경우에는 S12 단계를 다시 수행하고, 이동모드인 경우에는 공간지각 버튼(63)을 통하여 모드(예컨대, 2D모드 또는 3D모드)변환이 있는지를 판단한다(S36).
제어부(40)는 S36 단계의 판단결과 2D 모드인 경우, 산출된 변위값 또는 공간지각 버튼(63)을 통한 입력 정보의 변화가 있는지 감지하고(S38), 상기 변화가 있는 경우 변위값 및/ 또는 버튼(63)을 통한 입력 정보의 변화에 기초하여 포인터, 윈도우, 또는 워크스페이스를 이동시키고(S40, S42, 및 S44), 상기 포인터, 상기 윈도우, 또는 상기 워크스페이스를 각각 확대 또는 축소시킬 수 있다(S46).
또한, 제어부(40)는 S36 단계의 판단결과 3D 모드인 경우, 산출된 변위값 또는 공간지각 버튼(63)을 통한 입력 정보의 변화가 있는지 감지하고(S48), 산출된 변위값 또는 공간지각 버튼(63)을 통한 입력 정보의 변화에 기초하여 포인터, 윈도우, 또는 워크스페이스를 이동 및 회전시키고(S50, S52, 및 S54), 상기 포인터, 상기 윈도우, 또는 상기 워크스페이스를 각각 확대 또는 축소시킬 수 있다(S56).
사용자 인터페이스 장치(10)는 휴대용단말기, 휴대인터넷기기(Mobile Internet Device), MP3, MP4, PMP(Portable Multimedia Player), 노트북 컴퓨터, UMPC(Ultra Mobile PC), 또는 PC(personal computer), 휴대전화(cellular phone), 스마트폰, 또는 PDA(personal digital assistants)와 같은 각종 전자기기가 될 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 본 발명에 따른 메시지 전송방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 전송될 수도 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 (functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 공간지각 사용자 인터페이스 장치의 블록도이다.
도 2는 도 1의 제어부의 블록도이다.
도 3은 도 1의 제어부가 생성한 가상공간을 나타낸다.
도 4a 내지 도 4f 각각은 도 1의 공간지각 사용자 인터페이스 장치에 의해서 변화되는 윈도우를 나타낸다.
도 5는 도 1의 공간지각 사용자 인터페이스 장치에 의해서 생성되는 워크 스페이스 상의 윈도우들을 나타낸다.
도 6은 도 1의 공간지각 사용자 인터페이스 장치에 의해서 생성되는 가상 이미지들을 나타낸다.
도 7의 도 1의 공간지각 사용자 인터페이스 장치에 의해서 형성되는 워크 스페이스 레이어들을 나타낸다.
도 8은 도 1의 공간지각 사용자 인터페이스 장치에 의해서 변화되는 워크 스페이스를 나타낸다.
도 9는 도 1의 키 입력부의 키 입력에 따른 공간지각 사용자 인터페이스 장치의 동작을 나타내는 도면이다.
도 10은 본 발명의 실시 예에 따른 공간지각 사용자 인터페이스 방법에 대한 흐름도이다.

Claims (22)

  1. 카메라가 촬영하여 인식한 외부 영상을 수신하고, 수신되는 상기 영상의 움직임 패턴변화를 검출하여 검출된 움직임 패턴변화에 상응하는 변위 값을 산출하는 단계; 및
    적어도 하나의 레이어로 분리되는 가상 공간 디스플레이 화면에 디스플레이되는 적어도 하나의 가상 이미지를, 산출된 상기 변위 값에 기초하여 이동, 회전, 확대, 또는 축소, 또는 변형시키는 단계를 포함하는 공간지각 사용자 인터페이스 방법.
  2. 제1항에 있어서, 상기 변위 값을 산출하는 단계는,
    상기 카메라로부터 수신되는 이전 영상과 현재 영상을 비교하는 비교단계; 및
    상기 비교단계의 비교결과에 기초하여 상기 영상의 피사체의 이동을 나타내는 상기 패턴변화를 검출하고 검출결과와 상응하는 상기 변위 값을 산출하는 단계를 포함하는 공간지각 사용자 인터페이스 방법.
  3. 제2항에 있어서, 상기 이전 영상과 상기 현재 영상의 비교는,
    상기 이전 영상과 상기 현재 영상 각각을 구성하는 N(N은 자연수) 차원 좌표값들 중에서 서로 대응되는 좌표값들을 서로 비교함으로써 이뤄지거나, 상기 이전 영상과 상기 현재 영상 각각의 벡터값들을 서로 비교함으로써 이뤄지는 공간지각 사용자 인터페이스 방법.
  4. 제2항에 있어서, 상기 변위 값은,
    N(N은 자연수) 차원 좌표값들 각각의 변화량 또는 벡터값들의 변화량과 상응하는 공간지각 사용자 인터페이스 방법.
  5. 제1항에 있어서, 상기 변위 값을 산출하는 단계는,
    소정의 시간 주기에 따라 상기 영상의 상기 패턴변화를 검출하고 검출된 패턴변화에 상응하는 상기 변위 값을 산출하는 단계인 공간지각 사용자 인터페이스 방법.
  6. 삭제
  7. 제1항에 있어서, 상기 적어도 하나의 레이어는,
    뷰 레이어, 윈도우 레이어, 및 워크 스페이스 레이어 중에서 적어도 어느 하나를 포함하며, 상기 뷰 레이어는,
    상기 디스플레이 화면의 어느 한 부분을 클릭할 수 있도록 하는 포인터가 이동하는 레이어이고, 상기 윈도우 레이어는,
    특정 프로그램의 실행결과에 의해서 디스플레이되는 적어도 하나의 윈도우가 디스플레이되는 레이어이고, 상기 워크 스페이스 레이어는,
    각각이 상기 윈도우 레이어를 포괄하는 적어도 하나의 워크 스페이스가 디스플레이되는 레이어인 공간지각 사용자 인터페이스 방법.
  8. 제7항에 있어서, 상기 적어도 하나의 가상 이미지는,
    제1 모드에서 상기 포인터와 상응하고, 제2 모드에서 상기 적어도 하나의 윈도우와 상응하고, 제3 모드에서 상기 적어도 하나의 워크 스페이스와 상응하고,
    상기 포인터, 상기 적어도 하나의 윈도우, 및 상기 적어도 하나의 워크 스페이스는 상기 변위값에 기초하여 상기 이동, 상기 회전, 상기 확대, 또는 상기 축소, 또는 상기 변형되는 공간지각 사용자 인터페이스 방법.
  9. 제8항에 있어서, 상기 포인터는,
    상기 디스플레이 화면의 어느 한 부분에 위치하며, 상기 적어도 하나의 윈도우의 특정 영역을 선택할 수 있는 공간지각 사용자 인터페이스 방법.
  10. 제1항에 있어서, 상기 공간지각 사용자 인터페이스 방법은,
    제1 모드에서 적어도 하나의 워크 스페이스를 M(M은 자연수) 차원으로 배치하고 상기 변위 값에 따라 상기 적어도 하나의 워크 스페이스 중에서 대응되는 워크 스페이스를 디스플레이하는 단계를 더 포함하는 공간지각 사용자 인터페이스 방법.
  11. 제10항에 있어서, 상기 공간지각 사용자 인터페이스 방법은,
    제2 모드에서, 상기 변위 값이 x축, y축 및 z축 중 적어도 하나의 방향으로 이동된 제1 크기와 상응하는 경우, 상기 워크 스페이스 상에 형성되는 윈도우를 상기 x축, y축 및 z축 중 적어도 하나의 방향과 동일한 방향으로 상기 제1 크기만큼 이동하는 단계를 더 포함하는 공간지각 사용자 인터페이스 방법.
  12. 삭제
  13. 제1항에 기재된 방법을 수행하기 위한 컴퓨터로 판독가능한 기록매체.
  14. 외부 영상을 촬영하는 카메라;
    상기 카메라가 촬영하여 인식된 영상의 움직임에 기초하여 상기 영상의 움직임 패턴변화를 검출하고 검출된 움직임 패턴변화에 상응하는 변위 값을 산출하는 변위값 산출모듈; 및
    적어도 하나의 레이어로 분리되는 가상 공간 디스플레이 화면에 디스플레이되는 적어도 하나의 가상 이미지를, 산출된 상기 변위 값에 기초하여 이동, 회전, 확대, 또는 축소, 또는 변형시키는 제어부를 포함하는 공간지각 사용자 인터페이스 장치.
  15. 제14항에 있어서, 상기 변위값 산출모듈은,
    상기 카메라로부터 수신되는 이전 영상과 현재 영상을 비교하고 비교결과에 기초하여 상기 영상의 피사체의 이동을 나타내는 상기 패턴변화를 검출하고 검출결과와 상응하는 상기 변위 값을 산출하는 공간지각 사용자 인터페이스 장치.
  16. 제14항에 있어서, 상기 변위값 산출모듈은,
    상기 카메라로부터 수신되는 이전 영상의 영상 패턴과 현재 영상의 영상 패턴을 검출하는 영상 패턴 인식부; 및
    상기 이전 영상과 상기 현재 영상 사이의 상기 패턴변화를 검출하고 검출결과와 상응하는 상기 변위 값을 산출하는 변위값 산출부를 포함하는 공간지각 사용자 인터페이스 장치.
  17. 제14항에 있어서, 상기 적어도 하나의 가상 이미지는,
    적어도 하나의 레이어로 분리된 가상 공간에서 디스플레이되는 공간지각 사용자 인터페이스 장치.
  18. 제17항에 있어서, 상기 적어도 하나의 레이어는,
    뷰 레이어, 윈도우 레이어, 및 워크 스페이스 레이어 중에서 적어도 어느 하나를 포함하며, 상기 뷰 레이어는,
    상기 디스플레이 화면의 어느 한 부분을 클릭할 수 있도록 하는 포인터가 이 동하는 레이어이고, 상기 윈도우 레이어는,
    특정 프로그램의 실행결과에 의해서 디스플레이되는 적어도 하나의 윈도우가 디스플레이되는 레이어이고, 상기 워크 스페이스 레이어는,
    각각이 상기 윈도우 레이어를 포괄하는 적어도 하나의 워크 스페이스가 디스플레이되는 레이어인 공간지각 사용자 인터페이스 장치.
  19. 제18항에 있어서, 상기 적어도 하나의 가상 이미지는,
    제1 모드에서 상기 포인터와 상응하고, 제2 모드에서 상기 적어도 하나의 윈도우와 상응하고, 제3 모드에서 상기 적어도 하나의 워크 스페이스와 상응하고,
    상기 포인터, 상기 적어도 하나의 윈도우, 및 상기 워크 스페이스는 상기 변위값에 기초하여 상기 이동, 상기 회전, 상기 확대, 또는 상기 축소, 또는 상기 변형되는 공간지각 사용자 인터페이스 장치.
  20. 제18항에 있어서, 상기 공간지각 사용자 인터페이스 장치는,
    공간지각 인터페이스 버튼을 포함하는 키입력부를 더 포함하며, 상기 제어부는,
    상기 공간지각 인터페이스 버튼의 싱글 클릭 여부에 따라 상기 적어도 하나의 가상 이미지를 3차원 또는 2차원으로 배열하고,
    상기 공간지각 인터페이스 버튼의 더블 클릭 여부에 따라 상기 적어도 하나의 가상 이미지를 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형시 키는 공간지각 사용자 인터페이스 장치.
  21. 제20항에 있어서, 상기 제어부는,
    상기 공간지각 인터페이스 버튼이 더블 클릭되는 제1 상태가 되는 경우 상기 적어도 하나의 가상 이미지가 상기 변위 값에 기초하여 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형되는 이동모드로 인지하고,
    상기 이동모드 하에서,
    상기 공간지각 인터페이스 버튼이 눌러지지 않은 경우, 상기 변위 값에 기초하여 상기 뷰 레이어 상의 포인터를 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형시키고,
    상기 공간지각 인터페이스 버튼이 눌러진 경우, 상기 변위 값에 기초하여 상기 윈도우 레이어 상의 윈도우를 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형시키고,
    상기 공간지각 인터페이스 버튼이 한번 클릭되고 다시 눌러진 상태에서 다시 이 눌러진 경우, 상기 워크 스페이스 레이어 상의 상기 워크 스페이스를 상기 이동, 상기 회전, 상기 확대, 상기 축소, 또는 상기 변형시키는 공간지각 사용자 인터페이스 장치.
  22. 제20항에 있어서, 상기 버튼은,
    키패드, 기계식 버튼, 전자식 버튼 또는 터치 스크린을 통하여 구현되는 공 간지각 사용자 인터페이스 장치.
KR1020080052557A 2008-06-04 2008-06-04 영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그장치 KR100959516B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080052557A KR100959516B1 (ko) 2008-06-04 2008-06-04 영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080052557A KR100959516B1 (ko) 2008-06-04 2008-06-04 영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그장치

Publications (2)

Publication Number Publication Date
KR20090126465A KR20090126465A (ko) 2009-12-09
KR100959516B1 true KR100959516B1 (ko) 2010-05-27

Family

ID=41687585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080052557A KR100959516B1 (ko) 2008-06-04 2008-06-04 영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그장치

Country Status (1)

Country Link
KR (1) KR100959516B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030038732A (ko) * 2000-09-07 2003-05-16 카네스타, 인코포레이티드 사용자 오브젝트와 가상 전달 장치의 상호작용을 탐색하고배치하는 준 3차원 방법 및 장치
JP2006209359A (ja) 2005-01-26 2006-08-10 Takenaka Komuten Co Ltd 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム
KR20080014896A (ko) * 2005-05-27 2008-02-14 모토로라 인코포레이티드 사용자 인터페이스 제어 방법 및 휴대용 전자 장치용 장치
KR20090032536A (ko) * 2007-09-28 2009-04-01 한국전자통신연구원 가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030038732A (ko) * 2000-09-07 2003-05-16 카네스타, 인코포레이티드 사용자 오브젝트와 가상 전달 장치의 상호작용을 탐색하고배치하는 준 3차원 방법 및 장치
JP2006209359A (ja) 2005-01-26 2006-08-10 Takenaka Komuten Co Ltd 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム
KR20080014896A (ko) * 2005-05-27 2008-02-14 모토로라 인코포레이티드 사용자 인터페이스 제어 방법 및 휴대용 전자 장치용 장치
KR20090032536A (ko) * 2007-09-28 2009-04-01 한국전자통신연구원 가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그동작 방법

Also Published As

Publication number Publication date
KR20090126465A (ko) 2009-12-09

Similar Documents

Publication Publication Date Title
US11481096B2 (en) Gesture mapping for image filter input parameters
US8823749B2 (en) User interface methods providing continuous zoom functionality
JP5726916B2 (ja) マルチスクリーンの縮小及び拡大ジェスチャー
US11042294B2 (en) Display device and method of displaying screen on said display device
JP5784047B2 (ja) マルチスクリーンのホールド及びページフリップジェスチャー
US9678574B2 (en) Computing system utilizing three-dimensional manipulation command gestures
KR101196291B1 (ko) 손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법
JP2004259063A (ja) ３次元オブジェクトの表示処理装置、表示処理方法およびコンピュータプログラム
JP2004259065A (ja) ３次元オブジェクトの表示処理装置、表示処理方法、およびコンピュータプログラム
JP2014505315A (ja) デバイスパネルの相対的な移動を用いたユーザー命令の入力方法及び装置
WO2018222248A1 (en) Method and device for detecting planes and/or quadtrees for use as a virtual substrate
US20150063785A1 (en) Method of overlappingly displaying visual object on video, storage medium, and electronic device
JP4135487B2 (ja) ユーザ・インタフェース装置および携帯情報装置
US9529509B1 (en) Item selection
US10042445B1 (en) Adaptive display of user interface elements based on proximity sensing
US20240187725A1 (en) Photographing method and electronic device
CN114529691A (zh) 一种窗口控制方法、电子设备及计算机可读存储介质
KR100959516B1 (ko) 영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그장치
US10019127B2 (en) Remote display area including input lenses each depicting a region of a graphical user interface
WO2021005871A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR101165388B1 (ko) 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치
KR20130124143A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
CN116954452A (zh) 操作响应方法、装置、设备及计算机可读存储介质
CN103902187A (zh) 一种控制电子设备的方法及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130515

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140514

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150609

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160427

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee