KR20070071187A - Method and apparatus of multi function virtual user interface - Google Patents
Method and apparatus of multi function virtual user interface Download PDFInfo
- Publication number
- KR20070071187A KR20070071187A KR1020050134415A KR20050134415A KR20070071187A KR 20070071187 A KR20070071187 A KR 20070071187A KR 1020050134415 A KR1020050134415 A KR 1020050134415A KR 20050134415 A KR20050134415 A KR 20050134415A KR 20070071187 A KR20070071187 A KR 20070071187A
- Authority
- KR
- South Korea
- Prior art keywords
- input
- user
- motion
- input pattern
- pattern
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
- G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
도 1a, 도 1b 및 도 1c는 종래의 가상 키보드를 나타낸 도면,1a, 1b and 1c is a view showing a conventional virtual keyboard,
도 2는 본 발명에 따른 휴대형 단말기의 구성도,2 is a block diagram of a portable terminal according to the present invention;
도 3은 본 발명의 바람직한 실시예에 따른 휴대형 단말기의 제어부 동작 흐름도, 3 is a flowchart illustrating an operation of a controller of a portable terminal according to an embodiment of the present invention;
도 4는 본 발명의 바람직한 실시예에 따른 메뉴 표시예를 도시한 도면.4 is a diagram showing a menu display example according to a preferred embodiment of the present invention.
본 발명은 휴대형 단말기의 입력장치에 관한 것으로, 특히 휴대형 단말기의 입력장치로 다기능 가상 입력 장치를 제공하여 다양한 응용 서비스에 따라 입력장치를 제공할 수 있는 방법 및 장치에 관한 것이다. The present invention relates to an input device of a portable terminal, and more particularly, to a method and an apparatus capable of providing an input device according to various application services by providing a multifunctional virtual input device as an input device of a portable terminal.
기술의 발달과 더불어 이동통신 단말기나 PDA 등과 같은 휴대형 단말기에도 고품질의 다양한 기능이 부가되기 시작했다. With the development of technology, various high quality functions have begun to be added to portable terminals such as mobile communication terminals and PDAs.
이러한 추세에 부응하여, 상기 휴대형 단말기에는 다양한 목적으로 사용 가 능한 멜로디나 벨을 편집하는 기능으로부터 확장된 연주 서비스, 다국적 언어 입력, 펜 입력이 가능토록 하는 입력장치가 구비되기에 이르렀다.In response to this trend, the portable terminal has been provided with an input device for enabling extended performance services, multilingual language input, and pen input from a function of editing a melody or bell which can be used for various purposes.
도1a는 가상 키보드의 기본 구성의 예로써 Virtual Keyboard사(이하 VKB사)에서 시판되고 있는 입력 장치를 설명하고 있다. 상기 가상 키보드는 WO 2001/93182공개 특허에 기본 구성에 대하여 상세히 설명하고 있다. WO 2001/93182개시된 입력 장치는 데이터 입력 장치용 레이저 단일체이다. 상기 입력장치는 키 패턴을 투사하기 위해서 기구적 MASK를 사용하기 때문에, 다양한 응용 서비스를 제공하는 단말일 경우 다양한 입력 패턴에 대응하는 다수의 별도 전용모듈을 지녀야 한다. 이는 두 개 이상의 전용 모듈을 지녀야 하기에 사용자가 사용하기에 불편함을 느낄 수 있다. 또한 휴대용 단말에 별도로 연결해야 하는 인터페이스가 필요하다.FIG. 1A illustrates an input device sold by Virtual Keyboard Corporation (hereinafter referred to as VKB Corporation) as an example of the basic configuration of the virtual keyboard. The virtual keyboard has been described in detail for the basic configuration in WO 2001/93182 published patent. The input device disclosed in WO 2001/93182 is a laser monolith for a data input device. Since the input device uses a mechanical MASK to project a key pattern, a terminal providing various application services should have a plurality of separate dedicated modules corresponding to various input patterns. It may be inconvenient for a user to use because it must have two or more dedicated modules. There is also a need for an interface that must be connected separately to the portable terminal.
도 1b는 손의 움직임 또는 움직이는 대상을 감지하기 위한 감지 수단을 별도의 장치가 아닌 이미지 촬상 카메라를 사용함으로써 경우에 따라 이미지 촬상용과 데이터 입력 감지용으로 사용하는 경우를 나타낸 도면이다. 이는 감지 센서로 사용하고 있는 이미지 센서를 이미지 촬상용과 데이터용으로 구분하고 있을 뿐, 다양한응용 서비스에 따라 입력 장치를 사용하고자 할 때 모션 인식을 달리할 수 있는 방법 및 장치에 대해서는 언급하고 있지 않다. 도 1c는 본 발명의 동일 출원인이 대한민국 특허청에 "악기연주 서비스 제공방법 및 장치"을 명칭으로 하여 특허 출원된 제10-2004-82043호는 가상 키보드를 이용한 멜로디 연주 기능이 구비된 휴대폰을 개시한다. 상기 출원 제10-2004-82043 특허는 이미지를 촬영하기 위한 제2촬상 장치와 사용자의 움직임을 감지/인식할 수 있는 제1촬상 장치를 구비함으로써 부품의 효율성 측면에 아쉬운 점이 있다.FIG. 1B is a diagram illustrating a case where a sensing means for sensing a hand movement or a moving object is used for image capturing and data input sensing in some cases by using an image capturing camera instead of a separate device. This classifies the image sensor that is used as a sensing sensor for image capturing and data, and does not mention a method and a device for different motion recognition when using an input device according to various application services. Figure 1c is a patent application filed by the same applicant of the present invention to the Korean Intellectual Property Office No. 10-2004-82043 discloses a mobile phone with a melody playing function using a virtual keyboard . The patent application 10-2004-82043 has a disadvantage in terms of efficiency of components by having a second imaging device for capturing an image and a first imaging device capable of detecting / recognizing a user's movement.
따라서 본 발명의 목적은 다양한 입력 기능을 갖는 가상키보드를 휴대 단말기 내 장착함으로써 이동성 및 사용 편리성을 제공함에 있다.Accordingly, an object of the present invention is to provide a mobility and ease of use by mounting a virtual keyboard having various input functions in a portable terminal.
또한 본 발명의 다른 목적은 현재 휴대형 단말기기에서 사용하는 일반 이미지센서(CCD, CMOS등)를 사용함으로써 추가적인 부품을 추가하지 않는 면에서 부품 활용도를 높일 수 있다.In addition, another object of the present invention can increase the component utilization in terms of not adding additional components by using a general image sensor (CCD, CMOS, etc.) currently used in portable terminal devices.
상기한 목적을 달성하기 위한 본 발명에 따르는 휴대형 단말기의 다기능 가상 키보드 제공방법은, 다양한 키 입력 패턴을 저장하는 단계, 사용자에 의해 응용프로그램이 선택되어 실행이 되는 단계, 상기 선택된 응용프로그램에 적합한 입력 패턴을 저장된 저장장소에서 축출하는 단계, 상기 축출된 입력 패턴을 투사하는 단계, 상기 투사된 입력 패턴에 따라 사용자 조작 검출 방법을 변경하는 단계로 구성됨을 특징으로 한다.According to an aspect of the present invention, there is provided a method of providing a multi-function virtual keyboard of a portable terminal, the method comprising: storing various key input patterns, selecting and executing an application program by a user, and input suitable for the selected application program. Extracting the pattern from the stored storage, projecting the extracted input pattern, and changing a user manipulation detection method according to the projected input pattern.
그리고 본 발명에 따르는 다기능 입력 패턴을 제공하는 장치는 다기능 패턴을 저장하는 저장장치, 다양한 응용 프로그램 중 사용자의 선택에 따라 하나의 응용프로그램이 실행되는 선택장치, 선택 장치에 의해 발생된 선택 신호와 일치하는 키입력 패턴을 저장장치에서 독출하여 투사하는 투사장치, 상기 독출된 키 입력 패턴에 따라 사용자의 조작 감지 수단이 변경되는 제어장치, 변경된 패턴에 따라 사용자의 움직임을 감지하는 감지장치로 구성됨을 특징으로 한다. The apparatus for providing a multi-function input pattern according to the present invention is a storage device for storing a multi-function pattern, a selection device for executing one application program according to a user's selection among various application programs, and a selection signal generated by the selection device. A projection device for reading and projecting a key input pattern from a storage device, a control device for changing a user's operation detection means according to the read key input pattern, and a detection device for detecting a user's motion according to the changed pattern. It is done.
이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명하며, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and detailed descriptions of well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention will be omitted.
본 발명은 휴대형 단말기에 다기능 키입력 패턴을 제공하는 가상키보드를 내장시킴으로써 다양한 응용 프로그램을 실행할 수 있도록 한다. The present invention enables a variety of application programs to be executed by embedding a virtual keyboard that provides a multifunction key input pattern in a portable terminal.
이러한 본 발명의 바람직한 실시예에 따르는 휴대형 단말기의 구성을 도 2를 참조하여 설명한다. 도2를 참조하여, 본 발명의 일 실시예에 따른 휴대용 단말기는 제어부(100)와 인터페이스부(102)와, 스피커(112)와, 오디오 신호 처리 및 출력부(114)와, 음원칩(116)과, 제2비디오 신호 처리 및 출력부(118)와, 표시장치(120)와 키패드(122)와, 메모리부(124)를 포함한다. 그리고 상기 인터페이스부(102)는 제1촬상장치(104)와, 모션 인식부(106)와, 투사형디스플레이장치(108)와, 제1비디오 신호 처리 및 출력부(110)를 포함한다. The configuration of a portable terminal according to a preferred embodiment of the present invention will be described with reference to FIG. 2, the portable terminal according to an embodiment of the present invention, the
상기 휴대형 단말기의 제어부(100)는 상기 휴대형 단말기를 전반적으로 제어함은 물론이며, 본 발명의 바람직한 실시예에 따른 서비스를 제공하기 위해 도 2의 각부를 제어한다. The
이러한 제어부(100)의 동작을 좀더 설명하면, 상기 제어부(100)는 사용자의 요청에 따라 입력패턴을 투사 표시하고, 그 투사 표시된 패턴상의 사용자 조작을 인식하도록 사용자 인터페이스부(102)를 제어한다. 제어부(100)는 선택 가능한 다수의 입력 패턴 목록을 제공하여, 사용자로부터 임의의 입력 패턴을 선택하는 입력을 받는다. 상기 다수의 입력 패턴은 다양한 악기, 키 패드, 터치 패드등을 포함한다. 제어부(100)는 사용자에 의해 선택된 임의의 입력 패턴을 상기 인터페이스부(102)의 상기 제1비디오 신호 처리 및 출력부(110)와 상기 투사형 디스플레이 장치(108)를 통해 투사 표시한다. 그리고 제어부(100)는 상기와 같이 사용자가 원하는 입력 패턴이 선택될 시, 변환부(103)를 제어하여, 상기 인터페이스부(102)의 제1촬상장치(104)를 영상용 촬상 장치에서 사용자의 조작을 인식할 수 동작 인식 가능한 촬상장치로 변환시킨다. 상기 변환부(103)는 모터 제어에 의한 기계적으로 상기 제1촬상장치(104)를 영상용 촬상 장치에서 동작 인식이 가능한 촬상 장치로 변환하도록 구성할 수 있으며, 상기 제1촬상 장치(104)의 필터를 전기적으로 변화시켜, 상기 제1촬상장치(104)를 영상용 촬상 장치에서 동작 인식이 가능한 촬상 장치로 변환하도록 구성할 수 도 있다. 이에 따라 모션 인식부(106)는 변환된 제1촬상장치(104)에서 출력되는 입력 패턴에 따라 사용자 동작을 인식할 수 있도록 변경되어진다. 이에 대한 구체적인 구성은 한국 특허청 공개 특허 10-2004-7021159에 공지된 기술로 상세한 설명은 생략한다. 상기한 제어에 따라 상기 사용자 인터페이스부(102)가 투사 표시된 패턴상의 사용자 조작을 인식하여 그 인식결과를 제공하면, 상기 제어부(100)는 상기 사용자 조작에 대응되는 정보를 검출하고, 그 정보에 따른 신호를 출력하도록 한다. Referring to the operation of the
상기 메모리부(124)는 상기 제어부(100)의 처리 프로그램을 포함하는 다양한 정보 및 본 발명에 따른 다수의 입력 패턴과 관련된 정보를 저장한다. 상기 다수의 입력패턴은 다양한 악기에 따른 입력패턴, 키 패드 형태에 따른 입력패턴, 터치 패드 입력패턴 등을 포함한다. 그리고, 상기한 제어부(100)이 입력패턴 투사 및 인식 동작과정에 필요한 프로그램데이터를 저장하며, 상기 다양한 악기에 따른 입력패턴에 대응하는 음원 데이터를 저장하고 있다. The
이러한 사용자 인터페이스에 대한 기술은 카네스타사의 버츄얼 키보드(Virtual Keyboard)의 변형으로부터 자명하다. 상기 카네스타사의 버츄얼 키보드는 키보드 패턴을 투사표시하고, 그 투사표시된 키보드상의 사용자 조작을 인식하는 기술로서, 상기한 카네스타사의 버츄얼 키보드의 패턴을 악기 패턴으로 변형하기만 하는 것으로, 본 발명의 사용자 인터페이스부는 구현될 수 있다. 그러나 투사형 디스플레이 장치의 소형화 및 모션인식기술의 발달에 기인하여 본 발명의 악기연주용 사용자 인터페이스부(102)가 상기 카네스타사의 버츄얼 키보드에 한정되지는 않는다. The description of this user interface is evident from the modification of Carnesta's Virtual Keyboard. The Kanesta's virtual keyboard is a technology for projecting and displaying a keyboard pattern and recognizing user operation on the projected and displayed keyboard. The Kanesta's virtual keyboard merely transforms the pattern of the Kanesta's virtual keyboard into an instrument pattern. The interface unit may be implemented. However, due to the miniaturization of the projection display device and the development of motion recognition technology, the
이에 따라, 제어부(100)는 상기 인터페이스부(102)를 통해 다양한 악기들을 투사하여 표시할 수 있고, 숫자키로 구성되는 키패드 또는 문자 입력이 가능한 키패드등, 다양한 형태의 키패드를 입력패턴으로 투사 표시할 수도 있다. 그리고 제어부(100)는 터치 패드 타입의 입력패턴을 투사 표시할 수도 있다. 이에 따라 사용자는 악기를 직접 연주하는 형태로 휴대용 단말기에 사용자 입력을 할 수 있고, 키패드를 이용하는 형태로 휴대용 단말기에 사용자 입력을 할 수 있다. 그리고 사용자가 글씨는 직접 쓰는 형태로 사용자 입력을 하게 할 수 도 있다. 상기 모션 인식 부(106)는 투사 표시된 입력 패턴에 대응하여 모션 인식 방식을 변환하고, 인식되는 사용자의 입력 모션을 제어부(100)로 출력하기 때문에, 제어부(100)는 투사 표시한 입력 패턴에 대응하여 사용자의 입력을 파악할 수 있으며, 그에 따른 결과를 출력한다. 예를 들어, 악기의 입력패턴을 투사 표시한 상태에서 사용자의 악기 연주가 감지되면, 연주에 따른 해당 악기의 음원을 출력한다. 그리고 키패드 형태의 입력패턴이나 터치패드 형태의 입력패턴을 투사 표시한 상태에서, 사용자의 입력이 감지되면, 입력된 키에 대응되는 동작을 수행하거나 또는 터치패드 상에 입력되는 글자나 그림등을 파악하여 표시 장치(120)에 디스플레이한다. 이렇듯, 본 발명은 다양한 입력 방법에 대한 패턴을 투사 표시하고, 상기 투사 표시된 패턴상의 사용자 조작을 인식하여 그에 따른 결과를 출력하므로, 사용자는 이미지 투사만으로 실제 많은 입력 장치를 구현할 수 있게 된다. 상기 스피커(112)는 상기 오디오 신호 처리 및 출력부(114) 출력에 따른 오디오를 출력한다. Accordingly, the
상기 표시장치(120)는 상기 제2비디오 신호 처리 및 출력부(118)의 출력에 따른 영상 또는 그래픽을 출력한다. The
키패드(122)는 다수의 키를 구비하여 사용자로부터의 키입력신호를 상기 제어부(100)로 제공함으로써, 사용자와 상기 제어부(100)간을 인터페이스한다. The
여기서, 상기 본 발명의 휴대형 단말기는 응용 서비스를 제공하는 동안의 다양한 사용자 명령을 입력 받기 위한 상세메뉴를 제공한다. 상기 상세메뉴의 표시예를 도 5에 도시하였으며, 상기 상세메뉴의 구성은 사용상의 편리성을 고려하여 다양하게 변형가능하다. Here, the portable terminal of the present invention provides a detailed menu for receiving various user commands while providing an application service. A display example of the detailed menu is illustrated in FIG. 5, and the configuration of the detailed menu may be variously modified in consideration of convenience in use.
이제 상기한 휴대형 단말기에 적용 가능한 본 발명의 바람직한 실시예에 따른 악기 연주 서비스 제공방법을 도4의 흐름도를 참조하여 설명한다. A method of providing a musical instrument playing service according to a preferred embodiment of the present invention applicable to the portable terminal will now be described with reference to the flowchart of FIG.
상기 휴대형 단말기는 다수의 메뉴를 구비하며, 본 발명의 바람직한 실시예에 따라 메인 메뉴에는 그래픽 아이콘으로 구현된 다수의 메뉴 항목으로 구성되며, 이를 도4에 도시하였다. 도 4는 본 발명의 바람직한 실시예에 따른 메뉴 표시예를 도시한 도면이다. 상기 다수의 메뉴 항목 중에는 기능에 따른 다양한 응용 서비스로의 진입을 명령하기 위한 메뉴항목이 포함된다. The portable terminal includes a plurality of menus, and according to a preferred embodiment of the present invention, the main menu includes a plurality of menu items implemented by graphic icons, which are illustrated in FIG. 4. 4 is a diagram showing a menu display example according to a preferred embodiment of the present invention. Among the plurality of menu items, menu items for instructing entry into various application services according to functions are included.
상기 응용 서비스로의 진입을 명령하기 위해 표시장치(120)에 표시되는 메인 메뉴에는 핸드폰 관리 메뉴항목(A), 무선인터넷 접속 메뉴항목(B), 전화번호부 메뉴항목(C), 메시지 관리 메뉴항목(D), 그 외 항목(E) 등에 입력 패턴 투사 디스플레이를 명령하기 위한 메뉴항목(F)이 포함되어 있다. The main menu displayed on the
상기 휴대형 단말기의 사용자가 키패드(122)를 통해 메인 메뉴에 포함되어 있는 서비스의 진입을 명령하면 상기 제어부(100)는 진입 명령과 함께 선택된 응용 서비스 안내함과 어울러 안내된 서비스 중 어느 하나를 선택하도록 표시장치(120)를 통해 사용자에게 안내한다. 상기한 안내는 다수의 악기, 키 패드, 터치패드에 대응되는 그래픽 아이콘들을 표시장치(120)의 화면에 표시함으로써 이루어질 수 있다. 상기 도 4를 참조하면, 상기 상세 메뉴에는 메시지 및 메신저등의 문자 입력 명령하기 위한 그래픽 아이콘(I), 펜 입력 명령하기 위한 그래픽 아이콘(G), 악기선택을 명령하기 위한 그래픽 아이콘(H)이 포함되며, 이와 같은 상세메뉴 등을 통해 상기 사용자는 투사 표시된 패턴을 조작하여 입력 중에도 다양한 명령을 입력할 수 있다.When the user of the portable terminal commands the entry of the service included in the main menu through the
상기한 안내후에 제어부(100)는 상기한 바와 같이 표시장치(120)의 화면에 표시된 응용 서비스 중 어느 하나를 사용자가 선택하는지를 체크한다(301단계). After the above-described guidance, the
상기 제어부(100)는 사용자가 상기 안내된 서비스 중 어느 하나를 선택하면, 그 선택된 서비스에 대응되는 입력 패턴을 메모리부(124)로부터 독출하여 제1비디오 신호 처리 및 출력부(110) 및 투사형 디스플레이장치(108)를 통해 투사 표시한다. 상기한 바와 같이 입력 패턴을 투사 표시함과 동시에, 상기 제어부(100)는 제1촬상장치(104)를 영상용 촬상장치에서 사용자의 동작을 감지하는 데이터 입력용 촬상장치로 변경하고 이와 함께 선택된 응용 서비스에 따른 모션인식부(106)로 변경하여 상기 투사 표시된 패턴상의 사용자 조작을 검출한다. 모션 인식부(106)는 선택된 응용서비스의 종류에 따라 달라진다. When the user selects any one of the guided services, the
예를 들어, 문자 입력 서비스가 선택되어 지면 키 자판용 패턴이 투사되면서 키 자판에 따른 동작을 감지할 수 있도록 변경이 되며(303단계, 305단계), 펜 입력 서비스가 선택되어 지면 펜의 움직임을 감지할 수 있도록 변경이 된다(307단계, 309단계). 그리고 엔터테인먼트(악기연주 등) 서비스가 선택되어 지면 피아노, 드럼, 신디사이저등의 패턴이 투사되면서 손의 움직임을 감지할 수 있도록 모션 인식부의 감지 기능이 변경 된다(311단계, 313단계, 315단계).For example, when the character input service is selected, the pattern for the key keyboard is projected and is changed to detect the motion according to the key keyboard (
상기 패턴상의 사용자 조작이 검출되면(317단계), 상기 제어부(100)는 검출된 사용자 조작에 대응되는 데이터정보를 메모리부(124)로부터 독출하고, 그 독출된 정보를 응용 서비스에 관련된 프로그램에 제공한다(319, 321단계). When a user operation on the pattern is detected (step 317), the
이로서 본 발명은 휴대형 단말기를 통해 사용자에게 익숙한 형태의 패턴을 통한 입력을 가능하게 함으로써 다양한 입력 장치에 해당하는 입력 방법를 자연스럽고 편리하게 입력할 수 있게 한다. As a result, the present invention enables a user to input an input method corresponding to various input devices in a natural and convenient manner by enabling an input through a pattern familiar to a user through a portable terminal.
또한 본 발명은 상기 다양한 패턴을 투사 표시함으로써 조작범위가 넓던 좁던, 키가 많고 적던 관계 없이 물리적 입력 장치에 대한 제한 없이 다양한 입력이 가능하다. In addition, the present invention is capable of projecting and displaying the various patterns, so that various inputs are possible without limiting the physical input device regardless of whether the operation range is wide or narrow, or the keys are large or small.
상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다. In the above description of the present invention, specific embodiments have been described, but various modifications can be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be defined by the described embodiments, but should be defined by the equivalent of claims and claims.
상술한 바와 같이 본 발명은 통상의 이미지 영상장치를 통해 모션을 인식 할 수 있게 함으로써 기존의 두개 이상의 센서를 이용한 모션 인식 장치를 단일화 할 수 있게 됨에 따라 부품의 활용도를 높이면서 서비스별로 다양한 입력 방법을 제공할 수 있게 함으로써서비스에 따라 다양한 입력방법을 자연스럽고 편리하게 입력할 수 있게 하는 효과가 있다. As described above, the present invention enables a motion recognition apparatus to recognize a motion through a conventional image imaging apparatus, thereby making it possible to unify a motion recognition apparatus using two or more existing sensors. By providing it, it is possible to input various input methods naturally and conveniently according to the service.
또한 본 발명은 투사 표시된 상기 악기 패턴을 투사 표시함으로써 조작범위가 넓고 좁고, 키가 많고 적고에 관계없이 다양한 입력 방법을 제공할 수 있는 효과가 있다. In addition, the present invention has the effect that it is possible to provide a variety of input methods irrespective of the wide and narrow operation range, the high and low operation range by projecting and displaying the musical instrument pattern displayed projection.
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050134415A KR101286412B1 (en) | 2005-12-29 | 2005-12-29 | Method and apparatus of multi function virtual user interface |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050134415A KR101286412B1 (en) | 2005-12-29 | 2005-12-29 | Method and apparatus of multi function virtual user interface |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070071187A true KR20070071187A (en) | 2007-07-04 |
KR101286412B1 KR101286412B1 (en) | 2013-07-18 |
Family
ID=38506362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050134415A KR101286412B1 (en) | 2005-12-29 | 2005-12-29 | Method and apparatus of multi function virtual user interface |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101286412B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100807622B1 (en) * | 2006-09-20 | 2008-02-28 | 엠텍비젼 주식회사 | Input apparatus using image processing and method thereof |
KR100829142B1 (en) * | 2007-01-12 | 2008-05-13 | 엠텍비젼 주식회사 | Apparatus for sensing moving of subject and method thereof |
WO2011074797A3 (en) * | 2009-12-18 | 2011-11-10 | Samsung Electronics Co., Ltd. | Mobile device having projector module and method for operating the same |
WO2012047206A1 (en) * | 2010-10-05 | 2012-04-12 | Hewlett-Packard Development Company, L.P. | Entering a command |
US8237654B2 (en) | 2007-12-18 | 2012-08-07 | Samsung Electroncis Co., Ltd. | Display apparatus and control method thereof |
KR101537596B1 (en) * | 2008-10-15 | 2015-07-20 | 엘지전자 주식회사 | Mobile terminal and method for recognizing touch thereof |
KR101662111B1 (en) * | 2015-04-06 | 2016-10-05 | 주식회사 에스원 | Camera Check and Setting Change System by Using Laser Display and Method thereof |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100539883B1 (en) * | 1998-12-31 | 2006-02-28 | 삼성전자주식회사 | Character input method of communication terminal |
US6614422B1 (en) * | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
KR20050019794A (en) * | 2002-06-26 | 2005-03-03 | 브이케이비 인코포레이티드 | Multifunctional integrated image sensor and application to virtual interface technology |
-
2005
- 2005-12-29 KR KR1020050134415A patent/KR101286412B1/en active IP Right Grant
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100807622B1 (en) * | 2006-09-20 | 2008-02-28 | 엠텍비젼 주식회사 | Input apparatus using image processing and method thereof |
KR100829142B1 (en) * | 2007-01-12 | 2008-05-13 | 엠텍비젼 주식회사 | Apparatus for sensing moving of subject and method thereof |
US8237654B2 (en) | 2007-12-18 | 2012-08-07 | Samsung Electroncis Co., Ltd. | Display apparatus and control method thereof |
KR101537596B1 (en) * | 2008-10-15 | 2015-07-20 | 엘지전자 주식회사 | Mobile terminal and method for recognizing touch thereof |
WO2011074797A3 (en) * | 2009-12-18 | 2011-11-10 | Samsung Electronics Co., Ltd. | Mobile device having projector module and method for operating the same |
WO2012047206A1 (en) * | 2010-10-05 | 2012-04-12 | Hewlett-Packard Development Company, L.P. | Entering a command |
GB2498485A (en) * | 2010-10-05 | 2013-07-17 | Hewlett Packard Development Co | Entering a command |
KR101662111B1 (en) * | 2015-04-06 | 2016-10-05 | 주식회사 에스원 | Camera Check and Setting Change System by Using Laser Display and Method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR101286412B1 (en) | 2013-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7682893B2 (en) | Method and apparatus for providing an instrument playing service | |
JP5218353B2 (en) | Information processing apparatus, display method, and program | |
US7817143B2 (en) | Method of inputting function into portable terminal and button input apparatus of portable terminal using the same | |
JP5316387B2 (en) | Information processing apparatus, display method, and program | |
KR101286412B1 (en) | Method and apparatus of multi function virtual user interface | |
KR101256014B1 (en) | User interface generation apparatus | |
KR101679239B1 (en) | Apparatus and method for playing on musical instruments by augmented reality in portable terminal | |
JP4764329B2 (en) | Information processing device | |
US7807913B2 (en) | Motion-based sound setting apparatus and method and motion-based sound generating apparatus and method | |
JP4031255B2 (en) | Gesture command input device | |
CN108476339B (en) | Remote control method and terminal | |
JP3756929B2 (en) | Electronic musical instrument system and apparatus and program used for the system | |
CN108962220A (en) | Multimedia file plays the text display method and device under scene | |
US9472176B2 (en) | Performance recording system, performance recording method, and musical instrument | |
JP4082352B2 (en) | Mobile phone, display control method for mobile phone, and program thereof | |
JP2009271814A (en) | Display device, and display method in display device | |
KR100810215B1 (en) | Method of photographing using a mobile handset and the mobile handset | |
EP3848785B1 (en) | Mobile device and method for controlling mobile device | |
KR20120026458A (en) | Data management device, data management method and recording medium | |
KR100663513B1 (en) | Method for controlling external device in wireless terminal | |
KR100665037B1 (en) | Method and apparatus for setting the preview mode in the mobile terminal comprising digital camera | |
KR100703362B1 (en) | Method and apparatus playing a musical instruments game in portable terminal | |
US20060269085A1 (en) | Method and apparatus for mixing music | |
RU2364919C2 (en) | Device and way of data execution | |
KR20070077930A (en) | Method and apparatus for changing character input mode of mobile terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160629 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170629 Year of fee payment: 5 |