KR20070071187A - Method and apparatus of multi function virtual user interface - Google Patents

Method and apparatus of multi function virtual user interface Download PDF

Info

Publication number
KR20070071187A
KR20070071187A KR1020050134415A KR20050134415A KR20070071187A KR 20070071187 A KR20070071187 A KR 20070071187A KR 1020050134415 A KR1020050134415 A KR 1020050134415A KR 20050134415 A KR20050134415 A KR 20050134415A KR 20070071187 A KR20070071187 A KR 20070071187A
Authority
KR
South Korea
Prior art keywords
input
user
motion
input pattern
pattern
Prior art date
Application number
KR1020050134415A
Other languages
Korean (ko)
Other versions
KR101286412B1 (en
Inventor
이은오
강민정
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050134415A priority Critical patent/KR101286412B1/en
Publication of KR20070071187A publication Critical patent/KR20070071187A/en
Application granted granted Critical
Publication of KR101286412B1 publication Critical patent/KR101286412B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments

Abstract

A multifunctional virtual user input device and a method thereof are provided to realize portability and convenience by embedding a virtual keyboard having various input functions in a mobile terminal, and enhance usability of a part by using a usual image sensor used in the conventional mobile terminal. A memory(124) stores a plurality of input patterns to be projected. An imaging device(104) is converted into a motion recognition image device from a photographing device. A projection type display device(108) projects an image corresponding to the input patterns to a predetermined area. A motion recognizer(106) detects motion of a user by corresponding to each input pattern and outputs motion detection data by detecting the user motion corresponding to the input pattern projected to the projection type display device. If input pattern selection is received from the user, a controller(100) converts the imaging device into the motion recognition imaging device, enables the projection type display device to project the input pattern, and performs a control operation corresponding to the motion detection data received from the motion detector.

Description

다중기능 가상 사용자 입력 장치 및 방법{METHOD AND APPARATUS OF MULTI FUNCTION VIRTUAL USER INTERFACE}Multifunction virtual user input device and method {METHOD AND APPARATUS OF MULTI FUNCTION VIRTUAL USER INTERFACE}

도 1a, 도 1b 및 도 1c는 종래의 가상 키보드를 나타낸 도면,1a, 1b and 1c is a view showing a conventional virtual keyboard,

도 2는 본 발명에 따른 휴대형 단말기의 구성도,2 is a block diagram of a portable terminal according to the present invention;

도 3은 본 발명의 바람직한 실시예에 따른 휴대형 단말기의 제어부 동작 흐름도, 3 is a flowchart illustrating an operation of a controller of a portable terminal according to an embodiment of the present invention;

도 4는 본 발명의 바람직한 실시예에 따른 메뉴 표시예를 도시한 도면.4 is a diagram showing a menu display example according to a preferred embodiment of the present invention.

본 발명은 휴대형 단말기의 입력장치에 관한 것으로, 특히 휴대형 단말기의 입력장치로 다기능 가상 입력 장치를 제공하여 다양한 응용 서비스에 따라 입력장치를 제공할 수 있는 방법 및 장치에 관한 것이다. The present invention relates to an input device of a portable terminal, and more particularly, to a method and an apparatus capable of providing an input device according to various application services by providing a multifunctional virtual input device as an input device of a portable terminal.

기술의 발달과 더불어 이동통신 단말기나 PDA 등과 같은 휴대형 단말기에도 고품질의 다양한 기능이 부가되기 시작했다. With the development of technology, various high quality functions have begun to be added to portable terminals such as mobile communication terminals and PDAs.

이러한 추세에 부응하여, 상기 휴대형 단말기에는 다양한 목적으로 사용 가 능한 멜로디나 벨을 편집하는 기능으로부터 확장된 연주 서비스, 다국적 언어 입력, 펜 입력이 가능토록 하는 입력장치가 구비되기에 이르렀다.In response to this trend, the portable terminal has been provided with an input device for enabling extended performance services, multilingual language input, and pen input from a function of editing a melody or bell which can be used for various purposes.

도1a는 가상 키보드의 기본 구성의 예로써 Virtual Keyboard사(이하 VKB사)에서 시판되고 있는 입력 장치를 설명하고 있다. 상기 가상 키보드는 WO 2001/93182공개 특허에 기본 구성에 대하여 상세히 설명하고 있다. WO 2001/93182개시된 입력 장치는 데이터 입력 장치용 레이저 단일체이다. 상기 입력장치는 키 패턴을 투사하기 위해서 기구적 MASK를 사용하기 때문에, 다양한 응용 서비스를 제공하는 단말일 경우 다양한 입력 패턴에 대응하는 다수의 별도 전용모듈을 지녀야 한다. 이는 두 개 이상의 전용 모듈을 지녀야 하기에 사용자가 사용하기에 불편함을 느낄 수 있다. 또한 휴대용 단말에 별도로 연결해야 하는 인터페이스가 필요하다.FIG. 1A illustrates an input device sold by Virtual Keyboard Corporation (hereinafter referred to as VKB Corporation) as an example of the basic configuration of the virtual keyboard. The virtual keyboard has been described in detail for the basic configuration in WO 2001/93182 published patent. The input device disclosed in WO 2001/93182 is a laser monolith for a data input device. Since the input device uses a mechanical MASK to project a key pattern, a terminal providing various application services should have a plurality of separate dedicated modules corresponding to various input patterns. It may be inconvenient for a user to use because it must have two or more dedicated modules. There is also a need for an interface that must be connected separately to the portable terminal.

도 1b는 손의 움직임 또는 움직이는 대상을 감지하기 위한 감지 수단을 별도의 장치가 아닌 이미지 촬상 카메라를 사용함으로써 경우에 따라 이미지 촬상용과 데이터 입력 감지용으로 사용하는 경우를 나타낸 도면이다. 이는 감지 센서로 사용하고 있는 이미지 센서를 이미지 촬상용과 데이터용으로 구분하고 있을 뿐, 다양한응용 서비스에 따라 입력 장치를 사용하고자 할 때 모션 인식을 달리할 수 있는 방법 및 장치에 대해서는 언급하고 있지 않다. 도 1c는 본 발명의 동일 출원인이 대한민국 특허청에 "악기연주 서비스 제공방법 및 장치"을 명칭으로 하여 특허 출원된 제10-2004-82043호는 가상 키보드를 이용한 멜로디 연주 기능이 구비된 휴대폰을 개시한다. 상기 출원 제10-2004-82043 특허는 이미지를 촬영하기 위한 제2촬상 장치와 사용자의 움직임을 감지/인식할 수 있는 제1촬상 장치를 구비함으로써 부품의 효율성 측면에 아쉬운 점이 있다.FIG. 1B is a diagram illustrating a case where a sensing means for sensing a hand movement or a moving object is used for image capturing and data input sensing in some cases by using an image capturing camera instead of a separate device. This classifies the image sensor that is used as a sensing sensor for image capturing and data, and does not mention a method and a device for different motion recognition when using an input device according to various application services. Figure 1c is a patent application filed by the same applicant of the present invention to the Korean Intellectual Property Office No. 10-2004-82043 discloses a mobile phone with a melody playing function using a virtual keyboard . The patent application 10-2004-82043 has a disadvantage in terms of efficiency of components by having a second imaging device for capturing an image and a first imaging device capable of detecting / recognizing a user's movement.

따라서 본 발명의 목적은 다양한 입력 기능을 갖는 가상키보드를 휴대 단말기 내 장착함으로써 이동성 및 사용 편리성을 제공함에 있다.Accordingly, an object of the present invention is to provide a mobility and ease of use by mounting a virtual keyboard having various input functions in a portable terminal.

또한 본 발명의 다른 목적은 현재 휴대형 단말기기에서 사용하는 일반 이미지센서(CCD, CMOS등)를 사용함으로써 추가적인 부품을 추가하지 않는 면에서 부품 활용도를 높일 수 있다.In addition, another object of the present invention can increase the component utilization in terms of not adding additional components by using a general image sensor (CCD, CMOS, etc.) currently used in portable terminal devices.

상기한 목적을 달성하기 위한 본 발명에 따르는 휴대형 단말기의 다기능 가상 키보드 제공방법은, 다양한 키 입력 패턴을 저장하는 단계, 사용자에 의해 응용프로그램이 선택되어 실행이 되는 단계, 상기 선택된 응용프로그램에 적합한 입력 패턴을 저장된 저장장소에서 축출하는 단계, 상기 축출된 입력 패턴을 투사하는 단계, 상기 투사된 입력 패턴에 따라 사용자 조작 검출 방법을 변경하는 단계로 구성됨을 특징으로 한다.According to an aspect of the present invention, there is provided a method of providing a multi-function virtual keyboard of a portable terminal, the method comprising: storing various key input patterns, selecting and executing an application program by a user, and input suitable for the selected application program. Extracting the pattern from the stored storage, projecting the extracted input pattern, and changing a user manipulation detection method according to the projected input pattern.

그리고 본 발명에 따르는 다기능 입력 패턴을 제공하는 장치는 다기능 패턴을 저장하는 저장장치, 다양한 응용 프로그램 중 사용자의 선택에 따라 하나의 응용프로그램이 실행되는 선택장치, 선택 장치에 의해 발생된 선택 신호와 일치하는 키입력 패턴을 저장장치에서 독출하여 투사하는 투사장치, 상기 독출된 키 입력 패턴에 따라 사용자의 조작 감지 수단이 변경되는 제어장치, 변경된 패턴에 따라 사용자의 움직임을 감지하는 감지장치로 구성됨을 특징으로 한다. The apparatus for providing a multi-function input pattern according to the present invention is a storage device for storing a multi-function pattern, a selection device for executing one application program according to a user's selection among various application programs, and a selection signal generated by the selection device. A projection device for reading and projecting a key input pattern from a storage device, a control device for changing a user's operation detection means according to the read key input pattern, and a detection device for detecting a user's motion according to the changed pattern. It is done.

이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명하며, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and detailed descriptions of well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention will be omitted.

본 발명은 휴대형 단말기에 다기능 키입력 패턴을 제공하는 가상키보드를 내장시킴으로써 다양한 응용 프로그램을 실행할 수 있도록 한다. The present invention enables a variety of application programs to be executed by embedding a virtual keyboard that provides a multifunction key input pattern in a portable terminal.

이러한 본 발명의 바람직한 실시예에 따르는 휴대형 단말기의 구성을 도 2를 참조하여 설명한다. 도2를 참조하여, 본 발명의 일 실시예에 따른 휴대용 단말기는 제어부(100)와 인터페이스부(102)와, 스피커(112)와, 오디오 신호 처리 및 출력부(114)와, 음원칩(116)과, 제2비디오 신호 처리 및 출력부(118)와, 표시장치(120)와 키패드(122)와, 메모리부(124)를 포함한다. 그리고 상기 인터페이스부(102)는 제1촬상장치(104)와, 모션 인식부(106)와, 투사형디스플레이장치(108)와, 제1비디오 신호 처리 및 출력부(110)를 포함한다. The configuration of a portable terminal according to a preferred embodiment of the present invention will be described with reference to FIG. 2, the portable terminal according to an embodiment of the present invention, the control unit 100, the interface unit 102, the speaker 112, the audio signal processing and output unit 114, the sound source chip 116 ), A second video signal processing and output unit 118, a display device 120, a keypad 122, and a memory unit 124. The interface unit 102 includes a first imaging device 104, a motion recognition unit 106, a projection display device 108, and a first video signal processing and output unit 110.

상기 휴대형 단말기의 제어부(100)는 상기 휴대형 단말기를 전반적으로 제어함은 물론이며, 본 발명의 바람직한 실시예에 따른 서비스를 제공하기 위해 도 2의 각부를 제어한다. The controller 100 of the portable terminal not only controls the portable terminal as a whole, but also controls each part of FIG. 2 to provide a service according to an exemplary embodiment of the present invention.

이러한 제어부(100)의 동작을 좀더 설명하면, 상기 제어부(100)는 사용자의 요청에 따라 입력패턴을 투사 표시하고, 그 투사 표시된 패턴상의 사용자 조작을 인식하도록 사용자 인터페이스부(102)를 제어한다. 제어부(100)는 선택 가능한 다수의 입력 패턴 목록을 제공하여, 사용자로부터 임의의 입력 패턴을 선택하는 입력을 받는다. 상기 다수의 입력 패턴은 다양한 악기, 키 패드, 터치 패드등을 포함한다. 제어부(100)는 사용자에 의해 선택된 임의의 입력 패턴을 상기 인터페이스부(102)의 상기 제1비디오 신호 처리 및 출력부(110)와 상기 투사형 디스플레이 장치(108)를 통해 투사 표시한다. 그리고 제어부(100)는 상기와 같이 사용자가 원하는 입력 패턴이 선택될 시, 변환부(103)를 제어하여, 상기 인터페이스부(102)의 제1촬상장치(104)를 영상용 촬상 장치에서 사용자의 조작을 인식할 수 동작 인식 가능한 촬상장치로 변환시킨다. 상기 변환부(103)는 모터 제어에 의한 기계적으로 상기 제1촬상장치(104)를 영상용 촬상 장치에서 동작 인식이 가능한 촬상 장치로 변환하도록 구성할 수 있으며, 상기 제1촬상 장치(104)의 필터를 전기적으로 변화시켜, 상기 제1촬상장치(104)를 영상용 촬상 장치에서 동작 인식이 가능한 촬상 장치로 변환하도록 구성할 수 도 있다. 이에 따라 모션 인식부(106)는 변환된 제1촬상장치(104)에서 출력되는 입력 패턴에 따라 사용자 동작을 인식할 수 있도록 변경되어진다. 이에 대한 구체적인 구성은 한국 특허청 공개 특허 10-2004-7021159에 공지된 기술로 상세한 설명은 생략한다. 상기한 제어에 따라 상기 사용자 인터페이스부(102)가 투사 표시된 패턴상의 사용자 조작을 인식하여 그 인식결과를 제공하면, 상기 제어부(100)는 상기 사용자 조작에 대응되는 정보를 검출하고, 그 정보에 따른 신호를 출력하도록 한다. Referring to the operation of the control unit 100 in more detail, the control unit 100 controls the user interface unit 102 to project and display an input pattern according to a user's request, and to recognize a user operation on the projected display pattern. The controller 100 provides a list of a plurality of selectable input patterns, and receives an input for selecting an arbitrary input pattern from a user. The plurality of input patterns include various musical instruments, keypads, touch pads, and the like. The controller 100 projects and displays an input pattern selected by the user through the first video signal processing and output unit 110 and the projection display device 108 of the interface unit 102. When the input pattern desired by the user is selected as described above, the controller 100 controls the conversion unit 103 to control the first imaging device 104 of the interface unit 102 in the imaging device. The operation can be recognized and converted into an image recognizing apparatus that can recognize the operation. The converting unit 103 may be configured to mechanically convert the first imaging device 104 into an imaging device capable of recognizing a motion in the imaging device. The filter may be electrically changed to convert the first imaging device 104 into an imaging device that can recognize the motion in the imaging device. Accordingly, the motion recognition unit 106 is changed to recognize the user's motion according to the input pattern output from the converted first image pickup device 104. The detailed configuration thereof is a technique known from Korean Patent Application Publication No. 10-2004-7021159, and detailed description thereof will be omitted. When the user interface 102 recognizes a user operation on the projected and displayed pattern and provides the recognition result according to the above control, the control unit 100 detects information corresponding to the user operation, and according to the information. Output the signal.

상기 메모리부(124)는 상기 제어부(100)의 처리 프로그램을 포함하는 다양한 정보 및 본 발명에 따른 다수의 입력 패턴과 관련된 정보를 저장한다. 상기 다수의 입력패턴은 다양한 악기에 따른 입력패턴, 키 패드 형태에 따른 입력패턴, 터치 패드 입력패턴 등을 포함한다. 그리고, 상기한 제어부(100)이 입력패턴 투사 및 인식 동작과정에 필요한 프로그램데이터를 저장하며, 상기 다양한 악기에 따른 입력패턴에 대응하는 음원 데이터를 저장하고 있다. The memory unit 124 stores various information including a processing program of the controller 100 and information related to a plurality of input patterns according to the present invention. The plurality of input patterns include an input pattern according to various musical instruments, an input pattern according to a keypad form, a touch pad input pattern, and the like. The controller 100 stores program data necessary for an operation of projecting and recognizing an input pattern, and stores sound source data corresponding to input patterns according to the various musical instruments.

이러한 사용자 인터페이스에 대한 기술은 카네스타사의 버츄얼 키보드(Virtual Keyboard)의 변형으로부터 자명하다. 상기 카네스타사의 버츄얼 키보드는 키보드 패턴을 투사표시하고, 그 투사표시된 키보드상의 사용자 조작을 인식하는 기술로서, 상기한 카네스타사의 버츄얼 키보드의 패턴을 악기 패턴으로 변형하기만 하는 것으로, 본 발명의 사용자 인터페이스부는 구현될 수 있다. 그러나 투사형 디스플레이 장치의 소형화 및 모션인식기술의 발달에 기인하여 본 발명의 악기연주용 사용자 인터페이스부(102)가 상기 카네스타사의 버츄얼 키보드에 한정되지는 않는다.  The description of this user interface is evident from the modification of Carnesta's Virtual Keyboard. The Kanesta's virtual keyboard is a technology for projecting and displaying a keyboard pattern and recognizing user operation on the projected and displayed keyboard. The Kanesta's virtual keyboard merely transforms the pattern of the Kanesta's virtual keyboard into an instrument pattern. The interface unit may be implemented. However, due to the miniaturization of the projection display device and the development of motion recognition technology, the user interface unit 102 for musical instrument performance of the present invention is not limited to the virtual keyboard of Kanesta.

이에 따라, 제어부(100)는 상기 인터페이스부(102)를 통해 다양한 악기들을 투사하여 표시할 수 있고, 숫자키로 구성되는 키패드 또는 문자 입력이 가능한 키패드등, 다양한 형태의 키패드를 입력패턴으로 투사 표시할 수도 있다. 그리고 제어부(100)는 터치 패드 타입의 입력패턴을 투사 표시할 수도 있다. 이에 따라 사용자는 악기를 직접 연주하는 형태로 휴대용 단말기에 사용자 입력을 할 수 있고, 키패드를 이용하는 형태로 휴대용 단말기에 사용자 입력을 할 수 있다. 그리고 사용자가 글씨는 직접 쓰는 형태로 사용자 입력을 하게 할 수 도 있다. 상기 모션 인식 부(106)는 투사 표시된 입력 패턴에 대응하여 모션 인식 방식을 변환하고, 인식되는 사용자의 입력 모션을 제어부(100)로 출력하기 때문에, 제어부(100)는 투사 표시한 입력 패턴에 대응하여 사용자의 입력을 파악할 수 있으며, 그에 따른 결과를 출력한다. 예를 들어, 악기의 입력패턴을 투사 표시한 상태에서 사용자의 악기 연주가 감지되면, 연주에 따른 해당 악기의 음원을 출력한다. 그리고 키패드 형태의 입력패턴이나 터치패드 형태의 입력패턴을 투사 표시한 상태에서, 사용자의 입력이 감지되면, 입력된 키에 대응되는 동작을 수행하거나 또는 터치패드 상에 입력되는 글자나 그림등을 파악하여 표시 장치(120)에 디스플레이한다. 이렇듯, 본 발명은 다양한 입력 방법에 대한 패턴을 투사 표시하고, 상기 투사 표시된 패턴상의 사용자 조작을 인식하여 그에 따른 결과를 출력하므로, 사용자는 이미지 투사만으로 실제 많은 입력 장치를 구현할 수 있게 된다. 상기 스피커(112)는 상기 오디오 신호 처리 및 출력부(114) 출력에 따른 오디오를 출력한다. Accordingly, the controller 100 may project and display various instruments through the interface unit 102, and display various keypads such as keypads composed of numeric keys or keypads capable of inputting characters in an input pattern. It may be. The controller 100 may also project and display the touch pad type input pattern. Accordingly, the user can input the user to the portable terminal in the form of playing the instrument directly, and can input the user to the portable terminal in the form of using a keypad. You can also allow the user to type the text directly. Since the motion recognition unit 106 converts the motion recognition scheme in response to the projection-displayed input pattern and outputs the recognized user input motion to the controller 100, the controller 100 corresponds to the projection-displayed input pattern. It can grasp the user's input and output the result accordingly. For example, when a user's instrument performance is detected while the input pattern of the instrument is projected and displayed, the sound source of the instrument according to the performance is output. When the user's input is detected while the input pattern in the form of a keypad or the touch pad is projected and displayed, the controller performs an operation corresponding to the input key or recognizes a character or a picture input on the touch pad. Display on the display device 120. As described above, the present invention projects and displays patterns for various input methods, and recognizes a user's operation on the projected and displayed patterns and outputs a result thereof, so that a user can realize many input devices by only projecting images. The speaker 112 outputs audio according to the audio signal processing and output unit 114 output.

상기 표시장치(120)는 상기 제2비디오 신호 처리 및 출력부(118)의 출력에 따른 영상 또는 그래픽을 출력한다. The display device 120 outputs an image or graphic according to the output of the second video signal processing and output unit 118.

키패드(122)는 다수의 키를 구비하여 사용자로부터의 키입력신호를 상기 제어부(100)로 제공함으로써, 사용자와 상기 제어부(100)간을 인터페이스한다. The keypad 122 includes a plurality of keys to provide a key input signal from the user to the controller 100, thereby interfacing between the user and the controller 100.

여기서, 상기 본 발명의 휴대형 단말기는 응용 서비스를 제공하는 동안의 다양한 사용자 명령을 입력 받기 위한 상세메뉴를 제공한다. 상기 상세메뉴의 표시예를 도 5에 도시하였으며, 상기 상세메뉴의 구성은 사용상의 편리성을 고려하여 다양하게 변형가능하다. Here, the portable terminal of the present invention provides a detailed menu for receiving various user commands while providing an application service. A display example of the detailed menu is illustrated in FIG. 5, and the configuration of the detailed menu may be variously modified in consideration of convenience in use.

이제 상기한 휴대형 단말기에 적용 가능한 본 발명의 바람직한 실시예에 따른 악기 연주 서비스 제공방법을 도4의 흐름도를 참조하여 설명한다. A method of providing a musical instrument playing service according to a preferred embodiment of the present invention applicable to the portable terminal will now be described with reference to the flowchart of FIG.

상기 휴대형 단말기는 다수의 메뉴를 구비하며, 본 발명의 바람직한 실시예에 따라 메인 메뉴에는 그래픽 아이콘으로 구현된 다수의 메뉴 항목으로 구성되며, 이를 도4에 도시하였다. 도 4는 본 발명의 바람직한 실시예에 따른 메뉴 표시예를 도시한 도면이다. 상기 다수의 메뉴 항목 중에는 기능에 따른 다양한 응용 서비스로의 진입을 명령하기 위한 메뉴항목이 포함된다. The portable terminal includes a plurality of menus, and according to a preferred embodiment of the present invention, the main menu includes a plurality of menu items implemented by graphic icons, which are illustrated in FIG. 4. 4 is a diagram showing a menu display example according to a preferred embodiment of the present invention. Among the plurality of menu items, menu items for instructing entry into various application services according to functions are included.

상기 응용 서비스로의 진입을 명령하기 위해 표시장치(120)에 표시되는 메인 메뉴에는 핸드폰 관리 메뉴항목(A), 무선인터넷 접속 메뉴항목(B), 전화번호부 메뉴항목(C), 메시지 관리 메뉴항목(D), 그 외 항목(E) 등에 입력 패턴 투사 디스플레이를 명령하기 위한 메뉴항목(F)이 포함되어 있다. The main menu displayed on the display device 120 to command the entry to the application service includes a mobile phone management menu item (A), a wireless Internet access menu item (B), a phone book menu item (C), and a message management menu item. (D) and other items E include menu items F for commanding the input pattern projection display.

상기 휴대형 단말기의 사용자가 키패드(122)를 통해 메인 메뉴에 포함되어 있는 서비스의 진입을 명령하면 상기 제어부(100)는 진입 명령과 함께 선택된 응용 서비스 안내함과 어울러 안내된 서비스 중 어느 하나를 선택하도록 표시장치(120)를 통해 사용자에게 안내한다. 상기한 안내는 다수의 악기, 키 패드, 터치패드에 대응되는 그래픽 아이콘들을 표시장치(120)의 화면에 표시함으로써 이루어질 수 있다. 상기 도 4를 참조하면, 상기 상세 메뉴에는 메시지 및 메신저등의 문자 입력 명령하기 위한 그래픽 아이콘(I), 펜 입력 명령하기 위한 그래픽 아이콘(G), 악기선택을 명령하기 위한 그래픽 아이콘(H)이 포함되며, 이와 같은 상세메뉴 등을 통해 상기 사용자는 투사 표시된 패턴을 조작하여 입력 중에도 다양한 명령을 입력할 수 있다.When the user of the portable terminal commands the entry of the service included in the main menu through the keypad 122, the controller 100 selects any one of the guided services in conjunction with the selected application service guide along with the entry command. The user is guided through the display device 120. The above guide may be performed by displaying graphic icons corresponding to a plurality of musical instruments, a keypad, and a touch pad on a screen of the display device 120. Referring to FIG. 4, the detailed menu includes a graphic icon I for inputting a text message such as a message and a messenger, a graphic icon G for a pen input command, and a graphic icon H for a musical instrument selection command. Through such a detailed menu, the user can input various commands even during input by manipulating the projected and displayed pattern.

상기한 안내후에 제어부(100)는 상기한 바와 같이 표시장치(120)의 화면에 표시된 응용 서비스 중 어느 하나를 사용자가 선택하는지를 체크한다(301단계). After the above-described guidance, the controller 100 checks which one of the application services displayed on the screen of the display device 120 is selected by the user (step 301).

상기 제어부(100)는 사용자가 상기 안내된 서비스 중 어느 하나를 선택하면, 그 선택된 서비스에 대응되는 입력 패턴을 메모리부(124)로부터 독출하여 제1비디오 신호 처리 및 출력부(110) 및 투사형 디스플레이장치(108)를 통해 투사 표시한다. 상기한 바와 같이 입력 패턴을 투사 표시함과 동시에, 상기 제어부(100)는 제1촬상장치(104)를 영상용 촬상장치에서 사용자의 동작을 감지하는 데이터 입력용 촬상장치로 변경하고 이와 함께 선택된 응용 서비스에 따른 모션인식부(106)로 변경하여 상기 투사 표시된 패턴상의 사용자 조작을 검출한다. 모션 인식부(106)는 선택된 응용서비스의 종류에 따라 달라진다. When the user selects any one of the guided services, the controller 100 reads an input pattern corresponding to the selected service from the memory unit 124 to process the first video signal processing and output unit 110 and the projection display. Display through the device 108. At the same time as projecting and displaying the input pattern as described above, the controller 100 changes the first image pickup device 104 to an image input device for detecting a user's motion in the image pickup device and selects the selected application. The motion recognition unit 106 according to the service is changed to detect a user operation on the projection displayed pattern. The motion recognition unit 106 depends on the type of the selected application service.

예를 들어, 문자 입력 서비스가 선택되어 지면 키 자판용 패턴이 투사되면서 키 자판에 따른 동작을 감지할 수 있도록 변경이 되며(303단계, 305단계), 펜 입력 서비스가 선택되어 지면 펜의 움직임을 감지할 수 있도록 변경이 된다(307단계, 309단계). 그리고 엔터테인먼트(악기연주 등) 서비스가 선택되어 지면 피아노, 드럼, 신디사이저등의 패턴이 투사되면서 손의 움직임을 감지할 수 있도록 모션 인식부의 감지 기능이 변경 된다(311단계, 313단계, 315단계).For example, when the character input service is selected, the pattern for the key keyboard is projected and is changed to detect the motion according to the key keyboard (steps 303 and 305). The change is made to be detected (steps 307 and 309). When the entertainment service is selected, the sensing function of the motion recognition unit is changed to detect the movement of the hand while projecting a pattern of a piano, a drum, a synthesizer, etc. (steps 311, 313, and 315).

상기 패턴상의 사용자 조작이 검출되면(317단계), 상기 제어부(100)는 검출된 사용자 조작에 대응되는 데이터정보를 메모리부(124)로부터 독출하고, 그 독출된 정보를 응용 서비스에 관련된 프로그램에 제공한다(319, 321단계). When a user operation on the pattern is detected (step 317), the controller 100 reads data information corresponding to the detected user operation from the memory unit 124, and provides the read information to a program related to an application service. (Steps 319 and 321).

이로서 본 발명은 휴대형 단말기를 통해 사용자에게 익숙한 형태의 패턴을 통한 입력을 가능하게 함으로써 다양한 입력 장치에 해당하는 입력 방법를 자연스럽고 편리하게 입력할 수 있게 한다. As a result, the present invention enables a user to input an input method corresponding to various input devices in a natural and convenient manner by enabling an input through a pattern familiar to a user through a portable terminal.

또한 본 발명은 상기 다양한 패턴을 투사 표시함으로써 조작범위가 넓던 좁던, 키가 많고 적던 관계 없이 물리적 입력 장치에 대한 제한 없이 다양한 입력이 가능하다. In addition, the present invention is capable of projecting and displaying the various patterns, so that various inputs are possible without limiting the physical input device regardless of whether the operation range is wide or narrow, or the keys are large or small.

상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다. In the above description of the present invention, specific embodiments have been described, but various modifications can be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be defined by the described embodiments, but should be defined by the equivalent of claims and claims.

상술한 바와 같이 본 발명은 통상의 이미지 영상장치를 통해 모션을 인식 할 수 있게 함으로써 기존의 두개 이상의 센서를 이용한 모션 인식 장치를 단일화 할 수 있게 됨에 따라 부품의 활용도를 높이면서 서비스별로 다양한 입력 방법을 제공할 수 있게 함으로써서비스에 따라 다양한 입력방법을 자연스럽고 편리하게 입력할 수 있게 하는 효과가 있다. As described above, the present invention enables a motion recognition apparatus to recognize a motion through a conventional image imaging apparatus, thereby making it possible to unify a motion recognition apparatus using two or more existing sensors. By providing it, it is possible to input various input methods naturally and conveniently according to the service.

또한 본 발명은 투사 표시된 상기 악기 패턴을 투사 표시함으로써 조작범위가 넓고 좁고, 키가 많고 적고에 관계없이 다양한 입력 방법을 제공할 수 있는 효과가 있다. In addition, the present invention has the effect that it is possible to provide a variety of input methods irrespective of the wide and narrow operation range, the high and low operation range by projecting and displaying the musical instrument pattern displayed projection.

Claims (8)

휴대형 단말기의 다중기능 가상 사용자 입력 방법에 있어서, In the multi-function virtual user input method of a portable terminal, 사용자가 서비스를 선택하는 단계와,The user selecting a service, 이미 저장된 입력패턴 중 사용자의 선택에 의해 일정 영역에 투사 표시하는 단계와,Projecting and displaying in a predetermined area by a user's selection among already stored input patterns; 사용자 선택과동시에 이미지 촬상용 장치를 모션 인식용 촬상 장치로 변환하는 단계와,Converting the image capturing device into a motion recognition capturing device simultaneously with user selection; 상기 투사 표시된 입력패턴상의 사용자 조작을 촬상 장치를 통해 검출하는 단계와, Detecting a user operation on the projection displayed input pattern through an imaging device; 상기 투사 표시된 입력패턴상의 사용자 조작에 대응되는 데이터정보를 발생하는 단계와, Generating data information corresponding to a user operation on the projection displayed input pattern; 상기 발생된 정보에 대응되는 신호를 출력하는 단계를 포함함을 특징으로 하는 다중기능 가상 사용자 입력 방법. And outputting a signal corresponding to the generated information. 제1항에 있어서, The method of claim 1, 상기 입력패턴 데이터는 사용자가 저장 또는 삭제 가능한 메모리에 저장되어 있음을 특징으로 하는 다중기능 가상 사용자 입력 방법. And the input pattern data is stored in a memory that can be stored or deleted by a user. 제1항에 있어서, The method of claim 1, 상기 입력패턴 데이터는 문자 입력용 키패드, 펜 입력용 터치패드, 또는 음악 연주용 악기에 대응하는 입력패턴임을 특징으로 하는 다중기능 가상 사용자 입력 방법. The input pattern data is an input pattern corresponding to a character input keypad, a pen input touch pad, or a musical instrument. 제1항에 있어서, The method of claim 1, 상기 촬상 장치는 이미지센서임을 특징으로 다중기능 가상 사용자 입력 방법. The imaging device is a multi-function virtual user input method, characterized in that the image sensor. 휴대형 단말기의 다중기능 가상 사용자 입력 장치에 있어서,In the multi-function virtual user input device of a portable terminal, 투사 표시 가능한 다수의 입력 패턴이 저장되어 있는 저장부와, A storage unit which stores a plurality of input patterns that can be projected and displayed; 촬상용 영상장치에서 모션 인식용 영상장치로 변환하는 촬상장치와, An imaging device for converting from an imaging device for imaging to an imaging device for motion recognition; 상기 다수의 입력패턴에 대응하는 이미지를 일정영역에 투사 표시하는 투사형디스플레이 장치와, A projection display device for projecting and displaying images corresponding to the plurality of input patterns in a predetermined region; 상기 다수의 입력패턴 각각에 대응하여 사용자의 움직임을 감지하며, 상기 투사형디스플레이 장치에 의해 투사 표시된 입력패턴에 대응하는 사용자 움직임을 감지하여 모션 감지 데이터를 출력하는 모션 인식부와,A motion recognition unit for detecting a user's movement in response to each of the plurality of input patterns, detecting a user's movement corresponding to the input pattern displayed by the projection display device, and outputting motion detection data; 상기 다수의 입력패턴 중 임의의 입력패턴을 선택하는 사용자 입력이 있으면, 상기 촬상 장치를 모션 인식용 영상장치로 변환하도록 제어하고, 상기 투사형 디스플레이 장치를 통해 상기 임의의 입력 패턴을 투사 표시하도록 제어하고, 상기 모션 인식부로부터 입력되는 모션 감지 데이터에 따른 제어 동작을 수행하는 제어부를 구비함을 특징으로 하는 다중기능 가상 사용자 입력 장치. If there is a user input for selecting an arbitrary input pattern among the plurality of input patterns, the controller controls to convert the imaging apparatus into a motion recognition imaging apparatus, and controls to project and display the arbitrary input pattern through the projection display device. And a control unit configured to perform a control operation according to the motion detection data input from the motion recognition unit. 제5항에 있어서, The method of claim 5, 상기 제어부의 제어하에 상기 촬상장치를 촬상용 영상장치에서 동작 인식용 영상장치로 변환시키는 변환부를 포함함을 특징으로 하는 다기능 가상 사용자 입력 장치. And a converting unit converting the image capturing apparatus from the image capturing image apparatus to the image recognition apparatus for motion recognition under the control of the controller. 제6항에 있어서, The method of claim 6, 상기 변환부는 모터에 의한 기구적인 변환장치임을 특징으로 하는 다기능 가상 사용자 입력 장치.The conversion unit is a multifunctional virtual user input device, characterized in that the mechanical conversion device by a motor. 제7항에 있어서The method of claim 7, 상기 변환부는 전기적 필터을 이용한 변환장치임을 특징으로 하는 다기능 가 상 사용자 입력장치. The converter is a multifunctional virtual user input device, characterized in that the converter using an electrical filter.
KR1020050134415A 2005-12-29 2005-12-29 Method and apparatus of multi function virtual user interface KR101286412B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050134415A KR101286412B1 (en) 2005-12-29 2005-12-29 Method and apparatus of multi function virtual user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050134415A KR101286412B1 (en) 2005-12-29 2005-12-29 Method and apparatus of multi function virtual user interface

Publications (2)

Publication Number Publication Date
KR20070071187A true KR20070071187A (en) 2007-07-04
KR101286412B1 KR101286412B1 (en) 2013-07-18

Family

ID=38506362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050134415A KR101286412B1 (en) 2005-12-29 2005-12-29 Method and apparatus of multi function virtual user interface

Country Status (1)

Country Link
KR (1) KR101286412B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100807622B1 (en) * 2006-09-20 2008-02-28 엠텍비젼 주식회사 Input apparatus using image processing and method thereof
KR100829142B1 (en) * 2007-01-12 2008-05-13 엠텍비젼 주식회사 Apparatus for sensing moving of subject and method thereof
WO2011074797A3 (en) * 2009-12-18 2011-11-10 Samsung Electronics Co., Ltd. Mobile device having projector module and method for operating the same
WO2012047206A1 (en) * 2010-10-05 2012-04-12 Hewlett-Packard Development Company, L.P. Entering a command
US8237654B2 (en) 2007-12-18 2012-08-07 Samsung Electroncis Co., Ltd. Display apparatus and control method thereof
KR101537596B1 (en) * 2008-10-15 2015-07-20 엘지전자 주식회사 Mobile terminal and method for recognizing touch thereof
KR101662111B1 (en) * 2015-04-06 2016-10-05 주식회사 에스원 Camera Check and Setting Change System by Using Laser Display and Method thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100539883B1 (en) * 1998-12-31 2006-02-28 삼성전자주식회사 Character input method of communication terminal
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
KR20050019794A (en) * 2002-06-26 2005-03-03 브이케이비 인코포레이티드 Multifunctional integrated image sensor and application to virtual interface technology

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100807622B1 (en) * 2006-09-20 2008-02-28 엠텍비젼 주식회사 Input apparatus using image processing and method thereof
KR100829142B1 (en) * 2007-01-12 2008-05-13 엠텍비젼 주식회사 Apparatus for sensing moving of subject and method thereof
US8237654B2 (en) 2007-12-18 2012-08-07 Samsung Electroncis Co., Ltd. Display apparatus and control method thereof
KR101537596B1 (en) * 2008-10-15 2015-07-20 엘지전자 주식회사 Mobile terminal and method for recognizing touch thereof
WO2011074797A3 (en) * 2009-12-18 2011-11-10 Samsung Electronics Co., Ltd. Mobile device having projector module and method for operating the same
WO2012047206A1 (en) * 2010-10-05 2012-04-12 Hewlett-Packard Development Company, L.P. Entering a command
GB2498485A (en) * 2010-10-05 2013-07-17 Hewlett Packard Development Co Entering a command
KR101662111B1 (en) * 2015-04-06 2016-10-05 주식회사 에스원 Camera Check and Setting Change System by Using Laser Display and Method thereof

Also Published As

Publication number Publication date
KR101286412B1 (en) 2013-07-18

Similar Documents

Publication Publication Date Title
US7682893B2 (en) Method and apparatus for providing an instrument playing service
JP5218353B2 (en) Information processing apparatus, display method, and program
US7817143B2 (en) Method of inputting function into portable terminal and button input apparatus of portable terminal using the same
JP5316387B2 (en) Information processing apparatus, display method, and program
KR101286412B1 (en) Method and apparatus of multi function virtual user interface
KR101256014B1 (en) User interface generation apparatus
KR101679239B1 (en) Apparatus and method for playing on musical instruments by augmented reality in portable terminal
JP4764329B2 (en) Information processing device
US7807913B2 (en) Motion-based sound setting apparatus and method and motion-based sound generating apparatus and method
JP4031255B2 (en) Gesture command input device
CN108476339B (en) Remote control method and terminal
CN108962220A (en) Multimedia file plays the text display method and device under scene
US9472176B2 (en) Performance recording system, performance recording method, and musical instrument
JP3756929B2 (en) Electronic musical instrument system and apparatus and program used for the system
JP4082352B2 (en) Mobile phone, display control method for mobile phone, and program thereof
JP2009271814A (en) Display device, and display method in display device
KR100810215B1 (en) Method of photographing using a mobile handset and the mobile handset
EP3848785B1 (en) Mobile device and method for controlling mobile device
KR20120026458A (en) Data management device, data management method and recording medium
KR100663513B1 (en) Method for controlling external device in wireless terminal
KR100665037B1 (en) Method and apparatus for setting the preview mode in the mobile terminal comprising digital camera
KR100703362B1 (en) Method and apparatus playing a musical instruments game in portable terminal
US20060269085A1 (en) Method and apparatus for mixing music
RU2364919C2 (en) Device and way of data execution
KR20070077930A (en) Method and apparatus for changing character input mode of mobile terminal

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 5