KR20040096880A - Large screen GUI controller with small display by motion sensing - Google Patents

Large screen GUI controller with small display by motion sensing Download PDF

Info

Publication number
KR20040096880A
KR20040096880A KR1020040078886A KR20040078886A KR20040096880A KR 20040096880 A KR20040096880 A KR 20040096880A KR 1020040078886 A KR1020040078886 A KR 1020040078886A KR 20040078886 A KR20040078886 A KR 20040078886A KR 20040096880 A KR20040096880 A KR 20040096880A
Authority
KR
South Korea
Prior art keywords
screen
gui
motion sensor
unit
display
Prior art date
Application number
KR1020040078886A
Other languages
Korean (ko)
Inventor
장중혁
Original Assignee
장중혁
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 장중혁 filed Critical 장중혁
Priority to KR1020040078886A priority Critical patent/KR20040096880A/en
Publication of KR20040096880A publication Critical patent/KR20040096880A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

PURPOSE: A device for controlling a large GUI(Graphic User Interface) using motion sensing of a portable information device having a display and a camera is provided to enable a user familiar to a PC GUI to operate the large GUI like mouse operation without learning a separately defined instructions by using the portable device having a small sized display screen and the camera. CONSTITUTION: The display(100) displays the screen having the GUI. A motion sensor(200) transmits direction/speed information of motion to a screen controller by recognizing the motion of a portable device. The screen controller(300) moves the screen by maintaining a mouse pointer to a position relative to the display with use of the direction/speed information of the motion received from the motion sensor. A mouse button input part(400) receives user's input for executing a preset instruction for the GUI. A GUI operating system(500) receives/executes the instruction of the mouse button input part.

Description

휴대 정보 기기의 모션 센싱을 이용한 대화면 GUI 인터페이스 제어 장치{Large screen GUI controller with small display by motion sensing}Large screen GUI controller with small display by motion sensing

본 발명은 디스플레이를 탑재한 휴대 정보 기기를 이용하여, 휴대 기기의 디스플레이 보다 큰 사이즈의 문서나 화면을 읽고, PC의 마우스와 같이 하이퍼링크를 클릭하여 다른 문서를 열거나, PC 마우스의 오른쪽 클릭과 같은 입력을 통해 문서의 속성을 보거나 메일에 첨부하게 하는 마우스 버튼 입력과 같이 GUI 인터페이스를 제어할 수 있게 하는, 휴대 정보 기기를 이용한 대화면 GUI 인터페이스 방법에 관한 것이다.The present invention uses a portable information device equipped with a display to read a document or screen of a larger size than the display of the portable device, and open another document by clicking a hyperlink like a mouse of a PC, or by right-clicking a PC mouse. The present invention relates to a large-screen GUI interface method using a portable information device that enables control of a GUI interface such as a mouse button input for viewing a document property or attaching to an e-mail through the same input.

PC와 인터넷에는 매우 유용한 기능과 정보들이 제공되고 있으며, 이러한 유용한 기능과 정보를 이동 중에도 이용할 수 있도록, 프로그램을 구동할 수 있는 연산 장치 및 저장 장치와 작은 화면, 느린 전송 속도를 가진 휴대전화와 같은 정보 기기에 맞는 기능과 정보 제공 형태를 제공하기 위하여, 가상 머신 응용 프로그램이나 WAP, i-Mode와 같은 기술이 등장하여 많은 서비스가 제공되고 있다.PCs and the Internet provide very useful features and information, such as computing and storage devices that can run programs, small screens, slow-speed mobile phones, and so on, on the go. In order to provide functions and forms of providing information suitable for information devices, technologies such as virtual machine applications, WAP, and i-Mode have emerged, and many services have been provided.

그러나 WAP이나 i-Mode와 같은 휴대전화 정도 크기의 화면에 최적화된 응용 프로그램이나 문서는 제공할 수 있는 기능과 정보의 양이 제한적일 뿐 아니라, 기존에 있는 응용 프로그램이나 인터넷 사이트가 아닌 별도로 프로그램과 정보를 담은 문서를 만들어야 하는 문제점을 안고 있었다.However, an application or document optimized for a mobile phone sized screen such as WAP or i-Mode has a limited amount of functions and information that can be provided, as well as separate programs and information, rather than existing applications or Internet sites. I had a problem to create a document that contains.

이러한 문제점을 해결하기 위해, 휴대 기기의 연산장치와 저장 장치를 보강하여 연산 능력을 강화하고, 화면을 크게 만들고 해상도를 높이고, 필요한 부분을 확대하여 볼 수 있게 하여, 터치 스크린 방식의 GUI와 HTML 등과 같은 작성법으로 만들어진 웹사이트를 열람할 수 있도록 하는 브라우저를 탑재한 휴대 기기도 등장하고 있으나, 두 손을 사용하거나 작은 버튼을 이용하여 화면을 스크롤해야 하므로 여전히 대형 화면을 이용하는 응용 프로그램을 사용하거나 정보를 열람하거나 하이퍼링크나 파일을 클릭하는 데에는 불편함이 남아 있다.In order to solve these problems, the computing device and storage device of the mobile device are reinforced to enhance the computing power, make the screen larger, increase the resolution, and enlarge the required part to view the touch screen GUI and HTML. There are also mobile devices with browsers that allow you to browse websites created with the same recipe, but you still have to scroll through the screen with two hands or with small buttons, so you can still use applications that use large screens Inconvenience remains for browsing or clicking hyperlinks or files.

대한민국 특허공개 2004-0081088에서는 이러한 입출력의 불편함을 해소하기 위해 카메라가 장착된 휴대 기기에서 휴대 기기의 움직임 자체로부터 입력 신호를 추출하여 작은 버튼에 의한 입력 조작의 불편함을 덜어 주고 있다. 그러나 이러한 종래 시스템에서는 작은 디스플레이를 이용한 대형화면 GUI 인터페이스를 이용하기 위해 미리 정의된 명령을 내리기 위해 특정한 휴대 기기 이동 방식을 익혀서 사용해야 하고, PC에서와 같이 GUI 인터페이스를 이용해 특정 명령을 내리거나 특정 하이퍼링크를 클릭하는 것과 같은 GUI 인터페이스의 제어를 온전하게 구현하는 것에는 불편함이 남아 있다.In Korean Patent Laid-Open Publication No. 2004-0081088, in order to solve such inconvenience of input / output, a portable device equipped with a camera extracts an input signal from the movement of the portable device itself, thereby reducing the inconvenience of input operation by a small button. However, in such a conventional system, in order to use a large screen GUI interface with a small display, a specific mobile device must be learned to give a predefined command, and a specific command or a specific hyperlink can be issued using a GUI interface as in a PC. It remains inconvenient to fully implement the control of the GUI interface, such as clicking.

따라서 본 발명의 목적은 상술한 문제점들을 해결하기 위하여 안출한 것으로서, 일반적인 PC 환경에서 GUI 인터페이스에 익숙한 사용자가 별도로 정의된 명령에 대응되는 동작을 익힐 필요 없이, 작은 화면과 카메라가 장착된 휴대 기기를 이용하여 대형 GUI 인터페이스를 PC의 마우스 조작과 유사하게 조작할 수 있는 소형 디스플레이를 가진 휴대 기기를 위한 대형화면 GUI 인터페이스 제어장치를 제공함에 있다.Accordingly, an object of the present invention is to solve the above-described problems, a user who is familiar with the GUI interface in a general PC environment, without having to learn the operation corresponding to the command defined separately, a portable device equipped with a small screen and a camera The present invention provides a large screen GUI interface control device for a portable device having a small display capable of operating a large GUI interface similar to a mouse operation of a PC.

도 1은 본 발명의 일실시예에 따른 휴대 정보 기기의 모션 센싱을 이용한 대화면 GUI 인터페이스 제어 장치 블록 구성도1 is a block diagram of an apparatus for controlling a large screen GUI interface using motion sensing of a portable information device according to an embodiment of the present invention.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 작은 디스플레이와 모션 센서가 장착된 휴대 기기를 이용하여 대형 GUI 인터페이스를 조작하는 제어 장치는,According to an embodiment of the present invention for achieving the above object, a control device for manipulating a large GUI interface using a portable device equipped with a small display and a motion sensor,

특정 GUI 인터페이스를 가진 화면의 임의 부분과 마우스 포인터를 표시하는 디스플레이부와;A display unit for displaying an arbitrary portion of a screen having a specific GUI interface and a mouse pointer;

휴대 기기의 움직임을 인식하여, 움직임의 방향과 속도 정보를 화면 제어부에 전달하는 모션 센서부와;A motion sensor unit recognizing a movement of the portable device and transferring the direction and speed information of the movement to the screen controller;

모션 센서부로부터 전달된 휴대 기기 움직임의 방향과 속도 정보를 이용하여 마우스 포인터를 디스플레이에 대한 상대적 고정 위치에 유지하면서 표시 화면을 이동시키는 화면 제어부와;A screen controller for moving the display screen while keeping the mouse pointer at a fixed position relative to the display by using the direction and speed information of the movement of the portable device transmitted from the motion sensor unit;

GUI 제어를 위한 마우스 버튼 입력을 받아들이는 마우스 버튼 입력부와;A mouse button input unit which receives a mouse button input for GUI control;

마우스 버튼 입력부의 명령을 받아 이를 실행하는 GUI 운영 체계부;를 포함함을 특징으로 한다.And a GUI operating system unit for receiving a command of a mouse button input unit and executing the command.

더 나아가 본 발명의 실시예에 따른 GUI 인터페이스 제어 장치는, PC 마우스의 오른쪽 버튼과 같이, 미리 정해진 버튼을 누를 경우 휴대 기기에서 자주 사용되는 명령 리스트를 표시하여, 휴대 기기의 이동을 통해 이들 중 하나를 선택할 수 있게 함을 특징으로 한다.Furthermore, the GUI interface control apparatus according to an embodiment of the present invention displays a list of commands frequently used in a portable device when a predetermined button is pressed, such as a right button of a PC mouse, thereby moving one of the mobile devices. Characterized in that it allows to select.

이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.

우선 도1은 본 발명의 실시예에 따른 GUI 인터페이스 제어 장치 구성도를 도시한 것으로, PC 마우스에서와 같이 더블 클릭이나 오른쪽 클릭에 의한 확장 명령 선택 등과 같은 기능을 모두 제공한다.First, FIG. 1 illustrates a configuration diagram of a GUI interface control apparatus according to an exemplary embodiment of the present invention, and provides all functions such as selecting an extended command by double clicking or right clicking, as in a PC mouse.

휴대 기기에 장착된 디스플레이부(100)는 제어 대상이 되는 GUI 인터페이스 화면의 일부분을 표시한다.The display unit 100 mounted on the mobile device displays a part of the GUI interface screen to be controlled.

휴대 기기의 움직임을 인식하여, 화면 제어부에 전달하는 모션 센서부(200)는 대한민국 특허공개 2004-0081088과 같이 카메라를 사용하거나, 초음파나 자기등을 이용한 공지의 속도 또는 가속도 센서 기술을 이용하여 휴대 기기의 디스플레이 연장 평면 상 움직임의 방향을 포함한 속도 벡터 정보를 인식하여 화면 제어부(300)에 전달한다.The motion sensor unit 200 that recognizes the movement of the portable device and transmits it to the screen control unit is portable by using a camera or using a known speed or acceleration sensor technology using ultrasonic waves or magnetism as in Korean Patent Publication No. 2004-0081088. Velocity vector information including the direction of motion on the display extension plane of the device is recognized and transmitted to the screen controller 300.

모션 센서부(200)으로부터 휴대 기기 움직임의 디스플레이 평면의 연장 평면상의 벡터 정보를 받은 화면 제어부(300)는 그 신호에서 입력되는 방향과 속도에 따라, 마우스 포인터의 디스플레이에 대한 상대 위치를 유지한 채로, 제어 대상 GUI 인터페이스 화면의 표시부분을 변경한다. 예를들어 휴대 기기를 좌측으로 이동시킬 경우 디스플레이의 표시 화면은 제어 대상 GUI 화면의 좌측으로 이동한다. 이 때, 마우스의 디스플레이에 대한 상대 위치는 변경되지 않으므로, 마우스 포인터도 좌측으로 이동한 것과 같은 상태가 된다.The screen control unit 300 receiving the vector information on the extension plane of the display plane of the movement of the mobile device from the motion sensor unit 200 maintains the relative position of the mouse pointer with respect to the display according to the direction and speed inputted from the signal. Change the display part of the GUI interface screen to be controlled. For example, when the mobile device is moved to the left side, the display screen of the display moves to the left side of the control target GUI screen. At this time, since the position relative to the display of the mouse is not changed, the mouse pointer is also in the same state as the left side.

GUI 인터페이스에 대한 마우스 포인터의 상대적 위치에 따라 미리 정의된 명령 실행의 사용자 입력을 받아들이는 마우스 버튼 입력부(400)는 사용자에 의해 눌러진 입력 신호를 GUI 운영 체계(500)로 전달한다.The mouse button input unit 400 that receives a user input of a predefined command execution according to the relative position of the mouse pointer with respect to the GUI interface transmits the input signal pressed by the user to the GUI operating system 500.

마우스 버튼 입력부(400)로부터 전달된 입력 신호가 버튼입력 처리부로 전달되면, GUI 운영 체계는 휴대 기기의 연산 장치가 직접 실행할 수 있는 기계어 또는 휴대 기기의 운영체계의 다른 부분이나 다른 소프트웨어가 실행할 수 있는 고급 명령의 형태로 실행 명령을 휴대 기기나 운영 체계, 또는 다른 소프트웨어에 입력으로 제공한다.When the input signal transmitted from the mouse button input unit 400 is transmitted to the button input processing unit, the GUI operating system may be executed by machine language or other parts of the operating system of the mobile device or by other software that may be directly executed by the computing device of the mobile device. Run commands in the form of advanced commands are provided as input to a mobile device, operating system, or other software.

모션 센서부(200)는 대한민국 특허공개 2004-0081088과 같이 휴대 기기 내장카메라와 구동 DSP 또는 소프트웨어를 사용하여 구현할 수 있으며, 이 때에는 카메라 렌즈 평면이 디스플레이 평면과 평행할 경우 휴대 기기 이동의 속도와 방향이 손 떨림과 같은 노이즈에 의한 왜곡 외에는 다른 왜곡 요소가 없으나, 카메라 렌즈의 연장 평면이 디스플레이의 연장 평면과 일정한 각도로 교차할 경우 실제 움직임 속도에 비해 디스플레이 연장 평면상의 속도 벡터가 작게 나타나며, 따라서 휴대 기기에 장착된 카메라의 촬영 각도를 조절할 수 있는 경우 이를 이용해 센서의 감도를 조절할 수 있어, 결과적으로 화면 제어의 감도를 조절할 수 있다.The motion sensor unit 200 may be implemented using a mobile device built-in camera and a driving DSP or software, such as Korean Patent Publication No. 2004-0081088. In this case, when the camera lens plane is parallel to the display plane, the speed and direction of the mobile device movement There is no distortion factor other than distortion caused by noise such as camera shake, but when the extension plane of the camera lens intersects the extension plane of the display at an angle, the velocity vector on the display extension plane appears smaller than the actual movement speed, thus carrying If you can adjust the shooting angle of the camera mounted on the device, you can use this to adjust the sensitivity of the sensor, as a result can adjust the sensitivity of the screen control.

또한 센서부(200)는 초음파나 자기, 유체의 운동 등를 이용하는 운동 센서 또는 그 조합으로 측정될 수 있으며, 이 때에는 디스플레이 평면과 평행한 직교 방향의 두 개 이상의 센서를 이용하여야하며, 이 때는 센서의 입력 신호를 받아 처리하는 신호 처리 과정에서 입력 신호의 감도를 감쇄하여 화면 제어 감도를 조절할 수 있다.In addition, the sensor unit 200 may be measured using a motion sensor or a combination thereof using ultrasonic waves, magnetism, or fluid movement. In this case, two or more sensors in a direction perpendicular to the display plane should be used. In the signal processing of receiving and processing an input signal, the sensitivity of the input signal may be attenuated to adjust the screen control sensitivity.

또한 모션 센서부(200)는 휴대 기기의 특성 상, 불안정한 상태에서 사용하는 경우가 많으므로, 휴대 기기의 특정 버튼을 이용하여, 일시적인 감지 정지와 감지 재시작을 위한 모션 센서 토글 버튼부(210)를 두어, 돌발적인 상황에서 원하지 않는 GUI 인터페이스 화면에 대한 마우스 포인터의 상대 위치 이동을 피할 수도 있다.In addition, since the motion sensor unit 200 is often used in an unstable state due to the characteristics of the mobile device, the motion sensor toggle button unit 210 may be used to temporarily stop and restart detection using a specific button of the mobile device. In other words, it is possible to avoid moving the mouse pointer relative to an unwanted GUI interface screen in a sudden situation.

화면 제어부(300)는 센서부에서 감지된 이동 신호를 입력 신호로 하여, 이미 저장장치에 올라와 있는 GUI 인터페이스의 화면의 표시 부분을 변경하게 되는데,이 때는 미리 설정된 화면 표시 변경 감도에 따라 실제 휴대 기기의 이동 거리나 속도에 비해 작게 화면 이동을 실행할 수 있다. 그렇게 되면, GUI 인터페이스 상의 미세한 화면 이동이나 마우스 포인터 이동을 제공할 수 있게 되어, 정밀한 GUI 조작이 가능하며, 디지털 캠코더에서와 같이 소형의 Gyro 센서를 통해 떨림 보정을 함께 제공할 경우에는 미세 제어 능력은 더욱 정밀하게 제공된다.The screen controller 300 changes the display portion of the screen of the GUI interface already on the storage device using the movement signal detected by the sensor as an input signal, in which case the actual mobile device is changed according to the preset screen display sensitivity. You can move the screen smaller than the moving distance or speed of. This enables fine screen movement or mouse pointer movement on the GUI interface, enabling precise GUI operation, and fine control when combined with image stabilization through a small Gyro sensor, such as in a digital camcorder. It is provided more precisely.

또한 화면 제어부(300)도 휴대 기기의 특성 상, 불안정한 상태에서 사용하는 경우가 많으므로, 휴대 기기의 특정 버튼을 이용하여, 일시적인 화면 정지와 화면 변경 재시작을 위해 화면 제어 토글 버튼부(310)를 두어, 돌발적인 상황에서 원하지 않는 GUI 인터페이스 화면에 대한 마우스 포인터의 상대 위치 이동을 피할 수도 있다.In addition, since the screen controller 300 is often used in an unstable state due to the characteristics of a mobile device, the screen control toggle button 310 is used to temporarily stop a screen and restart a screen change by using a specific button of the mobile device. In other words, it is possible to avoid moving the mouse pointer relative to an unwanted GUI interface screen in a sudden situation.

마우스 버튼 입력부(400)는 휴대 기기가 다른 용도로 가지고 있는 버튼 중, 문자 입력 등에 사용되지 않는 버튼을 사용할 수도 있고, 이를 위한 전용 버튼을 부착하여 사용할 수도 있다.The mouse button input unit 400 may use a button that is not used for text input among buttons that the mobile device has for other purposes, or may attach and use a dedicated button for this purpose.

마우스 버튼의 입력을 받은 GUI 운영 체계부(500)는 GUI 인터페이스 화면에 대한 마우스 포인터의 상대 위치에 의해 GUI 인터페이스 화면상의 마우스 포인터 위치에 따라 분포된 명령어 세트를 기기의 연산장치(600) 또는 운영 체계의 다른 부분(700), 다른 소프트웨어(800)의 입력 값으로 제공하는데, 이는 동일한 버튼 입력에 대해서도 마우스 포인터의 상대 위치에 따라, 실행 내용이 없거나, 마우스 포인터가 위치한 GUI 인터페이스 화면과 동일한 위치에 있는 프로그램 파일의 실행, 문서 파일 열기, 파일 선택, 하이퍼링크로 연결된 문서 열기 등 다양한 명령이 될수 있으며, 이는 공지 기술로서 윈도우즈와 같은 범용 운영 체계에서 널리 사용되고 있으므로 따로 기술하지는 않는다.The GUI operating system 500 which receives the input of the mouse button is configured to distribute the instruction set distributed according to the position of the mouse pointer on the GUI interface screen by the relative position of the mouse pointer with respect to the GUI interface screen. In other parts of the software 700 and in the other software 800, depending on the relative position of the mouse pointer for the same button input, either without execution or at the same location as the GUI interface screen where the mouse pointer is located. It can be a variety of commands such as executing a program file, opening a document file, selecting a file, and opening a hyperlinked document. This is a well-known technology and is not widely described since it is widely used in a general-purpose operating system such as Windows.

상술한 바와 같이 본 발명은, 제한된 크기의 디스플레이를 가진 기기로 디스플레이보다 큰 화면 GUI를 화면 스크롤과 마우스 이동을 위한 스크롤 입력을 동시에 입력함과 동시에 디스플레이 보다 큰 화면의 보고자 하는 내용 부분을 찾기 위해 축소하였다가, 실제로 보기 위해서는 다시 확대하는 번거로운 절차를 거치지 않고 편리하게 원형 그대로 원하는 내용을 찾아서 볼 수 있다는 장점이 있다.As described above, the present invention is a device having a display having a limited size, and simultaneously reduces a screen GUI larger than the display to simultaneously display a screen portion and a scroll input for moving the mouse and find a content portion of the screen larger than the display. In addition, in order to actually see, there is an advantage that you can conveniently find and view the desired contents without going through the cumbersome process of expanding again.

이는 지금까지 휴대 기기의 한계로 지적되어 왔던, 대형화면 네비게이션의 어려움 등을 해소하여, 휴대 기기를 이용한 인터넷 사이트 이용을 더욱 편리하게 함과 동시에, 더이상 디스플레이가 작은 휴대 기기를 위한 전용 웹페이지를 만들어야 했던 번거로움도 크게 줄일 수 있는 장점이 있다.This has solved the difficulties of large screen navigation, which has been pointed out as a limitation of mobile devices until now, making it easier to use Internet sites using mobile devices, and creating dedicated web pages for mobile devices with smaller displays. Hassle can also greatly reduce the hassle.

또한 본 발명은 PC 사용자가 PC 사용 시에 익힌 GUI 사용법을 거의 그대로 활용할 수 있게 하여, 휴대 기기를 이용한 인터넷 사용자 층을 PC를 이용한 인터넷 사용자수 만큼 빠르게 성장시킬 수 있는 계기를 마련해 주는 장점이 있다.In addition, the present invention has the advantage that the PC user can utilize the GUI usage learned when using the PC almost as it is, to provide an opportunity to grow the Internet user layer using a mobile device as fast as the number of Internet users using a PC.

한편 본 발명은 도면에 도시된 실시예들을 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에 통상의 지식을 지닌 자라면 이로부터 다양한 변형 및 균등한 타실시예가 가능하다는 점을 이해할 것이다. 예를 들면 본 발명의 실시예에서는 IBM 호환형 PC의 2 버튼 마우스를 이용한 GUI 인터페이스를 예로 들어 설명하였으나, GUI의 또 다른 변형인 Apple사의 1 버튼 마우스를 이용한 GUI도 본 발명의 다른 실시예가 될 수 있다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허 청구범위에 의해서만 정해져야 할 것이다.On the other hand, the present invention has been described with reference to the embodiments shown in the drawings, but this is only an example, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. . For example, in the embodiment of the present invention, a GUI interface using a two-button mouse of an IBM compatible PC has been described as an example, but another embodiment of the present invention may also be a GUI using an Apple one-button mouse. have. Therefore, the true technical protection scope of the present invention should be defined only by the appended claims.

Claims (9)

작은 디스플레이와 모션 센서가 장착된 휴대 기기를 이용하여 대형 GUI 인터페이스를 조작하는 제어 장치에 있어서,In a control device for operating a large GUI interface using a mobile device equipped with a small display and a motion sensor, 특정 GUI 인터페이스를 가진 화면을 표시하는 디스플레이부와;A display unit which displays a screen having a specific GUI interface; 휴대 기기의 움직임을 인식하여, 움직임의 방향과 속도 정보를 화면 제어부에 전달하는 모션 센서부와;A motion sensor unit recognizing a movement of the portable device and transferring the direction and speed information of the movement to the screen controller; 모션 센서부로부터 전달된 휴대 기기 움직임의 방향과 속도 정보를 이용하여 마우스 포인터를 디스플레이에 대한 상대적 고정 위치에 유지하면서 표시 화면을 이동시키는 화면 제어부와;A screen controller for moving the display screen while keeping the mouse pointer at a fixed position relative to the display by using the direction and speed information of the movement of the portable device transmitted from the motion sensor unit; GUI 인터페이스에 대해 미리 정해진 명령을 실행시키는 사용자의 입력을 받아들이는 마우스 버튼 입력부와;A mouse button input unit which receives a user input for executing a predetermined command on the GUI interface; 마우스 버튼 입력부의 명령을 받아 이를 실행하는 GUI 운영 체계부;를 포함함을 특징으로 하는 GUI 제어 장치A GUI operating system unit for receiving a command of a mouse button input unit and executing the command; 청구항 1에 있어서, 모션 센서부의 작동을 일시적으로 정지시키고, 재시작 시킬 수 있는 모션 센서 토글 버튼부;를 더 포함함을 특징으로 하는 GUI 제어 장치The GUI control apparatus of claim 1, further comprising a motion sensor toggle button unit configured to temporarily stop and restart an operation of the motion sensor unit. 청구항 1에 있어서, 화면 제어부의 작동을 일시적으로 정지시키고, 재시작 시킬 수 있는 화면 제어 토글 버튼부;를 더 포함함을 특징으로 하는 GUI 제어 장치The GUI control apparatus of claim 1, further comprising a screen control toggle button unit configured to temporarily stop and restart an operation of the screen controller. 청구항 1에 있어서, 모션 센서부에서 화면 제어부로 전달되는 이동 정보 중 이동 거리의 크기 성분만을 일시적으로 일정한 비율로 축소 또는 확대하여 화면 제어부로 전달하여 화면의 미세한 제어와 작은 움직임으로 GUI 화면 상의 먼 거리를 이동시키는 화면 제어가 가능하게 하는 제어 감도 조절 버튼부;를 더 포함함을 특징으로 하는 GUI 제어 장치The method of claim 1, wherein only the size component of the moving distance among the movement information transmitted from the motion sensor unit to the screen control unit is temporarily reduced or enlarged at a constant rate and transferred to the screen control unit so that the far distance on the GUI screen can be controlled by the fine control and small movement of the screen. GUI control apparatus further comprises; control sensitivity adjustment button for enabling a screen control to move the 청구항 1에 있어서, 상기 모션 센서부는 휴대 기기의 이동 방향과 거리를 감지하기 위하여 휴대 기기에 장착된 카메라를 이용하는 모션 센서부The motion sensor unit of claim 1, wherein the motion sensor unit uses a camera mounted on the mobile device to detect a moving direction and a distance of the mobile device. 청구항 1에 있어서, 상기 모션 센서부는 휴대 기기의 이동 방향과 거리를 감지하기 위하여 휴대 기기에 장착된 가속도 센서를 이용하는 모션 센서부The motion sensor unit of claim 1, wherein the motion sensor unit uses an acceleration sensor mounted on the mobile device to detect a moving direction and a distance of the mobile device. 청구항 4에 있어서, 상기 제어 감도 조절 버튼부는 일정 시간 내에 버튼을누른 횟수에 의해 서로 다른 제어 명령으로 인식하는 제어 감도 조절 버튼부The method according to claim 4, wherein the control sensitivity adjustment button unit control sensitivity adjustment button unit for recognizing different control commands by the number of times the button is pressed within a predetermined time 청구항 1 또는 청구항 5에 있어서, 상기 모션 센서부는 휴대 기기에 장착된 카메라의 렌즈 평면과 디스플레이 평면이 이루는 각이 하나라도 예각에서 둔각으로 변화하는 변화가 발생하면, 변화 전과 비교할 때 모션 센서의 방향을 반대로 인식하는 것을 특징으로 하는 모션 센서부The method of claim 1, wherein the motion sensor unit changes the direction of the motion sensor when compared to the change before the change occurs even if at least one angle formed between the lens plane of the camera mounted on the mobile device and the display plane changes from an acute angle to an obtuse angle. Motion sensor unit characterized in that the reverse recognition 청구항 1에 있어서, 화면 이동 대상을 GUI 화면 전체로 할 것인지, GUI 화면 상에 표시된 특정 응용 프로그램 창의 스크롤로 할 것인지를 선택하는 화면 이동 대상 선택부;를 더 포함함을 특징으로 하는 GUI 제어 장치The GUI control apparatus of claim 1, further comprising a screen moving target selection unit configured to select whether the screen moving target is the entire GUI screen or a specific application program window displayed on the GUI screen.
KR1020040078886A 2004-10-05 2004-10-05 Large screen GUI controller with small display by motion sensing KR20040096880A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040078886A KR20040096880A (en) 2004-10-05 2004-10-05 Large screen GUI controller with small display by motion sensing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040078886A KR20040096880A (en) 2004-10-05 2004-10-05 Large screen GUI controller with small display by motion sensing

Publications (1)

Publication Number Publication Date
KR20040096880A true KR20040096880A (en) 2004-11-17

Family

ID=37375356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040078886A KR20040096880A (en) 2004-10-05 2004-10-05 Large screen GUI controller with small display by motion sensing

Country Status (1)

Country Link
KR (1) KR20040096880A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100735555B1 (en) * 2005-09-15 2007-07-04 삼성전자주식회사 Apparatus and method for operating according to movement
KR100915127B1 (en) * 2008-06-20 2009-09-03 주식회사 인프라웨어 Media containing program to control screen scrolling with movement angle and screen touch in mobile communication terminals
US8135440B2 (en) 2006-04-17 2012-03-13 Samsung Electronics Co., Ltd. System for using mobile communication terminal as pointer and method and medium thereof
KR101276722B1 (en) * 2006-11-13 2013-06-19 삼성전자주식회사 Method for controlling digital photographing apparatus, and digital photographing apparatus adopting the method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100735555B1 (en) * 2005-09-15 2007-07-04 삼성전자주식회사 Apparatus and method for operating according to movement
US8135440B2 (en) 2006-04-17 2012-03-13 Samsung Electronics Co., Ltd. System for using mobile communication terminal as pointer and method and medium thereof
KR101276722B1 (en) * 2006-11-13 2013-06-19 삼성전자주식회사 Method for controlling digital photographing apparatus, and digital photographing apparatus adopting the method
KR100915127B1 (en) * 2008-06-20 2009-09-03 주식회사 인프라웨어 Media containing program to control screen scrolling with movement angle and screen touch in mobile communication terminals

Similar Documents

Publication Publication Date Title
US10095316B2 (en) Scrolling and zooming of a portable device display with device motion
EP2225628B1 (en) Method and system for moving a cursor and selecting objects on a touchscreen using a finger pointer
US20020158908A1 (en) Web browser user interface for low-resolution displays
US20110254792A1 (en) User interface to provide enhanced control of an application program
US20100192062A1 (en) User interface systems and methods for manipulating and viewing digital documents
US20140059492A1 (en) Display device, user interface method, and program
KR100950080B1 (en) Method of controlling software functions, electronic device, and computer program product
US20060061550A1 (en) Display size emulation system
KR20090070491A (en) Apparatus and method for controlling screen using touch screen
WO2010018788A1 (en) Content display magnification changing method and content display magnification changing program
WO2020181955A1 (en) Interface control method and terminal device
JP2015005173A (en) Portable information terminal including touch screen, and input method
CN102141846A (en) Method for intuitively browsing contents and mobile terminal
WO2014024363A1 (en) Display control device, display control method and program
US8390649B2 (en) Electronic device input control system and method
US20100333016A1 (en) Scrollbar
KR20140082434A (en) Method and apparatus for displaying screen in electronic device
KR20040096880A (en) Large screen GUI controller with small display by motion sensing
WO2016023298A1 (en) Touch terminal operation method and touch terminal
KR101920864B1 (en) Method and terminal for displaying of image using touchscreen
KR20040096879A (en) Method for Controling Graphic User Interface with Display and Input device for object action parameter
CN110888571A (en) File selection method and electronic equipment
JP4027937B2 (en) Portable electronic devices
KR100796131B1 (en) Portable electronic device
JP2002091648A (en) Compact information terminal device, method for operation thereof and medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application