KR20070004466A - The vilture screen and mouse curcer moving method by movement of the display of hand helded information equipment - Google Patents
The vilture screen and mouse curcer moving method by movement of the display of hand helded information equipment Download PDFInfo
- Publication number
- KR20070004466A KR20070004466A KR1020060108060A KR20060108060A KR20070004466A KR 20070004466 A KR20070004466 A KR 20070004466A KR 1020060108060 A KR1020060108060 A KR 1020060108060A KR 20060108060 A KR20060108060 A KR 20060108060A KR 20070004466 A KR20070004466 A KR 20070004466A
- Authority
- KR
- South Korea
- Prior art keywords
- display
- virtual screen
- information
- information terminal
- screen
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
Landscapes
- Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
도 1은 본 발명에 따른 소형 정보 단말장치를 이동 시켜 가상화면의 다른영역을 화면에 나타내는 것을 도시한 개략도. Figure 1 is a schematic diagram showing a different area of the virtual screen on the screen by moving the small information terminal device according to the present invention.
도 2는 본 발명에 따른 본래의 디스플레이 보다 고해상도의 데이타가 메모리에 저장된 상태에서 디스플레이의 전후 이동에 따른 가상화면 축소/확대 사용 개념을 도시한 개략도. Figure 2 is a schematic diagram showing the concept of using a virtual screen reduction / enlargement according to the forward and backward movement of the display in a state where the data of higher resolution than the original display according to the present invention is stored.
도 3은 본 발명에 따른, 최초 설정 후 디스플레이의 위치 변화에 따른 화면 배율산정 및 화면 표시 절차 흐름도. 3 is a flowchart of screen magnification and screen display procedure according to a change in position of a display after initial setting according to the present invention;
도 4는 본 발명에 따른, 자이로 센서의 위치 정보를 이용한 가상화면 제공 방법을 예시한 구성도. Figure 4 is a block diagram illustrating a virtual screen providing method using the position information of the gyro sensor according to the present invention.
도 5는 본 발명에 따른, 카메라를 이용한 디스플레이의 위치정보 인식 방법에 의한 가상화면 제공 방법을 예시한 구성도. 5 is a block diagram illustrating a virtual screen providing method by a method for recognizing a location information of a display using a camera according to the present invention.
도 6은 본 발명에 따른, 기준영역을 설정하고 이를 비교 영상과 비교하여 위치 이동 정보를 식별하는 사례를 도시한 개략도. FIG. 6 is a schematic diagram illustrating an example of identifying a location movement information by setting a reference area and comparing the same with a comparison image according to the present invention. FIG.
도 7은 본 발명에 따른, 기준영역을 설정하고 이를 비교 영상과 비교하여 전방으로 위치 이동 정보를 식별하는 사례를 도시한 개략도. FIG. 7 is a schematic diagram illustrating an example of setting a reference region and comparing the position movement information forward by comparing the reference region with the comparison image. FIG.
도 8은 본 발명에 따른, 디스플레이에 가상 커서를 소프트적으로 고정 위치 시킨 상태에서 디스플레이 이동에 따른 가상 커서의 화면 상의 이동을 예시한 개념도. 8 is a conceptual diagram illustrating a movement of a virtual cursor on a screen according to a display movement in a state in which a virtual cursor is softly fixed to a display according to the present invention.
휴대용 소형 정보단말기의 보급과 유무선 통신 수단의 발전은 휴대용 정보단말기를 통한 멀티미디어 정보제공 서비스 시장의 급속한 확대를 가져오고 있다.The proliferation of portable small information terminals and the development of wired and wireless communication means have led to the rapid expansion of the multimedia information service market through portable information terminals.
이러한 시장의 확대에도 불구 하고 휴대용 정보단말장치는 휴대의 간편성을 유지하기 위하여 소형 디스플레이를 사용하고 있다. 디스플레이 크기의 증대는 정보 가독률을 증가시키지만, 무게와 크기의 증가로 인한 휴대 간편성 저하를 방지하기 위하여 불가피하게도 여전히 작은 크기의 디스플레이를 사용하고 있는 실정이다. 그러나 이 같은 소형 디스플레이는 단위 픽셀의 크기의 제한으로 인하여 가시화면의 해상도가 크게 떨어지며 이는 사용자의 정보 가독률을 저하 시키는 주요 요인이 되고 있다. 핸드폰의 경우는 아주 열악한 디스플레이 환경에서 웹 정보를 제공하기 위하여 웹상의 사진이나 기타 정보의 해상도를 별도의 WAP 규격으로 전환해야 하는 어려움을 가지고 있어 컨텐츠 비지니스 발전의 제약 요인으로 작용하고 있다. 이 같은 문제점을 극복하기 위하여서는 단위 픽셀의 크기를 최소화하기 위한 물리적 접근을 시도하고 있으나 현재의 기술로는 이점을 극복하기 위한 물리적 한계에 직면하고 있으며 실제로 고해상도, 예를 들면 1024 X 768, 소형 디스플레이를 고가로 개발하여도 사람의 눈으로 작은 물체와 글자를 읽는 것이 어려우므로 이 또한 한계를 가지고 있다.Despite the expansion of this market, portable information terminal devices use a small display to maintain portability. Increasing the display size increases the readability of information, but inevitably still uses a small size display to prevent a decrease in portability due to an increase in weight and size. However, such a small display has a significant decrease in the resolution of the visible screen due to the limitation of the unit pixel size, which is a major factor in reducing the readability of the user. In the case of a mobile phone, it has a difficulty in converting the resolution of photos and other information on the web into a separate WAP standard in order to provide web information in a very poor display environment. In order to overcome this problem, a physical approach to minimizing the size of the unit pixel is being attempted, but current technology faces a physical limitation to overcome the advantage, and in fact, high resolution, for example, 1024 X 768, small display Even if it is developed at high cost, it is also difficult to read small objects and letters with human eyes, so this also has a limitation.
또 다른 접근 방법은 디스플레이 화면의 한계를 극복하기 위하여 소프트적으로 해상도가 확대된 가상 화면을 만들고 마우스나 키보드의 조작을 통하여 가상 화면을 디스플레이 창으로 이동시키는 기술이 개발되어 과거 소형 노트북의 경우에 적용된 바가 있다. 그러나 이 방법은 키보드나 마우스의 조작으로 소형화면에 확대된 가상 화면을 보여줄 수 있다는 장점이 있으나 조작의 불편함과 가시화면 사이의 이동 시에 어색함을 가지고 있다. 이 기술은 화면의 크기나 무게가 이동에 부적합한 당시의 상황에서 모니터가 당연히 고정된 상태에서 가상화면을 이동시키려는 발상에 의한 기술적 구현이었다. 그러나 현재의 휴대용 정보단말기는 과거의 노트북이나 모니터와는 달리 정보단말 장치 자체가 소형 경량화되어 간편하게 이동시킬 수 있으므로 본 발명에서는 이점에 착안하여 휴대용 정보단말에 적합하도록 과거의 개념을 반대로 적용하였다. Another approach is to overcome the limitations of the display screen and to develop a virtual screen with a softer resolution and to move the virtual screen to the display window using the mouse or keyboard. There is a bar. However, this method has the advantage of showing an enlarged virtual screen on a small screen by the manipulation of a keyboard or a mouse, but has the inconvenience of operation and awkwardness when moving between visible screens. This technology was a technical implementation based on the idea of moving the virtual screen while the monitor was fixed in a situation where the size or weight of the screen was not suitable for movement. However, the present portable information terminal, unlike the notebook or the monitor of the past, since the information terminal device itself is light weight and can be easily moved, in the present invention, the concept of the past has been reversely applied to be suitable for the portable information terminal.
즉, 돋보기로 신문을 볼 때와 같이 가상 대상 화면을 정지시키고 정보단말 모니터 자체를 움직여 가상화면의 필요한 부분의 내용을 찾아 보는 보다 인간 중심의 자연스러운 방법을 고안하였다.In other words, we devised a more human-oriented natural way to find out the contents of the necessary part of the virtual screen by stopping the virtual target screen and moving the information terminal monitor itself as when reading a newspaper with a magnifying glass.
본 발명에서는 이러한 기능을 구현하기 위하여 휴대용 정보단말 장치의 움직임을 식별하여 얻어진 정보를 이용하여 디스플레이 창을 필요한 가상화면 영역으로 이동시키는 방법이 제시되었다. 이 방법은 과거의 방법이 가상화면의 다른 영역을 디스플레이 창으로 마우스나 키보드 조작으로 이동시켰던 것에 비하여 디스플레이 창을 실제로 필요한 만큼 움직여 가상화면의 다른 영역을 볼 수 있게 해 주므로 사용자로 하여금 앞에 펼쳐진 가상화면을 창을 움직여 보는 실감을 느끼게 할 수 있다. 직접움직임의 식별은 장치의 상하좌우 이동은 물론 전후 이동 등의 3차원 이동정보의 인식을 위한 경제적인 구현 방법이 필요한데 상하좌우의 이동은 가상화면 상의 이동을 위한 것이고 전후 이동은 가상 화면상의 축소와 확대를 제어하기 위한 것이다.In the present invention, a method of moving a display window to a required virtual screen area using information obtained by identifying a movement of a portable information terminal device has been proposed to implement such a function. This method allows the user to see the different areas of the virtual screen by moving the display window as much as necessary, rather than moving the other areas of the virtual screen to the display window by mouse or keyboard operation. You can feel the feeling of moving the window. The identification of direct movement requires an economical implementation method for recognizing three-dimensional movement information such as up, down, left and right movement of the device as well as forward and backward movement. To control magnification.
1. 휴대용 정보단말의 이동정보를 이용한 가상화면 사용 방법1. How to use virtual screen using mobile information of portable information terminal
본 발명에서는 소형 정보단말기의 모니터 크기보다 큰 가상의 화면을 보기 위하여 정보단말의 디스플레이를 창으로 하여 이를 공간적으로 이동시켜 가상화면의 다른 영역 내용을 볼 수 있는 새로운 방법을 고안하였다. 또한 정보단말의 디스플레이를 전후로 이동시키고 위치 정보를 식별하여 이 정보를 가상화면을 축소 또는 확대시키는데 사용하는 방법이 함께 고안되었다. 본 고안의 개념을 도 1에서 예를 들어 설명하면 다음과 같다. (1)은 휴대용 정보단말의 디스플레이 창이고 (2)는 정보단말기이다. 현재까지는 이 창의 크기 안에 전체 화면을 띄어 놓고 사용하여 왔다. 예를 들면 핸드폰의 경우는 240X320 픽셀의 해상도를 갖는 QVGA 그래픽 디스플레이를 사용한다. 그러나 본 발명에서는 이 한계를 극복하기 위하여 그래픽 드라이버와 메모리를 이용하여 보다 넓은 가상화면(3)을(예를 들면 1024X768 픽셀) 메모리에 저장하여 놓고 정보단말기 창의 이동 위치를 인식하여 해당 위치의 240X320 픽셀 만큼의 가상화면 영역을 디스플레이(1)의 창에 표시하도록 하였다. 이러한 방법은 마치 정보단말기의 디스플레이어가 이동 위치한 공간에 가상화면이 존재하는 것 같은 효과를 제공한다. 이렇게 하므로서 디스플레이어의 크기의 증가나 해상도 증가를 위한 물리적 투자 없이 사용자의 전면에 가상화면을 전개하여 놓고 사용자가 휴대용 정보단말의 디스플레이어를 돋보기 창처럼 사용하여 이동하므로서 실제 디스플레이의 해상도 보다 큰 해상도의 가상화면을 사용자에게 제공할 수 있다. 이때 확대된 가상화면(3)의 크기는 디스플레이(1)를 사용자의 전면으로 내민 거리에 비례하도록 설정하여야 한다. In the present invention, in order to view the virtual screen larger than the monitor size of the small information terminal, a new method for viewing the contents of the other area of the virtual screen by moving the display of the information terminal spatially is devised. In addition, a method of moving the display of the information terminal back and forth, identifying location information, and using the information to reduce or enlarge the virtual screen has been devised together. The concept of the present invention is described with an example in FIG. 1 as follows. (1) is a display window of a portable information terminal and (2) is an information terminal. Until now, the entire screen has been used within the size of this window. For example, a cell phone uses a QVGA graphics display with a resolution of 240 x 320 pixels. However, in the present invention, in order to overcome this limitation, a wider virtual screen 3 (for example, 1024 X 768 pixels) is stored in the memory using a graphics driver and a memory, and the moving position of the information terminal window is recognized to be 240 x 320 pixels. As many virtual screen areas as possible are shown in the window of the display 1. This method provides the effect that the virtual screen exists in the space where the display terminal of the information terminal is moved. In this way, the virtual screen is deployed in front of the user without increasing the size of the display or the physical investment to increase the resolution, and the user moves the display of the portable information terminal using the magnifier window. Virtualization can be provided to the user. At this time, the size of the enlarged virtual screen 3 should be set to be proportional to the distance from which the display 1 is extended to the front of the user.
또한 도 2와 같이 실제 메모리에 저장된 컨텐츠의 해상도보다 나타내는 가상화면(3)의 크기가 작은 경우, 즉 사용자에 가까운 영역(10)에서는 디스플레이의 위치에 따라 컨텐츠의 실제 해상도를 축소하여 제한된 디스플레이에 표시하고 반대로 실제 컨텐츠의 해상도 보다 더 큰 해상도의 가상화면을 사용할때(영역 (9))는 디스플레이의 위치에 따라 컨텐츠의 해상도를 확대하여 디스플레이에 나타내어 사용할 수 있다. 이를 도 2에서 상세히 설명하면 다음과 같다.Also, as shown in FIG. 2, when the size of the virtual screen 3 that is smaller than the resolution of the content stored in the physical memory is smaller, that is, in the
메모리에 저장된 컨텐츠의 해상도를 Rc(4)라고 하고 디스플레이의 해상도를 Rd(5),사용자가 디스플레이를 전후로 이동하여 선택하는 가상화면의 해상도를 Rv(6)라고 하면 디스플레이가 최초의 위치인 d1(7)의 위치에 있을 때는 Rd(5)의 해상도에 Rc(4)의 화면을 축소하여 전체 화면을 표시하게 된다. 이때의 축소 비율은 Rc/Rd=kL (k는 사용자의 환경설정을 위한 비례상수, L은 메모리에 저장된 컨텐츠의 해상도에 해당하는 위치인 d2와 최초의 디스플레이의 위치인 d1과의 거리) 이다. 예를들어, k가 2 이고 컨텐츠의 해상도가 디스플레이의 해상도 보다 10배의 해상도라면 축소 비율은 10이고 거리 L은 5 센치가 된다. 또한 d ≤ L 이면 가상화면의 해상도는 Rv=Rc/k(L-d)가 되고, d > L 이면 Rv=Rc(d-L)*k 가 된다. 이때 디스플레이에 표시 가능한 가상화면의 영역은 Rd/Rv 만큼만 보여주게 되므로 디스플레이를 상하좌우로 이동하므로써 나머지 영역을 볼 수 있게 된다. 만약 컨텐츠의 해상도 Rc(4)가 디스플레이의 해상도 Rd(5)와 같다면 디스플레이의 위치는 d2(8)와 같으므로 디스플레이를 사용자의 전방으로 움직인다는 것은 디지탈 적인 확대를 하는 영역 (9)에서 만 작동하는 경우가 된다.If the resolution of the content stored in the memory is called Rc (4), the resolution of the display is Rd (5), and the resolution of the virtual screen that the user selects by moving the display back and forth is Rv (6). In the case of 7), the entire screen is displayed by reducing the screen of Rc (4) at the resolution of Rd (5). At this time, the reduction ratio is Rc / Rd = kL (k is a proportionality constant for the user's environment setting, L is a distance between d2, which is a position corresponding to the resolution of the content stored in the memory, and d1, which is the position of the first display). For example, if k is 2 and the resolution of the content is 10 times the resolution of the display, then the reduction ratio is 10 and the distance L is 5 cm. If d ≦ L, the resolution of the virtual screen is Rv = Rc / k (L-d), and if d> L, Rv = Rc (d-L) * k. At this time, the area of the virtual screen that can be displayed on the display shows only Rd / Rv, so the remaining area can be seen by moving the display up, down, left, and right. If the resolution Rc (4) of the content is equal to the resolution Rd (5) of the display, the position of the display is equal to d2 (8), so moving the display forward of the user is only possible in the area of digital enlargement (9). It works.
실제로 이 방법을 정보 단말기에 적용하는 경우는 무한정 확대하는 것은 의미가 없으므로 최대로 확대한 가상화면의 크기를 제한하는 것이 바람직하다. 또한 디스플레이를 상하좌우로 이동 시에 가상화면의 모서리를 벗어난 영역은 의미가 없으므로 디스플레이어가 가상화면의 모서리에 다다르면 화면의 이동을 정지 시켜 더이상의 화면이 없음을 사용자에게 알리는 것이 필요할 것이다. 즉 사전에 설정된 영역 ABCD를 벗어난 영역에서는 화면의 이동을 정지 시키는 것이 필요하다. Indeed, when applying this method to an information terminal, it is not meaningful to expand indefinitely, so it is desirable to limit the size of the virtualized screen to the maximum. In addition, when moving the display up, down, left, or right, the area beyond the edge of the virtual screen is meaningless, and it will be necessary to inform the user that there is no more screen by stopping the screen movement when the display reaches the edge of the virtual screen. That is, it is necessary to stop the movement of the screen in an area outside the previously set area ABCD.
도 3 는 상기의 기능을 수행하기 위한 절차도이다. 사용자는 최초 사용 시에 운영 거리 L과 최대 확대 비율을 설정(11)한다. 정보단말의 평소 다른 사용 시의 계산부하를 줄이기 위해서는 버튼 스위치나 키보드로 고안된 방법의 시작을 선택할 수 있다. 기능의 선택은 디스플레이어의 위치정보를 인식하는 모듈을 작동(12) 시켜 이를 프로세서에 통보하고 프로세서는 사용자와 디스플레이어의 거리의 변화에 따른 화면의 비율과 상하좌우 변화에 따른 가상화면에서의 디스플레이어의 위치를 계산하고(13) 이 정보를 사용하여 디스플레이 제어기가 메모리에 위치한 컨텐츠의 일부분을 확대 또는 축소하여(14) 디스플레이어에 보내어 표시(15)하도록 한다. 3 is a procedure diagram for performing the above function. The user sets 11 the operating distance L and the maximum magnification ratio at the first use. In order to reduce the computational load in the usual use of the information terminal, it is possible to choose the start of a method designed with a button switch or keyboard. The selection of the function activates a module that recognizes the position information of the display device (12) and informs the processor of the display, and the processor displays the ratio of the screen according to the change of the distance between the user and the display and the display on the virtual screen according to the change of the top, bottom, left and right The position of the word is calculated (13) and the information is used to cause the display controller to zoom in or out (14) on a portion of the content located in the memory and send it to the displayer for display (15).
상기와 같은 방법을 통하여 정보단말기의 디스플레이를 사용자의 앞으로 내밀면 보다 확대된 가상화면의 일부분이 정보단말의 디스플레이 창에 나타나게 함으로써 창에 보이는 화면의 확대효과를 제공하게 된다. 마찬가지로 디스플레이 창을 사용자의 앞으로 당기면 덜 확대된 가상화면의 일부를 창을 통하여 보여 주므로써 마치 화면이 축소되어 보여지는 효과를 제공할 수 있게 된다. 따라서 본 발명은 사용자가 사용자의 전면에 거리에 비례한 가상 화면을 신문처럼 만들어 놓고 마치 돋보기로 신문을 보는 것과 동일한 방법으로 화면을 이동 및 확대시켜 보게 되므로, 휴대용 정보단말 장치의 소형 디스플레이로 인한 가독성의 제약이라는 단점을 극복할 수 있게 한다.. By extending the display of the information terminal in front of the user through the method as described above, a portion of the enlarged virtual screen is displayed on the display window of the information terminal, thereby providing an enlargement effect of the screen displayed on the window. Likewise, when the display window is pulled in front of the user, a part of the less enlarged virtual screen is shown through the window, so that the screen can be reduced in size. Therefore, in the present invention, since the user makes a virtual screen proportional to the distance in front of the user like a newspaper and moves and enlarges the screen in the same manner as viewing a newspaper with a magnifying glass, readability due to the small display of the portable information terminal device It can overcome the shortcomings of.
2. 소형 정보단말 장치가 디스플레이 이동정보를 인식하기 위한 방법2. Method for small information terminal device to recognize display movement information
가. 3차원 공간위치 인식을 위한 end. For 3D spatial location recognition 자이로Gyro 센서를 이용한 방법 Method using sensor
이 방법은 가상화면을 제공하기 위하여 소형 정보단말기에 자이로 센서를 부착하여 사용하는 것이다. 한가지 실시예를 도 4에서 설명하면, 자이로 센서(16)로 부터 얻어진 정보를 프로세서(17)에 전송하고 이를 가공하여 디스플레이의 위치정보를 추출하여 내며 이 결과를 디스플레이 제어기(18)에 전송하므로써 메모리(19)에 저장된 보다 고해상도 화면 데이터의 일부를 디스플레이(20)에 표시하도록 하는 방법이다. This method uses a gyro sensor attached to a small information terminal to provide a virtual screen. Referring to FIG. 4, one embodiment transmits the information obtained from the
이 방법은 정확한 위치를 식별할 수 있다는 장점이 있으나 자이로 센서 부착에 따른 가격과 부피 및 무게의 상승을 감수하여야 한다.This method has the advantage of being able to identify the exact position, but it has to bear the price, volume, and weight of the gyro sensor.
나. 소형 정보단말기에 부착된 카메라를 이용하는 방법I. How to use the camera attached to the small information terminal
소형 정보단말기에 부착된 카메라는 사진이나 동영상을 촬영하는 경우 외에는 정보단말기에서 사용을 하지 않는다. 본 발명에서는 이 같이 평시에 사용하지 않는 카메라를 이용하여 디스플레이의 위치 이동 정보를 식별하는 방법을 고안하여 이를 상기 가상화면 제공 방법에 적용토록 제시하였다.The camera attached to the small information terminal does not use the information terminal except to take a picture or video. The present invention devised a method for identifying the position movement information of the display using a camera that is not normally used as described above and applied to the virtual screen providing method.
한가지 실시 예를 일반적인 정보단말기 구조인 도 5에서 설명하면 카메라(21)로 부터 입력된 정보는 영상처리를 위하여 전용처리장치(23)를 거쳐 메모리(19)에 저장된다. 본 발명에서는 위치정보 식별요구가 정보단말의 버튼 등의 외부 인터페이스 장치(24)에 의하여 프로세서(17)에 통보되면 프로세서(17)는 아래의 기능을 갖는 전용신호처리 장치(23) 또는 소프트 모듈을 가동시켜 디스플레이의 위치정보를 아래와 같은 방법에 의하여 획득한다.5, a general information terminal structure, information input from the
1) 2차원 평면에서의 상하좌우 이동 식별1) Up, down, left, and right movement identification in 2D plane
카메라에서 입력되는 영상을 일정 시간 간격(또는 프레임 단위)으로 화면을 캡쳐하여 상호 비교를 하고 이를 통하여 이동의 방향을 도출한다. 이를 위한 영상처리 방법의 한가지 실시 예는 도 6에서와 같이 기준 영상의 중심영역에 비교를 위한 N X M 개의 픽셀 크기의 기준 이미지 창(26)을 선정하고(예; 5X5 픽셀 크기) 이 창을 비교 영상(27) 위에서 차례대로 이동을 하면서 창의 크기 만큼의 비교영상과 기준영상의 차이를 도출한다. 이렇게 하여 얻어진 값 중에서 가장 작은 차이값을 갖는 위치와 기준 영상의 중심 위치와의 거리가 디스플레이가 시간 간격 동안에 이동한 방향과 거리(28)를 나타낸다. 이 방법은 이미지 처리 기술상의 상관관계분석(2차원 Correlation) 기법에 해당된다. 즉 비교 이미지를 Y(i,j), 기준 이미지를 X(n,m)이라고 하면 2차원 상관관계 분석한 결과 데이타 W(i,j)는 아래와 같다.The images input from the camera are captured at predetermined time intervals (or frame units) to compare each other and to derive the direction of movement. An embodiment of the image processing method for this purpose is to select a
W(i,j)=∑∑[Y(n+i,m+j)-X(n,m)], [ ]는 절대값W (i, j) = ∑∑ [Y (n + i, m + j) -X (n, m)], where [] is an absolute value
단, ∑ 은 각각 n과 m에 대하여 기준 이미지 픽셀의 가로 세로 픽셀 수 N, M 만큼 한다.However, ∑ is equal to the number of horizontal and vertical pixels N and M of the reference image pixel for n and m, respectively.
이러한 이동정보 식별은 획득되는 영상의 매 앞 뒤 프레임에 계속적으로 적용하므로써 연속적인 위치 이동 정보를 식별하게 할 수 있다.Such movement information identification can be continuously applied to every front and back frame of the acquired image to identify continuous position movement information.
2) 디스플레이의 사용자 앞뒤로의 이동 식별2) Identify the movement back and forth of the user on the display
정보단말기에 부착된 카메라가 앞뒤로 움직이면 입력되는 영상은 화면의 중심으로부터 확대/축소된 이미지가 입력된다. 따라서 비교 이미지를 점진적으로 축소/확대하면서 기준이미지와 비교하면 차이가 가장 적은 상태의 이미지 확대/축소 상태가 디스플레이의 전후 이동 정보를 가리킨다.When the camera attached to the information terminal moves back and forth, the input image is input to the image enlarged / reduced from the center of the screen. Therefore, when the comparison image is gradually reduced and enlarged and compared with the reference image, the image enlargement / reduction state with the least difference indicates the forward and backward movement information of the display.
기준 이미지 창의 크기나 확대/축소를 정밀하게 하면 보다 정확한 결과를 얻을 수 있으나 계산량의 증가로 인한 하드웨어에서의 계산 소요시간이 영상 간의 시간 간격 이내에 드는 범위에서 창의 크기와 축소/확대 정밀도를 조절하여 적용하여야 함은 물론이다.If the size or zoom of the reference image window is precise, more accurate results can be obtained, but the adjustment of the window size and reduction / enlargement precision is applied within the range that the calculation time in hardware due to the increase of the calculation amount is within the time interval between images. Of course it should.
3. 디스플레이 이동 정보로 가상화면을 제공하는 기법을 이용한 가상 마우스와 키보드 구현 방법3. Implementation method of virtual mouse and keyboard using the technique of providing virtual screen with display movement information
가. 가상 커서 사용 방법end. How to use virtual cursors
소형 정보단말기가 과거의 마우스 크기로 줄어 들게 되므로서 주변 장치의 크기가 장비의 설계에 커다란 영향을 끼치게 되었다. 따라서 이러한 문제점을 극복하기 위하여 본 발명에서는 상기 1,2항에서 고안한 가상화면 제공 방법을 마우스와 키보드에 적용하는 방안을 아래와 같이 고안하였다. As smaller information terminals have been reduced to the size of the mouse in the past, the size of the peripheral device has had a major impact on the design of the equipment. Therefore, in order to overcome such a problem, the present invention has devised a method of applying the virtual screen providing method devised in the above paragraphs 1,2 and mouse as follows.
첫째, 정보단말기(31) 디스플레이의 한곳(예;중앙)에 소프트적으로 마우스 커서를 고정적으로 오버레이 시킨다(30)(이하; 가상커서). 단, 필요 시 이 가상커서는 디스플레이가 공간적으로 이동 시에만 나타나게 프로그래밍 하므로써 평시 화면을 가리는 것을 방지할 수 있다.First, the mouse cursor is fixedly overlaid on a place (eg, the center) of the information terminal 31 (30) (hereinafter referred to as a virtual cursor). However, if necessary, this virtual cursor can be prevented from covering up the normal screen by programming the display to appear only when it moves spatially.
둘째, 정보단말기를 이동시켜 나타난 가상화면(32) 안에서 클릭이 필요한 위치를 디스플레이 상의 가상커서(33)(예;중앙) 아래에 오도록 한다. Secondly, the position where the click is required within the
세째, 정보단말기에 위치한 버튼을 클릭하여 가상커서를 클릭한다.Third, click the virtual cursor by clicking the button located on the information terminal.
이 방법은 디스플레이와 화면을 고정시키고 마우스를 움직이던 종래의 개념 을 반대로 적용하였다. 즉, 마우스 커서를 디스플레이의 한곳에 위치시키고 디스플레이를 이동시켜 가상화면을 이동시키는 방법으로 클릭이 필요한 곳을 가상 커서 아래로 이동시키는 새로운 개념을 고안하였다. 또한 이 방법은 동일한 개념을 키보드나 키패드에 적용하여 키보드를 대치한 가상키보드에도 사용할 수 있다. 예를 들면 핸드폰이나 PDA 화면에 키패드를 나타내고 핸드폰이나 PDA를 상하좌우로 이동시켜서 가상 커서 상에 필요한 키가 위치하게 하여 이를 클릭 하므로써 물리적인 키패드를 대신 할 수 있다. This method reverses the conventional concept of fixing the display and the screen and moving the mouse. In other words, the new concept of moving the virtual screen by placing the mouse cursor in one place of the display and moving the display moves the virtual cursor down the virtual cursor. The same concept can also be applied to a keyboard or keypad to replace a keyboard. For example, the keypad can be displayed on the screen of a mobile phone or PDA, and the required key is placed on the virtual cursor by moving the mobile phone or PDA up, down, left, or right to replace the physical keypad.
나. 가상 커서를 위한 가상화면의 여분 설정방법I. How to configure extra virtual screen for virtual cursor
상기 방법을 실제로 적용하기 위해 가상 커서를 디스플레이 상의 절대 위치인 한곳에 위치 시에 가상화면을 이동시키면 가상화면의 변두리에 위치한 곳은 가상커서 아래로 이동시키기가 곤란하다. 따라서 이 문제를 극복하기 위하여는 실제화면 밖에 여분영역을 가상화면상에 나타내어 디스플레이를 이동 시에 실제화면의 가장자리까지 가상 커서를 갈 수 있도록 할 수 있다. 그러나 이 방법은 가상화면상 여분의 공간을 위한 메모리 공간을 필요로 하고 화면의 모습을 부자연스럽게 할 수도 있다.In order to actually apply the method, if the virtual screen is moved when the virtual cursor is positioned at an absolute position on the display, it is difficult to move the virtual cursor below the virtual cursor at the edge of the virtual screen. Therefore, in order to overcome this problem, an extra area is displayed on the virtual screen outside the actual screen so that the virtual cursor can be moved to the edge of the actual screen when the display is moved. However, this method requires extra memory space for virtualization and can make the screen look unnatural.
가상화면의 여분공간을 줄이기 위해서는 정보단말기를 사용자 앞으로 내밀어 가상화면을 확대하여 사용하면 디스플레이 변두리와 가상 커서 간의 거리이격효과가 줄어드므로 가상화면의 여분공간 폭을 줄일 수 있다. 예를들면, 실제 제품에 적용 시에는 4배 확대된 가상 화면에서는 디스플레이 폭의 1/4 만큼의 여분의 공간이면 화면의 변두리까지를 중앙에 위치시킨 가상 커서 아래로 이동시킬 수 있다.In order to reduce the extra space of the virtual screen, the information terminal is extended to the user and the virtual screen is enlarged so that the distance between the display edge and the virtual cursor is reduced, thereby reducing the extra space of the virtual screen. For example, when applied to a real product, in a virtual screen enlarged 4 times, if the extra space is 1/4 of the display width, the edge of the screen can be moved under the virtual cursor centered.
본 발명에서 제시한 방법은 마우스나 키패드 등의 인터페이스 장치를 소프트적으로 대신 할 수 있으므로 제조 비용의 절감과 소형/경량화를 실현시킬 수 있다.The method proposed in the present invention can replace the interface device such as a mouse or a keypad softly and can realize a reduction in manufacturing cost and a small size / light weight.
다. 디스플레이 이동정보를 이용하여 All. Using display movement information 가상커서를Virtual cursor 이동시켜 클릭 방법 How to move it and click
가상화면을 확대하지 않고 본래의 화면에서 가상커서를 사용할 경우에는 디스플레이의 이동 정보를 가상커서에 연동시켜 가상커서를 화면 위에서 이동 시키는 방법에 의하여 디스플레이 자체를 마우스로 사용할 수도 있다. 이 방법은 상기 나항의 변두리를 가상커서 아래로 이동 시키기 위하여 여분의 공간을 부여 시의 단점을 제거하기 위하여 사용 될 수 있다. 즉, 디스플레이 창이 가상공간의 변두리를 나타내면 더 이상의 가상화면 이동을 중지하고 이때 부터는 가상 커서를 이동하게 하는 방법을 적용하므로써 상기 나 항에서 기술한 가상화면의 여분의 공간을 나타내는 것을 대신하여 가상 커서로 화면의 변두리에 위치한 클릭바를 클릭 할 수 있게 해준다. 물론 이때 디스플레이 이동과 화면상의 가상커서 이동 속도를 조절 시키므로써 사용자의 편의를 보완할 수 있다.When the virtual cursor is used on the original screen without enlarging the virtual screen, the display itself may be used as a mouse by moving the virtual cursor on the screen by interlocking the movement information of the display with the virtual cursor. This method can be used to eliminate the drawbacks of giving extra space to move the edge of the term below the virtual cursor. In other words, if the display window shows the edge of the virtual space, the virtual screen stops moving further and the virtual cursor is moved from this point onwards. Allows you to click on the click bar at the edge of the screen. Of course, the user's convenience can be supplemented by adjusting the display movement and the virtual cursor movement speed on the screen.
본 발명은 The present invention
첫째; 소형 정보단말기의 디스플레이 창의 한계를 극복하고 이를 가상화면으로 확대하여 주므로 보다 넓은 공간에 메뉴나 각종 정보를 표시할 수 있게 해준다. 따라서 이를 핸드폰에 적용 시에는 디스플레이의 크기를 증가시키지 않고도 넓은 화면상에 정보를 제공할 수 있다. first; It overcomes the limitations of the display window of the small information terminal and expands it to the virtual screen, making it possible to display menus and various information in a larger space. Therefore, when applied to a mobile phone can provide information on a wide screen without increasing the size of the display.
둘째; 돋보기로 신문을 읽듯이 정보단말기를 상하좌우로 이동시키는 사용자의 움직임에 연동 되어 확장된 가상화면을 연속적으로 보여 줄 수 있고 화면확대 및 축소가 필요시에는 정보단말을 단순히 사용자의 전면으로 내밀어 주거나 당겨 주는 동작만으로 화면의 확대 및 축소가 가능하므로 사람이 일상에서 물건이나 정보를 얻는 방법과 매우 유사한 수준의 자연스러움을 제공한다. second; Like reading a newspaper with a magnifying glass, the user can move the information terminal up, down, left, and right to show the extended virtual screen continuously, and when the screen needs to be enlarged or reduced, simply push or pull the information terminal to the front of the user. It can zoom in and out by just giving, giving a level of naturalness that is very similar to how people get things or information in their daily lives.
셋째; 상기의 기능이 별도의 키 조작이 없이 사용자의 자연스러운 움직임으로 구현이 가능하다.third; The above function can be implemented by the user's natural movement without a separate key operation.
넷째; 카메라를 이용한 정보단말의 움직임 식별방법은 별도의 하드웨어 추가 없이 정보단말의 움직임을 식별할 수 있어 장비의 소형 경량화는 물론 비용의 증가를 요구하지 않는다.fourth; The motion identification method of the information terminal using a camera can identify the motion of the information terminal without adding additional hardware, and thus does not require small and light weight of the equipment and increase of cost.
다섯째; 가상화면을 고정 시키고 정보단말기를 움직여 필요한 화면의 위치를 찾아보는 방법을 마우스나 키패드에 적용 시에는 정보단말기의 마우스나 키패드를 대신 할 수 있어 장비의 소형화/경량화를 강화 시키고 비용을 절감할 수 있다.fifth; When applying the method of fixing the virtual screen and moving the information terminal to find the required screen position on the mouse or keypad, it can replace the mouse or keypad of the information terminal, which can enhance the miniaturization / light weight of the equipment and reduce the cost. .
Claims (3)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060108060A KR20070004466A (en) | 2006-11-03 | 2006-11-03 | The vilture screen and mouse curcer moving method by movement of the display of hand helded information equipment |
PCT/KR2007/005555 WO2008054185A1 (en) | 2006-11-03 | 2007-11-05 | Method of moving/enlarging/reducing a virtual screen by movement of display device and hand helded information equipment using the same |
KR1020070112106A KR100963679B1 (en) | 2006-11-03 | 2007-11-05 | Display method of a virtual screen by movement of hand helded information equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060108060A KR20070004466A (en) | 2006-11-03 | 2006-11-03 | The vilture screen and mouse curcer moving method by movement of the display of hand helded information equipment |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20070004466A true KR20070004466A (en) | 2007-01-09 |
Family
ID=37870661
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060108060A KR20070004466A (en) | 2006-11-03 | 2006-11-03 | The vilture screen and mouse curcer moving method by movement of the display of hand helded information equipment |
KR1020070112106A KR100963679B1 (en) | 2006-11-03 | 2007-11-05 | Display method of a virtual screen by movement of hand helded information equipment |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070112106A KR100963679B1 (en) | 2006-11-03 | 2007-11-05 | Display method of a virtual screen by movement of hand helded information equipment |
Country Status (2)
Country | Link |
---|---|
KR (2) | KR20070004466A (en) |
WO (1) | WO2008054185A1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009096644A1 (en) * | 2008-02-01 | 2009-08-06 | Lg Electronics Inc. | A user interface for a mobile device |
WO2009128593A1 (en) * | 2008-04-17 | 2009-10-22 | Lg Electronics Inc. | Method and device for controlling user interface based on user's gesture |
KR20100048747A (en) * | 2008-10-31 | 2010-05-11 | 한국과학기술원 | User interface mobile device using face interaction |
US8195220B2 (en) | 2008-02-01 | 2012-06-05 | Lg Electronics Inc. | User interface for mobile devices |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101527017B1 (en) * | 2008-12-22 | 2015-06-09 | 엘지전자 주식회사 | Mobile terminal and method displaying broadcasting channel thereof |
KR101596673B1 (en) * | 2009-09-01 | 2016-02-23 | 엘지전자 주식회사 | Image Display Device and Operating Method for the Same |
KR101250201B1 (en) * | 2009-09-22 | 2013-04-03 | 에스케이플래닛 주식회사 | Mobile terminal and method for displaying object using distance sensing |
US10872454B2 (en) * | 2012-01-06 | 2020-12-22 | Microsoft Technology Licensing, Llc | Panning animations |
US9201625B2 (en) | 2012-06-22 | 2015-12-01 | Nokia Technologies Oy | Method and apparatus for augmenting an index generated by a near eye display |
CN104216634A (en) * | 2014-08-27 | 2014-12-17 | 小米科技有限责任公司 | Method and device for displaying manuscript |
KR101875425B1 (en) * | 2018-03-19 | 2018-07-09 | 이민영 | System for education golf using an augmented reality |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2554740B2 (en) * | 1989-04-10 | 1996-11-13 | 株式会社東芝 | Enlarged display method of trend graph |
US6668177B2 (en) * | 2001-04-26 | 2003-12-23 | Nokia Corporation | Method and apparatus for displaying prioritized icons in a mobile terminal |
US6879331B2 (en) * | 2002-10-03 | 2005-04-12 | International Business Machines Corporation | Method and apparatus for implementing enlarged virtual screen using dynamic zone-compression of screen content |
KR20050092137A (en) * | 2004-03-15 | 2005-09-21 | 차호석 | Method for displaying image data using a mobile phone and computer readable record medium on which a program therefor is recorded |
KR20050116661A (en) * | 2004-06-08 | 2005-12-13 | 이상백 | Method for displaying contents in mobile terminal having restricted size display and mobile terminal thereof |
KR100725014B1 (en) * | 2005-01-20 | 2007-06-04 | 에스케이 텔레콤주식회사 | Method and apparatus for displaying according to moving of terminal |
-
2006
- 2006-11-03 KR KR1020060108060A patent/KR20070004466A/en not_active Application Discontinuation
-
2007
- 2007-11-05 WO PCT/KR2007/005555 patent/WO2008054185A1/en active Application Filing
- 2007-11-05 KR KR1020070112106A patent/KR100963679B1/en not_active IP Right Cessation
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009096644A1 (en) * | 2008-02-01 | 2009-08-06 | Lg Electronics Inc. | A user interface for a mobile device |
US8195220B2 (en) | 2008-02-01 | 2012-06-05 | Lg Electronics Inc. | User interface for mobile devices |
US8423076B2 (en) | 2008-02-01 | 2013-04-16 | Lg Electronics Inc. | User interface for a mobile device |
WO2009128593A1 (en) * | 2008-04-17 | 2009-10-22 | Lg Electronics Inc. | Method and device for controlling user interface based on user's gesture |
US9582049B2 (en) | 2008-04-17 | 2017-02-28 | Lg Electronics Inc. | Method and device for controlling user interface based on user's gesture |
KR20100048747A (en) * | 2008-10-31 | 2010-05-11 | 한국과학기술원 | User interface mobile device using face interaction |
Also Published As
Publication number | Publication date |
---|---|
KR20080040614A (en) | 2008-05-08 |
KR100963679B1 (en) | 2010-06-15 |
WO2008054185A1 (en) | 2008-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100963679B1 (en) | Display method of a virtual screen by movement of hand helded information equipment | |
JP5724543B2 (en) | Terminal device, object control method, and program | |
US9571734B2 (en) | Multi display device and method of photographing thereof | |
US20020158908A1 (en) | Web browser user interface for low-resolution displays | |
KR100764698B1 (en) | Mobile device and user interface control method therefor based on pattern cognition and analysis of image captured by camera | |
KR20070026659A (en) | Discontinuous zoom | |
JPH0713554A (en) | Device and method for display | |
RU2606214C2 (en) | Control device, image forming system, control method and record medium | |
US9544556B2 (en) | Projection control apparatus and projection control method | |
US20130088429A1 (en) | Apparatus and method for recognizing user input | |
JP2006236013A (en) | Environmental information exhibition device, environmental information exhibition method and program for the method | |
JP2012502580A (en) | Display device and method for displaying an image in a display area of variable size | |
JP2002351603A (en) | Portable information processor | |
US10748000B2 (en) | Method, electronic device, and recording medium for notifying of surrounding situation information | |
KR101242848B1 (en) | Virtual touch screen apparatus for generating and manipulating | |
JP2004193933A (en) | Image enlargement display method, its apparatus, and medium program | |
US11915671B2 (en) | Eye gaze control of magnification user interface | |
US20210117048A1 (en) | Adaptive assistive technology techniques for computing devices | |
KR20150106330A (en) | Image display apparatus and image display method | |
CN107870703A (en) | Method, system and the terminal device of full-screen picture displaying | |
EP2584451A2 (en) | Method for adjusting video image compression using gesture | |
CN103391396A (en) | Display control apparatus, display control method, and program | |
US20070216762A1 (en) | Video Device | |
EP2847685B1 (en) | Method for controlling a display apparatus using a camera based device and device thereof. | |
KR20180052501A (en) | Display device and operating method thereof for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal |