KR20070058893A - Image display apparatus for operating user interface and method thereof - Google Patents

Image display apparatus for operating user interface and method thereof Download PDF

Info

Publication number
KR20070058893A
KR20070058893A KR1020050117721A KR20050117721A KR20070058893A KR 20070058893 A KR20070058893 A KR 20070058893A KR 1020050117721 A KR1020050117721 A KR 1020050117721A KR 20050117721 A KR20050117721 A KR 20050117721A KR 20070058893 A KR20070058893 A KR 20070058893A
Authority
KR
South Korea
Prior art keywords
user interface
marker
movement
dimensional
size
Prior art date
Application number
KR1020050117721A
Other languages
Korean (ko)
Other versions
KR100758985B1 (en
Inventor
조명진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050117721A priority Critical patent/KR100758985B1/en
Publication of KR20070058893A publication Critical patent/KR20070058893A/en
Application granted granted Critical
Publication of KR100758985B1 publication Critical patent/KR100758985B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

An image display apparatus and a method for the same are provided to conveniently operate a three-dimensional UI(User Interface) by detecting the movement of a remote control with a marker using a camera within the image displaying apparatus. A UI generating unit(140) generates a three-dimensional UI to output the UI on a screen. An image capturing unit(110) captures an image of an external remote control with a marker. A detecting unit(120) detects the movement of the marker and the change in size of the marker using data obtained by the image capturing unit(110). A controller(130) controls the UI generating unit(140) to change the display type of the three-dimensional UI according to the movement of the marker and the change in size of the marker.

Description

유저인터페이스를 조작하는 영상 디스플레이 장치 및 그 방법{Image display apparatus for operating user interface and method thereof}Image display apparatus for operating user interface and method thereof

도 1은 본 발명의 일 실시 예에 따른 영상 디스플레이 장치의 구성을 나타내는 블록도,1 is a block diagram showing a configuration of an image display apparatus according to an embodiment of the present invention;

도 2는 외부 리모콘 이동을 촬상하는 것을 설명하는 모식도, 2 is a schematic diagram for explaining imaging of an external remote control movement;

도 3은 마커(marker) 이동좌표 및 크기변화를 구하는 모식도,3 is a schematic diagram for obtaining a marker movement coordinate and size change;

도 4 내지 도 7은 본 발명의 일 실시 예에 따른 유저인터페이스 조작을 설명하는 모식도,4 to 7 is a schematic diagram illustrating a user interface operation according to an embodiment of the present invention,

도 8은 본 발명의 일 실시 예에 따른 유저인터페이스 조작을 설명하는 흐름도, 그리고,8 is a flowchart illustrating a user interface operation according to an embodiment of the present invention;

도 9는 도 8에 따른 이동좌표 및 크기변화비율 구하는 방법을 설명하는 흐름도이다.9 is a flowchart illustrating a method of obtaining a moving coordinate and a rate of change of size according to FIG. 8.

*도면의 주요 부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

110: 촬상부 120: 검출부110: imaging unit 120: detection unit

130: 제어부 140: UI생성부130: control unit 140: UI generation unit

본 발명은 유저인터페이스를 조작하는 영상 디스플레이 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 외부 리모콘을 통해 3차원적으로 입력된 사용자명령을 영상 디스플레이 장치 내부에 구비된 카메라로 감지하여 유저인터페이스를 조작하는 영상 디스플레이 장치에 관한 것이다.The present invention relates to an image display apparatus for operating a user interface and a method thereof, and more particularly, to manipulate a user interface by detecting a user command input three-dimensionally through an external remote controller with a camera provided inside the image display apparatus. It relates to a video display device.

유저인터페이스(User Interface)는 영상 디스플레이 장치와 사용자가 상호 작용할 수 있는 수단을 통칭한다. 유저인터페이스에는 PUI(Physical User Interface), GUI(Graphical User Interface)등이 있다.A user interface refers to a means for allowing a user to interact with a video display device. The user interface includes a physical user interface (PUI), a graphical user interface (GUI), and the like.

PUI는 자판, 리모콘, 터치패드 등과 같이 물리적인 방법으로 사용자명령을 입력하는 수단을 말하며, GUI는 디스플레이상에 표시되는 아이콘이나 메뉴를 선택함으로서 사용자명령을 입력하는 수단을 말한다.The PUI refers to a means for inputting a user command in a physical method such as a keyboard, a remote controller, a touch pad, and the like. The GUI refers to a means for inputting a user command by selecting an icon or a menu displayed on a display.

GUI를 통해 사용자는 디스플레이에 표시되는 메뉴, 리스트, 아이콘 등을 참조하여 커서를 이동시키고, 커서가 위치한 항목을 선택할 수 있다. 사용자는 PUI를 통해서 커서 이동 및, 항목 선택명령을 입력할 수 있다.The GUI allows the user to move the cursor and select an item where the cursor is located by referring to menus, lists, and icons displayed on the display. The user may input a cursor movement and item selection command through the PUI.

최근에는 사용자에게 우수한 시각적 효과를 제공하는 3차원-GUI가 개발되어 상용화되고 있다. 하지만, PUI는 2차원의 평면 조작으로, 리모콘 등에 구비된 상, 하, 좌, 우의 방향키를 여러 번 조작하여 원하는 메뉴로 이동하여 선택해야 한다는 번거로움이 있었다. Recently, 3D-GUI has been developed and commercialized to provide excellent visual effects to users. However, PUI is a two-dimensional plane operation, there is a hassle to move by selecting the desired menu by operating the up, down, left, right arrow keys provided in the remote control and the like several times.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 마커 가 부착된 리모콘의 이동을 영상 디스플레이 장치 내부의 카메라를 이용해 감지함으로써, 3차원 유저인터페이스를 조작할 수 있는 영상 디스플레이 장치 및 그 방법을 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to detect a movement of a remote controller equipped with a marker by using a camera inside an image display apparatus, and thus an image display apparatus capable of manipulating a three-dimensional user interface. In providing a method.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 디스플레이 장치는 3차원 유저인터페이스를 생성하여 화면상에 출력하는 UI생성부, 마커가 부착된 외부 리모콘을 촬상하는 촬상부, 상기 촬상부에 의해 촬상된 데이터를 이용하여 상기 마커의 이동 및 크기 변화를 검출하는 검출부, 및 상기 마커의 이동 및 크기 변화에 따라 상기 3차원 유저인터페이스의 표시 형태를 변경시키도록 상기 UI 생성부를 제어하는 제어부를 포함한다.According to an aspect of the present invention, there is provided an image display apparatus according to an embodiment of the present invention, which generates a 3D user interface and outputs it on a screen. A detector which detects a movement and a size change of the marker using data captured by the unit, and a controller which controls the UI generation unit to change the display form of the 3D user interface according to the movement and the size change of the marker It includes.

바람직하게는, 상기 UI 생성부는, 복수 개의 2차원 유저인터페이스가 중첩되어 표시되는 형태로 상기 3차원 유저인터페이스를 생성하며, 상기 복수 개의 2차원 유저인터페이스 중 최상위에 표시되는 유저인터페이스 상의 일 영역에 커서를 표시할 수 있다.Preferably, the UI generating unit generates the three-dimensional user interface in a form in which a plurality of two-dimensional user interfaces are displayed in an overlapping manner, and the cursor is positioned on an area on the user interface displayed at the top of the plurality of two-dimensional user interfaces. Can be displayed.

보다 바람직하게는, 상기 제어부는, 상기 마커의 이동이 검출되면 상기 마커의 이동 거리 및 이동 방향에 따라서 상기 최상위 유저인터페이스 상에서 상기 커서를 이동시키며, 상기 마커의 크기 변화가 검출되면, 크기 변화 비율에 따라 상기 복수 개의 2차원 유저인터페이스 중 상기 최상위 유저인터페이스의 이전 유저인터페이스 및 다음 유저인터페이스 중 하나를 최상위에 표시하도록 상기 UI 생성부를 제어할 수 있다.More preferably, when the movement of the marker is detected, the controller moves the cursor on the top user interface according to the movement distance and the movement direction of the marker. Accordingly, the UI generation unit may be controlled to display one of the previous user interface and the next user interface of the plurality of two-dimensional user interfaces at the highest level.

한편, 본 발명의 일 실시 예에 따른 유저인터페이스 조작방법은 복수 개의 2차원 유저인터페이스가 중첩되어 표시되는 형태인 3차원 유저인터페이스를 생성하여 화면상에 출력하는 단계, 상기 복수 개의 2차원 유저인터페이스 중 최상위에 표시되는 유저인터페이스 상의 일 영역에 커서를 표시하는 단계, 마커가 부착된 외부 리모콘을 촬상하는 단계, 촬상된 데이터를 이용하여 상기 마커의 이동 및 크기 변화를 검출하는 단계, 및 상기 마커의 이동 및 크기 변화에 따라 상기 3차원 유저인터페이스의 표시 형태를 변경시키는 단계를 포함할 수 있다.On the other hand, the user interface operation method according to an embodiment of the present invention comprises the steps of generating a three-dimensional user interface that is a form in which a plurality of two-dimensional user interface is displayed overlapping, among the plurality of two-dimensional user interface Displaying a cursor in an area on a user interface displayed at the top, imaging an external remote controller with a marker, detecting movement and size change of the marker using the captured data, and movement of the marker And changing the display form of the 3D user interface according to the size change.

보다 바람직하게는, 상기 3차원 유저인터페이스의 표시 형태를 변경시키는 단계는 상기 마커의 이동이 검출되면 상기 마커의 이동 거리 및 이동 방향에 따라서 상기 최상위 유저인터페이스 상에서 상기 커서를 이동시키는 단계, 및, 상기 마커의 크기 변화가 검출되면, 크기 변화 비율에 따라 상기 복수 개의 2차원 유저인터페이스 중에서 상기 최상위 유저인터페이스의 이전 유저인터페이스 및 다음 유저인터페이스 중 하나를 최상위에 표시하는 단계를 더 포함할 수 있다.More preferably, the step of changing the display form of the three-dimensional user interface is to move the cursor on the top user interface according to the movement distance and the movement direction of the marker when the movement of the marker is detected, and the When the change in the size of the marker is detected, the method may further include displaying one of the previous user interface and the next user interface of the plurality of two-dimensional user interfaces at the top of the plurality of two-dimensional user interfaces.

이하에서, 첨부된 도면을 참조하여 본 발명에 대하여 자세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the present invention.

도 1은 본 발명의 일 실시 예에 따른 영상 디스플레이장치의 구성을 나타내는 블록도이다. 도 1에 따르면, 영상 디스플레이장치(100)는 촬상부(110), 검출부(120), 제어부(130), UI(User Interface)생성부(140)를 포함한다.1 is a block diagram illustrating a configuration of an image display apparatus according to an exemplary embodiment. According to FIG. 1, the image display apparatus 100 includes an imaging unit 110, a detector 120, a controller 130, and a user interface (UI) generator 140.

UI생성부(140)는 외부의 리모콘 입력에 따라 영상 디스플레이 장치(100)의 화면상에 소정의 3차원 유저인터페이스를 생성하여 표시한다. 3차원 유저인터페이스란 복수 개의 2차원 유저인터페이스가 중첩되어 표시되는 형태이다.The UI generator 140 generates and displays a predetermined 3D user interface on the screen of the image display apparatus 100 according to an external remote controller input. The three-dimensional user interface is a form in which a plurality of two-dimensional user interfaces are overlapped and displayed.

외부 리모콘은 전면부에 형광물질의 마커를 부착하고 있다. UI생성부(140)는 외부 리모콘에 구비된 기능키의 입력 및 리모콘의 이동에 따라 유저인터페이스를 변경하여 생성한다.The external remote control has a fluorescent marker on the front. The UI generation unit 140 generates and changes a user interface according to the input of a function key provided in the external remote controller and the movement of the remote controller.

촬상부(110)는 마커가 부착된 외부 리모콘의 이동을 촬상하여 마커의 이동방향 및 마커크기를 촬상한다. 촬상부(110)는 카메라로 구현될 수 있다. 구체적으로는, 영상 디스플레이장치(100)의 내부 또는 외부에 카메라를 장착하여 마커의 이동 및 크기를 촬상할 수 있다. 촬상부(110)는 외부 리모콘의 마커의 이동 및 크기변화만을 촬상한다. 한편, 촬상부(110)는 외부 리모콘에서 소정의 키가 선택되었을 때 마커의 이동 및 크기를 촬상할 수 있다. 또한, 카메라 렌즈를 통해서 볼 수 있는 범위 즉, FOV(Field Of View)안에서만 마커의 이동 및 크기를 촬상할 수 있다. 도 2를 통해서 촬상부(110)를 설명할 수 있다.The imaging unit 110 captures the movement of the external remote controller to which the marker is attached to capture the moving direction and the marker size of the marker. The imaging unit 110 may be implemented as a camera. Specifically, the camera may be mounted inside or outside the image display apparatus 100 to capture the movement and size of the marker. The imaging unit 110 captures only the movement and the size change of the marker of the external remote controller. Meanwhile, the imaging unit 110 may capture the movement and size of the marker when a predetermined key is selected on the external remote controller. In addition, the movement and the size of the marker may be captured only within a range visible through the camera lens, that is, within a field of view (FOV). 2, the imaging unit 110 may be described.

도 2는 외부 리모콘 이동을 촬상하는 것을 설명하는 모식도이다. 도 2에 따르면, 도 2는 리모콘(20)의 이동에 따라 영상 디스플레이장치(100)에 구비된 촬상부(110)가 렌즈(10)의 FOV(200)안에서 마커(21)의 이동을 감지하는 것을 보여준다. 2 is a schematic diagram for explaining imaging of an external remote control movement. According to FIG. 2, FIG. 2 shows that the image pickup unit 110 included in the image display apparatus 100 detects the movement of the marker 21 in the FOV 200 of the lens 10 according to the movement of the remote controller 20. Shows that

마커의 크기는 영상 디스플레이장치(100) 쪽으로 가까워질수록 촬상부(110)에서는 크게 인식하고, 멀어질수록 작게 인식한다.As the size of the marker approaches the image display apparatus 100, the size of the marker is recognized by the imaging unit 110, and as it moves away, the size of the marker is perceived to be smaller.

검출부(120)에서는 촬상부(110)에서 촬상된 마커의 이동을 2차원 좌표 X축 및 Y축 좌표로 검출하며, 마커의 기준크기에 따른 변화크기의 비율을 검출한다. 도 3을 통해 검출부(120)의 기능을 구체적으로 설명할 수 있다.The detector 120 detects the movement of the marker captured by the imaging unit 110 in two-dimensional coordinates of the X-axis and the Y-axis coordinates, and detects a ratio of the change size according to the reference size of the marker. 3, the function of the detector 120 may be described in detail.

도 3은 마커(marker) 이동좌표 및 크기변화비율을 구하는 모식도이다. 도 3 에 따르면, 도 3의 (a)는 2차원 평면이동 X축 및 Y축 좌표값을 검출하는 것을 설명한다. 카메라 렌즈(10)의 FOV범위(200) 안에서 리모콘의 이동이 촬상된 것을 알 수 있다. 즉, 이동 시작마커(A)의 한 부분을 초기값 (0,0)으로 설정하여 마커의 이동거리를 구하고, 이동거리와 초기값을 이용하여 이동된 마커(B)의 이동점으로 X 및 Y의 좌표변화를 검출할 수 있다. 3 is a schematic diagram for obtaining a marker moving coordinate and a rate of change in size. According to FIG. 3, FIG. 3A illustrates detecting two-dimensional plane movement X-axis and Y-axis coordinate values. It can be seen that the movement of the remote controller is captured within the FOV range 200 of the camera lens 10. That is, the moving distance of the marker is obtained by setting a portion of the moving start marker A to the initial value (0,0), and the moving point of the marker B moved using the moving distance and the initial value X and Y. Coordinate change of can be detected.

한편, 도 3의 (b)는 마커의 크기변화를 이용하여 크기 변화비율을 구하는 것을 설명한다. 마커의 크기는 촬상부(110)에서 촬상된 마커의 각 꼭지점 좌표를 이용하여 구할 수 있다. 마커의 초기 크기(C)를 기준으로 E는 리모콘이 영상 디스플레이장치 쪽으로 가까워진 것으로, 촬상된 마커의 크기가 커진 것을 알 수 있다. 또한, 마커의 초기 크기(C)를 기준으로 D는 리모콘이 영상 디스플레이장치에서 멀어지는 쪽으로 움직인 것으로, 촬상된 마커의 크기가 작아진 것을 알 수 있다. On the other hand, Figure 3 (b) will be described for obtaining the size change ratio using the size change of the marker. The size of the marker may be calculated using coordinates of each vertex of the marker captured by the imaging unit 110. Based on the initial size C of the marker, E indicates that the remote controller is closer to the image display device, and the size of the imaged marker is increased. In addition, based on the initial size (C) of the marker, D moves the remote controller away from the image display device, and it can be seen that the size of the imaged marker is reduced.

마커의 초기 크기를 기준으로 마커의 크기변화비율을 구할 수 있다. 이에 따라, 제어부(130)는 복수 개의 2차원 유저인터페이스가 중첩되어 표시되는 형태인 3차원 유저인터페이스에서 촬상된 마커의 크기변화비율을 이용하여 유저인터페이스 화면의 커서를 이동시켜 화면을 변경시킬 수 있다.The rate of change of the size of the marker can be obtained based on the initial size of the marker. Accordingly, the controller 130 may change the screen by moving the cursor of the user interface screen by using the size change rate of the marker captured in the 3D user interface in which a plurality of 2D user interfaces are overlapped and displayed. .

검출된 크기변화비율이 기준크기비율의 이상인지 이하인지 제어부(130)에서 판단하여 3차원 유저인터페이스를 마커의 이동에 대응되게 이동시킨다. The controller 130 determines whether the detected size change ratio is greater than or equal to the reference size ratio and moves the 3D user interface corresponding to the movement of the marker.

제어부(130)는 검출된 마커의 이동 및 크기 변화에 따라 3차원 유저인터페이스의 표시형태를 변경시키도록 UI생성부(140)를 제어한다. The controller 130 controls the UI generator 140 to change the display form of the 3D user interface according to the movement and the size change of the detected marker.

제어부(140)는 마커의 크기변화비율에 따라 복수 개의 2차원 유저인터페이스 중 최상위 유저인터페이스의 이전 유저인터페이스 및 다음 유저인터페이스 중 하나를 최상위에 표시하도록 UI생성부(140)를 제어하여 3차원 유저인터페이스의 표시형태를 변경시킨다.The controller 140 controls the UI generating unit 140 to display one of the previous user interface and the next user interface among the plurality of two-dimensional user interfaces at the top of the plurality of two-dimensional user interfaces according to the size change rate of the marker, thereby controlling the three-dimensional user interface. Change the display format of.

구체적으로 설명한다면 다음과 같다. 복수 개의 2차원 유저인터페이스가 중첩되어 표시되는 3차원 유저인터페이스에서, 외부 리모콘의 2차원 평면이동이 촬상부(110)에 촬상되면 복수 개의 2차원 중에서 커서가 표시된 최상위 유저인터페이스의 일 영역으로 리모콘의 이동과 대응되게 제어부(140)가 커서를 이동시킨다. 또한, 복수 개의 2차원 유저인터페이스 중 어느 하나로 이동하기 위해서는 마커의 크기를 변화시키는 Z축 입력 키의 입력을 받은 뒤에 마커의 크기를 촬상부(110)에서 촬상한다. 제어부(130)는 촬상된 마커의 크기변화비율을 기준크기변화비율에 비교하여 대응되는 2차원 유저인터페이스로 이동시킨다. 이에 따라, 사용자의 간단한 리모콘 이동으로 3차원 유저인터페이스를 조작할 수 있게 된다. Specifically, it is as follows. In a three-dimensional user interface in which a plurality of two-dimensional user interfaces are displayed in a superimposed manner, when the two-dimensional plane movement of the external remote controller is picked up by the imaging unit 110, one of the plurality of two-dimensional cursors is displayed as one area of the top user interface where the cursor is displayed. The controller 140 moves the cursor to correspond to the movement. In addition, in order to move to any one of the plurality of two-dimensional user interfaces, the image pickup unit 110 captures the size of the marker after receiving the Z-axis input key for changing the size of the marker. The controller 130 compares the size change rate of the imaged marker with the reference size change rate and moves the image to the corresponding two-dimensional user interface. Accordingly, the user can operate the three-dimensional user interface by simply moving the remote controller.

도 4 내지 도 7은 본 발명의 일 실시 예에 따른 유저인터페이스 조작을 설명하는 모식도이다. 4 to 7 are schematic diagrams illustrating a user interface operation according to an embodiment of the present invention.

도 4는 영상 디스플레이 장치의 화면상에 복수 개의 2차원 유저인터페이스가 중첩되어 표시된 3차원 유저인터페이스이다. 도 4에 따르면, 스크린 셋팅 UI창(a) 옵션 메뉴 UI창(b), Mode UI창(c) 등의 2차원 유저인터페이스가 중첩표시되어 3차원 유저인터페이스를 구성한다. 4 illustrates a three-dimensional user interface in which a plurality of two-dimensional user interfaces are overlapped and displayed on a screen of an image display apparatus. According to FIG. 4, two-dimensional user interfaces such as a screen setting UI window (a), an option menu UI window (b), and a Mode UI window (c) are overlapped to form a three-dimensional user interface.

현재 커서는 최상위에 있는 스크린 셋팅을 하는 유저인터페이스(a) 상의 일 영역, 즉, 노말(400) 영역에 표시되어 있는 것을 알 수 있다.It can be seen that the current cursor is displayed in one area on the user interface (a) that performs the screen setting at the top, that is, in the normal 400 area.

외부 리모콘에 부착된 마커의 크기변화에 따라 중첩된 2차원 유저인터페이스로 이동할 수 있다. 즉, 리모콘을 영상 디스플레이 장치 쪽으로 접근시키면, 촬상부(110)는 기준마커에 비해 크기가 커진 마커를 촬상하여 변화비율을 확인할 수 있다. 또한, 리모콘을 영상 디스플레이 장치에서 멀어지는 쪽으로 이동시키면, 촬상부(110)는 기준마커에 비해 크기가 작아진 마커를 촬상하여 변화비율을 확인할 수 있다. 도 5 및 도 6에서 마커 크기 변화비율에 따른 유저인터페이스의 이동을 설명한다. As the size of the marker attached to the external remote controller changes, the user can move to the superimposed two-dimensional user interface. That is, when the remote controller approaches the image display apparatus, the image pickup unit 110 may check the change rate by capturing a marker whose size is larger than that of the reference marker. In addition, when the remote control is moved away from the image display apparatus, the imaging unit 110 may check the change rate by capturing a marker having a smaller size than the reference marker. In FIG. 5 and FIG. 6, the movement of the user interface according to the marker size change rate will be described.

도 5는 도 4의 최상위 유저인터페이스(a)에서 다음 유저인터페이스(b)로 이동된 것을 나타낸다. 리모콘 이동에 따라 마커를 촬상하여, 마커의 초기 크기를 기준으로 크기변화를 구한다. 변화비율기준을 1.5로 설정하여, 마커의 크기 변화비율이 1.5 이상으로 마커의 크기가 커졌을 때에는 최상위 유저인터페이스(a)에서 다음 유저인터페이스(b)로 이동하게 된다. 따라서, 도 5와 같이 옵션 메뉴(Option menu)가 최상위 유저인터페이스(a)가 된다.FIG. 5 shows that the user interface (a) of FIG. 4 is moved to the next user interface (b). The marker is photographed according to the movement of the remote controller, and the size change is calculated based on the initial size of the marker. When the change ratio criterion is set to 1.5, and the size of the marker is increased to 1.5 or more, the size of the marker is moved from the highest user interface a to the next user interface b. Accordingly, as shown in FIG. 5, the option menu becomes the top user interface a.

만약, 도 4에서 감지된 마커의 크기변화비율이 4라면, 커서는 최상위 유저인터페이스(a)에서 다음, 다음 유저인터페이스(c)로 이동된다. 한편, 도 4에서 감지된 마커의 크기변화비율이 1.3이라면 유저인터페이스는 변동하지 않는다. If the size change rate of the marker detected in FIG. 4 is 4, the cursor is moved from the top user interface a to the next and next user interface c. On the other hand, if the size change ratio of the marker detected in FIG. 4 is 1.3, the user interface does not change.

도 6은 도 4의 최상위 유저인터페이스(a)에서 리모콘의 이동에 따라, 이전 유저인터페이스로 이동된 것을 나타낸다.FIG. 6 shows that the previous user interface has been moved according to the movement of the remote controller in the uppermost user interface a of FIG. 4.

마커의 크기변화비율이 0.7배 이하로 마커의 크기가 작아졌을 때에는, 도 4에서 가장 최상위에 있던 유저인터페이스는 도 6에서 두 번째 유저인터페이스(b)로 이동되어 표시된다. 또한, 이전 유저인터페이스가 최상위 유저인터페이스로 이동된다. 도 6에서는 오디오를 설정하는 유저인터페이스가 최상위 유저인터페이스(a)로 일 영역에 커서가 표시된다. When the size of the marker is 0.7 times or less and the size of the marker is smaller, the user interface at the top of FIG. 4 is moved to the second user interface b in FIG. 6 and displayed. Also, the previous user interface is moved to the top user interface. In FIG. 6, the user interface for setting audio is a top user interface a, and a cursor is displayed in one region.

도 7은 도 4의 최상위 유저인터페이스(a) 안의 영역 중 한 부분으로의 이동을 나타낸다. 마커의 이동이 기준점에서 아래로 이동되었을 때 이동거리를 구하여 이동된 점의 좌표를 검출할 수 있게 된다. 검출된 좌표와 3차원 유저인터페이스의 좌표가 매칭되는 일 영역으로 커서가 이동된다. 사용자의 리모콘 이동에 따라, 도 4의 일 영역(400)에서 도 7의 일 영역(700)으로 이동된 것을 알 수 있다.FIG. 7 shows the movement to one part of the area in the top user interface a of FIG. 4. When the movement of the marker is moved downward from the reference point, the moving distance can be obtained to detect the coordinates of the moved point. The cursor is moved to an area where the detected coordinates and the coordinates of the 3D user interface match. As the user moves the remote controller, the user may move from the one area 400 of FIG. 4 to the one area 700 of FIG. 7.

도 8은 본 발명의 일 실시 예에 따른 유저인터페이스 조작을 설명하는 흐름도이다. 복수 개의 2차원 유저인터페이스가 중첩되어 표시되는 형태인 3차원 유저인터페이스를 생성하여 화면상에 표시한다(S810). 표시된 복수 개의 2차원 유저인터페이스 중 최상위에 표시되는 유저인터페이스 상의 일 영역에 커서를 표시한다. 화면상에 표시된 3차원 유저인터페이스 중 하나의 2차원 유저인터페이스를 선택하기 위해, 사용자가 리모콘을 이동시키면, 마커의 이동 및 크기를 촬상하게된다(S820).8 is a flowchart illustrating a user interface operation according to an embodiment of the present invention. A three-dimensional user interface having a form in which a plurality of two-dimensional user interfaces are overlapped and generated is generated and displayed on the screen (S810). A cursor is displayed in one region on the user interface displayed at the top of the displayed plurality of two-dimensional user interfaces. In order to select a two-dimensional user interface of one of the three-dimensional user interface displayed on the screen, when the user moves the remote control, the movement and size of the marker are captured (S820).

촬상된 데이터를 이용하여 마커의 이동 및 크기변화를 검출한다(S830). 리모콘의 이동이 상, 하, 좌, 우의 2차원 평면이동일 때의 이동좌표 X축 및 Y축 좌표는 기준좌표와 이동거리를 이용하여 구할 수 있다. The movement and the size change of the marker are detected using the captured data (S830). The X and Y coordinates of the moving coordinates when the remote control is moved in two-dimensional plane movements of up, down, left and right can be obtained by using the reference coordinate and the moving distance.

또한, 마커의 크기변화를 검출하여, 기준 마커의 크기와의 변화비율을 구할 수 있다. 구해진 X축, Y축, 마커 크기변화비율로 대응되는 3차원 유저인터페이스로 이동하여 3차원 유저인터페이스의 표시형태를 변경할 수 있다(S840).In addition, by detecting the change in the size of the marker, it is possible to obtain a rate of change with the size of the reference marker. The display form of the 3D user interface may be changed by moving to the 3D user interface corresponding to the obtained X-axis, Y-axis, and marker size change rate (S840).

도 9는 도 8에 따른 이동좌표 및 크기변화비율 구하는 방법을 설명하는 흐름도이다. 도 9에 따르면, 리모콘의 이동이 감지되면(S910), 리모콘에 부착된 마커의 초기크기 및 이동 시작점을 (0,0)으로 초기값 설정을 한다(S920). 리모콘을 2차원 평면이동을 하였다면(S930), 초기값을 기준으로 이동한 이동거리를 계산한다(S940). 초기값과 이동거리를 이용하여 X축 및 Y축의 좌표를 검출한다(S950).9 is a flowchart illustrating a method of obtaining a moving coordinate and a rate of change of size according to FIG. 8. According to FIG. 9, when the movement of the remote controller is detected (S910), an initial value is set to (0,0) and the initial size of the marker attached to the remote controller (S920). If the remote control is moved in two-dimensional plane (S930), the moving distance is calculated based on the initial value (S940). The coordinates of the X and Y axes are detected using the initial value and the movement distance (S950).

한편, 깊이 방향으로 리모콘을 움직였을 때에는 마커의 초기크기를 기준으로 마커의 크기 변화를 구한다(S960). 마커의 크기변화에 따라 기준 마커의 크기와의 크기변화비율을 검출할 수 있다(S970). 마커의 크기변화비율에 따라, 리모콘의 Z축 이동을 검출하여 복수 개의 2차원 유저인터페이스가 충첩되어 표시되는 3차원 유저인터페이스에서 매칭되는 2차원 유저인터페이스를 선택할 수 있다. On the other hand, when the remote control is moved in the depth direction to obtain a change in the size of the marker based on the initial size of the marker (S960). According to the size change of the marker, the rate of change of the size and the size of the reference marker may be detected (S970). According to the size change rate of the marker, the Z-axis movement of the remote controller may be detected to select a matching 2D user interface in the 3D user interface in which a plurality of 2D user interfaces are folded and displayed.

이상 설명한 바와 같이, 본 발명에 따르면 마커가 부착된 리모콘의 이동을 영상 디스플레이 장치 내부의 카메라가 촬상하여 이동위치를 검출한다. 이에 따라, 마커의 이동방향과 동일하게 커서를 움직여 유저인터페이스 화면을 변경할 수 있다. 결과적으로 사용자에게 간단한 조작으로 3차원 유저인터페이스 메뉴를 선택할 수 하여 사용자의 편의를 도모한다.As described above, according to the present invention, the camera inside the image display apparatus captures the movement of the remote controller with the marker and detects the movement position. Accordingly, the user interface screen can be changed by moving the cursor in the same manner as the movement direction of the marker. As a result, the user can select a 3D user interface menu with a simple operation for the user's convenience.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지 식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어 져 서는 안될 것이다. In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the above-described specific embodiment, the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.

Claims (5)

3차원 유저인터페이스를 생성하여 화면상에 출력하는 UI생성부;A UI generator for generating a 3D user interface and outputting the same on a screen; 마커가 부착된 외부 리모콘을 촬상하는 촬상부;An imaging unit for photographing an external remote controller with a marker; 상기 촬상부에 의해 촬상된 데이터를 이용하여 상기 마커의 이동 및 크기 변화를 검출하는 검출부; 및A detector which detects a movement and a change in size of the marker by using the data captured by the image pickup unit; And 상기 마커의 이동 및 크기 변화에 따라 상기 3차원 유저인터페이스의 표시 형태를 변경시키도록 상기 UI 생성부를 제어하는 제어부;를 포함하는 것을 특징으로 하는 영상 디스플레이 장치.And a controller configured to control the UI generator to change the display form of the 3D user interface according to the movement and the size change of the marker. 제1항에 있어서,The method of claim 1, 상기 UI 생성부는,The UI generator, 복수 개의 2차원 유저인터페이스가 중첩되어 표시되는 형태로 상기 3차원 유저 인터페이스를 생성하며, 상기 복수 개의 2차원 유저인터페이스 중 최상위에 표시되는 유저인터페이스 상의 일 영역에 커서를 표시하는 것을 특징으로 하는 영상 디스플레이 장치.The three-dimensional user interface is generated in such a manner that a plurality of two-dimensional user interfaces are displayed in an overlapping manner, and the image display comprises displaying a cursor in a region on the user interface displayed at the top of the plurality of two-dimensional user interfaces. Device. 제2항에 있어서,The method of claim 2, 상기 제어부는,The control unit, 상기 마커의 이동이 검출되면 상기 마커의 이동 거리 및 이동 방향에 따라서 상기 최상위 유저인터페이스 상에서 상기 커서를 이동시키며, 상기 마커의 크기 변화가 검출되면, 크기 변화 비율에 따라 상기 복수 개의 2차원 유저인터페이스 중 상기 최상위 유저인터페이스의 이전 유저인터페이스 및 다음 유저인터페이스 중 하나를 최상위에 표시하도록 상기 UI 생성부를 제어하는 것을 특징으로 하는 영상 디스플레이 장치.When the movement of the marker is detected, the cursor is moved on the uppermost user interface according to the movement distance and the movement direction of the marker. When the variation of the size of the marker is detected, the plurality of two-dimensional user interfaces are changed according to the size change ratio. And controlling the UI generator to display one of a previous user interface and a next user interface on the top user interface. 복수 개의 2차원 유저인터페이스가 중첩되어 표시되는 형태인 3차원 유저인터페이스를 생성하여 화면상에 출력하는 단계;Generating and outputting a three-dimensional user interface on a screen in which a plurality of two-dimensional user interfaces are overlapped and displayed; 상기 복수 개의 2차원 유저인터페이스 중 최상위에 표시되는 유저인터페이스 상의 일 영역에 커서를 표시하는 단계;Displaying a cursor in an area on a user interface displayed at the top of the plurality of two-dimensional user interfaces; 마커가 부착된 외부 리모콘을 촬상하는 단계;Imaging the external remote controller with a marker attached thereto; 촬상된 데이터를 이용하여 상기 마커의 이동 및 크기 변화를 검출하는 단계; 및Detecting movement and size change of the marker using the captured data; And 상기 마커의 이동 및 크기 변화에 따라 상기 3차원 유저인터페이스의 표시 형태를 변경시키는 단계;를 포함하는 것을 특징으로 하는 유저인터페이스 조작 방법.And changing a display form of the three-dimensional user interface according to the movement and size change of the marker. 제4항에 있어서,The method of claim 4, wherein 상기 3차원 유저인터페이스의 표시 형태를 변경시키는 단계는,Changing the display form of the three-dimensional user interface, 상기 마커의 이동이 검출되면 상기 마커의 이동 거리 및 이동 방향에 따라서 상기 최상위 유저인터페이스 상에서 상기 커서를 이동시키는 단계; 및,Moving the cursor on the top user interface according to a movement distance and a movement direction of the marker when the movement of the marker is detected; And, 상기 마커의 크기 변화가 검출되면, 크기 변화 비율에 따라 상기 복수 개의 2차원 유저인터페이스 중에서 상기 최상위 유저인터페이스의 이전 유저인터페이스 및 다음 유저인터페이스 중 하나를 최상위에 표시하는 단계;를 포함하는 것을 특징으로 하는 유저인터페이스 조작 방법.If one of the size change of the marker is detected, displaying one of the previous user interface and the next user interface of the top user interface among the plurality of two-dimensional user interfaces at the top of the plurality of two-dimensional user interfaces; How to operate the user interface.
KR1020050117721A 2005-12-05 2005-12-05 Image display apparatus for operating user interface and method thereof KR100758985B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050117721A KR100758985B1 (en) 2005-12-05 2005-12-05 Image display apparatus for operating user interface and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050117721A KR100758985B1 (en) 2005-12-05 2005-12-05 Image display apparatus for operating user interface and method thereof

Publications (2)

Publication Number Publication Date
KR20070058893A true KR20070058893A (en) 2007-06-11
KR100758985B1 KR100758985B1 (en) 2007-09-17

Family

ID=38355465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050117721A KR100758985B1 (en) 2005-12-05 2005-12-05 Image display apparatus for operating user interface and method thereof

Country Status (1)

Country Link
KR (1) KR100758985B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110091405A (en) * 2010-02-05 2011-08-11 엘지전자 주식회사 A method for providing an user interface and a digital broadcast receiver
KR101227919B1 (en) * 2011-05-27 2013-02-07 이노디지털 주식회사 Display controlling method and system using interworking between 3-dimension user interface and motion sensor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7111788B2 (en) * 2002-04-22 2006-09-26 Nokia Corporation System and method for navigating applications using a graphical user interface
KR100532525B1 (en) 2002-05-07 2005-11-30 이문기 3 dimensional pointing apparatus using camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110091405A (en) * 2010-02-05 2011-08-11 엘지전자 주식회사 A method for providing an user interface and a digital broadcast receiver
KR101227919B1 (en) * 2011-05-27 2013-02-07 이노디지털 주식회사 Display controlling method and system using interworking between 3-dimension user interface and motion sensor

Also Published As

Publication number Publication date
KR100758985B1 (en) 2007-09-17

Similar Documents

Publication Publication Date Title
KR101148484B1 (en) Input apparatus
US9454837B2 (en) Image processing apparatus, method, and computer-readable storage medium calculating size and position of one of an entire person and a part of a person in an image
JP5653206B2 (en) Video processing device
US8693732B2 (en) Computer vision gesture based control of a device
US8894486B2 (en) Handheld information processing apparatus and handheld game apparatus
WO2018142524A1 (en) Display device and remote operation control device
EP2268005A2 (en) Display apparatus for providing a user menu and method for providing user interface (ui) applicable thereto
JP2012113715A (en) Item selection device and method using movement of object
WO2011148607A1 (en) Gesture recognition device and gesture recognition method
JP5427385B2 (en) Operation control device and operation display method
JP5900161B2 (en) Information processing system, method, and computer-readable recording medium
JP2011166754A (en) Display control program, display control apparatus, display control system, and display control method
EP3021206B1 (en) Method and device for refocusing multiple depth intervals, and electronic device
JP2003316510A (en) Display device for displaying point instructed on display screen and display program
US20210233325A1 (en) Video synthesis device, video synthesis method and recording medium
US10222950B2 (en) Image processing apparatus and method
JP7369834B2 (en) display device
JP2010117917A (en) Motion detection apparatus and operation system
KR100758985B1 (en) Image display apparatus for operating user interface and method thereof
JP5770251B2 (en) Operation control device
JP2013069341A (en) Input method
JP2011172253A (en) Display control program, display controller, display control system, and display control method
KR20120055434A (en) Display system and display method thereof
JP5864043B2 (en) Display device, operation input method, operation input program, and recording medium
JP6008904B2 (en) Display control apparatus, display control method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20120830

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee