WO2010120120A2 - ＬＡＳｅＲ에서의 사용자 인터랙션 제공 방법 및 장치 - Google Patents

ＬＡＳｅＲ에서의 사용자 인터랙션 제공 방법 및 장치 Download PDF

Info

Publication number
WO2010120120A2
WO2010120120A2 PCT/KR2010/002317 KR2010002317W WO2010120120A2 WO 2010120120 A2 WO2010120120 A2 WO 2010120120A2 KR 2010002317 W KR2010002317 W KR 2010002317W WO 2010120120 A2 WO2010120120 A2 WO 2010120120A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
event
type
drag
type information
Prior art date
Application number
PCT/KR2010/002317
Other languages
English (en)
French (fr)
Other versions
WO2010120120A3 (ko
Inventor
이인재
차지훈
이한규
홍진우
임영권
Original Assignee
한국전자통신연구원
(주)넷앤티비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, (주)넷앤티비 filed Critical 한국전자통신연구원
Priority to US13/264,716 priority Critical patent/US20120044138A1/en
Publication of WO2010120120A2 publication Critical patent/WO2010120120A2/ko
Publication of WO2010120120A3 publication Critical patent/WO2010120120A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Definitions

  • the present invention relates to a method and apparatus for providing user interaction, and more particularly, to a method and apparatus for providing user interaction in LASeR.
  • the first is a programmatic approach using scripts
  • the second is a declarative approach that defines additional information in a presentation.
  • Programmatic access using scripts can be a very useful tool because it can provide almost unlimited ways to access structured information. However, this can make it difficult to author LASeR content used to present structured information in that the burden of being able to use a specific scripting language and the content author require a certain level of knowledge for scripting. Also, the programmatic approach may not take advantage of the benefits of using the declarative language LASeR.
  • LASeR Light Application Scene Representation
  • LASeR Light Application Scene Representation
  • LASeR-based systems can provide services combining wireless portal, mobile TV, music, and personal services through LASeR contents or LASeR-based systems.
  • An object of the present invention is to provide a method and apparatus for providing user interaction, which can recognize a control input by a user and efficiently present it on a display.
  • Another object of the present invention is to provide a method and apparatus for providing user interaction, which can provide useful information to a user by visualizing a sensory effect by sensed information on a display.
  • Another object of the present invention is to provide a method and apparatus for providing user interaction, which enables various data formats defined in an existing standard standard to be applied to other standard standards and interaction devices.
  • the present invention provides a user interaction providing apparatus, comprising: an input unit for receiving control by a user, a drag event including event type information and event attribute information indicating a type of control by analyzing the control; A control processor for generating information and an operation processor for generating drag element information for indicating an operation corresponding to the control on the display with reference to the drag event information, wherein the drag element information indicates a mode of the operation; Characterized in that it comprises the operation mode information and the operation attribute information indicating.
  • the present invention provides a method for providing user interaction, the step of receiving a control by the user, generating a drag event information including event type information and event attribute information indicating the type of control by analyzing the control and drag event information
  • the method may further include generating drag element information for indicating an operation corresponding to the control on the display, wherein the drag element information may include operation mode information and operation attribute information indicating a mode of the operation. .
  • the present invention provides an apparatus for providing user interaction, the input unit for receiving the sensor information (Sensed information) for controlling the sensor and to generate the external sensor event (External Sensor Event) information for visualizing the sensory effect by the sensor information on the display It is another feature to include a control unit.
  • the present invention provides a method for providing user interaction, characterized in that it comprises the step of receiving the sensing information for the sensor control and generating the external sensor event information for visualizing the sensory effect by the sensing information on the display do.
  • the sensory effect by the sense information is visualized on the display, there is an advantage that can provide useful information to the user.
  • FIG. 1 illustrates a relationship between a scene presentation (eg, LASeR) and sensory information using the data formats of MPEG-V Part 5 for interaction devices.
  • a scene presentation eg, LASeR
  • MPEG-V Part 5 for interaction devices.
  • FIG. 2 is a block diagram of a user interaction providing apparatus according to an embodiment of the present invention.
  • 3 is a multimedia terminal that can be applied to the user interaction providing method according to an embodiment of the present invention.
  • FIG. 4 is a flowchart of a method for providing user interaction according to an embodiment of the present invention.
  • FIG. 5 is a configuration diagram of a user interaction providing apparatus according to an embodiment of the present invention.
  • FIG. 6 is a visualization scene of the sensing information (temperature) according to an embodiment of the present invention.
  • FIG. 7 is a visualization scene of the sensed information (humidity) according to an embodiment of the present invention.
  • FIG. 8 is a flowchart of a method for providing user interaction according to an embodiment of the present invention.
  • continuous controllers such as sliders and knobs may be used.
  • a programmatic approach using scripts can be used.
  • the programmatic approach may impose the use of a specific scripting language, the most serious limitation that has been circumvented in the evolution of the LASeR standard.
  • the present invention relates to a method and apparatus for providing user interaction by a declarative approach for handling control by a continuous controller.
  • MPEG-V which has recently undergone a standardization process, defines various sensory effects and the use of sensory devices.
  • the present invention relates to a method and apparatus for providing user interaction that can efficiently provide useful information on various sensory effects to a user using the MPEG-V data format and LASeR standard.
  • the subject matter includes the mechanism of use of data formats (MPEG-V Part 5 Sensed Information) for interaction devices.
  • the present invention also provides techniques related to advanced user interaction available in LASeR. For each of the techniques, syntax, semantics and examples are provided.
  • MPEG-V a standard standard for supporting various aspects of media context and control
  • Data formats for various advanced interaction devices are defined in Part 5 of MPEG-V. Therefore, it makes sense to use existing data formats to be applied in various other standard specifications.
  • the present invention includes a technical element for accommodating such data formats in LASeR.
  • improved user interaction means an interaction using sensory devices that are being used recently, such as a light sensor, a motion sensor, and the like.
  • FIG. 1 is a diagram illustrating a relationship between a scene presentation (eg, LASeR) and sensory information using the data formats of MPEG-V Part 5 for interaction devices.
  • MPEG-U is a standard standard for communication between widgets or communication between widgets and external terminals.
  • drag event information and drag element information according to the present invention will be described.
  • the present invention will be described using drag event information and drag element information applied to the LASeR standard as an example, but the scope of the present invention is not limited thereto.
  • FIG. 2 is a block diagram of an apparatus for providing user interaction according to an embodiment of the present invention.
  • the user interaction providing apparatus 202 includes an input unit 204, a control processing unit 206, and an operation processing unit 208.
  • the input unit 204 receives a control input by a user, for example, a control such as a click, drag, and drop using an input device such as a mouse or a touch pad.
  • the control processor 206 analyzes the control of the user input through the input unit 204 and generates drag event information.
  • the drag event information may include event type information indicating the type of the input control and event attribute information which is a value generated according to the input control.
  • the operation processor 208 generates drag element information by referring to drag event information generated by the control processor 206.
  • the drag element information is used to indicate an operation corresponding to the control of the user input through the input unit 204 on the display.
  • the drag element information may include operation mode information indicating a mode of an operation to be displayed on the display and operation attribute information indicating a property of the corresponding operation.
  • drag event information and drag element information generated by an embodiment of the present invention will be described in detail.
  • the drag event information is information about a drag and drop operation by the user.
  • the drag event information includes event type information and event attribute information.
  • the event type information includes any one of drag type information and drop type information.
  • the drag event information includes event attribute information according to drag type information or drop type information.
  • the drag type specifies a dragging motion that is interpreted in two dimensions in the x-y plane of the local space.
  • the drag type may be a mouse down event action followed by a series of mousemove events. Drag type bubbling is impossible and not cancelable.
  • the event attribute information included in the event type information may include maximum angle information (maxAngle), minimum angle information (minAngle), current angle information (currentAngle), maximum position information (maxPosition), It may include minimum position information (minPosition), current position information (currentPosition).
  • the drop type specifies a triggering action in which the object is released in two-dimensional space by the mouse in the x-y plane of the local coordinate system. Drag type bubbling is impossible and not cancelable.
  • the event attribute information included in the event type information includes maximum angle information (maxAngle), minimum angle information (minAngle), current angle information (currentAngle), maximum position information (maxPosition), It may include minimum position information (minPosition), current position information (currentPosition).
  • the progress of an event may be divided into a capture phase and a bubble phase.
  • the capture phase the event starts at the top document based on the Dom tree and proceeds to the target object, while the bubble phase reverses the event from the target object to the top document.
  • xmlns "http://www.w3.org/1999/xlink"
  • the drag element information is information used to display a corresponding operation on the display when continuous control such as sliding a slide bar or turning a knob occurs.
  • the drag element can be a child of video, image, and graphical elements.
  • Other elements that can be the parent of a drag element include Circle, ellipse, g, image, line, polygon, polyline, path, rect, svg, tect, textArea, and video.
  • the drag element information includes operation mode information and operation attribute information.
  • the operation mode information includes one of drag plane mode information and drag rotation mode information.
  • the drag element information includes operation attribute information according to the operation mode information.
  • Drag plane mode specifies a dragging motion that is interpreted in two dimensions in the x-y plane of the local coordinate system. For example, when the user moves the slide bar on the display from left to right with a mouse, an animation of the slide bar moving in a straight line appears on the display, which is the drag plane mode.
  • the motion attribute information included in the drag element includes the maximum position information (maxPosition), the minimum position information (minPosition), the offset information (offsetT), and the target element information (xlink: href). It may include.
  • the maximum location information specifies the maximum X and Y location of the scene, with default values of 0 and 0.
  • the minimum location information specifies the minimum X and Y location of the scene, with default values of -1 and -1.
  • the offset information specifies a tick of the dragging distance to be interpreted along the x and / or y axis in the pixels, with a default value of 0, 0.
  • the target element information indicates elements that are targets of the dragging operation.
  • the motion attribute information included in the drag element includes the maximum angle information (maxAngle), the minimum angle information (minAngle), the offset information (offsetA), and the target element information (xlink: href). It may include.
  • the maximum angle information specifies the maximum allowable rotation range in radians.
  • the default value is 0.
  • the minimum angle information specifies the maximum allowable rotation range in radians.
  • the default value is -1.
  • the offset information specifies a tick of the rotation angle, and the default value is zero.
  • the target element information indicates elements that are targets of the dragging operation.
  • xmlns "http://www.w3.org/1999/xlink"
  • FIG. 3 illustrates a multimedia terminal to which a method for providing user interaction according to an embodiment of the present invention can be applied.
  • the Multimedia terminal 302 includes a display 304.
  • the display 304 may be a general display such as an LCD in which a user inputs control through an input device such as a mouse, or may be a touch screen capable of controlling by touch.
  • the display 304 of the multimedia terminal 302 may display a slide bar object 306 or a knob object 308 as shown in FIG. 3. If the user clicks, drags and then drops the slide bar object 306 or the knob object 308 using a mouse or a finger, such controls are input unit (s) of the user interaction providing device 202 of FIG. 204.
  • the control processing unit 206 then analyzes the control input through the input unit 204 to determine whether the control is a drag type or a drop type. In addition, the control processor 206 grasps the attribute values by the drag or drop operation by the user, that is, the maximum angle, the minimum angle, the current angle, the maximum position, the minimum position, and the current position. The control processor 206 generates drag event information including event type information and event attribute information using the information, and transfers the generated drag event information to the motion processor 208.
  • the motion processing unit 208 recognizes the user's control with reference to the drag event information generated by the control processing unit 206 and generates drag element information for displaying an operation corresponding to the control on the display 304.
  • the motion processor 208 If the user moves the slide bar 306 in the direction of the arrow, the motion processor 208 generates drag element information for processing an animation of moving the slide bar 306 object on the display 304 in the direction of the arrow.
  • the drag element information may include operation mode information including drag plane information and motion attribute information accordingly.
  • the motion processor 208 If the user rotates the knob 306 in the direction of the arrow, the motion processor 208 generates drag element information for processing an animation of moving the knob 306 object on the display 304 in the direction of the arrow.
  • the information may include operation mode information including drag rotation information and operation attribute information accordingly.
  • FIG. 4 is a flowchart illustrating a method for providing user interaction according to an embodiment of the present invention.
  • a control is input by a user (402). Then, the received control is analyzed to generate drag event information including event type information and event attribute information (404).
  • drag element information for representing an operation corresponding to the control input to the display is generated with reference to the generated drag event information (406).
  • the drag element information includes operation mode information and operation attribute information.
  • An external event of LASeR for the data formats of MPEG-V Part 5 Sensed Information is required.
  • the present invention provides a new event and an IDL definition thereof. With this event, LASeR can use a variety of input information from a variety of industry-supported sensors.
  • the sensor or the actuator refers to devices that can exhibit various sensory effects, and the information collected by these sensors is called sensing information.
  • sensing information In one embodiment of the present invention, as shown in Table 1, 17 different sensors and attribute values for each sensor are used.
  • an attribute for external sensor event information is defined as follows. (IDL definition)
  • fVectorType Specifies a 3D vector type consisting of three floating point numbers.
  • fVectorListType Specifies the list type of one or more 3D float vectors.
  • unitType Specifies the unit in string format. (E.g. Lux, Celsius, Fahrenheit, mps, mlph)
  • fValue Specifies a float value.
  • sValue Specifies the string value.
  • fVectorValue Specifies a float vector.
  • fVectorList1, fVectorList2 specify a float vector list with unlimited vectors.
  • the above IDL definition is to use the attributes more conveniently when providing user interaction according to the present invention by classifying the various attributes shown in [Table 1] by a certain criterion.
  • Table 2 shows event type information and event attribute value information included in external sensor event information according to an embodiment of the present invention, and attributes of each event attribute value information.
  • Each event type has an event attribute value, and each event attribute value has unitType, time, fValue, sValue, fVectorValue, fVectorList, that is, unitType, time, float Value, string Value, and float Vector Value defined in the IDL definition. It has one of the following properties: type or float Vector List.
  • a light type has an attribute value of 'illuminance' and 'color' expressed in units of Lux
  • 'illuminance' has an attribute of fValue
  • 'color' has an attribute of sValue.
  • FIG. 5 is a block diagram of an apparatus for providing user interaction according to an embodiment of the present invention.
  • the user interaction providing apparatus 502 includes an input unit 504 and a control unit 506.
  • the input unit 504 receives sensed information acquired by a sensor such as an illumination sensor or a temperature sensor.
  • a sensor such as an illumination sensor or a temperature sensor.
  • the lighting sensor provides lighting suitable for the corresponding content when the content is played back.
  • the lighting sensor may simultaneously recognize the lighting state of the current content playback environment and provide it to the playback system again.
  • the information indicating the state of the playback environment detected by the sensor is called sensing information.
  • the content reproduction system may perform content reproduction more suitable for the current reproduction environment through the sensed information.
  • the controller 506 generates external sensor event information for visualizing the sensed information on the display.
  • the external sensor event information may include event type information and event attribute value information.
  • Event type information includes lighting type information, ambient noise type information, temperature type information, humidity type information, length type information, barometric pressure type information, location type information, speed type information, acceleration type information, rotation angle type information, angular velocity type information, It may include any one of the angular acceleration type information, force type information, torque type information, pressure type information, motion type information, intelligent camera type information.
  • the event property value information may represent any one of a unitType type, a time type, a float Value type, a string Value type, a float Vector Value type, and a float Vector List type.
  • the controller 506 may visualize the sensing information by using the generated external sensor event information.
  • an event type, an event property value, a visualization object, and the like may be displayed on the display, and the visualization object may change according to the change of the event property value.
  • the control unit 506 may visualize the sensing information on the display to allow the user to know the temperature of his current environment in real time. have.
  • an example of the external sensor event information is as follows.
  • xmlns "http://www.w3.org/1999/xlink"
  • visualization information as shown in FIG. 6 may be displayed on the display.
  • 'Temperature' which means temperature
  • the current temperature are expressed in degrees Celsius
  • an example of the external sensor event information is as follows.
  • xmlns "http://www.w3.org/1999/xlink"
  • evtText document.getElementById (“humidity _text”);
  • evtImage1 document.getElementById (“s1”);
  • evtImage2 document.getElementById (“s2”);
  • evtImage3 document.getElementById (“s3”);
  • the above external sensor event information also defines an image object for visualizing the humidity value.
  • the syntax below if (evt.fValue> 80) defines evtImage1 when the humidity is higher than 80, eventImage2 when the humidity is less than 30, and eventImage3 on the display.
  • visualization information as shown in FIG. 7 may be displayed on the display.
  • 'Humidity', meaning humidity, and the current humidity are expressed in%, and there is an image object 704 that visualizes and displays the current humidity.
  • an example of the external sensor event information is as follows.
  • xmlns "http://www.w3.org/1999/xlink"
  • event attribute value information evt.fValue
  • the event property value information has a property of type float Value. (evt.fValue)
  • FIG. 8 is a flowchart illustrating a method for providing user interaction according to an embodiment of the present invention.
  • the sensing information acquired by the sensor is input (802).
  • external sensor event information is generated to visualize the input sensing information on a display.
  • the external sensor event information includes event type information and event attribute value information.
  • Event type information includes lighting type information, ambient noise type information, temperature type information, humidity type information, length type information, barometric pressure type information, location type information, speed type information, acceleration type information, rotation angle type information, angular velocity type information, It may include any one of the angular acceleration type information, force type information, torque type information, pressure type information, motion type information, intelligent camera type information.
  • the event attribute value information indicates any one of unitType, time, float Value, string Value, float Vector Value, and float Vector List.
  • the sensing information is visualized on the display (806).
  • an event type, an event property value, and a visualization object are displayed on the display, and the visualization object may change as the event property value changes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자 인터랙션 제공 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 의한 사용자 인터랙션 제공 장치는, 사용자에 의한 제어를 입력받는 입력부, 제어를 분석하여 제어의 타입을 나타내는 이벤트 타입 정보 및 이벤트 속성 정보를 포함하는 드래그 이벤트(Drag event) 정보를 생성하는 제어 처리부 및 드래그 이벤트 정보를 참조하여, 디스플레이에 제어에 대응하는 동작을 나타내기 위한 드래그 엘리먼트(Drag element) 정보를 생성하는 동작 처리부를 포함하고, 드래그 엘리먼트 정보는 상기 동작의 모드를 나타내는 동작 모드 정보 및 동작 속성 정보를 포함한다. 본 발명에 의하면 기존의 표준 규격에 정의된 다양한 데이터 포맷들을 다른 표준 규격 및 인터랙션 디바이스들에 적용할 수 있는 효과가 있다.

Description

ＬＡＳｅＲ에서의 사용자 인터랙션 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING USER INTERACTION IN LASER}
본 발명은 사용자 인터랙션 제공 방법 및 장치에 관한 것으로, 보다 상세하게는 LASeR에서의 사용자 인터랙션 제공 방법 및 장치에 관한 것이다.
구조화된 정보(Structured Information)의 프리젠테이션(presentation)과 연관된 과제를 해결하기 위한 몇몇 접근법이 제안되고 있다. 첫 번째로는 스크립트(script)를 활용한 프로그램적 접근법이 있고, 두 번째로는 부가적인 정보를 프리젠테이션(presentation) 내에 정의하는 선언적(declarative)인 접근법이 있다.
스크립트를 활용한 프로그램적 접근은 구조화된 정보에 액세스(access)하기 위해 거의 무제한의 방법을 제공할 수 있으므로, 매우 유용한 도구가 될 수 있다. 하지만, 이는 특정 스크립트 언어를 사용할 수 있어야 한다는 부담이 있고, 콘텐츠 저작자에게 스크립팅을 위한 특정 수준의 지식이 요구된다는 점에서 구조화된 정보를 프리젠테이션하기 위하여 활용한 LASeR 컨텐츠의 저작을 어렵게 할 수 있다. 또한, 프로그램적 접근은 선언적 언어인 LASeR를 사용함에 의해 발생하는 이점을 잘 활용할 수 없을 수 있다.
여기서, LASeR(Light Application Scene Representation)는 휴대폰 등과 같은 저사양 모바일 기기에 적합한 멀티미디어 콘텐츠 규격으로, LASeR 컨텐츠 또는 LASeR 기반 시스템을 통해 무선포털, 모바일TV, 음악, 개인형 서비스 등을 결합한 서비스 제공이 가능하며, 생생한 동적 효과, 대화식 인터페이스 등을 구현할 수 있다.
따라서, 구조화된 정보를 프리젠테이션하기 위해, LASeR의 이점을 유지할 수 있는 선언적 접근법을 활용하는 것이 보다 효율적이다.
본 발명은 사용자에 의해 입력되는 제어를 인식하고, 이를 디스플레이 상에 효율적으로 나타낼 수 있는 사용자 인터랙션 제공 방법 및 장치를 제공하는 것을 일 목적으로 한다.
또한 본 발명은 감지 정보(Sensed Information)에 의한 실감 효과를 디스플레이 상에 시각화함으로써, 사용자에게 유용한 정보를 제공할 수 있는 사용자 인터랙션 제공 방법 및 장치를 제공하는 것을 다른 목적으로 한다.
또한 본 발명은 기존의 표준 규격에 정의된 다양한 데이터 포맷들을 다른 표준 규격 및 인터랙션 디바이스들에 적용할 수 있도록 하는 사용자 인터랙션 제공 방법 및 장치를 제공하는 것을 또 다른 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명은 사용자 인터랙션 제공 장치에 있어서, 사용자에 의한 제어를 입력받는 입력부, 제어를 분석하여 제어의 타입을 나타내는 이벤트 타입 정보 및 이벤트 속성 정보를 포함하는 드래그 이벤트(Drag event) 정보를 생성하는 제어 처리부 및 드래그 이벤트 정보를 참조하여, 디스플레이에 제어에 대응하는 동작을 나타내기 위한 드래그 엘리먼트(Drag element) 정보를 생성하는 동작 처리부를 포함하고, 드래그 엘리먼트 정보는 상기 동작의 모드를 나타내는 동작 모드 정보 및 동작 속성 정보를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 사용자 인터랙션 제공 방법에 있어서, 사용자에 의한 제어를 입력받는 단계, 제어를 분석하여 제어의 타입을 나타내는 이벤트 타입 정보 및 이벤트 속성 정보를 포함하는 드래그 이벤트 정보를 생성하는 단계 및 드래그 이벤트 정보를 참조하여, 디스플레이에 제어에 대응하는 동작을 나타내기 위한 드래그 엘리먼트 정보를 생성하는 단계를 포함하고, 드래그 엘리먼트 정보는 동작의 모드를 나타내는 동작 모드 정보 및 동작 속성 정보를 포함하는 것을 다른 특징으로 한다.
또한 본 발명은 사용자 인터랙션 제공 장치에 있어서, 센서 제어를 위한 감지 정보(Sensed information)를 입력받는 입력부 및 감지 정보에 의한 실감 효과를 디스플레이에 시각화하기 위한 외부 센서 이벤트(External Sensor Event) 정보를 생성하는 제어부를 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 사용자 인터랙션 제공 방법에 있어서, 센서 제어를 위한 감지 정보를 입력받는 단계 및 감지 정보에 의한 실감 효과를 디스플레이에 시각화하기 위한 외부 센서 이벤트 정보를 생성하는 단계를 포함하는 것을 또 다른 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 사용자에 의해 입력되는 제어를 인식하고, 이를 디스플레이 상에 효율적으로 나타낼 수 있는 장점이 있다.
또한 본 발명에 의하면, 감지 정보에 의한 실감 효과를 디스플레이 상에 시각화함으로써, 사용자에게 유용한 정보를 제공할 수 있는 장점이 있다.
또한 본 발명에 의하면, 기존의 표준 규격에 정의된 다양한 데이터 포맷들을 다른 표준 규격 및 인터랙션 디바이스들에 적용할 수 있는 장점이 있다.
도 1은 장면 프리젠테이션(scene presentation)(예를 들면, LASeR)과 인터랙션 디바이스들을 위한 MPEG-V Part 5의 데이터 포맷들을 이용하는 감지 정보 간의 관계를 나타내는 도면.
도 2는 본 발명의 일 실시예에 의한 사용자 인터랙션 제공 장치의 구성도.
도 3은 본 발명의 일 실시예에 의한 사용자 인터랙션 제공 방법이 적용될 수 있는 멀티미디어 단말기.
도 4는 본 발명의 일 실시예에 의한 사용자 인터랙션 제공 방법의 흐름도.
도 5는 본 발명의 일 실시예에 의한 일 실시예에 의한 사용자 인터랙션 제공 장치의 구성도.
도 6은 본 발명의 일 실시예에 의한 감지 정보(온도)의 시각화 장면.
도 7은 본 발명의 일 실시예에 의한 감지 정보(습도)의 시각화 장면.
도 8은 본 발명의 일 실시예에 의한 사용자 인터랙션 제공 방법의 흐름도.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
멀티미디어 컨텐츠를 재생하는 디바이스에서는 슬라이더(Slider)나 노브(Knob)와 같은 연속적 제어기(continuous controllers)가 이용될 수 있다. 이 연속적 제어기에 의한 사용자의 제어를 추적하기 위해, 스크립트를 이용하는 프로그램적 접근법이 이용될 수 있다. 하지만 프로그램적 접근법에 의하면 LASeR 표준의 발전과정에서 회피되던 가장 심각한 제약인 특정 스크립트 언어의 사용이 강요될 수 있다. 본 발명은 연속적 제어기에 의한 제어를 처리하기 위한, 선언적 접근법에 의한 사용자 인터랙션 제공 방법 및 장치에 관한 것이다.
또한, 최근 표준화 과정이 진행되고 있는 MPEG-V는 다양한 실감 효과 및 실감 기기의 이용에 대하여 정의하고 있다. 본 발명은 이러한 MPEG-V의 데이터 포맷 및 LASeR 표준 규격을 이용하여, 다양한 실감 효과에 대한 유용한 정보를 사용자에게 보다 효율적으로 제공할 수 있는 사용자 인터랙션 제공 방법 및 장치에 관한 것이다.
1. 서론(Introduction)
본 발명의 내용은 인터랙션 디바이스들을 위한 데이터 포맷들(MPEG-V Part 5 Sensed Information)의 이용 메커니즘을 포함한다. 또한 본 발명은 LASeR에서 이용 가능한 개선된 사용자 인터랙션(advanced user interaction)과 관련된 기술들을 제공한다. 각각의 기술들에 대하여, 신택스(syntax), 의미(semantics) 및 예제가 제공된다.
최근 MPEG에서는 MPEG-V라 불리는, 미디어 컨텍스트 및 제어의 다양한 측면들을 지원하기 위한 표준 규격의 제정이 진행되고 있다. 다양한 개선된 인터랙션 디바이스들(작동기(actuators) 및 센서(sensors))을 위한 데이터 포맷들이 MPEG-V의 Part 5에서 정의된다. 따라서, 기존의 데이터 포맷들을 다양한 다른 표준 규격에서 적용되도록 이용하는 것이 합리적이다. 본 발명은 LASeR에서 그러한 데이터 포맷들을 적응시키는(accommodating) 기술적 요소를 포함한다.
본 발명에서, "개선된" 사용자 인터랙션이란 조명 센서(light sensor), 움직임 센서(motion sensor) 등과 같이 최근에 이용되고 있는 실감 디바이스들을 이용한 인터랙션을 의미한다. 도 1은 장면 프리젠테이션(scene presentation)(예를 들면, LASeR)과 인터랙션 디바이스들을 위한 MPEG-V Part 5의 데이터 포맷들을 이용하는 감지 정보 간의 관계를 나타내는 도면이다. 여기서 MPEG-U는 위젯 간 커뮤니케이션, 또는 위젯과 외부 단말 간 커뮤니케이션 등에 대한 표준 규격이다.
2. 드래그 이벤트(Drag event) 정보 및 드래그 엘리먼트(Drag element) 정보
이하에서는 본 발명에 의한 드래그 이벤트 정보 및 드래그 엘리먼트 정보에 대해 기술한다. 본 명세서에서는 LASeR 표준에 적용되는 드래그 이벤트 정보 및 드래그 엘리먼트 정보를 예로 들어 본 발명을 설명하나, 본 발명의 권리범위는 이에 한정되지는 않는다.
도 2는 본 발명의 일 실시예에 의한 사용자 인터랙션 제공 장치의 구성도이다.
사용자 인터랙션 제공 장치(202)는 입력부(204), 제어 처리부(206), 동작 처리부(208)를 포함한다. 입력부(204)는 사용자에 의해 입력되는 제어, 예를 들면 마우스나 터치 패드 등과 같은 입력장치를 이용한 클릭, 드래그, 드롭과 같은 제어를 입력받는다.
제어 처리부(206)는 입력부(204)를 통해 입력된 사용자의 제어를 분석하여 드래그 이벤트 정보를 생성한다. 이 때 드래그 이벤트 정보는 입력된 제어의 타입을 나타내는 이벤트 타입 정보와, 입력된 제어에 따라 생성되는 값인 이벤트 속성 정보를 포함할 수 있다.
동작 처리부(208)는 제어 처리부(206)에 의해 생성된 드래그 이벤트 정보를 참조하여, 드래그 엘리먼트 정보를 생성한다. 드래그 엘리먼트 정보는 입력부(204)를 통해 입력된 사용자의 제어에 대응하는 동작을 디스플레이 상에 나타내는데 이용된다. 드래그 엘리먼트 정보는 디스플레이 상에 나타날 동작의 모드를 나타내는 동작 모드 정보 및 해당 동작의 속성을 나타내는 동작 속성 정보를 포함할 수 있다.
다음으로, 본 발명의 일 실시예에 의해 생성되는 드래그 이벤트 정보 및 드래그 엘리먼트 정보에 대해 상세히 설명한다.
드래그 이벤트 정보는 사용자에 의한 드래그 및 드롭 동작에 관한 정보이다. 드래그 이벤트 정보는 이벤트 타입 정보 및 이벤트 속성 정보를 포함한다.
보다 구체적으로, 이벤트 타입 정보는 드래그 타입 정보 또는 드롭 타입 정보 중 어느 하나를 포함한다. 그리고 드래그 이벤트 정보는 드래그 타입 정보 또는 드롭 타입 정보에 따른 이벤트 속성 정보를 포함한다.
드래그 타입은 로컬 좌표계(local space)의 x-y 평면에서 2차원으로 해석되는 드래깅 움직임(dragging motion)을 명시한다. 드래그 타입은 연속된 마우스무브(mousemove) 이벤트가 뒤따르는 마우스 다운(mouse down) 이벤트 동작이 될 수 있다. 드래그 타입의 버블링(bubbling)은 불가능하고, 취소 가능하지 않다. 이벤트 타입 정보가 드래그 타입 정보를 포함할 경우, 이벤트 타입 정보에 포함되는 이벤트 속성 정보는 최대 각도 정보(maxAngle), 최소 각도 정보(minAngle), 현재 각도 정보(currentAngle), 최대 위치 정보(maxPosition), 최소 위치 정보(minPosition), 현재 위치 정보(currentPosition)를 포함할 수 있다.
드롭 타입은 로컬 좌표계의 x-y 평면에서 마우스에 의해 객체가 2차원 공간에 릴리즈(release)되는 트리거링 동작(triggering action)을 명시한다. 드래그 타입의 버블링은 불가능하고, 취소 가능하지 않다. 이벤트 타입 정보가 드롭 타입 정보를 포함할 경우, 이벤트 타입 정보에 포함되는 이벤트 속성 정보는 최대 각도 정보(maxAngle), 최소 각도 정보(minAngle), 현재 각도 정보(currentAngle), 최대 위치 정보(maxPosition), 최소 위치 정보(minPosition), 현재 위치 정보(currentPosition)를 포함할 수 있다.
참고로, 이벤트의 진행 방식은 캡쳐 페이즈(Capture phase)와 버블 페이즈(Bubble phase)로 나눌 수 있다. 캡쳐 페이즈는 Dom 트리를 기준으로 최상위 문서에서 이벤트가 시작되어 대상 객체까지 진행되며, 버블 페이즈는 반대로 대상 객체에서 최상위 문서로 이벤트가 진행된다.
LASeR에서의 드래그 이벤트 정보의 예시는 아래와 같다.
<?xml version="1.0" encoding="ISO-8859-1" ?>
<saf:SAFSession xmlns:saf="urn:mpeg:mpeg4:SAF:2005"
xmlns:xlink="http://www.w3.org/1999/xlink"
xmlns:ev=http://www.w3.org/2001/xml-events xmlns:lsr="urn:mpeg:mpeg4:LASeR:
2005" xmlns="http://www.w3.org/2000/svg">
<saf:sceneHeader>
<lsr:LASeRHeader />
</saf:sceneHeader>
<saf:sceneUnit>
<lsr:NewScene>
<svg width="176" height="144">
<g>
<rect x="1" y="1" width="598" height="498" fill="none" stroke="blue”>
<handler type="application/ecmascript" ev:event="drag">
Slide_image(evt);
</handler>
</rect>
<lsr:selector translation="20 20" choice="1">
<image x="25" y="315" width="360" height="240" xlink:href="IMG_1.jpg"/>
<image x="25" y="315" width="360" height="240" xlink:href="IMG_2.jpg"/>
<image x="25" y="315" width="360" height="240" xlink:href="IMG_3.jpg"/>
<image x="25" y="315" width="360" height="240" xlink:href="IMG_4.jpg"/>
<image x="25" y="315" width="360" height="240" xlink:href="IMG_5.jpg"/>
</lsr:selector>
?
<script type="application/ecmascript"> <![CDATA[
function silde_image(evt) {
…
}
]]> </script>
</g>
</svg>
</lsr:NewScene>
</saf:sceneUnit>
<saf:endOfSAFSession />
</saf:SAFSession>
드래그 엘리먼트 정보는 슬라이드 바를 슬라이딩하거나 노브(knob)를 돌리는 등의 연속적 제어가 일어날 경우, 이에 해당하는 동작을 디스플레이 상에 표시하는데 이용되는 정보이다. 드래그 엘리먼트는 비디오, 이미지, 그래픽적 요소들의 자 요소(child)가 될 수 있다. 이 밖에 드래그 엘리먼트의 부 요소(parent)가 될 수 있는 요소들로는 Circle, ellipse, g, image, line, polygon, polyline, path, rect, svg, tect, textArea, video 등이 있다. 드래그 엘리먼트 정보는 동작 모드 정보 및 동작 속성 정보를 포함한다.
동작 모드 정보는 드래그 플레인 모드 정보 또는 드래그 로테이션 모드 정보 중 어느 하나를 포함한다. 그리고 드래그 엘리먼트 정보는 동작 모드 정보에 따른 동작 속성 정보를 포함한다.
드래그 플레인 모드는 로컬 좌표계의 x-y 평면에서 2차원으로 해석되는 드래깅 움직임을 명시한다. 예를 들어, 사용자가 마우스로 디스플레이 상의 슬라이드 바를 왼쪽에서 오른쪽으로 움직일 때, 슬라이드 바가 직선으로 움직이는 애니메이션이 디스플레이 상에 나타나는데 이것이 드래그 플레인 모드이다.
드래그 엘리먼트 정보가 드래그 플레인 모드를 포함할 경우, 드래그 엘리먼트에 포함된 동작 속성 정보는 최대 위치 정보(maxPosition), 최소 위치 정보(minPosition), 오프셋 정보(offsetT), 타겟 엘리먼트 정보(xlink:href)를 포함할 수 있다.
최대 위치 정보는 그 장면의 최대 X 및 Y 위치를 명시하며, 디폴트 값은 0, 0이다. 최소 위치 정보는 그 장면의 최소 X 및 Y 위치를 명시하며, 디폴트 값은 -1, -1이다. 오프셋 정보는 픽셀들에서 x 및/또는 y축을 따라 해석되는 드래깅 거리의 틱(tick)을 명시하며, 디폴트 값은 0, 0이다. 타겟 엘리먼트 정보는 드래깅 동작의 타겟이 되는 요소들을 나타낸다.
드래그 엘리먼트 정보가 드래그 로테이션 모드를 포함할 경우, 드래그 엘리먼트에 포함된 동작 속성 정보는 최대 각도 정보(maxAngle), 최소 각도 정보(minAngle), 오프셋 정보(offsetA), 타겟 엘리먼트 정보(xlink:href)를 포함할 수 있다.
최대 각도 정보는 최대로 허용되는 회전 범위를 라디안(radian)으로 명시하며, 디폴트 값은 0이다. 최소 각도 정보는 최대로 허용되는 회전 범위를 라디안으로 명시하며, 디폴트 값은 -1이다. 오프셋 정보는 회전 각도의 틱(tick)을 명시하며, 디폴트 값은 0이다. 타겟 엘리먼트 정보는 드래깅 동작의 타겟이 되는 요소들을 나타낸다.
LASeR에서의 드래그 엘리먼트 정보의 예시는 아래와 같다.
<?xml version="1.0" encoding="ISO-8859-1" ?>
<saf:SAFSession xmlns:saf="urn:mpeg:mpeg4:SAF:2005"
xmlns:xlink="http://www.w3.org/1999/xlink"
xmlns:ev=http://www.w3.org/2001/xml-events xmlns:lsr="urn:mpeg:
mpeg4:LASeR:2005" xmlns="http://www.w3.org/2000/svg">
<saf:sceneHeader>
<lsr:LASeRHeader />
</saf:sceneHeader>
<saf:sceneUnit>
<lsr:NewScene>
<svg width="176" height="144">
<g>
? <image id=”img1” x="0" y="30" width="30" height="40"
xlink:href="IMG_1.jpg"/>
<image id=”img2” x="50" y="60" width="30" height="40"
xlink:href="IMG_2.jpg"/>
<Drag begin=”img1.drag” xlik:href=”#img1”
mode=”dragRotation” offsetA=”0.3”/>
<Drag begin=”img2.drag” xlik:href=”#img2”
mode=”dragPlane” minPosition=”0 0” maxPosition=”100 0”>
? </g>
</svg>
</lsr:NewScene>
</saf:sceneUnit>
<saf:endOfSAFSession />
</saf:SAFSession>
도 3은 본 발명의 일 실시예에 의한 사용자 인터랙션 제공 방법이 적용될 수 있는 멀티미디어 단말기를 나타낸다.
멀티미디어 단말기(302)는 디스플레이(304)를 포함한다. 디스플레이(304)는 사용자가 마우스 등의 입력 장치를 통해 제어를 입력하는 LCD와 같은 일반적인 디스플레이일 수도 있고, 터치에 의한 제어가 가능한 터치 스크린일 수도 있다.
멀티미디어 단말기(302)의 디스플레이(304)에는 도 3에 나타난 바와 같이 슬라이드 바 객체(306) 또는 노브 객체(308)가 표시될 수 있다. 만약 사용자가 마우스나 손가락을 이용하여 슬라이드 바 객체(306) 또는 노브 객체(308)를 클릭하고, 드래그한 다음, 드롭할 경우, 이와 같은 제어들은 도 2의 사용자 인터랙션 제공 장치(202)의 입력부(204)를 통해 입력된다.
그 다음, 제어 처리부(206)는 입력부(204)를 통해 입력된 제어를 분석하여 이 제어가 드래그 타입인지 또는 드롭 타입인지 여부를 판단한다. 또한 제어 처리부(206)는 사용자에 의한 드래그 또는 드롭 동작에 의한 속성 값들, 즉 최대 각도, 최소 각도, 현재 각도, 최대 위치, 최소 위치, 현재 위치 등을 파악한다. 제어 처리부(206)는 이러한 정보들을 이용하여 이벤트 타입 정보 및 이벤트 속성 정보를 포함하는 드래그 이벤트 정보를 생성하고, 생성된 드래그 이벤트 정보를 동작 처리부(208)에 전달한다.
동작 처리부(208)는 제어 처리부(206)에 의해 생성된 드래그 이벤트 정보를 참조하여 사용자의 제어를 인식하고, 이 제어에 대응하는 동작을 디스플레이(304)에 나타내기 위한 드래그 엘리먼트 정보를 생성한다.
만약 사용자가 슬라이드 바(306)를 화살표 방향으로 움직였다면, 동작 처리부(208)는 디스플레이(304) 상의 슬라이드 바(306) 객체를 화살표 방향으로 움직이는 애니메이션을 처리하기 위한 드래그 엘리먼트 정보를 생성하며, 이 드래그 엘리먼트 정보에는 드래그 플레인 정보를 포함하는 동작 모드 정보 및 그에 따른 동작 속성 정보가 포함될 것이다.
만약 사용자가 노브(306)를 화살표 방향으로 회전시켰다면, 동작 처리부(208)는 디스플레이(304) 상의 노브(306) 객체를 화살표 방향으로 움직이는 애니메이션을 처리하기 위한 드래그 엘리먼트 정보를 생성하며, 이 드래그 엘리먼트 정보에는 드래그 로테이션 정보를 포함하는 동작 모드 정보 및 그에 따른 동작 속성 정보가 포함될 것이다.
도 4는 본 발명의 일 실시예에 의한 사용자 인터랙션 제공 방법의 흐름도이다.
먼저 사용자에 의한 제어를 입력받는다(402). 그리고 나서, 입력받은 제어를 분석하여, 이벤트 타입 정보 및 이벤트 속성 정보를 포함하는 드래그 이벤트 정보를 생성한다(404).
그 다음, 생성된 드래그 이벤트 정보를 참조하여, 디스플레이에 입력된 제어에 대응하는 동작을 나타내기 위한 드래그 엘리먼트 정보를 생성한다(406). 이 때 드래그 엘리먼트 정보는 동작 모드 정보 및 동작 속성 정보를 포함한다.
3. 외부 센서 이벤트(External Sensor Event) 정보
이하에서는 본 발명에 의한 외부 센서 이벤트 정보에 대해 기술한다. 본 명세서에서는 LASeR 표준에 적용되는 외부 센서 이벤트 정보를 예로 들어 본 발명을 설명하나, 본 발명의 권리범위는 이에 한정되지는 않는다.
MPEG-V Part 5 감지 정보(Sensed Information)의 데이터 포맷들을 위한 LASeR의 외부 이벤트가 요구된다. 감지 정보를 LASeR에서 이용하는 방법에는 여러가지가 있다. 그 중 하나는 LASeR를 위한 새로운 외부 이벤트를 갖는 것이다. 본 발명은 새로운 이벤트 및 이에 대한 IDL 정의(IDL definition)를 제공한다. 이러한 이벤트와 함께, LASeR는 다양한 산업 지원 센서들로부터의 다양한 입력 정보를 이용할 수 있다.
여기서, 센서 또는 작동기란 다양한 실감 효과(sensory effect)를 나타낼 수 있는 디바이스들을 의미하며, 이러한 센서들에 의해 수집된 정보를 감지 정보라고 한다. 본 발명의 일 실시예에서는 [표 1]과 같이 17개의 서로 다른 센서 및 각 센서 별 속성 값들이 이용된다.
표 1
Figure PCTKR2010002317-appb-T000001
Figure PCTKR2010002317-appb-I000001
본 발명의 일 실시예에서는 [표 1]에 나타난 서로 다른 속성 값들의 일반적인(generic) 이용을 위해 아래와 같이 외부 센서 이벤트 정보를 위한 속성을 정의한다. (IDL 정의)
interface externalSensorEvent : LASeREvent {
typedef float fVectorType[3];
typedef sequence<fVectorType> fVectorListType;
readonly attribute string unitType;
readonly attribute float time;
readonly attribute float fValue;
readonly attribute string sValue;
readonly attribute fVectorType fVectorValue;
readonly attribute fVectorListType fVectorList1;
readonly attribute fVectorListType fVectorList2;
};
위 IDL 정의에 정의된 속성의 의미는 다음과 같다.
- fVectorType : 3개의 플로팅 포인트 숫자로 구성된 3D 벡터 타입을 명시한다.
- fVectorListType : 하나 이상의 3D 플로트(float) 벡터의 리스트 타입을 명시한다.
- unitType : 단위(unit)을 스트링(string) 형식으로 명시한다. (예: Lux, Celsius, Fahrenheit, mps, mlph)
- time : 감지 시간(sensed time)을 플로트 값으로 명시한다.
- fValue : 플로트 값을 명시한다.
- sValue : 스트링 값을 명시한다.
- fVectorValue : 플로트 벡터를 명시한다.
- fVectorList1, fVectorList2 : 제한없는(unlimited) 벡터들을 갖는 플로트 벡터 리스트를 명시한다.
위 IDL 정의는 [표 1]에 나타난 다양한 속성들을 일정한 기준으로 분류함으로써 본 발명에 의한 사용자 인터랙션 제공 시 해당 속성들을 보다 편리하게 이용하기 위한 것이다.
[표 2]는 본 발명의 일 실시예에 의한 외부 센서 이벤트 정보에 포함되는 이벤트 타입 정보 및 이벤트 속성 값 정보와, 각 이벤트 속성 값 정보의 속성을 나타낸다.
표 2
Figure PCTKR2010002317-appb-T000002
Figure PCTKR2010002317-appb-I000002
Figure PCTKR2010002317-appb-I000003
각 이벤트 타입은 이벤트 속성 값을 가지며, 각 이벤트 속성 값은 IDL 정의에서 정의된 unitType, time, fValue, sValue, fVectorValue, fVectorList, 즉 unitType 형, time 형, float Value 형, string Value 형, float Vector Value 형, float Vector List 형 중 어느 하나의 속성을 갖는다. 예를 들어, 조명 타입(Light type)은 Lux 단위로 표현되는 '조도'와 '색상'의 속성 값을 가지며, '조도'는 fValue, '색상'은 sValue의 속성을 갖는다.
도 5는 본 발명의 일 실시예에 의한 일 실시예에 의한 사용자 인터랙션 제공 장치의 구성도이다.
사용자 인터랙션 제공 장치(502)는 입력부(504) 및 제어부(506)를 포함한다. 입력부(504)는 조명 센서, 온도 센서 등과 같은 센서에 의해 획득된 감지 정보(Sensed Information)를 입력받는다. 예를 들어, 컨텐츠에 포함된 실감 효과 정보를 통해 조명 센서는 컨텐츠 재생 시 해당 컨텐츠에 알맞는 조명을 제공한다. 조명 센서는 동시에 현재 컨텐츠 재생 환경의 조명 상태를 인지하고 이를 다시 재생 시스템에 제공할 수 있는데, 이처럼 센서에 의해 감지된 재생 환경의 상태를 나타내는 정보를 감지 정보라고 한다. 컨텐츠 재생 시스템은 감지 정보를 통해 현재 재생 환경에 보다 알맞는 컨텐츠 재생을 수행할 수 있다.
제어부(506)는 감지 정보를 디스플레이에 시각화하기 위한 외부 센서 이벤트(External sensor event) 정보를 생성한다. 외부 센서 이벤트 정보는 이벤트 타입 정보, 이벤트 속성 값 정보를 포함할 수 있다. 이벤트 타입 정보는 조명 타입 정보, 주변 소음 타입 정보, 온도 타입 정보, 습도 타입 정보, 길이 타입 정보, 기압 타입 정보, 위치 타입 정보, 속도 타입 정보, 가속도 타입 정보, 회전각 타입 정보, 각속도 타입 정보, 각가속도 타입 정보, 힘 타입 정보, 토크 타입 정보, 압력 타입 정보, 움직임 타입 정보, 지능형 카메라 타입 정보 중 어느 하나를 포함할 수 있다. 또한 이벤트 속성 값 정보는 unitType 형, time 형, float Value 형, string Value 형, float Vector Value 형, float Vector List 형 중 어느 하나의 속성을 나타낼 수 있다.
제어부(506)는 생성된 외부 센서 이벤트 정보를 이용하여 디스플레이이 감지 정보를 시각화할 수 있다. 이 때 디스플레이에는 이벤트 타입, 이벤트 속성 값, 시각화 객체 등이 표시될 수 있으며, 시각화 객체는 이벤트 속성 값의 변화에 따라 변화할 수 있다.
다음으로, 사용자 인터랙션 제공 장치(502)에 의한 감지 정보의 시각화에 대한 실시예를 설명한다.
만약 입력부(504)가 온도 센서에 의해 획득된 감지 정보를 입력받았다고 할 때, 제어부(506)는 이러한 감지 정보를 디스플레이 상에 시각화함으로써 사용자로 하여금 자신의 현재 환경의 온도를 실시간으로 파악하도록 할 수 있다. 이 때, 외부 센서 이벤트 정보의 예시는 다음과 같다.
<?xml version="1.0" encoding="ISO-8859-1" ?>
<saf:SAFSession xmlns:saf="urn:mpeg:mpeg4:SAF:2005"
xmlns:xlink="http://www.w3.org/1999/xlink"
xmlns:ev=http://www.w3.org/2001/xml-events xmlns:lsr="urn:mpeg:mpeg4:LASeR:2005" xmlns="http://www.w3.org/2000/svg">
<saf:sceneHeader>
<lsr:LASeRHeader />
</saf:sceneHeader>
<saf:sceneUnit>
<lsr:NewScene>
<svg xmlns=http://www.w3.org/2000/svg >
<g onTemperature=“Temperature_change(evt)” >
<text id=“temp_text” x=10” y=“50”> </text>
<rect id="temp_rect" x="50" y="50" width="50" height="50" fill="green"/>
</g>
<script id=“temp” type="text/ecmascript">
<![CDATA[
function Temperature_change(evt) {
var evtText, evtRect, text;
evtText = document.getElementById(“temp_text”);
evtRect = document.getElementById(“temp_rect”);
text = evt.fValue;
evtText.firstChild.nodeValue = text;
if(evt.fValue > 30)
evtRect.setAttributeNS(null,”fill”,”red”);
else if(evt.fValue < 10)
evtRect.setAttributeNS(null,”fill”,”blue”);
else
evtRect.setAttributeNS(null,”fill”,”green”);
}
]]>
</script>
</svg>
</lsr:NewScene>
</saf:sceneUnit>
<saf:endOfSAFSession />
</saf:SAFSession>
위의 외부 센서 이벤트 정보는 이벤트 타입 정보(<g onTemperature=“Temperature_change(evt)” >), 이벤트 속성 값 정보(text = evt.fValue;)를 포함한다. 여기서 이벤트 속성 값 정보는 float Value 형의 속성을 갖는다. (text = evt.fValue;)
위의 외부 센서 이벤트 정보에는 또한 온도 값을 시각화하기 위한 사각형의 객체가 정의되며, 이 객체의 디폴트 값은 초록색(green)이다. (<rect id="temp_rect" x="50" y="50" width="50" height="50" fill="green"/>)
if(evt.fValue > 30) 이하의 구문에서는 온도가 30도보다 큰 경우 붉은 색으로, 온도가 10도 미만인 경우 파란 색으로, 그렇지 않은 경우에는 초록 색으로 사각형 객체를 채우도록 정의하고 있다.
이러한 외부 센서 이벤트 정보에 따라 도 6과 같은 시각화 정보가 디스플레이 상에 표시될 수 있다. 시각화 정보 상자(602)에는 온도를 뜻하는 'Temperature' 및 현재 온도가 섭씨 단위로 표현되며, 현재 온도를 시각화하여 보여주는 사각형 객체(604)가 존재한다.
만약 입력부(504)가 습도 센서에 의해 획득된 감지 정보를 입력받았다고 할 때, 외부 센서 이벤트 정보의 예시는 다음과 같다.
<?xml version="1.0" encoding="ISO-8859-1" ?>
<saf:SAFSession xmlns:saf="urn:mpeg:mpeg4:SAF:2005"
xmlns:xlink="http://www.w3.org/1999/xlink"
xmlns:ev=http://www.w3.org/2001/xml-events xmlns:lsr="urn:mpeg:mpeg4:LASeR:2005" xmlns="http://www.w3.org/2000/svg">
<saf:sceneHeader>
<lsr:LASeRHeader />
</saf:sceneHeader>
<saf:imageHeader streamID="S1" streamType="4" objectTypeIndication="109" source="face_smile.png"/>
<saf:imageHeader streamID="S2" streamType="4" objectTypeIndication="109" source="face_frown.png"/>
<saf:imageHeader streamID="S3" streamType="4" objectTypeIndication="109" source="face_tears.png"/>
<saf:sceneUnit>
<lsr:NewScene>
<svg xmlns=http://www.w3.org/2000/svg >
<g onHumidity=“Humidity_change(evt)” >
<text x=”50” y=“20”>Humidity</text>
<text id=“humidity_text” x=”10” y=“50”> </text>
<text x=”20” y=“50”>%</text>
<image id="s1" x="80" y="50" width="50" height="50" type="image/png" xlink:href="#S1" fill="#000000"
visibility =”hidden”/>
<image id="s2" x="80" y="50" width="50" height="50" type="image/png" xlink:href="#S2" fill="#000000"
visibility =”hidden”/>
<image id="s3" x="40" y="50" width="60" height="60" type="image/png" xlink:href="#S3" fill="#000000"
visibility =”hidden”/>
</g>
<script id=“humidity” type="text/ecmascript">
<![CDATA[
function Humidity_change(evt) {
var evtText, textContent, evtImage1, evtImage2, evtImage3;
evtText = document.getElementById(“humidity _text”);
evtImage1 = document.getElementById(“s1”);
evtImage2 = document.getElementById(“s2”);
evtImage3 = document.getElementById(“s3”);
textContent = evt.fValue;
evtText.firstChild.nodeValue = textContent;
if(evt.fValue > 80) {
evtImage1.setAttributeNS(null,”visibility”,”hidden”);
evtImage2.setAttributeNS(null,”visibility”,”hidden”);
evtImage3.setAttributeNS(null,”visibility”,”visible”);
}
else if(evt.fValue < 30) {
evtImage1.setAttributeNS(null,”visibility”,”hidden”);
evtImage2.setAttributeNS(null,”visibility”,”visible”);
evtImage3.setAttributeNS(null,”visibility”,”hidden”);
}
else {
evtImage1.setAttributeNS(null,”visibility”,”visible”);
evtImage2.setAttributeNS(null,”visibility”,”hidden”);
evtImage3.setAttributeNS(null,”visibility”,”hidden”);
}
}
]]>
</script>
</svg>
</lsr:NewScene>
</saf:sceneUnit>
<saf:endOfSAFSession />
</saf:SAFSession>
위의 외부 센서 이벤트 정보는 이벤트 타입 정보(<g onHumidity=“Humidity_change(evt)” >), 이벤트 속성 값 정보(textContent = evt.fValue;)를 포함한다. 여기서 이벤트 속성 값 정보는 float Value 형의 속성을 갖는다. (textContent = evt.fValue;)
위의 외부 센서 이벤트 정보에는 또한 습도 값을 시각화하기 위한 이미지 객체가 정의된다. if(evt.fValue > 80) 이하의 구문에서는 습도가 80보다 큰 경우 evtImage1을, 습도가 30 미만인 경우 eventImage2를, 그렇지 않은 경우에는 eventImage3을 디스플레이 상에 나타내도록 정의하고 있다.
이러한 외부 센서 이벤트 정보에 따라 도 7과 같은 시각화 정보가 디스플레이 상에 표시될 수 있다. 시각화 정보 상자(702)에는 습도를 뜻하는 'Humidity' 및 현재 습도가 % 단위로 표현되며, 현재 습도를 시각화하여 보여주는 이미지 객체(704)가 존재한다.
만약 입력부(504)가 길이 센서에 의해 획득된 감지 정보를 입력받았다고 할 때, 외부 센서 이벤트 정보의 예시는 다음과 같다.
<?xml version="1.0" encoding="ISO-8859-1" ?>
<saf:SAFSession xmlns:saf="urn:mpeg:mpeg4:SAF:2005"
xmlns:xlink="http://www.w3.org/1999/xlink"
xmlns:ev=http://www.w3.org/2001/xml-events xmlns:lsr="urn:mpeg:mpeg4:LASeR:2005" xmlns="http://www.w3.org/2000/svg">
<saf:sceneHeader>
<lsr:LASeRHeader />
</saf:sceneHeader>
<saf:sceneUnit>
<lsr:NewScene>
<svg xmlns=http://www.w3.org/2000/svg >
<g onLength=“Length_change(evt)” >
<text id=“length_text” x=”10” y=“50”> </text>
</g>
<script id=“length” type="text/ecmascript">
<![CDATA[
function Length_change(evt) {
var evtText, textContent;
evtText = document.getElementById(“length_text”);
if(evt.fValue < 2) {
textContent = “You're too close to the TV. Move back from the TV.”;
}
else if(evt.fValue >= 2) {
textContent = “”;
}
evtText.firstChild.nodeValue = textContent;
}
]]>
</script>
</svg>
</lsr:NewScene>
</saf:sceneUnit>
<saf:endOfSAFSession />
</saf:SAFSession>
위의 외부 센서 이벤트 정보는 이벤트 타입 정보(<g onLength=“Length_change(evt)” >), 이벤트 속성 값 정보(evt.fValue)를 포함한다. 여기서 이벤트 속성 값 정보는 float Value 형의 속성을 갖는다. (evt.fValue)
if(evt.fValue < 2) 이하의 구문에서는 사용자와 TV 사이의 거리가 2m 미만일 경우, "You're too close to the TV. Move back from the TV."의 경고 메시지가 디스플레이 상에 나타나도록 정의하고 있다.
도 8은 본 발명의 일 실시예에 의한 사용자 인터랙션 제공 방법의 흐름도이다.
먼저 센서에 의해 획득된 감지 정보를 입력받는다(802). 그리고 입력된 감지 정보를 디스플레이에 시각화하기 위한 외부 센서 이벤트 정보를 생성한다(804). 외부 센서 이벤트 정보는 이벤트 타입 정보, 이벤트 속성 값 정보를 포함한다. 이벤트 타입 정보는 조명 타입 정보, 주변 소음 타입 정보, 온도 타입 정보, 습도 타입 정보, 길이 타입 정보, 기압 타입 정보, 위치 타입 정보, 속도 타입 정보, 가속도 타입 정보, 회전각 타입 정보, 각속도 타입 정보, 각가속도 타입 정보, 힘 타입 정보, 토크 타입 정보, 압력 타입 정보, 움직임 타입 정보, 지능형 카메라 타입 정보 중 어느 하나를 포함할 수 있다. 이벤트 속성 값 정보는 unitType 형, time 형, float Value 형, string Value 형, float Vector Value 형, float Vector List 형 중 어느 하나의 속성을 나타낸다.
그리고 나서, 생성된 외부 센서 이벤트 정보를 이용하여 디스플레이에 감지 정보를 시각화한다(806). 이 때 디스플레이에는 이벤트 타입, 이벤트 속성 값, 시각화 객체가 표시되며, 시각화 객체는 이벤트 속성 값의 변화에 따라 변화할 수 있다.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (15)

  1. 사용자에 의한 제어를 입력받는 입력부;
    상기 제어를 분석하여 상기 제어의 타입을 나타내는 이벤트 타입 정보 및 이벤트 속성 정보를 포함하는 드래그 이벤트(Drag event) 정보를 생성하는 제어 처리부; 및
    상기 드래그 이벤트 정보를 참조하여, 디스플레이에 상기 제어에 대응하는 동작을 나타내기 위한 드래그 엘리먼트(Drag element) 정보를 생성하는 동작 처리부를 포함하고,
    상기 드래그 엘리먼트 정보는 상기 동작의 모드를 나타내는 동작 모드 정보 및 동작 속성 정보를 포함하는, 사용자 인터랙션 제공 장치.
  2. 제1항에 있어서,
    상기 이벤트 타입 정보는
    드래그(Drag) 타입 정보 또는 드롭(Drop) 타입 정보 중 어느 하나를 포함하는, 사용자 인터랙션 제공 장치.
  3. 제1항에 있어서,
    상기 이벤트 속성 정보는
    최대 각도 정보, 최소 각도 정보, 현재 각도 정보, 최대 위치 정보, 최소 위치 정보, 현재 위치 정보 중 적어도 하나를 포함하는, 사용자 인터랙션 제공 장치.
  4. 제1항에 있어서,
    상기 동작 모드 정보는
    드래그 플레인(Drag plane) 모드 정보 또는 드래그 로테이션(Drag rotation) 모드 정보 중 어느 하나를 포함하는, 사용자 인터랙션 제공 장치.
  5. 제1항에 있어서,
    상기 동작 속성 정보는
    최대 각도 정보, 최소 각도 정보, 각도 오프셋 정보, 최대 위치 정보, 최소 위치 정보, 위치 오프셋 정보, 타겟 엘리먼트 정보 중 적어도 하나를 포함하는, 사용자 인터랙션 제공 장치.
  6. 사용자에 의한 제어를 입력받는 단계;
    상기 제어를 분석하여 상기 제어의 타입을 나타내는 이벤트 타입 정보 및 이벤트 속성 정보를 포함하는 드래그 이벤트 정보를 생성하는 단계; 및
    상기 드래그 이벤트 정보를 참조하여, 디스플레이에 상기 제어에 대응하는 동작을 나타내기 위한 드래그 엘리먼트 정보를 생성하는 단계를 포함하고,
    상기 드래그 엘리먼트 정보는 상기 동작의 모드를 나타내는 동작 모드 정보 및 동작 속성 정보를 포함하는, 사용자 인터랙션 제공 방법.
  7. 센서에 의해 획득된 감지 정보(Sensed information)를 입력받는 입력부; 및
    상기 감지 정보를 디스플레이에 시각화하기 위한 외부 센서 이벤트(External Sensor Event) 정보를 생성하는 제어부를
    포함하는, 사용자 인터랙션 제공 장치.
  8. 제7항에 있어서,
    상기 외부 센서 이벤트 정보는
    이벤트 타입 정보, 이벤트 속성 값 정보를 포함하는, 사용자 인터랙션 제공 장치.
  9. 제8항에 있어서,
    상기 이벤트 타입 정보는
    조명(Light) 타입 정보, 주변 소음(Ambient noise) 타입 정보, 온도(Temperature) 타입 정보, 습도(Humidity) 타입 정보, 길이(Length) 타입 정보, 기압(Atmospheric pressure) 타입 정보, 위치(Position) 타입 정보, 속도(Velocity) 타입 정보, 가속도(Acceleration) 타입 정보, 회전각(Orientation) 타입 정보, 각속도(Angular velocity) 타입 정보, 각가속도(Angular Acceleration) 타입 정보, 힘(Force) 타입 정보, 토크(Torque) 타입 정보, 압력(Pressure) 타입 정보, 움직임(Motion) 타입 정보, 지능형 카메라(Intelligent Camera) 타입 정보 중 어느 하나를 포함하는, 사용자 인터랙션 제공 장치.
  10. 제8항에 있어서,
    상기 이벤트 속성 값 정보는
    unitType 형, time 형, float Value 형, string Value 형, float Vector Value 형, float Vector List 형 중 어느 하나의 속성을 나타내는, 사용자 인터랙션 제공 장치.
  11. 제7항에 있어서,
    상기 제어부는
    상기 외부 센서 이벤트 정보를 이용하여 상기 디스플레이에 상기 감지 정보를 시각화하고,
    상기 디스플레이에는 이벤트 타입, 이벤트 속성 값, 시각화 객체가 표시되며,
    상기 시각화 객체는 상기 이벤트 속성 값의 변화에 따라 변화하는, 사용자 인터랙션 제공 장치.
  12. 센서에 의해 획득된 감지 정보를 입력받는 단계; 및
    상기 감지 정보를 디스플레이에 시각화하기 위한 외부 센서 이벤트 정보를 생성하는 단계를
    포함하는, 사용자 인터랙션 제공 방법.
  13. 제12항에 있어서,
    상기 외부 센서 이벤트 정보는
    이벤트 타입 정보, 이벤트 속성 값 정보를 포함하는, 사용자 인터랙션 제공 방법.
  14. 제13항에 있어서,
    상기 이벤트 속성 값 정보는
    unitType 형, time 형, float Value 형, string Value 형, float Vector Value 형, float Vector List 형 중 어느 하나의 속성을 나타내는, 사용자 인터랙션 제공 장치.
  15. 제12항에 있어서,
    상기 외부 센서 이벤트 정보를 이용하여 상기 디스플레이에 상기 감지 정보를 시각화하는 단계를 더 포함하고,
    상기 디스플레이에는 이벤트 타입, 이벤트 속성 값, 시각화 객체가 표시되며,
    상기 시각화 객체는 상기 이벤트 속성 값의 변화에 따라 변화하는, 사용자 인터랙션 제공 방법.
PCT/KR2010/002317 2009-04-14 2010-04-14 ＬＡＳｅＲ에서의 사용자 인터랙션 제공 방법 및 장치 WO2010120120A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/264,716 US20120044138A1 (en) 2009-04-14 2010-04-14 METHOD AND APPARATUS FOR PROVIDING USER INTERACTION IN LASeR

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US16896609P 2009-04-14 2009-04-14
US61/168,966 2009-04-14
US17113609P 2009-04-21 2009-04-21
US61/171,136 2009-04-21
US29528310P 2010-01-15 2010-01-15
US61/295,283 2010-01-15

Publications (2)

Publication Number Publication Date
WO2010120120A2 true WO2010120120A2 (ko) 2010-10-21
WO2010120120A3 WO2010120120A3 (ko) 2011-01-20

Family

ID=42983001

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/002317 WO2010120120A2 (ko) 2009-04-14 2010-04-14 ＬＡＳｅＲ에서의 사용자 인터랙션 제공 방법 및 장치

Country Status (3)

Country Link
US (1) US20120044138A1 (ko)
KR (1) KR20100113995A (ko)
WO (1) WO2010120120A2 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8528005B2 (en) * 2010-04-09 2013-09-03 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement in an IPTV terminal
KR101800182B1 (ko) 2011-03-16 2017-11-23 삼성전자주식회사 가상 객체 제어 장치 및 방법
US9003318B2 (en) * 2011-05-26 2015-04-07 Linden Research, Inc. Method and apparatus for providing graphical interfaces for declarative specifications
KR101979283B1 (ko) * 2011-07-12 2019-05-15 한국전자통신연구원 사용자 인터페이스 구현 방법 및 이러한 방법을 사용하는 장치
WO2013009085A2 (ko) * 2011-07-12 2013-01-17 한국전자통신연구원 사용자 인터페이스 구현 방법 및 이러한 방법을 사용하는 장치
KR101412645B1 (ko) * 2012-08-28 2014-06-26 한밭대학교 산학협력단 Ｘｍｌ 기반의 ａｕｉ 데이터 통합처리시스템
US20160133036A1 (en) * 2014-11-12 2016-05-12 Honeywell International Inc. Systems and methods for displaying facility information
CN111352665A (zh) * 2018-12-24 2020-06-30 顺丰科技有限公司 页面加载方法、装置、设备及其存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001277651A (ja) * 2000-03-31 2001-10-09 Ricoh Co Ltd スタンプ図形表示方法および情報入力表示装置
KR20050001238A (ko) * 2003-06-27 2005-01-06 주식회사 팬택앤큐리텔 초음파 계측 통신 단말기
US20060150027A1 (en) * 2004-12-06 2006-07-06 Precision Digital Corporation System for monitoring and display of process control data
US20070013665A1 (en) * 2003-10-24 2007-01-18 Asko Vetelainen Method for shifting a shortcut in an electronic device, a display unit of the device, and an electronic device
US20070019705A1 (en) * 2005-07-25 2007-01-25 Blakely Gerald W Iii Anemometer with non-contact temperature measurement

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6684174B2 (en) * 2002-02-27 2004-01-27 Radioshack, Corp. Wind gauge
KR101310894B1 (ko) * 2006-10-17 2013-09-25 주식회사 넷앤티비 ＬＡＳｅＲ 서비스에서 다른 ＳＡＦ 세션의 스트림 참조방법, 기록매체, 장치 및 그 서비스 제공 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001277651A (ja) * 2000-03-31 2001-10-09 Ricoh Co Ltd スタンプ図形表示方法および情報入力表示装置
KR20050001238A (ko) * 2003-06-27 2005-01-06 주식회사 팬택앤큐리텔 초음파 계측 통신 단말기
US20070013665A1 (en) * 2003-10-24 2007-01-18 Asko Vetelainen Method for shifting a shortcut in an electronic device, a display unit of the device, and an electronic device
US20060150027A1 (en) * 2004-12-06 2006-07-06 Precision Digital Corporation System for monitoring and display of process control data
US20070019705A1 (en) * 2005-07-25 2007-01-25 Blakely Gerald W Iii Anemometer with non-contact temperature measurement

Also Published As

Publication number Publication date
US20120044138A1 (en) 2012-02-23
WO2010120120A3 (ko) 2011-01-20
KR20100113995A (ko) 2010-10-22

Similar Documents

Publication Publication Date Title
WO2010120120A2 (ko) ＬＡＳｅＲ에서의 사용자 인터랙션 제공 방법 및 장치
WO2015182869A1 (en) Display apparatus and method thereof
WO2014148698A1 (en) Display device and method for controlling the same
WO2016104952A1 (en) Display apparatus and display method
WO2016099141A9 (ko) 멀티미디어 콘텐츠 제작 및 재생 방법, 이를 수행하는 전자 기기 및 이를 실행하는 프로그램이 저장된 기록 매체
WO2017003007A1 (ko) 영상표시장치 및 이동 단말기
WO2016137167A1 (en) Terminal
WO2013022218A2 (en) Electronic apparatus and method for providing user interface thereof
WO2013022223A2 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
WO2017111268A1 (ko) 변형 가능한 디스플레이 장치 및 이를 이용한 영상 표시 방법
WO2016018062A1 (en) Method and device for providing content
WO2016093510A1 (en) Display apparatus and display method
WO2014129864A1 (en) An apparatus for providing a cursor in electronic devices and a method thereof
WO2016171403A1 (en) Electronic device and method
WO2019125036A1 (en) Image processing method and display apparatus therefor
WO2021162320A1 (en) Electronic device and method for operating high speed screen of electronic device
WO2018190517A1 (en) Electronic apparatus and method for displaying contents thereof
WO2018088667A1 (en) Display device
WO2016108407A1 (ko) 주석 제공 방법 및 장치
WO2016111487A1 (en) Display apparatus and display method
WO2020209624A1 (en) Head mounted display device and operating method thereof
EP3039557A1 (en) Method and apparatus for sharing and displaying writing information
WO2022050785A1 (ko) 디스플레이 기기 및 그의 동작 방법
WO2021158058A1 (en) Method for providing filter and electronic device supporting the same
WO2021070976A1 (ko) 소스 기기 및 무선 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10764659

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13264716

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10764659

Country of ref document: EP

Kind code of ref document: A2