WO2016080596A1 - 프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 - Google Patents

프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2016080596A1
WO2016080596A1 PCT/KR2015/001870 KR2015001870W WO2016080596A1 WO 2016080596 A1 WO2016080596 A1 WO 2016080596A1 KR 2015001870 W KR2015001870 W KR 2015001870W WO 2016080596 A1 WO2016080596 A1 WO 2016080596A1
Authority
WO
WIPO (PCT)
Prior art keywords
input data
graphic element
sensor
trigger
user
Prior art date
Application number
PCT/KR2015/001870
Other languages
English (en)
French (fr)
Inventor
김수
Original Assignee
스튜디오씨드코리아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스튜디오씨드코리아 주식회사 filed Critical 스튜디오씨드코리아 주식회사
Priority to CN201580063397.1A priority Critical patent/CN107003804B/zh
Publication of WO2016080596A1 publication Critical patent/WO2016080596A1/ko
Priority to US15/599,758 priority patent/US10067664B2/en
Priority to US16/058,917 priority patent/US10572134B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming

Definitions

  • the present invention relates to a method, a system and a non-transitory computer readable recording medium for providing a prototyping tool.
  • the conventional universal and formal gesture may be There is a limitation that interaction techniques are difficult to apply.
  • prototyping tool ie, prototyping tool
  • various prototyping tools have been introduced to assist in the development of computer programs such as applications or interaction techniques applicable to the computer programs.
  • conventionally introduced prototyping tools have a problem that they are difficult to use for ordinary users (for example, app designers, etc.) who have no background in computer programming, or vice versa.
  • it is limited in its ability to implement sophisticated and complex interactions that users want.
  • the object of the present invention is to solve all the above-mentioned problems.
  • the present invention obtains the first input data and the second input data using at least one sensor, obtains the combination data specifying the combination between the first input data and the second input data, the first input data And a gesture in which the second input data are combined according to the combination data, as a trigger, and corresponding to the first graphic element corresponding to the trigger, the second graphic element corresponding to the object, and the action.
  • the at least one first graphical element At least one of the above for at least one object corresponding to the at least one second graphical element if the corresponding at least one trigger occurs.
  • a method for providing a prototyping tool comprising: obtaining first input data and second input data using at least one sensor, wherein the first input data and the first input data are obtained; Obtaining combination data specifying a combination between two input data, defining a gesture, in which the first input data and the second input data are combined according to the combination data, as a trigger, corresponding to a trigger Providing a first graphic element, a second graphic element corresponding to an object and a third graphic element corresponding to an action, and at least one first graphic element, at least one second graphic element, and If at least one third graphical element is selected and combined by a user, at least one track corresponding to the at least one first graphical element Defining an interaction for causing at least one action corresponding to the at least one third graphic element to be performed on at least one object corresponding to the at least one second graphic element when the trigger occurs.
  • a system for providing a prototyping tool comprising: obtaining first input data and second input data using at least one sensor, wherein the first input data and the first input data are obtained;
  • a trigger manager for acquiring combination data specifying a combination between two input data and defining a gesture, in which the first input data and the second input data are combined according to the combination data, as a trigger, and a trigger;
  • An interaction defining an interaction that causes at least one action corresponding to the at least one third graphic element to be performed on at least one object corresponding to the at least one second graphic element when a trigger occurs
  • a system including a management unit is provided.
  • non-transitory computer readable recording medium for recording another method, device, system, and computer program for executing the method.
  • an effect of allowing a user to easily and variously generate a gesture that can be utilized as a trigger of an interaction applied to a smart device, a wearable device, an IoT device, or the like is achieved. .
  • a user who does not have the technical background necessary to implement the interaction can achieve the effect of easily prototyping various interactions (Prototyping).
  • FIG. 1 is a view showing a schematic configuration of an entire system for providing a prototyping tool according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an internal configuration of a prototyping tool providing system according to an embodiment of the present invention.
  • FIG. 3 is a diagram exemplarily illustrating a configuration in which input data is combined according to combination data according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a process of defining a trigger according to an embodiment of the present invention.
  • FIG. 5 is a diagram exemplarily illustrating a configuration of graphic elements according to an embodiment of the present invention.
  • FIGS. 6 and 7 are diagrams exemplarily illustrating a configuration for defining an interaction such that an action associated with a predetermined object is performed when a trigger associated with a predetermined object occurs according to an embodiment of the present invention.
  • FIGS. 8 and 9 are diagrams exemplarily illustrating a relationship between a combined state of graphic elements and interactions according to one embodiment of the present invention.
  • 10 to 16 are diagrams exemplarily illustrating a configuration of interactions prototyped according to an embodiment of the present invention.
  • the interaction is a concept that collectively refers to interactions that may occur between the user and the device 300, and refers to an action indicating an action performed on the device and a triggering event for triggering a predetermined action. It can be composed of a trigger (Trigger) to perform a role, and the Object (Object) pointing to the object that is the target of the above action or trigger.
  • Trigger Trigger
  • Object Object
  • FIG. 1 is a view showing a schematic configuration of an entire system for providing a prototyping tool according to an embodiment of the present invention.
  • the entire system may include a communication network 100, a prototyping tool providing system 200, and devices 310 and 320.
  • the communication network 100 may be configured regardless of a communication mode such as wired communication or wireless communication, and includes a local area network (LAN) and a metropolitan area network (MAN). ), And various communication networks such as a wide area network (WAN).
  • LAN local area network
  • MAN metropolitan area network
  • WAN wide area network
  • the communication network 100 as used herein may be a known Internet or World Wide Web (WWW).
  • WWW World Wide Web
  • the communication network 100 may include, at least in part, a known wired / wireless data communication network, a known telephone network, or a known wired / wireless television communication network without being limited thereto.
  • the prototyping tool providing system 200 may be a digital device having a computing capability by mounting a microprocessor and a memory means.
  • the prototyping tool providing system 200 may be a server system.
  • the prototyping tool providing system 200 obtains the first input data and the second input data using at least one sensor, as described in detail below, and the first input data and the second input data.
  • Acquire a combination data specifying a combination therebetween define a gesture in which the first input data and the second input data are combined according to the combination data, as a trigger, and a first graphic element corresponding to the trigger, a second corresponding to the object.
  • the function of the prototyping tool providing system 200 will be described in more detail below. Meanwhile, although described above with respect to the prototyping tool providing system 200, this description is exemplary, and at least some of the functions or components required for the prototyping tool providing system 200 may be described as necessary. It will be apparent to those skilled in the art that the devices 310 and 320 may be implemented or included in the device.
  • the device (310, 320) is a counterpart of the prototyping tool providing system 200 or the device (310, 320) (preferably, the device (310, 320) is mutually A digital device having a function of communicating after being connected to a separate or externalized device, and having a memory means and a microprocessor equipped with a computing power. It can be adopted as the device 310, 320 according.
  • the devices 310 and 320 may be so-called smart devices such as smart phones, smart pads, or the like, or so-called wearable devices such as smart glasses, smart watches, smart bands, smart rings, or the like, or Internet of Things (IoT) devices.
  • devices 310 and 320 may be more or less traditional devices, such as desktop computers, notebook computers, workstations, PDAs, web pads, mobile phones, buttons, mice, keyboards, electronic pens, and the like.
  • the devices 310 and 320 may include at least one technical means (ie, a sensor) capable of obtaining input data or combination data according to a user's manipulation.
  • technical means include known components, such as touch panels, pointing tools (e.g., mouse, stylus, electronic pen, etc.), graphical objects that can be manipulated by users, keyboards, toggle switches, biometric information (fingerprints, etc.).
  • Recognition sensor distance sensor, motion sensor, acceleration sensor, gyro sensor, magnetic sensor, positioning sensor (GPS module, beacon-based positioning (identification) module, etc.), barometric pressure sensor, distance sensor, image recognition sensor (camera, etc.) , Acoustic recognition sensors, voice recognition sensors, light recognition sensors, and the like.
  • the devices 310 and 320 may further include an application program supporting an interaction prototyped by the prototyping tool providing system 200 on the device or supporting the prototyping itself.
  • an application may exist in the form of a program module in the corresponding devices 310 and 320.
  • the nature of these program modules may be generally similar to the internal components of the prototyping tool providing system 200 as described above.
  • the application may be replaced with a hardware device or a firmware device, at least a part of which may perform a function substantially the same or equivalent thereto.
  • the first device 310 and the second device 320 may have a predetermined association (for example, an association that belongs to the same user, or an association that functions for the same user).
  • the first device 310 and the second device 320 when it is recognized that they have an association that is located substantially close to each other, or that one of them is reasonable to authenticate or allow the other.
  • a predetermined connection can be made between the two, such recognition or connection can be performed by the prototyping tool providing system 200 or directly by the first device 310 and the second device 320.
  • FIG. 2 is a diagram illustrating an internal configuration of a prototyping tool providing system according to an embodiment of the present invention.
  • the prototyping tool providing system 200 may include a trigger manager 210, an interaction manager 220, a database 230, a communicator 240, and a controller 250. It may include. According to one embodiment of the invention, the trigger management unit 210, interaction management unit 220, database 230, communication unit 240 and the control unit 250 at least some of them communicate with an external system (not shown) May be program modules. Such program modules may be included in the prototyping tool providing system 200 in the form of operating systems, application modules, and other program modules, and may be physically stored on a variety of known storage devices. In addition, such program modules may be stored in a remote storage device that can communicate with the prototyping tool providing system 200. On the other hand, such program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
  • the trigger manager 210 acquires the first input data and the second input data by using at least one sensor, and combines the first input data and the second input data.
  • the function of acquiring the combination data to specify can be performed.
  • the trigger manager 210 may define, as a trigger, a gesture in which the obtained first input data and the second input data are combined according to the obtained combination data. Function can be performed.
  • the trigger manager 210 may sequentially acquire the first input data and the second input data at predetermined time intervals.
  • the trigger management unit 210 in acquiring the first input data or the second input data, after receiving the selection of the type of input data from the user by using at least one sensor
  • the first input data or the second input data can be specified by sensing the demonstration being performed by.
  • the method of acquiring the input data according to the present invention is not necessarily limited to those listed above, and detects a demonstration performed by the user using at least one sensor without selecting a type of input data from the user. Note that the input data can also be specified simply.
  • the trigger manager 210 may specify the first input data or the second input data by detecting a demonstration performed over a plurality of devices.
  • the trigger manager 210 may specify the first input data or the second input data based on the pattern extracted from the demonstration detected over a plurality of times.
  • the combination data obtained by the trigger management unit 210 may include a Boolean operator.
  • the combination data may include an AND operator, an OR operator, a NOT operator, an exclusive OR operator, and the like.
  • FIG. 3 is a diagram exemplarily illustrating a configuration in which input data is combined according to combination data according to an embodiment of the present invention.
  • the first input data and the second input data are combined according to a combination data called an AND operator. In this case, both the first input data and the second input data may be combined.
  • the input gesture can be defined as a trigger.
  • FIG. 3B it may be assumed that the first input data and the second input data are combined according to a combination data called an OR operator. In this case, any one of the first input data and the second input data may be assumed. Any input gesture may be defined as a trigger.
  • FIG. 4 is a diagram illustrating a process of defining a trigger according to an embodiment of the present invention.
  • a user selects a type of first input data (for example, device tilt) (S410), and then performs a demonstration corresponding to the selected type for the device 300.
  • the range of the first input data for example, the range of the angle at which the device is inclined
  • the user may select combination data specifying a combination between the first input data obtained previously and the second input data to be obtained next (S430).
  • the user selects the type of the second input data (eg, device shake) (S440)
  • the user inputs the second input data by demonstrating the device 300 corresponding to the selected type.
  • the range eg, acceleration and distance at which the device is shaken
  • a gesture generated as a result of combining the first input data and the second input data obtained according to the combination data may be defined as a trigger (S460).
  • the trigger manager 210 may determine that only the input data approved by the user among the obtained input data is valid input data. In addition, according to an embodiment of the present invention, the trigger manager 210 may determine that only the gesture approved by the user among the above combined gestures is a valid trigger. That is, according to an embodiment of the present invention, the obtained first input data or the second input data is incorrectly input by a user's demonstration mistake, etc., or a result of combining the first input data or the second input data. When the gesture to be made does not match the intention of the user, the user may cancel the corresponding input data or the gesture so that only the input data or the gesture intended by the user is included in the trigger.
  • the interaction manager 220 performs a function of providing a first graphic element corresponding to a trigger, a second graphic element corresponding to an object, and a third graphic element corresponding to an action. can do.
  • the interaction manager 220 may select and combine at least one first graphic element, at least one second graphic element, and at least one third graphic element by a user. If at least one trigger corresponding to the selected first graphic element occurs, at least one corresponding to the selected third graphic element for at least one object corresponding to the selected second graphic element is generated. It can perform the function of defining the interaction that causes the action to be performed.
  • the object includes all texts, images, videos, audios, characters, avatars, entire areas of the screen, partial areas of the screen, and the like that can be controlled or interacted with on the device.
  • kinds of objects may be included.
  • an action may be performed on an object on a device, including moving, rotating, scaling, adjusting transparency, adjusting color, executing, canceling, copying, pasting, deleting, scrolling, and the like. All kinds of actions can be included.
  • the interaction manager 220 may include at least one first graphic element corresponding to a trigger, at least one second graphic element corresponding to an object, and at least one corresponding to an action. Perform a function of providing a graphical user interface (GUI) that supports selecting and combining a third graphical element of the.
  • GUI graphical user interface
  • FIG. 5 is a diagram exemplarily illustrating a configuration of graphic elements according to an embodiment of the present invention.
  • a first graphic element, a second graphic element, or a third graphic element corresponding to a trigger, an object, and an action, respectively, may be formed in the shape of pieces constituting a jigsaw puzzle. May be coupled in up, down, left and right directions depending on the joint formed at the boundary portion.
  • the first graphic element corresponding to the trigger may have a shape that can be joined to other graphic elements only downwards, so that the first graphic element is placed on top in the set of graphic elements defining the interaction. It may be (see Fig. 5 (a)).
  • the third graphic element corresponding to the action may have a shape in which other graphic elements can be connected to both the top and the bottom thereof, so that the second graphic element is the first graphic in the set of graphic elements defining the interaction. It may be placed below the element or above or below the other second graphic element (see FIG. 5B).
  • the second graphic element corresponding to the object may have a shape in which at least a portion of the second graphic element overlaps the first graphic element or the third graphic element, thereby visually expressing that the object is associated with a trigger or an action. .
  • FIGS. 6 and 7 are diagrams exemplarily illustrating a configuration for defining an interaction such that an action associated with a predetermined object is performed when a trigger associated with a predetermined object occurs according to an embodiment of the present invention.
  • a user may select a first graphic element, a second graphic element, or a third graphic element corresponding to a trigger, an object, or an action, respectively, through the graphic user interface.
  • a graphic element set displayed in a combined state of the first graphic object 710, the second graphic objects 721 and 722, and the third graphic objects 731 to 736 may be identified.
  • the element set is " when a trigger for dragging 710 the photo object 721 occurs, the rotation 731, the transparency 732 and the scale ( 733), and the actions of Move 734, Color 735, and 3D Rotate 736 are performed on the text box object 722. "Can mean interaction.
  • FIGS. 8 and 9 are diagrams exemplarily illustrating a relationship between a combined state of graphic elements and interactions according to one embodiment of the present invention.
  • the first graphic element corresponding to the trigger, the second graphic element corresponding to the object, and the third graphic element corresponding to the action may be combined in the order of operating (or acting) on the two-dimensional plane. .
  • the up-and-down axis that is, the Y-axis
  • graphic elements located at the same height on the Y-axis are determined to operate simultaneously.
  • the set of graphic elements illustrated in FIG. 8 (a) indicates that "When trigger 1 occurs, action 1 and action 2 are performed simultaneously, and action 3, action 4, and action 5 are performed. Is performed at the same time, and action 6 is performed next ", which may mean an interaction (see (b) of FIG. 8).
  • the first graphic element corresponding to the trigger, the second graphic element corresponding to the object, and the third graphic element corresponding to the action may be combined in the order of operation on the two-dimensional plane.
  • the graphic elements stacked in the height direction (ie, Z-axis direction) on the Y-axis are arranged in the order from the top to the bottom when the axis in the up-down direction (ie, Y-axis) is referred to. It can be assumed that it is determined to operate at the same time.
  • the graphic element set shown in FIG. 9 (a) is " trigger 1 occurs, first action 1 and action 2 are performed simultaneously, and then action 3 , Action 4 and action 5 are performed at the same time, and action 6 is performed next. ”(See FIG. 9B).
  • the database 230 may store the information on the trigger or interaction defined above, and may perform the function so that it can be reused by the user or another user.
  • the database 230 is a concept including a computer-readable recording medium.
  • the database 230 may be a broad database including data recording based on a file system as well as a narrow database.
  • the communication unit 240 performs a function to enable the prototyping tool providing system 200 to communicate with an external device.
  • the controller 250 performs a function of controlling the flow of data between the trigger manager 210, the interaction manager 220, the database 230, and the communicator 240. That is, the controller 250 controls the flow of data from the outside or between each component of the facial expression recognition system 200, thereby triggering the trigger management unit 210, the interaction management unit 220, the database 230, and the communication unit 240. Controls each to perform its own function.
  • 10 to 16 are diagrams exemplarily illustrating a configuration of interactions prototyped according to an embodiment of the present invention.
  • a tab 1011 is applied to an object called a carousel image 1021 displayed on a screen of a device.
  • the interaction of filling the screen (Scale 1031) is performed while the size of the object called the carousel image 1021 is increased. b) and (c)).
  • a swipe 1111 is performed on an object called a category image 1121 displayed on the screen of the device.
  • the object named category image 1121 is moved (Move) 1113 and the object called carousel image 1122 displayed on the screen is also moved (Move) 1132. Is performed "may be prototyped (see FIGS. 11B and 11C).
  • FIG. 12A when the trigger of the operation of tilting the device (that is, the accelerometer) 1211 occurs, the screen is displayed on the screen.
  • the interaction of moving an object named photo 1221 is performed 1223 "may be prototyped (see FIG. 12 (b)).
  • a trigger for performing an operation of dragging 1311 upward toward an object called "cardSport area 1321 is performed.
  • objects of logoColor region 1322, gaia region 1323, cardSport region 1321, cardWeather territory 1324, and searchBox region 1325 are moved upward (Move) 1331 to 1335.
  • an action is performed to expand and display the object named cardSport area 1321.
  • the logoColor area 1322 and the gaia area 1323 and 1338, an action of adjusting the transparency of an object called 1323 is performed, and an action of adjusting the transparency of an object called logoWhite region 1335 is performed, and then, , statusBar zero
  • mapTile 1521 when a trigger in which a drag 1511 operation is performed on an object named "mapTile 1521" occurs, mapTile is generated.
  • the interaction of moving the object 1521 is performed 1153 may be prototyped (see FIG. 15B).
  • mapTile 1621 when a trigger in which a Pinch 1611 operation is performed on an object named "mapTile 1621" occurs, mapTile is generated.
  • the interaction of enlarging an object named 1621 (Scale) 1631 is performed "may be prototyped (see (b) of FIG. 16).
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded on a non-transitory computer readable recording medium.
  • the non-transitory computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the non-transitory computer readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • non-transitory computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks ( magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Architecture (AREA)

Abstract

본 발명의 일 태양에 따르면, 프로토타이핑 툴(Prototyping Tool)을 제공하기 위한 방법으로서, 센서를 이용하여 제1 입력 데이터 및 제2 입력 데이터를 획득하고, 제1 입력 데이터 및 제2 입력 데이터 사이의 조합을 특정하는 조합 데이터를 획득하는 단계, 제1 입력 데이터 및 제2 입력 데이터가 조합 데이터에 따라 조합되는 제스쳐를 트리거(Trigger)로서 정의하는 단계, 트리거에 대응되는 제1 그래픽 요소, 오브젝트(Object)에 대응되는 제2 그래픽 요소 및 액션(Action)에 대응되는 제3 그래픽 요소를 제공하는 단계, 및 제1 그래픽 요소, 제2 그래픽 요소 및 제3 그래픽 요소가 사용자에 의하여 선택 및 조합되면, 제1 그래픽 요소에 대응되는 트리거가 발생하는 경우에 제2 그래픽 요소에 대응되는 오브젝트에 대하여 제3 그래픽 요소에 대응되는 액션이 수행되도록 하는 인터랙션(Interaction)을 정의하는 단계를 포함하는 방법이 제공된다.

Description

프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
본 발명은 프로토타이핑 툴(Prototyping Tool)을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
근래에 들어, 스마트 디바이스, 웨어러블 디바이스, IoT(Internet of Things) 디바이스가 널리 사용됨에 따라, 이들 디바이스를 제어하기 위한 인터랙션(Interaction)에 관한 기술도 활발하게 개발되고 있다. 종래에 소개된 인터랙션에 관한 기술은, 터치 패널을 통해 입력되는 터치 제스쳐(예를 들면, 탭, 스와이프 등)나 가속도 센서 또는 자이로 센서를 통해 입력되는 움직임 제스쳐(예를 들면, 흔들기, 회전 등)와 같이 보편적이고도 정형적인 제스쳐에 기반하여 디바이스에 대한 제어가 수행되도록 하는 것이 대부분이었다.
하지만, 웨어러블 디바이스나 IoT 디바이스와 같이 터치 패널을 구비하기 어려운 디바이스의 경우 또는 형상이나 제조 비용의 제한으로 인하여 가속도 센서 또는 자이로 센서를 구비하기 디바이스의 경우에는, 종래의 보편적이고도 정형적인 제스쳐에 기반한 인터랙션 기술이 적용되기 어렵다는 한계가 존재한다.
따라서, 제어의 대상이 되는 디바이스가 가지는 특성이나 사용되는 상황에 맞게 새로운 제스쳐를 정의할 수 있도록 지원하거나 두 가지 이상의 제스쳐를 조합하여 디바이스에 대한 보다 구체적인 제어를 수행할 수 있도록 지원하는 기술이 요구되고 있다.
한편, 앞서 언급한 인터랙션 기술을 개발함에 있어서 필요한 프로토타이핑 툴(Prototyping Tool)(즉, 시제품화 툴)에 대한 관심도 높아지고 있다. 종래에도, 애플리케이션과 같은 컴퓨터 프로그램이나 그 컴퓨터 프로그램에 적용될 수 있는 인터랙션 기술을 개발하는 것을 지원하는 다양한 프로토타이핑 툴이 소개된 바 있다. 하지만, 종래에 소개된 프로토타이핑 툴은 컴퓨터 프로그래밍에 관한 배경지식이 없는 일반 사용자(예를 들면, 앱 디자이너 등)가 사용하기에 난해하다는 문제점을 가지고 있거나, 반대로, 일반 사용자가 쉽게 사용할 수 있기는 하지만 그 기능이 제한적이어서 사용자가 원하는 정교하고 복잡한 인터랙션을 구현하기 어렵다는 한계를 가지고 있는 경우가 대부분이다.
따라서, 인터랙션을 구성하는 요소들을 쉽게 정의하고 조합할 수 있도록 도와주면서도, 자유도와 확장성이 높은 기능을 제공하여 정교하고 복잡한 인터랙션을 구현할 수 있도록 지원하는 프로토타이핑 툴이 요구되고 있다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 적어도 하나의 센서를 이용하여 제1 입력 데이터 및 제2 입력 데이터를 획득하고, 제1 입력 데이터 및 제2 입력 데이터 사이의 조합을 특정하는 조합 데이터를 획득하고, 제1 입력 데이터 및 제2 입력 데이터가 조합 데이터에 따라 조합되는 제스쳐를 트리거(Trigger)로서 정의하고, 트리거에 대응되는 제1 그래픽 요소, 오브젝트(Object)에 대응되는 제2 그래픽 요소 및 액션(Action)에 대응되는 제3 그래픽 요소를 제공하고, 사용자에 의하여 적어도 하나의 제1 그래픽 요소, 적어도 하나의 제2 그래픽 요소 및 적어도 하나의 제3 그래픽 요소가 선택 및 조합되면, 위의 적어도 하나의 제1 그래픽 요소에 대응되는 적어도 하나의 트리거가 발생하는 경우에 위의 적어도 하나의 제2 그래픽 요소에 대응되는 적어도 하나의 오브젝트에 대하여 위의 적어도 하나의 제3 그래픽 요소에 대응되는 적어도 하나의 액션이 수행되도록 하는 인터랙션(Interaction)을 정의함으로써, 인터랙션을 구성하는 요소들을 쉽게 정의하고 조합할 수 있도록 도와주면서도 정교하고 복잡한 인터랙션을 구현할 수 있도록 지원하는 프로토타이핑 툴을 제공할 수 있도록 하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 프로토타이핑 툴(Prototyping Tool)을 제공하기 위한 방법으로서, 적어도 하나의 센서를 이용하여 제1 입력 데이터 및 제2 입력 데이터를 획득하고, 상기 제1 입력 데이터 및 상기 제2 입력 데이터 사이의 조합을 특정하는 조합 데이터를 획득하는 단계, 상기 제1 입력 데이터 및 상기 제2 입력 데이터가 상기 조합 데이터에 따라 조합되는 제스쳐를 트리거(Trigger)로서 정의하는 단계, 트리거에 대응되는 제1 그래픽 요소, 오브젝트(Object)에 대응되는 제2 그래픽 요소 및 액션(Action)에 대응되는 제3 그래픽 요소를 제공하는 단계, 및 적어도 하나의 제1 그래픽 요소, 적어도 하나의 제2 그래픽 요소 및 적어도 하나의 제3 그래픽 요소가 사용자에 의하여 선택 및 조합되면, 상기 적어도 하나의 제1 그래픽 요소에 대응되는 적어도 하나의 트리거가 발생하는 경우에 상기 적어도 하나의 제2 그래픽 요소에 대응되는 적어도 하나의 오브젝트에 대하여 상기 적어도 하나의 제3 그래픽 요소에 대응되는 적어도 하나의 액션이 수행되도록 하는 인터랙션(Interaction)을 정의하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 프로토타이핑 툴(Prototyping Tool)을 제공하기 위한 시스템으로서, 적어도 하나의 센서를 이용하여 제1 입력 데이터 및 제2 입력 데이터를 획득하고, 상기 제1 입력 데이터 및 상기 제2 입력 데이터 사이의 조합을 특정하는 조합 데이터를 획득하고, 상기 제1 입력 데이터 및 상기 제2 입력 데이터가 상기 조합 데이터에 따라 조합되는 제스쳐를 트리거(Trigger)로서 정의하는 트리거 관리부, 및 트리거에 대응되는 제1 그래픽 요소, 오브젝트(Object)에 대응되는 제2 그래픽 요소 및 액션(Action)에 대응되는 제3 그래픽 요소를 제공하고, 적어도 하나의 제1 그래픽 요소, 적어도 하나의 제2 그래픽 요소 및 적어도 하나의 제3 그래픽 요소가 사용자에 의하여 선택 및 조합되면, 상기 적어도 하나의 제1 그래픽 요소에 대응되는 적어도 하나의 트리거가 발생하는 경우에 상기 적어도 하나의 제2 그래픽 요소에 대응되는 적어도 하나의 오브젝트에 대하여 상기 적어도 하나의 제3 그래픽 요소에 대응되는 적어도 하나의 액션이 수행되도록 하는 인터랙션(Interaction)을 정의하는 인터랙션 관리부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 디바이스, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 사용자가 스마트 디바이스, 웨어러블 디바이스, IoT 디바이스 등에 적용되는 인터랙션(Interaction)의 트리거(Trigger)로서 활용될 수 있는 제스쳐(Gesture)를 쉽고도 다양하게 생성할 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 인터랙션을 구현하기 위해 필요한 기술적인 배경지식이 없는 사용자도 손쉽게 다양한 인터랙션을 프로토타이핑(Prototyping)해 볼 수 있게 되는 효과가 달성된다.
도 1은 본 발명의 일 실시예에 따라 프로토타이핑 툴을 제공하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 프로토타이핑 툴 제공 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 입력 데이터가 조합 데이터에 따라 조합되는 구성을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 트리거가 정의되는 과정을 예시적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 그래픽 요소의 구성을 예시적으로 나타내는 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 따라 소정의 오브젝트에 연관된 트리거가 발생하면 소정의 오브젝트에 연관된 액션이 수행되도록 하는 인터랙션을 정의하는 구성을 예시적으로 나타내는 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따라 그래픽 요소의 조합 상태와 그에 따른 인터랙션 사이의 관계를 예시적으로 나타내는 도면이다.
도 10 내지 도 16은 본 발명의 일 실시예에 따라 프로토타이핑되는 인터랙션의 구성을 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 통신망
200: 프로토타이핑 툴 제공 시스템
210: 트리거 관리부
220: 인터랙션 관리부
230: 데이터베이스
240: 통신부
250: 제어부
300, 310, 320: 디바이스
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
본 명세서에서, 인터랙션(Interaction)은, 사용자와 디바이스(300) 사이에서 일어날 수 있는 상호작용을 총칭하는 개념으로서, 디바이스에서 수행되는 동작을 가리키는 액션(Action), 소정의 액션을 발동시키는 트리거링 이벤트로서의 역할을 수행하는 트리거(Trigger), 그리고 위의 액션 또는 트리거의 대상이 되는 객체를 가리키는 오브젝트(Object)로 구성될 수 있다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 프로토타이핑 툴(Prototyping Tool)을 제공하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 프로토타이핑 툴 제공 시스템(200), 및 디바이스(310, 320)를 포함하여 구성될 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
다음으로, 본 발명의 일 실시예에 따른 프로토타이핑 툴 제공 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기일 수 있다. 이러한 프로토타이핑 툴 제공 시스템(200)은 서버 시스템일 수 있다.
이를 위하여, 프로토타이핑 툴 제공 시스템(200)은, 아래에서 자세하게 설명되는 바와 같이, 적어도 하나의 센서를 이용하여 제1 입력 데이터 및 제2 입력 데이터를 획득하고, 제1 입력 데이터 및 제2 입력 데이터 사이의 조합을 특정하는 조합 데이터를 획득하고, 제1 입력 데이터 및 제2 입력 데이터가 조합 데이터에 따라 조합되는 제스쳐를 트리거로서 정의하고, 트리거에 대응되는 제1 그래픽 요소, 오브젝트에 대응되는 제2 그래픽 요소 및 액션에 대응되는 제3 그래픽 요소를 제공하고, 사용자에 의하여 적어도 하나의 제1 그래픽 요소, 적어도 하나의 제2 그래픽 요소 및 적어도 하나의 제3 그래픽 요소가 선택 및 조합되면, 위의 적어도 하나의 제1 그래픽 요소에 대응되는 적어도 하나의 트리거가 발생하는 경우에 위의 적어도 하나의 제2 그래픽 요소에 대응되는 적어도 하나의 오브젝트에 대하여 위의 적어도 하나의 제3 그래픽 요소에 대응되는 적어도 하나의 액션이 수행되도록 하는 인터랙션을 정의함으로써, 인터랙션을 구성하는 요소들을 쉽게 정의하고 조합할 수 있도록 도와주면서도 정교하고 복잡한 인터랙션을 구현할 수 있도록 지원하는 프로토타이핑 툴을 제공하는 기능을 수행할 수 있다.
프로토타이핑 툴 제공 시스템(200)의 기능에 관하여는 아래에서 더 자세하게 알아보기로 한다. 한편, 프로토타이핑 툴 제공 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 프로토타이핑 툴 제공 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 인터랙션 프로토타이핑의 대상이 되는 디바이스(310, 320)에서 실현되거나 포함될 수도 있음은 당업자에게 자명하다.
다음으로, 본 발명의 일 실시예에 따른 디바이스(310, 320)는 프로토타이핑 툴 제공 시스템(200) 또는 디바이스(310, 320) 중 상대되는 것(바람직하게는, 디바이스(310, 320)는 서로 분리되어 있거나 외부화(externalization) 되어 있을 수 있음)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(310, 320)로서 채택될 수 있다. 디바이스(310, 320)는 스마트폰, 스마트 패드 등과 같은 소위 스마트 디바이스이거나 스마트 글래스, 스마트 워치, 스마트 밴드, 스마트 링 등과 같은 소위 웨어러블(wearable) 디바이스 또는 IoT(Internet of Things) 디바이스일 수 있다. 또한, 디바이스(310, 320)는 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기, 버튼, 마우스, 키보드, 전자 펜 등과 같은 다소 전통적인 디바이스일 수 있다.
특히, 본 발명의 일 실시예에 따르면, 디바이스(310, 320)에는 사용자의 조작에 따른 입력 데이터 또는 조합 데이터를 획득할 수 있는 기술 수단(즉, 센서)이 적어도 하나 포함될 수 있다. 이러한 기술 수단의 예로서, 공지의 구성요소인, 터치 패널, 포인팅 도구(예를 들면, 마우스, 스타일러스, 전자 펜 등), 사용자 조작이 가능한 그래픽 객체, 키보드, 토글 스위치, 생채 정보(지문 등) 인식 센서, 거리 센서, 움직임 센서, 가속도 센서, 자이로 센서, 자기 센서, 위치 결정 센서(GPS 모듈, 비콘 기반의 위치 결정(확인) 모듈 등), 기압 센서, 거리 센서, 영상 인식 센서(카메라 등), 음향 인식 센서, 음성 인식 센서, 광 인식 센서 등을 들 수 있다.
또한, 디바이스(310, 320)에는 프로토타이핑 툴 제공 시스템(200)에 의하여 프로토타이핑되는 인터랙션이 디바이스 상에서 수행되는 것을 지원하거나 그 프로토타이핑 자체를 지원하는 애플리케이션 프로그램이 더 포함되어 있을 수 있다. 이러한 애플리케이션은 해당 디바이스(310, 320) 내에서 프로그램 모듈의 형태로 존재할 수 있다. 이러한 프로그램 모듈의 성격은 전술한 바와 같은 프로토타이핑 툴 제공 시스템(200)의 내부 구성요소와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.
한편, 본 발명의 일 실시예에 따르면, 제1 디바이스(310)와 제2 디바이스(320)가 소정의 연관성(예를 들면, 동일한 사용자에게 속하는 것이라는 연관성이나, 동일한 사용자를 위하여 기능하는 것이라는 연관성이나, 서로 실질적으로 가까운 곳에 배치되어 있는 것이라는 연관성이나, 이들 중 하나가 다른 하나를 인증하거나 허용하는 것이 합당하다는 연관성)을 갖는 것이라는 점이 인식되는 경우에, 제1 디바이스(310)와 제2 디바이스(320) 간에 소정의 연결이 형성될 수 있는데, 이러한 인식 또는 연결은 프로토타이핑 툴 제공 시스템(200)에 의해 수행되거나 제1 디바이스(310) 및 제2 디바이스(320)에 의해 직접 수행될 수 있다.
프로토타이핑 툴 제공 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 프로토타이핑 툴 제공 시스템의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따라 프로토타이핑 툴 제공 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 프로토타이핑 툴 제공 시스템(200)은, 트리거 관리부(210), 인터랙션 관리부(220), 데이터베이스(230), 통신부(240) 및 제어부(250)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 트리거 관리부(210), 인터랙션 관리부(220), 데이터베이스(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 프로토타이핑 툴 제공 시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 프로토타이핑 툴 제공 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따르면, 트리거 관리부(210)는 적어도 하나의 센서를 이용하여 제1 입력 데이터 및 제2 입력 데이터를 획득하고, 제1 입력 데이터 및 제2 입력 데이터 사이의 조합을 특정하는 조합 데이터를 획득하는 기능을 수행할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 트리거 관리부(210)는 위의 획득된 제1 입력 데이터 및 제2 입력 데이터가 위의 획득된 조합 데이터에 따라 조합되는 제스쳐(Gesture)를 트리거로서 정의하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 트리거 관리부(210)는 소정의 시간 간격을 두고 제1 입력 데이터와 제2 입력 데이터를 순차적으로 획득할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 트리거 관리부(210)는, 제1 입력 데이터 또는 제2 입력 데이터를 획득함에 있어서, 사용자로부터 입력 데이터의 유형을 선택 받은 후에 적어도 하나의 센서를 이용하여 사용자에 의하여 행해지는 시연을 감지함으로써 제1 입력 데이터 또는 제2 입력 데이터를 특정할 수 있다. 다만, 본 발명에 따른 입력 데이터 획득 방법이 반드시 상기 열거된 것에 한정되는 것은 아니며, 사용자로부터 입력 데이터의 유형을 따로 선택 받지 않은 상태에서 적어도 하나의 센서를 이용하여 사용자에 의하여 행해지는 시연을 감지하는 것만으로 입력 데이터를 특정할 수도 있음을 밝혀 둔다.
또한, 본 발명의 일 실시예에 따르면, 트리거 관리부(210)는 복수의 디바이스에 걸쳐서 행해지는 시연을 감지하여 제1 입력 데이터 또는 제2 입력 데이터를 특정할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 트리거 관리부(210)는 복수 회에 걸쳐서 감지되는 시연으로부터 추출되는 패턴에 기초하여 제1 입력 데이터 또는 제2 입력 데이터를 특정할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 트리거 관리부(210)에 의하여 획득되는 조합 데이터에는 불 연산자(Boolean Operator)가 포함될 수 있다. 예를 들면, 조합 데이터에는 논리곱(AND) 연산자, 논리합(OR) 연산자, 부정(NOT) 연산자, 배타적 논리합(XOR) 연산자 등이 포함될 수 있다.
도 3은 본 발명의 일 실시예에 따라 입력 데이터가 조합 데이터에 따라 조합되는 구성을 예시적으로 나타내는 도면이다.
도 3의 (a)를 참조하면, 제1 입력 데이터와 제2 입력 데이터가 AND 연산자라는 조합 데이터에 따라 조합되는 경우를 가정할 수 있는데, 이러한 경우, 제1 입력 데이터와 제2 입력 데이터가 모두 입력되는 제스쳐가 트리거로서 정의될 수 있다. 도 3의 (b)를 참조하면, 제1 입력 데이터와 제2 입력 데이터가 OR 연산자라는 조합 데이터에 따라 조합되는 경우를 가정할 수 있는데, 이러한 경우, 제1 입력 데이터와 제2 입력 데이터 중 어느 하나라도 입력되는 제스쳐가 트리거로서 정의될 수 있다.
도 4는 본 발명의 일 실시예에 따라 트리거가 정의되는 과정을 예시적으로 나타내는 도면이다.
도 4를 참조하면, 먼저, 사용자는 제1 입력 데이터의 종류(예를 들면, 디바이스 기울이기(Tilt))를 선택한 후에(S410), 디바이스(300)에 대하여 위의 선택된 종류에 해당하는 시연을 행함으로써 제1 입력 데이터의 범위(예를 들면, 디바이스가 기울어지는 각도의 범위)를 특정할 수 있다(S420). 다음으로, 사용자는 앞서 획득된 제1 입력 데이터와 뒤이어 획득될 제2 입력 데이터 사이의 조합을 특정하는 조합 데이터를 선택할 수 있다(S430). 다음으로, 사용자는 제2 입력 데이터의 종류(예를 들면, 디바이스 흔들기(Shake))를 선택한 후에(S440), 디바이스(300)에 대하여 위의 선택된 종류에 해당하는 시연을 행함으로써 제2 입력 데이터의 범위(예를 들면, 디바이스가 흔들리는 가속도 및 거리)를 특정할 수 있다(S450). 다음으로, 앞서 획득된 제1 입력 데이터 및 제2 입력 데이터가 조합 데이터에 따라 조합된 결과 생성되는 제스쳐가 트리거로서 정의될 수 있다(S460).
한편, 본 발명의 일 실시예에 따르면, 트리거 관리부(210)는 위의 획득되는 입력 데이터 중 사용자에 의하여 승인된 입력 데이터만을 유효한 입력 데이터인 것으로 결정할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 트리거 관리부(210)는 위의 조합된 제스쳐 중 사용자에 의하여 승인된 제스쳐만을 유효한 트리거인 것으로 결정할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 위의 획득된 제1 입력 데이터 또는 제2 입력 데이터가 사용자의 시연 실수 등으로 잘못 입력되거나 위의 제1 입력 데이터 또는 제2 입력 데이터가 조합된 결과 생성되는 제스쳐가 사용자의 의도에 부합하지 않는 경우에, 사용자가 해당 입력 데이터 또는 해당 제스쳐를 취소함으로써 자신이 의도한 입력 데이터 또는 제스쳐만이 트리거에 포함되도록 할 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 인터랙션 관리부(220)는 트리거에 대응되는 제1 그래픽 요소, 오브젝트에 대응되는 제2 그래픽 요소 및 액션에 대응되는 제3 그래픽 요소를 제공하는 기능을 수행할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 인터랙션 관리부(220)는 사용자에 의하여 적어도 하나의 제1 그래픽 요소, 적어도 하나의 제2 그래픽 요소 및 적어도 하나의 제3 그래픽 요소가 사용자에 의하여 선택 및 조합되면, 위의 선택된 제1 그래픽 요소에 대응되는 적어도 하나의 트리거가 발생하는 경우에 위의 선택된 제2 그래픽 요소에 대응되는 적어도 하나의 오브젝트에 대하여 위의 선택된 제3 그래픽 요소에 대응되는 적어도 하나의 액션이 수행되도록 하는 인터랙션을 정의하는 기능을 수행할 수 있다.
여기서, 본 발명의 일 실시예에 따르면, 오브젝트에는, 텍스트, 이미지, 동영상, 오디오, 캐릭터, 아바타, 화면의 전체 영역, 화면의 일부 영역 등을 비롯하여 디바이스 상에서 제어 또는 인터랙션의 대상이 될 수 있는 모든 종류의 객체가 포함될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 액션에는, 이동, 회전, 크기 조절, 투명도 조절, 컬러 조절, 실행, 취소, 복사, 붙여넣기, 삭제, 스크롤 조절 등을 비롯하여 디바이스 상에서 오브젝트에 대하여 행해질 수 있는 모든 종류의 동작이 포함될 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 인터랙션 관리부(220)는 사용자가 트리거에 대응되는 적어도 하나의 제1 그래픽 요소, 오브젝트에 대응되는 적어도 하나의 제2 그래픽 요소 및 액션에 대응되는 적어도 하나의 제3 그래픽 요소를 선택 및 조합할 수 있도록 지원하는 그래픽 사용자 인터페이스(GUI)를 제공하는 기능을 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따라 그래픽 요소의 구성을 예시적으로 나타내는 도면이다.
도 5를 참조하면, 트리거, 오브젝트 및 액션에 각각 대응되는 제1 그래픽 요소, 제2 그래픽 요소 또는 제3 그래픽 요소는 직소 퍼즐(Jigsaw Puzzle)을 구성하는 조각의 형상으로 이루어질 수 있으며, 이들 그래픽 요소는 경계 부분에 형성되어 있는 이음매에 따라 상하좌우 방향으로 결합될 수 있다.
예를 들면, 트리거에 해당하는 제1 그래픽 요소는 아래쪽으로만 다른 그래픽 요소를 이어붙일 수 있는 형상으로 이루어질 수 있으며, 이에 따라 제1 그래픽 요소는 인터랙션을 정의하는 그래픽 요소의 집합 내에서 맨 위에 배치될 수 있다(도 5의 (a) 참조). 또한, 액션에 해당하는 제3 그래픽 요소는 위쪽과 아래쪽 모두에 다른 그래픽 요소를 이어붙일 수 있는 형상으로 이루어질 수 있으며, 이에 따라 제2 그래픽 요소는 인터랙션을 정의하는 그래픽 요소의 집합 내에서 제1 그래픽 요소의 아래쪽에 배치되거나 다른 제2 그래픽 요소의 위쪽 또는 아래쪽에 배치될 수 있다(도 5의 (b) 참조). 또한, 오브젝트에 해당하는 제2 그래픽 요소는 제1 그래픽 요소 또는 제3 그래픽 요소와 적어도 일부가 겹쳐지는 형상으로 이루어질 수 있으며, 이에 따라 오브젝트가 트리거 또는 액션과 연관되어 있음이 시각적으로 표현될 수 있다.
도 6 및 도 7은 본 발명의 일 실시예에 따라 소정의 오브젝트에 연관된 트리거가 발생하면 소정의 오브젝트에 연관된 액션이 수행되도록 하는 인터랙션을 정의하는 구성을 예시적으로 나타내는 도면이다.
도 6을 참조하면, 사용자는 그래픽 유저 인터페이스를 통하여 트리거, 오브젝트 또는 액션에 각각 대응되는 제1 그래픽 요소, 제2 그래픽 요소 또는 제3 그래픽 요소를 선택할 수 있고, 이렇게 선택된 그래픽 요소를 소정의 레이어(layer)에 드래그 앤 드롭(Drag and Drop)함으로써 적어도 하나의 그래픽 요소를 조합할 수 있으며, 이로써 자신이 의도하는 바에 따라 인터랙션을 프로토타이핑해 볼 수 있다.
도 7을 참조하면, 제1 그래픽 객체(710), 제2 그래픽 객체(721 및 722) 및 제3 그래픽 객체(731 내지 736)가 조합된 상태로 표시되는 그래픽 요소 집합을 확인할 수 있는데, 이러한 그래픽 요소 집합은 "사진 오브젝트(721)를 드래그(710)하는 트리거가 발생하면, 사진 오브젝트(721)에 대하여 회전(Rotate)(731), 투명도 조절(Opacity)(732) 및 크기 조절(Scale)(733)이라는 액션이 수행되도록 하고, 텍스트 박스 오브젝트(722)에 대하여 이동(Move)(734), 컬러 조절(Color)(735) 및 3차원 회전(3D Rotate)(736)이라는 액션이 수행되도록 한다"는 인터랙션을 의미할 수 있다.
도 8 및 도 9는 본 발명의 일 실시예에 따라 그래픽 요소의 조합 상태와 그에 따른 인터랙션 사이의 관계를 예시적으로 나타내는 도면이다.
도 8을 참조하면, 트리거에 대응되는 제1 그래픽 요소, 오브젝트에 대응되는 제2 그래픽 요소 및 액션에 대응되는 제3 그래픽 요소는 2차원 평면 상에서 동작(또는 작용)하는 순서에 따라 조합될 수 있다. 도 8의 실시예에서는, 상하 방향의 축(즉, Y축)을 기준으로 할 때 위에서 아래의 순서로 동작 순서가 정해지고 Y축 상에서 같은 높이에 위치하는 그래픽 요소는 동시에 동작하는 것으로 정해지는 경우를 가정할 수 있는데, 이러한 경우 도 8의 (a)에 도시된 그래픽 요소 집합은 "트리거 1이 발생하면, 먼저 액션 1 및 액션 2가 동시에 수행되고, 다음으로 액션 3, 액션 4 및 액션 5가 동시에 수행되고, 다음으로 액션 6이 수행된다"는 인터랙션을 의미할 수 있다(도 8의 (b) 참조).
도 9를 참조하면, 도 8에서와 마찬가지로, 트리거에 대응되는 제1 그래픽 요소, 오브젝트에 대응되는 제2 그래픽 요소 및 액션에 대응되는 제3 그래픽 요소는 2차원 평면 상에서 동작의 순서에 따라 조합될 수 있다. 도 9의 실시예에서는, 상하 방향의 축(즉, Y축)을 기준으로 할 때 위에서 아래의 순서로 동작 순서가 정해지고 Y축 상에서 높이 방향(즉, Z축 방향)으로 적층된 그래픽 요소는 동시에 동작하는 것으로 정해지는 경우를 가정할 수 있는데, 이러한 경우 도 9의 (a)에 도시된 그래픽 요소 집합은 "트리거 1이 발생하면, 먼저 액션 1 및 액션 2가 동시에 수행되고, 다음으로 액션 3, 액션 4 및 액션 5가 동시에 수행되고, 다음으로 액션 6이 수행된다"는 인터랙션을 의미할 수 있다(도 9의 (b) 참조).
다음으로, 본 발명의 일 실시예에 따르면, 데이터베이스(230)는 앞서 정의된 트리거 또는 인터랙션에 관한 정보를 저장하고, 이것이 해당 사용자 또는 다른 사용자에 의하여 재이용될 수 있도록 하는 기능을 수행할 수 있다. 이러한 데이터베이스(230)는 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라 파일 시스템에 기반을 둔 데이터 기록 등을 포함하는 광의의 데이터베이스일 수도 있다.
다음으로, 본 발명의 일 실시예에 따르면, 통신부(240)는 프로토타이핑 툴 제공 시스템(200)이 외부 장치와 통신할 수 있도록 하는 기능을 수행한다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 트리거 관리부(210), 인터랙션 관리부(220), 데이터베이스(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(250)는 외부로부터의 또는 표정 인식 시스템(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 트리거 관리부(210), 인터랙션 관리부(220), 데이터베이스(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어한다.
실시예
아래에서는, 본 발명에 따라 프로토타이핑될 수 있는 인터랙션의 구체적인 예에 관하여 자세하게 살펴보기로 한다.
도 10 내지 도 16은 본 발명의 일 실시예에 따라 프로토타이핑되는 인터랙션의 구성을 예시적으로 나타내는 도면이다.
먼저, 도 10을 참조하면, 도 10의 (a)에 도시된 그래픽 요소 집합에 따르면, "디바이스의 화면에 표시되는 캐러셀 이미지(carouselImage)(1021)라는 오브젝트에 대하여 탭(Tap)(1011) 조작이 행해지는 트리거가 발생하면, 해당 캐러셀 이미지(1021)라는 오브젝트의 크기가 커지면서 화면을 가득 채우는(Scale)(1031) 액션이 수행된다"는 인터랙션이 프로토타이핑될 수 있다(도 10의 (b) 및 (c) 참조).
다음으로, 도 11을 참조하면, 도 11의 (a)에 도시된 그래픽 요소 집합에 따르면, "디바이스의 화면에 표시되는 카테고리 이미지(categoryImage)(1121)라는 오브젝트에 대하여 스와이프(Swipe)(1111) 조작이 행해지는 트리거가 발생하면, 해당 카테고리 이미지(1121)라는 오브젝트를 이동시키고(Move)(1131) 화면에 표시되고 있는 캐러셀 이미지(1122)라는 오브젝트도 이동시키는(Move)(1132) 액션이 수행된다"는 인터랙션이 프로토타이핑될 수 있다(도 11의 (b) 및 (c) 참조).
다음으로, 도 12를 참조하면, 도 12의 (a)에 도시된 그래픽 요소 집합에 따르면, "디바이스를 기울이는(즉, Accelerometer)(1211) 조작이 행해지는 트리거가 발생하면, 화면에 표시되고 있는 사진(photo)(1221)이라는 오브젝트를 이동시키는(Move)(1231) 액션이 수행된다"는 인터랙션이 프로토타이핑될 수 있다(도 12의 (b) 참조).
다음으로, 도 13 및 도 14를 참조하면, 도 13에 도시된 그래픽 요소 집합에 따르면, "cardSport 영역(1321)이라는 오브젝트에 대하여 위쪽 방향으로 드래그(Drag)(1311)하는 조작이 행해지는 트리거가 발생하면, 먼저, logoColor 영역(1322), gaia 영역(1323), cardSport 영역(1321), cardWeather 영영(1324) 및 searchBox 영역(1325)이라는 오브젝트를 위쪽 방향으로 이동시키고(Move)(1331 내지 1335) bgHeader 영역(1326)이라는 오브젝트의 투명도를 조절하는(Opacity)(1336) 것과 함께 cardSport 영역(1321)이라는 오브젝트가 펼쳐져서 표시되도록 하는 액션이 수행되고, 다음으로, logoColor 영역(1322) 및 gaia 영역(1323)이라는 오브젝트의 투명도를 조절하는(Opacity)(1337 및 1338) 액션이 수행되고, 다음으로, logoWhite 영역(1327)이라는 오브젝트의 투명도를 조절하는(Opacity)(1339) 액션이 수행되고, 다음으로, statusBar 영역(1328)이라는 오브젝트의 투명도를 조절하는(Opacity)(1340) 액션이 수행된다"는 인터랙션이 프로토타이핑될 수 있다(도 14 참조).
다음으로, 도 15를 참조하면, 도 15의 (a)에 도시된 그래픽 요소 집합에 따르면, "mapTile(1521)이라는 오브젝트에 대하여 드래그(Drag)(1511) 조작이 행해지는 트리거가 발생하면, mapTile(1521)이라는 오브젝트를 이동시키는(Move)(1531) 액션이 수행된다"는 인터랙션이 프로토타이핑될 수 있다(도 15의 (b) 참조).
다음으로, 도 16을 참조하면, 도 16의 (a)에 도시된 그래픽 요소 집합에 따르면, "mapTile(1621)이라는 오브젝트에 대하여 핀치(Pinch)(1611) 조작이 행해지는 트리거가 발생하면, mapTile(1621)이라는 오브젝트를 확대하는(Scale)(1631) 액션이 수행된다"는 인터랙션이 프로토타이핑될 수 있다(도 16의 (b) 참조).
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 비일시성의 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (14)

  1. 프로토타이핑 툴(Prototyping Tool)을 제공하기 위한 방법으로서,
    적어도 하나의 센서를 이용하여 제1 입력 데이터 및 제2 입력 데이터를 획득하고, 상기 제1 입력 데이터 및 상기 제2 입력 데이터 사이의 조합을 특정하는 조합 데이터를 획득하는 단계,
    상기 제1 입력 데이터 및 상기 제2 입력 데이터가 상기 조합 데이터에 따라 조합되는 제스쳐를 트리거(Trigger)로서 정의하는 단계,
    트리거에 대응되는 제1 그래픽 요소, 오브젝트(Object)에 대응되는 제2 그래픽 요소 및 액션(Action)에 대응되는 제3 그래픽 요소를 제공하는 단계, 및
    적어도 하나의 제1 그래픽 요소, 적어도 하나의 제2 그래픽 요소 및 적어도 하나의 제3 그래픽 요소가 사용자에 의하여 선택 및 조합되면, 상기 적어도 하나의 제1 그래픽 요소에 대응되는 적어도 하나의 트리거가 발생하는 경우에 상기 적어도 하나의 제2 그래픽 요소에 대응되는 적어도 하나의 오브젝트에 대하여 상기 적어도 하나의 제3 그래픽 요소에 대응되는 적어도 하나의 액션이 수행되도록 하는 인터랙션(Interaction)을 정의하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제1 입력 데이터 및 상기 제2 입력 데이터는 시간 간격을 두고 순차적으로 획득되는 방법.
  3. 제1항에 있어서,
    상기 제1 입력 데이터 및 상기 제2 입력 데이터 중 적어도 하나는,
    사용자로부터 입력 데이터의 유형을 선택 받는 단계,
    상기 적어도 하나의 센서를 이용하여 사용자에 의하여 행해지는 시연을 감지하는 단계, 및
    상기 선택된 유형 및 상기 감지된 시연에 기초하여 입력 데이터를 특정하는 단계
    에 의하여 획득되는 방법.
  4. 제3항에 있어서,
    상기 시연은 복수의 디바이스에 걸쳐서 행해지는 방법.
  5. 제3항에 있어서,
    상기 제1 입력 데이터 및 상기 제2 입력 데이터 중 적어도 하나는, 복수 회에 걸쳐서 감지되는 시연으로부터 추출되는 패턴에 기초하여 특정되는 방법.
  6. 제1항에 있어서,
    상기 제1 입력 데이터 및 상기 제2 입력 데이터 중 적어도 하나는, 사용자에 의하여 승인된 입력 데이터를 유효한 것으로 결정하는 방법.
  7. 제1항에 있어서,
    상기 조합 데이터는, 불 연산자(Boolean Operator)를 포함하는 방법.
  8. 제1항에 있어서,
    상기 적어도 하나의 센서는, 터치 패널, 마우스, 스타일러스, 전자 펜, 키보드, 토글 스위치, 생채 정보 인식 센서, 거리 센서, 움직임 센서, 가속도 센서, 자이로 센서, 자기 센서, 위치 인식 센서, 기압 센서, 거리 센서, 영상 센서, 음향 인식 센서, 음성 인식 센서 및 광 인식 센서 중 적어도 하나를 포함하는 방법.
  9. 제1항에 있어서,
    상기 조합된 제스쳐는 사용자에 의하여 승인된 제스쳐를 유효한 트리거인 것으로 결정하는 방법.
  10. 제1항에 있어서,
    상기 오브젝트는, 텍스트, 이미지, 비디오, 오디오, 캐릭터, 아바타, 화면의 전체 영역, 화면의 일부 영역 중 적어도 하나를 포함하는 방법.
  11. 제1항에 있어서,
    상기 액션은, 이동, 회전, 크기 조절, 투명도 조절, 컬러 조절, 실행, 취소, 복사, 붙여넣기, 삭제 및 스크롤 조절 중 적어도 하나를 포함하는 방법.
  12. 제1항에 있어서,
    상기 제공 단계 및 인터랙션 정의 단계에서,
    상기 사용자가 상기 적어도 하나의 제1 그래픽 요소, 상기 적어도 하나의 제2 그래픽 요소 및 상기 적어도 하나의 제3 그래픽 요소를 선택 및 조합할 수 있도록 지원하는 그래픽 사용자 인터페이스(GUI)를 제공하는 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 비일시성의 컴퓨터 판독 가능한 기록 매체.
  14. 프로토타이핑 툴(Prototyping Tool)을 제공하기 위한 시스템으로서,
    적어도 하나의 센서를 이용하여 제1 입력 데이터 및 제2 입력 데이터를 획득하고, 상기 제1 입력 데이터 및 상기 제2 입력 데이터 사이의 조합을 특정하는 조합 데이터를 획득하고, 상기 제1 입력 데이터 및 상기 제2 입력 데이터가 상기 조합 데이터에 따라 조합되는 제스쳐를 트리거(Trigger)로서 정의하는 트리거 관리부, 및
    트리거에 대응되는 제1 그래픽 요소, 오브젝트(Object)에 대응되는 제2 그래픽 요소 및 액션(Action)에 대응되는 제3 그래픽 요소를 제공하고, 적어도 하나의 제1 그래픽 요소, 적어도 하나의 제2 그래픽 요소 및 적어도 하나의 제3 그래픽 요소가 사용자에 의하여 선택 및 조합되면, 상기 적어도 하나의 제1 그래픽 요소에 대응되는 적어도 하나의 트리거가 발생하는 경우에 상기 적어도 하나의 제2 그래픽 요소에 대응되는 적어도 하나의 오브젝트에 대하여 상기 적어도 하나의 제3 그래픽 요소에 대응되는 적어도 하나의 액션이 수행되도록 하는 인터랙션(Interaction)을 정의하는 인터랙션 관리부
    를 포함하는 시스템.
PCT/KR2015/001870 2014-11-21 2015-02-26 프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 WO2016080596A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580063397.1A CN107003804B (zh) 2014-11-21 2015-02-26 为提供原型设计工具的方法、系统及可进行非暂时性的计算机解读的记录媒介
US15/599,758 US10067664B2 (en) 2014-11-21 2017-05-19 Method and system for providing prototyping tool, and non-transitory computer-readable recording medium
US16/058,917 US10572134B2 (en) 2014-11-21 2018-08-08 Method and system for providing prototyping tool, and non-transitory computer-readable recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0163810 2014-11-21
KR20140163827 2014-11-21
KR20140163810 2014-11-21
KR10-2014-0163827 2014-11-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/599,758 Continuation US10067664B2 (en) 2014-11-21 2017-05-19 Method and system for providing prototyping tool, and non-transitory computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2016080596A1 true WO2016080596A1 (ko) 2016-05-26

Family

ID=55457802

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/001870 WO2016080596A1 (ko) 2014-11-21 2015-02-26 프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Country Status (4)

Country Link
US (2) US10067664B2 (ko)
KR (1) KR101594946B1 (ko)
CN (2) CN107003804B (ko)
WO (1) WO2016080596A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127216B2 (en) 2016-12-30 2018-11-13 Studio Xid Korea, Inc. Method for adding a comment to interactive content by reproducing the interactive content in accordance with a breached comment scenario
KR102005288B1 (ko) 2017-09-14 2019-07-31 스튜디오씨드코리아 주식회사 기존의 어플리케이션에 연동되는 프로토타입의 테스트 방법
US11126258B2 (en) 2017-10-14 2021-09-21 Qualcomm Incorporated Managing and mapping multi-sided touch
KR102175964B1 (ko) 2018-12-11 2020-11-09 런치팩 주식회사 프로토타이핑 디자인 툴을 이용한 서비스 생성 장치 및 방법
KR102049805B1 (ko) 2019-07-24 2019-11-28 스튜디오씨드코리아 주식회사 기존의 어플리케이션에 연동되는 프로토타입의 테스트 방법
US11320954B2 (en) 2019-12-24 2022-05-03 Studio Xid Korea, Inc. Method and apparatus for providing prototype of graphical user interface
KR102576664B1 (ko) 2023-03-08 2023-09-13 스튜디오씨드코리아 주식회사 그래픽 사용자 인터페이스의 프로토타입 제작 방법 및 그 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011026186A1 (en) * 2009-09-04 2011-03-10 Rpo Pty Limited Methods for mapping gestures to graphical user interface commands
KR20120106608A (ko) * 2011-03-17 2012-09-26 한국전자통신연구원 향상된 사용자 상호작용 인터페이스 방법 및 장치
US20130030815A1 (en) * 2011-07-28 2013-01-31 Sriganesh Madhvanath Multimodal interface
WO2013035965A1 (ko) * 2011-09-07 2013-03-14 Chun Dukkyu 매크로 기능을 구비한 휴대단말기 및 그것을 이용한 매크로 실행방법
US20130275888A1 (en) * 2008-03-04 2013-10-17 Apple Inc. Touch Event Model Programming Interface

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6851094B1 (en) * 2000-02-28 2005-02-01 Cadence Design Systems, Inc. Automated method and system for selecting and procuring electronic components used in circuit and chip designs
AU2003902527A0 (en) * 2003-05-22 2003-06-05 Macquarie University Method for fabricating microstructures
US20050054381A1 (en) * 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
US8448083B1 (en) * 2004-04-16 2013-05-21 Apple Inc. Gesture control of multimedia editing applications
EP2053523A1 (en) * 2007-10-16 2009-04-29 Sony France S.A. Method and apparatus for updating of prototypes
US8645827B2 (en) * 2008-03-04 2014-02-04 Apple Inc. Touch event model
WO2009123028A1 (ja) * 2008-04-01 2009-10-08 京セラ株式会社 ユーザインタフェース生成装置
US9813782B2 (en) * 2008-04-11 2017-11-07 Adobe Systems Incorporated Systems and methods for developing objects and actions in media content
US20100207950A1 (en) * 2009-02-17 2010-08-19 Microsoft Corporation Defining simple and complex animations
US8566045B2 (en) * 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8957918B2 (en) * 2009-11-03 2015-02-17 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
US20110252163A1 (en) * 2010-04-09 2011-10-13 Microsoft Corporation Integrated Development Environment for Rapid Device Development
KR20120024247A (ko) * 2010-09-06 2012-03-14 삼성전자주식회사 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치
US9081579B2 (en) * 2011-04-11 2015-07-14 Mobilous Inc. System and method for mobile application development
TWI467463B (zh) * 2011-05-27 2015-01-01 Asustek Comp Inc 具觸控式螢幕的電腦系統及其手勢的處理方法
US9582187B2 (en) * 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
US8935629B2 (en) * 2011-10-28 2015-01-13 Flipboard Inc. Systems and methods for flipping through content
US10082950B2 (en) * 2011-11-09 2018-09-25 Joseph T. LAPP Finger-mapped character entry systems
US8902181B2 (en) * 2012-02-07 2014-12-02 Microsoft Corporation Multi-touch-movement gestures for tablet computing devices
US9411423B2 (en) * 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
KR102084041B1 (ko) * 2012-08-24 2020-03-04 삼성전자 주식회사 펜 기능 운용 방법 및 시스템
US9733716B2 (en) * 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US9380453B2 (en) * 2013-06-10 2016-06-28 Lg Electronics Inc. Mobile terminal and method of controlling the same
JP6059114B2 (ja) * 2013-08-28 2017-01-11 京セラ株式会社 携帯端末、結合制御プログラムおよび結合制御方法
US20150339033A1 (en) * 2014-05-21 2015-11-26 Facebook, Inc. Asynchronous Execution of Tasks for a GUI
US9430142B2 (en) * 2014-07-17 2016-08-30 Facebook, Inc. Touch-based gesture recognition and application navigation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130275888A1 (en) * 2008-03-04 2013-10-17 Apple Inc. Touch Event Model Programming Interface
WO2011026186A1 (en) * 2009-09-04 2011-03-10 Rpo Pty Limited Methods for mapping gestures to graphical user interface commands
KR20120106608A (ko) * 2011-03-17 2012-09-26 한국전자통신연구원 향상된 사용자 상호작용 인터페이스 방법 및 장치
US20130030815A1 (en) * 2011-07-28 2013-01-31 Sriganesh Madhvanath Multimodal interface
WO2013035965A1 (ko) * 2011-09-07 2013-03-14 Chun Dukkyu 매크로 기능을 구비한 휴대단말기 및 그것을 이용한 매크로 실행방법

Also Published As

Publication number Publication date
US10067664B2 (en) 2018-09-04
US10572134B2 (en) 2020-02-25
US20180349013A1 (en) 2018-12-06
CN107003804B (zh) 2020-06-12
CN107003804A (zh) 2017-08-01
CN111651159A (zh) 2020-09-11
US20170255375A1 (en) 2017-09-07
KR101594946B1 (ko) 2016-02-17

Similar Documents

Publication Publication Date Title
WO2016080596A1 (ko) 프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP6054892B2 (ja) 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム
US20170153792A1 (en) User terminal device and displaying method thereof
WO2018151449A1 (en) Electronic device and methods for determining orientation of the device
WO2014084633A1 (en) Method for displaying applications and electronic device thereof
WO2015099293A1 (en) Device and method for displaying user interface of virtual input device based on motion recognition
CN104243749B (zh) 图像形成装置及图像形成装置的控制方法
WO2013141464A1 (ko) 터치 기반의 입력제어 방법
WO2016085186A1 (en) Electronic apparatus and method for displaying graphical object thereof
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
JP2009140390A (ja) 指示デバイスおよび指紋認証半導体回路
WO2018004140A1 (ko) 전자 장치 및 그의 동작 방법
EP3547098B1 (en) Display control apparatus and control method
WO2014104727A1 (ko) 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
WO2018074821A1 (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
WO2016035940A1 (en) Display device and method of controlling therefor
WO2014104726A1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
CN109964202B (zh) 显示控制装置、显示控制方法和计算机可读存储介质
WO2015152487A1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2021025369A1 (ko) 인터랙션 스크롤 제어 방법, 장치, 프로그램 및 컴퓨터 판독가능 기록매체
WO2019164048A1 (ko) 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치
WO2023058819A1 (ko) 가상 현실 공간에 대한 제어를 수행하는 전자 시스템, 전자 장치 및 그 동작 방법
WO2015194918A1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2021034022A1 (en) Content creation in augmented reality environment
WO2015129995A1 (en) Apparatus and method for processing user input

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20157005921

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15861873

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18.09.2017)

122 Ep: pct application non-entry in european phase

Ref document number: 15861873

Country of ref document: EP

Kind code of ref document: A1