WO2024136159A1 - 인터렉티브 정보 처리 장치 및 방법 - Google Patents

인터렉티브 정보 처리 장치 및 방법 Download PDF

Info

Publication number
WO2024136159A1
WO2024136159A1 PCT/KR2023/018686 KR2023018686W WO2024136159A1 WO 2024136159 A1 WO2024136159 A1 WO 2024136159A1 KR 2023018686 W KR2023018686 W KR 2023018686W WO 2024136159 A1 WO2024136159 A1 WO 2024136159A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
area
information output
interactive
processor
Prior art date
Application number
PCT/KR2023/018686
Other languages
English (en)
French (fr)
Inventor
김주윤
김지호
박현철
Original Assignee
주식회사 닷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230081213A external-priority patent/KR20240098991A/ko
Application filed by 주식회사 닷 filed Critical 주식회사 닷
Publication of WO2024136159A1 publication Critical patent/WO2024136159A1/ko

Links

Images

Definitions

  • the present invention relates to an interactive information processing device and method.
  • the information that can be output is limited, so an information processing device that can process various graphic information such as graphs, diagrams, equations, etc. and transmit it to the information output device is required.
  • One object of the present invention is to provide an interactive information processing device and method for processing graphic information and transmitting it to a tactile information output device so that graphic information can be confirmed in the tactile information output device.
  • the interactive information processing method is an interactive information processing method performed by a processor of an interactive information processing device, and includes at least one piece of information in a first area divided into a plurality of grid cells constituting a user interface screen. outputting interactive information compatible with an information output device that outputs tactile information through upward or downward driving of the output unit, and detecting coordinate information of a grid cell corresponding to the interactive information output to the first area.
  • a step of detecting the coordinate information of the information output cell that is one-to-one matched to the coordinate information of the grid cell, and generating a drive signal for the information output unit corresponding to the coordinate information of the information output cell and transmitting it to the information output device. May include steps.
  • the interactive information processing device is an interactive information processing device, and includes a processor and a memory operably connected to the processor and storing at least one code to be executed by the processor, and when the memory is executed through the processor, Interactive information compatible with an information output device in which a processor outputs tactile information through upward or downward driving of at least one information output unit in a first area divided into a plurality of grid cells constituting a user interface screen. Outputs, detects the coordinate information of the grid cell corresponding to the interactive information output to the first area, detects the coordinate information of the information output cell that is one-to-one matched to the coordinate information of the grid cell, and coordinates information of the information output cell.
  • a code that causes a driving signal for the corresponding information output unit to be generated and transmitted to the information output device can be stored.
  • FIG. 1 is an exemplary diagram of an interactive information processing environment according to this embodiment.
  • Figure 2 is a block diagram schematically illustrating the configuration of an interactive information processing device according to this embodiment.
  • 3 to 7 are exemplary diagrams of user interface screens displayed on the interactive information processing device of FIG. 2.
  • FIGS. 8 to 10 are exemplary diagrams of information output devices included in the interactive information processing environment according to this embodiment.
  • Figure 11 is a flowchart for explaining the interactive information processing method according to this embodiment.
  • the WPS generation method is performed by a processor of a WPS (welding procedure specification) generating device, and is a method of automatically generating a WPS using a machine learning algorithm.
  • a “part” may be a hardware component, such as a processor or circuit, and/or a software component executed by the hardware component, such as a processor.
  • first, second, etc. are used not in a limiting sense but for the purpose of distinguishing one component from another component.
  • a specific process sequence may be performed differently from the described sequence.
  • two processes described in succession may be performed substantially at the same time, or may be performed in an order opposite to that in which they are described.
  • the interactive information processing environment 1 may include an interactive information processing device 100, an information output device 200, and a network 300.
  • the interactive information processing device 100 may generate interactive information and transmit it to the information output device 200.
  • the information output device 200 may include an electronic device that outputs tactile information through upward or downward driving of at least one information output unit (240 in FIG. 10).
  • the interactive information processing device 100 is information compatible with the information output device 200.
  • information compatibility means that the interactive information processing device 100 stores the specification information and driving information of the information output device 200, so that the interactive information processing device 100 stores the information output device 200.
  • Interactive information can be generated based on the specification information and driving information and transmitted to the information output device 200, and the information output device 200 can output the interactive information received from the interactive information processing device 100 without any special settings. It may include the meaning of being possible.
  • information compatibility means that tactile information output to the information output device 200 can be transmitted to the interactive information processing device 100 and output as visual information from the interactive information processing device 100. It may also include the meaning of.
  • interactive information may include one of a series of information sets that are processed to output visual information output to the interactive information processing device 100 as tactile information to the information output device 200. You can.
  • visual information output to the interactive information processing device 100 may also be included in the interactive information.
  • the interactive information specifically includes one or more files previously stored in the memory (130 in FIG. 2), for example, a file previously created in the first area and stored in the memory, and a file captured in the first area and stored in the memory. It may include etc. Additionally, interactive information may include files received through communication with an external device (eg, server, user terminal, etc.).
  • an external device eg, server, user terminal, etc.
  • the interactive information may include a touch input generated by a real-time touch in the first area (181 in FIG. 4).
  • the interactive information is a touch generated by a touch in the first area until a touch signal for the print button (183a in FIG. 4) implemented in the third area (183 in FIG. 4) in a position different from the first area is received.
  • This interactive information may include one or more of graphic information and text information.
  • the specification information of the information output device 200 includes, for example, the number and respective sizes of information output areas, the number of information output units included in the information output area, and the configuration and description of user interface buttons. It may include etc.
  • the driving information of the information output device 200 may include, for example, an operating power source, signals necessary for the upward or downward operation of the information output unit, and a communication method with the interactive information processing device 100.
  • the interactive information processing device 100 may receive specification information and driving information of the information output device 200 through communication with the information output device 200 and store them in memory.
  • the interactive information processing device 100 determines the information output device 200 from the specification information and driving information of the information output device 200, the first information output area (210-1 in FIG. 9) and the first information output area (210-1 in FIG. 9). It can be seen that it is composed of a second information output area (210-2 in FIG. 9) located in a different position from the information output area.
  • the interactive information processing device 100 generates a drive signal for the information output unit to output graphic information to the first information output area, and generates a drive signal for the information output unit to output text information to the second information output area. It can be transmitted to the information output device 200.
  • the interactive information processing device 100 exists independently in the form of a server, or the interactive information processing device 100 implements the information processing function in the form of an application or software and can be mounted on a user terminal (not shown). You can.
  • the user terminal may include a communication terminal capable of performing the functions of a computing device (not shown), and may include a tablet PC, smart TV, mobile phone, personal digital assistant (PDA), in addition to a desktop computer, smartphone, and laptop operated by the user. It may be a digital assistant), media player, micro server, GPS (global positioning system) device, e-reader, digital broadcasting terminal, navigation, kiosk, MP3 player, digital camera, home appliance, and other mobile or non-mobile computing devices. It is not limited to this.
  • Such user terminals are not limited to the above-described content, and terminals capable of web browsing may be used without limitation.
  • the information output device 200 may receive a driving signal for the information output unit from the interactive information processing device 100 and output predetermined information to the information output area. That is, the information output device 200 may be an electronic device capable of outputting Braille-based information for visually impaired users.
  • the information output device 200 may include a Braille watch, a Braille pad, etc.
  • the network 300 may serve to connect the interactive information processing device 100 and the information output device 200.
  • This network 300 may be, for example, a wired network such as a local area network (LAN), a wide area network (WAN), a metropolitan area network (MAN), or an integrated service digital network (ISDN), a wireless LAN (WLAN), or a code division multiple access (CDMA) network. -division multiple access), and may encompass wireless networks such as satellite communication, but the scope of the present invention is not limited thereto. Additionally, the network 300 may transmit and receive information using short-range communication and/or long-distance communication.
  • short-range communication may include Bluetooth, radio frequency identification (RFID), infrared data association (IrDA), ultra-wideband (UWB), ZigBee, and Wi-Fi technology
  • long-distance communication may include code-division multiple access (CDMA). ), frequency-division multiple access (FDMA), time-division multiple access (TDMA), orthogonal frequency-division multiple access (OFDMA), and single carrier frequency-division multiple access (SC-FDMA) technology.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • ZigBee ZigBee
  • Wi-Fi technology Wi-Fi technology
  • CDMA code-division multiple access
  • FDMA frequency-division multiple access
  • TDMA time-division multiple access
  • OFDMA orthogonal frequency-division multiple access
  • SC-FDMA single carrier frequency-division multiple access
  • Network 300 may include connections of network elements such as hubs, bridges, routers, and switches.
  • Network 300 may include one or more connected networks, including public networks such as the Internet and private networks such as secure enterprise private networks, such as a multi-network environment. Access to network 300 may be provided through one or more wired or wireless access networks.
  • the network 300 includes CAN (controller area network) communication, V2I (vehicle to infrastructure) communication, V2X (vehicle to everything) communication, wave (wireless access in vehicular environment) communication technology, objects, etc. It can support IoT (Internet of Things) networks and/or 5G communications that exchange and process information between distributed components.
  • CAN controller area network
  • V2I vehicle to infrastructure
  • V2X vehicle to everything
  • wave wireless access in vehicular environment
  • objects etc. It can support IoT (Internet of Things) networks and/or 5G communications that exchange and process information between distributed components.
  • IoT Internet of Things
  • FIG. 2 is a block diagram schematically illustrating the configuration of an interactive information processing device according to this embodiment.
  • the interactive information processing device 100 may include a communication unit 110, a display unit 120, a memory 130, and a processor 140.
  • the communication unit 110 may work with the network 300 to provide a communication interface necessary to provide transmission and reception signals between the information output devices 200 in the form of packet data. Furthermore, the communication unit 110 may serve to receive a predetermined information request signal from the information output device 200 and transmit the information processed by the processor 140 to the information output device 200.
  • the communication interface refers to a medium that serves to connect the interactive information processing device 100 and the information output device 200, and is a medium that connects the information output device 200 to the interactive information processing device 100. It may include a path that provides a connection path to transmit and receive information.
  • the communication unit 110 may be a device that includes hardware and software necessary to transmit and receive signals such as control signals or data signals through wired or wireless connections with other network devices.
  • the display unit 120 can output information related to the operation of the interactive information processing device 100 as visual data, and can be implemented as a touch screen (not shown) by forming a mutual layer structure or integrated with the touch sensor. You can.
  • This touch screen can function as a user input unit that provides an input interface to the user.
  • the display unit 120 is configured to not only input information related to the interactive information processing device 100, but also check information related to the interactive information processing device 100, and refers to a control panel capable of input and output. can do.
  • the display unit 120 may be, for example, a display member such as an organic light emitting display (OLED) capable of touch recognition, a liquid crystal display (LCD), or a light emitting display (LED).
  • OLED organic light emitting display
  • LCD liquid crystal display
  • LED light emitting display
  • the input interface provided to the user may further include a microphone (not shown) capable of inputting audio signals.
  • the microphone is an example, its location and implementation method are not limited, and the input means for inputting audio signals can be used without limitation.
  • the touch screen is also an example, its location and implementation method are not limited, and input means for inputting a user request signal can be used without limitation.
  • the output interface may further include a speaker (not shown).
  • the speaker may output information related to the operation of the interactive information processing device 100 as auditory data. That is, the speaker can output information related to the operation of the interactive information processing device 100 as audio data.
  • the processor 140 Under the control of the processor 140, it can output notification messages such as warning sounds, notification sounds, and error states, and the user's voice command. Corresponding information, processing results corresponding to user voice commands, etc. can be output as audio.
  • the speaker is an example, and its location and implementation method are not limited, and may include all output means for outputting audio signals.
  • the memory 130 is connected to the processor 140 and can store codes that, when executed by the processor 140, cause the processor 140 to support various functions of the interactive information processing device 100. That is, the memory 130 may store a plurality of application programs (application programs or applications) running on the interactive information processing device 100, information for operating the interactive information processing device 100, and commands. At least some of these applications may be downloaded from an external server via wireless communication. Additionally, the memory 130 may store information on one or more users who wish to interact with the interactive information processing device 100. This user information may include authentication information (eg, facial information, body shape information, voice information, etc.) that can be used to identify who the recognized user is.
  • authentication information eg, facial information, body shape information, voice information, etc.
  • the memory 130 can store information on tasks to be performed by the interactive information processing device 100 in response to the user's voice commands (e.g., commands for controlling the interactive information processing device 100, etc.). there is.
  • voice commands e.g., commands for controlling the interactive information processing device 100, etc.
  • the memory 130 may perform the function of temporarily or permanently storing data processed by the processor 140.
  • the memory 130 may include magnetic storage media or flash storage media, but the scope of the present invention is not limited thereto.
  • This memory 130 may include internal memory and/or external memory, volatile memory such as DRAM, SRAM, or SDRAM, one time programmable ROM (OTPROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, Non-volatile memory such as NAND flash memory or NOR flash memory, flash drive such as SSD, CF (compact flash) card, SD card, Micro-SD card, Mini-SD card, Xd card, or memory stick. , or may include a storage device such as HDD.
  • the processor 140 is a type of central processing device and can control the entire operation of the interactive information processing device 100 by driving control software mounted on the memory 130.
  • the processor 140 may mean, for example, a data processing device built into hardware that has a physically structured circuit to perform functions expressed as codes or instructions included in a program. Examples of data processing devices built into hardware include a microprocessor, central processing unit (CPU), processor core, multiprocessor, and application-specific integrated (ASIC). circuit) and processing devices such as FPGA (field programmable gate array), but the scope of the present invention is not limited thereto.
  • the processor 140 may output a user interface screen (150 in FIG. 3) to the display unit 120.
  • the processor 140 may generate and output response information corresponding to the user's touch on the user interface screen.
  • the processor 140 may output interactive information compatible with the information output device 200 to a first area (181 in FIG. 4) divided into a plurality of grid cells constituting the user interface screen.
  • the processor 140 may detect the coordinate information of the grid cell corresponding to the interactive information output to the first area. For example, coordinate information of (1,1) to (N,M) is preset in each of the plurality of grid cells constituting the first area, and the preset coordinate information may be stored in the memory 130. .
  • a grid cell in which meaningful information is displayed e.g., 181-1 in FIG. 6
  • a grid cell in which meaningless information is displayed e.g., 181-1 in FIG. 6
  • the processor 140 may detect coordinate information of a grid cell displaying meaningful information and coordinate information of a grid cell displaying meaningless information.
  • the processor 140 can detect the coordinate information of the information output cell (230 in FIG. 10) that is one-to-one matched to the coordinate information of the grid cell.
  • one-to-one matching refers to the number of grid cells constituting the first area (181 in FIG. 4) and the information output area (210-1 and 210-2 in FIG. 8) included in the information output device 200. It may include that the number of information output cells that constitute it is the same. That is, the coordinate information of the grid cell and the coordinate information of the information output cell may be the same.
  • the coordinate information of the grid cell and the coordinate information of the information output cell are not necessarily the same, and the coordinate information of the grid cell and the coordinate information of the information output cell may be different.
  • the coordinate information of the grid cell and the coordinate information of the information output cell are different, the coordinate information of the grid cell and the coordinate information of the information output cell matching the coordinate information of the grid cell can be converted into a table and stored in the memory 130.
  • the processor 140 can detect coordinate information of an information output cell that matches the coordinate information of a grid cell where meaningful information is displayed. Additionally, the processor 140 can detect coordinate information of an information output cell that matches the coordinate information of a grid cell where meaningless information is displayed.
  • the coordinate information of the information output cell that matches the coordinate information of the grid cell where meaningful information is displayed is assumed to be the first coordinate information of the information output cell
  • the information that matches the coordinate information of the grid cell where meaningless information is displayed is assumed to be the first coordinate information of the information output cell. It is assumed that the coordinate information of the output cell is the second coordinate information of the information output cell.
  • the processor 140 may generate a driving signal for the information output unit corresponding to the coordinate information of the information output cell and transmit it to the information output device 200.
  • the processor 140 generates a rising drive signal for the information output unit corresponding to the first coordinate information of the information output cell and generates a falling drive signal for the information output unit corresponding to the second coordinate information of the information output cell. You can.
  • the processor 140 may transmit the rising or falling driving signal and the first or second coordinate information corresponding to each of the rising or falling driving signals to the information output device 200.
  • the processor 140 displays a grid cell display menu (182 in FIG. 4) implemented in a second area (182 in FIG. 4) at a different position from the first area constituting the user interface screen.
  • a touch at 182a) of FIG. 4 can be received.
  • the processor 140 displays a plurality of grid cells in the first area as it receives a first touch signal for the grid cell display menu, and displays a plurality of grid cells from the first area as it receives a second touch signal for the grid cell display menu. You can end the display of grid cells.
  • the processor 140 receives a touch signal for the page description window (183b in FIG. 4) implemented in the third area (183 in FIG. 4) in a position different from the first area constituting the user interface screen. Accordingly, the page description window can be activated.
  • the processor 140 may receive an input of description text for interactive information output to the first area from the page description window.
  • the processor 140 determines that the description text has been received, and converts the description text into Braille. It can be converted.
  • the processor 140 may display the result of converting the explanatory text into Braille in a Braille output window (183d in FIG. 4) implemented in a location different from the Braille conversion menu in the third area.
  • the processor 140 may transmit the result of conversion into Braille displayed in the Braille output window to the information output device 200.
  • the processor 140 generates a drive signal for the information output unit so that the result converted into Braille is output to the second information output area (210-2 in FIG. 9) of the information output device 200 to output the information. It can be transmitted to the output device 200.
  • the processor 140 outputs a driving signal to the information output unit so that graphic information is output in the first information output area (210-1 in FIG. 9) and the result converted into Braille is output in the second information output area. can be generated and transmitted to the information output device 200.
  • the processor 140 terminates the output of the graphic information from the first information output area when the graphic information is output to the first information output area and a preset time (for example, 10 seconds) has elapsed, and displays the graphic information in Braille.
  • a driving signal for the information output unit can be generated and transmitted to the information output device 200 so that the converted result is output.
  • 3 to 5 are exemplary diagrams of user interface screens displayed on the interactive information processing device of FIG. 2. In the following description, parts that overlap with the description of FIGS. 1 and 2 will be omitted.
  • the processor 140 may generate and control response information corresponding to the user's touch on the user interface screen.
  • the user interface screen 150 shown in FIGS. 3 to 5 may include a first user interface area 160, a second user interface area 170, and a third user interface area 180.
  • the first user interface area 160 may include a 1-1 UI menu 160a to a 1-3 UI menu 160c.
  • the processor 140 may move the user interface screen being displayed on the display unit 120 to the canvas page.
  • the processor 140 may move the user interface screen being displayed on the display unit 120 to the drive page.
  • the processor 140 may change the language of the user interface screen displayed on the display unit 120 to English or Korean.
  • the second user interface area 170 may include the 2-1st UI menu 170a to the 2-7th UI menu 170g.
  • the processor 140 receives a touch signal for the 2-1 UI menu 170a (New), it can create a new DTMS document.
  • DTMS may include the extension name of the document file created in the interactive information processing device 100.
  • the processor 140 receives a touch signal for the 2-2 UI menu (170b, Open), it can open an existing DTMS document.
  • the processor 140 receives a touch signal for the 2-3 UI menu 170c (Import), it can insert a DTMS document.
  • the processor 140 When the processor 140 receives a touch signal for the 2-4 UI menu 170d (Export), the processor 140 moves the touch signal to a local designated location, for example, a device (not shown) in which the interactive information processing device 100 is implemented.
  • the DTMS file can be stored in a designated location, or in a designated location in an external device (not shown) connected to the interactive information processing device 100.
  • the processor 140 receives a touch signal for the 2-5 UI menu (170e, Save), it can save the DTMS document.
  • the processor 140 receives a touch signal for the 2-6 UI menu (170f, Setting), it can generate a braille translation engine language.
  • the processor 140 receives a touch signal for the 2-7 UI menu (170g, File Name), it can input a file title.
  • the third user interface area 180 may include a first area 181, a second area 182, and a third area 183.
  • the above-described interactive information may be output in the first area 181.
  • the processor 140 may output graphic information and/or text information on the first area 181 by touch.
  • the processor 140 may open a file on the first area 181 to output graphic information and/or text information included in the file.
  • a plurality of grid cells are displayed in the first area 181, and a plurality of grid cells are displayed according to the touch of the grid cell display menu 182a provided in the second area 182.
  • the display may be shut down.
  • the processor 140 may display a plurality of grid cells in the first area 181 as shown in FIG. 4.
  • the processor 140 may end display of a plurality of grid cells from the first area 181 as shown in FIG. 5.
  • the second area 182 is provided with a plurality of menus 182a to 182v, and the interaction information output to the first area 181 may vary depending on which menu is touched.
  • the processor 140 receives a touch signal for the grid cell display menu 182a, the processor 140 displays a plurality of grid cells in the first area 181 or displays a plurality of grid cells from the first area 181. You can end the display.
  • the processor 140 can move the file in units of thumbnails (pages).
  • the processor 140 may move the file upward as it receives a touch signal for the up arrow.
  • the processor 140 may move the file downward as it receives a touch signal for the down arrow.
  • the processor 140 can add a new page to the previously stored page.
  • the processor 140 may return the touch input of the first area 181 to a previous time or perform a return cancellation.
  • the processor 140 may set the thickness of information displayed by touch on the first area 181 in various ways.
  • the thickness of the information displayed by touch on the first area 181 is the thinnest, and when the rightmost thickness setting menu is touched, it is displayed by touch on the first area 181.
  • the thickness of information may be the thickest.
  • the thinnest thickness may include, for example, displaying information as much as 1/2 grid cell by a single touch on the first area 181, but is not limited to this.
  • the thickest thickness may include, for example, displaying information as much as three grid cells by a single touch on the first area 181, but is not limited to this.
  • the processor 140 receives a touch signal for the pen menu 182f, it can activate the pen and display information input by the user through reception of clicks and drags on the first area 181.
  • the processor 140 receives a touch signal for the symmetrical drawing menu 182g, it activates the menu and displays the information input by the user symmetrically through reception of clicks and drags on the first area 181. It can be done as much as possible.
  • the processor 140 can activate the menu and move the screen by receiving a click and drag on the first area 181.
  • the processor 140 can activate the corresponding menu and fill the clicked grid cell with a set color by receiving a click on the first area 181.
  • the processor 140 can activate the corresponding menu and erase information displayed through receiving a click and drag on the first area 181.
  • the processor 140 can activate the corresponding menu and erase all displayed information by receiving a click on the first area 181.
  • the processor 140 can activate the corresponding menu and draw a line in the selected grid cell through receiving a click and drag on the first area 181.
  • the processor 140 can activate the corresponding menu and draw a square in the selected grid cell through receiving a click and drag on the first area 181.
  • the processor 140 can activate the corresponding menu and draw a circle in the selected grid cell through receiving a click and drag on the first area 181.
  • the processor 140 can activate the corresponding menu and draw a triangle in the selected grid cell through receiving a click and drag on the first area 181.
  • the processor 140 receives a touch signal for the text input menu 182p, it activates the menu, pops up a text insertion window on the first area 181, and inputs text into the text insertion window.
  • Text can be converted to Braille and displayed in real time.
  • the processor 140 can activate the corresponding menu and draw a table through receiving a click and drag on the first area 181.
  • the processor 140 receives a touch signal for the text insertion menu 182r, the processor 140 pops up a text file open window on the first area 181 and converts the selected file into Braille in real time in the first area 181. It can be displayed.
  • the processor 140 may pop up an image insertion window on the first area 181 and output the selected image to the first area 181. .
  • the processor 140 can activate the corresponding menu and select a rectangle through receiving a click and drag on the first area 181.
  • the processor 140 can activate the corresponding menu and allow grid cells to be freely selected through reception of clicks and drags on the first area 181.
  • the processor 140 receives a touch signal for the color menu 182v, the color set when left-clicking or right-clicking on the grid cell where meaningful information is displayed in the first area 181 is displayed. It can be displayed.
  • the processor 140 receives a touch signal for the palette menu 182w, it can set the touched color to be used.
  • the third area 183 may be provided with a plurality of menus 183a to 183d. As the processor 140 receives a touch signal for the print menu 183a, the processor 140 may transmit interactive information output to the first area 181 to the information output device 200.
  • the processor 140 may activate the page description window and allow description text for interactive information output to the first area 181 to be input.
  • the processor 140 receives a touch signal for the Braille conversion menu 183c, the processor 140 converts the description text entered in the page description window into Braille and displays the result of the conversion into Braille in the page description-Braille area 183d. can do.
  • FIGS. 6 and 7 are examples of interactive information output to the third user interface area 180. In the following description, parts that overlap with the description of FIGS. 1 to 5 will be omitted. Referring to FIGS. 6 and 7 , the processor 140 may generate and control response information corresponding to the user's touch on the third user interface area 180.
  • FIG. 6 shows interactive information output to the first area 181 in response to the result of moving a file in units of thumbnails (pages) as the processor 140 receives a touch signal for the page movement menu 182b. I'm doing it.
  • the interactive information may include Hanbok graphic information.
  • the hanbok may be displayed as a grid cell 181-1 in which meaningful information is displayed and a grid cell 181-2 in which meaningless information is displayed.
  • FIG. 6 shows interactive information output to the first area 181 by moving the file upward as the processor 140 receives a touch signal for the upper arrow in the page movement menu 182b.
  • the interactive information may include Taegeukgi graphic information.
  • the page description window displays explanatory text for the interactive information displayed in the first area 181, for example, ⁇ This is the Korean flag.>, and the page description-braille area 183d displays braille for the explanatory text.
  • An example of the conversion result output is shown.
  • the information output device 200 may include a first information output area 210-1, a second information output area 210-2, and a plurality of user interfaces 220. .
  • the first information output area 210-1 and the second information output area 210-2 are composed of a plurality of information output units 240, and display interactive information including one or more of graphic information and text information in the form of Braille. It can be output as .
  • the size of the first information output area 210-1 may be larger than the second information output area 210-2.
  • graphic information may be output in the first information output area 210-1
  • text information may be output in the second information output area 210-2, but this is not limited to graphic information and text.
  • One piece of information may be output to one of the first information output area 210-1 and the second information output area 210-2.
  • the plurality of user interfaces 220 may include a manipulation unit for manipulating the information output device 200.
  • This operating unit may be composed of a sensor, button, or switch structure that can recognize the user's touch or press operation.
  • FIG. 10 is a diagram for explaining the operation of the information output cell 230 included in the first information output area 210-1 and the second information output area 210-2 in FIG. 1.
  • the first information output area 210-1 and the second information output area 210-2 may include a plurality of information output cells 230.
  • Braille information output to the first information output area 210-1 and the second information output area 210-2 is in units of information output cells 230 including information output units 240 arranged in 4 rows and 2 columns. It can be output, and when applied to this embodiment, the information output cell 230 may include eight information output units 240.
  • one information output cell 230 is limited to include eight information output units 240, but is not limited to this, and one information output cell 230 includes two or more eight information output units. It may include 240, and in some cases, it may include more information output units 240.
  • the information output unit 240 can receive a driving signal for the information output unit from the interactive information processing device 100 and output information through upward or downward driving.
  • FIG. 11 is a flowchart for explaining the interactive information processing method according to this embodiment. In the following description, parts that overlap with the description of FIGS. 1 to 10 will be omitted.
  • the interactive information processing method according to this embodiment will be described assuming that the interactive information processing device 100 is performed by the processor 140 with the help of peripheral components.
  • the processor 140 may output interactive information compatible with the information output device 200 to a first area divided into a plurality of grid cells constituting the user interface screen.
  • the interactive information specifically includes one or more files pre-stored in the memory 130, such as a file previously created in the first area and stored in the memory, a file captured in the first area and stored in the memory, etc. can do.
  • interactive information may include files received through communication with an external device (eg, server, user terminal, etc.).
  • the interactive information may include a touch input generated by a real-time touch of the first area.
  • the interactive information may include a set of touch inputs generated by touching the first area until a touch signal for a print button implemented in the third area at a different position from the first area is received.
  • This interactive information may include one or more of graphic information and text information.
  • step S1120 the processor 140 may detect the coordinate information of the grid cell corresponding to the interactive information output to the first area.
  • step S1130 the processor 140 may detect the coordinate information of the information output cell that is one-to-one matched to the coordinate information of the grid cell.
  • step S1140 the processor 140 may generate a driving signal for the information output unit corresponding to the coordinate information of the information output cell and transmit it to the information output device 200.
  • the processor 140 may receive a touch on a grid cell display menu implemented in a second area at a different location from the first area constituting the user interface screen.
  • the processor 140 displays a plurality of grid cells in the first area as it receives a first touch signal for the grid cell display menu, and displays a plurality of grid cells from the first area as it receives a second touch signal for the grid cell display menu. You can end the display of grid cells.
  • the processor 140 before transmitting the driving signal to the information output device 200, the processor 140 sends a touch signal to the page description window implemented in the third area in a different position from the first area constituting the user interface screen.
  • the page description window can be activated.
  • the processor 140 may receive an input of description text for interactive information output to the first area from the page description window.
  • the processor 140 may determine that reception of the description text has been completed and convert the description text into Braille.
  • the processor 140 may display the result of converting the description text into Braille in a Braille output window implemented in the second area.
  • the processor 140 may transmit the result of conversion into Braille displayed in the Braille output window to an information output device.
  • the processor 140 may generate a driving signal for an information output unit corresponding to the result of conversion into Braille and transmit it to the information output device 200.
  • the processor 140 may receive specification information and driving information of the information output device from the information output device before transmitting the driving signal to the information output device 200.
  • the specification information and driving information related to the driving of the information output device 200 may include information about the first information output area and the second information output area configured at a different location from the first information output area.
  • the processor 140 generates a drive signal for the information output unit to output graphic information in the first information output area, and generates a drive signal for the information output unit to output text information in the second information output area to output information. It can be transmitted to the device 200.
  • Embodiments according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded on a computer-readable medium.
  • the media includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROM.
  • RAM, flash memory, etc. may include hardware devices specifically configured to store and execute program instructions.
  • the computer program may be designed and configured specifically for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of computer programs may include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 인터렉티브 정보 처리 장치 및 방법에 관한 것이다. 본 실시 예에 따른 인터렉티브 정보 처리 방법은, 사용자 인터페이스 화면을 구성하는 복수개의 그리드셀들로 분할된 제1영역에, 적어도 하나 이상의 정보출력유닛에 대한 상승 구동 또는 하강 구동을 통하여 촉각적 정보를 출력하는 정보 출력 장치와 호환가능한 인터렉티브 정보를 출력하는 단계와, 제1영역에 출력되는 인터렉티브 정보와 대응하는 그리드셀의 좌표정보를 검출하는 단계와, 그리드셀의 좌표정보에 일대일 매칭되어 있는 정보출력셀의 좌표정보를 검출하는 단계와, 정보출력셀의 좌표정보에 대응하는 정보출력유닛에 대한 구동신호를 생성하여 정보 출력 장치로 전송하는 단계를 포함할 수 있다.

Description

인터렉티브 정보 처리 장치 및 방법
본 발명은 인터렉티브 정보 처리 장치 및 방법에 관한 것이다.
사용자들은 다양한 방식으로 정보를 인식할 수 있다. 이를 위하여 다양한 형태의 정보 출력 장치가 사용되고 잇다. 예를 들면, 인쇄물을 이용한 시각적 정보 출력 장치, 소리를 통한 청각적 정보 출력 장치, 점자를 통한 촉각적 정보 출력 장치 등이 사용되고, 있다.
특히 점자를 통한 촉각적 정보 출력 장치의 경우 출력 가능한 정보가 한정되어 있기 때문에 그래프, 다이어그램, 방정식 등과 같은 다양한 그래픽 정보를 처리하여 정보 출력 장치에 전송해 줄 수 있는 정보 처리 장치가 요구된다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 일 과제는, 촉각적 정보 출력 장치에서 그래픽 정보의 확인이 가능하도록, 그래픽 정보를 처리하여 촉각적 정보 출력 장치로 전송하는 인터렉티브 정보 처리 장치 및 방법을 제공하는데 있다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 과제 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명이 해결하고자 하는 과제 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 실시 예에 따른 인터렉티브 정보 처리 방법은, 인터렉티브 정보 처리 장치의 프로세서에 의해 수행되는 인터렉티브 정보 처리 방법으로서, 사용자 인터페이스 화면을 구성하는 복수개의 그리드셀들로 분할된 제1영역에, 적어도 하나 이상의 정보출력유닛에 대한 상승 구동 또는 하강 구동을 통하여 촉각적 정보를 출력하는 정보 출력 장치와 호환가능한 인터렉티브 정보를 출력하는 단계와, 제1영역에 출력되는 인터렉티브 정보와 대응하는 그리드셀의 좌표정보를 검출하는 단계와, 그리드셀의 좌표정보에 일대일 매칭되어 있는 정보출력셀의 좌표정보를 검출하는 단계와, 정보출력셀의 좌표정보에 대응하는 정보출력유닛에 대한 구동신호를 생성하여 정보 출력 장치로 전송하는 단계를 포함할 수 있다.
본 실시 예에 따른 인터렉티브 정보 처리 장치는, 인터렉티브 정보 처리 장치로서, 프로세서 및 프로세서와 동작 가능하게 연결되고 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때, 프로세서가 사용자 인터페이스 화면을 구성하는 복수개의 그리드셀들로 분할된 제1영역에, 적어도 하나 이상의 정보출력유닛에 대한 상승 구동 또는 하강 구동을 통하여 촉각적 정보를 출력하는 정보 출력 장치와 호환가능한 인터렉티브 정보를 출력하고, 제1영역에 출력되는 인터렉티브 정보와 대응하는 그리드셀의 좌표정보를 검출하고, 그리드셀의 좌표정보에 일대일 매칭되어 있는 정보출력셀의 좌표정보를 검출하고, 정보출력셀의 좌표정보에 대응하는 정보출력유닛에 대한 구동신호를 생성하여 정보 출력 장치로 전송하도록 야기하는 코드를 저장할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 의하면, 촉각적 정보 출력 장치에서 그래픽 정보의 확인이 가능하도록, 그래픽 정보를 처리하여 촉각적 정보 출력 장치로 전송하는 인터렉티브 정보 처리 장치 및 방법을 제공할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 실시 예에 따른 인터렉티브 정보 처리 환경의 예시도이다.
도 2는 본 실시 예에 따른 인터렉티브 정보 처리 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다.
도 3 내지 도 7은 도 2의 인터렉티브 정보 처리 장치에 표시되는 사용자 인터페이스 화면의 예시도이다.
도 8 내지 도 10은 본 실시 예에 따른 인터렉티브 정보 처리 환경에 포함되는 정보 출력 장치의 예시도이다.
도 11은 본 실시 예에 따른 인터렉티브 정보 처리 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시 예에 따른 WPS 생성 방법은, WPS(welding procedure specification, 용접 절차 시방서) 생성 장치의 프로세서에 의해 수행되며, 머신러닝 알고리즘을 이용하여 WPS를 자동으로 생성하는 방법으로서, 용접 대상에 대한 용접 재료 및 용접 재료의 두께를 포함하는 용접 관련 정보와 함께 WPS 전송 요청 신호를본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 본 출원서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시 예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다
이하의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시 예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징을 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
어떤 실시 예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
도 1은 본 실시 예에 따른 인터렉티브 정보 처리 환경의 예시도이다. 도 1을 참조하면, 인터렉티브 정보 처리 환경(1)은 인터렉티브 정보 처리 장치(100), 정보 출력 장치(200) 및 네트워크(300)를 포함할 수 있다.
인터렉티브 정보 처리 장치(100)는 인터렉티브 정보를 생성하여 정보 출력 장치(200)로 전송할 수 있다. 본 실시 예에서, 정보 출력 장치(200)는 적어도 하나 이상의 정보출력유닛(도 10의 240)에 대한 상승 구동 또는 하강 구동을 통하여 촉각적 정보를 출력하는 전자 장치를 포함할 수 있다.
인터렉티브 정보 처리 장치(100)는 정보 출력 장치(200)와 정보의 호환이 가능하다. 여기서, 정보의 호환이 가능하다 함은, 인터렉티브 정보 처리 장치(100)가 정보 출력 장치(200)의 사양 정보 및 구동 정보를 저장하고 있어서, 인터렉티브 정보 처리 장치(100)가 정보 출력 장치(200)의 사양 정보 및 구동 정보를 기반으로 인터렉티브 정보를 생성하여 정보 출력 장치(200)로 전송할 수 있고, 정보 출력 장치(200)는 별다른 설정 없이 인터렉티브 정보 처리 장치(100)로부터 수신한 인터렉티브 정보의 출력이 가능하다는 의미를 포함할 수 있다. 선택적 실시 예로, 정보의 호환이 가능하다 함은, 정보 출력 장치(200)에 출력되는 촉각적 정보가 인터렉티브 정보 처리 장치(100)로 전송되어, 인터렉티브 정보 처리 장치(100)에서 시각적 정보로 출력 가능하다는 의미를 포함할 수도 있다.
본 실시 예에서, 인터렉티브 정보라 함은, 인터렉티브 정보 처리 장치(100)에 출력되는 시각적 정보를, 정보 출력 장치(200)에 촉각적 정보로 출력하기 위해 처리되는 일련의 정보 집합 중 하나를 포함할 수 있다. 본 실시 예에서, 인터렉티브 정보 처리 장치(100)에 출력되는 시각적 정보도 인터렉티브 정보에 포함될 수 있다.
본 실시 예에서, 인터렉티브 정보는 구체적으로 메모리(도 2의 130)에 기저장된 하나 이상의 파일 예를 들어, 이전에 제1영역에서 생성하여 메모리에 저장된 파일 및 제1영역에서 캡쳐하여 메모리에 저장된 파일 등을 포함할 수 있다. 또한, 인터렉티브 정보는 외부장치(예를 들어, 서버, 사용자 단말기 등)와의 통신을 통하여 수신한 파일 등을 포함할 수 있다.
또한, 인터렉티브 정보는 제1영역(도 4의 181)의 실시간 터치에 의해 생성되는 터치 입력을 포함할 수 있다. 또한, 인터렉티브 정보는 제1영역과 다른 위치의 제3영역(도 4의 183)에 구현된 프린트 버튼(도 4의 183a)에 대한 터치 신호가 수신되기 전까지 제1영역의 터치에 의해 생성된 터치 입력의 집합을 포함할 수 있다. 이러한 인터렉티브 정보는 그래픽 정보 및 텍스트 정보 중 하나 이상을 포함할 수 있다.
본 실시 예에서, 정보 출력 장치(200)의 사양 정보는 예를 들어, 정보출력영역의 개수 및 각각의 사이즈와, 정보출력영역에 포함되는 정보출력유닛의 개수와, 사용자 인터페이스 버튼의 구성 및 설명 등을 포함할 수 있다. 또한 정보 출력 장치(200)의 구동 정보는 예를 들어, 동작 전원과, 정보출력유닛의 상승 동작 또는 하강 동작을 위해 필요한 신호와, 인터렉티브 정보 처리 장치(100)와의 통신 방법 등을 포함할 수 있다. 선택적 실시 예로, 인터렉티브 정보 처리 장치(100)는 정보 출력 장치(200)와 통신을 통하여 정보 출력 장치(200)의 사양정보 및 구동정보를 수신하여 메모리에 저장할 수 있다.
일 실시 예로, 인터렉티브 정보 처리 장치(100)는 정보 출력 장치(200)의 사양 정보 및 구동 정보로부터, 정보 출력 장치(200)가 제1 정보출력영역(도 9의 210-1) 및 상기 제1 정보출력영역과 다른 위치에 구성된 제2 정보출력영역(도 9의 210-2)으로 구성되어 있음을 알 수 있다. 인터렉티브 정보 처리 장치(100)는 제1 정보출력영역에 그래픽 정보가 출력되도록 정보출력유닛에 대한 구동신호를 생성하고, 제2 정보출력영역에는 텍스트 정보가 출력되도록 정보출력유닛에 대한 구동신호를 생성하여 정보 출력 장치(200)로 전송할 수 있다.
본 실시 예에서, 인터렉티브 정보 처리 장치(100)는 서버 형태로 독립적으로 존재하거나, 인터렉티브 정보 처리 장치(100)가 정보 처리 기능을 어플리케이션 형태 또는 소프트웨어 형태로 구현하여 사용자 단말기(미도시)에 탑재할 수 있다.
여기서, 사용자 단말기는 컴퓨팅 장치(미도시)의 기능을 수행할 수 있는 통신 단말기를 포함할 수 있으며, 사용자가 조작하는 데스크 탑 컴퓨터, 스마트폰 노트북 이외에, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 이러한 사용자 단말기는 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.
정보 출력 장치(200)는 인터렉티브 정보 처리 장치(100)로부터 정보출력유닛에 대한 구동신호를 수신하여 정보출력영역에 소정의 정보를 출력할 수 있다. 즉, 정보 출력 장치(200)는 시각 장애인 사용자를 위하여 점자 기반의 정보 출력이 가능한 전자 장치일 수 있다. 예를 들어, 정보 출력 장치(200)는 점자 워치, 점자 패드 등을 포함할 수 있다.
네트워크(300)는 인터렉티브 정보 처리 장치(100) 및 정보 출력 장치(200)를 연결하는 역할을 수행할 수 있다. 이러한 네트워크(300)는 예컨대 LAN(local area network), WAN(wide area network), MAN(metropolitan area network), ISDN(integrated service digital network) 등의 유선 네트워크나, WLAN(wireless LAN), CDMA(code-division multiple access), 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(300)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서, 근거리 통신은 Bluetooth, RFID(radio frequency identification), IrDA(infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi 기술을 포함할 수 있고, 원거리 통신은 CDMA(code-division multiple access), FDMA(frequency-division multiple access), TDMA(time-division multiple access), OFDMA(orthogonal frequency-division multiple access), SC-FDMA(single carrier frequency-division multiple access) 기술을 포함할 수 있다.
네트워크(300)는 허브, 브리지, 라우터, 스위치와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(300)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(300)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.
더 나아가 네트워크(300)는 CAN(controller area network) 통신, V2I(vehicle to infrastructure, 차량 대 도로 인프라) 통신, V2X(vehicle to everything) 통신, 웨이브(wireless access in vehicular environment) 통신 기술과, 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.
도 2는 본 실시 예에 따른 인터렉티브 정보 처리 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다. 이하의 설명에서 도 1에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 2를 참조하면, 인터렉티브 정보 처리 장치(100)는 통신부(110), 디스플레이부(120), 메모리(130), 및 프로세서(140)를 포함할 수 있다.
통신부(110)는 네트워크(300)와 연동하여 정보 출력 장치(200) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 나아가, 통신부(110)는 정보 출력 장치(200)로부터 소정의 정보 요청 신호를 수신하는 역할을 할 수 있고 프로세서(140)가 처리한 정보를 정보 출력 장치(200)로 전송하는 역할을 수행할 수 있다. 여기서, 통신 인터페이스라 함은, 인터렉티브 정보 처리 장치(100)와, 정보 출력 장치(200)를 연결하는 역할을 수행하는 매개체로써, 정보 출력 장치(200)가 인터렉티브 정보 처리 장치(100)에 접속한 후 정보를 송수신할 수 있도록 접속 경로를 제공하는 경로를 포함할 수 있다. 또한 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
디스플레이부(120)는 인터렉티브 정보 처리 장치(100)의 동작과 관련한 정보를 시각적 데이터로 출력할 수 있고, 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린(미도시)으로 구현될 수 있다. 이러한 터치 스크린은, 사용자에게 입력 인터페이스를 제공하는 사용자 입력부로써 기능을 제공할 수 있다.
디스플레이부(120)는 인터렉티브 정보 처리 장치(100)와 관련한 정보를 입력할 수 있을 뿐만 아니라, 인터렉티브 정보 처리 장치(100)와 관련한 정보를 확인할 수 있는 구성으로, 입력 및 출력이 가능한 컨트롤패널을 의미할 수 있다. 디스플레이부(120)는 예를 들어, 터치 인식이 가능한 OLED(organic light emitting display) 또는 LCD(liquid crystal display) 또는 LED(light emitting display)와 같은 소정의 디스플레이 부재일 수 있다.
본 실시 예에서 사용자에게 제공하는 입력 인터페이스로서 오디오 신호를 입력할 수 있는 마이크(미도시)를 더 포함할 수 있다. 마이크는 일 실시 예로, 그 위치 및 구현 방법이 한정되지 않으며, 오디오 신호 입력을 위한 입력 수단은 제한 없이 차용될 수 있다. 또한 터치 스크린도 일 실시 예로, 그 위치 및 구현 방법이 한정되지 않으며, 사용자 요청 신호 입력을 위한 입력 수단은 제한 없이 차용될 수 있다.
한편, 본 실시 예에서, 출력 인터페이스는 스피커(미도시)를 더 포함할 수 있다. 스피커는, 인터렉티브 정보 처리 장치(100)의 동작과 관련한 정보를 청각 데이터로 출력할 수 있다. 즉 스피커는 인터렉티브 정보 처리 장치(100)의 동작과 관련한 정보를 오디오 데이터로 출력할 수 있는데, 프로세서(140)의 제어에 따라 경고음, 알림음, 에러상태 등의 알림 메시지와, 사용자의 음성 명령에 대응하는 정보, 사용자 음성 명령에 대응하는 처리 결과 등을 오디오로 출력할 수 있다. 스피커는 일 실시 예로, 그 위치 및 구현 방법이 한정되지 않으며, 오디오 신호 출력을 위한 출력 수단을 모두 포함할 수 있다.
메모리(130)는 프로세서(140)와 연결되어, 프로세서(140)에 의해 실행될 때, 프로세서(140)로 하여금, 인터렉티브 정보 처리 장치(100)의 다양한 기능을 지원하도록 야기하는 코드들을 저장할 수 있다. 즉 메모리(130)는 인터렉티브 정보 처리 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 어플리케이션(application)), 인터렉티브 정보 처리 장치(100)의 동작을 위한 정보들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 메모리(130)는 인터렉티브 정보 처리 장치(100)와 인터랙션을 수행하려는 한 명 이상의 사용자 정보를 저장할 수 있다. 이러한 사용자 정보는 인식된 사용자가 누구인지 식별하는데 사용될 수 있는 승인 정보들(예를 들어, 얼굴 정보 및 체형 정보, 음성 정보 등)을 포함할 수 있다.
또한, 메모리(130)는 사용자의 음성 명령(예를 들어, 인터렉티브 정보 처리 장치(100)를 제어하기 위한 명령어 등)에 대응하여 인터렉티브 정보 처리 장치(100)가 수행해야 할 작업 정보 등을 저장할 수 있다.
본 실시 예에서 메모리(130)는 프로세서(140)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(130)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(130)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD, CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
프로세서(140)는 일종의 중앙처리장치로서 메모리(130)에 탑재된 제어 소프트웨어를 구동하여 인터렉티브 정보 처리 장치(100) 전체의 동작을 제어할 수 있다. 프로세서(140)는 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(140)는 디스플레이부(120)에 사용자 인터페이스 화면(도 3의 150)을 출력할 수 있다. 프로세서(140)는 사용자 인터페이스 화면에 대한 사용자의 터치에 대응하는 응답 정보를 생성하여 출력할 수 있다.
프로세서(140)는 사용자 인터페이스 화면을 구성하는 복수개의 그리드셀들로 분할된 제1영역(도 4의 181)에 정보 출력 장치(200)와 호환가능한 인터렉티브 정보를 출력할 수 있다.
프로세서(140)는 제1영역에 출력되는 인터렉티브 정보와 대응하는 그리드셀의 좌표정보를 검출할 수 있다. 제1영역을 구성하는 복수개의 그리드셀들 각각에는 예를 들어, (1,1) 내지 (N,M)이라는 좌표정보가 기설정되고, 기설정된 좌표정보는 메모리(130)에 저장될 수 있다.
제1영역에 인터렉티브 정보가 출력되면, 의미있는 정보가 표시되는 그리드셀(예를 들어, 도 6의 181-1)과, 의미없는 정보가 표시되는 그리드셀(예를 들어, 도 6의 181-2)로 분류될 수 있다. 프로세서(140)는 의미있는 정보가 표시되는 그리드셀의 좌표정보와, 의미없는 정보가 표시되는 그리드셀의 좌표정보를 검출할 수 있다.
프로세서(140)는 그리드셀의 좌표정보에 일대일 매칭되어 있는 정보출력셀(도 10의 230)의 좌표정보를 검출할 수 있다. 여기서 일대일 매칭되어 있다 함은, 제1영역(도 4의 181)을 구성하는 그리드셀의 개수 및 정보 출력 장치(200)에 포함된 정보출력영역(도 8의 210-1 및 210-2)을 구성하는 정보출력셀의 개수가 동일하다는 것을 포함할 수 있다. 즉, 그리드셀의 좌표정보 및 정보출력셀의 좌표정보가 동일할 수 있다.
그러나 반드시 그리드셀의 좌표정보 및 정보출력셀의 좌표정보가 동일한 것은 아니며, 그리드셀의 좌표정보 및 정보출력셀의 좌표정보가 다를 수도 있다. 그리드셀의 좌표정보 및 정보출력셀의 좌표정보가 다른 경우, 그리드셀의 좌표정보와, 그리드셀의 좌표정보에 매칭되는 정보출력셀의 좌표정보를 테이블화하여 메모리(130)에 저장할 수 있다.
프로세서(140)는 의미있는 정보가 표시되는 그리드셀의 좌표정보에 매칭되는 정보출력셀의 좌표정보를 검출할 수 있다. 또한 프로세서(140)는 의미없는 정보가 표시되는 그리드셀의 좌표정보에 매칭되는 정보출력셀의 좌표정보를 검출할 수 있다. 여기서, 의미있는 정보가 표시되는 그리드셀의 좌표정보에 매칭되는 정보출력셀의 좌표정보를 정보출력셀의 제1 좌표정보라 가정하고, 의미없는 정보가 표시되는 그리드셀의 좌표정보에 매칭되는 정보출력셀의 좌표정보를 정보출력셀의 제2 좌표정보라 가정하기로 한다.
프로세서(140)는 정보출력셀의 좌표정보에 대응하는 정보출력유닛에 대한 구동신호를 생성하여 정보 출력 장치(200)로 전송할 수 있다. 프로세서(140)는 정보출력셀의 제1 좌표정보에 대응하는 정보출력유닛에 대하여 상승 구동신호를 생성하고, 정보출력셀의 제2 좌표정보에 대응하는 정보출력유닛에 대하여 하강 구동신호를 생성할 수 있다. 프로세서(140)는 상승 구동신호 또는 하강 구동신호와, 상승 또는 하강 구동신호의 각각에 대응하는 제1 좌표정보 또는 제2 좌표정보를 함께 정보 출력 장치(200)로 전송할 수 있다.
일 실시 예로, 프로세서(140)는 제1영역에 인터렉티브 정보를 출력하기 전에, 사용자 인터페이스 화면을 구성하는 제1영역과 다른 위치의 제2영역(도 4의 182)에 구현된 그리드셀 디스플레이 메뉴(도 4의 182a)의 터치를 수신할 수 있다. 프로세서(140)는 그리드셀 디스플레이 메뉴에 대한 제1 터치신호를 수신함에 따라 제1영역에 복수개의 그리드셀들을 디스플레이하고, 그리드셀 디스플레이 메뉴에 대한 제2 터치신호를 수신함에 따라 제1영역으로부터 복수개의 그리드셀들에 대한 디스플레이를 종료할 수 있다.
일 실시 예로, 프로세서(140)는 사용자 인터페이스 화면을 구성하는 제1영역과 다른 위치의 제3영역(도 4의 183)에 구현된 페이지 설명창(도 4의 183b)에 대한 터치신호를 수신함에 따라, 페이지 설명창을 활성화시킬 수 있다. 프로세서(140)는 페이지 설명창으로부터 제1영역에 출력되는 인터렉티브 정보에 대한 설명 텍스트의 입력을 수신할 수 있다. 프로세서(140)는 제3영역의 페이지 설명창과 다른 위치에 구현된 점자 번환 메뉴(도 4의 183c)에 대한 터치신호를 수신함에 따라, 설명 텍스트에 대한 수신 완료를 결정하고, 설명 텍스트를 점자로 변환할 수 있다. 프로세서(140)는 제3영역의 점자 번환 메뉴와 다른 위치에 구현된 점자 출력창(도 4의 183d)에 설명 텍스트를 점자로 변환한 결과를 디스플레이 할 수 있다. 프로세서(140)는 점자 출력창에 디스플레이된 점자로 변환한 결과를 정보 출력 장치(200)로 전송할 수 있다.
본 실시 예에서, 프로세서(140)는 점자로 변환한 결과가 정보 출력 장치(200)의 제2 정보출력영역(도 9의 210-2)에 출력되도록 정보출력유닛에 대한 구동신호를 생성하여 정보 출력 장치(200)로 전송할 수 있다. 다른 실시 예로, 프로세서(140)는 제1 정보출력영역(도 9의 210-1)에 그래픽 정보가 출력되고, 제2 정보출력영역에 점자로 변환한 결과가 출력되도록 정보출력유닛에 대한 구동신호를 생성하여 정보 출력 장치(200)로 전송할 수 있다. 또 다른 실시 예로, 프로세서(140)는 제1 정보출력영역에 그래픽 정보가 출력되고 기설정된 시간(예를 들어 10초)이 경과되면, 제1 정보출력영역으로부터 그래픽 정보의 출력을 종료하고, 점자로 변환한 결과가 출력되도록 정보출력유닛에 대한 구동신호를 생성하여 정보 출력 장치(200)로 전송할 수 있다.
도 3 내지 도 5는 도 2의 인터렉티브 정보 처리 장치에 표시되는 사용자 인터페이스 화면의 예시도이다. 이하의 설명에서 도 1 및 도 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 3 내지 도 7을 참조하면, 프로세서(140)는 사용자 인터페이스 화면에 대한 사용자의 터치에 대응하는 응답 정보 생성과 제어를 수행할 수 있다.
도 3 내지 도 5에 도시된 사용자 인터페이스 화면(150)은 제1 사용자 인터페이스 영역(160), 제2 사용자 인터페이스 영역(170) 및 제3 사용자 인터페이스 영역(180)을 포함할 수 있다.
제1 사용자 인터페이스 영역(160)은 제1-1 UI 메뉴(160a) 내지 제1-3 UI 메뉴(160c)를 포함할 수 있다. 프로세서(140)는 제1-1 UI 메뉴(160a)에 대한 터치신호를 수신하면, 디스플레이부(120)에 디스플레이 중인 사용자 인터페이스 화면을 캔버스 페이지로 이동시킬 수 있다. 프로세서(140)는 제1-2 UI 메뉴(160b)에 대한 터치신호를 수신하면, 디스플레이부(120)에 디스플레이 중인 사용자 인터페이스 화면을 드라이브 페이지로 이동시킬 수 있다. 프로세서(140)는 제1-3 UI 메뉴(160c)에 대한 터치신호를 수신하면, 디스플레이부(120)에 디스플레이 중인 사용자 인터페이스 화면의 언어를 영어 또는 한국어로 변경시킬 수 있다.
제2 사용자 인터페이스 영역(170)은 제2-1 UI 메뉴(170a) 내지 제2-7 UI 메뉴(170g)를 포함할 수 있다. 프로세서(140)는 제2-1 UI 메뉴(170a, New)에 대한 터치신호를 수신하면, 새로운 DTMS 문서를 생성할 수 있다. 여기서, DTMS는 인터렉티브 정보 처리 장치(100)에 생성되는 문서 파일의 확장자명을 포함할 수 있다. 프로세서(140)는 제2-2 UI 메뉴(170b, Open)에 대한 터치신호를 수신하면, 기존의 DTMS 문서를 오픈할 수 있다. 프로세서(140)는 제2-3 UI 메뉴(170c, Import)에 대한 터치신호를 수신하면, DTMS 문서를 삽입할 수 있다. 프로세서(140)는 제2-4 UI 메뉴(170d, Export)에 대한 터치신호를 수신하면, 로컬(local)의 지정된 위치 예를 들어, 인터렉티브 정보 처리 장치(100)가 구현된 디바이스(미도시)의 지정된 위치, 또는 인터렉티브 정보 처리 장치(100)와 연결된 외부 디바이스(미도시)의 지정된 위치에 DTMS 파일을 저장할 수 있다. 프로세서(140)는 제2-5 UI 메뉴(170e, Save)에 대한 터치신호를 수신하면, DTMS 문서를 저장할 수 있다. 프로세서(140)는 제2-6 UI 메뉴(170f, Setting)에 대한 터치신호를 수신하면, 점역 엔진 언어를 생성할 수 있다. 프로세서(140)는 제2-7 UI 메뉴(170g, File Name)에 대한 터치신호를 수신하면, 파일 제목을 입력할 수 있다.
제3 사용자 인터페이스 영역(180)은 다시 제1영역(181), 제2영역(182) 및 제3영역(183)을 포함할 수 있다. 제1영역(181)에는 상술한 인터렉티브 정보가 출력될 수 있다. 프로세서(140)는 제1영역(181) 상에 터치에 의해 그래픽 정보 및/또는 텍스트 정보가 출력되도록 할 수 있다. 프로세서(140)는 제1영역(181) 상에 파일을 오픈하여 파일에 포함되는 그래픽 정보 및/또는 텍스트 정보가 출력되도록 할 수 있다.
도 4를 참조하면, 제1영역(181)에는 복수개의 그리드셀들이 디스플레이 되어 있는데, 제2영역(182)에 구비된 그리드셀 디스플레이 메뉴(182a)의 터치에 따라 복수개의 그리드셀들이 디스플레이되거나, 디스플레이 종료될 수 있다. 프로세서(140)는 그리드셀 디스플레이 메뉴(182a)에 대한 제1 터치신호를 수신함에 따라, 도 4에 도시된 바와 같이 제1영역(181)에 복수개의 그리드셀들을 디스플레이할 수 있다. 프로세서(140)는 그리드셀 디스플레이 메뉴(182a)에 대한 제2 터치신호를 수신함에 따라 도 5에 도시된 바와 같이 제1영역(181)으로부터 복수개의 그리드셀들에 대한 디스플레이를 종료할 수 있다.
제2영역(182)에는 복수개의 메뉴(182a 내지 182v)가 구비되고 어느 한 메뉴의 터치에 따라 제1영역(181)에 출력되는 인터렉션 정보가 달라질 수 있다. 프로세서(140)는 그리드셀 디스플레이 메뉴(182a)에 대한 터치신호를 수신함에 따라, 제1영역(181)에 복수개의 그리드셀들을 디스플레이 하거나, 제1영역(181)으로부터 복수개의 그리드셀들에 대한 디스플레이를 종료할 수 있다.
프로세서(140)는 페이지 이동 메뉴(182b)에 대한 터치신호를 수신함에 따라, 썸네일(페이지) 단위로 파일을 이동시킬 수 있다. 프로세서(140)는 위 화살표에 대한 터치신호를 수신함에 따라 파일을 위로 이동시킬 수 있다. 프로세서(140)는 아래 화살표에 대한 터치신호를 수신함에 따라 파일을 아래로 이동시킬 수 있다.
프로세서(140)는 페이지 추가 메뉴(182c)에 대한 터치신호를 수신함에 따라, 기저장된 페이지에 새로운 페이지를 추가할 수 있다.
프로세서(140)는 Undo/Redo 메뉴(182d)에 대한 터치신호를 수신함에 따라, 제1영역(181)의 터치입력을 이전으로 되돌리거나, 되돌리기 취소를 수행할 수 있다.
프로세서(140)는 두께 설정 메뉴(182e)에 대한 터치신호를 수신함에 따라, 제1영역(181) 상에 터치에 의해 표시되는 정보의 두께를 다양하게 설정할 수 있다. 최좌측의 두께 설정 메뉴가 터치되면 제1영역(181) 상에 터치에 의해 표시되는 정보의 두께가 가장 얇고, 최우측의 두께 설정 메뉴가 터치되면 제1영역(181) 상에 터치에 의해 표시되는 정보의 두께가 가장 두꺼울 수 있다. 여기서 두께가 가장 얇다 함은, 예를 들어 제1영역(181)에 대한 한번의 터치에 의해 1/2 그리드셀 만큼의 정보가 표시되는 것을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 두께가 가장 두껍다 함은, 예를 들어 제1영역(181)에 대한 한번의 터치에 의해 3개의 그리드셀 만큼의 정보가 표시되는 것을 포함할 수 있으나, 이에 한정되지 않는다.
프로세서(140)는 펜 메뉴(182f)에 대한 터치신호를 수신함에 따라, 펜을 활성화시키고, 제1영역(181) 상에서 클릭 및 드래그의 수신을 통하여 사용자가 입력하는 정보가 표시되도록 할 수 있다.
프로세서(140)는 대칭으로 그리기 메뉴(182g)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에서 클릭 및 드래그의 수신을 통하여 사용자가 입력하는 정보가 대칭으로 표시되도록 할 수 있다.
프로세서(140)는 화면 이동 메뉴(182h)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에서 클릭 및 드래그의 수신을 통하여 화면을 이동시킬 수 있다.
프로세서(140)는 채우기 메뉴(182i)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에서 클릭 수신을 통하여 클릭된 그리드셀을 설정된 색으로 채울 수 있다.
프로세서(140)는 지우개 메뉴(182j)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에서 클릭 및 드래그의 수신을 통하여 표시된 정보를 지울 수 있다.
프로세서(140)는 모두 지우기 메뉴(182k)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에서 클릭 수신을 통하여 표시된 정보를 모두 지울 수 있다.
프로세서(140)는 선 그리기 메뉴(182l)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에서 클릭 및 드래그의 수신을 통하여 선택된 그리드셀에 선을 그릴 수 있다.
프로세서(140)는 사각형 메뉴(182m)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에서 클릭 및 드래그의 수신을 통하여 선택된 그리드셀에 사각형을 그릴 수 있다.
프로세서(140)는 원 메뉴(182n)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에서 클릭 및 드래그의 수신을 통하여 선택된 그리드셀에 원을 그릴 수 있다.
프로세서(140)는 삼각형 메뉴(182o)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에서 클릭 및 드래그의 수신을 통하여 선택된 그리드셀에 삼각형을 그릴 수 있다.
프로세서(140)는 텍스트 입력 메뉴(182p)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에 텍스트 삽입 창을 팝업 시키고, 텍스트 삽입 창에 텍스트를 입력하면, 텍스트가 점자로 실시간 변환되어 표시되도록 할 수 있다.
프로세서(140)는 표 그리기 메뉴(182q)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에서 클릭 및 드래그의 수신을 통하여 표를 그릴 수 있다.
프로세서(140)는 텍스트 삽입 메뉴(182r)에 대한 터치신호를 수신함에 따라, 제1영역(181) 상에 텍스트 파일 열기 창을 팝업 시키고, 선택된 파일이 제1 영역(181)에 점자로 실시간 변환되어 표시되도록 할 수 있다.
프로세서(140)는 이미지 삽입 메뉴(182s)에 대한 터치신호를 수신함에 따라, 제1영역(181) 상에 이미지 삽입 창을 팝업 시키고, 선택된 이미지가 제1영역(181)에 출력되도록 할 수 있다.
프로세서(140)는 사각형 선택 메뉴(182t)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에서 클릭 및 드래그의 수신을 통하여 사각형이 선택되도록 할 수 있다.
프로세서(140)는 자유 선택 메뉴(182u)에 대한 터치신호를 수신함에 따라, 해당 메뉴를 활성화시키고, 제1영역(181) 상에서 클릭 및 드래그의 수신을 통하여 그리드셀이 자유롭게 선택되도록 할 수 있다.
프로세서(140)는 색상 메뉴(182v)에 대한 터치신호를 수신함에 따라, 제1영역(181)에 출력되는 의미있는 정보가 표시되는 그리드셀에 대하여, 좌 클릭 또는 우 클릭 시에 설정되는 색상을 표시할 수 있다.
프로세서(140)는 팔레트 메뉴(182w)에 대한 터치신호를 수신함에 따라, 터치된 색상이 사용되도록 설정할 수 있다.
제3영역(183)에는 복수개의 메뉴(183a 내지 183d)가 구비될 수 있다. 프로세서(140)는 프린트 메뉴(183a)에 대한 터치신호를 수신함에 따라, 제1영역(181)에 출력되는 인터렉티브 정보를 정보 출력 장치(200)에 전송할 수 있다.
프로세서(140)는 페이지 설명창 메뉴(183b)에 대한 터치신호를 수신함에 따라, 페이지 설명창을 활성화시키고, 제1영역(181)에 출력되는 인터렉티브 정보에 대한 설명 텍스트가 입력되도록 할 수 있다.
프로세서(140)는 점자 변환 메뉴(183c)에 대한 터치신호를 수신함에 따라, 페이지 설명창에 입력된 설명 텍스트를 점자로 변환하고, 점자로 변환한 결과를 페이지 설명-점자 영역(183d)에 디스플레이할 수 있다.
도 6 및 도 7는 제3 사용자 인터페이스 영역(180)에 출력되는 인터렉티브 정보의 예시도이다. 이하의 설명에서 도 1 내지 도 5에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 6 및 도 7을 참조하면, 프로세서(140)는 제3 사용자 인터페이스 영역(180)에 대한 사용자의 터치에 대응하는 응답 정보 생성과 제어를 수행할 수 있다.
도 6은 프로세서(140)가 페이지 이동 메뉴(182b)에 대한 터치신호를 수신함에 따라, 썸네일(페이지) 단위로 파일을 이동시킨 결과에 대응하여 제1영역(181)에 출력된 인터렉티브 정보를 도시하고 있다. 본 실시 예에서 인터렉티브 정보는 한복 그래픽 정보를 포함할 수 있다. 제1영역(181) 상에서 한복은 의미있는 정보가 표시되는 그리드셀(181-1)과, 의미없는 정보가 표시되는 그리드셀(181-2)로 표시될 수 있다.
도 6은 프로세서(140)가 페이지 이동 메뉴(182b) 중 위 화살표에 대한 터치신호를 수신함에 따라 파일을 위로 이동시켜 제1영역(181)에 출력된 인터렉티브 정보를 도시하고 있다. 본 실시 예에서 인터렉티브 정보는 태극기 그래픽 정보를 포함할 수 있다. 본 실시 예에서 페이지 설명창에는 제1영역(181)에 출력되는 인터렉티브 정보에 대한 설명 텍스트 예를 들어 <이것은 태극기입니다.>가 출력되고, 페이지 설명-점자 영역(183d)에는 설명 텍스트에 대한 점자변환 결과가 출력된 예가 도시되어 있다.
도 8 내지 도 10은 본 실시 예에 따른 인터렉티브 정보 처리 환경에 포함되는 정보 출력 장치의 예시도이다. 도 8 내지 도 10을 참조하면, 정보 출력 장치(200)는 제1 정보출력영역(210-1), 제2 정보출력영역(210-2) 및 복수개의 사용자 인터페이스(220)를 포함할 수 있다.
제1 정보출력영역(210-1) 및 제2 정보출력영역(210-2)은 복수개의 정보출력유닛(240)으로 구성되어, 그래픽 정보 및 텍스트 정보 중 하나 이상을 포함하는 인터렉티브 정보를 점자 형태로 출력할 수 있다. 본 실시 예에서 제1 정보출력영역(210-1)의 크기는 제2 정보출력영역(210-2)보다 더 클 수 있다.
본 실시 예에서 제1 정보출력영역(210-1)에는 그래픽 정보가 출력되고, 제2 정보출력영역(210-2)에는 텍스트 정보가 출력될 수 있으나, 이에 한정되는 것은 아니고, 그래픽 정보 및 텍스트 정보 중 하나가 제1 정보출력영역(210-1) 및 제2 정보출력영역(210-2) 중 하나에 출력될 수 있다.
복수개의 사용자 인터페이스(220)는 정보 출력 장치(200)를 조작하는 조작부를 포함할 수 있다. 이러한 조작부는 사용자의 터치 또는 누름 조작을 인식할 수 있는 센서 또는 버튼, 스위치 구조로 구성될 수 있다.
도 10은 도 1 중 제1 정보출력영역(210-1) 및 제2 정보출력영역(210-2)에 포함되는 정보출력셀(230)의 동작을 설명하기 위한 도면이다. 도 10을 참조하면, 제1 정보출력영역(210-1) 및 제2 정보출력영역(210-2)은 복수개의 정보출력셀(230)을 포함할 수 있다. 제1 정보출력영역(210-1) 및 제2 정보출력영역(210-2)에 출력되는 점자 정보는 4행 2열로 배열된 정보출력유닛(240)을 포함하는 정보출력셀(230) 단위로 출력될 수 있으며, 본 실시 예에 적용하면 정보출력셀(230)은 8개의 정보출력유닛(240)을 포함할 수 있다.
본 실시 예에서 하나의 정보출력셀(230)이 8개의 정보출력유닛(240)을 포함한다고 한정하고 있으나, 이에 국한하지 않고, 하나의 정보출력셀(230)은 2개 이상 8개의 정보출력유닛(240)을 포함할 수 있고, 경우에 따라서는 그 이상의 정보출력유닛(240)을 포함할 수도 있다.
본 실시 예에 따른 정보출력유닛(240)은 인터렉티브 정보 처리 장치(100)로부터의 정보출력유닛에 대한 구동신호를 수신하여 상승 구동 또는 하강 구동을 통하여 정보를 출력할 수 있다.
도 11은 본 실시 예에 따른 본 실시 예에 따른 인터렉티브 정보 처리 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 10에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 본 실시 예에 따른 인터렉티브 정보 처리 방법은 인터렉티브 정보 처리 장치(100)가 주변 구성 요소들의 도움을 받아 프로세서(140)에서 수행한다고 가정하고 설명하기로 한다.
도 11을 참조하면, S1110단계에서, 프로세서(140)는 사용자 인터페이스 화면을 구성하는 복수개의 그리드셀들로 분할된 제1영역에 정보 출력 장치(200)와 호환가능한 인터렉티브 정보를 출력할 수 있다. 본 실시 예에서, 인터렉티브 정보는 구체적으로 메모리(130)에 기저장된 하나 이상의 파일 예를 들어, 이전에 제1영역에서 생성하여 메모리에 저장된 파일 및 제1영역에서 캡쳐하여 메모리에 저장된 파일 등을 포함할 수 있다. 또한, 인터렉티브 정보는 외부장치(예를 들어, 서버, 사용자 단말기 등)와의 통신을 통하여 수신한 파일 등을 포함할 수 있다. 또한, 인터렉티브 정보는 제1영역의 실시간 터치에 의해 생성되는 터치 입력을 포함할 수 있다. 또한, 인터렉티브 정보는 제1영역과 다른 위치의 제3영역에 구현된 프린트 버튼에 대한 터치 신호가 수신되기 전까지 제1영역의 터치에 의해 생성된 터치 입력의 집합을 포함할 수 있다. 이러한 인터렉티브 정보는 그래픽 정보 및 텍스트 정보 중 하나 이상을 포함할 수 있다.
S1120단계에서, 프로세서(140)는 제1영역에 출력되는 인터렉티브 정보와 대응하는 그리드셀의 좌표정보를 검출할 수 있다.
S1130단계에서, 프로세서(140)는 그리드셀의 좌표정보에 일대일 매칭되어 있는 정보출력셀의 좌표정보를 검출할 수 있다.
S1140단계에서, 프로세서(140)는 정보출력셀의 좌표정보에 대응하는 정보출력유닛에 대한 구동신호를 생성하여 정보 출력 장치(200)로 전송할 수 있다.
본 실시 예에서, 프로세서(140)는 인터렉티브 정보를 출력하기 전에, 사용자 인터페이스 화면을 구성하는 제1영역과 다른 위치의 제2영역에 구현된 그리드셀 디스플레이 메뉴의 터치를 수신할 수 있다. 프로세서(140)는 그리드셀 디스플레이 메뉴에 대한 제1 터치신호를 수신함에 따라 제1영역에 복수개의 그리드셀들을 디스플레이하고, 그리드셀 디스플레이 메뉴에 대한 제2 터치신호를 수신함에 따라 제1영역으로부터 복수개의 그리드셀들에 대한 디스플레이를 종료할 수 있다.
본 실시 예에서, 프로세서(140)는 구동신호를 정보 출력 장치(200)로 전송하기 전에, 사용자 인터페이스 화면을 구성하는 제1영역과 다른 위치의 제3영역에 구현된 페이지 설명창에 대한 터치신호를 수신함에 따라, 페이지 설명창을 활성화시킬 수 있다. 프로세서(140)는 페이지 설명창으로부터 제1영역에 출력되는 인터렉티브 정보에 대한 설명 텍스트의 입력을 수신할 수 있다. 프로세서(140)는 제2영역에 구현된 점자번역 버튼에 대한 터치신호를 수신함에 따라, 설명 텍스트에 대한 수신 완료를 결정하고, 설명 텍스트를 점자로 변환할 수 있다. 프로세서(140)는 제2영역에 구현된 점자 출력창에 설명 텍스트를 점자로 변환한 결과를 디스플레이할 수 있다. 프로세서(140)는 점자 출력창에 디스플레이된 점자로 변환한 결과를 정보 출력 장치로 전송할 수 있다. 프로세서(140)는 점자로 변환한 결과에 대응하는 정보출력유닛에 대한 구동신호를 생성하여 정보 출력 장치(200)로 전송할 수 있다.
본 실시 예에서, 프로세서(140)는 구동신호를 정보 출력 장치(200)로 전송하기 전에, 정보 출력 장치로부터 정보 출력 장치의 사양정보 및 구동정보를 수신할 수 있다. 여기서, 정보 출력 장치(200)의 구동과 관련한 사양정보 및 구동정보는, 제1 정보출력영역 및 제1 정보출력영역과 다른 위치에 구성된 제2 정보출력영역에 대한 정보를 포함할 수 있다. 프로세서(140)는 제1 정보출력영역에는 그래픽 정보가 출력되도록 정보출력유닛에 대한 구동신호를 생성하고, 제2 정보출력영역에는 텍스트 정보가 출력되도록 정보출력유닛에 대한 구동신호를 생성하여 정보 출력 장치(200)로 전송할 수 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (10)

  1. 인터렉티브 정보 처리 장치의 프로세서에 의해 수행되는 인터렉티브 정보 처리 방법으로서,
    사용자 인터페이스 화면을 구성하는 복수개의 그리드셀들로 분할된 제1영역에, 적어도 하나 이상의 정보출력유닛에 대한 상승 구동 또는 하강 구동을 통하여 촉각적 정보를 출력하는 정보 출력 장치와 호환가능한 인터렉티브 정보를 출력하는 단계;
    상기 제1영역에 출력되는 상기 인터렉티브 정보와 대응하는 그리드셀의 좌표정보를 검출하는 단계;
    상기 그리드셀의 좌표정보에 일대일 매칭되어 있는 정보출력셀의 좌표정보를 검출하는 단계; 및
    상기 정보출력셀의 좌표정보에 대응하는 정보출력유닛에 대한 구동신호를 생성하여 상기 정보 출력 장치로 전송하는 단계를 포함하는,
    인터렉티브 정보 처리 방법.
  2. 제 1 항에 있어서,
    상기 인터렉티브 정보를 출력하는 단계 이전에,
    상기 사용자 인터페이스 화면을 구성하는 상기 제1영역과 다른 위치의 제2영역에 구현된 그리드셀 디스플레이 메뉴의 터치를 수신하는 단계; 및
    상기 그리드셀 디스플레이 메뉴에 대한 제1 터치신호를 수신함에 따라 상기 제1영역에 상기 복수개의 그리드셀들을 디스플레이하고, 상기 그리드셀 디스플레이 메뉴에 대한 제2 터치신호를 수신함에 따라 상기 제1영역으로부터 상기 복수개의 그리드셀들에 대한 디스플레이를 종료하는 단계를 포함하는,
    인터렉티브 정보 처리 방법.
  3. 제 1 항에 있어서,
    상기 인터렉티브 정보를 출력하는 단계는,
    기저장된 하나 이상의 파일 중 선택된 어느 하나의 파일 및 외부장치와의 통신을 통하여 수신한 파일 중 하나를 상기 제1영역에 오픈하여 상기 인터렉티브 정보로 출력하는 단계를 포함하고,
    상기 기저장된 하나 이상의 파일은,
    이전에 상기 제1영역에서 생성하여 메모리에 저장된 파일 및 상기 제1영역에서 캡쳐하여 상기 메모리에 저장된 파일 중 하나 이상을 포함하는,
    인터렉티브 정보 처리 방법.
  4. 제 1 항에 있어서,
    상기 인터렉티브 정보를 출력하는 단계는,
    상기 제1영역의 실시간 터치에 의해 생성되는 터치 입력 및 상기 제1영역과 다른 위치의 제3영역에 구현된 프린트 버튼에 대한 터치 신호가 수신되기 전까지 상기 제1영역의 터치에 의해 생성된 터치 입력의 집합 중 하나를 인터렉티브 정보로 출력하는 단계를 포함하는,
    인터렉티브 정보 처리 방법.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 인터렉티브 정보를 출력하는 단계는,
    상기 제1영역, 그래픽 정보 및 텍스트 정보 중 하나 이상을 포함하는 인터렉티브 정보를 출력하는 단계를 포함하는,
    인터렉티브 정보 처리 방법.
  6. 제 1 항에 있어서,
    상기 정보 출력 장치로 전송하는 단계 이전에,
    상기 사용자 인터페이스 화면을 구성하는 상기 제1영역과 다른 위치의 제3영역에 구현된 페이지 설명창에 대한 터치신호를 수신함에 따라, 상기 페이지 설명창을 활성화시키는 단계;
    상기 페이지 설명창으로부터 상기 제1영역에 출력되는 상기 인터렉티브 정보에 대한 설명 텍스트의 입력을 수신하는 단계;
    상기 제3영역의 상기 페이지 설명창과 다른 위치에 구현된 점자 번환 메뉴에 대한 터치신호를 수신함에 따라, 상기 설명 텍스트에 대한 수신 완료를 결정하고, 상기 설명 텍스트를 점자로 변환하는 단계;
    상기 제3영역의 상기 점자 번환 메뉴와 다른 위치에 구현된 점자 출력창에 상기 설명 텍스트를 점자로 변환한 결과를 디스플레이하는 단계; 및
    상기 점자 출력창에 디스플레이된 상기 점자로 변환한 결과를 상기 정보 출력 장치로 전송하는 단계를 더 포함하는,
    인터렉티브 정보 처리 방법.
  7. 제 6 항에 있어서,
    상기 정보 출력 장치로 전송하는 단계는,
    상기 점자로 변환한 결과에 대응하는 상기 정보출력유닛에 대한 구동신호를 생성하여 상기 정보 출력 장치로 전송하는 단계를 포함하는,
    인터렉티브 정보 처리 방법.
  8. 제 1 항에 있어서,
    상기 정보 출력 장치로 전송하는 단계 이전에,
    상기 정보 출력 장치로부터 상기 정보 출력 장치의 사양 정보 및 구동 정보를 수신하는 단계를 더 포함하고,
    상기 정보 출력 장치의 구동과 관련한 사양 정보 및 구동 정보는,
    제1 정보출력영역 및 상기 제1 정보출력영역과 다른 위치에 구성된 제2 정보출력영역에 대한 정보를 포함하고,
    상기 인터렉티브 정보는,
    그래픽 정보 및 텍스트 정보 중 하나 이상을 포함하며,
    상기 정보 출력 장치로 전송하는 단계는,
    상기 제1 정보출력영역에는 상기 그래픽 정보가 출력되도록 상기 정보출력유닛에 대한 구동신호를 생성하고, 제2 정보출력영역에는 상기 텍스트 정보가 출력되도록 상기 정보출력유닛에 대한 구동신호를 생성하여 상기 정보 출력 장치로 전송하는 단계를 포함하는,
    인터렉티브 정보 처리 방법.
  9. 컴퓨터를 이용하여 제 1 항 내지 제 8 항의 방법 중 어느 한 항의 방법을 실행시키기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체.
  10. 인터렉티브 정보 처리 장치로서,
    프로세서; 및
    상기 프로세서와 동작 가능하게 연결되고 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고,
    상기 메모리는 상기 프로세서를 통해 실행될 때, 상기 프로세서가 사용자 인터페이스 화면을 구성하는 복수개의 그리드셀들로 분할된 제1영역에, 적어도 하나 이상의 정보출력유닛에 대한 상승 구동 또는 하강 구동을 통하여 촉각적 정보를 출력하는 정보 출력 장치와 호환가능한 인터렉티브 정보를 출력하고,
    상기 제1영역에 출력되는 상기 인터렉티브 정보와 대응하는 그리드셀의 좌표정보를 검출하고,
    상기 그리드셀의 좌표정보에 일대일 매칭되어 있는 정보출력셀의 좌표정보를 검출하고,
    상기 정보출력셀의 좌표정보에 대응하는 정보출력유닛에 대한 구동신호를 생성하여 상기 정보 출력 장치로 전송하도록 야기하는 코드를 저장하는,
    인터렉티브 정보 처리 장치.
PCT/KR2023/018686 2022-12-21 2023-11-20 인터렉티브 정보 처리 장치 및 방법 WO2024136159A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0180933 2022-12-21
KR20220180933 2022-12-21
KR1020230081213A KR20240098991A (ko) 2022-12-21 2023-06-23 인터렉티브 정보 처리 장치 및 방법
KR10-2023-0081213 2023-06-23

Publications (1)

Publication Number Publication Date
WO2024136159A1 true WO2024136159A1 (ko) 2024-06-27

Family

ID=91589273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/018686 WO2024136159A1 (ko) 2022-12-21 2023-11-20 인터렉티브 정보 처리 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2024136159A1 (ko)

Similar Documents

Publication Publication Date Title
WO2012161359A1 (ko) 사용자 인터페이스 방법 및 장치
WO2021118179A1 (ko) 사용자 단말, 화상 통화 장치, 화상 통화 시스템 및 그 제어방법
WO2013047968A1 (en) User interface method and device
WO2014027773A1 (ko) 반응형 사용자 인터페이스 제공 장치, 방법, 및 그에 대한 전자장치에서 판독 가능한 기록매체
WO2014119975A1 (en) Method and system for sharing part of web page
WO2013100469A1 (en) System and method of providing a user interface according to location information
WO2016129811A1 (ko) 인스턴트 메시징 서비스에서 공식계정의 리치 메뉴를 제공하는 방법과 시스템 및 기록 매체
WO2015041434A1 (ko) 다국어 메시지 번역 시스템 및 그 방법
WO2018056597A1 (ko) 문자입력장치
WO2019107799A1 (ko) 입력 필드의 이동 방법 및 장치
WO2017018665A1 (ko) 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법
WO2021085811A1 (ko) 키보드 매크로 기능을 활용한 자동 음성 인식기 및 음성 인식 방법
WO2020184935A1 (en) Electronic apparatus and method for controlling thereof
WO2021107208A1 (ko) 챗봇 채널연계 통합을 위한 챗봇 통합 에이전트 플랫폼 시스템 및 그 서비스 방법
WO2024136159A1 (ko) 인터렉티브 정보 처리 장치 및 방법
WO2015093754A1 (ko) 전자 장치에서 연결 정보를 공유하는 방법 및 장치
WO2015037871A1 (ko) 텍스트 인식을 이용한 음성재생 서비스 제공 시스템, 서버 및 단말
WO2020004717A1 (ko) 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치
WO2016186326A1 (ko) 검색어 리스트 제공 장치 및 이를 이용한 방법
WO2013012267A1 (en) Electronic device and method for sensing input gesture and inputting selected symbol
WO2022255850A1 (ko) 다국어 번역 지원이 가능한 채팅시스템 및 제공방법
WO2019045362A1 (en) DISPLAY APPARATUS FOR PROVIDING A PREVIEWING UI AND METHOD FOR CONTROLLING DISPLAY APPARATUS
WO2021118184A1 (ko) 사용자 단말 및 그 제어방법
WO2019098552A1 (ko) 인터렉티브 키보드 제공방법 및 그 시스템
KR20240098991A (ko) 인터렉티브 정보 처리 장치 및 방법