WO2021153961A1 - 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법 - Google Patents

가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법 Download PDF

Info

Publication number
WO2021153961A1
WO2021153961A1 PCT/KR2021/000970 KR2021000970W WO2021153961A1 WO 2021153961 A1 WO2021153961 A1 WO 2021153961A1 KR 2021000970 W KR2021000970 W KR 2021000970W WO 2021153961 A1 WO2021153961 A1 WO 2021153961A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
unit
image
pen device
screen
Prior art date
Application number
PCT/KR2021/000970
Other languages
English (en)
French (fr)
Inventor
양병석
Original Assignee
주식회사 코믹스브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코믹스브이 filed Critical 주식회사 코믹스브이
Publication of WO2021153961A1 publication Critical patent/WO2021153961A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Definitions

  • the present invention relates to an image input system and data generation method using a tablet device, and more particularly, to an image input system using virtual reality and an image data generation method using the same.
  • Devices for inputting image data into a computer include a keyboard, mouse, tablet pen, and the like, and have recently developed into a device in which a picture drawn on paper can be converted into image data as it is and inputted.
  • the method of inputting image data using a keyboard or mouse is considered unnatural compared to the method of writing or drawing by hand. In particular, it seems that the development direction of the image data writing device is in the direction of imitating the way of holding a pen by hand and drawing as it is.
  • the existing drawing-only tablet device corresponds to an image input device in which, when an image is drawn on a dedicated pen recognition pad using a dedicated pen, image data is generated and the image data is transmitted to the computer screen.
  • the direct image drawing method is superior to that of a keyboard or mouse, but cognitive dissonance occurs because the pad on which the image is drawn and the computer screen on which the image is output are spatially separated.
  • a drawing tablet having a display unit in which an image input space and an image output space are the same has been developed and used.
  • An example is a tablet product that can draw on an actual display window, such as Wacom's CintiqTM.
  • a drawing tablet having a display unit can be viewed as an input device capable of minimizing cognitive dissonance.
  • the HMD (Head Mounted Display) device related to the provision of virtual reality is provided in a form in which a terminal device capable of reproducing a 360° 3D image is installed therein.
  • a 3D image that is, virtual reality content
  • the HMD device is equipped with various sensors such as a gyro sensor, and provides a 3D image corresponding to a user's movement based on these sensors.
  • the HMD device can minimize physical restrictions by providing a virtual space to the user.
  • An image input system using virtual reality aims to improve work efficiency by providing a virtual image editing space capable of intuitive image editing to a user.
  • the pen device touches at least one of the corners of the input unit of the tablet from the tablet through the data transmission/reception unit by the phase data management unit of the system server.
  • the method may further include generating, by the screen data generating unit, pen device image data displayed in an area overlapping or not overlapping the virtual screen generated by using the virtual screen data.
  • the method may further include; transmitting, by the screen information management unit, the pen device image data to the HMD through the data transmission/reception unit.
  • the screen data generating unit when the screen data generating unit generates pen device image data displayed in an area that does not overlap with the virtual screen, any display on the virtual screen at a position corresponding to any second phase data in which the pen device and the input unit come into contact with each other
  • the method may further include generating pen point image data.
  • the method may further include; converting, by the image information management unit of the system server, at least one or more third phase data according to the contact between the pen device and the input unit received through the data transmission/reception unit into image data and transmitting the converted image data to the HMD.
  • An image input system using virtual reality is an image input system using virtual reality for generating image data using virtual reality, wherein the image input system is capable of transmitting and receiving data through a wired or wireless communication method.
  • a data transmitter/receiver capable of; A phase in which the pen device receives first phase data generated by touching at least one of the corners of the input unit of the tablet and second phase data generated by touching an arbitrary point on the surface of the input unit by the pen device from the tablet through the data transmission/reception unit data management department; a screen data generation unit for generating virtual screen data matching the input unit by using the first phase data and the second phase data; and a screen information management unit that transmits the virtual screen data to the HMD through the data transmission/reception unit.
  • a recording medium storing a computer program for performing the method according to any one of claims 1 to 6 may be provided.
  • the image input system using virtual reality can improve work efficiency by providing a virtual image editing space capable of intuitive image editing to a user.
  • FIG 1 illustrates an image input system using virtual reality of the present invention.
  • FIG. 2 is a flowchart of a method for generating image data using an image input system using virtual reality according to an embodiment of the present invention.
  • FIG. 3 is a system block diagram of an image input system using virtual reality according to an embodiment of the present invention.
  • FIG. 4 is an exemplary view illustrating a tablet input device and a dedicated pen having only a dedicated pen recognition pad portion without a conventional display unit.
  • FIG. 5 is an exemplary diagram illustrating a tablet input device including a display unit capable of recognizing a dedicated pen on the display unit and a dedicated pen.
  • FIG. 6 is a diagram illustrating an example of inputting image data to a tablet input device including a display unit using a dedicated pen.
  • FIG. 7 is an exemplary diagram illustrating an actual use state and a virtual screen provided to a user when image data is generated using the image input system using virtual reality according to an embodiment of the present invention.
  • FIG. 8 is an exemplary diagram of a virtual screen provided to a user when image data is generated using an image input system using virtual reality according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a virtual screen in which an image of a pen device is omitted when image data is generated using an image input system using virtual reality according to an embodiment of the present invention.
  • each of the components, functional blocks or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component include an electronic circuit, It may be implemented with various well-known devices or mechanical elements, such as an integrated circuit, an application specific integrated circuit (ASIC), etc., and may be implemented separately or two or more may be integrated into one.
  • ASIC application specific integrated circuit
  • combinations of each block in the accompanying block diagram and each step in the flowchart may be performed by computer program instructions.
  • These computer program instructions may be loaded into the processor of a general purpose computer, special purpose computer, portable notebook computer, network computer, mobile device such as a smart phone, an online game service providing server, or other programmable data processing equipment, so that the computer device or other program
  • the instructions which are executed via a processor of possible data processing equipment, create means for performing the functions described in each block of the block diagrams described below or in each step of the flow diagrams.
  • These computer program instructions may also be stored in a computer readable memory or memory available to a computer device that may direct a computer device or other programmable data processing equipment to implement a function in a particular manner, such that each block of the block diagram Alternatively, it is also possible to produce an article of manufacture containing instruction means for performing the functions described in each step of the flowchart.
  • the computer program instructions may also be mounted on a computer device or other programmable data processing equipment, thereby creating a process for performing a series of operational steps on the computer device or other programmable data processing equipment, such that each block in the block diagram and the flowchart It is also possible to provide steps for executing the functions described in each step of .
  • each block or each step may represent a module, segment, or portion of code comprising one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.
  • the system server refers to all calculation means capable of collecting, reading, processing, processing, storing, and displaying data such as a desktop computer, a notebook computer, a smartphone, a PDA, a mobile phone, and a game machine. do.
  • the system server according to the embodiment of the present invention is a device having a function of executing software written in decipherable code, and displaying and delivering it to a user.
  • the software may be stored by itself or may be read together with data from the outside.
  • the terminal includes functions such as input, output, and storage as well as the above data processing function, and for this purpose, the CPU, main board, graphic card, hard disk, and Various elements such as sound card, speaker, keyboard, mouse, monitor, USB, communication modem, etc., as well as CPU, main board, graphic chip, memory chip, sound engine, speaker, touchpad, USB, etc. It may include an external connection terminal, a communication antenna, a communication modem capable of implementing communication such as 3G, LTE, LTE-A, WiFi, and Bluetooth.
  • a head mounted display is a display device that can present an image directly in front of the user's eyes by being mounted on the head.
  • Dedicated virtual reality display devices such as Oculus RiftTM, Oculus GoTM, Oculus QuestTM, etc. and/or a device on which a smartphone is mounted to provide virtual reality to users.
  • a tablet, pen device, HMD, etc. may have a communication function in a wired or wireless manner with the system server, and in order to implement the communication function, a mutual data cable, wired Internet, wireless Internet, infrared communication, Data can be exchanged through various network means such as Bluetooth, WCDMA, Wibro, WiFi, LTE, LTE-A, and wired and wireless telephone networks.
  • FIG 1 illustrates an image input system using virtual reality of the present invention.
  • the image input system using virtual reality may be implemented through the system server 30 , the pen device 13 , the tablet 10 and the HMD 40 .
  • FIG. 2 is a flowchart of a method for generating image data using an image input system using virtual reality according to an embodiment of the present invention
  • FIG. 3 is a system block diagram of an image input system using virtual reality according to an embodiment of the present invention.
  • the phase data management unit 32 of the system server generates first phase data generated by the pen device touching at least one of the corners of the input unit 12 of the tablet from the tablet through the data transmission/reception unit 31 and and receiving, by the pen device, second phase data generated by touching an arbitrary point on the surface of the input unit 12 ( S110 ).
  • the pen device may be a device for capacitive or contact input, but is not limited thereto, and as long as data can be input by contacting or close to the input unit 12 of the tablet, the pen device may be applied without considering its shape or material.
  • the pen device may include a separate gyroscope sensing unit, a capacitive sensing unit, and other components for position measurement in space provided so that the location can be identified in an arbitrary space and displayed on the HMD worn by the user.
  • a data transmission unit for transmitting the spatial phase data of the pen device to the tablet or to the system server in a wired or wireless manner may be provided.
  • first phase data in which the pen device is located in space may be generated.
  • the first phase data of the pen device may be generated using phase data in which the input unit 12 of the tablet is located in space.
  • the input unit 12 is placed parallel to the ground.
  • the first phase data generated by touching one of the four corners of the input unit 12 and any one point of the input unit 12 touched by the Pentivis are three of the horizontal axis (x), the vertical axis (y), and the height (z). Since the height portion is common in the coordinate area, the distance between the actual input unit 12 and the pen device is calculated using only the horizontal axis (x) and vertical axis (y) coordinates, and the third phase data related to the subsequent touch of the pen device 13 . can be used to create
  • one corner touched with the pen device 13 may be used to measure the spatial inclination degree of the input unit 12 , and then It can be used to generate phase data related to the touch of the pen device 13 of .
  • the screen data generating unit 33 of the system server generates virtual screen data matching the input unit 12 using the first phase data and the second phase data (S120).
  • the standard data of the input unit 12 may be previously stored in the screen data generating unit 33 of the system server in a predetermined state.
  • the first phase data and the second phase data are the other four corners of the input unit 12 and the touch of the pen device 13 according to the first phase data using the standard data of the input unit 12 stored in advance.
  • the coordinates of the location can be generated.
  • the screen information management unit 34 of the system server includes the step of transmitting the virtual screen data to the HMD through the data transmission and reception unit 31 (S130).
  • the screen information management unit 34 may be provided to transmit virtual screen data to the HMD to display a virtual screen corresponding to the input unit 12 .
  • the HMD 40 and the pen device 13 may generate the phase data in space and transmit it to the phase data management unit 32 of the system server.
  • the user wears the HMD and gazes at the direction of the input unit 12 of the tablet.
  • a virtual screen generated by using the virtual screen data may be displayed at the same location corresponding to the actual location of the tablet and the input unit 12 of the tablet.
  • image data generated according to the contact between the input unit 12 of the tablet and the pen device is transmitted to the phase data management unit 32, so the user's drawing using the pen device 13 According to the image data can be generated at a high speed, it can be matched with the virtual screen data generated using the first phase data and the second phase data. This may be displayed to a user wearing the HMD to provide image data according to the actual contact between the pen device 13 and the input unit 12 .
  • the image information management unit 35 of the system server converts at least one or more third phase data according to the contact between the pen device 13 and the input unit 12 received through the data transmission/reception unit 31 into image data, and the HMD It may further include the step of transmitting to.
  • the image data is displayed overlaid on the virtual screen created using the virtual screen data, so that the user can convey a sense of drawing an image to the actual input unit 12 .
  • FIG. 4 is an exemplary view showing a tablet 10 and a dedicated pen (pen device) having only a dedicated pen recognition pad portion that does not include a conventional display unit 22
  • FIG. 5 is a dedicated pen device on the display unit 22 .
  • It is an exemplary diagram illustrating the tablet 20 including the display unit 22 capable of pen recognition and a dedicated pen (Pen device).
  • the image input method using virtual reality according to the embodiment of the present invention may be provided so that an image according to the drawing can be checked in the area of the actual input unit 12 even in a tablet not provided with the display unit 22 .
  • the user may perform a drawing operation by touching the input unit 12 with the pen device 13 , but the input result is confirmed through a separate display device.
  • FIG. 5 when the user touches the input unit 22 with the pen device 13 to perform a drawing operation, there is a difference in that the input result can be checked through the display device. Even when used, a virtual input space may be displayed through the HMD.
  • FIG. 6 is a diagram illustrating an example of inputting image data to a tablet input device including a display unit 22 using a dedicated pen.
  • FIG. 7 is an exemplary diagram illustrating an actual use state and a virtual screen provided to a user when image data is generated using the image input system using virtual reality according to an embodiment of the present invention.
  • the screen data generator 33 may process the overlapping portion of the input unit 22 and the pen device 13 for actual drawing to be omitted, so that the user can focus on the drawing image being actually drawn.
  • the method may further include generating, by the screen data generating unit 33 , image data of the pen device 13 that is displayed in an area that overlaps or does not overlap the virtual screen generated using the virtual screen data.
  • the screen data generating unit 33 can check whether the spatial location of the pen device 13 and the virtual screen data overlap, and can be provided to check the direction in which the user is looking by using the phase data of the HMD in the space. can
  • the method may further include the step of the screen information management unit 34 transmitting the image data of the pen device 13 to the HMD through the data transmitting/receiving unit 31 .
  • the screen data generating unit 33 may generate the virtual screen data so that the image of the pen device 13 is overlapped or not overlapped with the virtual screen corresponding to the input unit 12 .
  • the screen data generating unit 33 may be provided to display an image corresponding to the shape of the user's hand holding the pen device 13 overlapping the pen device 13 .
  • FIG. 8 is an exemplary diagram of a virtual screen provided to a user when image data is generated using an image input system using virtual reality according to an embodiment of the present invention.
  • the corner regions of the input unit 12 that can be identified by f1, f2, f3, and f4 can be checked, and after touching one of the corresponding regions with the pen device 13, the input unit 12
  • the pendiby touches an arbitrary area of It is transmitted to the data generating unit 33 and the screen data generating unit 33 may generate virtual screen data using the pre-stored tablet standard and spatial phase data of the pen device 13 .
  • the screen data generating unit 33 may generate by converting the standard of the input unit 12 of the actual tablet into virtual screen data of a certain proportional area. You can greatly enlarge or reduce the virtual screen created according to the virtual screen data through the option buttons (eg, a1, a2, a3, a4) provided in the tablet or a separate input device (not shown) connected to the system server. By doing so, it is possible to generate a low-resolution image or a high-resolution image.
  • buttons eg, a1, a2, a3, a4
  • the present invention is not limited thereto, and the gesture data generated through a gesture according to movement of a certain area in space of the pen device 13 is transmitted to the system server to greatly enlarge the virtual screen generated according to the virtual screen data, or By reducing the size to a small size, it is possible to generate a low-resolution image or a high-resolution image.
  • the virtual screen data may include both image data input by the pen device 13 , an actual image of the tablet, an image of the pen device 13 , or a hand image of a user holding the pen device 13 .
  • the screen information management unit 34 may be provided to transmit the image or the like to the HMD according to a user's arbitrary selection.
  • FIG. 9 is a diagram illustrating a virtual screen in which an image of the pen device 13 is omitted when image data is generated using the image input system using virtual reality according to an embodiment of the present invention.
  • the overlapping area of the pen device 13 and the input unit 12 is displayed to be transparent to the user.
  • the screen data generating unit 33 when the screen data generating unit 33 generates image data of the pen device 13 that is displayed in an area that does not overlap the virtual screen, any of the virtual screens where the pen device 13 and the input unit 12 come into contact with each other
  • the method may further include generating arbitrary pen point image data displayed at a position corresponding to the second phase data.
  • the pen point image data may be expressed as a single point on a virtual screen. Furthermore, the pen point image data may be converted and provided so that a color, thickness, etc. may be arbitrarily displayed according to a change in an input option of a real user by the screen data generating unit 33 .
  • the image input system using virtual reality is an image input system using virtual reality for generating image data using virtual reality, wherein the image input system is capable of transmitting and receiving data in a wired or wireless communication method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상현실을 이용한 이미지데이터 생성방법을 개시한다. 본 발명에 따른 가상현실을 이용한 이미지데이터 생성방법은 시스템서버의 위상데이터관리부가 데이터송수신부를 통하여 태블릿으로부터 펜디바이스가 태블릿의 입력부의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 펜디바이스가 입력부 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 단계; 시스템서버의 화면데이터생성부가 제1 위상데이터와 제2 위상데이터를 사용하여 입력부에 매칭되는 가상화면데이터를 생성하는 단계; 시스템서버의 화면정보관리부가 데이터송수신부를 통하여 가상화면데이터를 HMD로 전송하는 단계;를 포함한다.

Description

가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
본 발명은 태블릿(tablet) 장치를 이용한 이미지입력시스템 및 데이터생성방법에 관한 것으로 보다 구체적으로 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터생성방법에 대한 것이다.
컴퓨터에 이미지데이터를 입력하기 위한 장치로는 키보드, 마우스, 태블릿 펜 등이 있고, 최근 종이에 그린 그림이 그대로 이미지데이터로 변환되어 입력될 수 있는 장치로까지 발전하여 왔다. 키보드, 마우스 등을 이용한 이미지데이터 입력방식은 손으로 직접 글을 적거나 그림을 그리는 방식에 비하여 자연스럽지 못하게 여겨진다. 특히, 이미지데이터 작성장치의 발전 방향은 펜을 손으로 잡고 그리는 방식을 그대로 모방하는 방향으로 진행되고 있는 것으로 보인다.
기존 드로잉 전용 태블릿장치는 전용펜을 이용하여 전용펜 인식 패드부분에 이미지를 그리면, 이미지데이터가 생성되어 컴퓨터의 화면으로 이미지데이터가 전송되는 방식의 이미지 입력장치에 해당한다. 이미지를 직접 그리는 방식인 점은 키보드 또는 마우스에 비하여 우수하지만, 이미지가 그려지는 패드부분과 이미지가 출력되는 컴퓨터화면이 공간적으로 분리되어 있으므로 인지부조화 현상이 발생한다.
이를 개선한 방식으로 이미지가 입력되는 공간과 출력되는 공간이 동일한 디스플레이부를 구비한 드로잉 태블릿이 개발되어 사용되고 있다. 와콤사(wacom社)의 신티크™와 같이 실제 디스플레이창에 그림을 그릴 수 있는 태블릿 제품을 예로 들 수 있다. 디스플레이부를 구비한 드로잉 태블릿은 인지 부조화를 가장 최소화할 수 있는 입력장치로 볼 수 있다.
한편, 가상현실제공과 관련한 HMD(Head Mounted Display)장치는 360°의 3차원 영상을 재생할 수 있는 단말 장치가 내부에 설치되는 형태로 마련된다. 사용자가 HMD 장치를 머리에 장착한 다음, 단말 장치를 구동시키면, 단말 장치의 화면에서 3차원 영상, 즉 가상현실 콘텐츠가 재생된다. HMD 장치는 자이로(Gyro) 센서 등 각종 센서가 구비되어 있고, 이러한 센서를 기초로 사용자의 움직임에 대응되는 3차원 영상을 제공한다. HMD장치는 가상의 공간을 사용자에게 제공함으로써 물리적 제약을 최소화할 수 있다.
본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템은 직관적인 이미지 편집이 가능한 가상의 이미지편집공간을 사용자에게 제공함으로써 작업능률을 향상하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 양상에 따른 가상현실을 이용한 이미지데이터 생성방법은 시스템서버의 위상데이터관리부가 데이터송수신부를 통하여 태블릿으로부터 펜디바이스가 태블릿의 입력부의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 펜디바이스가 입력부 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 단계; 시스템서버의 화면데이터생성부가 제1 위상데이터와 제2 위상데이터를 사용하여 입력부에 매칭되는 가상화면데이터를 생성하는 단계; 시스템서버의 화면정보관리부가 데이터송수신부를 통하여 가상화면데이터를 HMD로 전송하는 단계;를 포함한다.
또한, 화면데이터생성부가 가상화면데이터를 이용하여 생성된 가상화면과 중첩되거나 또는 가상화면과 중첩되지 않는 영역에 디스플레이 되는 펜디바이스이미지데이터를 생성하는 단계를 더 포함할 수 있다.
또한, 화면정보관리부가 데이터송수신부를 통해 펜디바이스이미지데이터를 HMD로 전송하는 단계;를 더 포함할 수 있다.
또한, 화면데이터생성부가 가상화면과 중첩되지 않는 영역에 디스플레이되는 펜디바이스이미지데이터를 생성하는 경우, 가상화면 중 펜디바이스와 입력부가 접촉하는 임의의 제2 위상데이터에 대응하는 위치에 디스플레이되는 임의의 펜포인트이미지데이터를 생성하는 단계;를 더 포함할 수 있다.
또한, 시스템서버의 이미지정보관리부가 데이터송수신부를 통해 수신한 펜디바이스와 입력부의 접촉에 따른 적어도 하나 이상의 제3 위상데이터를 이미지데이터로 변환하여 HMD로 전송하는 단계;를 더 포함할 수 있다.
본 발명의 다른 양상에 따른 가상현실을 이용한 이미지입력시스템은 가상현실을 이용한 이미지데이터를 생성하기 위한 가상현실을 이용한 이미지입력시스템에 있어서, 이미지입력시스템은, 유선 또는 무선통신 방식으로 데이터를 송수신할 수 있는 데이터송수신부; 데이터송수신부를 통하여 태블릿으로부터 펜디바이스가 태블릿의 입력부의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 펜디바이스가 입력부 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 위상데이터관리부; 제1 위상데이터와 제2 위상데이터를 사용하여 입력부에 매칭되는 가상화면데이터를 생성하는 화면데이터생성부; 데이터송수신부를 통하여 가상화면데이터를 HMD로 전송하는 화면정보관리부;를 포함한다.
본 발명의 또다른 양상에 따르면 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하기 위한 컴퓨터프로그램이 저장된 기록매체가 제공될 수 있다.
본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템은 직관적인 이미지 편집이 가능한 가상의 이미지편집공간을 사용자에게 제공함으로써 작업능률을 향상시킬 수 있다.
본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 가상현실을 이용한 이미지입력시스템을 예시한 것이다.
도 2는 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 이용한 이미지데이터 생성방법의 순서도이다.
도 3은 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템의 시스템블록도이다.
도 4는 종래 디스플레이부를 포함하지 않은 전용펜 인식 패드부분만을 구비한 태블릿입력장치와 전용펜을 도시한 예시도이다.
도 5는 디스플레이부 상에서의 전용펜 인식이 가능한 디스플레이부를 포함하는 태블릿입력장치와 전용펜을 도시한 예시도이다.
도 6은 디스플레이부를 포함하는 태블릿입력장치에 전용펜을 이용하여 이미지데이터를 입력하는 예시도를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 사용하여 이미지데이터를 생성하는 경우, 실제 사용상태와 사용자에게 제공되는 가상의 화면을 도시한 예시도이다.
도 8은 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 사용하여 이미지데이터를 생성시 사용자에게 제공되는 가상의 화면의 예시도이다.
도 9는 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 사용하여 이미지데이터를 생성시 펜디바이스의 이미지를 생략한 가상의 화면을 도시한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기증을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...유닛", "...부" 또는 "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
또한 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터, 스마트폰과 같은 모바일 기기, 온라인 게임 서비스 제공 서버 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 아래에서 설명할 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 장치에 이용 가능한 메모리 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조물을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되기 위한 프로세스를 생성하여 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 발명의 실시예에 있어서, 시스템 서버라고 함은 데스크탑 컴퓨터, 노트북 컴퓨터, 스마트폰, PDA, 휴대전화, 게임기 등 데이터를 수집, 판독, 처리, 가공, 저장, 표시할 수 있는 모든 계산 수단을 의미한다. 특히, 본 발명의 실시예에 있어서의 시스템 서버는 해독 가능한 코드로 작성된 소프트웨어를 실행시킬 수 있으며, 이를 사용자에게 표시하여 전달할 수 있는 기능을 갖는 장치이다. 또한, 필요에 따라서는 소프트웨어를 자체적으로 저장하기도 하고, 또는 외부로부터 데이터와 함께 읽어 들일 수도 있다.
또한, 본 발명의 실시예에 있어서의 단말기에는 위와 같은 데이터 처리 기능 뿐 아니라 입력, 출력, 저장 등의 기능이 포함되어 있으며, 이를 위하여 일반적인 컴퓨터 장치들이 갖는 CPU, 메인보드, 그래픽 카드, 하드디스크, 사운드 카드, 스피커, 키보드, 마우스, 모니터, USB, 통신 모뎀 등의 각종 요소들 뿐만 아니라 무선 스마트폰 단말기들이 갖는 CPU, 메인보드, 그래픽 칩, 메모리 칩, 사운드엔진, 스피커, 터치패드, USB 등의 외부 연결 단자, 통신 안테나, 3G, LTE, LTE-A, WiFi, 블루투스 등의 통신을 구현할 수 있는 통신 모뎀 등을 포함할 수 있다. 이러한 각종 요소들이 단독으로 또는 2 이상이 함께, 또는 각종 요소들의 일부분이 결합되어 하나 또는 그 이상의 기능을 구현할 수 있으며, 본 발명의 실시예에서 도면이나 상세한 설명에서 하나 또는 그 이상의 블록으로 표시된 장치 또는 그 일부분들은 위와 같은 시스템 서버에 포함되어 있는 각종 요소들이 단독으로 또는 2 이상이 함께, 또는 각종 요소들의 일부분이 결합되어 하나 또는 그 이상의 기능을 나타내는 것을 의미할 수 있다.
또한, 본 발명의 실시예에 있어서 HMD(head mounted display)는 머리 부분 탑재형 디스플레이)는 머리 부분에 장착해, 이용자의 눈 앞에 직접 영상을 제시할 수 있는 디스플레이 장치로써 오큘러스사(Oculus社)의 오큘러스리프트™, 오큘러스고™, 오큘러스퀘스트™ 등과 같은 전용 가상현실 디스플레이 장치 및/또는 스마트폰이 거치되어 사용자에게 가상현실을 제공하는 장치 등을 포함한다.
한편, 본 발명의 실시예에서 태블릿, 펜디바이스, HMD 등은 시스템 서버와 유선 또는 무선 방식의 통신 기능을 가질 수 있으며, 통신 기능을 구현하기 위하여 상호 데이터케이블, 유선 인터넷, 무선 인터넷, 적외선 통신, 블루투스, WCDMA, Wibro, WiFi, LTE, LTE-A, 유무선 전화망 등의 각종 네트워크 수단으로 데이터를 교환할 수 있다.
이하에서는 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법에 대하여 첨부한 도면을 참고하여 구체적으로 설명하기로 한다.
도 1은 본 발명의 가상현실을 이용한 이미지입력시스템을 예시한 것이다.
도 1을 참고하면 본 발명에 따른 가상현실을 이용한 이미지 입력시스템은 시스템서버(30), 펜디바이스(13), 태블릿(10) 및 HMD(40)를 통해 구현될 수 있다.
도 2는 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 이용한 이미지데이터 생성방법의 순서도이고, 도 3은 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템의 시스템블록도이다.
도 2를 참고하면, 시스템서버의 위상데이터관리부(32)가 데이터송수신부(31)를 통하여 태블릿으로부터 펜디바이스가 태블릿의 입력부(12)의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 펜디바이스가 입력부(12) 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 단계를 포함한다(S110).
펜디바이스는 정전식 또는 접촉식 입력을 위한 장치일 수 있으나, 이에 한정하지 않고 태블릿의 입력부(12)에 접촉 또는 근접하여 데이터의 입력이 가능한 것이라면 그 형태 또는 재질 등을 고려하지 않고 적용될 수 있다.
다만, 펜디바이스는 임의의 공간상에서 그 위치가 식별되어 사용자가 착용한 HMD에 디스플레이될 수 있도록 구비된 별도의 자이로센싱부, 정전용량센싱부 기타 공간상에서의 위치측정을 위한 구성을 포함할 수 있다. 또한 유선 또는 무선방식으로 펜디바이스의 공간상의 위상데이터를 태블릿으로 전송하거나 또는 시스템서버로 전송하기 위한 데이터전송부를 구비할 수 있다.
예를 들면, 펜디바이스가 상기 입력부(12)의 사각형 모양의 입력부(12)의 모서리 중 하나와 접촉하여 터치가 이루어지면 상기 펜디바이스가 공간상에 위치한 제1 위상데이터가 생성될 수 있다. 펜디바이스의 제1 위상데이터는 태블릿의 입력부(12)가 공간상에 위치한 위상데이터를 사용하여 생성될 수 있다.
이때, 입력부(12)는 지면과 평행하여 놓여진 경우를 가정할 수 있다. 입력부(12)의 네 모서리 중 하나를 터치하여 생성한 제1 위상데이터와 펜티바이스가 터치한 입력부(12)의 임의의 한 지점은 가로축(x), 세로축(y), 높이(z)의 세가지 좌표영역에서 높이의 부분이 공통되어 가로축(x), 세로축(y) 좌표만을 이용하여 실제 입력부(12)와 펜디바이스의 거리를 계산하고 이후의 펜디바이스(13)의 터치와 관련한 제3 위상데이터를 생성하는데 이용될 수 있다.
한편, 입력부(12)가 지면과 평행하지 않은 상태로 기울어진 경우라면 펜디바이스(13)와 터치가 이루어진 하나의 모서리는 입력부(12)의 공간상 기울어짐 정도를 측정하는데 이용될 수 있고, 이후의 펜디바이스(13)의 터치와 관련한 위상데이터를 생성하는데 이용될 수 있다.
다음으로, 시스템서버의 화면데이터생성부(33)가 제1 위상데이터와 제2 위상데이터를 사용하여 입력부(12)에 매칭되는 가상화면데이터를 생성하는 단계를 포함한다(S120).
입력부(12)의 규격데이터는 미리 정해진 상태로서 시스템서버의 화면데이터생성부(33)에 미리 저장되어 있을 수 있다. 이 경우, 제1 위상데이터와 제2 위상데이터는 미리 저장되어 있는 입력부(12)의 규격데이터를 이용하여 입력부(12)의 나머지 네 모서리와 제1 위상데이터에 따른 상기 펜디바이스(13)의 터칭위치의 좌표를 생성해 낼 수 있다.
다음으로, 시스템서버의 화면정보관리부(34)가 데이터송수신부(31)를 통하여 가상화면데이터를 HMD로 전송하는 단계를 포함한다(S130).
화면정보관리부(34)는 가상화면데이터를 HMD로 전송하여 입력부(12)에 대응하는 가상의 화면을 디스플레이하도록 구비될 수 있다.
HMD(40) 및 펜디바이스(13) 등은 공간상에서의 위상데이터를 생성하여 시스템서버의 위상데이터관리부(32)로 송신할 수 있는데, 사용자가 HMD를 착용하고 태블릿의 입력부(12) 방향을 응시하게 되면 실제 태블릿의 위치와 태블릿의 입력부(12)에 대응하는 동일한 위치에 가상화면데이터를 이용하여 생성된 가상의 화면이 디스플레이될 수 있다.
펜디바이스의 공간상의 위치정보를 이용할 수 있는 이외에, 태블릿의 입력부(12)와 펜디바이스의 접촉에 따라 생성된 이미지데이터가 위상데이터관리부(32)로 전송되므로 펜디바이스(13)를 이용한 사용자의 드로잉에 따른 이미지데이터가 빠른 속도로 생성될 수 있고, 이를 제1 위상데이터와 제2 위상데이터를 사용하여 생성한 가상화면데이터에 매칭할 수 있다. 이는 HMD를 착용한 사용자에게 디스플레이되어 실제 펜디바이스(13)와 입력부(12)의 접촉에 따른 이미지데이터를 제공할 수 있다.
이를 위하여 시스템서버의 이미지정보관리부(35)가 데이터송수신부(31)를 통해 수신한 펜디바이스(13)와 입력부(12)의 접촉에 따른 적어도 하나 이상의 제3 위상데이터를 이미지데이터로 변환하여 HMD로 전송하는 단계를 더 포함할 수 있다. 상기 이미지데이터는 가상화면데이터를 이용하여 생성된 가상화면에 중첩하여 표시됨으로써 사용자가 실제 입력부(12)에 이미지를 드로잉하는 듯한 감각을 전달할 수 있다.
도 4는 종래 디스플레이부(22)를 포함하지 않은 전용펜 인식 패드부분만을 구비한 태블릿(10)과 전용펜(펜디바이스)을 도시한 예시도이고, 도 5는 디스플레이부(22) 상에서의 전용펜 인식이 가능한 디스플레이부(22)를 포함하는 태블릿(20)과 전용펜(펜디바이스)을 도시한 예시도이다.
본 발명의 실시예에 따른 가상현실을 이용한 이미지입력방법은 디스플레이부(22)를 구비하지 않은 태블릿에 있어서도 실제 입력부(12)의 영역에서 드로잉에 따른 이미지를 확인할 수 있도록 구비될 수 있다.
도 4를 참고하면 사용자가 펜디바이스(13)로 입력부(12)를 터치하여 드로잉작업을 수행할 수 있으나, 입력결과는 별도의 디스플레이장치를 통해 확인하게 된다. 도 5의 경우 사용자가 펜디바이스(13)로 입력부(22)를 터치하여 드로잉작업을 수행하면 입력결과가 디스플레이장치를 통해 확인할 수 있는 차이점이 존재하지만, 도 4 또는 도 5에 따른 태블릿 중 어느 것을 사용하는 경우에도 HMD를 통하여 가상의 입력공간이 디스플레이될 수 있다.
도 6은 디스플레이부(22)를 포함하는 태블릿입력장치에 전용펜을 이용하여 이미지데이터를 입력하는 예시도를 도시한 것이다. 펜디바이스(13)의 공간상의 위치가 사용자의 HMD를 통해 디스플레이되도록 함으로써 실제 펜을 사용하는 듯한 공간감과 위치감각 등을 제공할 수 있다.
한편, 도 7은 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 사용하여 이미지데이터를 생성하는 경우, 실제 사용상태와 사용자에게 제공되는 가상의 화면을 도시한 예시도이다. 화면데이터생성부(33)는 실제 드로잉을 위한 입력부(22)와 펜디바이스(13)가 중첩되는 부분이 생략되도록 처리할 수 있고, 이를 통해 사용자는 실제 그려지고 있는 드로잉 이미지에 집중할 수 있다.
화면데이터생성부(33)가 가상화면데이터를 이용하여 생성된 가상화면과 중첩되거나 또는 가상화면과 중첩되지 않는 영역에 디스플레이 되는 펜디바이스(13)이미지데이터를 생성하는 단계를 더 포함할 수 있다.
화면데이터생성부(33)는 펜디바이스(13)의 공간상의 위치와 가상화면데이터가 중첩하는지 여부를 확인할 수 있고, 공간상에서의 HMD의 위상데이터를 이용하여 사용자가 바라보는 방향을 확인하도록 구비될 수 있다.
또한, 화면정보관리부(34)가 데이터송수신부(31)를 통해 펜디바이스(13)이미지데이터를 HMD로 전송하는 단계를 더 포함할 수 있다. 이 단계의 포함 또는 불포함을 통하여 화면데이터생성부(33)는 펜디바이스(13)의 이미지를 입력부(12)와 대응하는 가상의 화면에 중첩하거나 또는 중첩되지 않도록 가상화면데이터를 생성할 수 있다.
도 7을 참고하면, 실제(actual)로 사용자가 펜디바이스(13)를 파지하고 있다고 가정할 경우, HMD를 착용하고 펜디바이스(13)와 입력부(12)를 바라보도록 한 경우, 사용자의 HMD상에 표시된 가상화면데이터에는 중첩되는 펜디바이스(13)의 영역이 생략된 상태로 도시되어 있음을 확인할 수 있다.
더 나아가 화면데이터생성부(33)는 상기 펜디바이스(13)를 파지한 사용자의 손의 모양과 대응되는 이미지를 펜디바이스(13)와 중첩하여 표시하도록 구비될 수 있다.
도 8은 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 사용하여 이미지데이터를 생성시 사용자에게 제공되는 가상의 화면의 예시도이다. 도 8을 참고하면, f1, f2, f3 및 f4로 확인할 수 있는 입력부(12)의 모서리 영역을 확인할 수 있고, 해당 영역중 하나의 영역을 펜디바이스(13)로 터치한 후, 입력부(12)의 임의의 영역에 펜디바이가 터칭되는 경우 각각의 터치에 따른 제1 위상데이터 및 제2 위상데이터가 시스템서버의 위상데이터관리부(32)로 송신되고 이를 수신한 위상데이터관리부(32)는 이를 화면데이터생성부(33)에 전송하고 화면데이터생성부(33)는 미리 저장된 태블릿의 규격과 펜디바이스(13)의 공간상의 위상데이터를 이용하여 가상화면데이터를 생성할 수 있다.
아울러, 화면데이터생성부(33)는 실제 태블릿의 입력부(12) 규격을 일정한 비례면적의 가상화면데이터로 변환하여 생성할 수 있다. 태블릿에 구비된 옵션버튼(예: a1, a2, a3, a4) 또는 시스템서버에 연결된 별도의 입력장치(미도시) 등을 통하여 가상화면데이터에 따라 생성되는 가상화면을 크게 확대하거나 또는 작게 축소할 수 있도록 함으로써 낮은 해상도의 이미지 또는 높은 해상도의 이미지를 생성하도록 할 수 있다.
다만, 이에 한정하는 것은 아니고, 펜디바이스(13)의 공간상에서의 일정영역 이동에 따른 제스처 등을 통해 생성된 제스처데이터를 시스템서버로 송신하여 가상화면데이터에 따라 생성되는 가상화면을 크게 확대하거나 또는 작게 축소할 수 있도록 함으로써 낮은 해상도의 이미지 또는 높은 해상도의 이미지를 생성하도록 할 수 있다.
다음으로, 가상화면데이터는 펜디바이스(13)에 의하여 입력된 이미지데이터와 태블릿의 실제 이미지, 펜디바이스(13)의 이미지 또는 펜디바이스(13)를 파지한 사용자의 손이미지를 모두 포함할 수 있다. 화면정보관리부(34)는 상기 이미지 등을 사용자의 임의 선택에 따라 HMD로 전송하도록 구비될 수 있다.
도 9는 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 사용하여 이미지데이터를 생성시 펜디바이스(13)의 이미지를 생략한 가상의 화면을 도시한 도면이다.
도 9를 참고하면, 펜디바이스(13)가 입력부(12)로 (a)에서 (b) 위치로 이동할 경우, 펜디바이스(13)와 입력부(12)의 중첩영역이 사용자에게 투명한 것으로 보이도록 표현될 수 있다.
또한, 화면데이터생성부(33)가 가상화면과 중첩되지 않는 영역에 디스플레이되는 펜디바이스(13)이미지데이터를 생성하는 경우, 가상화면 중 펜디바이스(13)와 입력부(12)가 접촉하는 임의의 제2 위상데이터에 대응하는 위치에 디스플레이되는 임의의 펜포인트이미지데이터를 생성하는 단계를 더 포함할 수 있다.
상기 펜포인트이미지데이터는 가상의 화면에서 하나의 점으로 표현될 수 있다. 더 나아가 펜포인트이미지데이터는 화면데이터생성부(33)에 의하여 실자 사용자의 입력 옵션의 변경에 따라 색상, 두께 등이 임의선택적으로 표시되도록 변환되어 제공될 수 있다.
본 발명의 다른 실시예에 가상현실을 이용한 이미지입력시스템은 가상현실을 이용한 이미지데이터를 생성하기 위한 가상현실을 이용한 이미지입력시스템에 있어서, 이미지입력시스템은, 유선 또는 무선통신 방식으로 데이터를 송수신할 수 있는 데이터송수신부(31), 데이터송수신부(31)를 통하여 태블릿으로부터 펜디바이스(13)가 태블릿의 입력부(12)의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 펜디바이스(13)가 입력부(12) 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 위상데이터관리부(32), 제1 위상데이터와 제2 위상데이터를 사용하여 입력부(12)에 매칭되는 가상화면데이터를 생성하는 화면데이터생성부(33), 데이터송수신부(31)를 통하여 가상화면데이터를 HMD로 전송하는 화면정보관리부(34)를 포함한다.
본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (7)

  1. 시스템서버의 위상데이터관리부가 상기 시스템서버의 데이터송수신부를 통하여 태블릿으로부터 펜디바이스가 상기 태블릿의 입력부의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 상기 펜디바이스가 상기 입력부 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 단계;
    상기 시스템서버의 화면데이터생성부가 상기 제1 위상데이터와 상기 제2 위상데이터를 사용하여 상기 입력부에 매칭되는 가상화면데이터를 생성하는 단계;
    상기 시스템서버의 화면정보관리부가 상기 데이터송수신부를 통하여 상기 가상화면데이터를 HMD로 전송하는 단계;를 포함하는 것을 특징으로 하는 가상현실을 이용한 이미지데이터 생성방법.
  2. 제1항에 있어서,
    상기 화면데이터생성부가 상기 가상화면데이터를 이용하여 생성된 가상화면과 중첩되거나 또는 상기 가상화면과 중첩되지 않는 영역에 디스플레이 되는 펜디바이스이미지데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 가상현실을 이용한 이미지데이터 생성방법.
  3. 제2항에 있어서,
    상기 화면정보관리부가 상기 데이터송수신부를 통해 상기 펜디바이스이미지데이터를 HMD로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 가상현실을 이용한 이미지데이터 생성방법.
  4. 제2항에 있어서,
    상기 화면데이터생성부가 상기 가상화면과 중첩되지 않는 영역에 디스플레이되는 펜디바이스이미지데이터를 생성하는 경우, 상기 가상화면 중 상기 펜디바이스와 상기 입력부가 접촉하는 임의의 제2 위상데이터에 대응하는 위치에 디스플레이되는 임의의 펜포인트이미지데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 가상현실을 이용한 이미지데이터 생성방법.
  5. 제1항에 있어서,
    상기 시스템서버의 이미지정보관리부가 상기 데이터송수신부를 통해 수신한 상기 펜디바이스와 상기 입력부의 접촉에 따른 적어도 하나 이상의 제3 위상데이터를 이미지데이터로 변환하여 상기 HMD로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 가상현실을 이용한 이미지데이터 생성방법.
  6. 가상현실을 이용한 이미지데이터를 생성하기 위한 가상현실을 이용한 이미지입력시스템에 있어서, 상기 이미지입력시스템은,
    유선 또는 무선통신 방식으로 데이터를 송수신할 수 있는 데이터송수신부;
    상기 데이터송수신부를 통하여 태블릿으로부터 펜디바이스가 상기 태블릿의 입력부의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 상기 펜디바이스가 상기 입력부 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 위상데이터관리부;
    상기 제1 위상데이터와 상기 제2 위상데이터를 사용하여 상기 입력부에 매칭되는 가상화면데이터를 생성하는 화면데이터생성부;
    상기 데이터송수신부를 통하여 상기 가상화면데이터를 HMD로 전송하는 화면정보관리부;를 포함하는 것을 특징으로 하는 가상현실을 이용한 이미지입력시스템.
  7. 제1항 내지 제5항 중 어느 한 항에 따른 방법을 수행하기 위한 컴퓨터프로그램이 저장된 기록매체.
PCT/KR2021/000970 2020-01-31 2021-01-25 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법 WO2021153961A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200011918A KR102288431B1 (ko) 2020-01-31 2020-01-31 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
KR10-2020-0011918 2020-01-31

Publications (1)

Publication Number Publication Date
WO2021153961A1 true WO2021153961A1 (ko) 2021-08-05

Family

ID=77079557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/000970 WO2021153961A1 (ko) 2020-01-31 2021-01-25 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법

Country Status (2)

Country Link
KR (1) KR102288431B1 (ko)
WO (1) WO2021153961A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029740A1 (ko) * 2022-08-01 2024-02-08 삼성전자주식회사 입력 장치를 이용하여 드로잉 데이터를 출력하는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
JP2011180867A (ja) * 2010-03-02 2011-09-15 Brother Industries Ltd ヘッドマウントディスプレイ
JP2016224595A (ja) * 2015-05-28 2016-12-28 株式会社コロプラ システム、方法、およびプログラム
KR20180010845A (ko) * 2016-07-22 2018-01-31 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
JP2018174003A (ja) * 2018-08-16 2018-11-08 セイコーエプソン株式会社 表示装置、表示システム、表示装置の制御方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
JP2011180867A (ja) * 2010-03-02 2011-09-15 Brother Industries Ltd ヘッドマウントディスプレイ
JP2016224595A (ja) * 2015-05-28 2016-12-28 株式会社コロプラ システム、方法、およびプログラム
KR20180010845A (ko) * 2016-07-22 2018-01-31 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
JP2018174003A (ja) * 2018-08-16 2018-11-08 セイコーエプソン株式会社 表示装置、表示システム、表示装置の制御方法、及び、プログラム

Also Published As

Publication number Publication date
KR102288431B1 (ko) 2021-08-10

Similar Documents

Publication Publication Date Title
CN110737374B (zh) 操作方法及电子设备
WO2014129828A1 (en) Method for providing a feedback in response to a user input and a terminal implementing the same
WO2021083132A1 (zh) 图标移动方法及电子设备
WO2014129862A1 (en) Method for controlling display of multiple objects depending on input related to operation of mobile terminal, and mobile terminal therefor
CA2425746A1 (en) Collaborative input system
WO2012077922A2 (en) 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
WO2014107005A1 (en) Mouse function provision method and terminal implementing the same
WO2021031843A1 (zh) 对象位置调整方法及电子设备
EP4024186A1 (en) Screenshot method and terminal device
KR20090016521A (ko) 디바이스 및 시스템
CN104205857A (zh) 信息处理设备、信息处理方法和程序
US20130181898A1 (en) System and method for synchronized operation of touch device
CN109614061A (zh) 显示方法及终端
WO2013085333A1 (en) Method and apparatus for providing three-dimensional user interface in an electronic device
WO2021057301A1 (zh) 文件控制方法及电子设备
CN109828850A (zh) 一种信息显示方法及终端设备
WO2020215982A1 (zh) 桌面图标管理方法及终端设备
WO2020220893A1 (zh) 截图方法及移动终端
WO2015030460A1 (en) Method, apparatus, and recording medium for interworking with external terminal
WO2021208890A1 (zh) 截屏方法及电子设备
WO2020125405A1 (zh) 终端设备的控制方法及终端设备
CN110166586A (zh) 一种内容显示方法及终端设备
WO2021153961A1 (ko) 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
CN111090529A (zh) 共享信息的方法及电子设备
WO2021197264A1 (zh) 界面显示方法及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21747653

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21747653

Country of ref document: EP

Kind code of ref document: A1