KR102288431B1 - 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법 - Google Patents

가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법 Download PDF

Info

Publication number
KR102288431B1
KR102288431B1 KR1020200011918A KR20200011918A KR102288431B1 KR 102288431 B1 KR102288431 B1 KR 102288431B1 KR 1020200011918 A KR1020200011918 A KR 1020200011918A KR 20200011918 A KR20200011918 A KR 20200011918A KR 102288431 B1 KR102288431 B1 KR 102288431B1
Authority
KR
South Korea
Prior art keywords
data
unit
image
screen
pen device
Prior art date
Application number
KR1020200011918A
Other languages
English (en)
Inventor
양병석
Original Assignee
주식회사 빌리버
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 빌리버 filed Critical 주식회사 빌리버
Priority to KR1020200011918A priority Critical patent/KR102288431B1/ko
Priority to PCT/KR2021/000970 priority patent/WO2021153961A1/ko
Application granted granted Critical
Publication of KR102288431B1 publication Critical patent/KR102288431B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상현실을 이용한 이미지데이터 생성방법을 개시한다. 본 발명에 따른 가상현실을 이용한 이미지데이터 생성방법은 시스템서버의 위상데이터관리부가 데이터송수신부를 통하여 태블릿으로부터 펜디바이스가 태블릿의 입력부의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 펜디바이스가 입력부 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 단계; 시스템서버의 화면데이터생성부가 제1 위상데이터와 제2 위상데이터를 사용하여 입력부에 매칭되는 가상화면데이터를 생성하는 단계; 시스템서버의 화면정보관리부가 데이터송수신부를 통하여 가상화면데이터를 HMD로 전송하는 단계;를 포함한다.

Description

가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법{IMAGEDATA INPUT SYSTEM USING VIRTUAL REALITY DEVICE AND METHOD OF GENERATING IMAGEDATA THEREOF}
본 발명은 태블릿(tablet) 장치를 이용한 이미지입력시스템 및 데이터생성방법에 관한 것으로 보다 구체적으로 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터생성방법에 대한 것이다.
컴퓨터에 이미지데이터를 입력하기 위한 장치로는 키보드, 마우스, 태블릿 펜 등이 있고, 최근 종이에 그린 그림이 그대로 이미지데이터로 변환되어 입력될 수 있는 장치로까지 발전하여 왔다. 키보드, 마우스 등을 이용한 이미지데이터 입력방식은 손으로 직접 글을 적거나 그림을 그리는 방식에 비하여 자연스럽지 못하게 여겨진다. 특히, 이미지데이터 작성장치의 발전 방향은 펜을 손으로 잡고 그리는 방식을 그대로 모방하는 방향으로 진행되고 있는 것으로 보인다.
기존 드로잉 전용 태블릿장치는 전용펜을 이용하여 전용펜 인식 패드부분에 이미지를 그리면, 이미지데이터가 생성되어 컴퓨터의 화면으로 이미지데이터가 전송되는 방식의 이미지 입력장치에 해당한다. 이미지를 직접 그리는 방식인 점은 키보드 또는 마우스에 비하여 우수하지만, 이미지가 그려지는 패드부분과 이미지가 출력되는 컴퓨터화면이 공간적으로 분리되어 있으므로 인지부조화 현상이 발생한다.
이를 개선한 방식으로 이미지가 입력되는 공간과 출력되는 공간이 동일한 디스플레이부를 구비한 드로잉 태블릿이 개발되어 사용되고 있다. 와콤사(wacom社)의 신티크™와 같이 실제 디스플레이창에 그림을 그릴 수 있는 태블릿 제품을 예로 들 수 있다. 디스플레이부를 구비한 드로잉 태블릿은 인지 부조화를 가장 최소화할 수 있는 입력장치로 볼 수 있다.
한편, 가상현실제공과 관련한 HMD(Head Mounted Display)장치는 360°의 3차원 영상을 재생할 수 있는 단말 장치가 내부에 설치되는 형태로 마련된다. 사용자가 HMD 장치를 머리에 장착한 다음, 단말 장치를 구동시키면, 단말 장치의 화면에서 3차원 영상, 즉 가상현실 콘텐츠가 재생된다. HMD 장치는 자이로(Gyro) 센서 등 각종 센서가 구비되어 있고, 이러한 센서를 기초로 사용자의 움직임에 대응되는 3차원 영상을 제공한다. HMD장치는 가상의 공간을 사용자에게 제공함으로써 물리적 제약을 최소화할 수 있다.
본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템은 직관적인 이미지 편집이 가능한 가상의 이미지편집공간을 사용자에게 제공함으로써 작업능률을 향상하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 양상에 따른 가상현실을 이용한 이미지데이터 생성방법은 시스템서버의 위상데이터관리부가 데이터송수신부를 통하여 태블릿으로부터 펜디바이스가 태블릿의 입력부의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 펜디바이스가 입력부 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 단계; 시스템서버의 화면데이터생성부가 제1 위상데이터와 제2 위상데이터를 사용하여 입력부에 매칭되는 가상화면데이터를 생성하는 단계; 시스템서버의 화면정보관리부가 데이터송수신부를 통하여 가상화면데이터를 HMD로 전송하는 단계;를 포함한다.
또한, 화면데이터생성부가 가상화면데이터를 이용하여 생성된 가상화면과 중첩되거나 또는 가상화면과 중첩되지 않는 영역에 디스플레이 되는 펜디바이스이미지데이터를 생성하는 단계를 더 포함할 수 있다.
또한, 화면정보관리부가 데이터송수신부를 통해 펜디바이스이미지데이터를 HMD로 전송하는 단계;를 더 포함할 수 있다.
또한, 화면데이터생성부가 가상화면과 중첩되지 않는 영역에 디스플레이되는 펜디바이스이미지데이터를 생성하는 경우, 가상화면 중 펜디바이스와 입력부가 접촉하는 임의의 제2 위상데이터에 대응하는 위치에 디스플레이되는 임의의 펜포인트이미지데이터를 생성하는 단계;를 더 포함할 수 있다.
또한, 시스템서버의 이미지정보관리부가 데이터송수신부를 통해 수신한 펜디바이스와 입력부의 접촉에 따른 적어도 하나 이상의 제3 위상데이터를 이미지데이터로 변환하여 HMD로 전송하는 단계;를 더 포함할 수 있다.
본 발명의 다른 양상에 따른 가상현실을 이용한 이미지입력시스템은 가상현실을 이용한 이미지데이터를 생성하기 위한 가상현실을 이용한 이미지입력시스템에 있어서, 이미지입력시스템은, 유선 또는 무선통신 방식으로 데이터를 송수신할 수 있는 데이터송수신부; 데이터송수신부를 통하여 태블릿으로부터 펜디바이스가 태블릿의 입력부의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 펜디바이스가 입력부 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 위상데이터관리부; 제1 위상데이터와 제2 위상데이터를 사용하여 입력부에 매칭되는 가상화면데이터를 생성하는 화면데이터생성부; 데이터송수신부를 통하여 가상화면데이터를 HMD로 전송하는 화면정보관리부;를 포함한다.
본 발명의 또다른 양상에 따르면 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하기 위한 컴퓨터프로그램이 저장된 기록매체가 제공될 수 있다.
본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템은 직관적인 이미지 편집이 가능한 가상의 이미지편집공간을 사용자에게 제공함으로써 작업능률을 향상시킬 수 있다.
본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 가상현실을 이용한 이미지입력시스템을 예시한 것이다.
도 2는 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 이용한 이미지데이터 생성방법의 순서도이다.
도 3은 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템의 시스템블록도이다.
도 4는 종래 디스플레이부를 포함하지 않은 전용펜 인식 패드부분만을 구비한 태블릿입력장치와 전용펜을 도시한 예시도이다.
도 5는 디스플레이부 상에서의 전용펜 인식이 가능한 디스플레이부를 포함하는 태블릿입력장치와 전용펜을 도시한 예시도이다.
도 6은 디스플레이부를 포함하는 태블릿입력장치에 전용펜을 이용하여 이미지데이터를 입력하는 예시도를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 사용하여 이미지데이터를 생성하는 경우, 실제 사용상태와 사용자에게 제공되는 가상의 화면을 도시한 예시도이다.
도 8은 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 사용하여 이미지데이터를 생성시 사용자에게 제공되는 가상의 화면의 예시도이다.
도 9는 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 사용하여 이미지데이터를 생성시 펜디바이스의 이미지를 생략한 가상의 화면을 도시한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기증을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...유닛", "...부" 또는 "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
또한 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터, 스마트폰과 같은 모바일 기기, 온라인 게임 서비스 제공 서버 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 아래에서 설명할 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 장치에 이용 가능한 메모리 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조물을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되기 위한 프로세스를 생성하여 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 발명의 실시예에 있어서, 시스템 서버라고 함은 데스크탑 컴퓨터, 노트북 컴퓨터, 스마트폰, PDA, 휴대전화, 게임기 등 데이터를 수집, 판독, 처리, 가공, 저장, 표시할 수 있는 모든 계산 수단을 의미한다. 특히, 본 발명의 실시예에 있어서의 시스템 서버는 해독 가능한 코드로 작성된 소프트웨어를 실행시킬 수 있으며, 이를 사용자에게 표시하여 전달할 수 있는 기능을 갖는 장치이다. 또한, 필요에 따라서는 소프트웨어를 자체적으로 저장하기도 하고, 또는 외부로부터 데이터와 함께 읽어 들일 수도 있다.
또한, 본 발명의 실시예에 있어서의 단말기에는 위와 같은 데이터 처리 기능 뿐 아니라 입력, 출력, 저장 등의 기능이 포함되어 있으며, 이를 위하여 일반적인 컴퓨터 장치들이 갖는 CPU, 메인보드, 그래픽 카드, 하드디스크, 사운드 카드, 스피커, 키보드, 마우스, 모니터, USB, 통신 모뎀 등의 각종 요소들 뿐만 아니라 무선 스마트폰 단말기들이 갖는 CPU, 메인보드, 그래픽 칩, 메모리 칩, 사운드엔진, 스피커, 터치패드, USB 등의 외부 연결 단자, 통신 안테나, 3G, LTE, LTE-A, WiFi, 블루투스 등의 통신을 구현할 수 있는 통신 모뎀 등을 포함할 수 있다. 이러한 각종 요소들이 단독으로 또는 2 이상이 함께, 또는 각종 요소들의 일부분이 결합되어 하나 또는 그 이상의 기능을 구현할 수 있으며, 본 발명의 실시예에서 도면이나 상세한 설명에서 하나 또는 그 이상의 블록으로 표시된 장치 또는 그 일부분들은 위와 같은 시스템 서버에 포함되어 있는 각종 요소들이 단독으로 또는 2 이상이 함께, 또는 각종 요소들의 일부분이 결합되어 하나 또는 그 이상의 기능을 나타내는 것을 의미할 수 있다.
또한, 본 발명의 실시예에 있어서 HMD(head mounted display)는 머리 부분 탑재형 디스플레이)는 머리 부분에 장착해, 이용자의 눈 앞에 직접 영상을 제시할 수 있는 디스플레이 장치로써 오큘러스사(Oculus社)의 오큘러스리프트™, 오큘러스고™, 오큘러스퀘스트™ 등과 같은 전용 가상현실 디스플레이 장치 및/또는 스마트폰이 거치되어 사용자에게 가상현실을 제공하는 장치 등을 포함한다.
한편, 본 발명의 실시예에서 태블릿, 펜디바이스, HMD 등은 시스템 서버와 유선 또는 무선 방식의 통신 기능을 가질 수 있으며, 통신 기능을 구현하기 위하여 상호 데이터케이블, 유선 인터넷, 무선 인터넷, 적외선 통신, 블루투스, WCDMA, Wibro, WiFi, LTE, LTE-A, 유무선 전화망 등의 각종 네트워크 수단으로 데이터를 교환할 수 있다.
이하에서는 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법에 대하여 첨부한 도면을 참고하여 구체적으로 설명하기로 한다.
도 1은 본 발명의 가상현실을 이용한 이미지입력시스템을 예시한 것이다.
도 1을 참고하면 본 발명에 따른 가상현실을 이용한 이미지 입력시스템은 시스템서버(30), 펜디바이스(13), 태블릿(10) 및 HMD(40)를 통해 구현될 수 있다.
도 2는 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 이용한 이미지데이터 생성방법의 순서도이고, 도 3은 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템의 시스템블록도이다.
도 2를 참고하면, 시스템서버의 위상데이터관리부(32)가 데이터송수신부(31)를 통하여 태블릿으로부터 펜디바이스가 태블릿의 입력부(12)의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 펜디바이스가 입력부(12) 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 단계를 포함한다(S110).
펜디바이스는 정전식 또는 접촉식 입력을 위한 장치일 수 있으나, 이에 한정하지 않고 태블릿의 입력부(12)에 접촉 또는 근접하여 데이터의 입력이 가능한 것이라면 그 형태 또는 재질 등을 고려하지 않고 적용될 수 있다.
다만, 펜디바이스는 임의의 공간상에서 그 위치가 식별되어 사용자가 착용한 HMD에 디스플레이될 수 있도록 구비된 별도의 자이로센싱부, 정전용량센싱부 기타 공간상에서의 위치측정을 위한 구성을 포함할 수 있다. 또한 유선 또는 무선방식으로 펜디바이스의 공간상의 위상데이터를 태블릿으로 전송하거나 또는 시스템서버로 전송하기 위한 데이터전송부를 구비할 수 있다.
예를 들면, 펜디바이스가 상기 입력부(12)의 사각형 모양의 입력부(12)의 모서리 중 하나와 접촉하여 터치가 이루어지면 상기 펜디바이스가 공간상에 위치한 제1 위상데이터가 생성될 수 있다. 펜디바이스의 제1 위상데이터는 태블릿의 입력부(12)가 공간상에 위치한 위상데이터를 사용하여 생성될 수 있다.
이때, 입력부(12)는 지면과 평행하여 놓여진 경우를 가정할 수 있다. 입력부(12)의 네 모서리 중 하나를 터치하여 생성한 제1 위상데이터와 펜티바이스가 터치한 입력부(12)의 임의의 한 지점은 가로축(x), 세로축(y), 높이(z)의 세가지 좌표영역에서 높이의 부분이 공통되어 가로축(x), 세로축(y) 좌표만을 이용하여 실제 입력부(12)와 펜디바이스의 거리를 계산하고 이후의 펜디바이스(13)의 터치와 관련한 제3 위상데이터를 생성하는데 이용될 수 있다.
한편, 입력부(12)가 지면과 평행하지 않은 상태로 기울어진 경우라면 펜디바이스(13)와 터치가 이루어진 하나의 모서리는 입력부(12)의 공간상 기울어짐 정도를 측정하는데 이용될 수 있고, 이후의 펜디바이스(13)의 터치와 관련한 위상데이터를 생성하는데 이용될 수 있다.
다음으로, 시스템서버의 화면데이터생성부(33)가 제1 위상데이터와 제2 위상데이터를 사용하여 입력부(12)에 매칭되는 가상화면데이터를 생성하는 단계를 포함한다(S120).
입력부(12)의 규격데이터는 미리 정해진 상태로서 시스템서버의 화면데이터생성부(33)에 미리 저장되어 있을 수 있다. 이 경우, 제1 위상데이터와 제2 위상데이터는 미리 저장되어 있는 입력부(12)의 규격데이터를 이용하여 입력부(12)의 나머지 네 모서리와 제1 위상데이터에 따른 상기 펜디바이스(13)의 터칭위치의 좌표를 생성해 낼 수 있다.
다음으로, 시스템서버의 화면정보관리부(34)가 데이터송수신부(31)를 통하여 가상화면데이터를 HMD로 전송하는 단계를 포함한다(S130).
화면정보관리부(34)는 가상화면데이터를 HMD로 전송하여 입력부(12)에 대응하는 가상의 화면을 디스플레이하도록 구비될 수 있다.
HMD(40) 및 펜디바이스(13) 등은 공간상에서의 위상데이터를 생성하여 시스템서버의 위상데이터관리부(32)로 송신할 수 있는데, 사용자가 HMD를 착용하고 태블릿의 입력부(12) 방향을 응시하게 되면 실제 태블릿의 위치와 태블릿의 입력부(12)에 대응하는 동일한 위치에 가상화면데이터를 이용하여 생성된 가상의 화면이 디스플레이될 수 있다.
펜디바이스의 공간상의 위치정보를 이용할 수 있는 이외에, 태블릿의 입력부(12)와 펜디바이스의 접촉에 따라 생성된 이미지데이터가 위상데이터관리부(32)로 전송되므로 펜디바이스(13)를 이용한 사용자의 드로잉에 따른 이미지데이터가 빠른 속도로 생성될 수 있고, 이를 제1 위상데이터와 제2 위상데이터를 사용하여 생성한 가상화면데이터에 매칭할 수 있다. 이는 HMD를 착용한 사용자에게 디스플레이되어 실제 펜디바이스(13)와 입력부(12)의 접촉에 따른 이미지데이터를 제공할 수 있다.
이를 위하여 시스템서버의 이미지정보관리부(35)가 데이터송수신부(31)를 통해 수신한 펜디바이스(13)와 입력부(12)의 접촉에 따른 적어도 하나 이상의 제3 위상데이터를 이미지데이터로 변환하여 HMD로 전송하는 단계를 더 포함할 수 있다. 상기 이미지데이터는 가상화면데이터를 이용하여 생성된 가상화면에 중첩하여 표시됨으로써 사용자가 실제 입력부(12)에 이미지를 드로잉하는 듯한 감각을 전달할 수 있다.
도 4는 종래 디스플레이부(22)를 포함하지 않은 전용펜 인식 패드부분만을 구비한 태블릿(10)과 전용펜(펜디바이스)을 도시한 예시도이고, 도 5는 디스플레이부(22) 상에서의 전용펜 인식이 가능한 디스플레이부(22)를 포함하는 태블릿(20)과 전용펜(펜디바이스)을 도시한 예시도이다.
본 발명의 실시예에 따른 가상현실을 이용한 이미지입력방법은 디스플레이부(22)를 구비하지 않은 태블릿에 있어서도 실제 입력부(12)의 영역에서 드로잉에 따른 이미지를 확인할 수 있도록 구비될 수 있다.
도 4를 참고하면 사용자가 펜디바이스(13)로 입력부(12)를 터치하여 드로잉작업을 수행할 수 있으나, 입력결과는 별도의 디스플레이장치를 통해 확인하게 된다. 도 5의 경우 사용자가 펜디바이스(13)로 입력부(22)를 터치하여 드로잉작업을 수행하면 입력결과가 디스플레이장치를 통해 확인할 수 있는 차이점이 존재하지만, 도 4 또는 도 5에 따른 태블릿 중 어느 것을 사용하는 경우에도 HMD를 통하여 가상의 입력공간이 디스플레이될 수 있다.
도 6은 디스플레이부(22)를 포함하는 태블릿입력장치에 전용펜을 이용하여 이미지데이터를 입력하는 예시도를 도시한 것이다. 펜디바이스(13)의 공간상의 위치가 사용자의 HMD를 통해 디스플레이되도록 함으로써 실제 펜을 사용하는 듯한 공간감과 위치감각 등을 제공할 수 있다.
한편, 도 7은 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 사용하여 이미지데이터를 생성하는 경우, 실제 사용상태와 사용자에게 제공되는 가상의 화면을 도시한 예시도이다. 화면데이터생성부(33)는 실제 드로잉을 위한 입력부(22)와 펜디바이스(13)가 중첩되는 부분이 생략되도록 처리할 수 있고, 이를 통해 사용자는 실제 그려지고 있는 드로잉 이미지에 집중할 수 있다.
화면데이터생성부(33)가 가상화면데이터를 이용하여 생성된 가상화면과 중첩되거나 또는 가상화면과 중첩되지 않는 영역에 디스플레이 되는 펜디바이스(13)이미지데이터를 생성하는 단계를 더 포함할 수 있다.
화면데이터생성부(33)는 펜디바이스(13)의 공간상의 위치와 가상화면데이터가 중첩하는지 여부를 확인할 수 있고, 공간상에서의 HMD의 위상데이터를 이용하여 사용자가 바라보는 방향을 확인하도록 구비될 수 있다.
또한, 화면정보관리부(34)가 데이터송수신부(31)를 통해 펜디바이스(13)이미지데이터를 HMD로 전송하는 단계를 더 포함할 수 있다. 이 단계의 포함 또는 불포함을 통하여 화면데이터생성부(33)는 펜디바이스(13)의 이미지를 입력부(12)와 대응하는 가상의 화면에 중첩하거나 또는 중첩되지 않도록 가상화면데이터를 생성할 수 있다.
도 7을 참고하면, 실제(actual)로 사용자가 펜디바이스(13)를 파지하고 있다고 가정할 경우, HMD를 착용하고 펜디바이스(13)와 입력부(12)를 바라보도록 한 경우, 사용자의 HMD상에 표시된 가상화면데이터에는 중첩되는 펜디바이스(13)의 영역이 생략된 상태로 도시되어 있음을 확인할 수 있다.
더 나아가 화면데이터생성부(33)는 상기 펜디바이스(13)를 파지한 사용자의 손의 모양과 대응되는 이미지를 펜디바이스(13)와 중첩하여 표시하도록 구비될 수 있다.
도 8은 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 사용하여 이미지데이터를 생성시 사용자에게 제공되는 가상의 화면의 예시도이다. 도 8을 참고하면, f1, f2, f3 및 f4로 확인할 수 있는 입력부(12)의 모서리 영역을 확인할 수 있고, 해당 영역중 하나의 영역을 펜디바이스(13)로 터치한 후, 입력부(12)의 임의의 영역에 펜디바이가 터칭되는 경우 각각의 터치에 따른 제1 위상데이터 및 제2 위상데이터가 시스템서버의 위상데이터관리부(32)로 송신되고 이를 수신한 위상데이터관리부(32)는 이를 화면데이터생성부(33)에 전송하고 화면데이터생성부(33)는 미리 저장된 태블릿의 규격과 펜디바이스(13)의 공간상의 위상데이터를 이용하여 가상화면데이터를 생성할 수 있다.
아울러, 화면데이터생성부(33)는 실제 태블릿의 입력부(12) 규격을 일정한 비례면적의 가상화면데이터로 변환하여 생성할 수 있다. 태블릿에 구비된 옵션버튼(예: a1, a2, a3, a4) 또는 시스템서버에 연결된 별도의 입력장치(미도시) 등을 통하여 가상화면데이터에 따라 생성되는 가상화면을 크게 확대하거나 또는 작게 축소할 수 있도록 함으로써 낮은 해상도의 이미지 또는 높은 해상도의 이미지를 생성하도록 할 수 있다.
다만, 이에 한정하는 것은 아니고, 펜디바이스(13)의 공간상에서의 일정영역 이동에 따른 제스처 등을 통해 생성된 제스처데이터를 시스템서버로 송신하여 가상화면데이터에 따라 생성되는 가상화면을 크게 확대하거나 또는 작게 축소할 수 있도록 함으로써 낮은 해상도의 이미지 또는 높은 해상도의 이미지를 생성하도록 할 수 있다.
다음으로, 가상화면데이터는 펜디바이스(13)에 의하여 입력된 이미지데이터와 태블릿의 실제 이미지, 펜디바이스(13)의 이미지 또는 펜디바이스(13)를 파지한 사용자의 손이미지를 모두 포함할 수 있다. 화면정보관리부(34)는 상기 이미지 등을 사용자의 임의 선택에 따라 HMD로 전송하도록 구비될 수 있다.
도 9는 본 발명의 실시예에 따른 가상현실을 이용한 이미지입력시스템을 사용하여 이미지데이터를 생성시 펜디바이스(13)의 이미지를 생략한 가상의 화면을 도시한 도면이다.
도 9를 참고하면, 펜디바이스(13)가 입력부(12)로 (a)에서 (b) 위치로 이동할 경우, 펜디바이스(13)와 입력부(12)의 중첩영역이 사용자에게 투명한 것으로 보이도록 표현될 수 있다.
또한, 화면데이터생성부(33)가 가상화면과 중첩되지 않는 영역에 디스플레이되는 펜디바이스(13)이미지데이터를 생성하는 경우, 가상화면 중 펜디바이스(13)와 입력부(12)가 접촉하는 임의의 제2 위상데이터에 대응하는 위치에 디스플레이되는 임의의 펜포인트이미지데이터를 생성하는 단계를 더 포함할 수 있다.
상기 펜포인트이미지데이터는 가상의 화면에서 하나의 점으로 표현될 수 있다. 더 나아가 펜포인트이미지데이터는 화면데이터생성부(33)에 의하여 실자 사용자의 입력 옵션의 변경에 따라 색상, 두께 등이 임의선택적으로 표시되도록 변환되어 제공될 수 있다.
본 발명의 다른 실시예에 가상현실을 이용한 이미지입력시스템은 가상현실을 이용한 이미지데이터를 생성하기 위한 가상현실을 이용한 이미지입력시스템에 있어서, 이미지입력시스템은, 유선 또는 무선통신 방식으로 데이터를 송수신할 수 있는 데이터송수신부(31), 데이터송수신부(31)를 통하여 태블릿으로부터 펜디바이스(13)가 태블릿의 입력부(12)의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 펜디바이스(13)가 입력부(12) 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 위상데이터관리부(32), 제1 위상데이터와 제2 위상데이터를 사용하여 입력부(12)에 매칭되는 가상화면데이터를 생성하는 화면데이터생성부(33), 데이터송수신부(31)를 통하여 가상화면데이터를 HMD로 전송하는 화면정보관리부(34)를 포함한다.
본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (7)

  1. 시스템서버의 위상데이터관리부가 상기 시스템서버의 데이터송수신부를 통하여 태블릿으로부터 펜디바이스가 상기 태블릿의 입력부의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 상기 펜디바이스가 상기 입력부 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 단계;
    상기 시스템서버의 화면데이터생성부가 상기 제1 위상데이터와 상기 제2 위상데이터를 사용하여 상기 입력부에 매칭되는 가상화면데이터를 생성하는 단계;
    상기 시스템서버의 화면정보관리부가 상기 데이터송수신부를 통하여 상기 가상화면데이터를 HMD로 전송하는 단계;를 포함하고,
    상기 시스템서버가 상기 태블릿에 구비된 옵션버튼의 조작, 상기 시스템서버에 연결된 입력장치 또는 상기 펜디바이스의 상기 입력부 표면에 대응하지 않는 공간상에서의 제스처를 통해 생성된 제스처데이터를 수신한 경우, 상기 화면데이터생성부가 상기 HMD를 통하여 확대되거나 또는 축소된 가상화면을 생성하도록 상기 가상화면데이터를 변환하는 것을 특징으로 하는 가상현실을 이용한 이미지데이터 생성방법.
  2. 제1항에 있어서,
    상기 화면데이터생성부가 상기 가상화면데이터를 이용하여 생성된 가상화면과 중첩되거나 또는 상기 가상화면과 중첩되지 않는 영역에 디스플레이 되는 펜디바이스이미지데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 가상현실을 이용한 이미지데이터 생성방법.
  3. 제2항에 있어서,
    상기 화면정보관리부가 상기 데이터송수신부를 통해 상기 펜디바이스이미지데이터를 HMD로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 가상현실을 이용한 이미지데이터 생성방법.
  4. 제2항에 있어서,
    상기 화면데이터생성부가 상기 가상화면과 중첩되지 않는 영역에 디스플레이되는 펜디바이스이미지데이터를 생성하는 경우, 상기 가상화면 중 상기 펜디바이스와 상기 입력부가 접촉하는 임의의 제2 위상데이터에 대응하는 위치에 디스플레이되는 임의의 펜포인트이미지데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 가상현실을 이용한 이미지데이터 생성방법.
  5. 제1항에 있어서,
    상기 시스템서버의 이미지정보관리부가 상기 데이터송수신부를 통해 수신한 상기 펜디바이스와 상기 입력부의 접촉에 따른 적어도 하나 이상의 제3 위상데이터를 이미지데이터로 변환하여 상기 HMD로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 가상현실을 이용한 이미지데이터 생성방법.
  6. 가상현실을 이용한 이미지데이터를 생성하기 위한 가상현실을 이용한 이미지입력시스템에 있어서, 상기 이미지입력시스템은,
    유선 또는 무선통신 방식으로 데이터를 송수신할 수 있는 데이터송수신부;
    상기 데이터송수신부를 통하여 태블릿으로부터 펜디바이스가 상기 태블릿의 입력부의 모서리 중 적어도 하나를 터치하여 생성한 제1 위상데이터 및 상기 펜디바이스가 상기 입력부 표면의 임의의 한 점을 터치하여 생성한 제2 위상데이터를 수신하는 위상데이터관리부;
    상기 제1 위상데이터와 상기 제2 위상데이터를 사용하여 상기 입력부에 매칭되는 가상화면데이터를 생성하고, 시스템서버가 상기 태블릿에 구비된 옵션버튼의 조작, 상기 시스템서버에 연결된 입력장치 또는 상기 펜디바이스의 상기 입력부 표면에 대응하지 않는 공간상에서의 제스처를 통해 생성된 제스처데이터를 수신한 경우, HMD를 통하여 확대되거나 또는 축소된 가상화면을 생성하도록 상기 가상화면데이터를 변환하도록 구비된 화면데이터생성부;
    상기 데이터송수신부를 통하여 상기 가상화면데이터를 상기 HMD로 전송하는 화면정보관리부;를 포함하고,
    상기 시스템서버가 상기 태블릿에 구비된 옵션버튼의 조작, 상기 시스템서버에 연결된 입력장치 또는 상기 펜디바이스의 공간상에서의 일정역역 이동에 따른 제스처를 통해 생성된 제스처데이터를 수신한 경우 상기 가상화면을 확대하거나 또는 축소하도록 구비된 것을 특징으로 하는 가상현실을 이용한 이미지입력시스템.
  7. 제1항 내지 제5항 중 어느 한 항에 따른 방법을 수행하기 위한 컴퓨터프로그램이 저장된 기록매체.
KR1020200011918A 2020-01-31 2020-01-31 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법 KR102288431B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200011918A KR102288431B1 (ko) 2020-01-31 2020-01-31 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
PCT/KR2021/000970 WO2021153961A1 (ko) 2020-01-31 2021-01-25 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200011918A KR102288431B1 (ko) 2020-01-31 2020-01-31 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법

Publications (1)

Publication Number Publication Date
KR102288431B1 true KR102288431B1 (ko) 2021-08-10

Family

ID=77079557

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200011918A KR102288431B1 (ko) 2020-01-31 2020-01-31 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법

Country Status (2)

Country Link
KR (1) KR102288431B1 (ko)
WO (1) WO2021153961A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029740A1 (ko) * 2022-08-01 2024-02-08 삼성전자주식회사 입력 장치를 이용하여 드로잉 데이터를 출력하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
JP2016224595A (ja) * 2015-05-28 2016-12-28 株式会社コロプラ システム、方法、およびプログラム
KR20180010845A (ko) * 2016-07-22 2018-01-31 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
JP6590050B2 (ja) * 2018-08-16 2019-10-16 セイコーエプソン株式会社 表示装置、表示システム、表示装置の制御方法、及び、プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5428943B2 (ja) * 2010-03-02 2014-02-26 ブラザー工業株式会社 ヘッドマウントディスプレイ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
JP2016224595A (ja) * 2015-05-28 2016-12-28 株式会社コロプラ システム、方法、およびプログラム
KR20180010845A (ko) * 2016-07-22 2018-01-31 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
JP6590050B2 (ja) * 2018-08-16 2019-10-16 セイコーエプソン株式会社 表示装置、表示システム、表示装置の制御方法、及び、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029740A1 (ko) * 2022-08-01 2024-02-08 삼성전자주식회사 입력 장치를 이용하여 드로잉 데이터를 출력하는 방법 및 장치

Also Published As

Publication number Publication date
WO2021153961A1 (ko) 2021-08-05

Similar Documents

Publication Publication Date Title
US10209513B2 (en) Wearable device and control method thereof
US10289376B2 (en) Method for displaying virtual object in plural electronic devices and electronic device supporting the method
US9965033B2 (en) User input method and portable device
KR102056175B1 (ko) 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
EP4009159A1 (en) Electronic device for sharing application and control method thereof
KR102097452B1 (ko) 프로젝터를 포함하는 전자 장치 및 그 제어 방법
KR102389185B1 (ko) 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법
KR102521333B1 (ko) 사용자 인증과 관련된 사용자 인터페이스 표시 방법 및 이를 구현한 전자 장치
EP2743819A2 (en) Terminal and method for providing user interface using a pen
US20160012612A1 (en) Display control method and system
EP3400500A1 (en) Three-dimensional object tracking to augment display area
KR20140070040A (ko) 터치스크린 상에 표시되는 복수의 객체들을 관리하는 장치 및 방법
KR102028336B1 (ko) 복수 스크린을 표시하는 디스플레이 장치 및 그 제어 방법
KR20140079012A (ko) 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
WO2021036531A1 (zh) 截屏方法及终端设备
KR20100104804A (ko) Ｄｄｉ, ｄｄｉ 제공방법 및 상기 ｄｄｉ를 포함하는 데이터 처리 장치
WO2021115103A1 (zh) 显示控制方法和终端设备
CN108474950A (zh) Hmd设备及其控制方法
JP6386897B2 (ja) 電子黒板、情報処理プログラムおよび情報処理方法
KR20150002312A (ko) 페이지 표시 방법 및 이를 구현하는 전자 장치
KR20150001130A (ko) 사용자 입력 처리 방법 및 상기 방법이 적용된 장치
KR102288431B1 (ko) 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
JP2022145191A (ja) 表示装置、プログラム、表示方法、表示システム
KR102292619B1 (ko) 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템
JP2016119019A (ja) 情報処理装置、情報処理方法、プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant