WO2013129730A1 - 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템 - Google Patents

증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템 Download PDF

Info

Publication number
WO2013129730A1
WO2013129730A1 PCT/KR2012/002542 KR2012002542W WO2013129730A1 WO 2013129730 A1 WO2013129730 A1 WO 2013129730A1 KR 2012002542 W KR2012002542 W KR 2012002542W WO 2013129730 A1 WO2013129730 A1 WO 2013129730A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
original
recognition
server
fingertip
Prior art date
Application number
PCT/KR2012/002542
Other languages
English (en)
French (fr)
Inventor
이재영
온기원
안기영
Original Assignee
주식회사 케이쓰리아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이쓰리아이 filed Critical 주식회사 케이쓰리아이
Publication of WO2013129730A1 publication Critical patent/WO2013129730A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present invention relates to a server-based original object extraction system using user finger recognition on an augmented screen. More specifically, the present invention relates to an augmentation system that performs fingertip model recognition and coordinate range setting of a tracked model as a user interface usable in an augmented reality service. A server-based original object extraction system using user finger recognition on the screen.
  • the mobile communication terminal has been popularized to perform various additional services in addition to the basic call service.
  • a short message service such as a short message service, a multimedia message service, a game service capable of game play, and a wireless Internet service.
  • AR Augmented Reality
  • AR is a user interface technology that accurately matches computer-generated virtual images with real-life images viewed by users, and provides them with real-world images that users see to provide improved realism and awareness. It is a technology that shows and synthesizes virtual additional information such as text and graphics generated in computer in real time.
  • the augmented reality system matches real-time images acquired with the camera and virtual images generated by the computer in real time, tracks the position and posture of the camera using a tracker, corrects errors between the tracker and the camera, Simulation results of real image and virtual image are simulated in 3D or 2D.
  • Such augmented reality is used in various fields such as games, broadcasting, education, training, medical care, design, and advertisement.
  • the augmented reality may detect a user's movement if only a camera, a display unit, and a processing unit for processing image data are provided.
  • a user input method other than a button unit or an operation display panel of a mobile communication terminal is configured using the feature of the augmented reality, a more convenient user input method may be realized.
  • the present invention proposes a technique for recognizing a user's fingertips.
  • an object of the present invention is a user interface that can be used in an augmented reality service. It is to extract server-based original object using user finger recognition in augmented screen that performs object extraction.
  • the object management server 200 for extracting the object of the corresponding region of the loaded PD F original file to provide the object extraction information to the mobile terminal; is configured to solve the problem of the present invention.
  • a user interface that can be used in augmented reality service, it is effective to extract server-based original object using user finger recognition on augmented screen which performs fingertip recognition, coordinate range setting of tracked model and coordinated object extraction from original PDF. Will be provided.
  • the user's finger on the printing surface illuminated by the camera is used to extract the actual object value of the corresponding part from the server and provide it to the user.
  • the information of the point can be confirmed by augmented reality.
  • FIG. 1 is an overall configuration diagram of a server-based original object extraction system using user finger recognition in an augmented screen according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a mobile terminal of a server-based original object extraction system using user finger recognition in an augmented screen according to an embodiment of the present invention.
  • FIG. 3 is an object management server block diagram of a server-based original object extraction system using user finger recognition in an augmented screen according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of extracting a server-based original object extraction system using user finger recognition in an augmented screen according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram showing an example of driving a mobile terminal of a server-based original object extraction system using user finger recognition in an augmented screen according to an embodiment of the present invention.
  • It consists of PD file information DB, and when requesting inquiry from mobile terminal, it searches the PD source file with the document ID sent out, loads the corresponding page of PD F original file, and refers to the coordinate value of the selected area sent out. And an object management server 200 for extracting an object of a corresponding region of the loaded PD F original file to provide object extraction information to the mobile terminal.
  • An image capture unit 110 for capturing an image obtained from a camera
  • a page recognition unit 120 for recognizing a page and a document ID including an image captured by the image capturing unit
  • Coordinate tracking unit 130 for tracking the coordinates between the original PD and the camera view taken by the camera
  • Fingertip recognition unit 140 for setting the fingertip recognition if the user places the fingertip on the screen and the motion change for a certain time
  • Fingertip selection range recognition unit 150 for setting a fingertip selection range after setting the finger recognition
  • An inquiry request unit 180 for requesting an inquiry to an object management server by acquiring the recognized document ID and coordinate values of the selection area;
  • a terminal controller 195 for controlling the signal flow between the respective units.
  • PD file information DB 210 for storing and managing including document ID, PD source file information, and
  • PD original file inquiry unit 220 When requesting inquiry from the mobile terminal, PD original file inquiry unit 220 for inquiring the original file with the document ID sent out, and
  • An object extracting unit 240 for extracting an object of a corresponding region of a PD F original file by referring to the coordinate value of the selected region to be sent when the inquiry is requested from the mobile terminal;
  • An object information transmitter 250 for transmitting the object extraction information extracted from the object extractor to a mobile terminal
  • the start point and the end point of the determined area selection are displayed through the rendering module of the AR browser screen.
  • the end point of the region selection is determined.
  • FIG. 1 is an overall configuration diagram of a server-based original object extraction system using user finger recognition in an augmented screen according to an embodiment of the present invention.
  • It consists of PD file information DB, and when requesting inquiry from mobile terminal, it searches the PD source file with the document ID sent out, loads the corresponding page of PD F original file, and refers to the coordinate value of the selected area sent out. And an object management server 200 for extracting an object of a corresponding region of the loaded PD F original file to provide object extraction information to the mobile terminal.
  • the mobile terminal can recognize the selection operation using the user's finger on the printed surface illuminated by the camera and extract and provide the actual object value of the corresponding portion.
  • FIG. 2 is a block diagram of a mobile terminal of a server-based original object extraction system using user finger recognition in an augmented screen according to an embodiment of the present invention.
  • the mobile terminal 100 of the present invention As shown in Figure 2, the mobile terminal 100 of the present invention,
  • An image capture unit 110 for capturing an image obtained from a camera
  • a page recognition unit 120 for recognizing a page and a document ID including an image captured by the image capturing unit
  • Coordinate tracking unit 130 for tracking the coordinates between the original PD and the camera view taken by the camera
  • Fingertip recognition unit 140 for setting the fingertip recognition if the user places the fingertip on the screen and the motion change for a certain time
  • Fingertip selection range recognition unit 150 for setting a fingertip selection range after setting the finger recognition
  • An inquiry request unit 180 for requesting an inquiry to an object management server by acquiring the recognized document ID and coordinate values of the selection area;
  • a terminal controller 195 for controlling the signal flow between the respective units.
  • the image capture unit 110 captures an image obtained from a camera, and the page recognition unit 120 recognizes a page and a document ID including the image captured by the image capture unit.
  • the recognized page and document ID are used as identifiers when a request is made to the object management server later.
  • the coordinate tracking unit 130 tracks the coordinates between the original PD and the camera view taken by the camera through a tracking module.
  • the coordinates are tracked while tracking between the original PDF and the camera view is performed.
  • the finger recognition unit 140 sets the fingertip on the screen if the user does not change the motion for a specific time, and sets the fingertip recognition, and the fingertip selection range recognition unit 150 sets the fingertip selection range after setting the fingertip recognition. Will be done.
  • start point and the end point for the area selection are displayed to the user through the rendering module of the AR browser screen.
  • the selection area determiner 160 determines that the selection area is not changed for a specific time.
  • a counting module (not shown) for counting time information is set.
  • the coordinate conversion unit 170 converts the area selected by the selection area extension into original coordinates by tracking the coordinate values of the coordinate tracking unit.
  • the selected area is converted into original coordinates by tracking the coordinate values of the coordinate tracking unit.
  • the inquiry request unit 180 obtains a recognized document ID and coordinate values of the selection area and requests an inquiry to the object management server, and the object extraction information acquisition unit 190 sends a coordinate range sent from the object management server. It is to obtain the object extraction information of.
  • FIG. 3 is an object management server block diagram of a server-based original object extraction system using user finger recognition in an augmented screen according to an embodiment of the present invention.
  • the object management server 200 As shown in Figure 3, the object management server 200,
  • PD file information DB 210 for storing and managing including document ID, PD source file information, and
  • PD original file inquiry unit 220 When requesting inquiry from the mobile terminal, PD original file inquiry unit 220 for inquiring the original file with the document ID sent out, and
  • An object extracting unit 240 for extracting an object of a corresponding region of a PD F original file by referring to the coordinate value of the selected region to be sent when the inquiry is requested from the mobile terminal;
  • An object information transmitter 250 for transmitting the object extraction information extracted from the object extractor to a mobile terminal
  • It comprises a server control unit 260 for controlling the signal flow between the respective units and the DB.
  • the PD original file inquiry unit 220 inquires the PD original file in the PD file information DB 210 with the document ID sent when the inquiry request from the mobile terminal.
  • the PD file information DB 210 stores the document ID and the original PD file information.
  • the page loading unit 230 loads the corresponding page of the PD original file inquired from the PD original file inquiry unit, and the object extracting unit 240 transmits a coordinate value of the selected area to be sent when a request is made from the mobile terminal.
  • An object of the corresponding region of the PD F original file is extracted with reference to the object, and the object extraction information extracted from the object extracting unit by the object information transmitting unit 250 is transmitted to the mobile terminal.
  • FIG. 4 is a flowchart illustrating a method of extracting a server-based original object extraction system using user finger recognition in an augmented screen according to an embodiment of the present invention.
  • the image capture unit 110 captures an image obtained from a camera (S100), and the page recognition unit 120 includes a page and a document including an image captured by the image capture unit.
  • a document ID is recognized (S110), and the coordinate tracking unit 130 tracks the coordinates between the original PDF and the camera view captured by the camera (S120).
  • the fingertip selection range recognition unit 150 selects the fingertips after setting the fingertip recognition. It is to set the range (S140).
  • the selection region determiner 160 determines the selection region (S150), and renders the selection region on the user's screen by rendering processing. It is displayed (S155).
  • the coordinate conversion unit 170 converts the area selected by the selection area extension into original coordinates by tracking the coordinate value of the coordinate tracking unit (S160).
  • the inquiry request unit 180 obtains the recognized document ID (including page information) and coordinate values of the selection area and requests an inquiry to the object management server (S170).
  • the PD original file inquiry unit 220 of the object management server 200 inquires a corresponding PD original file from the PD file information DB 210 with the document ID that is sent when the inquiry is requested from the mobile terminal (S180). Done.
  • the page loading unit 230 loads the corresponding page of the PD F original file inquired by the PD original file inquiry unit (S190), and the object extracting unit 240 is selected when the inquiry is requested from the mobile terminal.
  • the object of the corresponding region of the PD F original file is extracted with reference to the coordinate value of the region (S200), and the object extraction information extracted from the object extracting unit by the object information transmitting unit 250 is transmitted to the mobile terminal.
  • the object extraction information acquisition unit 190 of the mobile terminal obtains the object extraction information of the coordinate range sent from the object management server, and is copied to the clipboard by the process of the terminal control unit, keyword of the search site, email It is used as paste for transfer.
  • an advantage of the present system under an AR browser driving environment is to provide intuitive intuitive selection by directly touching a target surface.
  • the system of the present invention improves the cumbersome operation of operation keys by a conventional touch character input method or a user as part of a user interface that can be used in augmented reality service, and sets the coordinate range of the tracked model according to fingertip recognition and PDF. It is to provide the convenience of using the extraction of coordinated object from.
  • the present invention extracts the server-based original object using the user's finger recognition on the augmented screen as a user interface that can be used in the augmented reality service, which performs fingertip recognition, coordinate range setting of the tracked model, and coordinated object extraction from the original PDF.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템에 관한 것으로, 더욱 상세하게는 증강현실 서비스에서 활용 가능한 유저인터페이스로서 손끝 모델 인식과 트래킹된 모델의 좌표 범위 설정을 수행하는 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템에 관한 것이다.

Description

증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템
본 발명은 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템에 관한 것으로, 더욱 상세하게는 증강현실 서비스에서 활용 가능한 유저인터페이스로서 손끝 모델 인식과 트래킹된 모델의 좌표 범위 설정을 수행하는 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템에 관한 것이다.
이동 통신 단말은 그 보급이 대중화되면서 기본적인 통화 서비스 이외에도 다양한 부가 서비스를 수행하게 되었다.
예를 들어, 단문메시지 서비스, 멀티미디어 메시지 서비스, 게임 플레이가 가능한 게임 서비스, 무선 인터넷 서비스등의 부가 서비스가 존재한다.
이와 같이 이동 통신 단말에서 지원되는 부가 서비스가 늘어나면서, 사용자 인터페이스 또한 변화하게 되었다.
한편, 증강 현실(AR:Augumented Reality) 사용자가 보고 있는 실사 영상에 컴퓨터에서 생성한 가상 영상을 정확하게 정합하는 사용자 인터페이스 기술로서, 사용자에게 보다 향상된 현실감 및 인지도 향상을 제공하기 위해 사용자가 보는 실세계 영상에 컴퓨터에서 생성한 문자와 그래픽 같은 가상의 부가정보를 실시간으로 합성하여 보여 주는 기술이다.
증강 현실 시스템은, 카메라를 이용하여 획득한 실사영상과 컴퓨터로 생성한 가상영상을 실시간으로 정합하고, 트랙커(tracker)를 이용한 카메라의 위치와 자세를 추적하고, 트랙커 및 카메라의 오차를 보정하고, 실사 영상과 가상 영상의 정합결과를 3차원 또는 2차원으로 시뮬레이션한다.
이러한 증강 현실은 게임, 방송, 교육, 훈련, 의료, 설계, 광고 등 다양한 분야에서 활용되고 있다.
상기한 바와 같이 증강 현실은 카메라와 표시부와, 영상 데이터 처리를 위한 처리부만 구비된다면 사용자의 움직임을 감지할 수 있다는 특징이 있다.
따라서 이러한 증강현실의 특징을 이용하여 이동 통신 단말의 버튼부나 조작용 디스플레이 패널 이외의 사용자 입력 방식을 구성한다면 좀더 편리한 사용자 입력 방식을 구현할 수 있을 것이다.
따라서, 본 발명에서는 사용자의 손끝을 인식하는 기술을 제안하게 된 것이다.
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 목적은 증강현실 서비스에서 활용 가능한 유저인터페이스로서 손끝 모델 인식과 트래킹된 모델의 좌표 범위 설정 및 원본 PDF로부터의 좌표 지정된 객체 추출을 수행하는 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체를 추출하는데 있다.
본 발명이 해결하고자 하는 과제를 달성하기 위하여,
본 발명의 일실시예에 따른 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템은,
카메라로부터 이미지를 캡쳐하여 해당 이미지의 페이지 및 도큐먼트 아이디를 인식하며, 원본 피디에프와 카메라뷰 간의 좌표를 추적하며, 사용자가 화면에 손끝을 위치시키고 동작 변화가 특정 시간 동안 없으면 손끝 인식으로 설정하여 손끝의 선택 영역을 인식하게 되며, 선택된 영역을 상기 추적된 좌표에 의해 원본 좌표로 변환시키고, 인식된 도큐먼트 아이디와 선택 영역의 좌표값을 획득하여 객체관리서버로 조회를 요청하여 객체관리서버로부터 제공되는 좌표범위의 오브젝트 추출 정보를 획득하기 위한 모바일단말기(100)와;
피디에프파일정보디비를 포함하여 구성되며, 모바일단말기로부터 조회 요청시, 송출되는 도큐먼트 아이디로 피디에프 원본 파일을 조회하여 피디에프 원본 파일의 해당 페이지를 로딩하며, 송출되는 선택 영역의 좌표값을 참조하여 로딩된 피디에프 원본 파일의 해당 영역의 오브젝트를 추출하여 모바일단말기에 오브젝트 추출 정보를 제공하기 위한 객체관리서버(200);를 포함하여 구성되어 본 발명의 과제를 해결하게 된다.
이상의 구성 및 작용을 지니는 본 발명에 따른 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템은,
증강현실 서비스에서 활용 가능한 유저인터페이스로서 손끝 모델 인식과 트래킹된 모델의 좌표 범위 설정 및 원본 PDF로부터의 좌표 지정된 객체 추출을 수행하는 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체를 추출하는 효과를 제공하게 된다.
즉, 카메라로 비추고 있는 인쇄면에 사용자의 손가락을 이용한 선택 동작으로 해당 부분의 실제 객체 값을 서버에서 추출하여 이를 사용자에게 제공하게 되어 별도의 키패드나 조작버튼부를 조작할 필요없이 손쉽게 손끝이 지정하는 지점의 정보를 증강현실로 확인할 수 있는 것이다.
도 1은 본 발명의 일실시예에 따른 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템의 전체 구성도이다.
도 2는 본 발명의 일실시예에 따른 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템의 모바일단말기 블록도이다.
도 3은 본 발명의 일실시예에 따른 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템의 객체관리서버 블록도이다.
도 4는 본 발명의 일실시예에 따른 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템의 추출 방법을 나타낸 흐름도이다.
도 5는 본 발명의 일실시예에 따른 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템의 모바일단말기 구동 예를 나타낸 예시도이다.
*도면의 주요부호에 대한 상세한 설명*
100 : 모바일단말기
200 : 객체관리서버
상기 과제를 달성하기 위한 본 발명인 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템은,
카메라로부터 이미지를 캡쳐하여 해당 이미지의 페이지 및 도큐먼트 아이디를 인식하며, 원본 피디에프와 카메라뷰 간의 좌표를 추적하며, 사용자가 화면에 손끝을 위치시키고 동작 변화가 특정 시간 동안 없으면 손끝 인식으로 설정하여 손끝의 선택 영역을 인식하게 되며, 선택된 영역을 상기 추적된 좌표에 의해 원본 좌표로 변환시키고, 인식된 도큐먼트 아이디와 선택 영역의 좌표값을 획득하여 객체관리서버로 조회를 요청하여 객체관리서버로부터 제공되는 좌표범위의 오브젝트 추출 정보를 획득하기 위한 모바일단말기(100)와;
피디에프파일정보디비를 포함하여 구성되며, 모바일단말기로부터 조회 요청시, 송출되는 도큐먼트 아이디로 피디에프 원본 파일을 조회하여 피디에프 원본 파일의 해당 페이지를 로딩하며, 송출되는 선택 영역의 좌표값을 참조하여 로딩된 피디에프 원본 파일의 해당 영역의 오브젝트를 추출하여 모바일단말기에 오브젝트 추출 정보를 제공하기 위한 객체관리서버(200);를 포함하여 구성되는 것을 특징으로 한다.
이때, 상기 모바일단말기(100)는,
카메라로부터 획득되는 이미지를 캡쳐하기 위한 이미지캡쳐부(110)와,
상기 이미지캡쳐부에 의해 캡쳐된 이미지를 포함하고 있는 페이지와 도큐먼트 아이디(document ID)를 인식하기 위한 페이지인식부(120)와,
카메라로 촬영하고 있는 원본 피디에프와 카메라뷰 간의 좌표를 추적하기 위한 좌표추적부(130)와,
사용자가 화면에 손끝을 위치시키고 동작 변화가 특정 시간동안 없으면 손끝 인식으로 설정하기 위한 손끝인식부(140)와,
손끝 인식 설정후 손끝의 선택 범위를 설정하기 위한 손끝선택범위인식부(150)와,
상기 손끝선택범위인식부에 의해 선택 범위가 설정된 후 특정 시간동안 동작 변화가 없다면 선택 영역으로 확정하는 선택영역확정부(160)와,
상기 선택영역확정부에 의해 선택된 영역을 좌표추적부의 좌표값 추적에 의해 원본 좌표로 변환시키기 위한 좌표변환부(170)와,
상기 인식된 도큐먼트 아이디와 선택 영역의 좌표값을 획득하여 객체관리서버로 조회를 요청하기 위한 조회요청부(180)와,
객체관리서버에서 송출된 좌표범위의 오브젝트 추출 정보를 획득하기 위한 오브젝트추출정보획득부(190)와,
상기 각각의 부 간의 신호 흐름을 제어하기 위한 단말기제어부(195)를 포함하여 구성되는 것을 특징으로 한다.
이때, 상기 객체관리서버(200)는,
도큐먼트 아이디, 피디에프 원본 파일 정보를 포함하여 저장하고 관리하기 위한 피디에프파일정보디비(210)와,
모바일단말기로부터 조회 요청시, 송출되는 도큐먼트 아이디로 피디에프 원본 파일을 조회하기 위한 피디에프원본파일조회부(220)와,
상기 피디에프원본파일조회부로부터 조회된 피디에프 원본 파일의 해당 페이지를 로딩하기 위한 페이지로딩부(230)와,
모바일단말기로부터 조회 요청시, 송출되는 선택 영역의 좌표값을 참조하여 피디에프 원본 파일의 해당 영역의 오브젝트를 추출하기 위한 오브젝트추출부(240)와,
오브젝트추출부로부터 추출된 오브젝트 추출 정보를 모바일단말기로 송출하기 위한 오브젝트정보송출부(250)와,
상기 각각의 부와 디비 간의 신호 흐름을 제어하기 위한 서버제어부(260)를 포함하여 구성되는 것을 특징으로 한다.
이때, 상기 선택영역확정부(160)에 의해,
확정된 영역 선택의 시작지점과 끝지점은 AR 브라우저 화면의 랜더링 모듈을 통해 표시하는 것을 특징으로 한다.
이때, 상기 선택영역확정부(160)는,
사용자가 영역 선택 시작 이후에 특정 임계값 이상 이동한 뒤 특정 시간 동안 동작 변화가 없다면 영역 선택의 끝지점을 판단하는 것을 특징으로 한다.
이하, 본 발명에 의한 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템의 실시예를 통해 상세히 설명하도록 한다.
도 1은 본 발명의 일실시예에 따른 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템의 전체 구성도이다.
도 1에 도시한 바와 같이, 본 발명의 일실시예에 따른 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템은,
카메라로부터 이미지를 캡쳐하여 해당 이미지의 페이지 및 도큐먼트 아이디를 인식하며, 원본 피디에프와 카메라뷰 간의 좌표를 추적하며, 사용자가 화면에 손끝을 위치시키고 동작 변화가 특정 시간 동안 없으면 손끝 인식으로 설정하여 손끝의 선택 영역을 인식하게 되며, 선택된 영역을 상기 추적된 좌표에 의해 원본 좌표로 변환시키고, 인식된 도큐먼트 아이디와 선택 영역의 좌표값을 획득하여 객체관리서버로 조회를 요청하여 객체관리서버로부터 제공되는 좌표범위의 오브젝트 추출 정보를 획득하기 위한 모바일단말기(100)와;
피디에프파일정보디비를 포함하여 구성되며, 모바일단말기로부터 조회 요청시, 송출되는 도큐먼트 아이디로 피디에프 원본 파일을 조회하여 피디에프 원본 파일의 해당 페이지를 로딩하며, 송출되는 선택 영역의 좌표값을 참조하여 로딩된 피디에프 원본 파일의 해당 영역의 오브젝트를 추출하여 모바일단말기에 오브젝트 추출 정보를 제공하기 위한 객체관리서버(200);를 포함하여 구성된다.
상기 모바일단말기를 통해 카메라로 비추고 있는 인쇄면에 사용자의 손가락을 이용한 선택 동작을 인식하여 해당 부분의 실제 객체 값을 추출하여 제공할 수 있게 된다.
도 2는 본 발명의 일실시예에 따른 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템의 모바일단말기 블록도이다.
도 2에 도시한 바와 같이, 본 발명의 모바일단말기(100)는,
카메라로부터 획득되는 이미지를 캡쳐하기 위한 이미지캡쳐부(110)와,
상기 이미지캡쳐부에 의해 캡쳐된 이미지를 포함하고 있는 페이지와 도큐먼트 아이디(document ID)를 인식하기 위한 페이지인식부(120)와,
카메라로 촬영하고 있는 원본 피디에프와 카메라뷰 간의 좌표를 추적하기 위한 좌표추적부(130)와,
사용자가 화면에 손끝을 위치시키고 동작 변화가 특정 시간동안 없으면 손끝 인식으로 설정하기 위한 손끝인식부(140)와,
손끝 인식 설정후 손끝의 선택 범위를 설정하기 위한 손끝선택범위인식부(150)와,
상기 손끝선택범위인식부에 의해 선택 범위가 설정된 후 특정 시간동안 동작 변화가 없다면 선택 영역으로 확정하는 선택영역확정부(160)와,
상기 선택영역확정부에 의해 선택된 영역을 좌표추적부의 좌표값 추적에 의해 원본 좌표로 변환시키기 위한 좌표변환부(170)와,
상기 인식된 도큐먼트 아이디와 선택 영역의 좌표값을 획득하여 객체관리서버로 조회를 요청하기 위한 조회요청부(180)와,
객체관리서버에서 송출된 좌표범위의 오브젝트 추출 정보를 획득하기 위한 오브젝트추출정보획득부(190)와,
상기 각각의 부 간의 신호 흐름을 제어하기 위한 단말기제어부(195)를 포함하여 구성된다.
상기 이미지캡쳐부(110)는 카메라로부터 획득되는 이미지를 캡쳐하게 되며, 페이지인식부(120)는 이미지캡쳐부에 의해 캡쳐된 이미지를 포함하고 있는 페이지와 도큐먼트 아이디(document ID)를 인식하게 된다.
상기 인식된 페이지와 도큐먼트 아이디는 추후 객체관리서버에 조회 요청시 식별자로 사용하게 된다.
이후, 좌표추적부(130)라는 트래킹모듈을 통해 카메라로 촬영하고 있는 원본 피디에프와 카메라뷰 간의 좌표를 추적하게 된다.
즉, 원본 PDF와 카메라뷰 간의 트래킹이 이루어지고 있는 상태에서 좌표를 추적하게 되는 것이다.
이후, 손끝인식부(140)는 사용자가 화면에 손끝을 위치시키고 동작 변화가 특정 시간동안 없으면 손끝 인식으로 설정하게 되며, 손끝선택범위인식부(150)는 손끝 인식 설정 후 손끝의 선택 범위를 설정하게 되는 것이다.
즉, 사용자가 지면에 손가락을 위치시키고 동작 변화가 특정 시간 동안 없으면 영역 선택이 시작되는 것이다.
이때, 영역 선택에 대한 시작지점과 끝지점은 AR 브라우저 화면의 랜더링모듈을 통해 사용자에게 표시해주도록 한다.
이후, 선택영역확정부(160)는 손끝선택범위인식부에 의해 선택 범위가 설정된 후 특정 시간동안 동작 변화가 없다면 선택 영역으로 확정하게 된다.
이를 위하여 설정되는 시간 정보를 카운팅하기 위한 카운팅모듈(미도시)를 구성하게 된다.
즉, 사용자가 영역 선택 시작 이후에 특정 임계값 이상 이동한 뒤 특정 시간동안 동작 변화가 없다면 영역 선택의 끝지점으로 판단하는 것이다.
이후, 좌표변환부(170)는 선택영역확정부에 의해 선택된 영역을 좌표추적부의 좌표값 추적에 의해 원본 좌표로 변환시키게 된다.
즉, 선택된 영역은 좌표추적부의 좌표값 추적에 의해 원본 좌표로 변환하는 것이다.
이후에 상기 조회요청부(180)는 인식된 도큐먼트 아이디와 선택 영역의 좌표값을 획득하여 객체관리서버로 조회를 요청하게 되며, 오브젝트추출정보획득부(190)는 객체관리서버에서 송출된 좌표범위의 오브젝트 추출 정보를 획득하게 되는 것이다.
도 3은 본 발명의 일실시예에 따른 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템의 객체관리서버 블록도이다.
도 3에 도시한 바와 같이, 객체관리서버(200)는,
도큐먼트 아이디, 피디에프 원본 파일 정보를 포함하여 저장하고 관리하기 위한 피디에프파일정보디비(210)와,
모바일단말기로부터 조회 요청시, 송출되는 도큐먼트 아이디로 피디에프 원본 파일을 조회하기 위한 피디에프원본파일조회부(220)와,
상기 피디에프원본파일조회부로부터 조회된 피디에프 원본 파일의 해당 페이지를 로딩하기 위한 페이지로딩부(230)와,
모바일단말기로부터 조회 요청시, 송출되는 선택 영역의 좌표값을 참조하여 피디에프 원본 파일의 해당 영역의 오브젝트를 추출하기 위한 오브젝트추출부(240)와,
오브젝트추출부로부터 추출된 오브젝트 추출 정보를 모바일단말기로 송출하기 위한 오브젝트정보송출부(250)와,
상기 각각의 부와 디비 간의 신호 흐름을 제어하기 위한 서버제어부(260)를 포함하여 구성된다.
즉, 피디에프원본파일조회부(220)는 모바일단말기로부터 조회 요청시, 송출되는 도큐먼트 아이디로 피디에프파일정보디비(210)에서 해당 피디에프 원본 파일을 조회하게 된다.
이를 위하여 상기 피디에프파일정보디비(210)에는 도큐먼트 아이디, 피디에프 원본 파일 정보를 포함하여 저장하게 된다.
상기 페이지로딩부(230)는 피디에프원본파일조회부로부터 조회된 피디에프 원본 파일의 해당 페이지를 로딩하게 되며, 오브젝트추출부(240)는 모바일단말기로부터 조회 요청시, 송출되는 선택 영역의 좌표값을 참조하여 피디에프 원본 파일의 해당 영역의 오브젝트를 추출하게 되며, 오브젝트정보송출부(250)에 의해 오브젝트추출부로부터 추출된 오브젝트 추출 정보를 모바일단말기로 송출하게 되는 것이다.
도 4는 본 발명의 일실시예에 따른 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템의 추출 방법을 나타낸 흐름도이다.
도 4에 도시한 바와 같이, 이미지캡쳐부(110)가 카메라로부터 획득되는 이미지를 캡쳐(S100)하게 되며, 페이지인식부(120)가 이미지캡쳐부에 의해 캡쳐된 이미지를 포함하고 있는 페이지와 도큐먼트 아이디(document ID)를 인식(S110)하게 되며, 이때 좌표추적부(130)가 카메라로 촬영하고 있는 원본 피디에프와 카메라뷰 간의 좌표를 추적(S120)하게 된다.
이후에 손끝인식부(140)가 사용자가 화면에 손끝을 위치시키고 동작 변화가 특정 시간 동안 없으면 손끝 인식으로 설정(S130)하게 되며, 손끝선택범위인식부(150)가 손끝 인식 설정후 손끝의 선택 범위를 설정(S140)하게 되는 것이다.
이후, 선택영역확정부(160)가 손끝선택범위인식부에 의해 선택 범위가 설정된 후 특정 시간동안 동작 변화가 없다면 선택 영역으로 확정(S150)하게 되며, 랜더링 프로세싱에 의해 선택 영역을 사용자의 화면에 표시(S155)하게 된다.
이후, 좌표변환부(170)가 선택영역확정부에 의해 선택된 영역을 좌표추적부의 좌표값 추적에 의해 원본 좌표로 변환(S160)하게 되는 것이다.
이후, 조회요청부(180)가 인식된 도큐먼트 아이디(페이지 정보 포함)와 선택 영역의 좌표값을 획득하여 객체관리서버로 조회를 요청(S170)하게 된다.
한편, 객체관리서버(200)의 피디에프원본파일조회부(220)는 모바일단말기로부터 조회 요청시, 송출되는 도큐먼트 아이디로 피디에프파일정보디비(210)로부터 해당 피디에프 원본 파일을 조회(S180)하게 된다.
이후, 페이지로딩부(230)가 피디에프원본파일조회부로부터 조회된 피디에프 원본 파일의 해당 페이지를 로딩(S190)하게 되며, 오브젝트추출부(240)가 모바일단말기로부터 조회 요청시, 송출되는 선택 영역의 좌표값을 참조하여 피디에프 원본 파일의 해당 영역의 오브젝트를 추출(S200)하게 되며, 오브젝트정보송출부(250)에 의해 오브젝트추출부로부터 추출된 오브젝트 추출 정보를 모바일단말기로 송출하게 된다.
이후, 모바일단말기의 오브젝트추출정보획득부(190)는 객체관리서버에서 송출된 좌표범위의 오브젝트 추출 정보를 획득하게 되며, 단말기제어부의 처리에 의해 클립보드로 카피하게 되고, 검색사이트의 키워드, 이메일로 전송 등에 paste로 활용하게 되는 것이다.
도 5에 도시한 바와 같이, AR 브라우져 구동환경하에서 본 시스템의 장점은 대상 지면을 직접 터치하여 선택하는 직관성을 제공하게 된다.
이렇듯, 본 발명의 시스템은 증강 현실 서비스에서 활용 가능한 유저인터페이스의 일환으로 종래의 터치 문자 입력 방식 혹은 사용자에 의해 조작키 조작의 번거로움을 개선하여 손끝 인식에 따른 트래킹된 모델의 좌표 범위 설정 및 PDF로부터의 좌표지정 객체 추출을 별도의 입력 과정없이 수행하는 사용상의 편리성을 제공하게 되는 것이다.
이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 증강현실 서비스에서 활용 가능한 유저인터페이스로서 손끝 모델 인식과 트래킹된 모델의 좌표 범위 설정 및 원본 PDF로부터의 좌표 지정된 객체 추출을 수행하는 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체를 추출하는 효과를 제공할 수 있게 됨으로써, 증강현실 서비스 분야에 널리 활용될 것이다.

Claims (5)

  1. 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템에 있어서,
    카메라로부터 이미지를 캡쳐하여 해당 이미지의 페이지 및 도큐먼트 아이디를 인식하며, 원본 피디에프와 카메라뷰 간의 좌표를 추적하며, 사용자가 화면에 손끝을 위치시키고 동작 변화가 특정 시간 동안 없으면 손끝 인식으로 설정하여 손끝의 선택 영역을 인식하게 되며, 선택된 영역을 상기 추적된 좌표에 의해 원본 좌표로 변환시키고, 인식된 도큐먼트 아이디와 선택 영역의 좌표값을 획득하여 객체관리서버로 조회를 요청하여 객체관리서버로부터 제공되는 좌표범위의 오브젝트 추출 정보를 획득하기 위한 모바일단말기(100)와;
    피디에프파일정보디비를 포함하여 구성되며, 모바일단말기로부터 조회 요청시, 송출되는 도큐먼트 아이디로 피디에프 원본 파일을 조회하여 피디에프 원본 파일의 해당 페이지를 로딩하며, 송출되는 선택 영역의 좌표값을 참조하여 로딩된 피디에프 원본 파일의 해당 영역의 오브젝트를 추출하여 모바일단말기에 오브젝트 추출 정보를 제공하기 위한 객체관리서버(200);를 포함하여 구성되는 것을 특징으로 하는 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템.
  2. 제 1항에 있어서,
    상기 모바일단말기(100)는,
    카메라로부터 획득되는 이미지를 캡쳐하기 위한 이미지캡쳐부(110)와,
    상기 이미지캡쳐부에 의해 캡쳐된 이미지를 포함하고 있는 페이지와 도큐먼트 아이디(document ID)를 인식하기 위한 페이지인식부(120)와,
    카메라로 촬영하고 있는 원본 피디에프와 카메라뷰 간의 좌표를 추적하기 위한 좌표추적부(130)와,
    사용자가 화면에 손끝을 위치시키고 동작 변화가 특정 시간동안 없으면 손끝 인식으로 설정하기 위한 손끝인식부(140)와,
    손끝 인식 설정후 손끝의 선택 범위를 설정하기 위한 손끝선택범위인식부(150)와,
    상기 손끝선택범위인식부에 의해 선택 범위가 설정된 후 특정 시간동안 동작 변화가 없다면 선택 영역으로 확정하는 선택영역확정부(160)와,
    상기 선택영역확정부에 의해 선택된 영역을 좌표추적부의 좌표값 추적에 의해 원본 좌표로 변환시키기 위한 좌표변환부(170)와,
    상기 인식된 도큐먼트 아이디와 선택 영역의 좌표값을 획득하여 객체관리서버로 조회를 요청하기 위한 조회요청부(180)와,
    객체관리서버에서 송출된 좌표범위의 오브젝트 추출 정보를 획득하기 위한 오브젝트추출정보획득부(190)와,
    상기 각각의 부 간의 신호 흐름을 제어하기 위한 단말기제어부(195)를 포함하여 구성되는 것을 특징으로 하는 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템.
  3. 제 1항에 있어서,
    상기 객체관리서버(200)는,
    도큐먼트 아이디, 피디에프 원본 파일 정보를 포함하여 저장하고 관리하기 위한 피디에프파일정보디비(210)와,
    모바일단말기로부터 조회 요청시, 송출되는 도큐먼트 아이디로 피디에프 원본 파일을 조회하기 위한 피디에프원본파일조회부(220)와,
    상기 피디에프원본파일조회부로부터 조회된 피디에프 원본 파일의 해당 페이지를 로딩하기 위한 페이지로딩부(230)와,
    모바일단말기로부터 조회 요청시, 송출되는 선택 영역의 좌표값을 참조하여 피디에프 원본 파일의 해당 영역의 오브젝트를 추출하기 위한 오브젝트추출부(240)와,
    오브젝트추출부로부터 추출된 오브젝트 추출 정보를 모바일단말기로 송출하기 위한 오브젝트정보송출부(250)와,
    상기 각각의 부와 디비 간의 신호 흐름을 제어하기 위한 서버제어부(260)를 포함하여 구성되는 것을 특징으로 하는 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템.
  4. 제 2항에 있어서,
    상기 선택영역확정부(160)에 의해,
    확정된 영역 선택의 시작지점과 끝지점은 AR 브라우저 화면의 랜더링 모듈을 통해 표시하는 것을 특징으로 하는 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템.
  5. 제 2항에 있어서,
    상기 선택영역확정부(160)는,
    사용자가 영역 선택 시작 이후에 특정 임계값 이상 이동한 뒤 특정 시간 동안 동작 변화가 없다면 영역 선택의 끝지점을 판단하는 것을 특징으로 하는 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템.
PCT/KR2012/002542 2012-02-28 2012-04-04 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템 WO2013129730A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0020077 2012-02-28
KR1020120020077A KR101317925B1 (ko) 2012-02-28 2012-02-28 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템

Publications (1)

Publication Number Publication Date
WO2013129730A1 true WO2013129730A1 (ko) 2013-09-06

Family

ID=49082903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/002542 WO2013129730A1 (ko) 2012-02-28 2012-04-04 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템

Country Status (2)

Country Link
KR (1) KR101317925B1 (ko)
WO (1) WO2013129730A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074545A (ja) * 2004-09-03 2006-03-16 Fuji Xerox Co Ltd 画像出力装置および画像出力方法
KR20100075281A (ko) * 2008-12-24 2010-07-02 전자부품연구원 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
KR20100119440A (ko) * 2009-04-30 2010-11-09 엘지전자 주식회사 이동 단말기의 표시 방법 및 그 장치
KR20110012510A (ko) * 2009-07-30 2011-02-09 에스케이 텔레콤주식회사 증강 현실 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR20110033318A (ko) * 2009-09-25 2011-03-31 주식회사 제노프릭스 영상인식을 이용한 가상마우스 시스템
KR20110099461A (ko) * 2010-03-02 2011-09-08 (주)실리콘화일 포인팅 제어 장치 및 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060134337A (ko) * 2005-06-22 2006-12-28 에스케이 텔레콤주식회사 위치기반 이미지패턴 검색 서비스 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074545A (ja) * 2004-09-03 2006-03-16 Fuji Xerox Co Ltd 画像出力装置および画像出力方法
KR20100075281A (ko) * 2008-12-24 2010-07-02 전자부품연구원 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
KR20100119440A (ko) * 2009-04-30 2010-11-09 엘지전자 주식회사 이동 단말기의 표시 방법 및 그 장치
KR20110012510A (ko) * 2009-07-30 2011-02-09 에스케이 텔레콤주식회사 증강 현실 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR20110033318A (ko) * 2009-09-25 2011-03-31 주식회사 제노프릭스 영상인식을 이용한 가상마우스 시스템
KR20110099461A (ko) * 2010-03-02 2011-09-08 (주)실리콘화일 포인팅 제어 장치 및 제어 방법

Also Published As

Publication number Publication date
KR20130098509A (ko) 2013-09-05
KR101317925B1 (ko) 2013-10-16

Similar Documents

Publication Publication Date Title
WO2014030902A1 (en) Input method and apparatus of portable device
WO2019088737A1 (en) Method and device for performing remote control
WO2017118075A1 (zh) 人机交互系统、方法及装置
WO2009157633A1 (en) Registration method of reference gesture data, driving method of mobile terminal, and mobile terminal thereof
WO2012111976A2 (ko) 표시면에 포인터를 사용하지 않는 가상 터치 장치
WO2016107231A1 (zh) 一种3d场景中输入手势的系统和方法
WO2012154001A2 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
WO2015126197A1 (ko) 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
WO2013089490A1 (ko) 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법
WO2014133251A1 (ko) 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
WO2015190742A1 (ko) 카메라를 통한 가상 버튼 구현방법, 장치 및 컴퓨터 판독가능 기록매체
WO2015050288A1 (ko) 소셜 증강현실 서비스 시스템 및 방법
WO2017107445A1 (zh) 在虚拟现实系统中获得沉浸感的方法、系统及智能手套
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
CN108646925B (zh) 一种分体式头戴显示器系统及交互方法
WO2021258862A1 (zh) 打字方法及装置、设备、存储介质
WO2012034469A1 (zh) 基于手势的人机交互方法及系统、计算机存储介质
WO2023224433A1 (en) Information generation method and device
WO2013129730A1 (ko) 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템
JP2013186750A (ja) 通信機器、通信方法およびプログラム
WO2023177193A1 (ko) 라이브 경매의 사용자 인터페이스 구현 장치 및 방법
KR20090060698A (ko) 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그제어 방법
WO2020050432A1 (ko) 이동 단말기
WO2018124671A1 (en) Electronic device and operation method thereof
WO2021251761A1 (ko) 아바타 로봇을 이용한 비대면 범용원격플랫폼 제공 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12870259

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12870259

Country of ref document: EP

Kind code of ref document: A1