KR101276313B1 - Communication protocol transaction system of mobile and server for image recognition - Google Patents

Communication protocol transaction system of mobile and server for image recognition Download PDF

Info

Publication number
KR101276313B1
KR101276313B1 KR1020130021448A KR20130021448A KR101276313B1 KR 101276313 B1 KR101276313 B1 KR 101276313B1 KR 1020130021448 A KR1020130021448 A KR 1020130021448A KR 20130021448 A KR20130021448 A KR 20130021448A KR 101276313 B1 KR101276313 B1 KR 101276313B1
Authority
KR
South Korea
Prior art keywords
mobile terminal
image
server
communication protocol
content
Prior art date
Application number
KR1020130021448A
Other languages
Korean (ko)
Inventor
이재영
온기원
맹한민
이동희
Original Assignee
주식회사 케이쓰리아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이쓰리아이 filed Critical 주식회사 케이쓰리아이
Priority to KR1020130021448A priority Critical patent/KR101276313B1/en
Application granted granted Critical
Publication of KR101276313B1 publication Critical patent/KR101276313B1/en
Priority to PCT/KR2013/011577 priority patent/WO2014133252A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A communication protocol processing system between a mobile terminal and a server for visual recognition is provided to clarify content transceiving between a mobile terminal and a pose location region processing server by receiving an image recognition result processed in the pose location region processing server as an agreement defined in the mobile terminal. CONSTITUTION: When the same image between an image screen capture file transmitted from a mobile terminal(200) and stored information, a pose location region communication protocol processing unit aligns a 3×3 matrix value generated from the stored image of the file using homography and recognizes outline information of a region in which the stored image is located. The server calculates a contents center value and expresses a path of a contents file in which a part recognized in the file is augmented. [Reference numerals] (100) Pose location region processing server; (200) Mobile terminal; (AA) Screen-captured file; (BB) Pose location region communication protocol

Description

영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템{Communication Protocol transaction system of Mobile and server for Image Recognition.}Communication Protocol transaction system of Mobile and server for Image Recognition.

본 발명은 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템에 관한 것으로서, 더욱 상세하게는 증강현실을 구현하는데 있어 모바일단말기에서 촬영된 영상을 파일로 저장하여 네트워크를 통하여 포즈위치영역처리서버로 전송하고 전송받은 영상을 포즈위치영역처리서버에서 분석하여 인식결과에 대한 정보를 네트워크를 통하여 모바일단말기로 다시 전송하는 방식으로 포즈위치영역처리서버로부터 생성된 정보를 모바일단말기로 전송받기 위한 통신 프로토콜을 제공하기 위한 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템에 관한 것이다.
The present invention relates to a communication protocol processing system between a mobile terminal and a server for image recognition, and more particularly, to implementing augmented reality, to store a video taken by a mobile terminal as a file and to a pose location processing server through a network. A communication protocol for receiving information generated from the pause location processing server and transmitting the information on the recognition result to the mobile terminal through the network by analyzing the transmitted and received images at the pause location processing server. The present invention relates to a communication protocol processing system between a mobile terminal and a server for image recognition.

증강현실(Augmented Reality)는 현실 세계의 정보 위에 가상의 부가 정보를 합쳐 새로운 환경을 만들어 보여준다. Augmented Reality combines virtual additional information with information from the real world to create a new environment.

증강현실은 현실 정보 위에 원하는 가상의 정보를 정합함(register)으로써 현실 정보와 가상의 정보를 동시에 나타내어 준다.Augmented reality displays real information and virtual information at the same time by registering desired virtual information on the real information.

증강 현실의 다양한 분야에서 이 기술을 응용하려는 움직임을 보여 왔으며 최근에는 주로 모바일 기기 성능의 향상과 더불어 부각되고 있다.There has been a movement to apply this technology in various fields of augmented reality, and in recent years, it is mainly focused on improving mobile device performance.

기존의 증강현실 시스템에서는 실사영상으로부터 추적 대상이 되는 이미지를 인지하고, 그에 따른 상대적 위치, 방향 등을 영상 입력 장치로부터 상대적 데이터를 얻어낸다. Existing augmented reality system recognizes the image to be tracked from the live image and obtains relative data from the image input device.

이를 바탕으로 가상의 객체가 보여질 형태 및 위치를 예측하여 이를 실사영상에 정합하는 방식을 사용한다. Based on this, we predict the shape and location of the virtual object and match it to the real image.

대상의 이미지의 인지와 이러한 상대적 위치를 쉽게 계산하기 위해서 이미 규정한 형식의 모양으로 되어 있는 마커를 이용하는 방식이 좀 더 많이 이용되고 있다.In order to easily recognize the image of the object and to calculate the relative position, a method using a marker in the form of a prescribed form is being used more and more.

그러나 증강현실의 트래킹의 대상이 되는 객체가 미리 정해진 패턴인 마커를 보유하고 있어야 한다는 점에서 현실적 제약이 많이 따른다.However, there are many practical limitations in that the object to be augmented reality tracking must have a predetermined pattern of markers.

따라서 이와 같은 마커가 필요없는 비마커 기반의 연구가 활발히 진행 중이나 트래킹시 외부적 요인에 많이 영향을 받는다는 점과 트래킹시 비교 대상이 기하급수적으로 늘어나는 점 등 여러 가지 어려움이 있다.Therefore, there are various difficulties such as non-marker-based research that does not require such markers, but it is affected by external factors during tracking and exponential increase in tracking.

따라서, 서버에서 처리된 영상인식 결과를 모바일단말기에서 수신받게 되면 정해진 규약으로 제공받아야 하므로 주고받는 내용이 명확해져야 하지만, 네트워크상의 문제점으로 인하여 정확한 트래킹을 제공하지 않는 문제점이 발생하게 된다.Therefore, when the image recognition result processed by the server is received by the mobile terminal, it should be provided with a predetermined protocol, so the contents to be transmitted and received should be clear, but the problem of not providing accurate tracking due to network problems occurs.

또한, 화면상에 인식된 구간 표현이 불가능하며, 모바일단말기에서는 컨텐츠 표현에 많은 제약을 받게 되어 컨텐츠 제공상의 제약을 받을 수 밖에 없었다.
In addition, it is impossible to express the section recognized on the screen, and the mobile terminal has a lot of limitations on the content expression, and thus, the limitation on the provision of the contents has to be limited.

없음.none.

따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 목적은 포즈위치영역처리서버에서 처리된 영상인식 결과를 모바일단말기에서 정해진 규약으로 제공받도록 함으로써, 모바일단말기와 포즈위치영역처리서버 간에 주고 받는 내용이 명확해지도록 하는데 있다.Therefore, the present invention has been proposed in view of the problems of the prior art as described above, and an object of the present invention is to receive the image recognition result processed by the pose position area processing server by the mobile terminal, and the mobile terminal and the pose position. The purpose is to make the contents sent and received between zone processing servers clear.

본 발명의 다른 목적은 모바일단말기에서 포즈위치영역처리서버에 의해 처리된 포즈값을 이용하여 트래킹이 가능하도록 하는데 있다.Another object of the present invention is to enable tracking using a pose value processed by a pose position region processing server in a mobile terminal.

본 발명의 또 다른 목적은 위치 영역을 활용하여 화면에 인식된 구간 표현이 가능하도록 하는데 있다.Another object of the present invention is to enable the representation of the recognized section on the screen by using the location area.

본 발명의 또 다른 목적은 컨텐츠의 중앙 위치와 컨텐츠 유알엘(URL)을 이용하여 모바일단말기에서 컨텐츠 표현에 제약받지 않도록 하는데 있다.
Still another object of the present invention is to prevent content representation in a mobile terminal by using a central location of a content and a content URL.

본 발명이 해결하고자 하는 과제를 달성하기 위하여,In order to achieve the object of the present invention,

본 발명의 일실시예에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템은,Communication protocol processing system between the mobile terminal and the server for image recognition according to an embodiment of the present invention,

카메라부를 구성하고 있으며, 카메라부를 통해 획득된 영상 화면 캡쳐 파일을 포즈위치영역처리서버로 전송하며, 포즈위치영역처리서버로부터 처리된 포즈위치 영역을 포함한 영상 화면 캡쳐 파일을 수신받기 위한 모바일단말기(200)와;The mobile terminal 200 transmits an image screen capture file acquired through the camera unit to a pose position region processing server, and receives an image screen capture file including a pose position region processed from a pose position region processing server. )Wow;

상기 모바일단말기로부터 전송된 영상 화면 캡쳐 파일과 저장된 영상 정보를 비교하여 같은 영상이 존재할 경우에 2차원 평면 형태로 바꾸는 호모그라피를 이용하여 생성된 3x3 행렬 값을 정렬하며, 모바일단말기에서 촬영된 영상 화면 캡쳐 파일의 저장된 영상이 위치하는 영역의 외곽 정보를 인식하여 인식된 영상 영역에 컨텐츠를 표시하기 위하여 사용되는 컨텐츠 중심값을 계산하며, 모바일단말기에서 촬영된 영상 화면 캡쳐 파일에서 인식된 부분에 증강되어 표현해줄 컨텐츠 파일 경로를 표현하는 포즈위치영역통신프로토콜처리부(110)를 포함하여 구성되는 포즈위치영역처리서버(100);를 포함하여 구성되어 본 발명의 과제를 해결하게 된다.
Compares the image screen capture file transmitted from the mobile terminal with the stored image information, and arranges the 3x3 matrix values generated by using homography to change the two-dimensional plane form when the same image exists, and the image screen photographed by the mobile terminal It calculates the content center value used to display the content in the recognized image area by recognizing the outer information of the area where the stored image of the capture file is located, and is augmented in the recognized part of the image screen capture file captured by the mobile terminal. The pose position region processing server 100 is configured to include a pose position region communication protocol processing unit 110 for expressing a content file path to be expressed.

이상의 구성 및 작용을 지니는 본 발명에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템은,Communication protocol processing system between the mobile terminal and the server for image recognition according to the present invention having the above configuration and action,

포즈위치영역처리서버에서 처리된 영상인식 결과를 모바일단말기에서 정해진 규약으로 제공받도록 함으로써, 모바일단말기와 포즈위치영역처리서버 간에 주고 받는 내용이 명확해지도록 하여 전송시 문제점을 해결하게 된다.By receiving the image recognition result processed by the pose position region processing server in the mobile terminal with the specified protocol, the contents transmitted and received between the mobile terminal and the pose position region processing server become clear, thereby solving the problem of transmission.

또한, 모바일단말기에서 포즈위치영역처리서버에 의해 처리된 포즈값을 이용하여 트래킹이 가능한 효과를 제공하게 된다.In addition, by using the pose value processed by the pose position area processing server in the mobile terminal to provide an effect that can be tracked.

또한, 위치 영역을 활용하여 화면에 인식된 구간 표현이 가능한 효과를 제공하게 된다.In addition, it provides an effect that can be expressed in the section recognized on the screen by using the location area.

또한, 컨텐츠의 중앙 위치와 컨텐츠 유알엘(URL)을 이용하여 모바일단말기에서 컨텐츠 표현에 제약받지 않도록 하는 효과를 제공하게 된다.
In addition, by using the central location and the content URL (URL) of the content to provide an effect that the mobile terminal is not limited to the content representation.

도 1은 본 발명의 일실시예에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템의 전체 구성도이다.
도 2는 본 발명의 일실시예에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템의 모바일단말기 블록도이다.
도 3은 본 발명의 일실시예에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템의 포즈위치영역통신프로토콜처리부 블록도이다.
도 4는 본 발명의 일실시예에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템의 동일 영상인지를 인식하는 예를 나타낸 것이다.
도 5는 본 발명의 일실시예에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템의 포즈 예를 나타낸 것이다.
도 6은 본 발명의 일실시예에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템의 컨텐츠 중앙 위치, 위치 영역, 컨텐츠 유알엘을 처리하는 예를 나타낸 것이다.
도 7은 본 발명의 일실시예에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템의 컨텐츠 중앙 위치, 위치 영역, 컨텐츠 유알엘이 처리되어 모바일단말기 화면에 표시되는 예를 나타낸 것이다.1 is an overall configuration diagram of a communication protocol processing system between a mobile terminal and a server for image recognition according to an embodiment of the present invention.
2 is a block diagram of a mobile terminal of a communication protocol processing system between a mobile terminal and a server for image recognition according to an embodiment of the present invention.
3 is a block diagram of a pause location communication protocol processing unit of a communication protocol processing system between a mobile terminal and a server for image recognition according to an embodiment of the present invention.
Figure 4 shows an example of recognizing whether the same image of the communication protocol processing system between the mobile terminal and the server for image recognition according to an embodiment of the present invention.
5 illustrates an example of a pose of a communication protocol processing system between a mobile terminal and a server for image recognition according to an embodiment of the present invention.
6 illustrates an example of processing a content center location, a location area, and a content URL of a communication protocol processing system between a mobile terminal and a server for image recognition according to an embodiment of the present invention.
FIG. 7 illustrates an example in which a content center location, a location area, and a content URL of a communication protocol processing system between a mobile terminal and a server for image recognition according to an embodiment of the present invention are processed and displayed on the screen of the mobile terminal.

상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템은,Communication protocol processing system between a mobile terminal and a server for image recognition according to an embodiment of the present invention for achieving the above object,

카메라부를 구성하고 있으며, 카메라부를 통해 획득된 영상 화면 캡쳐 파일을 포즈위치영역처리서버로 전송하며, 포즈위치영역처리서버로부터 처리된 포즈위치 영역을 포함한 영상 화면 캡쳐 파일을 수신받기 위한 모바일단말기(200)와;The mobile terminal 200 transmits an image screen capture file acquired through the camera unit to a pose position region processing server, and receives an image screen capture file including a pose position region processed from a pose position region processing server. )Wow;

상기 모바일단말기로부터 전송된 영상 화면 캡쳐 파일과 저장된 영상 정보를 비교하여 같은 영상이 존재할 경우에 2차원 평면 형태로 바꾸는 호모그라피를 이용하여 생성된 3x3 행렬 값을 정렬하며, 모바일단말기에서 촬영된 영상 화면 캡쳐 파일의 저장된 영상이 위치하는 영역의 외곽 정보를 인식하여 인식된 영상 영역에 컨텐츠를 표시하기 위하여 사용되는 컨텐츠 중심값을 계산하며, 모바일단말기에서 촬영된 영상 화면 캡쳐 파일에서 인식된 부분에 증강되어 표현해줄 컨텐츠 파일 경로를 표현하는 포즈위치영역통신프로토콜처리부(110)를 포함하여 구성되는 포즈위치영역처리서버(100);를 포함하여 구성되는 것을 특징으로 한다.Compares the image screen capture file transmitted from the mobile terminal with the stored image information, and arranges the 3x3 matrix values generated by using homography to change the two-dimensional plane form when the same image exists, and the image screen photographed by the mobile terminal It calculates the content center value used to display the content in the recognized image area by recognizing the outer information of the area where the stored image of the capture file is located, and is augmented in the recognized part of the image screen capture file captured by the mobile terminal. And a pose position region processing server 100 including a pose position region communication protocol processing unit 110 for expressing a content file path to be expressed.

이때, 상기 모바일단말기(200)는,At this time, the mobile terminal 200,

영상 정보를 획득하기 위한 카메라부(210)와,A camera unit 210 for acquiring image information,

상기 카메라부를 통해 획득된 영상을 캡쳐 파일로 변환하는 영상화면캡쳐부(220)와,An image screen capture unit 220 for converting an image acquired through the camera unit into a capture file;

상기 변환된 영상 화면 캡쳐 파일을 포즈위치영역처리서버로 전송하며, 포즈위치영역처리서버로부터 획득된 포즈위치 영역을 포함한 영상 화면 캡쳐 파일을 수신받기 위한 통신부(230)를 포함하여 구성되는 것을 특징으로 한다.And a communication unit 230 for transmitting the converted video screen capture file to a pose position region processing server and receiving a video screen capture file including a pose position region obtained from the pose position region processing server. do.

이때, 상기 포즈위치영역통신프로토콜처리부(110)는,At this time, the pause position area communication protocol processing unit 110,

영상 정보를 저장하고 있는 영상정보디비(111)와,A video information DB 111 for storing video information;

모바일단말기로부터 전송된 영상 화면 캡쳐 파일을 수신받아 상기 영상정보디비에 존재하는 영상 정보와 비교하여 동일 영상이 존재하는지를 판단하는 동일영상존재판단부(112)와,The same image existence determination unit 112 for receiving the video screen capture file transmitted from the mobile terminal to determine whether the same image exists by comparing with the video information present in the video information DB,

동일 영상이 존재할 경우에 2차원 평면 형태로 바꾸는 호모그라피를 이용하여 생성된 3x3 행렬 값을 순서대로 정렬하기 위한 포즈정렬부(113)와,A pose alignment unit 113 for sequentially arranging 3x3 matrix values generated by using homography that changes to a two-dimensional plane form when the same image exists;

모바일단말기에서 촬영된 영상 화면 캡쳐 파일의 저장된 영상이 위치하는 영역의 외곽 정보를 구하기 위한 위치영역지정부(114)와,A location area designation unit 114 for obtaining outlying information of an area in which a stored image of an image screen capture file photographed by a mobile terminal is located;

모바일단말기에서 촬영된 영상에서 인식된 영상 영역에 컨텐츠를 표시하기 위하여 사용되는 컨텐츠 중심값을 구하기 위한 컨텐츠중앙위치지정부(115)와,A content central position designation unit 115 for obtaining a content center value used to display content in an image region recognized from an image photographed by a mobile terminal;

모바일단말기에서 촬영된 영상 화면 캡쳐 파일에서 인식된 부분에 증강되어 표현해줄 컨텐츠 파일 경로를 표현하기 위한 컨텐츠유알엘표현부(116)를 포함하여 구성되는 것을 특징으로 한다.And a content UEL expressing unit 116 for expressing a content file path to be augmented and expressed in the recognized part of the image screen capture file photographed by the mobile terminal.

이때, 상기 모바일단말기는,At this time, the mobile terminal,

포즈위치영역통신프로토콜처리부에서 처리된 포즈 값을 이용하여 트래킹하는 것을 특징으로 한다.It is characterized by tracking using the pose value processed by the pause position area communication protocol processor.

이때, 상기 모바일단말기는,At this time, the mobile terminal,

포즈위치영역통신프로토콜처리부에서 처리된 위치 영역을 활용하여 인식된 구간 표현이 가능한 것을 특징으로 한다.The pause position region communication protocol processing unit may utilize the position region processed by the recognized section representation.

이때, 상기 모바일단말기는,At this time, the mobile terminal,

포즈위치영역통신프로토콜처리부에서 처리된 컨텐츠의 중앙 위치와 컨텐츠 유알엘을 이용하여 컨텐츠가 화면에 표시되는 것을 특징으로 한다.The content is displayed on the screen by using the central position of the content processed by the pause position area communication protocol processing unit and the content URL.

이하, 본 발명에 의한 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템의 실시예를 통해 상세히 설명하도록 한다.Hereinafter, an embodiment of a communication protocol processing system between a mobile terminal and a server for image recognition according to the present invention will be described in detail.

도 1은 본 발명의 일실시예에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템의 전체 구성도이다.1 is an overall configuration diagram of a communication protocol processing system between a mobile terminal and a server for image recognition according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명의 시스템은 카메라부를 구성하고 있으며, 카메라부를 통해 획득된 영상 화면 캡쳐 파일을 포즈위치영역처리서버로 전송하며, 포즈위치영역처리서버로부터 처리된 포즈위치 영역을 포함한 영상 화면 캡쳐 파일을 수신받기 위한 모바일단말기(200)와;As shown in FIG. 1, the system of the present invention comprises a camera unit, and transmits a video screen capture file obtained through the camera unit to a pose position region processing server, and displays a pose position region processed from the pose position region processing server. A mobile terminal 200 for receiving an image screen capture file including;

상기 모바일단말기로부터 전송된 영상 화면 캡쳐 파일과 저장된 영상 정보를 비교하여 같은 영상이 존재할 경우에 2차원 평면 형태로 바꾸는 호모그라피를 이용하여 생성된 3x3 행렬 값을 정렬하며, 모바일단말기에서 촬영된 영상 화면 캡쳐 파일의 저장된 영상이 위치하는 영역의 외곽 정보를 인식하여 인식된 영상 영역에 컨텐츠를 표시하기 위하여 사용되는 컨텐츠 중심값을 계산하며, 모바일단말기에서 촬영된 영상 화면 캡쳐 파일에서 인식된 부분에 증강되어 표현해줄 컨텐츠 파일 경로를 표현하는 포즈위치영역통신프로토콜처리부(110)를 포함하여 구성되는 포즈위치영역처리서버(100);를 포함하여 구성되게 된다.Compares the image screen capture file transmitted from the mobile terminal with the stored image information, and arranges the 3x3 matrix values generated by using homography to change the two-dimensional plane form when the same image exists, and the image screen photographed by the mobile terminal It calculates the content center value used to display the content in the recognized image area by recognizing the outer information of the area where the stored image of the capture file is located, and is augmented in the recognized part of the image screen capture file captured by the mobile terminal. And a pose position region processing server 100 including a pose position region communication protocol processing unit 110 for expressing a content file path to be expressed.

상기 모바일단말기는 본 발명의 포즈 위치영역 통신프로토콜을 이용하여 서버와 통신할 수 있는 단말기로, 예를 들면, 모바일폰, 스마트폰, 태블릿 컴퓨터, 노트북 등의 이동 통신 단말기일 수 있다. The mobile terminal is a terminal capable of communicating with a server using the pause location area communication protocol of the present invention. For example, the mobile terminal may be a mobile communication terminal such as a mobile phone, a smartphone, a tablet computer, a notebook computer, and the like.

또한, 포즈위치영역처리서버(100)는 무선 광대역 네트워크를 통하여 네트워크에 접속하여 상기 모바일단말기와 연결될 수 있다.In addition, the pause location processing server 100 may be connected to the mobile terminal by accessing the network through a wireless broadband network.

이때, 상기 영상정보디비(111)에는 영상 정보를 저장하고 있는데, 상기 모바일단말기에 포즈 위치 영역 통신 프로토콜에서 처리된 정보를 제공하여 증강 현실을 구현할 수 있게 되는 것이다.At this time, the image information DB 111 stores the image information, and the mobile terminal can implement the augmented reality by providing information processed in the pose position area communication protocol.

도 2는 본 발명의 일실시예에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템의 모바일단말기 블록도이다.2 is a block diagram of a mobile terminal of a communication protocol processing system between a mobile terminal and a server for image recognition according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 상기 모바일단말기(200)는,As shown in Figure 2, the mobile terminal 200,

영상 정보를 획득하기 위한 카메라부(210)와,A camera unit 210 for acquiring image information,

상기 카메라부를 통해 획득된 영상을 캡쳐 파일로 변환하는 영상화면캡쳐부(220)와,An image screen capture unit 220 for converting an image acquired through the camera unit into a capture file;

상기 변환된 영상 화면 캡쳐 파일을 포즈위치영역처리서버로 전송하며, 포즈위치영역처리서버로부터 획득된 포즈위치 영역을 포함한 영상 화면 캡쳐 파일을 수신받기 위한 통신부(230)를 포함하여 구성되게 된다.The converted video screen capture file is transmitted to a pose position region processing server, and includes a communication unit 230 for receiving an image screen capture file including a pose position region obtained from the pose position region processing server.

상기 카메라부(210)를 통해 영상 정보를 획득하게 되면, 영상화면캡쳐부(220)에서 카메라부를 통해 획득된 영상을 캡쳐 파일로 변환하게 된다.When the image information is acquired through the camera unit 210, the image screen capture unit 220 converts the image acquired through the camera unit into a capture file.

이후에 통신부(230)를 통해 변환된 영상 화면 캡쳐 파일을 포즈위치영역처리서버로 전송하며, 포즈위치영역처리서버로부터 획득된 포즈위치 영역을 포함한 영상 화면 캡쳐 파일을 수신받아 화면에 표시하게 된다.Thereafter, the converted image screen capture file is transmitted to the pose position region processing server through the communication unit 230, and the image screen capture file including the pose position region obtained from the pose position region processing server is received and displayed on the screen.

도 3은 본 발명의 일실시예에 따른 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템의 포즈위치영역통신프로토콜처리부 블록도이다.3 is a block diagram of a pause location communication protocol processing unit of a communication protocol processing system between a mobile terminal and a server for image recognition according to an embodiment of the present invention.

도 3에 도시한 바와 같이, 상기 포즈위치영역통신프로토콜처리부(110)는,As shown in FIG. 3, the pause position area communication protocol processing unit 110,

영상 정보를 저장하고 있는 영상정보디비(111)와,A video information DB 111 for storing video information;

모바일단말기로부터 전송된 영상 화면 캡쳐 파일을 수신받아 상기 영상정보디비에 존재하는 영상 정보와 비교하여 동일 영상이 존재하는지를 판단하는 동일영상존재판단부(112)와,The same image existence determination unit 112 for receiving the video screen capture file transmitted from the mobile terminal to determine whether the same image exists by comparing with the video information present in the video information DB,

동일 영상이 존재할 경우에 2차원 평면 형태로 바꾸는 호모그라피를 이용하여 생성된 3x3 행렬 값을 순서대로 정렬하기 위한 포즈정렬부(113)와,A pose alignment unit 113 for sequentially arranging 3x3 matrix values generated by using homography that changes to a two-dimensional plane form when the same image exists;

모바일단말기에서 촬영된 영상 화면 캡쳐 파일의 저장된 영상이 위치하는 영역의 외곽 정보를 구하기 위한 위치영역지정부(114)와,A location area designation unit 114 for obtaining outlying information of an area in which a stored image of an image screen capture file photographed by a mobile terminal is located;

모바일단말기에서 촬영된 영상에서 인식된 영상 영역에 컨텐츠를 표시하기 위하여 사용되는 컨텐츠 중심값을 구하기 위한 컨텐츠중앙위치지정부(115)와,A content central position designation unit 115 for obtaining a content center value used to display content in an image region recognized from an image photographed by a mobile terminal;

모바일단말기에서 촬영된 영상 화면 캡쳐 파일에서 인식된 부분에 증강되어 표현해줄 컨텐츠 파일 경로를 표현하기 위한 컨텐츠유알엘표현부(116)를 포함하여 구성되는 것을 특징으로 한다.And a content UEL expressing unit 116 for expressing a content file path to be augmented and expressed in the recognized part of the image screen capture file photographed by the mobile terminal.

구체적으로 설명하자면, 상기 동일영상존재판단부(112)는 모바일단말기로부터 전송된 영상 화면 캡쳐 파일을 수신받아 상기 영상정보디비에 존재하는 영상 정보와 비교하여 동일 영상이 존재하는지를 판단하게 된다.Specifically, the same image existence determination unit 112 receives the image screen capture file transmitted from the mobile terminal and compares the image information existing in the image information DB to determine whether the same image exists.

즉, 도 4에 도시한 바와 같이, 모바일단말기에서 전송받은 촬영된 캡쳐 화면과 포즈위치영역처리서버의 영상정보디비에 저장된 영상 정보를 비교하여 같은(동일) 영상이 존재할 경우에 예를 들어 '1'로 같은 영상이 존재하지 않을 경우에 '0'으로 처리하게 되는 것이다.That is, as shown in FIG. 4, when the captured image transmitted from the mobile terminal is compared with the image information stored in the image information DB of the pose position region processing server, the same (same) image exists, for example, '1'. If the same image does not exist, it is processed as '0'.

만약 '1'로 처리하게 되면 상기 포즈정렬부에 동작 명령을 중앙제어부(미도시)에서 송출하여 포즈정렬부(113)에서 동일 영상이 존재할 경우에 2차원 평면 형태로 바꾸는 호모그라피를 이용하여 생성된 3x3 행렬 값을 순서대로 정렬하게 된다.If it is processed as '1', an operation command is sent from the central control unit (not shown) to the pose alignment unit, and generated by using homography to change to a two-dimensional plane form when the same image exists in the pose alignment unit 113. Sorted 3x3 matrix values in order.

즉, 도 5에 도시한 바와 같이, 인식된 포즈위치영역처리서버에 등록되어 있는 영상과 모바일단말기에서 촬영된 영상을 3차원 공간상의 한 평면을 바라보았을 때 실제 보여지는 2차원 평면 형태로 바꾸는 호모그라피를 이용하여 생성된 3*3의 2차원 행렬 값을 1행1열, 1행2열, 1행3열, 2행1열, 2행2열, 2행3열, 3행1열, 3행2열, 3행3열 순서로 정렬하게 된다.That is, as shown in FIG. 5, a homomorphism that changes the image registered in the recognized pose position region processing server and the image photographed by the mobile terminal into a two-dimensional plane shape actually seen when one plane in three-dimensional space is viewed. The 3 * 3 2D matrix values generated using the graphigraphy can be divided into 1 row 1 column, 1 row 2 column, 1 row 3 column, 2 row 1 column, 2 row 2 column, 2 row 3 column, 3 row 1 column, It will be sorted in 3 rows 2 columns, 3 rows 3 columns.

이후, 상기 위치영역지정부(114)는 도 6에 도시한 바와 같이, 모바일단말기에서 촬영된 영상 화면 캡쳐 파일의 포즈위치영역처리서버에 저장된 영상이 위치하는 영역의 외곽 정보를 구하게 된다.Thereafter, as shown in FIG. 6, the location area designation unit 114 obtains outside information of an area where an image stored in a pause location area processing server of an image screen capture file photographed by a mobile terminal is located.

즉, 위치 영역(30)을 구하게 되는 것이다.That is, the location area 30 is obtained.

예를 들어, 영상 왼쪽위 좌표 X값, 영상 왼쪽위 좌표 Y값, 영상 오른쪽위의 좌표 X값, 영상 오른쪽위 좌표 Y값, 영상 오른쪽아래의 좌표 X값, 영상 오른쪽아래 좌표 Y값, 영상 왼쪽아래 좌표 X값, 영상 왼쪽아래 좌표 Y값을 구하게 되는 것이다.For example, the upper-left coordinate X value of the image, the upper-left coordinate Y value of the image, the coordinate X value of the upper right image, the upper-right coordinate Y value of the image, the coordinate X value of the lower right image, the lower-right coordinate Y value of the image, and the left of the image. The lower coordinate X value and the lower left coordinate Y value are obtained.

이후, 도 6에 도시한 바와 같이, 컨텐츠중앙위치지정부(115)는 모바일단말기에서 촬영된 영상에서 인식된 영상 영역에 컨텐츠를 표시하기 위하여 사용되는 컨텐츠 중심값을 구하게 된다.Thereafter, as shown in FIG. 6, the content central location determining unit 115 obtains a content center value used to display content in an image region recognized in an image photographed by the mobile terminal.

즉, 도 6에 도시한 바와 같이, 컨텐츠 중앙 위치(40)를 구하게 되는 것이다.That is, as shown in FIG. 6, the content center position 40 is obtained.

예를 들어, 컨텐츠폭/2, 컨텐츠높이/2 지점을 중앙 위치로 선정하게 되는 것이다.For example, the content width / 2 and the content height / 2 points are selected as the central positions.

이후, 컨텐츠유알엘표현부(116)는 모바일단말기에서 촬영된 영상 화면 캡쳐 파일에서 인식된 부분에 증강되어 표현해줄 컨텐츠 파일 경로를 표현하게 된다.Thereafter, the content UEL expression unit 116 expresses a content file path to be augmented and expressed in the recognized part of the image screen capture file captured by the mobile terminal.

즉, 도 6에 도시한 바와 같이, 컨텐츠 유알엘(URL, 50)을 표현하게 되는 것이다.That is, as shown in FIG. 6, the content URL (URL) 50 is expressed.

구체적으로 컨텐츠가 위치한 경로값을 입력하게 되는 것이다.In more detail, a path value where content is located is input.

상기와 같이 처리하게 되면, 도 7에 도시한 바와 같은 위치영역과 컨텐츠 중앙 위치와 컨텐츠 유알엘이 표현된 정보를 모바일단말기에서 획득하게 된다.When the processing is performed as described above, the mobile terminal acquires information representing the location area, the content center location, and the content URL as shown in FIG. 7.

따라서, 모바일단말기는 포즈위치영역통신프로토콜처리부에서 처리된 포즈 값을 이용하여 트래킹하게 되며, 포즈위치영역통신프로토콜처리부에서 처리된 위치 영역을 활용하여 인식된 구간 표현이 가능한 효과를 제공할 수 있게 된다.Accordingly, the mobile terminal tracks using the pose value processed by the pose position area communication protocol processor, and can provide an effect capable of expressing a recognized section by utilizing the position area processed by the pose position area communication protocol processor. .

상기와 같은 구성 및 동작을 통해 포즈위치영역처리서버에서 처리된 영상인식 결과를 모바일단말기에서 정해진 규약으로 제공받도록 함으로써, 모바일단말기와 포즈위치영역처리서버 간에 주고 받는 내용이 명확해지도록 하여 전송시 문제점을 해결하게 된다.Through the configuration and operation as described above, the image recognition result processed by the pose position region processing server is provided by the mobile terminal as a predetermined protocol, so that the contents transmitted and received between the mobile terminal and the pose position region processing server become clear. Will be solved.

또한, 모바일단말기에서 포즈위치영역처리서버에 의해 처리된 포즈값을 이용하여 트래킹이 가능한 효과를 제공하게 된다.In addition, by using the pose value processed by the pose position area processing server in the mobile terminal to provide an effect that can be tracked.

상기와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. Those skilled in the art to which the present invention pertains as described above may understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential features of the present invention. Therefore, the above-described embodiments are to be understood as illustrative in all respects and not restrictive.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
The scope of the invention is indicated by the following claims rather than the above description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the invention. do.

100 : 포즈위치영역처리서버
110 : 포즈위치영역통신프로토콜처리부
200 : 모바일단말기100: pause position processing server
110: pause position area communication protocol processing unit
200: mobile terminal

Claims (6)

영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템에 있어서,
카메라부를 구성하고 있으며, 카메라부를 통해 획득된 영상 화면 캡쳐 파일을 포즈위치영역처리서버로 전송하며, 포즈위치영역처리서버로부터 처리된 포즈위치 영역을 포함한 영상 화면 캡쳐 파일을 수신받기 위한 모바일단말기(200)와;
상기 모바일단말기로부터 전송된 영상 화면 캡쳐 파일과 저장된 영상 정보를 비교하여 같은 영상이 존재할 경우에 2차원 평면 형태로 바꾸는 호모그라피를 이용하여 생성된 3x3 행렬 값을 정렬하며, 모바일단말기에서 촬영된 영상 화면 캡쳐 파일의 저장된 영상이 위치하는 영역의 외곽 정보를 인식하여 인식된 영상 영역에 컨텐츠를 표시하기 위하여 사용되는 컨텐츠 중심값을 계산하며, 모바일단말기에서 촬영된 영상 화면 캡쳐 파일에서 인식된 부분에 증강되어 표현해줄 컨텐츠 파일 경로를 표현하는 포즈위치영역통신프로토콜처리부(110)를 포함하여 구성되는 포즈위치영역처리서버(100);를 포함하여 구성되는 것을 특징으로 하는 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템.
In the communication protocol processing system between a mobile terminal and a server for image recognition,
The mobile terminal 200 transmits an image screen capture file acquired through the camera unit to a pose position region processing server, and receives an image screen capture file including a pose position region processed from a pose position region processing server. )Wow;
Compares the image screen capture file transmitted from the mobile terminal with the stored image information, and arranges the 3x3 matrix values generated by using homography to change the two-dimensional plane form when the same image exists, and the image screen photographed by the mobile terminal It calculates the content center value used to display the content in the recognized image area by recognizing the outer information of the area where the stored image of the capture file is located, and is augmented in the recognized part of the image screen capture file captured by the mobile terminal. Pose position region processing server 100 configured to include a pose position region communication protocol processing unit 110 for expressing the content file path to be expressed; Communication between the mobile terminal and the server for image recognition, comprising a Protocol processing system.
제 1항에 있어서,
상기 모바일단말기(200)는,
영상 정보를 획득하기 위한 카메라부(210)와,
상기 카메라부를 통해 획득된 영상을 캡쳐 파일로 변환하는 영상화면캡쳐부(220)와,
상기 변환된 영상 화면 캡쳐 파일을 포즈위치영역처리서버로 전송하며, 포즈위치영역처리서버로부터 획득된 포즈위치 영역을 포함한 영상 화면 캡쳐 파일을 수신받기 위한 통신부(230)를 포함하여 구성되는 것을 특징으로 하는 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템.
The method of claim 1,
The mobile terminal 200,
A camera unit 210 for acquiring image information,
An image screen capture unit 220 for converting an image acquired through the camera unit into a capture file;
And a communication unit 230 for transmitting the converted video screen capture file to a pose position region processing server and receiving a video screen capture file including a pose position region obtained from the pose position region processing server. Communication protocol processing system between a mobile terminal and a server for image recognition.
제 1항에 있어서,
상기 포즈위치영역통신프로토콜처리부(110)는,
영상 정보를 저장하고 있는 영상정보디비(111)와,
모바일단말기로부터 전송된 영상 화면 캡쳐 파일을 수신받아 상기 영상정보디비에 존재하는 영상 정보와 비교하여 동일 영상이 존재하는지를 판단하는 동일영상존재판단부(112)와,
동일 영상이 존재할 경우에 2차원 평면 형태로 바꾸는 호모그라피를 이용하여 생성된 3x3 행렬 값을 순서대로 정렬하기 위한 포즈정렬부(113)와,
모바일단말기에서 촬영된 영상 화면 캡쳐 파일의 저장된 영상이 위치하는 영역의 외곽 정보를 구하기 위한 위치영역지정부(114)와,
모바일단말기에서 촬영된 영상에서 인식된 영상 영역에 컨텐츠를 표시하기 위하여 사용되는 컨텐츠 중심값을 구하기 위한 컨텐츠중앙위치지정부(115)와,
모바일단말기에서 촬영된 영상 화면 캡쳐 파일에서 인식된 부분에 증강되어 표현해줄 컨텐츠 파일 경로를 표현하기 위한 컨텐츠유알엘표현부(116)를 포함하여 구성되는 것을 특징으로 하는 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템.
The method of claim 1,
The pause position area communication protocol processing unit 110,
A video information DB 111 for storing video information;
The same image existence determination unit 112 for receiving the video screen capture file transmitted from the mobile terminal to determine whether the same image exists by comparing with the video information present in the video information DB,
A pose alignment unit 113 for sequentially arranging 3x3 matrix values generated by using homography that changes to a two-dimensional plane form when the same image exists;
A location area designation unit 114 for obtaining outlying information of an area in which a stored image of an image screen capture file photographed by a mobile terminal is located;
A content central position designation unit 115 for obtaining a content center value used to display content in an image region recognized from an image photographed by a mobile terminal;
Between the mobile terminal and the server for image recognition, comprising a content UEL expressing unit 116 for expressing the content file path to be augmented in the recognized portion of the image screen capture file taken by the mobile terminal Communication protocol processing system.
제 1항에 있어서,
상기 모바일단말기는,
포즈위치영역통신프로토콜처리부에서 처리된 포즈 값을 이용하여 트래킹하는 것을 특징으로 하는 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템.
The method of claim 1,
The mobile terminal comprises:
A communication protocol processing system between a mobile terminal and a server for image recognition, characterized by tracking using a pause value processed by a pause position area communication protocol processing unit.
제 1항에 있어서,
상기 모바일단말기는,
포즈위치영역통신프로토콜처리부에서 처리된 위치 영역을 활용하여 인식된 구간 표현이 가능한 것을 특징으로 하는 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템.
The method of claim 1,
The mobile terminal comprises:
A communication protocol processing system between a mobile terminal and a server for image recognition, characterized in that a recognized section can be expressed by using a location area processed by a pause location area communication protocol processing unit.
제 1항에 있어서,
상기 모바일단말기는,
포즈위치영역통신프로토콜처리부에서 처리된 컨텐츠의 중앙 위치와 컨텐츠 유알엘을 이용하여 컨텐츠가 화면에 표시되는 것을 특징으로 하는 영상 인식을 위한 모바일단말기와 서버간의 통신 프로토콜 처리시스템.

The method of claim 1,
The mobile terminal comprises:
A communication protocol processing system between a mobile terminal and a server for image recognition, wherein a content is displayed on a screen using a central position of a content processed by a pause position area communication protocol processing unit and a content URL.

KR1020130021448A 2013-02-27 2013-02-27 Communication protocol transaction system of mobile and server for image recognition KR101276313B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130021448A KR101276313B1 (en) 2013-02-27 2013-02-27 Communication protocol transaction system of mobile and server for image recognition
PCT/KR2013/011577 WO2014133252A1 (en) 2013-02-27 2013-12-13 System for processing communication protocol between mobile terminal and server for recognizing images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130021448A KR101276313B1 (en) 2013-02-27 2013-02-27 Communication protocol transaction system of mobile and server for image recognition

Publications (1)

Publication Number Publication Date
KR101276313B1 true KR101276313B1 (en) 2013-06-18

Family

ID=48867266

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130021448A KR101276313B1 (en) 2013-02-27 2013-02-27 Communication protocol transaction system of mobile and server for image recognition

Country Status (2)

Country Link
KR (1) KR101276313B1 (en)
WO (1) WO2014133252A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150126752A (en) * 2014-05-02 2015-11-13 동아대학교 산학협력단 Content providing system and method having location information and location information providing apparatus thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100047990A (en) * 2008-10-30 2010-05-11 한양대학교 산학협력단 Mobile augmented reality system for interaction with 3d virtual objects and method thereof
KR20110126310A (en) * 2010-05-17 2011-11-23 에스디 솔루션스(주) Contents providing system and method by using mobile terminal
KR20120015036A (en) * 2010-08-11 2012-02-21 주식회사 저스트아이디어 System, user terminal unit and method for guiding display information using mobile device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100047990A (en) * 2008-10-30 2010-05-11 한양대학교 산학협력단 Mobile augmented reality system for interaction with 3d virtual objects and method thereof
KR20110126310A (en) * 2010-05-17 2011-11-23 에스디 솔루션스(주) Contents providing system and method by using mobile terminal
KR20120015036A (en) * 2010-08-11 2012-02-21 주식회사 저스트아이디어 System, user terminal unit and method for guiding display information using mobile device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150126752A (en) * 2014-05-02 2015-11-13 동아대학교 산학협력단 Content providing system and method having location information and location information providing apparatus thereof
KR101648026B1 (en) * 2014-05-02 2016-08-17 동아대학교 산학협력단 Content providing system and method having location information and location information providing apparatus thereof

Also Published As

Publication number Publication date
WO2014133252A1 (en) 2014-09-04

Similar Documents

Publication Publication Date Title
CN111417028B (en) Information processing method, information processing device, storage medium and electronic equipment
US11394950B2 (en) Augmented reality-based remote guidance method and apparatus, terminal, and storage medium
US10580206B2 (en) Method and apparatus for constructing three-dimensional map
CN107222529B (en) Augmented reality processing method, WEB module, terminal and cloud server
CN110716645A (en) Augmented reality data presentation method and device, electronic equipment and storage medium
US20160267662A1 (en) Camera and Sensor Augmented Reality Techniques
US9392248B2 (en) Dynamic POV composite 3D video system
JP2013164696A (en) Image processing device, image processing method and program
EP2814000A1 (en) Image processing apparatus, image processing method, and program
CN110866977B (en) Augmented reality processing method, device, system, storage medium and electronic equipment
CN105074776A (en) In situ creation of planar natural feature targets
JP2014106692A5 (en)
CN110033423B (en) Method and apparatus for processing image
TWI489326B (en) Operating area determination method and system
KR101276314B1 (en) Matching point extraction system using feature point of lsh algorithm and thereof
CN110800314B (en) Computer system, remote operation notification method, and recording medium
US11561651B2 (en) Virtual paintbrush implementing method and apparatus, and computer readable storage medium
US10861169B2 (en) Method, storage medium and electronic device for generating environment model
JP2013164697A (en) Image processing device, image processing method, program and image processing system
US20180020203A1 (en) Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium
KR20180120456A (en) Apparatus for providing virtual reality contents based on panoramic image and method for the same
KR101360999B1 (en) Real time data providing method and system based on augmented reality and portable terminal using the same
WO2015072091A1 (en) Image processing device, image processing method, and program storage medium
KR101276313B1 (en) Communication protocol transaction system of mobile and server for image recognition
US9916664B2 (en) Multi-spectrum segmentation for computer vision

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160503

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170526

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190528

Year of fee payment: 7