KR101794655B1 - Method and apparatus for providing augmented reality using improved image recognition form video - Google Patents

Method and apparatus for providing augmented reality using improved image recognition form video Download PDF

Info

Publication number
KR101794655B1
KR101794655B1 KR1020160117812A KR20160117812A KR101794655B1 KR 101794655 B1 KR101794655 B1 KR 101794655B1 KR 1020160117812 A KR1020160117812 A KR 1020160117812A KR 20160117812 A KR20160117812 A KR 20160117812A KR 101794655 B1 KR101794655 B1 KR 101794655B1
Authority
KR
South Korea
Prior art keywords
image
pattern information
augmented reality
target image
terminal
Prior art date
Application number
KR1020160117812A
Other languages
Korean (ko)
Inventor
남영진
류내원
Original Assignee
네오컨버전스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네오컨버전스 주식회사 filed Critical 네오컨버전스 주식회사
Priority to KR1020160117812A priority Critical patent/KR101794655B1/en
Application granted granted Critical
Publication of KR101794655B1 publication Critical patent/KR101794655B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • H04N13/0246
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N5/23229
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect

Abstract

The present invention relates to a method and an apparatus for providing an augmented reality by improving an image recognition rate in a video. In a method of allowing an apparatus for providing an augmented reality by improving an image recognition rate in a video to improve an image recognition rate in a video, the method of providing an augmented reality by improving an image recognition rate in a video according to an embodiment of the present invention includes a step of obtaining a captured image, a step of magnifying the captured image predetermined times, a step of performing image processing on a magnified captured image, and a step of obtaining target image pattern information from a processed captured image formed by performing the image processing.

Description

영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING AUGMENTED REALITY USING IMPROVED IMAGE RECOGNITION FORM VIDEO}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for enhancing an image recognition rate in an image,

본 발명은 영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 방법 및 장치에 관한 것이다.The present invention relates to a method and an apparatus for providing an augmented reality by improving an image recognition rate in an image.

증강현실(Augmented Reality, AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다. 증강현실은 또한 혼합현실(Mixed Reality, MR)이라고도 하는데, 비행기 제조사인 보잉사에서 1990년경 비행기 조립 과정에 가상의 이미지를 첨가하면서 증강현실이 처음으로 세상에 소개됐다.Augmented Reality (AR) is a technology that superimposes a 3D virtual image on a realistic image or background and displays it as a single image. Augmented Reality is also called Mixed Reality (MR), and augmented reality was introduced to the world for the first time in 1990 when Boeing, an airplane manufacturer, added a virtual image to the airplane assembly process.

증강현실과 가상현실은 서로 비슷하지만 그 주체가 허상이냐 실상이냐에 따라 명확히 구분된다. 컴퓨터 게임으로 예를 들면, 가상현실 격투 게임은 나를 대신하는 캐릭터가 가상의 공간에서 가상의 적과 대결하지만, 증강현실 격투 게임은 현실의 내가 현실의 공간에서 가상의 적과 대결을 벌이는 형태가 된다. 때문에 증강현실이 가상현실에 비해 현실감이 뛰어나다는 특징이 있다.Augmented reality and virtual reality are similar, but they are clearly distinguished according to whether they are virtual or real. As a computer game, for example, a virtual reality fighting game is a character that replaces me in an imaginary space, while an augmented reality fighting game is a form in which I confront a virtual enemy in a real space. Therefore, the augmented reality is more realistic than the virtual reality.

증강현실은 현재 일반인들에게도 널리 활용될 만큼 대중화된 상태다. 예를 들어, 인터넷을 통한 지도 검색, 위치 검색 등도 넓은 의미에서는 증강현실에 포함되며, 스마트폰이나 태블릿 PC 등의 휴대용 기기를 대상으로 한 증강현실 기술이 주목을 받기 시작하고 있는 실정이다.Augmented reality is popularized now widely used by the general public. For example, map search through the Internet and location search are included in augmented reality in a broad sense, and augmented reality technology targeting portable devices such as smart phones and tablet PCs is getting attention.

대한민국 등록특허 제10-1145890호(2012년05월07일)는 실시간으로 촬영된 동영상을 FPGA(Field Programmable Gate Array)에 의해 24bit의 병렬 영상신호로 입력받고, 입력받은 병렬 영상신호에 포함된 RGB 이미지와 기 설정된 메뉴영상을 중첩하여 생성한 증강현실 레이저 신호를 광학렌즈로 주사하며, RGB 이미지의 색상 및 초점을 분류하여 렌더링(rendering)을 통해 전체윤곽 이미지를 이진데이터로 수치화한 증강현실 이미지를 생성하는 증강현실 단말기(100); 및 정보통신망을 통해 접속된 증강현실 단말기(100)로부터 증강현실 이미지를 수신하여 동작설정DB(220)에 저장ㆍ관리하며, 기 저장된 동작이미지들을 증강현실 단말기(100)로 전송하는 증강현실 운용서버(200); 를 포함하되, 증강현실 단말기(100)는, 복수개의 동작이미지들 중에 증강현실 이미지와 일치하는 어느 하나의 동작이미지가 존재하는지 여부를 판단하여, 증강현실 이미지와 동작이미지가 일치하는 경우, 일치하는 동작이미지와 대응하도록 기 설정된 액션정보를 실행하여 메뉴 이미지를 갱신하는 것을 특징으로 하는 영상 입출력 기기를 통한 증강현실 시스템 및 그 제공 방법을 개시하고 있다.Korean Patent Registration No. 10-1145890 (May 07, 2012) receives a video captured in real time as a 24-bit parallel video signal by an FPGA (Field Programmable Gate Array) and receives RGB An augmented reality laser signal generated by superimposing an image and a predetermined menu image on an optical lens and classifying the color and focus of an RGB image and rendering the augmented reality image obtained by digitizing the entire outline image as binary data An augmented reality terminal (100) generating the augmented reality terminal; And an augmented reality server 100 that receives the augmented reality image from the augmented reality terminal 100 connected through an information communication network and stores and manages the augmented reality image in the operation setting DB 220 and transmits the stored operation images to the augmented reality terminal 100, (200); The augmented reality terminal 100 determines whether any one of the plurality of operation images has an operation image matching the augmented reality image. If the augmented reality image matches the operation image, And a menu image is updated by executing predetermined action information to correspond to an operation image. The augmented reality system using the video input / output device and the method for providing the augmented reality system are disclosed.

그러나, 종래에는 기존 영상을 그대로 사용하면서 추가하거나 편집 등의 작업을 추가적으로 하는 것이 없이 증강현실을 영상과 함께 효율적으로 제공하는데 어려움이 있었다.However, conventionally, there has been a difficulty in efficiently providing an augmented reality together with an image without adding additional operations such as editing or the like while using the existing image as it is.

본 발명이 이루고자 하는 기술적인 과제는 효율적으로 영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 방법 및 장치에 관한 것이다.SUMMARY OF THE INVENTION The present invention is directed to a method and apparatus for providing an augmented reality by improving the image recognition rate in an image efficiently.

본 발명의 일 실시예에 따른 영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 방법은 영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 장치가 영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 방법에 있어서, 캡쳐이미지를 획득하는 단계, 상기 켭쳐이미지를 기 설정된 배수로 확대하는 단계, 확대된 상기 캡쳐이미지인 확대 캡쳐이미지에 대해서 이미지 프로세싱을 수행하는 단계, 상기 이미지 프로세싱이 수행된 프로세싱 캡쳐이미지로부터 타겟이미지 패턴정보를 획득하는 단계를 포함한다.A method of providing an augmented reality by improving an image recognition rate in an image according to an embodiment of the present invention is a method of providing an augmented reality by improving an image recognition rate in an image, The method of claim 1, further comprising: obtaining a captured image; magnifying the powered-on image to a predetermined multiple; performing image processing on the enlarged captured image that is the enlarged captured image; And acquiring pattern information.

상기 이미지 프로세싱은 브라이트니스(Brightness) 및 콘트라스트(Contrast) 이미지 프로세싱인 것을 특징으로 한다.Wherein the image processing is Brightness and Contrast image processing.

본 발명의 일 실시예에 따른 영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 방법은 서버로부터 등록이미지 패턴정보를 수신하는 단계, 외부로부터 캡쳐명령을 수신하였거나, 기 설정된 상기 캡쳐명령이 있는지 확인하는 단계, 상기 외부로부터 상기 캡쳐명령을 수신하였거나, 기 설정된 상기 캡쳐명령이 있으면, 상기 영상으로부터 특정 영역을 캡쳐한 상기 캡쳐이미지를 생성하는 단계, 상기 캡쳐이미지로부터 타겟이미지 패턴정보를 획득하는 단계, 상기 타겟이미지 패턴정보와 상기 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하는지 확인하는 단계, 상기 타겟이미지 패턴정보와 상기 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하면, 타겟이미지의 위치에 대한 상기 타겟이미지 위치정보를 획득하는 단계, 타겟이미지 위치정보에 매칭되는 위치에 이벤트를 표시하는 단계를 포함한다.A method of providing an augmented reality by improving image recognition rate in an image according to an embodiment of the present invention includes receiving registration image pattern information from a server, receiving a capture command from the outside, or checking whether there is a predetermined capture command Generating a captured image by capturing a specific area from the image, receiving the capture command from the outside or having the predetermined capture command, acquiring target image pattern information from the captured image, Determining whether the target image pattern information and the registered image pattern information coincide within a preset range; if the target image pattern information matches the registered image pattern information within a predetermined range, Acquiring image position information, It includes the position matched to information for displaying the event.

본 발명의 일 실시예에 따른 영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 장치는 적어도 하나 이상의 프로세서, 메모리를 포함하고, 상기 메모리에는 적어도 하나 이상의 프로그램이 저장되어 있고, 상기 프로세서에서 상기 프로그램을 수행하는데, 상기 적어도 하나 이상의 프로그램은 캡쳐이미지를 획득하고, 상기 켭쳐이미지를 기 설정된 배수로 확대하고, 확대된 상기 캡쳐이미지인 확대 캡쳐이미지에 대해서 이미지 프로세싱을 수행하고, 상기 이미지 프로세싱이 수행된 프로세싱 캡쳐이미지로부터 타겟이미지 패턴정보를 획득하도록 프로그램된 것을 특징으로 한다.An apparatus for providing an augmented reality by improving an image recognition rate in an image according to an embodiment of the present invention includes at least one processor and a memory, wherein at least one program is stored in the memory, Wherein the at least one program acquires a captured image, enlarges the powered-on image to a predetermined multiple, performs image processing on an enlarged captured image that is the enlarged captured image, And acquiring target image pattern information from the image.

상기 적어도 하나 이상의 프로그램은, 서버로부터 등록이미지 패턴정보를 수신하고, 외부로부터 캡쳐명령을 수신하였거나, 기 설정된 상기 캡쳐명령이 있는지 확인하고, 상기 외부로부터 상기 캡쳐명령을 수신하였거나, 기 설정된 상기 캡쳐명령이 있으면, 상기 영상으로부터 특정 영역을 캡쳐한 상기 캡쳐이미지를 생성하고, 상기 캡쳐이미지로부터 타겟이미지 패턴정보를 획득하고, 상기 타겟이미지 패턴정보와 상기 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하는지 확인하고, 상기 타겟이미지 패턴정보와 상기 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하면, 타겟이미지의 위치에 대한 상기 타겟이미지 위치정보를 획득하고, 타겟이미지 위치정보에 매칭되는 위치에 이벤트를 표시하도록 프로그램된 것을 특징으로 한다.Wherein the at least one program is a program for receiving registered image pattern information from a server, receiving a capture command from an external source, checking whether there is a predetermined capture command, receiving the capture command from outside, If the target image pattern information and the registered image pattern information are identical within a predetermined range, generating the captured image by capturing a specific area from the image, acquiring target image pattern information from the captured image, And if the target image pattern information and the registered image pattern information match within a predetermined range, the target image position information for the position of the target image is obtained and the event is displayed at a position matched with the target image position information And is programmed.

본 발명의 실시예에 따른 영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 방법 및 장치에 의하면 다음과 같은 효과가 있다. The method and apparatus for providing the augmented reality by improving the image recognition rate in the image according to the embodiment of the present invention has the following effects.

첫째, 본 발명은 특정 이미지를 인식하여, 특정 이미지에 매칭되는 증강현실을 제공하여 영상과 증강현실을 연계한 서비스를 가능하게 하는 효율적인 플랫폼을 제공한다.First, the present invention provides an efficient platform for recognizing a specific image, providing an augmented reality matched to a specific image, and enabling a service that links an image and augmented reality.

둘째, 본 발명은 영상에서 특정 이미지의 패턴을 획득하는 것이 쉽지 않는 문제점을 향상시키기 위해서 영상에서 캡쳐이미지를 생성하여 영상과 함께 증강현실을 효율적으로 제공한다.Second, in order to improve the problem that it is not easy to acquire a specific image pattern in an image, a captured image is generated from the image, and the augmented reality is efficiently provided together with the image.

셋째, 본 발명은 캡쳐된 캡쳐이미지의 인식률을 향상시켜서 타겟이미지 패턴정보를 획득하고, 타겟이미지 패턴정보와 등록이미지 패턴정보의 비교를 효율적으로 할 수 있다.Third, the present invention improves the recognition rate of captured captured images to acquire target image pattern information, and can efficiently compare target image pattern information and registered image pattern information.

넷째, 본 발명은 3D/2D 애니메이션이나 게임 등을 영상 위에 증강현실로 제공하여 사용자가 흥미를 가지고 특정 마케팅 등에 참여할 수 있다.Fourth, the present invention provides a 3D / 2D animation or a game as an augmented reality on an image, so that the user can participate in specific marketing with interest.

다섯째, 본 발명은 고객이 고객서버를 통해서 서버로 특정 이미지에 대한 등록이미지 패턴정보를 효율적으로 제공할 수 있다.Fifth, the present invention enables a customer to efficiently provide registered image pattern information for a specific image to a server through a customer server.

도 1은 본 발명의 일 실시예에 따른 영상을 인식하여 증강현실을 제공하는 시스템을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 영상을 인식하여 증강현실을 제공하는 단말을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상을 인식하여 증강현실을 제공하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 캡쳐이미지로부터 이미지 인식률을 향상시켜 타겟이미지 패턴정보를 획득하기 위한 방법을 설명하기 위한 흐름도이다.
도 5a ~ 도 5c는 본 발명이 적용된 일 실시예를 설명하기 위한 도면이다.
도 6a ~ 도 6c는 본 발명이 적용된 다른 실시예를 설명하기 위한 도면이다.
FIG. 1 illustrates a system for providing an augmented reality by recognizing an image according to an exemplary embodiment of the present invention. Referring to FIG.
2 is a view for explaining a terminal for providing an augmented reality by recognizing an image according to an embodiment of the present invention.
3 is a flowchart illustrating a method of providing an augmented reality by recognizing an image according to an embodiment of the present invention.
4 is a flowchart illustrating a method for acquiring target image pattern information by improving the image recognition rate from a captured image according to an exemplary embodiment of the present invention.
5A to 5C are views for explaining an embodiment to which the present invention is applied.
6A to 6C are views for explaining another embodiment to which the present invention is applied.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. However, it is to be understood that the present invention is not limited to the disclosed embodiments, but may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. It is intended that the disclosure of the present invention be limited only by the terms of the appended claims.

또한, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 이외의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.Also, terms used herein are for the purpose of illustrating embodiments and are not intended to limit the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. &Quot; comprises "and / or" comprising "used in the specification do not exclude the presence or addition of components other than the components mentioned. Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs.

본 발명에서 "캡쳐이미지"는 영상장치가 제공하는 영상에서 외부로부터의 캡쳐명령을 수신하였거나, 기 설정된 캡쳐명령에 의해서 단말의 표시장치에 표시되는 부분의 특정시점에 켭쳐된 이미지를 의미한다. 캡쳐이미지는 정지이미지와 동일한 의미이며, 캡쳐이미지는 사진, 이미지 등 다양한 용어로 사용될 수 있다.In the present invention, the term "captured image" refers to an image that has been received from an external capture command in an image provided by the imaging apparatus or is turned on at a specific point in time of a portion displayed on the display apparatus of the terminal by a preset capture command. The captured image has the same meaning as the still image, and the captured image can be used in various terms such as photographs and images.

본 발명에서 "타겟이미지"는 증강현실 서비스를 제공하기 위해 타겟이 되는 이미지이다. 캡쳐이미지는 타겟이미지를 포함할 수 있는데, 단말은 켭쳐이미지에서 타겟이미지의 패턴정보인 타겟이미지 패턴정보를 획득하여, 타겟이미지와 관련되거나 매치오디는 이벤트를 증강현실로 제공할 수 있다. In the present invention, the "target image" is an image targeted to provide the augmented reality service. The captured image may include a target image, wherein the terminal acquires target image pattern information, which is pattern information of the target image, in a turned-on image, and the associated image or match audio may provide an event to the augmented reality.

이하, 본 발명을 보다 구체적으로 설명하기 위하여 본 발명에 따른 실시예들을 첨부 도면을 참조하면서 보다 상세하게 설명하고자 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 영상을 인식하여 증강현실을 제공하는 시스템을 도시한 것이다.FIG. 1 illustrates a system for providing an augmented reality by recognizing an image according to an exemplary embodiment of the present invention. Referring to FIG.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상을 인식하여 증강현실을 제공하는 시스템은 영상장치(1), 단말(2), 서버(3)를 포함한다.Referring to FIG. 1, a system for recognizing an image according to an exemplary embodiment of the present invention to provide an augmented reality includes a video device 1, a terminal 2, and a server 3.

또한, 본 발명의 일 실시예에 따른 영상을 인식하여 증강현실을 제공하는 시스템은 고객(예를 들어, 방송사, 영상제작사, 광고사, PPL 제공사 등)의 고객서버나 고객장치를 더 포함할 수 있다. 고객은 고객서버나 고객장치를 통해서 서버(3)로 특정 이미지에 대한 등록이미지 패턴정보를 제공할 수 있다.In addition, the system for recognizing an image according to an exemplary embodiment of the present invention to provide an augmented reality may further include a client server or a client device of a customer (e.g., a broadcasting company, a video production company, an advertisement company, a PPL provider, have. The customer can provide registered image pattern information for a specific image to the server 3 through the customer server or the customer device.

영상장치(1)는 화면과 같은 표시부에 영상(또는 동영상)을 디스플레이하는 부분이다. 영상장치(1)는 표시부에 영상(또는 동영상)을 디스플레이한다(S100). 예를 들어, 영상장치(1)는 텔레비전(TV), 모니터 등 영상을 제공하는 장치가 가능한데, 이러한 영상장치(1)는 드라마, 영화, 광고, 실시간방송, VOD 등을 사용자에게 제공하면서 고객이 원하는 광고 등을 삽입하여 함께 제공할 수 있다.The video apparatus 1 is a part for displaying a video (or moving picture) on a display unit such as a screen. The video apparatus 1 displays the video (or moving picture) on the display unit (S100). For example, the video apparatus 1 may be an apparatus for providing video such as a television (TV), a monitor, etc. Such a video apparatus 1 may provide a user with a drama, a movie, an advertisement, a real- Desired advertisements can be inserted and provided together.

단말(2)은 영상장치(1)가 제공하는 영상에서 타겟이미지를 인식하여, 타겟이미지에 매칭되는 증강현실(Augmented Reality, AR)을 제공하는 부분이다. 즉, 단말(2)은 영상장치(1)가 제공하는 영상에서 타겟이미지를 인식하여, 타겟이미지에 매칭되는 이벤트(예를 들어, 이미지, 게임, 광고, URL 등 다양한 형태가 가능하다.)를 증강현실로 제공한다.The terminal 2 recognizes a target image in an image provided by the imaging device 1 and provides augmented reality (AR) matching the target image. That is, the terminal 2 recognizes a target image in an image provided by the video apparatus 1, and generates an event (for example, an image, a game, an advertisement, a URL, etc.) Provide as augmented reality.

서버(3)는 특정 이미지에 대한 등록이미지 패턴정보를 저장한 부분이다. 서버(3)는 고객이 원하는 특정 이미지(또는 타겟 이미지)에 대한 패턴정보인 등록이미지 패턴정보를 저장한다(S110). 서버(3)는 고객이 원하는 특정 이미지(또는 타겟 이미지)에 대한 패턴정보인 등록이미지 패턴정보를 미리 저장할 수 있는데, 본 발명에서 등록이미지 패턴정보는 특정 이미지에 대해서 미리 서버(3)에 저장된 패턴정보를 의미한다. The server 3 is a part storing registered image pattern information for a specific image. The server 3 stores registered image pattern information which is pattern information on a specific image (or target image) desired by the customer (S110). The server 3 may previously store registered image pattern information, which is pattern information for a specific image (or target image) desired by the customer. In the present invention, the registered image pattern information includes a pattern stored in advance in the server 3 Information.

서버(3)는 등록이미지 패턴정보를 단말(2)로 송신하고, 단말(2)은 등록이미지 패턴정보를 서버(3)로부터 수신한다(S120). The server 3 transmits the registration image pattern information to the terminal 2 and the terminal 2 receives the registration image pattern information from the server 3 (S120).

이러한, 등록이미지 패턴정보를 서버(3)가 기 설정된 명령에 따라서 일정한 시간단위로, 특정 개수의 등록이미지 패턴정보를 단말(2)로 송신할 수 있다. 또는, 단말(2)은 기 설정된 명령에 따라서 일정한 시간단위로, 특정 개수의 등록이미지 패턴정보를 서부로부터 수신할 수 있다. 다른 실시예로, 단말(2)은 특정 명령을 수신할 때마다 등록이미지 패턴정보를 서버(3)로부터 수신할 수 있다.The server 3 can transmit the registered image pattern information to the terminal 2 by a predetermined number of pieces of registered image pattern information according to a predetermined command. Alternatively, the terminal 2 can receive a specific number of registered image pattern information from the western part in a predetermined time unit in accordance with a predetermined command. In another embodiment, the terminal 2 can receive registration image pattern information from the server 3 every time it receives a specific command.

단말(2)은 영상으로부터 특정 영역을 캡쳐한 캡쳐이미지를 생성한다(S130). 여기서, 특정 영역은 단말(2)의 카메라를 통해서 단말(2)의 표시장치(30)에 표시되는 임의의 영역을 의미한다. 이때, 캡쳐이미지는 타겟이미지를 포함할 수 있고, 포함하지 않을 수 있다. 만약, 캡쳐이미지가 타겟이미지를 포함하지 않는 경우에는, 단말(2)은 이후의 과정을 수행하지 않는다.The terminal 2 generates a captured image that captures a specific area from the image (S130). Here, the specific area means an arbitrary area displayed on the display device 30 of the terminal 2 through the camera of the terminal 2. At this time, the captured image may or may not include the target image. If the captured image does not include the target image, the terminal 2 does not perform the subsequent process.

또한, 캡쳐이미지의 크기는 타겟이미지의 크기보다 크다. 다른 실시예로, 캡쳐이미지의 크기는 타겟이미지의 크기보다 작을 수 있다.In addition, the size of the captured image is larger than the size of the target image. In another embodiment, the size of the captured image may be smaller than the size of the target image.

단말(2)은 캡쳐이미지로부터 타겟이미지 패턴정보를 획득한다(S140). 타겟이미지의 패턴정보를 타겟이미지의 패턴이 포함하고 있는 자신의 패턴정보이다.The terminal 2 obtains the target image pattern information from the captured image (S140). And the pattern information of the target image is the pattern information of the target image.

단말(2)은 타겟이미지 패턴정보와 등록이미지 패턴정보를 비교한다(S150). 이때, 단말(2)은 타겟이미지 패턴정보와 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하는지 확인한다. 여기서, 타겟이미지 패턴정보와 등록이미지 패턴정보의 일치여부를 결정하는 기 설정된 범위는 사용자나 관리자 등에 의해서 다양한 실시예가 가능하다.The terminal 2 compares the target image pattern information and the registered image pattern information (S150). At this time, the terminal 2 determines whether the target image pattern information and the registered image pattern information match within a preset range. Here, the preset range for determining whether or not the target image pattern information matches the registered image pattern information may be various embodiments by a user or an administrator.

단말(2)은 타겟이미지의 위치에 대한 타겟이미지 위치정보를 획득한다(S160). 여기서, 타겟이미지 위치정보는 그 위치의 좌표값이 가능하고, 타겟이미지가 없는 경우에는 단말(2)은 타겟이미지 위치정보를 없음으로 판단한다.The terminal 2 obtains target image position information for the position of the target image (S160). Here, the target image position information can be a coordinate value of the position, and when there is no target image, the terminal 2 determines that the target image position information is absent.

단말(2)은 서버(3)로 타겟이미지 패턴정보에 매칭되는 이벤트 데이터를 요청한다(S170). 여기서, 이벤트 데이터는 증강현실로 표현되는 이미지, 게임, 광고, 문자, URL 등 적어도 하나 이상을 위한 데이터를 포함하여, 다양한 형태를 조합한 데이터가 가능하다. The terminal 2 requests event data matching the target image pattern information with the server 3 (S170). Here, the event data includes data for at least one or more images such as images, games, advertisements, characters, and URLs represented by the augmented reality, and data having various forms can be combined.

서버(3)는 단말(2)로 타겟이미지 패턴정보에 매칭되는 이벤트 데이터를 송신한다(S180). 여기서, 이벤트 데이터는 설정에 따라서 다양한 실시예가 가능하다. The server 3 transmits event data matching the target image pattern information to the terminal 2 (S180). Here, the event data may be various embodiments according to the setting.

단말(2)은 타겟이미지 위치정보에 매칭되는 위치에 이벤트를 표시한다(S190). 단말(2)은 표시장치(30)에 이러한 이벤트를 표시한다. 이때, 단말(2)에서 표시되는 이벤트는 영상장치(1)의 동영상에 증강현실로 표시된다. The terminal 2 displays an event at a position matched with the target image position information (S190). The terminal 2 displays these events on the display device 30. [ At this time, the event displayed on the terminal 2 is displayed as augmented reality on the moving picture of the video apparatus 1. [

도 2는 본 발명의 일 실시예에 따른 영상을 인식하여 증강현실을 제공하는 단말을 설명하기 위한 도면이다. 또한, 도 2는 본 발명의 일 실시예에 따른 영상에서 캡쳐이미지를 생성하여 증강현실을 제공하는 장치인 단말을 설명하기 위한 도면이다. 또한, 도 2는 본 발명의 일 실시예에 따른 영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 장치인 단말을 설명하기 위한 도면이다.2 is a view for explaining a terminal for providing an augmented reality by recognizing an image according to an embodiment of the present invention. 2 is a diagram for explaining a terminal, which is an apparatus for generating a captured image in an image to provide an augmented reality according to an embodiment of the present invention. 2 is a diagram for explaining a terminal, which is an apparatus for providing an augmented reality by improving an image recognition rate in an image according to an embodiment of the present invention.

본 발명에서 단말(2)은 휴대폰, 스마트폰, 컴퓨터, 휴대용 컴퓨터(Laptop), 핸드헬드 컴퓨터(Handheld computer), 태블릿(Tablet) 컴퓨터, 이동전화, 미디어 플레이어, PDA 등, 그리고 이러한 아이템 둘 이상의 결합을 포함하지만 이에 한정되지 않는 임의의 휴대용 전자장치일 수 있다. 단말(2)은 오직 휴대용 전자장치의 한 예이고, 단말(2)이 도시한 것보다 많거나 적은 구성요소 또는 상이한 구성요소의 구성(Configuration)을 가질 수 있음을 인식하여야 한다. 도 2에 도시한 여러 구성요소는 하나 이상의 신호처리 및/또는 프로그램 전용 집적회로를 포함하여, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 둘의 조합으로 구현될 수 있다.In the present invention, the terminal 2 may be a mobile phone, a smart phone, a computer, a portable computer, a handheld computer, a tablet computer, a mobile phone, a media player, a PDA, But is not limited to, a portable electronic device. It should be appreciated that the terminal 2 is only an example of a portable electronic device and may have more or less components or configurations of different components than the terminal 2 depicts. The various components shown in FIG. 2 may be implemented in hardware, software, or a combination of both hardware and software, including one or more signal processing and / or program specific integrated circuits.

도 2를 참조하면, 본 발명의 일 실시예에 따른 단말(2)은 메모리(10), 메모리 제어장치(21), 하나 이상의 프로세서(23), 인터페이스(25), 표시장치(30), 입력장치(40), 통신회로(50), 외부포트(60), 오디오회로(70), 스피커(80)를 포함한다. 이러한 구성요소는 하나 이상의 통신버스 또는 신호선을 통하여 통신한다. 2, a terminal 2 according to an embodiment of the present invention includes a memory 10, a memory control device 21, at least one processor 23, an interface 25, a display device 30, Device 40, communication circuitry 50, external port 60, audio circuitry 70, speaker 80, These components communicate through one or more communication buses or signal lines.

메모리(10)는 임의의 데이터, 소프트웨어, 명령어 등을 저장하는 부분으로, 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장장치, 플래시 메모리 장치와 같은 비휘발성 메모리, 또는 다른 비휘발성 반도체 메모리장치를 포함할 수 있다. 일부 실시예에서, 메모리(10)는 하나 이상의 프로세서로부터 떨어져 위치하는 저장장치, 예를 들어 통신회로(50) 또는 외부포트(60)와 인터넷, 인트라넷, LAN(Local Area Network), WLAN(Wide LAN), SAN(Storage Area Network) 등이나 또는 이들의 적절한 조합과 같은 통신 네트워크를 통하여 액세스되는 네트워크 부착형(Attached) 저장장치를 더 포함할 수 있다. 프로세서(23) 및 인터페이스(25)와 같은 단말(2)의 다른 구성요소에 의한 메모리(10)로의 액세스는 메모리 제어회로(21)에 의하여 제어될 수 있다.The memory 10 is a portion that stores any data, software, commands, etc., and may include a high-speed random access memory and may also include one or more magnetic disk storage devices, non-volatile memory such as flash memory devices, Semiconductor memory devices. In some embodiments, the memory 10 may be coupled to a storage device, such as a communication circuit 50 or an external port 60, located remotely from one or more processors, such as the Internet, an intranet, a Local Area Network (WLAN) ), A Storage Area Network (SAN), and the like, or any suitable combination thereof. Access to the memory 10 by other components of the terminal 2 such as the processor 23 and the interface 25 can be controlled by the memory control circuit 21. [

메모리(10)에 저장된 소프트웨어 구성요소는 운영체제(11), 통신모듈(13)(또는 명령어 세트), 적어도 하나 이상의 프로그램(명령어 세트)(15), 데이터베이스(17)를 포함한다. The software components stored in the memory 10 include an operating system 11, a communication module 13 (or instruction set), at least one program (instruction set) 15, and a database 17.

운영체제(11)(예를 들어, 다윈(Darwin), RTXC, LINUX, UNIX, OS X, WINDOWS 또는 VxWorks, 안드로이드, IOS와 같은 내장 운영체제)는 일반적인 시스템 태스크(예를 들어, 메모리 관리, 메모리 제어, 전력 관리 등)를 제어 및 관리하는 다양한 소프트웨어 구성요소 및/또는 장치를 포함하고, 다양한 하드웨어와 소프트웨어 구성요소 사이의 통신을 촉진시킨다.The operating system 11 (for example, an embedded operating system such as Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS or VxWorks, Android, or IOS) performs common system tasks (e.g., memory management, memory control, Power management, etc.), and facilitates communication between the various hardware and software components.

통신모듈(13)은 하나 이상의 외부포트(60)를 통하여 다른 장치와의 통신을 촉진시키고 통신회로(50)와 외부포트(60)가 수신하는 데이터를 처리하기 위한 다양한 소프트웨어 구성요소를 또한 포함한다. 외부포트(60)(예를 들어, USB, FIREWIRE 등)는 다른 장치로의 직접 연결이나 네트워크(예컨대, 인터넷, 무선 LAN 등)를 통한 간접 연결을 위해 사용된다.Communication module 13 also includes various software components for facilitating communication with other devices via one or more external ports 60 and for processing data received by communication circuitry 50 and external port 60 . The external port 60 (e.g., USB, FIREWIRE, etc.) is used for direct connection to another device or indirect connection through a network (e.g., Internet, wireless LAN, etc.).

적어도 하나 이상의 프로그램(15)은 브라우저, 어드레스 북(Address Book), 접촉 리스트, 이메일, 인스턴트 메시지, 워드 프로세싱(Word Processing), 키보드 에뮬레이션(Keyboard Emulation), 위젯(Widget), 부호화, 디지털 저작권 관리, 음성 인식, 음성 복제, 위치 결정 기능(GPS에 의하여 제공되는 것과 같은 위치정보), 음악 플레이어(MP3 또는 AAC 파일과 같은 하나 이상의 파일에 저장되어 기록된 음악을 재생하는), 애플리케이션 등을 포함하여 단말(2)에 설치된 임의의 모든 프로그램을 포함할 수 있다.At least one or more programs 15 may be stored in a computer readable medium such as a browser, an address book, a contact list, an email, an instant message, a word processing, a keyboard emulation, a widget, Including voice recognition, voice reproduction, location functions (location information such as that provided by GPS), music players (playing music stored in one or more files recorded in one or more files such as MP3 or AAC files) And may include any program installed in the computer 2.

또한, 적어도 하나 이상의 프로그램은 서버(3)로부터 등록이미지 패턴정보를 수신하고, 외부로부터 캡쳐명령을 수신하였거나, 기 설정된 캡쳐명령이 있으면, 영상으로부터 특정 영역을 캡쳐한 캡쳐이미지를 생성하고, 캡쳐이미지로부터 타겟이미지 패턴정보를 획득하고, 타겟이미지 패턴정보와 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하는지 확인하고, 타겟이미지 위치정보에 매칭되는 위치에 이벤트를 표시하도록 프로그램될 수 있다.In addition, at least one or more programs may receive registered image pattern information from the server 3, receive a capture command from the outside, or if there is a preset capture command, generate a capture image capturing a specific area from the image, To confirm whether the target image pattern information and registered image pattern information match within a predetermined range, and to display the event at a position matched with the target image position information.

또한, 적어도 하나 이상의 프로그램은 외부로부터 캡쳐명령을 수신하였거나, 기 설정된 캡쳐명령이 있는지 확인하고, 타겟이미지 패턴정보와 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하면, 타겟이미지의 위치에 대한 타겟이미지 위치정보를 획득하도록 프로그램될 수 있다.In addition, if at least one of the programs has received a capture command from the outside, or if there is a preset capture command, and if the target image pattern information and registered image pattern information match within a predetermined range, And may be programmed to obtain position information.

또한, 적어도 하나 이상의 프로그램은 캡쳐이미지를 획득하고, 켭쳐이미지를 기 설정된 배수로 확대하고, 확대된 캡쳐이미지인 확대 캡쳐이미지에 대해서 이미지 프로세싱을 수행하고, 이미지 프로세싱이 수행된 프로세싱 캡쳐이미지로부터 타겟이미지 패턴정보를 획득하도록 프로그램될 수 있다.Also, at least one or more programs may acquire a captured image, enlarge the image to be turned on to a predetermined multiple, perform image processing on the enlarged captured image, which is an enlarged captured image, Can be programmed to obtain information.

또한, 적어도 하나 이상의 프로그램은 서버(3)로부터 등록이미지 패턴정보를 수신하고, 외부로부터 캡쳐명령을 수신하였거나, 기 설정된 캡쳐명령이 있는지 확인하고, 외부로부터 캡쳐명령을 수신하였거나, 기 설정된 캡쳐명령이 있으면, 영상으로부터 특정 영역을 캡쳐한 캡쳐이미지를 생성하고, 캡쳐이미지로부터 타겟이미지 패턴정보를 획득하고, 타겟이미지 패턴정보와 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하는지 확인하고, 타겟이미지 패턴정보와 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하면, 타겟이미지의 위치에 대한 타겟이미지 위치정보를 획득하고, 타겟이미지 위치정보에 매칭되는 위치에 이벤트를 표시하도록 프로그램될 수 있다.In addition, at least one or more programs may receive registration image pattern information from the server 3, receive a capture command from the outside, check whether there is a preset capture command, receive a capture command from the outside, The target image pattern information is obtained from the captured image, the target image pattern information and the registered image pattern information are matched within a preset range, and the target image pattern information And if the registered image pattern information coincides within a predetermined range, it can be programmed to acquire the target image position information for the position of the target image and display the event at the position matched with the target image position information.

데이터베이스(17)는 메모리(10)에 저장된 데이터로, 데이터베이스(17)에는 서버(3)로부터 수신한 등록이미지 패턴정보를 포함할 수 있다. 또한, 데이터베이스(17)는 캡쳐이미지, 타겟이미지 패턴정보, 타멧이미지 위치정보, 이벤트 데이터 등을 포함할 수 있다.The database 17 is data stored in the memory 10 and may include registered image pattern information received from the server 3 in the database 17. In addition, the database 17 may include a capture image, target image pattern information, information on a position of the image image, event data, and the like.

메모리 제어장치(21)는 프로세서(23) 및 인터페이스(25)와 같은 단말(2)의 다른 구성요소에 의한 메모리(10)로의 액세스를 제어하는 부분이다. The memory control device 21 is a part that controls access to the memory 10 by other components of the terminal 2 such as the processor 23 and the interface 25. [

프로세서(23)는 다양한 소프트웨어 프로그램 및/또는 메모리(10)에 저장되어 있는 명령어 또는 명령어 세트를 실행하여 단말(2)을 위한 여러 기능을 수행하고 데이터를 처리한다.The processor 23 executes various functions for the terminal 2 by executing various software programs and / or instructions or a set of instructions stored in the memory 10 and processes the data.

인터페이스(25)는 단말(2)의 입출력 주변장치를 프로세서(23) 및 메모리(10)와 연결시킨다. 하나 이상의 프로세서(23)는 다양한 소프트웨어 프로그램 및/또는 메모리(10)에 저장되어 있는 명령어 세트를 실행하여 단말(2)을 위한 여러 기능을 수행하고 데이터를 처리한다. 예를 들어, 인터페이스(25), 프로세서(23) 및 메모리 제어장치(21)는 하나의 단일칩 상에서 구현되거나 별개의 칩으로 구현될 수 있다.The interface 25 connects the input / output peripheral device of the terminal 2 with the processor 23 and the memory 10. The one or more processors 23 execute various functions for the terminal 2 by executing various software programs and / or a set of instructions stored in the memory 10 and process the data. For example, the interface 25, the processor 23, and the memory control device 21 may be implemented on one single chip or implemented on a separate chip.

표시장치(30)는 사용자와 단말(2) 사이의 인터페이스를 제공한다. 즉, 표시장치(30)는 사용자에게 시각적인 출력을 표시할 수 있다.The display device (30) provides an interface between the user and the terminal (2). That is, the display device 30 can display a visual output to the user.

예를 들어, 표시장치(30)는 영상장치(1)의 영상을 표시하고, 영상장치(1)의 영상과 함께 증강현실의 이벤트를 함께 표시할 수 있다.For example, the display device 30 can display an image of the imaging device 1 and display an augmented reality event together with the image of the imaging device 1. [

입력장치(40)는 사용자와 단말(2) 사이의 인터페이스를 제공한다. 즉, 입력장치(40)는 사용자가 단말(2)에 입력신호로 캡쳐명령과 같은 명령 등을 입력할 수 있고, 사용자가 입력장치(40)를 통해서 입력신호를 입력하면, 단말(2)은 다양한 종류의 사용자 입력신호를 검출하고 프로세서(23)의 제어에 의해서 사용자의 명령을 수행한다. The input device 40 provides an interface between the user and the terminal 2. That is, the input device 40 can allow a user to input an instruction, such as a capture command, as an input signal to the terminal 2. When the user inputs an input signal through the input device 40, Detects various types of user input signals and executes a user's command under the control of the processor 23. [

다만, 터치스크린과 같은 일부 실시예에서는 표시장치(30)와 입력장치(40)가 일체로 될 수 있고, 분리될 수도 있다.However, in some embodiments, such as a touch screen, the display device 30 and the input device 40 may be integrated or separated.

통신회로(50)는 전자파와 같은 신호를 송수신한다. 통신회로(50)는 전기신호를 전자파로 변환하며 이 전자파를 통하여 통신 네트워크 및 다른 통신장치와 통신한다. 통신회로(50)는 예를 들어, 안테나 시스템, RF 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 오실레이터, 디지털 신호 처리기, CODEC 칩셋, 가입자 식별모듈(Subscriber Identity Module, SIM) 카드, 메모리 등을 포함하지만 이에 한정되지 않고, 이러한 기능을 수행하기 위한 주지의 회로를 포함할 수 있다. 통신회로(50)는 월드 와이드 웹(World Wide Web, WWW)으로 불리는 인터넷, 인트라넷과 네트워크 및/또는, 셀룰러 전화 네트워크, 무선 LAN 및/또는 MAN(metropolitan area network)와 같은 무선 네트워크, 그리고 무선통신에 의하여 다른 장치와 통신할 수 있다. 무선통신은 GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), WCDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 비콘(Beacon), 블루투스(Bluetooth), 와이 파이(Wireless Fidelity, Wi-Fi)(예를 들어, IEEE802.11a, IEEE802.11b, IEEE802.11g 및/또는 IEEE802.11n), VoIP(Voice over Internet Protocol), Wi-MAX, 이메일, 인스턴트 메시징(Instant messaging) 및/또는 단문 문자 서비스(SMS)용 프로토콜 또는 본 발명의 출원 시점에 아직 개발되지 않은 통신 프로토콜을 포함하는 기타 다른 적절한 통신 프로토콜을 포함하지만 이에 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술 중 어느 것을 이용할 수 있다.The communication circuit 50 transmits and receives a signal such as an electromagnetic wave. The communication circuit 50 converts electrical signals into electromagnetic waves and communicates with the communication network and other communication devices through the electromagnetic waves. The communication circuit 50 includes, for example, an antenna system, an RF transceiver, one or more amplifiers, a tuner, one or more oscillators, a digital signal processor, a CODEC chipset, a Subscriber Identity Module The present invention is not limited to this, and may include well-known circuits for performing such functions. The communication circuitry 50 may be any type of communication network such as the Internet, called the World Wide Web (WWW), a network such as an intranet and / or a cellular telephone network, a wireless LAN and / or a metropolitan area network (MAN) To communicate with other devices. The wireless communication may be implemented in a wireless communication system such as a Global System for Mobile Communication (GSM), an Enhanced Data GSM Environment (EDGE), a Wideband Code Division Multiple Access (WCDMA), a Code Division Multiple Access (CDMA), a Time Division Multiple Access (TDMA), a beacon, Bluetooth, WiFi (e.g., IEEE802.11a, IEEE802.11b, IEEE802.11g and / or IEEE802.11n), Voice over Internet Protocol (VoIP), Wi-MAX Including, but not limited to, e-mail, instant messaging and / or short message services (SMS), or any other suitable communication protocol including communication protocols not yet developed at the time of filing of the present invention. Communication standards, protocols, and techniques.

예를 들어, 통신회로(50)는 외부의 서버(3)로부터 등록이미지 패턴정보를 수신할 수 있다. 또한, 통신회로(50)는 외부의 서버(3)로 타겟이미지 패턴정보에 매칭되는 이벤트 데이터를 요청하고, 서버(3)로부터 타겟이미지 패턴정보에 매칭되는 이벤트 데이터를 수신할 수 있다. For example, the communication circuit 50 can receive registered image pattern information from an external server 3. [ In addition, the communication circuit 50 may request event data matching the target image pattern information with an external server 3, and may receive event data matching the target image pattern information from the server 3. [

오디오회로(70)는 인터페이스(25)로부터 데이터를 수신하고, 수신한 데이터를 전기신호로 변환하고, 전기신호를 스피커(80)로 전송한다. 스피커(80)는 수신한 전기신호를 인간이 들을 수 있는 음파로 변환한다. 오디오회로(70)는 전기신호를 오디오 데이터를 변환하고 이를 인터페이스(25)로 전송하여 처리한다. 오디오 데이터는 인터페이스(25)에 의하여 메모리(10) 및/또는 통신회로(50)로부터 검색하거나 전송할 수 있다.The audio circuit 70 receives data from the interface 25, converts the received data into an electrical signal, and transmits the electrical signal to the speaker 80. The speaker 80 converts the received electrical signal into a sound wave that can be heard by humans. The audio circuit 70 converts the electrical signal into audio data and transmits it to the interface 25 for processing. The audio data may be retrieved or transmitted from the memory 10 and / or the communication circuit 50 by way of the interface 25.

스피커(80)는 수신한 전기신호를 인간이 들을 수 있는 음파로 변환한다. 즉, 스피커(80)는 음원을 인간이 들을 수 있는 소리로 재생하는 부분이다. The speaker 80 converts the received electrical signal into a sound wave that can be heard by humans. That is, the speaker 80 is a part that reproduces the sound source as a human audible sound.

또한, 단말(2)은 오디오회로(70)와 연결된 마이크로폰(미도시)을 더 포함할 수 있다.In addition, the terminal 2 may further include a microphone (not shown) connected to the audio circuit 70.

도 3은 본 발명의 일 실시예에 따른 영상을 인식하여 증강현실을 제공하는 방법을 설명하기 위한 흐름도이다. 또한, 도 3은 본 발명의 일 실시예에 따른 영상에서 캡쳐이미지를 생성하여 증강현실을 제공하는 방법을 설명하기 위한 흐름도이다. 또한, 도 3은 본 발명의 일 실시예에 따른 영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a method of providing an augmented reality by recognizing an image according to an embodiment of the present invention. 3 is a flowchart illustrating a method of generating a captured image in an image to provide an augmented reality according to an embodiment of the present invention. 3 is a flowchart illustrating a method of providing an augmented reality by improving an image recognition rate in an image according to an embodiment of the present invention.

도 3을 참조하면, 단말(2)은 서버(3)로부터 등록이미지 패턴정보를 수신한다(S300).Referring to FIG. 3, the terminal 2 receives registered image pattern information from the server 3 (S300).

단말(2)은 외부로부터 캡쳐명령을 수신하였거나, 기 설정된 캡쳐명령이 있는지 확인한다(S310). 여기서, 외부로부터 캡쳐명령은 영상장치(1)가 제공하는 영상이 특정 이벤트를 위한 이벤트 트리거를 포함하고, 사용자가 영상장치(1)가 제공하는 영상을 보다가 특정 이벤트를 위한 이벤트 트리거를 확인하면 입력장치를 통해서 특정 영역을 캡쳐하라고 입력하는 입력신호이다. The terminal 2 checks whether a capture command has been received from the outside or whether there is a preset capture command (S310). Here, from the outside, a capture instruction is generated when an image provided by the imaging apparatus 1 includes an event trigger for a specific event, a user looks at an image provided by the imaging apparatus 1 and confirms an event trigger for a specific event It is an input signal that inputs to capture a specific area through an input device.

또한, 사용자는 기 설정된 캡쳐명령을 미리 세팅하고, 단말(2)은 기 설정된 캡쳐명령에 확인할 수 있다. 예를 들어, 단말(2)은 기 설정된 캡쳐명령이 특정 시간마다(예를 들어, 0.5 ~ 10초 범위에서 선택된 범위) 캡쳐이미지를 생성하라는 명령으로 세팅되면, 특정 시간마다 캡쳐이미지를 생성할 수 있다. 다른 실시예로, 단말(2)은 기 설정된 캡쳐명령이 영상장치(1)가 제공하는 영상이 특정 이벤트를 위한 이벤트 트리거를 포함하고, 단말(2)이 이러한 이벤트 트리거를 확인한 후에, 특정 시간마다(예를 들어, 0.5 ~ 10초 범위에서 선택된 범위) 캡쳐이미지를 생성하라는 명령으로 세팅되면, 이벤트 트리거를 확인한 후에, 특정 시간마다 캡쳐이미지를 생성할 수 있다.In addition, the user sets a preset capture command in advance, and the terminal 2 can confirm the preset capture command. For example, the terminal 2 can generate a captured image at a specific time, if the preset capture command is set to an instruction to generate a captured image at a specific time (for example, a selected range in the range of 0.5 to 10 seconds) have. In another embodiment, the terminal 2 may be configured such that the preset capture command is an event trigger that the image provided by the imaging device 1 contains an event trigger for a specific event, and the terminal 2 confirms this event trigger (For example, a range selected from the range of 0.5 to 10 seconds). When set to an instruction to generate a captured image, a captured image can be generated at a specific time after confirming the event trigger.

단말(2)은 외부로부터 캡쳐명령을 수신하였거나, 기 설정된 캡쳐명령이 있으면, 영상으로부터 특정 영역을 캡쳐한 캡쳐이미지를 생성한다(S320). 여기서, 특정 영역은 단말(2)의 카메라를 통해서 단말(2)의 표시장치(30)에 표시되는 임의의 영역을 의미한다. 이때, 캡쳐이미지는 타겟이미지를 포함할 수 있고, 포함하지 않을 수 있다. 만약, 캡쳐이미지가 타겟이미지를 포함하지 않는 경우에는, 단말(2)은 이후의 과정을 수행하지 않는다.If the terminal 2 receives a capture command from the outside or if there is a preset capture command, the terminal 2 generates a captured image that captures a specific area from the image (S320). Here, the specific area means an arbitrary area displayed on the display device 30 of the terminal 2 through the camera of the terminal 2. At this time, the captured image may or may not include the target image. If the captured image does not include the target image, the terminal 2 does not perform the subsequent process.

단말(2)은 외부로부터 캡쳐명령을 수신하지 못하였거나, 기 설정된 캡쳐명령이 없으면, 단계 S310을 수행한다.If the terminal 2 fails to receive a capture command from the outside or if there is no preset capture command, the terminal 2 performs step S310.

단말(2)은 캡쳐이미지로부터 타겟이미지 패턴정보를 획득한다(S330). 타겟이미지의 패턴정보를 타겟이미지의 패턴이 포함하고 있는 자신의 패턴정보이다.The terminal 2 acquires target image pattern information from the captured image (S330). And the pattern information of the target image is the pattern information of the target image.

단말(2)은 타겟이미지 패턴정보와 등록이미지 패턴정보를 비교한다(S340). The terminal 2 compares the target image pattern information and registered image pattern information (S340).

단말(2)은 타겟이미지 패턴정보와 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하는지 확인한다(350). 여기서, 타겟이미지 패턴정보와 등록이미지 패턴정보의 일치여부를 결정하는 기 설정된 범위는 사용자나 관리자 등에 의해서 다양한 실시예가 가능하다.The terminal 2 determines whether the target image pattern information and the registered image pattern information match within a predetermined range (350). Here, the preset range for determining whether or not the target image pattern information matches the registered image pattern information may be various embodiments by a user or an administrator.

예를 들어, 단말(2)은 기 설정된 범위가 50%이면, 타겟이미지 패턴정보와 등록이미지 패턴정보에서 키포인트점과 키포인위치를 확인하여, 50%이상이 일치하는지 확인한다. 이때, 기 설정된 범위는 예를 들어, 10% ~ 100% 내에서 다양한 설정이 가능하다.For example, if the preset range is 50%, the terminal 2 checks the key point and the key point position in the target image pattern information and the registered image pattern information, and confirms that 50% or more of the key point and the key point are matched. At this time, it is possible to set various values within a predetermined range from 10% to 100%, for example.

단말(2)은 타겟이미지 패턴정보와 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하면, 타겟이미지의 위치에 대한 타겟이미지 위치정보를 획득한다(S360). 여기서, 타겟이미지 위치정보는 그 위치의 좌표값이 가능하고, 타겟이미지가 없는 경우에는 단말(2)은 타겟이미지 위치정보를 없음으로 판단한다.If the target image pattern information and registered image pattern information match within a preset range, the terminal 2 acquires target image position information for the target image position (S360). Here, the target image position information can be a coordinate value of the position, and when there is no target image, the terminal 2 determines that the target image position information is absent.

단말(2)은 타겟이미지 패턴정보와 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하지 않으면, 단계 S350을 수행한다.If the target image pattern information and the registered image pattern information do not match within a predetermined range, the terminal 2 performs step S350.

단말(2)은 서버(3)로 타겟이미지 패턴정보에 매칭되는 이벤트 데이터를 요청하여 수신한다(S370).The terminal 2 requests and receives event data matching the target image pattern information with the server 3 (S370).

단말(2)은 타겟이미지 위치정보에 매칭되는 위치에 이벤트를 표시한다(S380). 단말(2)은 표시장치(30)에 이러한 이벤트를 표시하는데, 이러한 이벤트는 다양한 형태가 가능하다. 이때, 단말(2)에서 표시되는 이벤트는 영상장치(1)의 동영상에 증강현실로 표시된다. The terminal 2 displays the event at a position matched with the target image position information (S380). The terminal 2 displays these events on the display device 30, and these events can take various forms. At this time, the event displayed on the terminal 2 is displayed as augmented reality on the moving picture of the video apparatus 1. [

도 4는 본 발명의 일 실시예에 따른 캡쳐이미지로부터 이미지 인식률을 향상시켜 타겟이미지 패턴정보를 획득하기 위한 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method for acquiring target image pattern information by improving the image recognition rate from a captured image according to an exemplary embodiment of the present invention.

도 4를 참조하면, 단말(2)은 캡쳐이미지를 획득한다(S400). 여기서, 캡쳐이미지는 단말(2)이 영상에서 캡쳐한 특정 영역의 이미지로서 선명하기 않고 흐리거나, 그 크기가 매우 작은 경우가 매우 많다.Referring to FIG. 4, the terminal 2 acquires a captured image (S400). Here, the captured image is often an image of a specific region captured by the terminal 2, which is blurred and is very small in size.

단말(2)은 켭쳐이미지를 기 설정된 배수(N배가 가능한데, N은 2이상의 자연수가 가능하다.)로 확대한다(S410). 예를 들어, 기 설정된 배수는 1.5배 ~ 10배 이내에서 설정 가능하다.The terminal 2 enlarges the image to be turned on to a predetermined multiple (N times, where N is a natural number of 2 or more) (S410). For example, the preset multiple can be set from 1.5 times to 10 times.

단말(2)은 확대된 캡쳐이미지인 확대 캡쳐이미지에 대해서 이미지 프로세싱을 수행한다(S420). 여기서, 이미지 프로세싱은 브라이트니스(Brightness) 및 콘트라스트(Contrast) 이미지 프로세싱이 가능하다.The terminal 2 performs image processing on the enlarged captured image, which is the enlarged captured image (S420). Here, the image processing is capable of brightness and contrast image processing.

단말(2)은 이미지 프로세싱이 수행된 프로세싱 캡쳐이미지로부터 타겟이미지 패턴정보를 획득한다(S430). The terminal 2 acquires the target image pattern information from the processing capture image on which the image processing has been performed (S430).

이렇게 함으로써, 단말(2)은 타겟이미지에 대한 인식률을 높일 수 있다.In this way, the terminal 2 can increase the recognition rate for the target image.

도 5a ~ 도 5c는 본 발명이 적용된 일 실시예를 설명하기 위한 도면이다.5A to 5C are views for explaining an embodiment to which the present invention is applied.

도 5a는 영상장치(1)가 드라마를 영상으로 제공함과 동시에, 영상에서 특정 제품(예를 들어, 삼다수 생수)이 노출되면, 타겟이미지(또는, 이벤트 트리거)를 기 설정된 위치(예를 들어, 화면의 우측 하단)에 영상과 함께 디스플레이하는 예를 보여준다.5A is a view showing a state in which a target image (or an event trigger) is displayed in a predetermined position (for example, Display on the lower right side of the screen).

도 5b는 사용자가 자신의 스마트폰으로 타겟이미지를 포함한 캡쳐이미지를 생성하고, 캡쳐이미지로부터 타겟이미지 패턴정보를 획득하고, 타겟이미지 패턴정보에 매칭되는 이벤트 데이터를 서버(3)로부터 받아서 이벤트를 보여주고 있다. 예를 들어, 이벤트는 사용자가 게임을 할 수 있는 것을 증강현실로 표시하고 있다.5B shows a case where a user generates a captured image including a target image with his / her smartphone, acquires target image pattern information from the captured image, receives event data matching the target image pattern information from the server 3, Giving. For example, an event indicates that a user can play a game as an augmented reality.

도 5c는 단말(2)의 표시장치(30)에 게임 결과와 이벤트 신청으로 이동할 수 있는 아이콘을 표시한 예이다.FIG. 5C is an example of displaying icons for moving game results and event requests to the display device 30 of the terminal 2. FIG.

도 6a ~ 도 6c는 본 발명이 적용된 다른 실시예를 설명하기 위한 도면이다.6A to 6C are views for explaining another embodiment to which the present invention is applied.

도 6a는 영상장치(1)가 영상을 제공함과 동시에, 영상에서 제품의 특정 재료(예를 들어, 화산송이)가 노출되면, 타겟이미지(예를 들어, 특정 재료를 사용한 제품과 이벤트나 마케팅 정보)를 기 설정된 위치(예를 들어, 화면의 우측)에 영상과 함께 디스플레이하는 예를 보여준다.6A is a view showing a state where a target image (for example, a product using a specific material and an event or marketing information (For example, on the right side of the screen) together with the image.

도 6b는 사용자의 스마트폰으로 타겟이미지 패턴정보에 매칭되는 이벤트 데이터를 서버(3)로부터 받아서 게임 캐릭터를 포함한 이벤트를 보여주고 있다. 예를 들어, 이벤트는 특정 제품(예를 들어, 화산송이 클레이 무스)을 구매시에 판촉물로 제공하는 제품(예를 들어, 화산송이 선풍기)에 대한 정보를 증강현실로 표시하고 있다.FIG. 6B shows an event including a game character by receiving event data matching the target image pattern information with the smartphone of the user from the server 3. FIG. For example, an event indicates information about a product (e.g., a volcanic cluster fan) that provides a specific product (e.g., a volcanic clay mousse) as a promotion at the time of purchase as an augmented reality.

도 6c는 단말(2)의 표시장치(30)에 특정 제품(예를 들어, 화산송이 클레이 무스)을 구매할 수 있는 홈페이지 화면을 표시한 표시한 예이다.6C is an example of a display showing a homepage screen on which the display device 30 of the terminal 2 can purchase a specific product (for example, a volcanic clay mousse).

본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 기록매체에 기록될 수 있다. 컴퓨터 판독 가능 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램(프로그램 명령)은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic media), CDROM, DVD와 같은 광기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment of the present invention may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, and the like, alone or in combination. The program (program instructions) to be recorded on the recording medium may be those specially designed and configured for the present invention or may be those known to those skilled in the computer software. Examples of the computer-readable recording medium include magnetic media such as a hard disk, a floppy disk and a magnetic tape, optical media such as a CDROM and a DVD, magneto-optical media such as a floppy disk, Hardware devices that are specifically configured to store and execute program instructions such as magneto-optical media, ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명을 도면에 도시한 실시예를 참고하여 설명하였으나, 이는 발명을 설명하기 위한 것일 뿐이며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 발명의 상세한 설명으로부터 다양한 변형 또는 균등한 실시예가 가능하다는 것을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 권리범위는 특허청구범위의 기술적 사상에 의해 결정되어야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be appreciated that one embodiment is possible. Accordingly, the true scope of the present invention should be determined by the technical idea of the claims.

1: 영상장치
2: 단말
3: 서버
10: 메모리
11: 운영체제
13: 통신모듈
15: 프로그램
17: 데이터베이스
21: 메모리 제어장치
23: 프로세서
25: 인터페이스
30: 표시장치
40: 입력장치
50: 통신회로
60: 외부포트
70: 오디오회로
80: 스피커
1: Imaging device
2: Terminal
3: Server
10: Memory
11: Operating system
13: Communication module
15: Program
17: Database
21: Memory control device
23: Processor
25: Interface
30: Display device
40: input device
50: communication circuit
60: External port
70: Audio circuit
80: Speaker

Claims (5)

영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 장치가 영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 방법에 있어서,
서버로부터 등록이미지 패턴정보를 수신하는 단계,
외부로부터 캡쳐명령을 수신하였거나, 기 설정된 상기 캡쳐명령이 있는지 확인하는 단계,
상기 외부로부터 상기 캡쳐명령을 수신하였거나, 기 설정된 상기 캡쳐명령이 있으면, 상기 영상으로부터 특정 영역을 캡쳐한 캡쳐이미지를 생성하는 단계,
상기 캡쳐이미지를 기 설정된 배수로 확대하는 단계,
확대된 상기 캡쳐이미지인 확대 캡쳐이미지에 대해서 이미지 프로세싱을 수행하는 단계,
상기 이미지 프로세싱이 수행된 프로세싱 캡쳐이미지로부터 타겟이미지 패턴정보를 획득하는 단계,
상기 타겟이미지 패턴정보와 상기 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하는지 확인하는 단계,
상기 타겟이미지 패턴정보와 상기 등록이미지 패턴정보가 기 설정된 범위 내에서 일치하면, 타겟이미지의 위치에 대한 상기 타겟이미지 위치정보를 획득하는 단계,
상기 타겟이미지 위치정보에 매칭되는 위치에 이벤트를 표시하는 단계를 포함하되,
상기 기 설정된 범위가 특정 범위이면, 상기 타겟이미지 패턴정보와 상기 등록이미지 패턴정보에서 키포인트점과 키포인위치를 확인하여, 상기 타겟이미지 패턴정보와 상기 등록이미지 패턴정보가 상기 특정 범위 이상인지 확인하는 것을 특징으로 하는 영상에서 이미지 인식률을 향상시켜 증강현실을 제공하는 방법.
A method of providing an augmented reality by improving an image recognition rate in an image by improving an image recognition rate in an image,
Receiving registered image pattern information from a server,
Confirming whether a capture command has been received from the outside or whether there is the predetermined capture command,
Generating a captured image by capturing a specific area from the image if the capturing command is received from the outside or the predetermined capturing command is present,
Enlarging the captured image to a predetermined multiple,
Performing image processing on the enlarged captured image, which is the enlarged captured image,
Obtaining target image pattern information from the processed capture image in which the image processing has been performed,
Checking whether the target image pattern information and the registered image pattern information match within a predetermined range,
Acquiring the target image position information for a position of the target image if the target image pattern information and the registered image pattern information match within a predetermined range;
And displaying an event at a location that matches the target image location information,
If the predetermined range is a specific range, the key point and the key point position are confirmed in the target image pattern information and the registered image pattern information to check whether the target image pattern information and the registered image pattern information are greater than or equal to the specific range Wherein the augmented reality is provided by enhancing the image recognition rate in the image.
삭제delete 삭제delete 삭제delete 삭제delete
KR1020160117812A 2016-09-13 2016-09-13 Method and apparatus for providing augmented reality using improved image recognition form video KR101794655B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160117812A KR101794655B1 (en) 2016-09-13 2016-09-13 Method and apparatus for providing augmented reality using improved image recognition form video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160117812A KR101794655B1 (en) 2016-09-13 2016-09-13 Method and apparatus for providing augmented reality using improved image recognition form video

Publications (1)

Publication Number Publication Date
KR101794655B1 true KR101794655B1 (en) 2017-12-01

Family

ID=60921869

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160117812A KR101794655B1 (en) 2016-09-13 2016-09-13 Method and apparatus for providing augmented reality using improved image recognition form video

Country Status (1)

Country Link
KR (1) KR101794655B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063492A1 (en) * 2022-09-20 2024-03-28 삼성전자 주식회사 Electronic device for displaying image and operation method of electronic device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063492A1 (en) * 2022-09-20 2024-03-28 삼성전자 주식회사 Electronic device for displaying image and operation method of electronic device

Similar Documents

Publication Publication Date Title
US10127724B2 (en) System and method for providing augmented reality on mobile devices
US11049144B2 (en) Real-time image and signal processing in augmented reality based communications via servers
US11665376B2 (en) Systems and methods for sharing video data via social media
WO2021203902A1 (en) Virtual image realization method and apparatus, and storage medium and terminal device
US10003769B2 (en) Video telephony system, image display apparatus, driving method of image display apparatus, method for generating realistic image, and non-transitory computer readable recording medium
WO2017185598A1 (en) Information pushing method and system
US20180270609A1 (en) System And Method For Inserting Messages Displayed To A User When Viewing A Venue
US8363113B2 (en) Terminal and blogging method thereof
US20180374267A1 (en) Method and System to Enhance Spectator Experience
US20220044026A1 (en) Method for generating clipping template, and electronic device
KR101794642B1 (en) Method and apparatus for providing augmented reality using recognized video
JP7176861B2 (en) Video processing method, video restoration method and computer program
CN108346179B (en) AR equipment display method and device
US11751285B2 (en) Method and apparatus for connecting user terminals as a group and providing service including contents associated with the group
US20220351425A1 (en) Integrating overlaid digital content into data via processing circuitry using an audio buffer
KR101794655B1 (en) Method and apparatus for providing augmented reality using improved image recognition form video
CN114302160A (en) Information display method, information display device, computer equipment and medium
CN113938696A (en) Live broadcast interaction method and system based on user-defined virtual gift and computer equipment
US11586712B2 (en) Method, system, and non-transitory computer-readable record medium for providing content copyright in chatroom
KR102231163B1 (en) Electronic device for editing a video and method for operating thereof
KR102361883B1 (en) server for providing user-customized character goods on online platform and server therefor
TWI767225B (en) Anchor point sharing method and apparatus, system, electronic device and computer-readable storage medium
KR20230163073A (en) Method for manufacturing of augmented reality contents
KR20170103526A (en) Method and apparatus of displaying information area when a display area to change the displayed contents
KR101501271B1 (en) Method and apparatus for conneting with display device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant