KR20150116032A - Method of providing augmented reality - Google Patents

Method of providing augmented reality Download PDF

Info

Publication number
KR20150116032A
KR20150116032A KR1020140040115A KR20140040115A KR20150116032A KR 20150116032 A KR20150116032 A KR 20150116032A KR 1020140040115 A KR1020140040115 A KR 1020140040115A KR 20140040115 A KR20140040115 A KR 20140040115A KR 20150116032 A KR20150116032 A KR 20150116032A
Authority
KR
South Korea
Prior art keywords
image
augmented reality
dimensional
texture
target
Prior art date
Application number
KR1020140040115A
Other languages
Korean (ko)
Inventor
김효수
이동용
임종욱
Original Assignee
(주)세븐피엠밴드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)세븐피엠밴드 filed Critical (주)세븐피엠밴드
Priority to KR1020140040115A priority Critical patent/KR20150116032A/en
Publication of KR20150116032A publication Critical patent/KR20150116032A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

A method of providing augmented reality according to an embodiment of the present invention includes the steps of: capturing an object in the real world and displaying a captured image target on a screen; if three-dimensional (3D) conversion conditions for the captured image target are satisfied, generating an augmented reality 3D texture image from the image target and displaying the same, wherein the augmented reality 3D texture image is generated without using a marker.

Description

증강현실 제공방법{METHOD OF PROVIDING AUGMENTED REALITY}[0001] METHOD OF PROVIDING AUGMENTED REALITY [

본 발명은 2차원 이미지 타겟을 캡쳐하여 상기 캡쳐된 이미지 타켓과 관련된 3차원 텍스처를 생성하여 보여주는 실시간 증강현실 제공방법에 관한 것이다.The present invention relates to a real-time augmented reality providing method for capturing a two-dimensional image target and generating and displaying a three-dimensional texture associated with the captured image target.

증강현실은 가상 환경 및 가상 현실에서 파생된 용어로서, 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 실세계 영상과 가상의 영상을 혼합한 것을 의미한다. 실세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 하는 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않게 할 수도 있다. 즉, 증강 현실 시스템은 실세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것이다. Augmented reality is a term derived from virtual environments and virtual reality, which means that a computer graphics image is inserted into a real environment and a real image and a virtual image are mixed. In real world information, there is information that the user does not need, and sometimes there is not enough information that the user needs. However, using a virtual environment created by a computer, information that is not needed can be made simple or invisible. That is, the augmented reality system combines the real world and the virtual world so that the user can interact with the real time user.

증강현실의 가장 간단한 형태로는 엔터테인먼트와 뉴스 분야 등에서 응용되고 있다. TV에서 일기예보를 하는 경우 기상 캐스터 앞의 날씨 지도가 자연스럽게 바뀌는 것을 볼 수 있는데, 실제로는 기상 캐스트가 블루 스크린(blue-screen) 앞에 서 있고 컴퓨터로 만들어진 가상의 영상이 가상 스튜디오 환경을 만들어 증강 현실을 이루어 내는 것이다. The simplest form of augmented reality is applied in the field of entertainment and news. In the case of weather forecasting on TV, you can see that the weather map in front of the weather caster changes naturally. In reality, the meteoric cast stands in front of the blue screen and the imaginary computer- .

이 밖에도, 자기 공명 영상(magnetic resonance image), 단층 영상(computed tomogrphayimage) 및 초음파 영상 등과 같은 간접 검사를 통해 실시간으로 환자의 3차원 데이터를 취득한 후, 취득한 데이터를 실시간으로 렌더링하여 환자와 겹쳐서 표현함으로써 의사로 하여금 환자의 수술을 원활하게 수행하도록 할 수도 있으며, 조종사 헬멧의 바이저(visor) 또는 조종석의 방풍 유리에 가상 영상을 디스플레이하여 조종에 많은 정보를 알려줄 수도 있다.In addition, after acquiring three-dimensional data of a patient in real time through indirect examination such as magnetic resonance image, computed tomogrphyimage, and ultrasound image, the acquired data is rendered in real time and superimposed on the patient The doctor may be able to smoothly perform the operation of the patient, display a virtual image on the visor of the pilot's helmet or the windshield of the cockpit, and inform the operator of a lot of information.

이와 같은 종래의 증강현실 시스템에서는 객체를 인지하기 위해 마커를 사용하고 있다. 즉, 실사영상으로부터 그와 동일한 형태 및 크기를 갖는 물리적인 마커를 입력받아 해당 마커를 인지하는 방법과, 실세계의 물체를 마커로 등록하여 가상마커로 사용하는 방법이 있다. In such a conventional augmented reality system, a marker is used to recognize an object. That is, there is a method of receiving a physical marker having the same shape and size from a real image, recognizing the marker, and a method of registering an object of a real world as a marker and using the physical marker as a virtual marker.

전자의 방법은 물리적인 마커를 하나 이상 미리 등록하여 가지고 있어야 하며, 특히 하나의 어플리케이션에서 여러 개의 가상 개체를 표현하기 위해서는 해당 수 만큼의 마커를 등록해야 함은 물론, 어플리케이션 구동시 마커들을 미리 메모리에 적재해야 하기 때문에, 비교적 많은 메모리 용량이 필요하다는 단점이 있다. In the former method, one or more physical markers must be registered in advance, and in particular, in order to represent a plurality of virtual objects in one application, not only a corresponding number of markers must be registered, It has a disadvantage that a relatively large memory capacity is required.

후자의 방법 또한 등록된 마커를 별도로 가지고 있어야 하며, 마커를 비교 및 추적하기 위해서는 시스템 리소스를 많이 사용한다는 단점이 있다.The latter method also requires having a separate registered marker, which has a drawback in that it uses a lot of system resources to compare and track the marker.

본 발명이 해결하고자 하는 과제는 기존의 증강현실 애플리케이션에서 객체를 인지하기 위해 사용되는 마커를 사용함이 없이 실시간으로 증강현실 3차원 텍스처 영상을 생성하여 제공할 수 있는 증강현실 제공방법을 구현하기 위한 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an augmented reality providing method capable of generating and providing an augmented reality three-dimensional texture image in real time without using a marker used for recognizing an object in an existing augmented reality application .

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강현실 제공방법은 실세계의 객체를 캡쳐하여 캡쳐된 이미지 타겟을 스크린에 디스플레이하는 단계; 및 캡쳐된 이미지 타켓에 대한 3차원 텍스처 변환 조건이 충족되면, 상기 이미지 타겟으로부터 증강현실 3차원 텍스처 영상을 생성하여 디스플레이하는 단계;를 포함하고, 상기 증강현실 3차원 텍스처 영상은 마커를 사용함이 없이 생성되는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an augmented reality providing method, comprising: capturing an object in a real world and displaying a captured image target on a screen; And generating and displaying an augmented reality three-dimensional texture image from the image target if the three-dimensional texture conversion condition for the captured image target is satisfied, wherein the augmented reality three- .

상기 실세계의 객체는, 2차원 이미지인 것이 바람직하다.The real-world object is preferably a two-dimensional image.

상기 2차원 이미지는 그 이미지의 특정 부분 또는 그 이미지 전체가 색상을 갖고, 이 경우 증강현실 3차원 텍스처 영상은 상기 2차원 이미지가 갖는 색상을 실시간으로 반영하는 것이 바람직하다.Preferably, the two-dimensional image has a specific portion of the image or an entire image of the two-dimensional image. In this case, the augmented reality three-dimensional texture image reflects the color of the two-dimensional image in real time.

상기 캡쳐된 이미지 타켓에 대한 3차원 텍스처 변환 조건이 충족되는 경우는, 상기 캡쳐된 이미지 타겟 전체가 스크린 내에 존재하는 경우이다.When the 3D texture conversion condition for the captured image target is satisfied, the entire captured image target exists in the screen.

상기 캡쳐된 이미지 타겟 전체가 스크린 내에 존재하는 경우는, 상기 캡쳐된 이미지 타겟의 각각의 모서리 부분의 포인트 오브젝트들이 상기 스크린 내에 존재하는 경우이다.If the entire captured image target exists in the screen, then the point objects of each corner portion of the captured image target are present in the screen.

상기 3차원 텍스처 영상을 생성하는 단계는, 상기 캡쳐된 이미지 타겟의 각각의 모서리 부분들을 각각 포인트 오브젝트들로 설정하는 단계, 상기 포인트 오브젝트의 좌표를 전역 좌표에서 스크린 좌표로 변환하는 단계, 변환된 상기 포인트 오브젝트들의 스크린 좌표 정보를 이용하여 부분 이미지를 가져오는 단계, 상기 부분 이미지에 대해 라인 드로우 알고리즘을 적용하여 3차원 텍스처 영상을 생성하는 단계;를 포함한다. Wherein the generating of the 3D texture image comprises: setting each of the corner portions of the captured image target as point objects; converting coordinates of the point object from global coordinates to screen coordinates; A step of obtaining a partial image using screen coordinate information of point objects, and a step of applying a line draw algorithm to the partial image to generate a three-dimensional texture image.

상기 라인 드로우 알고리즘은, 상기 부분 이미지를 직사각형 형태로 만드는 프로세스를 수행한다. The line draw algorithm performs a process of rendering the partial image into a rectangular shape.

본 발명의 실시예에 의하면, 종래의 증강현실 시스템에 사용되는 마커를 사용함이 없이 실시간으로 증강현실 3차원 텍스처 영상을 생성하여 제공할 수 있다. According to the embodiment of the present invention, an augmented reality three-dimensional texture image can be generated and provided in real time without using a marker used in a conventional augmented reality system.

도 1은 본 발명에 따른 증강현실 제공방법을 구현하기 위한 증강현실 제공장치의 블럭도,
도 2는 본 발명에 따른 증강현실 제공방법을 설명하기 위해 제공되는 흐름도이다
도 3은 캡쳐 영상 내의 각각의 모서리 지점들이 포인트 오브젝트(또는 게임오브젝트)로 설정된 예를 도시한 도면,
도 4는 원근법에 의해 이미지 타겟의 상태가 왜곡되어, 이미지 타겟으로부터 실제 가져온 부분 이미지가 완전한 직사각형 형태가 아님을 도시한 도면,
도 5는 본 발명의 일 실시예에 따른 텍스처를 생성하기 위한 부분 이미지 처리에 적용되는 라인 드로우 알고리즘을 도시한 도면,
도 6 및 도 7은 라인 드로우 알고리즘을 이용한 부분 이미지에 대한 추가적 프로세스들을 도시한 도면, 그리고
도 8a 내지 도 8h는 본 발명의 3차원 텍스처 영상 처리를 구현하기 위한 예시적인 샘플 프로그래밍 언어들이다.1 is a block diagram of an augmented reality providing apparatus for implementing an augmented reality providing method according to the present invention;
2 is a flow chart for explaining an augmented reality providing method according to the present invention
3 is an illustration showing an example where each corner point in the captured image is set as a point object (or a game object)
Figure 4 illustrates that the state of the image target is distorted by perspective and that the partial image actually taken from the image target is not a complete rectangular shape,
5 is a diagram illustrating a line draw algorithm applied to partial image processing for generating a texture according to an embodiment of the present invention;
Figures 6 and 7 show additional processes for a partial image using a line draw algorithm, and
8A-8H are exemplary sample programming languages for implementing the three-dimensional texture image processing of the present invention.

이하에서는 예시된 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 이하의 기술에서는, 특별히 부정하지 않는 한, 도면에 대해서는 동일한 요소는 동일한 부호로 참조되는 것으로 한다. 또한, 여기서 설명하는 구성과 처리는, 한 실시예로서 설명하는 것으로, 본 발명의 기술적 범위를 이 실시 예에 한정하여 해석하는 의도가 없다는 것을 이해하여야 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In the following description, the same elements will be referred to with the same reference numerals in the drawings unless otherwise specified. It is to be understood that the constitution and processing described herein are illustrated as an embodiment, and that the technical scope of the present invention is not limited to these embodiments and is not intended to be interpreted.

도 1은 본 발명에 따른 증강현실 제공방법을 구현하기 위한 증강현실 제공장치의 블럭도이다. 도 1을 참조하면, 본 증강현실 제공장치(100)는 영상 데이터 수집부(110), 입력 데이터 처리부(120), 영상 데이터 처리부(130) 및 디스플레이부(140)를 포함한다. 바람직하게는, 본 발명의 실시예에 따른 증강현실 제공장치(100)는 이동통신단말기, 태블릿, 노트북 등과 같은 모바일 디바이스일 수 있다.1 is a block diagram of an augmented reality providing apparatus for implementing an augmented reality providing method according to the present invention. Referring to FIG. 1, the augmented reality providing apparatus 100 includes an image data collection unit 110, an input data processing unit 120, an image data processing unit 130, and a display unit 140. Preferably, the augmented reality providing apparatus 100 according to the embodiment of the present invention may be a mobile device such as a mobile communication terminal, a tablet, a notebook, and the like.

영상 데이터 수집부(110)는 실세계의 객체의 영상을 수집 또는 캡쳐한다. 본 발명의 실시예에서, 영상 데이터 수집부(110)는 카메라와 같은 촬상 장치일 수 있다. 입력 데이터 처리부(120)는 영상 데이터 수집부(110)에서 수집 또는 캡쳐된 이미지 타겟으로부터 부분 이미지를 받아와서 영상 데이터 처리부(130)에 제공한다.The image data collection unit 110 collects or captures an image of a real-world object. In the embodiment of the present invention, the image data collection unit 110 may be an imaging device such as a camera. The input data processing unit 120 receives the partial image from the image target collected or captured by the image data collecting unit 110 and provides the partial image to the image data processing unit 130.

영상 데이터 처리부(130)는 이미지 타겟으로부터 가져온 부분 이미지에 대해 렌더링을 수행하여 3차원 텍스처를 생성하여 디스플레이부(140)에 제공한다. 영상 데이터 처리부(130)는 일종의 3차원 그래픽 프로세서일 수 있으며, 그래픽 보조 프로세서 또는 그래픽 가속기라 부르기도 한다. 일반적으로 그래픽 프로세서는, 드라이버 소프트웨어에 의해 명령어를 해독하고 실행하는 것과 명령어 실행 결과 최종적인 그림을 프레임 버퍼에 기록한다.The image data processing unit 130 generates a three-dimensional texture by rendering the partial image taken from the image target, and provides the three-dimensional texture to the display unit 140. The image data processing unit 130 may be a kind of three-dimensional graphics processor, and may also be referred to as a graphics coprocessor or a graphics accelerator. Generally, the graphics processor decodes and executes the instructions by the driver software and writes the final picture to the frame buffer as a result of executing the instructions.

디스플레이부(140)는 영상 데이터 처리부(130)로 제공되는 3차원 텍스처 영상을 표시한다. 텍스처는 원래 물체면에 인위적으로 미세한 굴곡을 부여함으로써 주름 면(wrinkled surface)을 형성하는 것을 의미하는 것으로 재질 혹은 질감을 부여하는 것을 의미한다. 디스플레이부(140)는 그래픽 출력장치로서, 액정, 플라즈마, LED, OLED, 3차원 입체 영상, 프로젝션 영상 등 매우 다양한 그래픽을 출력할 수 있다.The display unit 140 displays a three-dimensional texture image provided to the image data processing unit 130. Texture refers to the formation of a wrinkled surface by artificially imparting a slight bend to the original object surface, which means imparting a material or texture. The display unit 140 is a graphic output device capable of outputting a wide variety of graphics such as a liquid crystal, a plasma, an LED, an OLED, a three-dimensional image, and a projection image.

도 2는 본 발명에 따른 증강현실 제공방법을 설명하기 위해 제공되는 흐름도이다. 도 2를 참조하면, 캡쳐할 실세계의 객체가 제공된다(S210). 2 is a flow chart for explaining an augmented reality providing method according to the present invention. Referring to FIG. 2, a real-world object to be captured is provided (S210).

본 발명의 바람직한 실시예에서, 실세계의 객체는 2차원 이미지일 수 있으며, 보다 바람직하게는 색상을 갖는 2차원 이미지일 수 있다. 예를 들어 2차원 이미지는 종이 위에 그려진 각종 이미지(예를 들어, 로봇 그림, 공주 그림, 각종 동물 그림이나 캐릭터 등)일 수 있다. 또한, 색상을 갖는 2차원 이미지는 사용자에 의해 직접 색상이 칠해진 2차원 이미지 또는 자체적으로 색상을 갖고 있는 2차원 이미지일 수 있다.In a preferred embodiment of the present invention, the object in the real world may be a two-dimensional image, more preferably a two-dimensional image with a color. For example, a two-dimensional image can be various images (e.g., robot figure, princess figure, various animal figures, characters, etc.) drawn on paper. Further, a two-dimensional image having a color may be a two-dimensional image directly painted by the user or a two-dimensional image having its own color.

이어서, 사용자는 단말기의 카메라(110)를 이용하여 해당 객체에 관한 캡쳐 영상을 단말기의 디스플레이부(140)로 확인하게 된다(S220). Then, the user confirms a captured image of the object to the display unit 140 of the terminal using the camera 110 of the terminal (S220).

이어서, 캡쳐 영상이 3차원 텍스처 변환 조건을 만족하게 되면(S230:Y), 캡쳐 영상이 3차원 텍스쳐로 변환되어 3차원 증강현실 이미지가 디스플레이부(140)에 보여진다(S240). 여기서, 캡쳐 영상이 3차원 텍스처 변환 조건을 만족하게 된다는 것의 의미는 캡쳐 영상의 모든 모서리 부분의 포인트들이 모두 스크린 내에 존재해야 함을 의미한다.Then, when the captured image satisfies the 3D texture conversion condition (S230: Y), the captured image is converted into a 3D texture and the 3D augmented reality image is displayed on the display unit 140 (S240). Here, the meaning of the captured image satisfying the three-dimensional texture conversion condition means that all the points of the corner portion of the captured image must be within the screen.

예를 들어, 본 발명의 실시예는 유아용 학습시스템에 적용될 수 있다. 보다 구체적으로, 어린이들의 색칠 공부 등에 이용될 수 있다. 즉, 예를 들어, 본 발명이 적용되는 카메라를 이용하여 종이 위에 앵무새가 그려진 이미지를 캡쳐하면 앵무새가 3차원으로 보여지고, 어린이가 앵무새의 날개 부분을 빨간 색으로 칠하면, 3차원 영상의 날개 부분이 적색으로 표시될 것이다. 이와 같이, 본 발명의 실시예는 바람직하게는 유아용 학습시스템에 적용될 수 있을 것이다. For example, the embodiment of the present invention can be applied to an infant learning system. More specifically, it can be used for coloring of children and the like. That is, for example, when an image of a parrot is drawn on a paper using a camera to which the present invention is applied, the parrot is displayed in three dimensions. When the child paints the wing portion of the parrot in red, Will be displayed in red. As such, embodiments of the present invention may preferably be applied to an infant learning system.

도 3 내지 도 7은 본 발명의 실시예에 따른 3차원 텍스처를 생성하는 것과 관련된 도면이다. 이하에서는, 도 3 내지 도 7을 참조하여, 본 발명의 실시예에 따른 3차원 텍스처 영상의 생성 과정에 대해 상세히 설명한다.3-7 are diagrams relating to generating a three-dimensional texture according to an embodiment of the present invention. Hereinafter, a process of generating a three-dimensional texture image according to an embodiment of the present invention will be described in detail with reference to FIG. 3 to FIG.

먼저, 도 3에 도시된 바와 같이, 캡쳐 영상의 각각의 모서리 지점들이 포인트 오브젝트(또는 게임오브젝트)로 설정되고, 현재 스크린의 픽셀 전체를 읽어오는 프로세스가 수행된다. 도 3은 캡쳐 영상 내의 각각의 모서리 지점들이 포인트 오브젝트(또는 게임오브젝트)로 설정된 예를 도시한 도면이다. First, as shown in FIG. 3, each corner point of the captured image is set as a point object (or a game object), and a process of reading the entire pixels of the current screen is performed. 3 is a diagram showing an example where each corner point in the captured image is set as a point object (or a game object).

이어서, 포인트 오브젝트(또는 게임오브젝트)의 좌표가 전역 좌표(world coordinates)에서 스크린 좌표(screen coordinates)(카메라 좌표 또는 시점 좌표라고도 함)로 변환되어 캡쳐된 이미지 타겟의 위치 정보를 가져오게 된다. The coordinates of the point object (or game object) are then transformed from world coordinates to screen coordinates (also referred to as camera coordinates or viewpoint coordinates) to obtain position information of the captured image target.

이 때, 캡쳐된 이미지 타겟의 위치 정보를 가져오기 위해서는 각각의 모서리 지점들인 포인트 오브젝트들이 모두 스크린 내에 있어야 한다. 즉, 각각의 모서리 지점들인 포인트 오브젝트들이 모두 스크린 내에 존재하는 것을 조건으로 이미지 타겟의 위치 정보를 받아오게 되는 것이다. 여기서, 전역 좌표계는 장면 안의 모든 물체를 한꺼번에 일률적으로 아우를 수 있는 기준 좌표계이다.In this case, in order to obtain the positional information of the captured image target, all the point objects, which are the corner points, must be all within the screen. That is, the position information of the image target is received on condition that all the point objects as the corner points exist in the screen. Here, the global coordinate system is a reference coordinate system that can uniformly cover all the objects in the scene at a time.

종래의 증강현실 솔루션(ex:뷰포리아 등)에서는 이미지 타겟의 트래킹이 성공한 경우에도 실시간으로 이미지 타겟의 정확한 범위 정보를 가져오는 것이 불가능하였지만, 본원발명의 실시예에서는 이와 같이, 캡쳐 영상의 각각의 모서리 지점들을 포인트 오브젝트로 설정하고, 포인트 오브젝트의 좌표를 변환함으로써, 실시간으로 이미지 타겟의 정확한 범위 정보를 가져올 수 있게 된다. In the conventional augmented reality solution (eg, viewfia), it is impossible to obtain accurate range information of the image target in real time even when tracking of the image target is successful. However, in the embodiment of the present invention, By setting the corner points as point objects and transforming the coordinates of point objects, accurate range information of the image target can be obtained in real time.

이어서, 캡쳐된 이미지 타겟의 포인트 오브젝트로부터 이미지 타겟의 부분 이미지를 받아온다. 이 때, 원근법에 의해 기본적으로 카메라에 의해 캡쳐되어 스크린에 보여지는 이미지는 카메라의 각도에 따라서 왜곡이 발생할 수 있다. Subsequently, a partial image of the image target is received from the point object of the captured image target. At this time, the image captured by the camera and viewed on the screen is basically distorted according to the angle of the camera.

또한, 온전히 이미지 타겟 부분만 가져온다 하더라도 텍스처를 생성할 수 있는 완전한 사각형이 아닌 형태일 수 있다. 도 4는 원근법에 의해 이미지 타겟의 상태가 왜곡되어, 이미지 타겟으로부터 실제 가져온 부분 이미지가 완전한 직사각형 형태가 아님을 도시한다.It may also be a form that is not a complete rectangle that can generate a texture, even if it only brings the image target part completely. Figure 4 shows that the state of the image target is distorted by perspective, so that the partial image actually taken from the image target is not a complete rectangular shape.

도 5는 본 발명의 일 실시예에 따른 텍스처를 생성하기 위한 부분 이미지 처리에 적용되는 라인 드로우 알고리즘을 도시한 도면이다. 5 is a diagram illustrating a line draw algorithm applied to partial image processing for generating a texture according to an embodiment of the present invention.

도 5를 참조하면, 포인트 오브젝트 p1에서 p3로, p2에서 p4로 각각 선을 긋는 라인 드로우 알고리즘이 이용된다. p1에서 p3로 가기 위한 첫 번째 포인트와 p2에서 p4로 가기 위한 첫 번째 포인트를 각각 기준으로 다시 선을 그리기 위해 라인 드로우 알고리즘이 반복적으로 적용된다.Referring to Fig. 5, a line draw algorithm is used to draw lines from point object p1 to p3 and from p2 to p4, respectively. The line draw algorithm is repeatedly applied to draw the line again from the first point to go from p1 to p3 and the first point to go from p2 to p4, respectively.

본 발명의 실시예에서는 이미지 타겟으로부터 실제 가져온 부분 이미지에 대해 명확한 후 처리를 하기 위하여 라인 드로우 알고리즘을 이용한 다음의 추가적인 프로세스가 수행된다.In the embodiment of the present invention, the following additional process using a line draw algorithm is performed to perform an explicit post-processing on the partial image actually obtained from the image target.

도 6 및 도 7은 라인 드로우 알고리즘을 이용한 부분 이미지에 대한 추가적 프로세스들을 도시한다. 먼저, 도 6을 참조하면, 직사각형 형태의 이미지로 변형하기 위해 한 줄의 라인이 완성될 때 마다 UV 좌표로의 변환을 통해 너비를 맞춘다.  Figures 6 and 7 illustrate additional processes for a partial image using a line draw algorithm. First, referring to FIG. 6, each time a line of a line is completed to transform into a rectangular image, the width is adjusted through conversion to UV coordinates.

연산 과정에서 너비의 값은 p1 포인트와 p3 포인트를 비교해 더 긴 부분인 p3 포인트를 기준으로 한다. 너비가 맞추어지면, i 포인트와 j 포인트의 좌표를 구해 두 점 사이의 라인을 그리고, 현재 필요한 부분의 y값을 구한다. In the operation, the value of width is based on p3 point which is longer part comparing p1 point and p3 point. If the width is matched, find the coordinates of i and j points, and draw the line between the two points, and find the y value of the current part.

이어서, 도 7을 참조하면, i 포인트에서 j 포인트로 라인을 그으면서 각각의 포인트의 y값을 받아와 UV 좌표로 변환을 함으로써 명확한 직사각형의 텍스처를 생성하게 된다.Next, referring to FIG. 7, a line is drawn from an i point to a j point, and the y value of each point is received and transformed into UV coordinates to generate a definite rectangular texture.

상술한 바와 같은 방식에 의해, 본원발명의 일 실시예에 의하면, 기존의 증강현실 애플리케이션에서 객체를 인지하기 위해 사용되는 마커를 사용함이 없이 실시간으로 3차원 텍스처 영상을 생성하여 제공할 수 있다. 따라서, 본 발명의 실시예는 유아용 학습시스템에 적용되어, 예를 들어, 본 발명이 적용되는 카메라를 이용하여 종이 위에 앵무새가 그려진 이미지를 캡쳐하면 앵무새가 3차원 영상으로 보여지고, 어린이가 앵무새의 날개 부분을 빨간 색으로 칠하면, 날개 부분이 적색으로 표시된 3차원 텍스처 영상을 표시할 수 있다.According to an embodiment of the present invention as described above, a 3D texture image can be generated and provided in real time without using a marker used for recognizing an object in an existing augmented reality application. Accordingly, the embodiment of the present invention is applied to a learning system for a child, for example, when an image in which a parrot is drawn on a paper using a camera to which the present invention is applied is captured and the parrot is viewed as a three- When the wing portion is painted in red, a three-dimensional texture image in which the wing portion is displayed in red can be displayed.

상술한 본 발명의 3차원 텍스처 영상 처리를 구현하기 위한 예시적인 샘플 프로그래밍 언어들이 도 8a 내지 도 8h에 도시되어 있다. 상술한 본 발명의 증강현실 3차원 텍스처 영상 생성 과정은 그래픽 API(Application Programming Interface)인 OpenGL 이나 direct x에 기반하여 C 언어, C++, Ada, 포트란, 자바 프로그램 등과 같은 프로그래밍 언어로 구현될 수 있다. Exemplary sample programming languages for implementing the three-dimensional texture image processing of the present invention described above are shown in Figures 8A-8H. The augmented reality 3D texture image generation process of the present invention can be implemented in a programming language such as C language, C ++, Ada, Fortran, Java program, etc. based on OpenGL or direct x, which is a graphic API (Application Programming Interface).

또한, 상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.In addition, the method of the present invention as described above may be embodied as a program and stored in a computer-readable recording medium (such as a CD-ROM, a RAM, a ROM, a floppy disk, a hard disk, or a magneto-optical disk). Such a process can be easily carried out by those skilled in the art and will not be described in detail.

이상의 실시예에서는 본 발명은 하나 또는 그 이상의 특정한 실시 예들을 참조하여 기술되었지만, 이 것은 전체적으로 본 발명의 예시의 목적으로 기술된 것이며 도시된 실시 예들로 본 발명을 한정하는 것으로 해석되어서는 안 된다. 이 기술분야에서 통상의 지식을 가진 자라면 여기에 구체적으로 도시되지 않았더라도 본 발명의 범위 내에서 여러 가지 수정안들이 있을 수 있다는 것을 인식할 수 있다. While the present invention has been described with reference to one or more specific embodiments, it is understood that the same is by way of illustration and example only and is not to be construed as limiting the invention to the embodiments shown. It will be understood by those skilled in the art that various modifications may be made without departing from the scope of the present invention.

100: 증강현실 제공장치
110: 영상 데이터 수집부 120: 입력 데이터 처리부
130: 영상 데이터 처리부 140: 디스플레이부100: augmented reality providing device
110: image data collecting unit 120: input data processing unit
130: image data processing unit 140:

Claims (7)

실세계의 객체를 캡쳐하여 캡쳐된 이미지 타겟을 스크린에 디스플레이하는 단계; 및
캡쳐된 이미지 타켓에 대한 3차원 텍스처 변환 조건이 충족되면, 상기 이미지 타겟으로부터 증강현실 3차원 텍스처 영상을 생성하여 디스플레이하는 단계;를 포함하고,
상기 증강현실 3차원 텍스처 영상은 마커를 사용함이 없이 생성되는 것을 특징으로 하는 증강현실 제공방법.Capturing a real-world object and displaying the captured image target on a screen; And
And generating and displaying an augmented reality three-dimensional texture image from the image target if the three-dimensional texture conversion condition for the captured image target is satisfied,
Wherein the augmented reality three-dimensional texture image is generated without using a marker. 제1항에 있어서, 상기 실세계의 객체는,
2차원 이미지인 것을 특징으로 하는 증강현실 제공방법.The method of claim 1, wherein the real-
Dimensional image is a two-dimensional image. 제2항에 있어서,
상기 2차원 이미지는 그 이미지의 특정 부분 또는 그 이미지 전체가 색상을 갖고, 이 경우 증강현실 3차원 텍스처 영상은 상기 2차원 이미지가 갖는 색상을 실시간으로 반영하는 것을 특징으로 하는 증강현실 제공방법.3. The method of claim 2,
Wherein the two-dimensional image has a specific portion of the image or the entire image has a color, and in this case, the augmented reality three-dimensional texture image reflects the color of the two-dimensional image in real time. 제1항에 있어서,
상기 캡쳐된 이미지 타켓에 대한 3차원 텍스처 변환 조건이 충족되는 경우는,
상기 캡쳐된 이미지 타겟 전체가 스크린 내에 존재하는 경우인 것을 특징으로 하는 증강현실 제공방법.The method according to claim 1,
When the 3D texture conversion condition for the captured image target is satisfied,
And the captured image target is entirely present in the screen. 제4항에 있어서, 상기 캡쳐된 이미지 타겟 전체가 스크린 내에 존재하는 경우는,
상기 캡쳐된 이미지 타겟의 각각의 모서리 부분의 포인트 오브젝트들이 상기 스크린 내에 존재하는 경우인,
증강현실 제공방법.5. The method according to claim 4, wherein if the entire captured image target exists in the screen,
Wherein the point objects of each corner portion of the captured image target are present in the screen,
Method of providing augmented reality. 제1항에 있어서, 상기 3차원 텍스처 영상을 생성하는 단계는,
상기 캡쳐된 이미지 타겟의 각각의 모서리 부분들을 각각 포인트 오브젝트들로 설정하는 단계;
상기 포인트 오브젝트의 좌표를 전역 좌표에서 스크린 좌표로 변환하는 단계;
변환된 상기 포인트 오브젝트들의 스크린 좌표 정보를 이용하여 부분 이미지를 가져오는 단계;
상기 부분 이미지에 대해 라인 드로우 알고리즘을 적용하여 3차원 텍스처 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는,
증강현실 제공방법.2. The method of claim 1, wherein generating the 3D texture image comprises:
Setting each of the corner portions of the captured image target as point objects;
Transforming the coordinates of the point object from global coordinates to screen coordinates;
Obtaining a partial image using screen coordinate information of the converted point objects;
And generating a 3D texture image by applying a line draw algorithm to the partial image.
Method of providing augmented reality. 제5항에 있어서, 라인 드로우 알고리즘은,
상기 부분 이미지를 직사각형 형태로 만드는 프로세스를 수행하는 것을 특징으로 하는 증강현실 제공방법.

6. The method of claim 5, wherein the line-
And a process of converting the partial image into a rectangular shape is performed.

KR1020140040115A 2014-04-03 2014-04-03 Method of providing augmented reality KR20150116032A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140040115A KR20150116032A (en) 2014-04-03 2014-04-03 Method of providing augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140040115A KR20150116032A (en) 2014-04-03 2014-04-03 Method of providing augmented reality

Publications (1)

Publication Number Publication Date
KR20150116032A true KR20150116032A (en) 2015-10-15

Family

ID=54356713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140040115A KR20150116032A (en) 2014-04-03 2014-04-03 Method of providing augmented reality

Country Status (1)

Country Link
KR (1) KR20150116032A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101576A (en) * 2016-06-28 2016-11-09 广东欧珀移动通信有限公司 Image pickup method, device and the mobile terminal of a kind of augmented reality photo
CN108984075A (en) * 2017-05-31 2018-12-11 华为技术有限公司 Display mode switching method, device and terminal

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101576A (en) * 2016-06-28 2016-11-09 广东欧珀移动通信有限公司 Image pickup method, device and the mobile terminal of a kind of augmented reality photo
CN108984075A (en) * 2017-05-31 2018-12-11 华为技术有限公司 Display mode switching method, device and terminal
CN108984075B (en) * 2017-05-31 2021-09-07 华为技术有限公司 Display mode switching method and device and terminal

Similar Documents

Publication Publication Date Title
US11762475B2 (en) AR scenario-based gesture interaction method, storage medium, and communication terminal
Mori et al. A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects
JP7337104B2 (en) Model animation multi-plane interaction method, apparatus, device and storage medium by augmented reality
CN107484428B (en) Method for displaying objects
KR101932537B1 (en) Method and Apparatus for displaying the video on 3D map
CN110378947B (en) 3D model reconstruction method and device and electronic equipment
AU2019226134B2 (en) Environment map hole-filling
US11276150B2 (en) Environment map generation and hole filling
KR20180032059A (en) 3-Dimensional Contents Providing System, Method and Computer Readable Recoding Medium
KR20140121529A (en) Method and apparatus for formating light field image
KR20180120456A (en) Apparatus for providing virtual reality contents based on panoramic image and method for the same
CN110290285A (en) Image processing method, image processing apparatus, image processing system and medium
JP6223916B2 (en) Information processing apparatus, method, and program
US20230410386A1 (en) Data generation method and apparatus, and electronic device
JP6362401B2 (en) Image processing apparatus and image processing apparatus control method
KR20150116032A (en) Method of providing augmented reality
KR101850134B1 (en) Method and apparatus for generating 3d motion model
CN113223186B (en) Processing method, equipment, product and device for realizing augmented reality
Lai et al. Exploring manipulation behavior on video see-through head-mounted display with view interpolation
CN110827411B (en) Method, device, equipment and storage medium for displaying augmented reality model of self-adaptive environment
CN116030228B (en) Method and device for displaying mr virtual picture based on web
US11651529B2 (en) Image processing method, apparatus, electronic device and computer readable storage medium
CN104063241B (en) The method and system that the image synchronization of host program and com component is shown
JP7365981B2 (en) Information terminal device, method and program
EP4258221A2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application