KR20120067806A - Multiple-object operating method through multiple-copy of recognition fiducial point in augmented reality video - Google Patents

Multiple-object operating method through multiple-copy of recognition fiducial point in augmented reality video Download PDF

Info

Publication number
KR20120067806A
KR20120067806A KR1020100129400A KR20100129400A KR20120067806A KR 20120067806 A KR20120067806 A KR 20120067806A KR 1020100129400 A KR1020100129400 A KR 1020100129400A KR 20100129400 A KR20100129400 A KR 20100129400A KR 20120067806 A KR20120067806 A KR 20120067806A
Authority
KR
South Korea
Prior art keywords
recognition
reference point
screen
color
copy
Prior art date
Application number
KR1020100129400A
Other languages
Korean (ko)
Inventor
안재영
정성모
송재구
김석수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100129400A priority Critical patent/KR20120067806A/en
Priority to US13/287,636 priority patent/US20120154439A1/en
Publication of KR20120067806A publication Critical patent/KR20120067806A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

PURPOSE: A multiple objects operating method through multiple copies of a perception reference point in augmented-reality graphic is provided to collectively random copy software through extraction of perception reference point within the graphic. CONSTITUTION: A multiple object operating method through multiple copies of a perception reference point in augmented-reality graphic comprises the following steps: extracting outline for recognition reference point recognition(11) by use of Hough transform algorithm if an image input(10) begins; manufacturing multi object environment construction basis data after preprocessing of the image; coping the base data on a screen(13); applying Mean-Shift algorithm to the perception reference point for multi object operation(14); and outputting the processed image with multiple objects(15).

Description

증강현실 영상에서 인식 기준점의 다중복사를 통한 다중 객체 운용 방법 {Multiple-Object Operating Method through Multiple-Copy of Recognition Fiducial Point in Augmented Reality Video}Multiple-Object Operating Method through Multiple-Copy of Recognition Fiducial Point in Augmented Reality Video}

본 발명은 증강현실 영상에서 인식 기준점의 다중복사를 통한 다중 객체 운용 방법에 관한 것이다.The present invention relates to a method for operating multiple objects through multiplexing of recognition reference points in an augmented reality image.

증강현실을 구현하기 위해서는 카메라가 받은 영상의 어느 곳에 물체를 증강시킬 것인지 결정해야하며, 이를 구현하는 증강 방식에 따라 마커 기반 인식(Maker base Recognition)과 비마커 기반 인식(Markerless base Recognition) 방식으로 분류된다. 마커 기반 인식은 영상내의 특정 위치를 정의하기 위해 고유의 패턴 (마커)을 사용하는 방식이며, 비마커 기반은 인식된 자연물에 대한 정보를 증강 객체생성의 기준점으로 하는 방식이다. In order to implement augmented reality, it is necessary to determine where the object is to be augmented by the camera and classify it into marker base recognition and markerless base recognition according to the augmentation method. do. Marker-based recognition uses a unique pattern (marker) to define a specific position within an image, and non-marker-based recognition is a method of using information about a recognized natural object as a reference point for augmented object generation.

마커등 지정된 위치에 증강된 객체를 나타내기 위해서는 객체의 앞, 옆, 뒤가 실시간으로 보이도록 하기 위해 매트릭스 계산이 필요하며, 화면 내에서 증강현실의 객체를 추가하는 경우에는 마커 기반 방식의 경우 1개의 마커를 실제로 추가 하는 방식을 적용하게 되는네, 이를 반복하는 다중 객체 증강의 경우 계산량이 급속히 증가한다. In order to show an augmented object at a designated location such as a marker, matrix calculation is required to make the front, side, and back of the object visible in real time. We actually apply a way to add markers, and in the case of multiple object augmentation that iterates, the computations increase rapidly.

기존의 마커 기반 인식과 비마커 기반 인식 방식은 모두 다중 객체 운용이 가능하나, 기존의 방식들은 모두 다중 객체를 운용하기 위해서 시간이 오래 걸리는 행렬 값의 실시간 연산을 필요로 하여, 실시간으로 영상에 융합되어야 하는 증강현실의 특성상 이러한 계산량의 증가는 다중 객체 운용 성능을 크게 저하시킨다. Conventional marker-based recognition and non-marker-based recognition methods are both capable of operating multiple objects, but all of the existing methods require time-consuming real-time calculation of matrix values to operate multiple objects. Due to the nature of augmented reality that should be increased, this increase in computations significantly degrades the performance of multi-object operations.

본 발명이 이루고자 하는 기술적 과제는 기존 마커 기반 인식과 비 마커 기반 인식 방식 모두의 문제점 중 하나인 다중객체 운용 시의 성능 문제를 획기적으로 향상 시킬 수 있는 방법을 제공하는 것이다.The technical problem to be achieved by the present invention is to provide a method that can significantly improve the performance problem when operating multiple objects, which is one of the problems of both conventional marker-based recognition and non-marker-based recognition.

상술한 바와 같이, 본 발명은 증강현실 영상에서 인식 기준점의 다중복사를 통한 다중 객체 운용이 가능함으로써, 기존 방식 대비 성능을 효율적으로 향상시킬 수 있다.As described above, the present invention enables the multi-object operation by multiplexing the recognition reference point in the augmented reality image, it is possible to efficiently improve the performance compared to the conventional method.

본 발명에 의하면, 영상 내 인식 기준점 추출을 통해 소프트웨어 적으로 일괄 랜덤 복사 처리를 하기 때문에 근본적인 성능 저하 문제를 해결할 수 있다. 본 발명은 향후 증강현실 영상이 적용된 거의 모든 분야에서 적용 가능할 것으로 예상되며, 증강현실이 처음 적용된 연구 영역뿐만 아니라, 다양한 문화 콘텐츠 환경에서도 적용될 수 있다.According to the present invention, since the batch random copy processing is performed in software through extraction of the recognition reference point in the image, a fundamental problem of performance degradation can be solved. The present invention is expected to be applicable to almost all fields to which augmented reality images are applied in the future, and may be applied to various cultural content environments as well as a research area to which augmented reality is first applied.

도 1은 다중 객체 운용의 개념적인 구성도이다.
도 2는 인식 기준점 데이터를 화면상에 복사 가능한 기초 데이터로 변환하는 방식을 도시한 것이다.
도 3은 인식 기준점 기초 데이터를 화면상에 안전하게 복사하는 과정을 도시한 것이다.
도 4는 복사된 인식 기준점을 이용한 다중 객체 운용 과정을 도시한 것이다.1 is a conceptual diagram of a multi-object operation.
2 illustrates a method of converting recognition reference point data into basic data which can be copied onto a screen.
3 illustrates a process of safely copying recognition reference point data on a screen.
4 illustrates a multi-object operation process using the copied recognition reference point.

상술한 기술적 과제를 해결하기 위한 본 발명에 따른 다중 객체 운용 방법은, 다중 객체 증강을 위한 추가 객체의 기준점이 되는 마커 데이터를 소프트웨어적으로 생성하여 동일한 값으로 화면 내에서 반복 복사함으로써 다중객체의 운용을 위한 매트릭스 계산 값을 최초 연산 결과와 동일한 값으로 반복 사용할 수 있도록 한다. In order to solve the above technical problem, the multi-object operating method according to the present invention operates the multi-object by repeatedly generating the marker data, which is a reference point of an additional object for augmenting the multi-objective software, and repeatedly copying the same within the screen with the same value. It is possible to repeat the matrix calculation value for the same value as the initial calculation result.

이를 구성하는 방법은, 인식 기준점 패턴을 허프 변환 (Hough Ttransform) 을 통해 인식하는 부분; 인식된 패턴의 선 궤적을 둘러 싼 병행하는 에지 (edge) 들 간의 내부를 색상으로 채워 원 궤적을 복구하되 각 에지의 마주보는 방향으로 색상을 채워 패턴의 확장을 방지하는 부분; 인지점의 동질화를 위한 단색 다중객체 환경 구축을 위한 색상제거 처리부; 복사 위치 지정시, 원 영상 영역과 중첩되지 않는 복사 영역 처리부; 다중 복사시 각 기준점과 겹치지 않도록 영역 보호 및 상호 회피를 통해 랜덤하게 출력 처리부; 영역을 초과하는 지정에 대한 제한 출력 및 마커 크기 축소 처리부; 영상 잡은 제거를 통한 인식률 개선 처리부를 포함한다.A method of configuring the same may include: recognizing a recognition reference point pattern through a Hough Ttransform; Restoring the original trajectory by filling the interior between the parallel edges surrounding the line trajectory of the recognized pattern with colors to prevent the expansion of the pattern by filling the colors in opposite directions of each edge; A color removing processing unit for constructing a monochromatic multi-object environment for homogenizing recognition points; A copy area processing unit that does not overlap with the original image area when specifying a copy position; An output processor randomly through region protection and mutual avoidance so as not to overlap each reference point when multiple copies are performed; A restriction output and marker size reduction processing section for designation exceeding an area; The image capture may include a recognition rate improvement processing unit.

이하에서, 도면을 참조하여 본 발명의 실시 예에 대하여 상세히 설명하기로 한다.Hereinafter, with reference to the drawings will be described in detail an embodiment of the present invention.

도 1은 다중 객체 운용의 개념적인 구성도이다. 영상 입력(10), 인식 기준점 인식(11), 기초 데이터로 변환(12), 화면상에 복사(13), 다중 객체 운용(14), 영상 출력(15)으로 구성된다.1 is a conceptual diagram of a multi-object operation. It consists of image input 10, recognition reference point recognition 11, conversion to basic data 12, copy on screen 13, multi-object operation 14, and image output 15.

영상 입력(10)이 시작되면 인식 기준점 인식(11)을 위해 허프 변환 알고리즘을 사용하여 외곽선을 추출한다. 추출된 외곽선에 1방향 내부 채우기를 수행한다. 내부가 채워진 영상을 기초 데이터로 변환(12)하기 위해 이진화로 전처리한다. 전처리 된 영상은 인지점의 동질화를 통한 단색의 다중객체 환경 구축 기초 데이터가 된다. 기초 데이터를 화면상에 복사(13)하기 위해 기초 데이터가 겹치지 않도록 브레슨햄 알고리즘 (Bresenham Algorithm) 을 통해 보호 영역을 생성한다. 화면 영역을 초과하는 경우에는 인지 기준점의 크기 축소, 제한 출력을 통해 제어한다. 복사된 인지 기준점으로 다중 객체 운용(14)을 위해 복사된 인지 기준점에 Mean-Shift 알고리즘을 적용하여 영상 잡음을 제거하여 인식률을 개선한다. 최종 처리된 영상은 다중 객체를 포함하여 영상 출력(15)한다.When the image input 10 is started, an outline is extracted using a Hough transform algorithm for recognition reference point recognition 11. Perform a one-way inner fill on the extracted outline. The process is preprocessed by binarization to convert the image filled inside into basic data (12). The preprocessed image becomes the basic data for the construction of a monochromatic multi-object environment through homogenization of recognition points. In order to copy 13 the basic data on the screen, a protected area is generated through the Bresenham Algorithm so that the basic data does not overlap. If it exceeds the screen area, it is controlled by reducing the size of the recognition reference point and limiting the output. By applying the Mean-Shift algorithm to the copied cognitive reference point for multi-object operation 14 as the cognitive reference point, the recognition rate is improved by removing image noise. The final processed image outputs an image including multiple objects.

도 2는 인식 기준점 데이터를 화면상에 복사 가능한 기초 데이터로 변환하는 방식을 나타낸다. 입력된 영상에서 인식 기준점을 인식(20)하고, 허프 변환 알고리즘을 통해 외곽선 추출(21)을 한다. 추출된 인식 기준점 외곽선에 1방향 내부 채우기를 한다. 전처리를 위해 인식 기준점을 이진화(22)하여 기초데이터(23)를 생성한다.2 illustrates a method of converting recognition reference point data into basic data that can be copied onto a screen. A recognition reference point is recognized 20 from an input image, and an outline 21 is extracted through a Hough transform algorithm. A one-way inner fill is applied to the extracted recognition reference point outline. The baseline 23 is generated by binarizing the recognition reference point 22 for preprocessing.

도 3은 인식 기준점 기초를 화면상에 안전하게 복사하는 과정을 나타낸다. 브레슨햄 알고리즘을 통해 원형의 인식 기준점 영역 보호(30)를 위한 영역을 지정 한다. 지정된 영역에 상호 회피 값 적용(31)을 하여 다중 복사시 인식 기준점이 중첩되지 않도록 한다. 한 화면에 출력될 수 있는 인식 기준점의 수를 지정하기 위해 제한 출력 값 적용(32)을 통한 개수 지정 및 크기 축소를 수행한다. 영역 보호 기초 데이터(33)를 통해 인식 기준점을 복사한다.3 illustrates a process of safely copying a recognition reference point base on a screen. The Bresonham algorithm designates an area for circular recognition reference point area protection (30). The mutual avoidance value 31 is applied to the designated area so that the recognition reference points do not overlap in the multiple copy. In order to specify the number of recognition reference points that can be output on one screen, the number designation and size reduction are performed by applying the limited output value 32. The recognition reference point is copied through the area protection basic data 33.

도 4는 복사된 인식 기준점을 이용한 다중 객체 운용 과정을 도시한 것이다. 영역 보호 기초 데이터(40)에 Mean-Shift 알고리즘을 적용하여 영상 잡음 제거(41)를 수행한다. Randomize 함수를 이용해 화면에 다중 객체 복사(42)를 수행한다. 최종 영상 출력(43)을 수행한다.4 illustrates a multi-object operation process using the copied recognition reference point. The image noise reduction 41 is performed by applying a Mean-Shift algorithm to the region protection basic data 40. Copy multiple objects (42) to the screen using the Randomize function. The final image output 43 is performed.

기존의 다중 객체 운용 방식은 연산 속도가 느리기 때문에 하드웨어 성능을 고려해야 하며, 하드웨어 성능이 개선되어도 더 많은 다중 객체 운용에는 한계를 나타낼 수밖에 없다.Since the existing multi-object operation method is slow in computing speed, hardware performance must be taken into consideration, and even if the hardware performance is improved, there is no limit to operating more multi-objects.

본 발명은 또한 다른 방식의 외곽선 탐지 방법으로도 구현이 가능하다. 허프 변환 알고리즘을 사용하였으나, 기타 같은 기능을 수행하는 알고리즘이 적용 가능하기 때문에 보다 빠르고 효율적인 기법으로 실행될 수 있다.The present invention can also be implemented with other methods of outline detection. Although the Hough transform algorithm is used, other algorithms that perform the same function are applicable, and thus can be executed with faster and more efficient techniques.

이상 도면과 명세서에서 최적 실시 예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구 범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
The best embodiments have been disclosed in the drawings and specification. Although specific terms have been used herein, they are used only for the purpose of describing the present invention and are not used to limit the scope of the present invention as defined in the meaning or claims. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

Claims (10)

증강현실 영상에서 패턴 인식된 기준점 (마커)를 소프트웨어적으로 화면에 다중 복사하여 다중 객체로 운용하는 방법 A method of operating multiple objects by copying a pattern recognition point (marker) on the screen by software in augmented reality image 상기 1항의 방법을 효율적으로 구현하기 위해 인식 기준점 데이터를 화면상에 복사 가능한 기초 데이터로 변환하는 단계;Converting the recognition reference point data into copyable basic data on a screen to efficiently implement the method of claim 1; 상기 2 항에서 인식 기준점 데이터의 선 궤적을 둘러 싼 병행하는 에지 (edge) 들 간의 내부를 색상으로 채워 원 궤적을 복구하는 방법;A method of restoring a circle trajectory by filling the color of the inside of parallel edges surrounding the line trajectory of the recognition reference point data with color; 상기 3항의 색상 채우기에서 각 에지의 마주보는 방향으로 만 색상을 채워넣음으로써 패턴의 확장을 방지하는 부분;A part of preventing the expansion of the pattern by filling the color only in the opposite direction of each edge in the color filling of claim 3; 상기 2항의 단계로 확보된 인식 기준점 기초 데이터를 화면상에 다중 복사시 각 기준점과 겹치지 않도록 영역 보호 및 상호 회피를 통해 겹치지 않도록 보호하는 단계;Protecting the recognition reference point base data secured in the above step 2 from overlapping through region protection and mutual avoidance so as not to overlap each reference point when multiple copies are made on the screen; 상기 5 항에 있어 복사 위치 지정시, 원 영상 영역과 중첩되지 않는 복사가 이루어지도록 브레즌햄 알고리즘을 사용하여 각 인식 기준점의 보호영역을 설정하는 단계; The method of claim 5, further comprising: setting a protection area of each recognition reference point using a Brenzeham algorithm such that when a copy position is specified, copying does not overlap with an original image area; 상기 5항의 영역 보호된 기초 데이터에 MEAN-SHIfT 방법을 적용하여 미세 영상 잡음을 제거함으로써, 다중객체의 운용시 재 인식 효율 향상을 지원하는 단계;Supporting the re-recognition efficiency when operating the multi-object by removing the fine image noise by applying the MEAN-SHIfT method to the area protected basic data of claim 5; 인지점의 색상제거를 통해 단색 다중객체 환경을 구축하여 인지점의 동질화를 확보하는 단계; Securing homogeneity of the recognition points by constructing a monochromatic multi-object environment through color removal of the recognition points; 상기 5항에 있어 다중 복사시, 랜덤 수열을 발생시켜 화면상에 고르게 분포시키는 방법;The method of claim 5, wherein the multi-copying method comprises: generating a random sequence and evenly distributing it on the screen; 상기 9항에 있어 영역을 초과하는 마커들의 다중복사가 지정될 경우 이에 대한 출력을 제한하거나 마커의 크기를 축소하는 단계; Limiting the output or reducing the size of the marker when the multiple copy of the markers exceeding the region is designated;
KR1020100129400A 2010-12-16 2010-12-16 Multiple-object operating method through multiple-copy of recognition fiducial point in augmented reality video KR20120067806A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100129400A KR20120067806A (en) 2010-12-16 2010-12-16 Multiple-object operating method through multiple-copy of recognition fiducial point in augmented reality video
US13/287,636 US20120154439A1 (en) 2010-12-16 2011-11-02 Apparatus and method for operating multiple object of augmented reality system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100129400A KR20120067806A (en) 2010-12-16 2010-12-16 Multiple-object operating method through multiple-copy of recognition fiducial point in augmented reality video

Publications (1)

Publication Number Publication Date
KR20120067806A true KR20120067806A (en) 2012-06-26

Family

ID=46686730

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100129400A KR20120067806A (en) 2010-12-16 2010-12-16 Multiple-object operating method through multiple-copy of recognition fiducial point in augmented reality video

Country Status (1)

Country Link
KR (1) KR20120067806A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150025115A (en) * 2013-08-28 2015-03-10 엘지전자 주식회사 Apparatus and Method for Portable Device displaying Augmented Reality image
WO2015148082A1 (en) * 2014-03-27 2015-10-01 Intel Corporation Imitating physical subjects in photos and videos with augmented reality virtual objects

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150025115A (en) * 2013-08-28 2015-03-10 엘지전자 주식회사 Apparatus and Method for Portable Device displaying Augmented Reality image
WO2015148082A1 (en) * 2014-03-27 2015-10-01 Intel Corporation Imitating physical subjects in photos and videos with augmented reality virtual objects

Similar Documents

Publication Publication Date Title
Dong et al. Digital watermarking robust to geometric distortions
US9865042B2 (en) Image semantic segmentation
EP3048579B1 (en) Structure analysis method for recovering missing structures in an image after object removal
Farzana FM et al. Design and Analysis for Removing Salt and Pepper Noise in Image Processing
KR20160006595A (en) Augmenting barcodes with secondary encoding for anti-counterfeiting
WO2006062221A2 (en) Method for processing an input image securely
CN105069754A (en) System and method for carrying out unmarked augmented reality on image
CN112651953A (en) Image similarity calculation method and device, computer equipment and storage medium
KR102158390B1 (en) Method and apparatus for image processing
KR102509823B1 (en) Method and apparatus for estimating plane based on grids
KR102316165B1 (en) Apparatus and method for generating attack image of deep learning based face recognition system
US20150139487A1 (en) Image processor with static pose recognition module utilizing segmented region of interest
KR20120067806A (en) Multiple-object operating method through multiple-copy of recognition fiducial point in augmented reality video
Parande et al. Concealed weapon detection in a human body by infrared imaging
Saeed et al. Implementation and advanced results on the non-interrupted skeletonization algorithm
CN114758145A (en) Image desensitization method and device, electronic equipment and storage medium
CN111508045B (en) Picture synthesis method and device
Xue et al. Removing watermarks for image processing networks via referenced subspace attention
Oliveira et al. Accelerated unsupervised filtering for the smoothing of road pavement surface imagery
Kang et al. STAug: Copy-Paste Based Image Augmentation Technique Using Salient Target
TWI444908B (en) Hand gesture image recognition method and system using image orientation alignment
JP7117177B2 (en) Area identification device and program
Akojwar et al. Image Copy-Move Forgery Detection Using Block Matching Probabilities
Ananth et al. Enhancement of segmentation and zoning to improve the accuracy of handwritten character recognition
Lin et al. Accumulative energy-based seam carving for image resizing

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid