KR20150072954A - Method and Apparatus for Providing Augmented Reality Service - Google Patents

Method and Apparatus for Providing Augmented Reality Service Download PDF

Info

Publication number
KR20150072954A
KR20150072954A KR1020130160689A KR20130160689A KR20150072954A KR 20150072954 A KR20150072954 A KR 20150072954A KR 1020130160689 A KR1020130160689 A KR 1020130160689A KR 20130160689 A KR20130160689 A KR 20130160689A KR 20150072954 A KR20150072954 A KR 20150072954A
Authority
KR
South Korea
Prior art keywords
image
specific display
information
sub
model information
Prior art date
Application number
KR1020130160689A
Other languages
Korean (ko)
Other versions
KR101553273B1 (en
Inventor
정회경
Original Assignee
배재대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배재대학교 산학협력단 filed Critical 배재대학교 산학협력단
Priority to KR1020130160689A priority Critical patent/KR101553273B1/en
Publication of KR20150072954A publication Critical patent/KR20150072954A/en
Application granted granted Critical
Publication of KR101553273B1 publication Critical patent/KR101553273B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Disclosed are a method and a device for providing an augmented reality service. A user obtains personal information by using a terminal or obtains 3D model information such as area explanation, maps, and the like to be outputted on a particular display of a video image, so that the user can be provided with an augmented reality service.

Description

증강현실 서비스를 제공하는 방법 및 장치{Method and Apparatus for Providing Augmented Reality Service}[0001] The present invention relates to a method and apparatus for providing augmented reality service,

본 실시예는 증강현실 서비스를 제공하는 방법 및 그를 위한 장치에 관한 것이다. This embodiment relates to a method for providing an augmented reality service and an apparatus therefor.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.

멀티 코어 병렬 처리 컴퓨터 기술, 소프트웨어 공학 관리, IPV6 기술과 3G 통신기술의 신속한 발전에 따라, 컴퓨터 지원 설계, 시뮬레이션 모델링, 컴퓨터 아트, 컴퓨터 비전, 지능형 로봇 등 기술은 국제 공업계화 학계의 중요한 연구 포인트로 되었다. 이러한 기술들은 점차 사람들을 정보 디지털화 후의 가상 세계로 이끌고 있으며 예술과 영상 창작을 시간, 공간, 경험을 초월한 새로운 창작과 새로운 사고의 영역으로 이끌고 있다. 가상현실(VR: Virtual Reality) 기술은 신세기의 컴퓨터 멀티미디어 형식을 예고하고 있으며 증강현실(AR: Augmented Reality) 기술은 가상현실(VR: Virtual Reality) 기술의 중요한 분류의 하나로서 사용자와 가상세계 중 3D 물체와 자연적인 상호작용을 진행할 수 있는 인터페이스를 제공하고 있으며 사용자들에게 실현하기 쉬운 하드장비, 강한 상호 작용, 사람들의 인지 능력을 강화할 수 있는 새로운 실감적인 세계를 가져다 준다.Computer-assisted design, simulation modeling, computer art, computer vision, and intelligent robot technology are important research points in the international industrial chemistry world with the rapid development of multi-core parallel processing computer technology, software engineering management, IPV6 technology and 3G communication technology. . These technologies are increasingly leading people into virtual worlds after information digitization, and they are leading the creation of art and video into the fields of new creation and new thinking that transcend time, space, and experience. Augmented Reality (AR) technology is an important classification of virtual reality (VR) technology, and it is expected that 3D (virtual reality) It provides an interface for natural interaction with objects and brings a new realistic world where users can easily realize realistic hard equipments, strong interaction and people's cognitive ability.

증강현실 시스템은 실시간으로 실감적인 고해상도 3D 장면을 제공하기 위한 연구가 계속되고 있고, 사람과 가상환경간의 완벽한 통합을 실현하여 사람들로 하여금 제일 자연적인 조작을 통하여 가상 세계 속의 3D 물체와 상호작용을 진행하는 것이 필요로 한다.Augmented reality systems are continuing to provide realistic high-resolution 3D scenes in real-time, and realize seamless integration between people and virtual environments, enabling people to interact with 3D objects in the virtual world through the most natural manipulation .

본 실시예는, 사용자가 단말기를 이용하여 개인정보를 획득하거나, 구역 설명, 지도 등의 3D 모델정보를 획득하여 비디오 영상의 특정 표시 위에 출력하여 사용자에게 증강현실 서비스를 제공하는 방법 및 장치를 제공하는 데 목적이 있다.The present embodiment provides a method and apparatus for acquiring personal information using a terminal, acquiring 3D model information such as a region description and a map, and outputting the 3D model information on a specific display of a video image to provide augmented reality service to a user The purpose is to do.

본 실시예의 일 측면에 의하면, 영상 입력장치로부터 촬영된 비디오 영상을 획득하는 영상수집 서브모듈; 상기 비디오 영상을 기초로 영상 전처리를 수행하여 기 설치된 특정 표시를 식별하는 영상 전처리 서브모듈; 상기 특정 표시에 근거하여 3D 모델정보를 생성하고, 생성된 상기 3D 모델정보를 상기 특정 표시 상에 렌더링(Rendering)하는 그래픽 제작 서브모듈; 상기 특정 표시 및 상기 3D 모델정보 간의 심도정보를 측정하는 심도검사 서브모듈; 상기 심도정보에 근거하여 상기 특정 표시 및 상기 3D 모델정보에 시각정보를 추가하여 융합하여 렌더링 되도록 하는 실제상황 융합 서브모듈; 및 상기 특정 표시 및 상기 3D 모델정보를 출력하는 디스플레이 모듈을 포함하는 것을 특징으로 하는 증강현실 서비스 제공장치를 제공한다.According to an aspect of the present embodiment, there is provided an image processing apparatus including an image acquisition sub-module for acquiring a video image photographed from a video input device; An image preprocessing sub-module for performing image preprocessing based on the video image to identify a specific display installed; A graphic creation sub-module for generating 3D model information based on the specific display and rendering the generated 3D model information on the specific display; A depth inspection sub-module for measuring depth information between the specific display and the 3D model information; A real-situation convergence sub-module for adding time information to the specific display and the 3D model information based on the depth information and fusing and rendering the time information; And a display module for outputting the specific display and the 3D model information.

또한, 본 실시예의 다른 측면에 의하면, 영상 입력장치로부터 촬영된 비디오 영상을 획득하는 영상수집 과정; 상기 비디오 영상을 기초로 영상 전처리를 수행하여 기 설치된 특정 표시를 식별하는 영상 전처리 과정; 상기 특정 표시에 근거하여 3D 모델정보를 생성하는 가상모델 생성과정; 상기 특정 표시 및 상기 3D 모델정보 간의 심도정보를 측정하는 심도검사 과정; 상기 심도정보에 근거하여 상기 특정 표시 및 상기 3D 모델정보에 시각정보를 추가하여 융합하는 실제상황 융합 과정; 상기 3D 모델정보를 상기 특정 표시 상에 렌더링(Rendering)하는 렌더링 과정; 및 상기 특정 표시 및 상기 3D 모델정보를 출력하는 디스플레이 과정을 포함하는 것을 특징으로 하는 증강현실 서비스 제공방법을 제공한다.According to another aspect of the present invention, there is provided an image processing method including: an image acquisition step of acquiring a video image photographed from a video input device; An image preprocessing step of performing image preprocessing based on the video image to identify a specific display installed; A virtual model generation step of generating 3D model information based on the specific display; A depth inspection step of measuring depth information between the specific display and the 3D model information; An actual situation convergence process of adding time information to the specific display and the 3D model information based on the depth information and fusing; A rendering process of rendering the 3D model information on the specific display; And a display process of outputting the specific display and the 3D model information.

또한, 본 실시예의 다른 측면에 의하면, 데이터 처리기기에, 영상 입력장치로부터 촬영된 비디오 영상을 획득하는 영상수집 과정; 상기 비디오 영상을 기초로 영상 전처리를 수행하여 기 설치된 특정 표시를 식별하는 영상 전처리 과정; 상기 특정 표시에 근거하여 3D 모델정보를 생성하는 가상모델 생성과정; 상기 특정 표시 및 상기 3D 모델정보 간의 심도정보를 측정하는 심도검사 과정; 상기 심도정보에 근거하여 상기 특정 표시 및 상기 3D 모델정보에 시각정보를 추가하여 융합하는 실제상황 융합 과정; 상기 3D 모델정보를 상기 특정 표시 상에 렌더링(Rendering)하는 렌더링 과정; 및 상기 특정 표시 및 상기 3D 모델정보를 출력하는 디스플레이 과정을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.According to another aspect of the present invention, there is provided a data processing apparatus including: an image collecting step of acquiring a captured video image from a video input device; An image preprocessing step of performing image preprocessing based on the video image to identify a specific display installed; A virtual model generation step of generating 3D model information based on the specific display; A depth inspection step of measuring depth information between the specific display and the 3D model information; An actual situation convergence process of adding time information to the specific display and the 3D model information based on the depth information and fusing; A rendering process of rendering the 3D model information on the specific display; And a display process of outputting the specific display and the 3D model information are provided on a computer-readable recording medium.

이상에서 설명한 바와 같이 본 실시예에 의하면, 사용자가 단말기를 이용하여 개인정보를 획득하거나, 구역 설명, 지도 등의 3D 모델정보를 기 설치된 특정 표시 상에 투영함으로써, 사용자가 들어갈 수 없는 미관세계 또는 특수 환경을 느낄 수 있는 증강현실 서비스를 제공하는 효과가 있다. As described above, according to the present embodiment, the user can acquire personal information by using the terminal, or by projecting the 3D model information such as the area description and the map onto the predetermined display, There is an effect of providing an augmented reality service capable of feeling a special environment.

또한, 특정 표시 상에 구역 설명, 지도 등의 3D 모델정보를 투영함으로써, GPS가 원활하지 않은 지역에서 위치를 확인할 수 있고, 불필요한 데이터 송수신을 줄일 수 있는 효과가 있다. In addition, by projecting 3D model information such as a zone description and a map on a specific display, it is possible to confirm the position in an area where the GPS is not smooth, and unnecessary data transmission / reception can be reduced.

도 1은 본 발명의 제1 실시예에 따른 증강현실 시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 발명의 제1 실시예에 따른 영상수집 서브모듈이 다이렉트쇼 모듈로 구현된 것을 나타내기 위한 예시도이다.
도 3은 본 발명의 제1 실시예에 따른 영상 전처리 서브모듈의 디지털 이미지 처리 절차를 나타낸 블록 구성도이다.
도 4는 본 발명의 제1 실시예에 따른 등록측정 서브모듈에서 방사형 왜곡 기반의 카메라 모델을 나타내기 위한 예시도이다.
도 5는 본 발명의 제1 실시예에 따른 심도검사 서브모듈에서 심도정보를 검측하는 절차를 나타낸 블록 구성도이다.
도 6은 본 발명의 제2 실시예에 따른 증강현실 서비스 제공장치를 개략적으로 나타낸 블록 구성도이다.
도 7은 본 발명의 제2 실시예에 따른 영상 처리부의 좌표계를 나타내기 위한 예시도이다.
도 8은 본 발명의 제2 실시예에 따른 가상 3D 물체를 특정 표시 상에 투영하는 동작을 나타낸 예시도이다.
도 9는 본 발명의 제2 실시예에 따른 디지털 명함을 나타낸 예시도이다.
도 10의 (a)는 본 발명의 제2 실시예에 따른 디지털 명함에 대한 증강현실 서비스를 제공하기 위한 특정 표시를 나타낸 예시도이다.
도 10의 (b)는 본 발명의 제2 실시예에 따른 증강현실 서비스를 이용하여 특정 표시 상에 출력된 디지털 명함을 나타낸 예시도이다.
도 11의 (a)는 본 발명의 제2 실시예에 따른 3D 지도에 대한 증강현실 서비스를 제공하기 위한 특정 문패표시를 나타낸 예시도이다.
도 11의 (b)는 본 발명의 제2 실시예에 따른 증강현실 서비스를 이용하여 출력된 3D 장면 지도를 나타낸 예시도이다.
도 12의 (a)는 본 발명의 제2 실시예에 따른 증강현실 서비스를 제공하기 위한 특정 문패표시 및 특정 안내표시를 나타낸 예시도이다.
도 12의 (b)는 본 발명의 제2 실시예에 따른 증강현실 서비스를 이용하여 출력된 3D 지도 및 구역 안내정보를 나타낸 예시도이다. 1 is a block diagram schematically showing an augmented reality system according to a first embodiment of the present invention.
FIG. 2 is an exemplary diagram illustrating that the image acquisition submodule according to the first embodiment of the present invention is implemented as a direct show module.
3 is a block diagram illustrating a digital image processing procedure of the image preprocessing sub-module according to the first embodiment of the present invention.
4 is an exemplary diagram illustrating a radial distortion based camera model in a registration measurement submodule according to a first embodiment of the present invention.
FIG. 5 is a block diagram illustrating a procedure for detecting depth information in the depth-checking sub-module according to the first embodiment of the present invention.
6 is a block diagram schematically showing an ARF service providing apparatus according to a second embodiment of the present invention.
7 is an exemplary diagram illustrating a coordinate system of an image processing unit according to a second embodiment of the present invention.
8 is an exemplary view showing an operation of projecting a virtual 3D object according to a second embodiment of the present invention onto a specific display.
9 is an exemplary view showing a digital business card according to a second embodiment of the present invention.
FIG. 10A is a diagram illustrating an exemplary display for providing an augmented reality service for a digital business card according to a second embodiment of the present invention. Referring to FIG.
FIG. 10 (b) is an exemplary diagram illustrating a digital business card output on a specific display using the augmented reality service according to the second embodiment of the present invention.
11 (a) is a diagram illustrating an example of a specific nameplate display for providing an augmented reality service for a 3D map according to a second embodiment of the present invention.
FIG. 11 (b) is a diagram illustrating a 3D scene map output using the augmented reality service according to the second embodiment of the present invention.
FIG. 12A is a diagram illustrating a specific name display and a specific guidance display for providing an augmented reality service according to a second embodiment of the present invention.
FIG. 12 (b) is an exemplary view showing 3D map and zone guidance information output using the augmented reality service according to the second embodiment of the present invention.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 제1 실시예에 따른 증강현실 시스템을 개략적으로 나타낸 블록 구성도이다.1 is a block diagram schematically showing an augmented reality system according to a first embodiment of the present invention.

본 발명의 일 실시예에 따른 증강현실 시스템은 증강현실 기술을 이용하여 복수 개의 고정 카메라를 통해 기 설치된 특정 표시를 식별하고, 특정 표시에 대응하는 3D 모델정보를 특정 표시 상에 투영한다. 증강현실 시스템은 동시에 물체의 심도 정보를 측정하고, 주변 조명 및 사용자의 상호작용 정보에 근거하여 가상 물체(3D 모델정보)와 현실영상(비디오 영상)의 출력, 숨김 등의 관계처리를 진행하여 증강현실 서비스를 제공한다. The augmented reality system according to an embodiment of the present invention identifies a specific display installed through a plurality of fixed cameras using the augmented reality technology and projects 3D model information corresponding to a specific display on a specific display. The augmented reality system measures depth information of an object at the same time and performs processing such as outputting and hiding of a virtual object (3D model information) and a real image (video image) based on the surrounding illumination and user's interaction information, Provide real service.

본 실시예에 따른 증강현실 시스템은 영상수집 서브모듈(110), 영상 전처리 서브모듈(120), 심도검사 서브모듈(130), 그래픽 제작 서브모듈(140), 실제상황 융합 서브모듈(150), 사용자 상호작용 서브모듈(160), 멀티미디어 제어 서브모듈(170) 및 디스플레이 모듈(180)을 포함한다. 여기서, 증강현실 시스템은 조명 제어모듈, 조명 계산모듈, 투영 제작모듈 및 사용자정보 관리모듈 등의 확장모듈을 추가하여 구성될 수 있다. 이하, 증강현실 시스템의 구성요소에 대해 자세히 설명하도록 한다. The augmented reality system according to the present embodiment includes an image acquisition sub module 110, an image preprocessing sub module 120, a depth inspection sub module 130, a graphic creation sub module 140, an actual situation fusion sub module 150, User interaction submodule 160, a multimedia control submodule 170 and a display module 180. [ Here, the augmented reality system may be configured by adding extension modules such as a lighting control module, an illumination calculation module, a projection production module, and a user information management module. Hereinafter, the components of the augmented reality system will be described in detail.

영상수집 서브모듈(110)은 영상 입력장치(예컨대, 카메라)의 비디오 스트리밍을 이용하여 비디오 영상을 획득한다. 여기서, 영상 입력장치는 고사양 CCD 카메라 등으로 구현될 수 있고, 영상수집 서브모듈(110)이 비디오 영상을 실시간으로 정확하게 획득할 수 있는 영상 정밀도와 획득 속도를 지원한다면 다양한 형태로 구현 가능하다. 예컨대, 영상수집 서브모듈(110)은 도 2에 도시된 바와 같이, 다이렉트엑스(DirectX) 개발 키트 중 다이렉트쇼(DirectShow) 모듈로 구현될 수 있고, 도 2에서는 다이렉트쇼 모듈의 응용 프로그램, 다이렉트쇼 부품, 다이렉트쇼가 지원하는 부분 하드, 소프트웨어와 부품 간의 관계를 도시한다. 여기서, 다이렉트쇼 모듈은 윈도우(Windows) 환경 내에서 실행되는 하나의 스트리밍 미디어를 처리하는 다이렉트엑스의 구성요로를 의미한다. The image acquisition sub-module 110 acquires a video image using video streaming of a video input device (e.g., a camera). Here, the image input device may be implemented by a high-end CCD camera or the like, and may be implemented in various forms if the image acquisition submodule 110 supports image accuracy and acquisition speed to accurately acquire the video image in real time. For example, as shown in FIG. 2, the image acquisition sub-module 110 may be implemented as a DirectShow module of a DirectX development kit. In FIG. 2, an application program of a direct show module, Parts, partial hards supported by direct shows, and the relationship between software and parts. Here, the direct show module refers to a component of a direct X that processes one streaming media executed in a Windows environment.

다이렉트쇼 모듈의 기능은 COM(Component Object Model) 기술을 기반이고, COM 부품은 COM 규범에 따라 편집되었고, Win32 동적 링크 라이브러리(DLL: Dynamic-Link Library)와 실행파일(.exe) 형식으로 구현된 것은 이진 코드를 수행할 수 있으며 부품구성의 모든 요구를 만족시킬 수 있다. COM 부품과 부품간의 상호 조작할 수 있는 규범을 따르기에 아주 편리하게 산출할 수 있는 응용 시스템을 개발할 수 있다. COM 부품의 인터페이스가 변경되지 않으면, COM 부품을 임의로 업그레이드하거나 바꿀 수 있으며 응용프로그램은 아무런 수정도 할 필요가 없다. The functions of the DirectShow module are based on COM (Component Object Model) technology, the COM parts are edited according to the COM standard, and the Win32 dynamic link library (DLL) and executable (.exe) It can perform binary code and can satisfy all the requirements of component configuration. COM It is possible to develop an application system that can be calculated very conveniently to follow the interoperable norms of parts and components. If the interface of the COM part does not change, you can upgrade or replace the COM part arbitrarily, and the application does not need to make any modifications.

다이렉트쇼 모듈은 복수 개의 멀티미디어 형식을 지원하며, 예컨대, ASF, MPEG, AVI, MP3, WAV 등의 멀티미디어 형식일 수 있다. 다이렉트쇼 모듈은 하드웨어 가속장치를 장착하는 경우, 자동적으로 멀티미디어 형식의 데이터를 검색할 수도 있다. 또한, 다이렉트쇼 모듈은 WDM 비디오 캡처장비를 추가로 지원할 수 있으며 VFW 비디오 캡쳐 장치도 지원할 수 있다. The direct show module supports a plurality of multimedia formats, and may be a multimedia format such as ASF, MPEG, AVI, MP3, WAV, and the like. The DirectShow module can also automatically retrieve data in multimedia format when a hardware accelerator is installed. In addition, the DirectShow module can additionally support WDM video capture devices and can also support VFW video capture devices.

도 3은 본 발명의 제1 실시예에 따른 영상 전처리 서브모듈의 디지털 이미지 처리 절차를 나타낸 블록 구성도이다.3 is a block diagram illustrating a digital image processing procedure of the image preprocessing sub-module according to the first embodiment of the present invention.

영상 전처리 서브모듈(120)는 획득된 비디오 영상을 기초로 디지털 영상처리를 수행하는 디지털 영상처리, 표시 식별처리 및 등록 측정처리 등의 기능을 수행한다.The image preprocessing sub-module 120 performs functions such as digital image processing, display identification processing, and registration measurement processing for performing digital image processing based on the acquired video image.

영상 전처리 서브모듈(120)은 획득된 비디오 영상을 기초로 등록측정 서브모듈(미도시) 및 실제상황 융합 서브모듈(150)로 증강현실을 수행하기 위한 데이터를 제공한다. 더 자세히 설명하자면, 영상 전처리 서브모듈(120)은 획득된 비디오 영상을 기초로 이미지 분할, 에지 검출 등의 영상 처리방식을 이용하여 비디오 영상 중 기 설치된 특정 표시를 식별한 데이터를 생성한다. 예컨대, 영상 전처리 서브모듈(120)은 도 4에 도시된 바와 같이, 획득한 비디오 영상을 그레이 스케일 변환 및 화소 임계값을 세분화하여 이진 이미지(Binary Image)를 생성하고, 생성된 이진 이미지를 기초로 에지 추출 및 허프(Hough) 변환을 이용하여 추출된 선분(엣지)을 이용하여 특정 표시의 구조를 확인하여, 특정 표시의 특정점을 추출할 수 있다. The image preprocessing submodule 120 provides data for performing augmented reality to a registration measurement submodule (not shown) and an actual situation fusion submodule 150 based on the acquired video image. More specifically, the image preprocessing submodule 120 generates data identifying a specific display installed in the video image using an image processing method such as image segmentation and edge detection based on the acquired video image. For example, as shown in FIG. 4, the image preprocessing sub-module 120 generates a binary image by subdividing the acquired video image into gray-scale and pixel threshold values, and generates a binary image based on the generated binary image It is possible to extract a specific point of a specific display by confirming the structure of the specific display using the extracted line (edge) using edge extraction and Hough transformation.

영상 전처리 서브모듈(120)은 표시 식별처리를 수행하는 표시식별 서브모듈(미도시)을 추가로 포함할 수 있고, 표시식별 서브모듈은 영상 분할, 에지 검출과 윤곽선 추출 등을 수행한 데이터(특정점 관련정보)를 기초로 매칭 연산에 근거하여 비디오 영상의 특정 표시를 정확하게 식별되도록 하며, 동시에 특정 표시의 ID 정보를 제공하여 그래픽 제작 서브모듈(140)에서 기 생성된 3D 모델정보가 특정 표시에 정확히 출력되도록 한다. 여기서, 특정 표시는 일정한 넓이가 있는 폐쇄된 블랙 직사각형 테두리와 내부의 각종 도형 또는 문자 두 부분으로 구성될 수 있다. The image pre-processing submodule 120 may further include a display identification submodule (not shown) for performing display identification processing, and the display identification submodule may include data for performing image segmentation, edge detection and contour extraction Based on the matching operation, the specific display of the video image is accurately identified, and at the same time, the ID information of the specific display is provided so that the 3D model information created in the graphic creation submodule 140 is displayed on the specific display Make sure to output correctly. Here, the specific display may be composed of a closed black rectangular frame with a certain width and various figures or characters inside.

표시식별 서브모듈은 비디오 영상의 매 프레임 영상에 대해 영상 분할, 에지 추출, 연통영역 검측, 윤곽 추출 등 과정을 이용하여 폐쇄된 블랙 직사각형 테두리가 존재하는지 확인한 후 연통영역의 사각형 구조와 매칭하여 비디오 영상 중 모든 특정 표시가 있는 영역과 좌표를 기록하여, 특정 표시에 대한 사각형의 에지 픽셀 좌표를 각각 추출하고 사각형 표기의 4개 정점 좌표를 찾아내 특정 표기의 에지(Edge)에 대한 직선 방정식을 계산하여 특정 표시를 식별할 수 있다. The display identification sub-module verifies whether there is a closed black rectangle frame by using the process of image segmentation, edge extraction, communication area detection, contour extraction, etc. for every frame image of the video image, and then matches with the rectangular structure of the communication area, The edge pixel coordinates of the quadrangle for the specific display are respectively extracted, the four vertex coordinates of the quadrature notation are found, and the linear equation for the edge of the specific notation is calculated A specific indication can be identified.

표시식별 서브모듈은 특정 표시를 식별하기 위해 영상 표준화 과정 및 템플릿 매칭 과정을 수행할 수 있다. 영상 전처리 서브모듈(120)에 포함된 표시식별 서브모듈의 영상 표준화 과정에 대해 설명하자면 다음과 같다. The display identification sub-module may perform an image normalization process and a template matching process to identify a specific display. The image standardization process of the display identification sub-module included in the image preprocessing sub-module 120 will be described as follows.

표시식별 서브모듈은 기 제작된 특정 표시를 정확히 식별하기 위하여 템플릿 매칭 연산을 이용하여 데이터베이스 또는 특정 폴더 내에 기 저장된 기준 특정 표시와 비디오 영상 내의 특정 표시를 비교하여 증강현실 서비스와 관련된 특정 표시인지를 판단한 후 특정 표시의 ID 정보를 확인하여 그에 해당하는 가상 3D 모델정보(가상 3D 물체)를 특정 표시 위에 오버레이(Overlay)되도록 한다. The display identification sub-module compares the reference specific display stored in the database or the specific folder with the specific display in the video image by using the template matching operation to accurately identify the specific display made in the past, and determines whether the specific display related to the augmented reality service The ID information of the specific display is confirmed and the corresponding virtual 3D model information (virtual 3D object) is overlaid on the specific display.

하지만, 영상 입력장치에 의해 획득된 비디오 영상은 랜덤 위치에서 촬영됨으로 특정 표시는 영상 입력장치의 렌즈와 평행이 아닐 수 있으며, 영상 입력장치의 광축도 특정 표시와 수직이 아닐 수 있다. 그러므로 수집된 비디오 영상도 불규칙적이며 특정 표시는 평행이동, 회전, 아핀(Affine) 확장변형 등 일정한 변형이 발생하게 되며, 이를 해결하기 위해 표시식별 서브모듈은 기 저장된 템플릿(기준 특정 표시)과 매칭 연산을 수행하여 특정 표시의 ID 정보를 식별하기 위하여 비디오 영상에 대해 기하변환을 진행하여 비디오 영상을 표준화한 후 특정 표시에 대한 3D 모델정보를 확인하는 것이 바람직하다. However, since the video image acquired by the image input device is photographed at a random position, the specific indication may not be parallel to the lens of the image input device, and the optical axis of the image input device may not be perpendicular to the specific indication. Therefore, the collected video images are irregular, and certain displays are deformed such as parallel movement, rotation, and affine expansion. In order to solve this problem, the display identification sub-module compares the pre- It is preferable to perform the geometric transformation on the video image to identify the ID information of the specific display to standardize the video image and to confirm the 3D model information on the specific display.

영상 전처리 서브모듈(120)에 포함된 표시식별 서브모듈의 템플릿 매칭 과정에 대해 설명하자면 다음과 같다.The template matching process of the display identification sub-module included in the image preprocessing sub-module 120 will be described as follows.

표시식별 서브모듈은 모드 매칭 방식을 이용하여 특정 표시를 식별할 수 있다. 여기서, 모드 매칭 방식은 알려진 모드에 근거하여 다른 이미지(템플릿)에서 매칭되는 서브 이미지(특정 표시)를 검색하는 과정을 말한다. 즉, 템플릿 매칭 과정은 비디오 영상의 하나의 프레임 내에서 특정 표시를 검색하는 과정으로서, 한 폭의 큰 이미지 중에서 목표를 찾는 것이고 이미지 중에 찾아야 할 목표가 있다는 것을 알고 있으며 일정한 연산을 통해 이 영상 중에서 목표를 찾아낼 수 있으며, 목표 즉, 특정 표시에 대한 좌표위치를 확정하는 것이다. The display identification submodule can identify a particular indication using a mode matching scheme. Here, the mode matching method refers to a process of searching a sub image (specific display) matched in another image (template) based on a known mode. In other words, the template matching process is a process of searching for a specific display within one frame of a video image. It is known that there is a target to be found among a large image of a wide width, and there is a target to be found in the image. And to determine a target, that is, a coordinate position for a particular display.

전술한 템플릿 매칭 과정에 대한 일 실시형태에 대해 설명하자면, 한 폭의 영상과 다른 한 폭의 영상의 근사 정도는 하나의 표준이 필요하며 수학에서 보통 벡터의 기준(Norm)을 표준으로 사용하여 탬플릿 매칭을 수행한다. 예를 들어, 입력 영상(비디오 영상)이 M이고 알고 있는 영상(템플릿)이 T라면 이 두 영상 간의 근사도(d)는 다음과 같은 수학식 1로 측정할 수 있다.To describe one embodiment of the template matching process described above, one standard is required for the degree of approximation of one width image and one width image. In the mathematics, a standard of a normal vector is used as a standard, Matching is performed. For example, if the input image (video image) is M and the known image (template) is T, the approximation degree (d) between the two images can be measured by the following equation (1).

Figure pat00001
Figure pat00001

근사도(d)는 거리의 스칼라 양이고 두 벡터 간의 거리를 표시한다. 영상 중에서 근사도(d)에 대한 값이 최소 구역을 찾는 것으로서, 알고 있는 영상(T)가 입력 영상(M) 중에서의 위치정보를 확정한다. 표시식별 서브모듈은 매칭 오차를 방지하기 위하여 일반적으로 응용 중에 임계값을 설정하여 근사도(d)값이 기 설정된 임계값 이하인 경우, 알고 있는 영상(T) 및 입력 영상(M) 간에 일정한 근사도가 있는 것으로 판단하여 비교하고, 근사도(d)값이 기 설정된 임계값 이상인 경우, 알고 있는 영상(T) 및 입력 영상(M)의 근사도가 없는 것으로 판단하여 비교하지 않는다.An approximation (d) is a scalar quantity of distance and indicates the distance between two vectors. The value of the approximation degree (d) in the image is the minimum region to be found, and the known image (T) determines the position information in the input image (M). In order to prevent a matching error, the display identification sub-module generally sets a threshold value during application, and when the value of the degree of approximation (d) is equal to or less than a preset threshold value, a certain degree of approximation between the known image T and the input image M If the value of the degree of approximation (d) is equal to or greater than the preset threshold value, it is determined that there is no approximation of the known image T and the input image M, and the comparison is not made.

전술한 템플릿 매칭 과정에 대한 다른 실시형태에 대해 설명하자면, 영상 촬영 시, 조명 강도가 일정하여 획득한 영상의 그레이 스케일의 분포가 일정하게 되면, 근사한 알고 있는 영상(T) 및 입력 영상(M)이 상이한 것으로 검측 오류가 발생하게 된다. 이러한, 검측 오류를 방지하기 위하여 알고 있는 영상(T) 및 입력 영상(M)에 대한 실제 두 벡터의 협각(θ)을 이용하여 두 영상의 근사도를 측정할 수 있으며, 근사도 즉, 협각을 산출하는 공식은 다음과 같은 수학식 2로 산출할 수 있다.[0034] Another embodiment of the template matching process will be described. When the distribution of the gray scale of the acquired image is constant and the intensity of the illumination is constant at the time of image capturing, the approximate known image T and the input image M, A detection error will occur. In order to prevent the detection error, it is possible to measure the degree of approximation of two images using the coarse angle (?) Between the two images of the known image (T) and the input image (M) The formula to be calculated can be calculated by the following equation (2).

Figure pat00002
Figure pat00002

영상 전처리 서브모듈(120)은 등록 측정처리를 수행하는 등록측정 서브모듈 (미도시)을 추가로 포함할 수 있고, 등록측정 서브모듈은 영상 입력장치의 실제환경에 대한 상대 위치, 방향각, 이미지 촬영의 내부함수에 근거하여 생성된 가상정보를 이용하여 실시간으로 3D 모델정보가 출력될 위치를 확정한다. 다시 말해, 영상 전처리 서브모듈(120)은 등록 측정처리를 이용함으로써, 사용자가 어떠한 각도에서 특정 표시를 관찰하더라도, 가상물체(3D 모델정보)와 현실환경(비디오 영상)은 모두 3D 유클리드 공간(Euclidean Space)의 기하 일관성을 유지될 수 있다. The image preprocessing submodule 120 may further include a registration measurement submodule (not shown) for performing registration measurement processing, and the registration measurement submodule may include a relative position, direction angle, And determines the position at which the 3D model information is output in real time using the virtual information generated based on the internal function of the photographing. In other words, by using the registration measurement process, the image preprocessing submodule 120 can determine whether the virtual object (3D model information) and the real environment (video image) are both 3D Euclidean space Space can be maintained.

등록측정 서브모듈은 영상 입력장치의 내부함수 측정연산을 기초로 기 설치된 특정 표시의 3D 위치 및 형태를 계산하여 생성된 외부함수를 추출결과로 실제상황 융합 서브모듈(150)로 전송하여 OpenGL(Open Graphics Library) 중의 가상 카메라로 진실세계 중의 카메라를 시뮬레이션하여 양호한 가상물체(3D 모델정보)와 현실환경(비디오 영상)의 완전융합 장면이 생성되도록 하고, 생성된 3D 모델정보를 특정 표시에 렌더링(Rendering)하여 출력되도록 한다. The registration measurement sub-module calculates the 3D position and shape of the specific display installed on the basis of the internal function measurement operation of the image input device, and transmits the generated external function to the actual situation fusion submodule 150 as an extraction result, (3D model information) and the real environment (video image) by simulating the cameras in the real world by using the virtual camera in the graphics library of the virtual camera and rendering the generated 3D model information to a specific display ).

등록측정 서브모듈은 전술한 동작을 수행하기 위해 카메라 보정의 과정을 수행한다. The registration measurement submodule performs the process of camera calibration to perform the above-described operations.

이하, 등록측정 서브모듈의 카메라 보정에 대한 과정에 대해 설명하도록 한다. 여기서, 카메라 보정은 비디오 영상의 모델을 수립하여 2D 영상정보로부터 3D 물체의 대응관계를 획득하여 확정하고, 이러한 대응관계를 카메라의 내부함수와 외부함수로 표시할 수 있다. 여기서, 비디오 영상의 모델은 두 가지 종류로 구별할 수 있는데, 한 가지는 공용 원근 투영 카메라 모델이고, 다른 한 가지는 방사형 왜곡을 기반으로 한 Tsai 카메라 모델이다.Hereinafter, the process of the camera calibration of the registration measurement sub-module will be described. Here, the camera correction establishes a model of the video image, acquires and confirms the correspondence relationship of the 3D object from the 2D image information, and displays the correspondence relationship with the camera internal function and external function. Here, the video image model can be distinguished into two types, one is a public perspective projection camera model and the other is a Tsai camera model based on radial distortion.

등록측정 서브모듈은 공용 카메라 모델을 기반으로 한 카메라 보정방식은 원근 투영의 카메라 모델을 수립하여 카메라의 외부함수와 내부함수를 구해낸다. 공용 카메라 모델을 기반의 카메라 보정기술은 4 개의 좌표 시스템(세계 좌표계, 영상 평면 좌표계, 카메라 좌표계 및 영상 디스플레이 좌표계)을 이용하여 영상을 보정할 수 있다. 공용 카메라 모델을 기반의 카메라 보정기술은 현실세계의 3D 형태의 물체가 카메라 영상원리를 통해 영상 평면의 2D 점으로 변환하는 과정은 4개 좌표계간의 좌표변환을 경과해야 하며, 카메라 보정 기술은 이 좌표계 간의 변환관계를 기반으로 확정해야 하고, 이런 관계를 이용하여 평면상의 2D 점에 근거하여, 2D 점의 실제 3D공간 속에서의 위치를 계산할 수 있다. The registered measurement submodule is based on a common camera model and the camera calibration method establishes a camera model of the perspective projection to obtain an external function and an internal function of the camera. The camera calibration technology based on the common camera model can correct the image using four coordinate systems (world coordinate system, image plane coordinate system, camera coordinate system and image display coordinate system). In the camera calibration technology based on the common camera model, the process of transforming a 3D object in the real world into a 2D point of the image plane through the camera image principle must pass coordinate transformation between the four coordinate systems. And based on this relationship, the position of the 2D point in the actual 3D space can be calculated based on the 2D point on the plane.

한편, 등록측정 서브모듈은 방사형 왜곡을 기반의 카메라 보정방식에 대해 설명하자면 다음과 같다. On the other hand, the registration measurement submodule will be described below for a camera calibration method based on radial distortion.

방사형 왜곡을 기반의 카메라 보정방식은 영상 중심과 멀리 떨어져 있는 영상 점은 비교적 큰 왜곡을 측정하여 카메라 보정을 수행할 수 있다. 예컨대, (x1, y1) 로 비선형 왜곡값은 (X1, Y1)로 왜곡 후의 실제값을 기반으로 방사형 왜곡(k), 원심 왜곡(p), 프리즘 왜곡(s)을 이용하여 산출할 수 있고, 이러한 비선형 왜곡값은 수학식 3을 통해 산출될 수 있다.In the camera calibration method based on the radial distortion, a camera correction can be performed by measuring a relatively large distortion at an image point far from the center of the image. E.g., (x 1, y 1) distortion value of a non-linear in the radial distortion based on the actual value after the estimation of the (X 1, Y 1) ( k), calculated using the centrifugal distortion (p), prismatic distortion (s) And this nonlinear distortion value can be calculated through Equation (3).

Figure pat00003
Figure pat00003

도 4에 도시된 바와 같이, 등록측정 서브모듈은 방사형 왜곡을 기반으로 일 단계 방사형 왜곡 계수가 있는 카메라 모델을 생성할 수 있다. As shown in FIG. 4, the registration measurement sub-module may generate a camera model with a one-stage radial distortion factor based on the radial distortion.

방사형 왜곡을 기반의 Tsai카메라 모델은 왜곡이 없는 영상 평면 좌표 (x, y) 부터 카메라 렌즈 방사형 왜곡의 영향을 받아 오프셋 된 실제 영상 평면좌표 (x*, y*)의 변환에 대한 수학식 4 및 수학식 5는 다음과 같다. The Tsai camera model based on the radial distortion can be expressed by the equations (4) and (5) for the transformation of the offset of the actual image plane coordinate (x * , y * ) under the influence of the camera lens radial distortion from the image plane coordinate Equation (5) is as follows.

Figure pat00004
Figure pat00004

Figure pat00005
Figure pat00005

방정식 4과 방정식 5 에서 보다시피 영상 점의 방사형 왜곡과 이 점에서 카메라 렌즈 중심까지 거리의 평방과 정비례됨으로 중심 거리와 멀수록 방사형 왜곡이 더욱 선명함을 알 수 있다.As can be seen in Equations 4 and 5, the radial distortion of the image point is directly proportional to the square of the distance from the center of the lens to the center of the camera lens.

도 1에 도시된 바와 같이, 일 단계 방사형 왜곡을 포함한 카메라 모델을 기반으로 한 카메라 보정은 하나의 한 폭의 한 그룹 공동 면 기준점을 포함한 영상이 필요하며 먼저 카메라 외부함수를 계산한 후 다음 카메라의 내부함수를 계산한다. 구체적인 계산과정은 다음과 같다.As shown in FIG. 1, a camera correction based on a camera model including a one-stage radial distortion requires an image including a single group common plane reference point of a width. After calculating the camera external function, Calculate the internal function. The specific calculation procedure is as follows.

한 폭의 여러 공동 평면 점이 존재하는 특정 표시에 대한 영상을 촬영한다. 세계좌표 (Xi, Yi, Zi)와 대응하는 평면좌표 (xi, yi)를 알고 있는 점 M개(M>=5)가 주어졌다 가정하고 I = 1, 2, …, M, 매개 점 Pi에 대하여 하나의 방정식을 만들 수 있고 M 개의 방정식을 연립시키면 수학식 6과 같다.Images are taken of a specific display where there are several coplanar points of a width. Assuming that there are M points (M> = 5) that know the world coordinates (X i , Y i , Z i ) and corresponding plane coordinates (x i , y i ), I = 1, 2, ... , M, and the intermediate point Pi, and M equations are combined to obtain Equation 6.

Figure pat00006
Figure pat00006

M > 5일 때 이 식은 중복 결정(Overdetermined)의 식이기에 최소 평방법으로 구할 수 있으며, 다음 수학식7과 같은 변수의 값을 얻을 수 있다.When M > 5, this equation can be obtained by the minimum evaluation method in the formula of Overdetermined, and the value of the variable as shown in the following Equation 7 can be obtained.

Figure pat00007
Figure pat00007

등록측정 서브모듈은 다음과 같은 방법으로 카메라의 외부함수를 계산할 수 있다. The registration measurement submodule can calculate the external function of the camera in the following way.

(A) W는 W1 2+ W2 2+ W3 2+ W4 2 라고 한다면, 회전 행렬의 직교성에 근거하여 수학식 8을 얻을 수 있다.(A) W is given by W 1 2 + W 2 2 + W 3 2 + W 4 2 , equation (8) can be obtained based on the orthogonality of the rotation matrix.

Figure pat00008
Figure pat00008

(B) Ty의 정수값(절대값)으로 다음 수학식 9에 넣어 계산하면 다음과 같다.(B) An integer value (absolute value) of T y is calculated by the following equation (9).

Figure pat00009
Figure pat00009

(C) 세계 좌표계 중에서 임의로 하나의 특정점 p(X, Y, Z)를 선택하여 이 점이 영상 좌표계에서의 좌표값을 산출한다. 영상 좌표계에서의 좌표값을 산출하는 수학식 10은 다음과 같다.(C) One point p (X, Y, Z) is arbitrarily selected from the world coordinate system, and this point is used to calculate coordinate values in the image coordinate system. Equation (10) for calculating coordinate values in the image coordinate system is as follows.

Figure pat00010
Figure pat00010

(D) 산출된 좌표값 (xp, yp)와 이 점이 모니터에서의 좌표값 (x, y)를 비교한다. 방사형의 일관성 제약 조건에 근거하여 x, y의 부호는 각각 , xp, yp의 부호와 같다. 여기서, Tx는 정수 값을 취하고 반대로 Ty는 음수 값을 획득하여 기타 회전 함수(수학식 11)들을 확인할 수 있다.(D) The calculated coordinate value (x p , y p ) and the coordinate value (x, y) in the monitor are compared with each other. Based on radial consistency constraints, the sign of x, y is equal to the sign of x p , y p , respectively. Where T x takes an integer value and conversely T y obtains a negative value to identify other rotational functions (Equation 11).

Figure pat00011
Figure pat00011

카메라의 유효 초점 f, Tz(Translational Component)와 렌즈의 방사형 왜곡 계수 k를 계산하고, 전술한 절차를 통해 획득한 함수로 매트릭스 B 및 벡터 v의 매 행을 수학식 12 및 수학식 13과 같이 표시한다.The effective focus f, T z (Translational Component) of the camera and the radial distortion coefficient k of the lens are calculated, and each row of the matrix B and the vector v is obtained as a function obtained by the above procedure as shown in Equations 12 and 13 Display.

Figure pat00012
Figure pat00012

Figure pat00013
Figure pat00013

수학식 12 및 수학식 13을 선형 식으로 결합하면, 수학식 14와 같다.Equation (12) and Equation (13) can be linearly combined to obtain Equation (14).

Figure pat00014
Figure pat00014

수학식 14를 카메라의 유효 초점 f와 z 축 상에서의 Tz의 예측값을 산출하고, 만약 f < 0이라면 r3, r6, r7, r8, f 및 Tz는 음수 값을 취한다. 마지막으로 방사형 왜곡의 계수와 f 및 Tz의 정확한 값을 산출하기 위해 비선형 수학식 15를 구하고, I = 1, 2, …, M를 대입하여 비선형 회귀 방법으로 방정식을 해결한다.The equation (14) calculates a predicted value of the T z on the effective focus f and the z axis of the camera, and, if the f <0 r 3, r 6, r 7, r 8, f and T z takes on a negative value. Finally, to calculate the radial distortion coefficients and the exact values of f and T z , the nonlinear equation 15 is obtained and I = 1, 2, ... , And M are solved by solving the nonlinear regression method.

Figure pat00015
Figure pat00015

영상 전처리 서브모듈(120)은 비디오 영상 내의 3D 장면의 물체는 조명의 영향 및 주위환경의 영향에 근거하여 가상물체의 매끈한 표면이 주위환경을 반사(환경반사)할 수 있다. 예컨대, 임의의 물체에 대한 주위환경 장면을 포함하는 텍스쳐(Texture)를 가상물체의 표면에 매핑하면, 일정하게 물체에 대한 주위환경의 반사를 시뮬레이션할 수 있고, 광선추적 등의 복잡한 기술을 대신하여 사용할 수 있다.The image preprocessing sub-module 120 can reflect (environment reflect) the surrounding environment of the object of the 3D scene in the video image based on the influence of the illumination and the influence of the surrounding environment on the smooth surface of the virtual object. For example, mapping a texture containing an ambient scene for an object to the surface of a virtual object can simulate the reflection of the environment around the object constantly, and instead of complex techniques such as ray tracing, Can be used.

영상 전처리 서브모듈(120)이 환경반사를 사용하고, 3D 실시간 동적인 장면의 렌더링 속도를 높이기 위해 GPU 프로그래밍 기술을 사용할 수도 있다. 이하, 주요 과정은 다음과 같다. The image preprocessing sub-module 120 may use the environmental reflections and GPU programming techniques to increase the rendering speed of the 3D real-time dynamic scene. Hereinafter, the main process is as follows.

(A) 주위 환경을 하나의 입방체로 가상한다.(A) The surrounding environment is assumed to be a single cube.

(B) 카메라로부터 주위환경의 영상을 획득한다.(B) Obtain images of the surrounding environment from the camera.

(C) 정점의 위치를 컷 공간과 텍스쳐로 변환하여 텍스쳐 좌표집합을 전달한다.(C) Converts the vertex position into cut space and texture to convey texture coordinate set.

(D) 벡터를 세계공간 속으로 변환하고 입사광선 I를 계산한다.(D) Convert the vector into the world space and calculate the incident ray I.

(E) 사람 눈이 발사한 입사광선 I와 물체 표면의 법선 N에 근거하여 대응한 반사광선 R를 구한다. 계산 공식은 수학식 16과 같다.(E) The reflected ray R corresponding to the incident ray I emitted by the human eye and the normal N of the object surface is obtained. The calculation formula is shown in Equation (16).

Figure pat00016
Figure pat00016

Cg 그래픽 언어가 제공한 reflect(I, N) 표준함수를 사용하여 GPU에서 계산한다. Compute in the GPU using the reflect (I, N) standard functions provided by the Cg graphics language.

또한, 영상 전처리 서브모듈(120)은 스넬의 법칙(Snell? Law)에 근거하여 합리적인 굴절지수 비율을 지정하여 변수 etaRatio에 할당하고, 굴절광선 T를 계산하여 Cg 그래픽 언어가 제공한 refract(I, N, etaRatio) 표준함수를 이용하여 GPU에서 반사계수를 계산하여 벡터를 규범화시킨다.In addition, the image preprocessing sub-module 120 assigns a reasonable refractive index ratio to the variable etaRatio based on the Snell? Law, calculates the refracted ray T, and outputs refract (I, N, etaRatio) Standard function is used to calculate reflection coefficient in GPU to normalize vector.

영상 전처리 서브모듈(120)은 반사광선과 굴절광선을 조각 프로그램에게 전달하여 환경 텍스쳐를 검색하고, 착색 또는 가상물체의 표면에서 기 설정도니 임계치 이상의 환경 반사효과가 있는 환경 텍스쳐를 생성할 수 있다.The image preprocessing submodule 120 may transmit the reflected light and the refracted light to the engraving program to retrieve the environment texture and generate an environmental texture having an environmental reflection effect above a predetermined threshold value on the surface of the colored or virtual object.

도 5는 본 발명의 제1 실시예에 따른 심도검사 서브모듈에서 심도정보를 검측하는 절차를 나타낸 블록 구성도이다.FIG. 5 is a block diagram illustrating a procedure for detecting depth information in the depth-checking sub-module according to the first embodiment of the present invention.

도 5는 심도검사 서브모듈(130)의 흐름도를 나타낸 것으로서, 심도검사 서브모듈(130)은 가상물체(3D 모델정보)의 심도정보를 계산하고, 심도정보 대비값을 이용하여 가상물체와 현실장면(비디오 영상)의 적용관계를 확정한다. 5 is a flowchart of the depth inspection sub-module 130. The depth inspection sub-module 130 calculates depth information of a virtual object (3D model information), and calculates depth information of a virtual object (Video image).

심도검사 서브모듈(130)은 현실세계와 가상세계를 연결하는 교량 역할을 수행한다. 예컨대, 심도검사 서브모듈(130)은 광학적 외피(Photo Hull) 기술을 이용하여 공간 점의 심도정보를 판단한다. 심도검사 서브모듈(130)은 공간조각 계산법 중 우선 현실세계 중 하나의 3D 공간을 확정(SRP)한 후 이 공간을 입자 방식으로 검사를 진행한다.The depth checking sub-module 130 acts as a bridge between the real world and the virtual world. For example, the depth inspection sub-module 130 determines the depth information of the spatial point using the optical hull technique. The depth inspection submodule 130 first confirms the 3D space of one of the real worlds among the space fragment calculation method (SRP), and then proceeds the particle space inspection of the space.

심도검사 서브모듈(130)은 한 폭의 영상 중 한 점은 공간 중 한 라인과 이 점과의 상호대응을 확정하고 시스템 중에서 영상 위의 한 점의 심도 정보를 구하기 위해서는 두 폭의 영상 혹은 여러 폭의 영상이 필요하다. 한 점이 여러 영상에서의 심도정보의 직선 방정식을 계산하고 방정식을 연계하여 최소 평방법을 이용하여 영상 점의 심도정보를 계산한다. The depth inspection sub-module 130 determines a mutual correspondence between one line of the image and one of the lines of the image, and obtains depth information of one point on the image in the system, Is needed. One point computes the linear equations of the depth information in several images, calculates the depth information of the image points using the minimum equilibrium method by linking the equations.

그래픽 제작 서브모듈(140)은 시스템이 가상 3D 모델정보의 실시간 동태에 대한 렌더링(Rendering)을 실현한다. 이 모듈의 개발 키트는 예컨대, OpenGL과 OpenVRML이 포함될 수 있다. OpenGL는 3D 모델 렌더링 개발 키드이며 여러 가지 성숙된 기술과 기능이 포함되며 주로 3D 장면 중 3D 모델정보를 구성하고 이런 모델들의 공간 위치관계를 관리하고, 3D모델의 아핀 변환(Affine Transform)을 지원하고 풍부한 칼라 설치 기능을 제공하고 조명 시뮬레이션과 텍스쳐 매핑(Texture Mapping)을 지원하고 안티에얼리어싱(Antialiasing)등 기술은 실제 상황 결합 모듈을 지원하여 완전융합을 실현하여 비트맵을 양호하게 표현할 수 있으며 이중 버퍼링 기술을 응용하여 동영상 렌더링을 실현할 수 있다. OpenVRML는 렌더링용 VRML 언어로 가상환경을 구성하는 개발 키트로 구현될 수 있다.The graphic creation sub-module 140 realizes rendering of the system in real-time dynamics of the virtual 3D model information. The development kits for this module may include, for example, OpenGL and OpenVRML. OpenGL is a 3D model rendering development kit, which includes several mature technologies and functions. It mainly constructs 3D model information of 3D scenes, manages the spatial relationship of these models, supports Affine Transform of 3D models, It provides abundant color installation function, supports lighting simulation and texture mapping, and anti-aliasing technology supports real-situation combination module to realize perfect fusion and to express bitmap well. Video rendering can be realized by applying buffering technology. OpenVRML is a VRML language for rendering and can be implemented as a development kit that configures a virtual environment.

이하, 그래픽 제작 서브모듈(140)이 3D 모델을 렌더링하는 동작에 대해 설명하도록 한다.Hereinafter, the operation of rendering the 3D model by the graphic creation sub-module 140 will be described.

그래픽 제작 서브모듈(140)은 가상 3D 모델의 렌더링을 수행하는데 있어서, OpenGL을 사용하여 구조가 간단하고 동영상 디자인을 쉽게 구현할 수 있는 가상 3D 모델을 제작한다. 그래픽 제작 서브모듈(140)은 영상 입력장치의 내부함수 및 외부함수에 기초하여 OpenGL 중 가상 카메라의 위치와 형태를 기 설치하여 가상 3D모델로 하여금 정확하게 실제 환경에 렌더링 되게 한다.The graphic creation sub module 140 creates a virtual 3D model that is simple in structure and can easily implement a moving picture design using OpenGL in rendering a virtual 3D model. The graphic creation sub-module 140 installs the location and type of the virtual camera in the OpenGL based on the internal function and the external function of the image input device, thereby allowing the virtual 3D model to be accurately rendered in the actual environment.

그래픽 제작 서브모듈(140)은 가상 3D 모델의 렌더링을 수행하는데 VRML(Virtual Reality Modeling Language)을 이용할 수 있다. 여기서, VRML은 가상현실 3D 입체 네트워크 프로그램 설계언어의 약칭이다. The graphic creation submodule 140 may use VRML (Virtual Reality Modeling Language) to render a virtual 3D model. Here, VRML is an abbreviation of virtual reality 3D stereoscopic network program design language.

그래픽 제작 서브모듈(140)에서 OpenVRML은 하나의 크로스 플랫폼 프로그램 링크 라이브러리이고 안에는 하나의 브라우저가 포함되며 VRML 파일과 X3D 파일이 정의한 3D 가상 장면을 볼 수 있다. 그래픽 제작 서브모듈(140)은 동시에 응용프로그램 중 라이브러리 안의 함수를 호출하여 VRML 파일과 X3D 파일이 정의한 3D 장면을 실시간으로 렌더링 할 수 있다.OpenVRML is a cross platform program link library in the graphic creation submodule 140 and includes a single browser and can view a 3D virtual scene defined by the VRML file and the X3D file. The graphic creation sub module 140 simultaneously calls a function in the library of the application program to render 3D scenes defined by the VRML file and the X3D file in real time.

그래픽 제작 서브모듈(140)에서 OpenVRML은 복수 개의 클래스를 정의할 수 있으며, 예컨대, browser 클래스, viewer 클래스, VRML 언어표준 중 데이터 유형의 클래스, 여러 노드의 클래스, 이벤트 및 스크립트 등에 대한 클래스가 포함될 수 있다. 그래픽 제작 서브모듈(140)에서 응용프로그램은 browser 클래스의 대상과 viewer 클래스의 대상을 정의하는 것을 통하여 VRML 형식의 파일에 대한 브라우저 대상을 생성하며, viewer 클래스 대상의 Tranlation, Rotation, Scale의 값에 근거하여 부동한 시점과 각도에서 관찰한 VRML 파일이 정의한 가상 3D세계를 설치한다. 동시에 browser 클래스 중 bool browser::update(Double Current_Time) 함수의 입력함수에 대한 설치를 통하여 browser 대상 전부 동태적인 상호작용 감지 노드를 촉발하여 browser 대상 중 모든 동태적인 상호작용 감지 노드의 상태 값이 모두 변화를 발생하게 한다. 즉, 3D 모델의 각종 상태 함수를 개변하여 viewer[id]->redraw 함수가 새로 설치한 상태함수에 근거하여 3D 모델을 렌더링 한다. 부동적인 시각에서 3D 모델의 상태함수가 부동하기 때문에 VRML 프로그램 중 정의한 3D 모델에 대한 동영상이 형성된다.OpenVRML may define a plurality of classes, for example, a browser class, a viewer class, a class of a data type among VRML language standards, classes of multiple nodes, events and scripts, etc. have. In the graphical production sub-module 140, the application program creates a browser object for a VRML format file by defining the object of the browser class and the object of the viewer class. Based on the values of the Tranlation, Rotation, and Scale of the viewer class object And the virtual 3D world defined by the VRML file observed at the different viewpoints and angles is installed. At the same time, through the installation of the input function of the bool browser :: update (Double Current_Time) function among the browser class, all the browser objects are triggered by the dynamic interaction detection node, and all the state values of the dynamic interaction nodes . That is, various state functions of the 3D model are changed, and the viewer [id] -> redraw function renders the 3D model based on the newly installed state function. Since the state function of the 3D model is floating from the floating point of view, a moving picture for the 3D model defined in the VRML program is formed.

실제상황 융합 서브모듈(150)은 주로 전경과 가상 환경과의 융합, 커버 처리, 에지 융합 등 작업을 완성한다. 별도의 시각효과, 예를 들면 조명, 전경 칼라 증가 등도 이 모듈에서 수행될 수 있다. The actual situation fusion sub-module 150 mainly completes operations such as merging foreground and virtual environment, covering processing, and edge fusion. Separate visual effects, such as lighting, foreground color enhancement, etc., can also be performed in this module.

실제상황 융합 서브모듈(150)은 가상물체와 현실물체와의 커버관계를 정확하게 표현하기 위해서는 심도검사 서브모듈(130)의 추출 결과를 기초로 현실환경 중의 물체와 가상물체와의 커버관계에 근거하여 현실환경과 가상환경과의 완전 융합을 진행한다. 실제상황 융합 서브모듈(150)이 가상물체와 현실물체 간의 커버관계를 처리하는 절차는 다음과 같다.In order to accurately represent the cover relationship between the virtual object and the physical object, the actual-situation fusion sub-module 150 determines, based on the extraction result of the depth-inspection sub-module 130, based on the cover relationship between the object in the real environment and the virtual object We are going to integrate the real environment with the virtual environment. The procedure for the actual situation convergence sub module 150 to process the cover relationship between the virtual object and the physical object is as follows.

(A) 만약 물체가 감시구역에 있다면 물체의 심도정보와 감시구역 중 가상물체와의 심도정보를 비교한다.(A) If the object is in the surveillance zone, the depth information of the object is compared with the depth information of the virtual object in the surveillance area.

(B) 만약 현실 환경 중 물체의 심도가 가상 3D모델의 심도정보보다 크다면 즉 고정 카메라의 시각에서 보았을 때 현실환경 중의 물체와 가상물체의 공간위치 관계는 현실 환경의 물체가 뒤에 있고 가상물체가 앞에 있다면 3D가상 모델을 특정 표시에 투영한다.(B) If the depth of the object in the real environment is larger than the depth information of the virtual 3D model, the spatial position relation between the object in the real environment and the virtual object is behind the object in the real environment and the virtual object If it is in front, project the 3D virtual model to a specific display.

(C) 만약 현실 환경 중 물체의 심도가 가상 3D 모델의 심도정보보다 작다면 즉 고정 카메라의 시각에서 보았을 때 현실환경 중의 물체와 가상물체의 공간위치 관계는 현실 환경의 물체가 앞에 있고 가상 물체가 뒤에 있다면 3D 가상 모델을 표기물에 투영한 후 가우스 소거(Gauss Cutout)하여 얻은 현실물체의 영상을 가상 3D 모델 위에 렌더링하여 현실물체와 가상물체와의 커버관계를 나타낸다. 실제상황 융합 서브모듈(150)은 조명, 음영, 전경칼라 증강 등 시각효과를 환경의 수요에 따라 추가하여 증강현실 서비스를 제공하는 장면의 현실감을 증가시킬 수 있다.(C) If the depth of the object in the real environment is smaller than the depth information of the virtual 3D model, the spatial positional relationship between the object and the virtual object in the real environment is in front of the object in the real environment and the virtual object If it is behind, it displays the cover relation between the real object and the virtual object by rendering the 3D virtual model on the notation and then rendering the image of the physical object obtained by Gauss Cutout on the virtual 3D model. The actual situation convergence sub-module 150 can increase the reality of the scene providing the augmented reality service by adding visual effects such as illumination, shading, foreground color enhancement, etc. according to the demands of the environment.

사용자 상호작용 서브모듈(160)은 사용자를 위해 두 가지 가상물체와 직접 상호작용 할 수 있는 방식을 제공한다. 사용자 상호작용 서브모듈(160)은 예컨대, 사용자가 손으로 가상물체와 상호작용하도록 제어할 수 있다. 이러한, 상호작용 방식은 주로 심도검사 서브모듈(130)의 추출 결과에 근거하여 실제 손을 발견된 경우, 이러한 추출 결과를 입력 함수의 형식으로 사용자 상호작용 서브모듈(160)에 전송하여 사용자 상호작용 서브모듈(160)에서 입력 함수를 분석한 후 상호작용 시맨틱(semantic) 신호를 추출하여 시멘틱 신호를 함수 형식으로 그래픽 제작 서브모듈(140)에 전송하여 특정 표시 위에 가상 3D모델이 출력되는 동시에 사용자의 손에 대한 3D 모델을 이용하여 다른 가상물체와 상호작용할 수 있도록 한다.The user interaction sub-module 160 provides a way for the user to directly interact with two virtual objects. The user interaction sub-module 160 may, for example, control the user to interact with the virtual object by hand. If the actual hand is found based on the extraction result of the depth inspection sub-module 130, the interaction method transmits the extraction result to the user interaction sub-module 160 in the form of an input function, After analyzing the input function in the sub module 160, the interactive semantic signal is extracted and the semantic signal is transmitted to the graphic creation sub module 140 in the form of a function to output a virtual 3D model on a specific display, Use the 3D model of the hand to interact with other virtual objects.

사용자 상호작용 서브모듈(160)은 충돌 감지 및 사용자 상호작용에 대한 동작을 수행한다. 사용자 상호작용 서브모듈(160)은 두 표시 물체의 충돌 상황을 검사 할 때, 특정 표시의 두 세계 좌표계의 원점이 카메라 좌표계에서의 거리에 대해 기 설정한 충돌거리의 값보다 작은지 여부를 검사한다. 예컨대, 사용자 상호작용 서브모듈(160)은 특정 표시의 두 세계 좌표계의 원점이 카메라 좌표계에서의 거리에 대해 기 설정한 충돌거리보다 작으면, 두 가상물체는 충돌이 존재하는 것으로 판단하여 그래픽 제작 서브모듈(140)에서 기 생성된 3D 모델이 출력되도록 한다. The user interaction sub-module 160 performs operations for collision detection and user interaction. The user interaction sub module 160 checks whether the origin of two world coordinate systems of the specific display is smaller than the value of the collision distance set for the distance in the camera coordinate system when checking the collision situation of two display objects . For example, if the user interaction sub-module 160 determines that the origin of the two world coordinates of a particular display is less than the collision distance previously set for the distance in the camera coordinate system, So that the 3D model generated by the module 140 is output.

사용자 상호작용 서브모듈(160)은 특정 표시의 두 세계 좌표계의 원점과 카메라 좌표계의 좌표값이 카메라가 각각 이 두 특정 표시의 세계 좌표계 중 외부함수 표시를 이용할 때, 획득한 두 카메라 외부 함수 매트릭스 중 회전 변환 매트릭스일 수 있다. 이러한, 회전 변환 매트리스는 수학식 17과 같다. The user interaction sub-module 160 determines whether the coordinates of the origin of the two world coordinate systems of the particular display and the coordinate system of the camera coordinate system correspond to the coordinates of the two external camera function matrices Rotation transformation matrix. This rotary conversion mattress is expressed by Equation (17).

Figure pat00017
Figure pat00017

위 방정식 중 마지막 열의 Tx, Ty, Tz가 바로 특정 표시 위의 세계 좌표계 원점이 카메라 좌표계에서의 좌표값이다. 두 개의 특정 표시의 세계 좌표계 원점이 카메라 좌표계 중 좌표값이 (T1, T2, T3), (T4, T5, T6) 이라면 카메라 좌표계 중 공간거리(d)는 수학식 18와 같다.In the last column of the above equation, T x , T y , and T z are coordinate values in the camera coordinate system of the origin of the world coordinate system on the specific display. If the coordinates of the world coordinate system of the two specific marks are (T 1 , T 2 , T 3 ) and (T 4 , T 5 , T 6 ) among the camera coordinate system, then the spatial distance same.

Figure pat00018
Figure pat00018

사용자 상호작용 서브모듈(160)은 충돌 감지를 검사한 결과에 근거하여 사용자 상호작용을 분석하여, 그래픽 제작 서브모듈(140)에서 가상 3D 모델을 이용한 애니매이션 동작을 출력할 수 있도록 함으로써, 사용자와 가상 3D 모델 간의 상호 작용을 실현할 수 있다.The user interaction sub module 160 analyzes the user interaction based on the result of the collision detection and outputs the animation operation using the virtual 3D model in the graphic creation sub module 140, The interaction between the 3D models can be realized.

멀티미디어 제어 서브모듈(170)은 오디오 또는 비디오에 대한 멀티미디어 제어기술을 이용하여 생동감 있는 증강 현실 서비스를 제공하는 동작을 수행한다. The multimedia control sub-module 170 performs an operation of providing a dynamic augmented reality service using a multimedia control technique for audio or video.

이하, 멀티미디어 제어 서브모듈(170)이 오디오 파일에 대한 렌더링을 제어하는 동작에 대해 설명하도록 한다. 멀티미디어 제어 서브모듈(170)은 오디오 파일을 렌더링하여 증강현실 상의 가상 3D 모델과 상호작용을 통해 생동감 있는 증강현실 서비스를 제공할 수 있도록 한다. 예컨대, 멀티미디어 제어 서브모듈(170)에 포함된 멀티미디어 클래스는 주로 wav 형식의 파일과 MIDI파일 형식의 렌더링에 대한 제어를 지원하며 제공된 사운드를 제어하는 과정은 다음과 같다.Hereinafter, the operation of controlling the rendering of the audio file by the multimedia control submodule 170 will be described. The multimedia control sub-module 170 renders an audio file and provides a live augmented reality service through interaction with a virtual 3D model on the augmented reality. For example, the multimedia class included in the multimedia control submodule 170 mainly controls the rendering of a wav format file and a MIDI file format, and the process of controlling the provided sound is as follows.

(A) 사운드 장비를 ON/OFF하여 장비의 문맥환경을 설치(A) Turn on / off the sound equipment to establish the context of the equipment

(B) 지정한 사운드 파일을 메모리에 로드(B) Load the specified sound file into memory

(C) 사운드 파일에 대하여 순서적으로 재생, 재생 정지, 일시 정지 등 기능 실행(C) Performs sequential playback, stop, pause, etc. of sound files

(D) 재생 시 필요한 볼륨의 크기 설치(D) Size of volume required for playback Installation

(E) 사운드 파일을 재생 시 좌, 우 채널의 크기를 각각 설치(E) When playing a sound file, set the size of the left and right channels respectively

(F) 사운드 파일의 길이 획득, 사운드 파일의 순환 재생 등을 설치(F) Acquisition of length of sound file, playback of sound file, etc.

(G) 사운드 재생 시의 시작점 설치, 사운드 파일이 지정한 시작점으로부터 필요한 사운드 재생(G) Starting point for sound playback Setup, sound playback from the starting point specified by the sound file

(H) 사운드 파일 중 재생 필요한 구간을 설치하고 순환 재생을 진행(H) Playing out of the sound file

(I) 사운드 파일이 지금 재생하고 있는 파일의 위치를 획득(I) Acquire the location of the file the sound file is currently playing

도 6은 본 발명의 제2 실시예에 따른 증강현실 서비스 제공장치를 개략적으로 나타낸 블록 구성도이다.6 is a block diagram schematically showing an ARF service providing apparatus according to a second embodiment of the present invention.

본 발명의 제2 실시예에 따른 증강현실 서비스 제공장치(600)는 도 6에 도시된 바와 같이, 현실환경 속에 기 설치된 복수 개의 카메라를 이용하여 특정 표시를 식별하고, 3D 모델을 특정 표시 위에 투영한다. 여기서, 증강현실 서비스 제공장치(600)는 3D 모델을 특정 표시 위에 투영하는 동시에 3D 모델의 심도정보를 검사하여 조명과 사용자의 상호작용 정보를 추가로 계산하여 가상물체와 현실 환경의 출력, 숨김 등의 관계처리를 진행할 수 있다. As shown in FIG. 6, the apparatus 600 for providing augmented reality service according to the second embodiment of the present invention identifies a specific display using a plurality of cameras installed in a real environment and displays a 3D model on a specific display do. Herein, the augmented reality service providing apparatus 600 projects the 3D model on a specific display, examines the depth information of the 3D model, and further calculates the information of the interaction between the illumination and the user so as to output the virtual object and the real environment, Can be processed.

증강현실 서비스 제공장치(600)는 영상 처리부(610), 증강현실 처리부(620) 및 증강현실 출력부(630)를 포함한다. The augmented reality service providing apparatus 600 includes an image processing unit 610, an augmented reality processing unit 620, and an augmented reality output unit 630.

본 발명의 제2 실시예에 따른 영상 처리부(610)는 영상획득, 카메라보정, 사용자 상호작용, 영상 사전 처리 등에 대한 동작을 수행한다. 이하, 영상 처리부(610)에서 영상 처리가 수행될 수 있도록 복수 개의 환경을 구현하는 동작에 대해 예를 들어 설명하도록 한다.The image processing unit 610 according to the second embodiment of the present invention performs operations on image acquisition, camera calibration, user interaction, image preprocessing, and the like. Hereinafter, an operation of implementing a plurality of environments so that image processing can be performed in the image processing unit 610 will be described as an example.

영상 처리부(610)는 카메라가 동작하여 영상이 생성되면 획득하는 동작을 수행하고, 이에 대한 코드는 표 1과 같다.The image processing unit 610 performs an operation of acquiring the image when the camera is operated and the image is shown in Table 1.

Figure pat00019
Figure pat00019

영상 처리부(610)는 획득된 영상을 이용하여 영상 사전처리를 수행할 수 있다. 여기서, 영상 처리부(610)는 에지를 검출할 수 있다. 여기서, 검출된 에지는 주위의 픽셀 그레이 스케일의 단계 변화, 지붕 등 변화가 있는 픽셀들의 집합이다. 영상의 에지는 영상의 그레이 스케일의 불연속성과 대응되며, 에지 연산자는 작은 공간범위를 가지고 있는 일종의 수학 연산자이며 전문적으로 영상 함수 중 에지의 존재를 검출하는데 쓰일 수 있다. 영상 처리부(610)가 영상 사전처리를 수행하는 코드는 표 2와 같다.The image processor 610 may perform image preprocessing using the acquired image. Here, the image processing unit 610 can detect an edge. Here, the detected edge is a set of pixels having a change in the surrounding pixel gray scale such as a step change, a roof, and the like. The edge of the image corresponds to the gray scale discontinuity of the image and the edge operator is a kind of mathematical operator with a small spatial extent and can be used professionally to detect the presence of edges in the image function. Table 2 shows codes for the video processor 610 to perform the video preprocessing.

Figure pat00020
Figure pat00020

영상 처리부(610)는 영상에서 특정점을 추출할 때 정확도, 안정성, 전체 성능을 제공하기 위해 현실환경에 특정 표시를 기 설치해야 하고, 실시간 등록과정 중 특정 표시는 전체가 확인되어야 한다. 그러나, 실제응용 중 많은 실제환경 속에는 특정 표시를 설치하기 불편하며 표시가 완전히 확인됨을 확신 할 수 없다.In order to provide accuracy, stability, and overall performance when extracting a specific point from an image, the image processor 610 must install a specific indicator in the real environment, and a specific indication during the real-time registration process must be confirmed in its entirety. However, in many real world applications, it is inconvenient to install certain indications and can not be sure that the indications are fully verified.

영상 처리부(610)는 특정 표시가 커버되는 문제를 해결하기 위해 카메라 표시 공간 확장방법을 사용할 수 있다. 전술한 방법은 복수 개의 특정 표시를 선택하여 미리 특정 표시들의 3D 공간위치의 상대관계를 설정할 수 있다. 영상 처리부(610)는 일단 하나의 특정 표시가 커버되면, 기타 표시를 식별한 후 이들 간의 공간위치 관계에 근거하여 가상 3D 물체가 커버된 특정 표시에 대한 위치 및 형태를 계산할 수 있다.The image processing unit 610 may use a camera display space expansion method to solve the problem that a specific display is covered. The above-described method can select a plurality of specific displays to set the relative relationship of 3D spatial positions of specific displays in advance. Once the one specific display is covered, the image processing unit 610 can identify the other display and calculate the position and shape of the specific display covered by the virtual 3D object based on the spatial positional relationship therebetween.

영상 처리부(610)는 특정 표시가 커버되는 문제를 해결하기 위해 카메라의 표시공간을 확장할 수 있으며, 도 7에 도시된 바와 같이, 여러 개의 표시를 선택하여 매개 표시 위에 하나의 세계 좌표계를 수립할 수 있다. The image processing unit 610 may extend the display space of the camera to solve the problem of covering a specific display, and as shown in FIG. 7, a plurality of displays may be selected to establish one world coordinate system on the intermediate display .

영상 처리부(610)는 이러한 특정 표시들을 공간 표시집합으로 구성하여 시스템상에서 하나의 새로운 좌표계를 설정하고, 공간 표시집합의 세계 좌표계와 새로운 좌표계의 회전 변환 행렬을 각각 계산한다. 여기서, 영상 처리부(610)는 여러 개의 특정 표시가 식별된 경우, 식별된 특정 표시 중 신뢰 계수가 가장 높은 특정 표시를 선택하고, 좌표계간의 전환관계를 새로 수립하며, 수립된 좌표계 중에서 3D 위치 자태를 계산하고 동시에 기타 특정 표시 상의 3D 모델의 3D 위치 자태를 계산하여 추후 3D 모델을 실제공간 속에 투영한다. 전술한 동작을 수행하기 위한 표시 식별 시스템에 대한 코드는 표 3과 같다.The image processing unit 610 configures the specific displays as a space display set to set a new coordinate system on the system, and calculates the world coordinate system of the space display set and the rotation transformation matrix of the new coordinate system, respectively. Here, when a plurality of specific displays are identified, the image processor 610 selects a specific display having the highest confidence coefficient among the identified specific displays, newly establishes a switching relationship between the coordinate systems, and sets a 3D positional state among the established coordinate systems And simultaneously calculates the 3D positional state of the 3D model on the other specific display to project the 3D model in the actual space later. Table 3 shows the codes for the display identification system for performing the above-mentioned operations.

Figure pat00021
Figure pat00021

증강현실 처리부(620)는 카메라의 내부함수와 외부함수를 얻은 후 OpenGL로 가상의 3D 모델을 정확한 자태로 현실장면 속에 투영하여 가상모델과 현실장면이 정확하게 등록되어 가상장면과 현실세계의 완전 융합을 실현한다.The augmented reality processing unit 620 obtains an internal function and an external function of the camera, and then projects the virtual 3D model into the real scene by using the OpenGL to accurately register the virtual model and the real scene, Realization.

증강현실 처리부(620)는 OpenGL 중 함수 glFrustum (l, r, b, t, n, f)가 생성된 매트릭스 R을 설정하고, 현재 매트릭스 모드를 GL_PROJECTION로 설정하고 매트릭스 R을 원근 투영 스택에 푸시하여 3D 모델 투시변환의 그래픽효과를 실현하며, 이미 획득한 카메라 내부함수에 근거하여 이런 투시변환 매트릭스를 설정할 수 있다. 이러한, 매트릭스 R은 수학식 19를 이용하여 구현될 수 있다.The augmented reality processing unit 620 sets the matrix R in which the OpenGL function glFrustum ( l, r, b, t, n, f ) is generated, sets the current matrix mode to GL_PROJECTION, pushes the matrix R to the perspective projection stack 3D model realizes the graphic effect of perspective transformation and can set this perspective transformation matrix based on already acquired camera internal function. This matrix R can be implemented using equation (19).

Figure pat00022
Figure pat00022

증강현실 처리부(620)는 카메라의 외부함수로부터 카메라가 세계 좌표계의 위치와 방향을 알 수 있으며, OpenGL에서 카메라의 외부함수에 근거하여 OpenGL 중 가상 카메라의 가상세계 좌표계에서의 위치와 방향을 설정하여 현실세계 중의 카메라 형태를 시뮬레이션 할 수 있다. 따라서, 도 8에 도시된 바와 같이, 가상 3D물체를 정확한 위치와 형태로 현실세계 속으로 투영 할 수 있다. 여기서, 도 8을 구현하기 위한 이용한 현실세계의 융합 코드는 표 4와 같다.The augmented reality processing unit 620 can determine the position and direction of the world coordinate system from the external function of the camera and set the position and direction in the virtual world coordinate system of the virtual camera during OpenGL based on the external function of the camera in OpenGL It is possible to simulate the camera shape in the real world. Accordingly, as shown in FIG. 8, the virtual 3D object can be projected into the real world in an accurate position and form. Here, the fusion codes of the real world used for implementing FIG. 8 are shown in Table 4.

Figure pat00023
Figure pat00023

증강현실 출력부(630)는 전술한 증강 현실 기술에 근거하여 디지털 명함 또는 3D 전자지도 등의 분야에 대한 응용 실례를 출력할 수 있다. The augmented reality output unit 630 can output an application example to a field such as a digital business card or a 3D electronic map based on the augmented reality technology described above.

전술한 바와 같이 도 6 내지 도 8에 기재된 증강현실 서비스 제공장치(600)의 동작은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 증강현실 서비스 제공장치(600)의 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.As described above, the operation of the augmented reality service providing apparatus 600 described in Figs. 6 to 8 can be implemented by a program and recorded on a computer-readable recording medium. A program for implementing the operation of the augmented reality service providing apparatus 600 is recorded and the computer readable recording medium includes all kinds of recording apparatuses in which data that can be read by the computer system is stored. Examples of such computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and also implemented in the form of a carrier wave (e.g., transmission over the Internet) . The computer readable recording medium may also be distributed over a networked computer system so that computer readable code is stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present embodiment can be easily inferred by programmers in the technical field to which the present embodiment belongs.

본 발명의 제2 실시예에 따른 증강현실 서비스 제공장치(600)는 사용자가 스마트폰을 이용하여 증강현실 서비스를 통해 개인 정보를 획득, 구역 설명, 3D 장면 지도 등을 획득할 수 있어 사용자로 하여금 신속히 낯선 환경 속에 적응할 수 있게 할 수 있다. The augmented reality service providing apparatus 600 according to the second embodiment of the present invention allows a user to acquire personal information through the augmented reality service using a smart phone, to obtain a region description, a 3D scene map, You can quickly adapt to an unfamiliar environment.

일반적인 명함(910, 912, 920, 922))은 도 9에 도시된 바와 같이, 사람들의 이름, 직위, 등 간단한 정보가 적혀있을 뿐 상세한 정보를 표현하기에는 부족하다. 이에 비해, 제1 실시형태에 따른 증강현실 서비스 제공장치(600)는 스마트폰을 통하여 간단하게 정보를 인식할 수 있고, 사용자는 스마트폰의 카메라로 특정 표시를 인식하여, 3D 디지털 명함에 대한 가상 모델을 특정 표시 위에 투영하여 가상물체와 현실세계가 융합한 후의 장면을 스마트폰을 통하여 출력할 수 있다. 이러한, 증강현실 서비스 제공장치(600)는 도 10의 (a)에 도시된 바와 같이, 복수 개의 특정 표시(1010, 1020) 상에 3D 디지털 명함에 대한 가상 모델(1012, 1022)을 투영할 수 있다.As shown in FIG. 9, general business cards 910, 912, 920, and 922 are short enough to represent detailed information, with simple information such as names, titles, In contrast, the augmented reality service providing apparatus 600 according to the first embodiment can easily recognize information through a smart phone, and the user can recognize a specific display with a camera of a smart phone, The model can be projected on a specific display, and the scene after the fusion of the virtual object and the real world can be outputted through the smartphone. The augmented reality service providing apparatus 600 can project the virtual models 1012 and 1022 for 3D digital business cards on a plurality of specific displays 1010 and 1020 as shown in FIG. have.

낯선 도시에서 자기가 위치하고 있는 장소를 알기에는 많은 수단이 있으며 지도 혹은 휴대폰 네비게이션 등을 통해 쉽게 실현 할 수 있다. 하지만, 구조가 복잡한 빌딩에서 특정된 방이나 지점을 찾기에는 어렵다. There are many ways to know where you are located in a strange city, and you can easily realize it through maps or cell phone navigation. However, it is difficult to find a specific room or branch in a complex building.

제2 실시형태에 따른 증강현실 서비스 제공장치(600)는 스마트폰을 캐리어로 하여 사용자로 하여금 더욱 편리하게 원하는 정보를 제공할 수 있다. 예컨대, 증강현실 서비스 제공장치(600)는 GPS를 사용하지 않고 특정 표시(예컨대, 문패 등)를 인식하여 사용자의 스마트폰을 이용하여 현재 위치에 대한 3D 장면 지도를 제공할 수 있고, 현재 위치하고 있는 장소는 다른 색깔 또는 형태로 표시하여 구분하여 제공할 수도 있다. 예컨대, 도 11의 (a)는 기 설정된 특정 표시인 학과 문패(1110)를 나타내고, 도 11의 (b)는 증강현실 서비스 제공장치(600)가 학과 문패(1110)를 인식하여 투영한 학과 3D 장면 지도(1120)를 나타낸다.The augmented reality service providing apparatus 600 according to the second embodiment can provide desired information more conveniently to a user by using a smart phone as a carrier. For example, the augmented reality service providing apparatus 600 can recognize a specific display (e.g., a nameplate, etc.) without using the GPS, and can provide a 3D scene map for the current position using the smartphone of the user, Places may be displayed in different colors or in different forms. 11 (b) is a diagram showing an example in which the augmented reality service providing apparatus 600 recognizes and projects the name and the nameplate 1110, and Fig. 11 (b) And a scene map 1120. FIG.

또한, 증강현실 서비스 제공장치(600)는 도 12의 (a) 및 (b)에 도시된 바와 같이, 특정 안내 표시(1210)가 인식되는 경우, 강의 안내, 강사 정보 등의 가상 안내 정보(1212)를 특정 안내 표시(1210) 상에 투영하여 증강현실 서비스를 제공할 수 있고, 동시에 특정 문패 표시(1220)가 인식되는 경우, 현재 위치, 해당 층 구조정보 등의 3D 안내 지도(1222)를 특정 문패 표시(1220) 상에 투영할 수 있다. 12A and 12B, when the specific guidance display 1210 is recognized, the augmented reality service providing apparatus 600 provides the virtual guidance information 1212 (e.g., lecture guidance, lecturer information, etc.) The 3D guidance map 1222 such as the current position and the corresponding layer structure information can be specified and displayed on the specific guidance display 1210 to provide the augmented reality service. It can be projected on the nameplate display 1220.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

110: 영상수집 서브모듈 120: 영상 전처리 서브모듈
130: 심도검사 서브모듈 140: 그래픽 제작 서브모듈
150: 실제상황 융합 서브모듈 160: 사용자 상호작용 서브모듈
170: 멀티미디어 제어 서브모듈 180: 디스플레이 모듈110: image acquisition submodule 120: image preprocessing submodule
130: Depth Checking Sub-module 140: Graphics Production Sub-module
150: actual situation fusion submodule 160: user interaction submodule
170: multimedia control submodule 180: display module

Claims (15)

영상 입력장치로부터 촬영된 비디오 영상을 획득하는 영상수집 서브모듈;
상기 비디오 영상을 기초로 영상 전처리를 수행하여 기 설치된 특정 표시를 식별하는 영상 전처리 서브모듈;
상기 특정 표시에 근거하여 3D 모델정보를 생성하고, 생성된 상기 3D 모델정보를 상기 특정 표시 상에 렌더링(Rendering)하는 그래픽 제작 서브모듈;
상기 특정 표시 및 상기 3D 모델정보 간의 심도정보를 측정하는 심도검사 서브모듈;
상기 심도정보에 근거하여 상기 특정 표시 및 상기 3D 모델정보에 시각정보를 추가하여 융합하여 렌더링 되도록 하는 실제상황 융합 서브모듈; 및
상기 특정 표시 및 상기 3D 모델정보를 출력하는 디스플레이 모듈
을 포함하는 것을 특징으로 하는 증강현실 서비스 제공장치.An image acquisition sub module for acquiring a video image photographed from the image input device;
An image preprocessing sub-module for performing image preprocessing based on the video image to identify a specific display installed;
A graphic creation sub-module for generating 3D model information based on the specific display and rendering the generated 3D model information on the specific display;
A depth inspection sub-module for measuring depth information between the specific display and the 3D model information;
A real-situation convergence sub-module for adding time information to the specific display and the 3D model information based on the depth information and fusing and rendering the time information; And
A display module for outputting the specific display and the 3D model information
Wherein the augmented reality service providing apparatus comprises: 제 1 항에 있어서,
상기 영상 전처리 서브모듈은,
영상 분할, 에지 검출 및 윤곽선 추출 중 적어도 하나 이상의 영상 처리를 수행한 데이터를 기초로 매칭 연산을 수행하여 상기 특정 표시를 식별하는 표시식별 서브모듈; 및
상기 영상 입력장치의 실제환경에 대한 상대 위치, 방향각 및 이미지 촬영의 내부함수 중 적어도 하나 이상의 정보를 기초로 생성된 가상정보를 이용하여 상기 3D 모델정보의 출력위치를 확정하는 등록측정 서브모듈
을 포함하는 것을 특징으로 하는 증강현실 서비스 제공장치.The method according to claim 1,
The image preprocessing sub-
A display identification sub-module that performs a matching operation based on at least one of image segmentation, edge detection, and contour extraction to identify the specific display; And
A registration measurement submodule for determining an output position of the 3D model information using virtual information generated based on at least one of a relative position with respect to an actual environment of the image input apparatus,
Wherein the augmented reality service providing apparatus comprises: 제 2 항에 있어서,
상기 표시식별 서브모듈은,
상기 영상 처리를 수행한 데이터를 기초로 폐쇄된 블랙 직사각형 테두리가 존재하는지 확인한 후 상기 테두리 내의 구조와 매칭하여 상기 비디오 영상 내의 모든 특정 표시의 위치를 기록하고, 각각의 상기 특정 표시에 대한 에지 픽셀 좌표를 검출하여 상기 특정 표시의 에지(Edge)에 대한 직선 방정식을 계산하여 상기 특정 표시를 식별하는 것을 특징으로 하는 증강현실 서비스 제공장치.3. The method of claim 2,
The display identification sub-
Wherein the position of each specific display in the video image is recorded by matching with a structure in the frame after confirming that a closed black rectangular frame exists on the basis of the data subjected to the image processing, And a linear equation for an edge of the specific indication is calculated to identify the specific indication. 제 2 항에 있어서,
상기 표시식별 서브모듈은,
상기 영상 입력장치가 상기 특정 표시를 식별하는데 있어서, 상기 영상 입력장치 및 상기 특정 표시 간에 평행이 아니거나, 광축이 수직이 아닐 경우에도 식별을 수행하기 위해 기 저장된 템플릿(기준 특정 표시)을 매칭 연산하여 상기 특정 표시를 식별하는 것을 특징으로 하는 증강현실 서비스 제공장치.3. The method of claim 2,
The display identification sub-
In the case where the image input device identifies the specific display, the pre-stored template (reference specification indication) is matched to perform the identification even when the image input device and the specific display are not parallel or the optical axis is not vertical Thereby identifying the specific indication. 제 4 항에 있어서,
상기 표시식별 서브모듈은,
상기 기 저장된 템플릿을 상기 비디오 영상에 매칭하여 근사 차이값을 측정하고, 측정된 근사 차이값이 기 설정된 임계값 이하인 영역을 상기 기 저장된 템플릿에 대응하는 상기 특정 표시인 것으로 식별하는 것을 특징으로 하는 증강현실 서비스 제공장치.5. The method of claim 4,
The display identification sub-
Storing the preliminarily stored difference value as a specific display corresponding to the preliminarily stored template, and comparing the preliminarily stored template with the video image to measure an approximate difference value, A real service providing device. 제 2 항에 있어서,
상기 등록측정 서브모듈은,
공용 원근 투영 카메라 모델 또는 방사형 왜곡 기반 카메라 모델을 이용하여 카메라 보정을 수행하고, 상기 카메라 보정을 기초로 상기 특정 표시 및 상기 3D 모델정보의 위치 및 형태를 추출하여 상기 출력위치를 확정하는 것을 특징으로 하는 증강현실 서비스 제공장치.3. The method of claim 2,
Wherein the registration measurement sub-
And the output position is determined by extracting the position and the shape of the specific display and the 3D model information based on the camera correction, using the public perspective projection camera model or the radial distortion based camera model, Wherein the augmented reality service providing apparatus comprises: 제 1 항에 있어서,
상기 실제상황 융합 서브모듈은,
상기 심도정보를 상기 3D 모델정보와 비교한 비교값에 근거하여 상기 비디오 영상 내에서 상기 3D 모델정보의 출력위치를 제어하고, 조명, 음영 및 전경칼라 증강 중 적어도 하나 이상의 상기 시각정보를 추가로 융합하여 상기 특정 표시 상에 상기 3D 모델정보가 렌더링되도록 하는 것을 특징으로 하는 증강현실 서비스 제공장치.The method according to claim 1,
The real-situation fusion sub-
Controlling the output position of the 3D model information in the video image based on a comparison value obtained by comparing the depth information with the 3D model information, and adjusting at least one of the lighting information, the shade, So that the 3D model information is rendered on the specific display. 제 1 항에 있어서,
상기 심도검사 서브모듈은,
광학적 외피(Photo Hull)를 기반으로 상기 3D 모델정보에 포함된 공간 점의 각각의 심도를 산출하여 상기 3D 모델정보에 대한 상기 심도정보를 측정하는 것을 특징으로 하는 증강현실 서비스 제공장치.The method according to claim 1,
The depth inspection sub-
Wherein the depth information of the 3D model information is measured by calculating respective depths of spatial points included in the 3D model information based on an optical enclosure (Photo Hull). 제 1 항에 있어서,
상기 영상수집 서브모듈은,
상기 비디오 영상을 실시간을 획득할 수 있는 영상 정밀도 및 영상 획득속도를 지원하고, 복수 개의 멀티미디어 형식을 지원하는 다이렉트쇼(DirectShow) 모듈로 구현되는 것을 특징으로 하는 증강현실 서비스 제공장치.The method according to claim 1,
Wherein the image acquisition sub-
Wherein the controller is implemented as a DirectShow module supporting an image precision and an image acquisition rate capable of acquiring real time video images and supporting a plurality of multimedia formats. 제 1 항에 있어서,
상기 심도정보에 근거하여 움직이는 물체가 존재하는 경우, 상기 움직이는 물체와 상기 3D 모델정보가 서로 상호작용할 수 있도록 제어하는 사용자 상호작용 서브모듈; 및
상기 특정 표시 상에 상기 3D 모델정보를 렌더링하는데 있어서, 오디오 파일을 추가로 렌더링되도록 제어하는 멀티미디어 제어 서브모듈
을 더 포함하는 것을 특징으로 하는 증강현실 서비스 제공장치.The method according to claim 1,
A user interaction sub-module for controlling the moving object and the 3D model information to interact with each other when a moving object exists based on the depth information; And
In rendering the 3D model information on the particular display, a multimedia control sub-module
Further comprising: a receiving unit configured to receive the augmented reality service. 영상 입력장치로부터 촬영된 비디오 영상을 획득하는 영상수집 과정;
상기 비디오 영상을 기초로 영상 전처리를 수행하여 기 설치된 특정 표시를 식별하는 영상 전처리 과정;
상기 특정 표시에 근거하여 3D 모델정보를 생성하는 가상모델 생성과정;
상기 특정 표시 및 상기 3D 모델정보 간의 심도정보를 측정하는 심도검사 과정;
상기 심도정보에 근거하여 상기 특정 표시 및 상기 3D 모델정보에 시각정보를 추가하여 융합하는 실제상황 융합 과정;
상기 3D 모델정보를 상기 특정 표시 상에 렌더링(Rendering)하는 렌더링 과정; 및
상기 특정 표시 및 상기 3D 모델정보를 출력하는 디스플레이 과정
을 포함하는 것을 특징으로 하는 증강현실 서비스 제공방법.An image acquiring step of acquiring a video image photographed from a video input device;
An image preprocessing step of performing image preprocessing based on the video image to identify a specific display installed;
A virtual model generation step of generating 3D model information based on the specific display;
A depth inspection step of measuring depth information between the specific display and the 3D model information;
An actual situation convergence process of adding time information to the specific display and the 3D model information based on the depth information and fusing;
A rendering process of rendering the 3D model information on the specific display; And
A display process for outputting the specific display and the 3D model information
And generating the augmented reality service. 제 11 항에 있어서,
상기 영상 전처리 과정은,
영상 분할, 에지 검출 및 윤곽선 추출 중 적어도 하나 이상의 영상 처리를 수행한 데이터를 기초로 매칭 연산을 수행하여 상기 특정 표시를 식별하는 표시식별 과정; 및
상기 영상 입력장치의 실제환경에 대한 상대 위치, 방향각 및 이미지 촬영의 내부함수 중 적어도 하나 이상의 정보를 기초로 생성된 가상정보를 이용하여 상기 3D 모델정보의 출력위치를 확정하는 등록측정 과정
을 포함하는 것을 특징으로 하는 증강현실 서비스 제공방법.12. The method of claim 11,
The image pre-
A display identification process of performing a matching operation based on data on at least one of image segmentation, edge detection, and contour extraction to identify the specific display; And
A registration measurement step of determining an output position of the 3D model information by using virtual information generated based on at least one of information about a relative position of the image input apparatus with respect to an actual environment,
And generating the augmented reality service. 제 12 항에 있어서,
상기 표시식별 과정은,
상기 영상 처리를 수행한 데이터를 기초로 폐쇄된 블랙 직사각형 테두리가 존재하는지 확인한 후 상기 테두리 내의 구조와 매칭하여 상기 비디오 영상 내의 모든 특정 표시의 위치를 기록하고, 각각의 상기 특정 표시에 대한 에지 픽셀 좌표를 검출하여 상기 특정 표시의 에지(Edge)에 대한 직선 방정식을 계산하여 상기 특정 표시를 식별하는 것을 특징으로 하는 증강현실 서비스 제공방법.13. The method of claim 12,
The display identification process includes:
Wherein the position of each specific display in the video image is recorded by matching with a structure in the frame after confirming that a closed black rectangular frame exists on the basis of the data subjected to the image processing, And calculating a linear equation for an edge of the specific display to identify the specific display. 제 12 항에 있어서,
상기 표시식별 과정은,
상기 영상 입력장치가 상기 특정 표시를 식별하는데 있어서, 상기 영상 입력장치 및 상기 특정 표시 간에 평행이 아니거나, 광축이 수직이 아닐 경우에도 식별을 수행하기 위해 기 저장된 템플릿(기준 특정 표시)을 매칭 연산하여 상기 특정 표시를 식별하는 것을 특징으로 하는 증강현실 서비스 제공방법.13. The method of claim 12,
The display identification process includes:
In the case where the image input device identifies the specific display, the pre-stored template (reference specification indication) is matched to perform the identification even when the image input device and the specific display are not parallel or the optical axis is not vertical Thereby identifying the specific indication. 데이터 처리기기에,
영상 입력장치로부터 촬영된 비디오 영상을 획득하는 영상수집 과정;
상기 비디오 영상을 기초로 영상 전처리를 수행하여 기 설치된 특정 표시를 식별하는 영상 전처리 과정;
상기 특정 표시에 근거하여 3D 모델정보를 생성하는 가상모델 생성과정;
상기 특정 표시 및 상기 3D 모델정보 간의 심도정보를 측정하는 심도검사 과정;
상기 심도정보에 근거하여 상기 특정 표시 및 상기 3D 모델정보에 시각정보를 추가하여 융합하는 실제상황 융합 과정;
상기 3D 모델정보를 상기 특정 표시 상에 렌더링(Rendering)하는 렌더링 과정; 및
상기 특정 표시 및 상기 3D 모델정보를 출력하는 디스플레이 과정
을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
In the data processing device,
An image acquiring step of acquiring a video image photographed from a video input device;
An image preprocessing step of performing image preprocessing based on the video image to identify a specific display installed;
A virtual model generation step of generating 3D model information based on the specific display;
A depth inspection step of measuring depth information between the specific display and the 3D model information;
An actual situation convergence process of adding time information to the specific display and the 3D model information based on the depth information and fusing;
A rendering process of rendering the 3D model information on the specific display; And
A display process for outputting the specific display and the 3D model information
Readable recording medium having recorded thereon a program for realizing the program.
KR1020130160689A 2013-12-20 2013-12-20 Method and Apparatus for Providing Augmented Reality Service KR101553273B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130160689A KR101553273B1 (en) 2013-12-20 2013-12-20 Method and Apparatus for Providing Augmented Reality Service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130160689A KR101553273B1 (en) 2013-12-20 2013-12-20 Method and Apparatus for Providing Augmented Reality Service

Publications (2)

Publication Number Publication Date
KR20150072954A true KR20150072954A (en) 2015-06-30
KR101553273B1 KR101553273B1 (en) 2015-09-15

Family

ID=53518786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130160689A KR101553273B1 (en) 2013-12-20 2013-12-20 Method and Apparatus for Providing Augmented Reality Service

Country Status (1)

Country Link
KR (1) KR101553273B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060868A (en) * 2016-11-28 2018-06-07 숭실대학교산학협력단 Three-dimensional monitoring system and method using real-time warping of surveilance videos
KR20190043956A (en) * 2017-10-19 2019-04-29 에스케이텔레콤 주식회사 Method and apparatus for displaying augmented reality
WO2019117495A1 (en) * 2017-12-15 2019-06-20 코디소프트 주식회사 Method for providing augmented reality-applied education service
KR20190085509A (en) * 2016-08-26 2019-07-18 매직 립, 인코포레이티드 Continuous time warping and binocular time warping for virtual and augmented reality display systems and methods
CN111640166A (en) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 AR group photo method, AR group photo device, computer equipment and storage medium
CN112017303A (en) * 2020-09-04 2020-12-01 中筑科技股份有限公司 Equipment maintenance assisting method based on augmented reality technology
US20210272303A1 (en) * 2018-11-20 2021-09-02 Huawei Technologies Co., Ltd. Method for estimating object parameter and electronic device
KR20210127077A (en) * 2020-04-13 2021-10-21 한국전자통신연구원 Apparatus for providing an augmented reality for multi users
KR20220077089A (en) * 2020-12-01 2022-06-08 주식회사 인터포 Augmented objects coordinate correction system and control method thereof
WO2023282524A1 (en) * 2021-07-05 2023-01-12 삼성전자 주식회사 Augmented reality apparatus and method for providing vision measurement and vision correction

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220083166A (en) 2020-12-11 2022-06-20 삼성전자주식회사 Method and apparatus for estimating human body

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058968A (en) * 2010-09-08 2012-03-22 Namco Bandai Games Inc Program, information storage medium and image generation system

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210012071A (en) * 2016-08-26 2021-02-02 매직 립, 인코포레이티드 Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
US11200730B2 (en) 2016-08-26 2021-12-14 Magic Leap, Inc. Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
US11127195B2 (en) 2016-08-26 2021-09-21 Magic Leap, Inc. Continuous time warp for virtual and augmented reality display systems and methods
KR20190085509A (en) * 2016-08-26 2019-07-18 매직 립, 인코포레이티드 Continuous time warping and binocular time warping for virtual and augmented reality display systems and methods
KR20180060868A (en) * 2016-11-28 2018-06-07 숭실대학교산학협력단 Three-dimensional monitoring system and method using real-time warping of surveilance videos
KR20190043956A (en) * 2017-10-19 2019-04-29 에스케이텔레콤 주식회사 Method and apparatus for displaying augmented reality
WO2019117495A1 (en) * 2017-12-15 2019-06-20 코디소프트 주식회사 Method for providing augmented reality-applied education service
US20210272303A1 (en) * 2018-11-20 2021-09-02 Huawei Technologies Co., Ltd. Method for estimating object parameter and electronic device
KR20210127077A (en) * 2020-04-13 2021-10-21 한국전자통신연구원 Apparatus for providing an augmented reality for multi users
CN111640166A (en) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 AR group photo method, AR group photo device, computer equipment and storage medium
CN111640166B (en) * 2020-06-08 2024-03-26 上海商汤智能科技有限公司 AR group photo method, device, computer equipment and storage medium
CN112017303A (en) * 2020-09-04 2020-12-01 中筑科技股份有限公司 Equipment maintenance assisting method based on augmented reality technology
CN112017303B (en) * 2020-09-04 2024-01-19 中筑科技股份有限公司 Equipment maintenance auxiliary method based on augmented reality technology
KR20220077089A (en) * 2020-12-01 2022-06-08 주식회사 인터포 Augmented objects coordinate correction system and control method thereof
WO2023282524A1 (en) * 2021-07-05 2023-01-12 삼성전자 주식회사 Augmented reality apparatus and method for providing vision measurement and vision correction

Also Published As

Publication number Publication date
KR101553273B1 (en) 2015-09-15

Similar Documents

Publication Publication Date Title
KR101553273B1 (en) Method and Apparatus for Providing Augmented Reality Service
CN108510592B (en) Augmented reality display method of real physical model
US10482659B2 (en) System and method for superimposing spatially correlated data over live real-world images
EP3678101A2 (en) Ar-enabled labeling using aligned cad models
US20140285523A1 (en) Method for Integrating Virtual Object into Vehicle Displays
US11989827B2 (en) Method, apparatus and system for generating a three-dimensional model of a scene
CN110084797B (en) Plane detection method, plane detection device, electronic equipment and storage medium
CN112954292A (en) Digital museum navigation system and method based on augmented reality
CN109741431B (en) Two-dimensional and three-dimensional integrated electronic map frame
KR20140121529A (en) Method and apparatus for formating light field image
US20230035477A1 (en) Method and device for depth map completion
CN110084873B (en) Method and apparatus for rendering three-dimensional model
KR101641672B1 (en) The system for Augmented Reality of architecture model tracing using mobile terminal
US20220405968A1 (en) Method, apparatus and system for image processing
JP2024114712A (en) Imaging device, imaging method, and program
Soares et al. Designing a highly immersive interactive environment: The virtual mine
Seo et al. Real-time visual tracking of less textured three-dimensional objects on mobile platforms
EP2779102A1 (en) Method of generating an animated video sequence
WO2023088127A1 (en) Indoor navigation method, server, apparatus and terminal
CN109863746A (en) Interactive data visualization environment
Kim et al. 3-d virtual studio for natural inter-“acting”
CN114089836B (en) Labeling method, terminal, server and storage medium
Wang et al. Real‐time fusion of multiple videos and 3D real scenes based on optimal viewpoint selection
Leder et al. Mobile Outdoor AR Assistance Systems-Insights from a Practical Application
US11295531B1 (en) System and method for generating interactive virtual image frames in an augmented reality presentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190822

Year of fee payment: 5