KR101668649B1 - Surrounding environment modeling method and apparatus performing the same - Google Patents

Surrounding environment modeling method and apparatus performing the same Download PDF

Info

Publication number
KR101668649B1
KR101668649B1 KR1020140180117A KR20140180117A KR101668649B1 KR 101668649 B1 KR101668649 B1 KR 101668649B1 KR 1020140180117 A KR1020140180117 A KR 1020140180117A KR 20140180117 A KR20140180117 A KR 20140180117A KR 101668649 B1 KR101668649 B1 KR 101668649B1
Authority
KR
South Korea
Prior art keywords
surrounding environment
stereoscopic image
modeling
stereoscopic
unit
Prior art date
Application number
KR1020140180117A
Other languages
Korean (ko)
Other versions
KR20160072477A (en
Inventor
김영욱
황정훈
김승훈
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020140180117A priority Critical patent/KR101668649B1/en
Publication of KR20160072477A publication Critical patent/KR20160072477A/en
Application granted granted Critical
Publication of KR101668649B1 publication Critical patent/KR101668649B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

주변 환경 모델링 장치는 복수의 카메라들을 통해 획득된 어라운드 뷰를 기초로 주변 환경을 미리 모델링하는 주변 환경 모델링부, 특정 방향을 촬상하는 입체 카메라를 통해 입체 영상을 수신하는 입체 영상 수신부 및 상기 수신된 입체 영상을 상기 미리 모델링된 주변 환경에 정합하는 입체 영상 정합부를 포함한다. 따라서, 주변 환경 모델링 장치는 대용량의 데이터 처리가 필요한 과정 및 입체 영상에 대한 데이터 처리가 필요한 과정을 분류하여 입체 영상을 정합할 수 있다.The surrounding environment modeling apparatus includes a surrounding environment modeling unit for modeling the surrounding environment in advance based on the surround view obtained through the plurality of cameras, a stereoscopic image receiving unit for receiving the stereoscopic image through the stereoscopic camera for capturing a specific direction, And a stereoscopic image matching unit for matching the image to the pre-modeled peripheral environment. Therefore, the surrounding environment modeling apparatus can classify stereoscopic images by classifying processes requiring large-scale data processing and processes requiring data processing for stereoscopic images.

Description

주변 환경 모델링 방법 및 이를 수행하는 장치 {SURROUNDING ENVIRONMENT MODELING METHOD AND APPARATUS PERFORMING THE SAME}TECHNICAL FIELD [0001] The present invention relates to an environmental modeling method,

본 발명은 주변 환경 모델링 기술에 관한 것으로, 보다 상세하게는, 주변 환경을 미리 모델링하여 입체 영상을 정합하는 주변 환경 모델링 방법 및 이를 수행하는 장치에 관한 것이다.
The present invention relates to a surrounding environment modeling technique, and more particularly, to a surrounding environment modeling method for modeling a surrounding environment in advance to match a stereoscopic image and an apparatus for performing the same.

배경 영상을 모델링하는 기술은 지정된 지역을 카메라로 촬영하여 이동 물체를 감시한다. 배경 영상을 모델링하는 기술은 지정된 지역의 배경영상에서 현재 영상을 차분하여 이동 물체의 출현에 따른 전경영역을 추출할 수 있고, 이 과정에서 전경영역을 누락 없이 추출하기 위하여 정확한 배경영상의 획득이 필연적으로 요구된다. 또한, 모델링 기술은 매 프레임별로 변화되는 배경의 변화에 적응하여 배경영상을 정확하게 실시간 업데이트할 수 있다.The technique of modeling the background image captures the designated area with a camera and monitors the moving object. The technique of modeling the background image can extract the foreground region according to the appearance of the moving object by subtracting the current image from the background image of the designated region, and in order to extract the foreground region without omission, accurate background image acquisition is inevitable . Also, the modeling technology can accurately update the background image in real time by adapting to the change of the background which changes every frame.

종래 기술은 배경 영상 전체의 실시간 처리를 위하여 대용량의 데이터를 수신하며, 수신된 대용량의 데이터를 고속으로 처리하여야 한다. 대용량 데이터의 고속 처리 기술은 고비용을 필요로 하고 에러가 발생할 수 있기 때문에 현재 상용화를 위한 구현이 어려운 상황이다. 또한, 종래의 배경 영상 및 전경 영상의 합성 기술은 단순한 이펙트 효과와 배경 영상에 대한 합성에 해당하여, 영상 합성 기술은 저비용으로 전경 영상 및 배경 영상의 합성 기술을 구현하기 위한 기술 개발이 요구된다.The prior art receives a large amount of data for real-time processing of the entire background image and processes the received large amount of data at a high speed. High-speed processing technology of large-capacity data requires high cost and may cause errors, so it is difficult to implement for commercialization at present. Conventional background image and foreground image synthesis techniques are related to a simple effect effect and a synthesis of a background image. Therefore, image synthesis technology is required to develop a technology for realizing a synthesis technique of a foreground image and a background image at low cost.

한국등록특허 제1,454,333호는 실시간 전경 영상 및 배경 영상 합성 시스템에 관한 것으로, 외부 카메라로부터 수신된 카메라 영상에 대한 데이터 실시간 합성을 수행하여 적은 비용으로도 고가의 스튜디오 장비나 방송국 장비와 같은 효과를 발생하는 영상 합성 시스템에 대하여 개시한다.Korean Patent No. 1,454,333 relates to a real-time foreground image and background image synthesis system, which performs real-time data synthesis on camera images received from an external camera, thereby achieving the same effects as expensive studio equipment and broadcasting station equipment at a low cost To a video synthesizing system.

한국등록특허 제1,038,650호는 적응적 배경영상 모델링 방법, 이를 이용한 불법주정차 무인단속방법 및 불법주정차 무인단속시스템에 관한 것으로, 관심 영역 내의 정지 물체에 의한 영향을 신속하게 제거하여 배경 영상에 대한 정확한 모델링을 수행하고, 관심 영역 내의 물체를 정확하게 감지할 수 있는 불법주정차 무인단속방법 및 불법주정차 무인단속시스템에 대하여 개시한다.
Korean Patent No. 1,038,650 relates to an adaptive background image modeling method, an illegal parking assistless unmanned interception method using the same, and an illegal parking assistless unmanned intermittent system, , And an object of the present invention is to disclose an unauthorized intermittent unmanned intermittent intermittent method and an illegal intermittent unattended intermittent intermittent intermittent system capable of accurately detecting an object in a region of interest.

한국등록특허 제1,454,333호 (2014. 10. 17 등록)Korean Registered Patent No. 1,454,333 (Registered on October 17, 2014) 한국공개특허 제1,038,650호 (2011. 05. 27 공개)Korean Patent Publication No. 1,038,650 (disclosed on May 27, 2011)

본 발명의 일 실시예는 주변 환경을 미리 모델링하여 입체 영상을 실시간으로 정합하고자 한다.One embodiment of the present invention attempts to match stereoscopic images in real time by pre-modeling the surrounding environment.

본 발명의 일 실시예는 대용량의 데이터 처리가 필요한 과정 및 입체 영상에 대한 데이터 처리가 필요한 과정을 분류하여 신속하고 정확한 주변 환경 모델링 기술을 제공하고자 한다.One embodiment of the present invention is to classify a process requiring a large amount of data processing and a process requiring data processing for a stereoscopic image to provide a quick and accurate modeling of the surrounding environment.

본 발명의 일 실시예는 주변 환경 모델링 기술을 통하여 작업 환경에 대한 입체 영상을 사용자에게 제공하고자 한다.
One embodiment of the present invention provides a stereoscopic image of a work environment through a surrounding environment modeling technique to a user.

실시예들 중에서, 주변 환경 모델링 방법은 복수의 카메라들을 통해 획득된 어라운드 뷰를 기초로 주변 환경을 미리 모델링하는 단계, 특정 방향을 촬상하는 입체 카메라를 통해 입체 영상을 수신하는 단계 및 상기 수신된 입체 영상을 상기 미리 모델링된 주변 환경에 정합하는 단계를 포함한다.Among the embodiments, the surrounding environment modeling method includes a step of modeling the surrounding environment in advance based on the surround view acquired through the plurality of cameras, the step of receiving the stereoscopic image through the stereoscopic camera capturing the specific direction, And matching the image to the pre-modeled surrounding environment.

일 실시예에서, 상기 주변 환경을 미리 모델링하는 단계는 상기 복수의 카메라들을 통해 인식된 마커를 기초로 기 모델링된 객체를 상기 주변 환경에 적용하는 단계를 포함할 수 있다.In one embodiment, the pre-modeling of the environment may include applying an object modeled based on the markers recognized through the plurality of cameras to the environment.

일 실시예에서, 상기 주변 환경에 적용하는 단계는 상기 복수의 카메라들을 통해 인식된 마커를 기초로 상기 기 모델링된 객체를 객체 데이터베이스로부터 검색하는 단계 및 상기 마커의 위치 및 방향을 기초로 상기 검색된 객체의 위치 및 방향을 결정하는 단계를 포함할 수 있다.In one embodiment, the step of applying to the surrounding environment includes the steps of: retrieving the pre-modeled object from an object database based on a marker recognized through the plurality of cameras; And determining the position and orientation of the light source.

일 실시예에서, 상기 입체 영상을 수신하는 단계는 사용자의 머리 방향을 센싱하여 상기 특정 방향을 결정하는 단계를 포함할 수 있다.In one embodiment, the step of receiving the stereoscopic image may include the step of sensing the user's head direction to determine the specific direction.

일 실시예에서, 상기 입체 영상을 수신하는 단계는 상기 복수의 카메라들을 통해 이벤트가 수신되면 상기 이벤트와 연관된 방향으로 상기 입체 카메라를 제어하는 단계를 포함할 수 있다.In one embodiment, receiving the stereoscopic image may include controlling the stereoscopic camera in a direction associated with the event when an event is received via the plurality of cameras.

일 실시예에서, 상기 주변 환경을 미리 모델링하는 단계는 상기 어라운드 뷰에서 인식된 제1 특징 영역을 상기 주변 환경에 반영하는 단계를 포함할 수 있다.In one embodiment, the pre-modeling of the surrounding environment may include reflecting the first feature region recognized in the surround view to the surrounding environment.

일 실시예에서, 상기 미리 모델링된 주변 환경에 정합하는 단계는 상기 수신된 입체 영상으로부터 제2 특징 영역을 인식하여 상기 제1 및 제2 특징 영역들의 유사도를 분석하는 단계 및 상기 분석된 유사도를 기초로 상기 수신된 입체 영상을 상기 주변 환경에 정합하는 단계를 포함할 수 있다.In one embodiment, matching the pre-modeled surroundings comprises: analyzing the similarity of the first and second feature regions by recognizing a second feature region from the received stereoscopic image, And matching the received stereoscopic image to the surrounding environment.

실시예들 중에서, 주변 환경 모델링 장치는 복수의 카메라들을 통해 획득된 어라운드 뷰를 기초로 주변 환경을 미리 모델링하는 주변 환경 모델링부, 특정 방향을 촬상하는 입체 카메라를 통해 입체 영상을 수신하는 입체 영상 수신부 및 상기 수신된 입체 영상을 상기 미리 모델링된 주변 환경에 정합하는 입체 영상 정합부를 포함한다.
Among the embodiments, the environment modeling apparatus includes a surrounding environment modeling unit for modeling the surroundings environment in advance based on the surround view acquired through the plurality of cameras, a stereoscopic image receiving unit for receiving the stereoscopic image through the stereoscopic camera And a stereoscopic image matching unit for matching the received stereoscopic image with the pre-modeled peripheral environment.

본 발명의 일 실시예에 따른 주변 환경 모델링 방법은 주변 환경을 미리 모델링하여 입체 영상을 실시간으로 정합할 수 있다.The surrounding environment modeling method according to an embodiment of the present invention can preliminarily model surroundings and match stereoscopic images in real time.

본 발명의 일 실시예에 따른 주변 환경 모델링 방법은 대용량의 데이터 처리가 필요한 과정 및 입체 영상에 대한 데이터 처리가 필요한 과정을 분류하여 신속하고 정확한 주변 환경 모델링 기술을 제공할 수 있다.The method of modeling an environment according to an embodiment of the present invention can classify a process requiring a large amount of data processing and a process requiring data processing on a stereoscopic image to provide a quick and accurate surrounding modeling technique.

본 발명의 일 실시예에 따른 주변 환경 모델링 방법은 주변 환경 모델링 기술을 통하여 작업 환경에 대한 입체 영상을 사용자에게 제공할 수 있다.
The method of modeling the environment according to an embodiment of the present invention can provide a user with a stereoscopic image of the working environment through the surrounding environment modeling technique.

도 1은 본 발명의 일 실시예에 따른 주변 환경 모델링 장치에서 수행되는 주변 환경 모델링 과정을 설명하는 도면이다.
도 2는 도 1에 있는 주변 환경 모델링 장치의 내부 구성도를 설명하는 블록도이다.
도 3은 도 1에 있는 주변 환경 모델링 장치에서 수행되는 주변 환경 모델링 과정에 대한 순서도이다.
도 4는 도 1에 있는 주변 환경 모델링 장치에서 수행되는 주변 환경을 미리 모델링 하는 과정에 대한 순서도이다.FIG. 1 is a diagram for explaining a process of modeling an environment around the environment modeling apparatus according to an embodiment of the present invention. Referring to FIG.
FIG. 2 is a block diagram illustrating an internal configuration diagram of the environment modeling apparatus shown in FIG. 1. FIG.
FIG. 3 is a flowchart illustrating an environmental modeling process performed by the environment modeling apparatus shown in FIG.
FIG. 4 is a flowchart illustrating a process of pre-modeling the environment around the environment modeling apparatus shown in FIG.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first "," second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that the singular " include " or "have" are to be construed as including the stated feature, number, step, operation, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, the identification code does not describe the order of each step, Unless otherwise stated, it may occur differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable code on a computer-readable recording medium, and the computer-readable recording medium includes any type of recording device that stores data that can be read by a computer system . Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present application.

도 1은 본 발명의 일 실시예에 따른 주변 환경 모델링 장치에서 수행되는 주변 환경 모델링 과정을 설명하는 도면이다.FIG. 1 is a diagram for explaining a process of modeling an environment around the environment modeling apparatus according to an embodiment of the present invention. Referring to FIG.

도 1을 참조하면, 주변 환경 모델링 장치(100)는 복수의 카메라들(110)을 통해 획득된 어라운드 뷰를 기초로 주변 환경(10)을 미리 모델링할 수 있다. 복수의 카메라들(110)은 주변 환경 모델링 장치(100)의 외곽을 따라 배치될 수 있다. 일 실시예에서, 복수의 카메라들(110)은 주변 환경 모델링 장치(100)의 전후좌우(110a, 110b, 110c, 110d)에 각각 배치될 수 있다. 여기에서, 복수의 카메라들(100)의 개수 및 위치는 반드시 이에 한정되는 것은 아니고 실시예에 따라 변경될 수 있다.Referring to FIG. 1, the surrounding environment modeling apparatus 100 may model the surrounding environment 10 in advance based on the surrounding views obtained through the plurality of cameras 110. A plurality of cameras 110 may be disposed along an outer periphery of the environment modeling apparatus 100. In one embodiment, the plurality of cameras 110 may be disposed at the front, rear, left and right sides 110a, 110b, 110c, and 110d, respectively, of the environment modeling apparatus 100. Here, the number and position of the plurality of cameras 100 are not limited thereto, and may be changed according to the embodiment.

복수의 카메라들(110)은 주변 환경 모델링 과정을 수행하기에 앞서 어라운드 뷰를 획득할 수 있다. 획득된 어라운드 뷰는 대용량의 데이터를 포함할 수 있고, 주변 환경 모델링 장치(100)는 주변 환경 모델링 과정을 수행하기에 앞서 대용량의 데이터를 처리할 수 있다. 주변 환경 모델링 기술은 대용량 데이터를 시점간 유사성 및 공간적 유사성을 이용하여 하나의 주변 환경 영상으로 변환할 수 있다.The plurality of cameras 110 may acquire the surround view before performing the surrounding environment modeling process. The acquired surround view may include a large amount of data, and the surrounding environment modeling apparatus 100 may process a large amount of data before performing the surrounding environment modeling process. The surrounding environment modeling technology can convert a large amount of data into one surrounding image using similarity and spatial similarity between viewpoints.

주변 환경 모델링 장치(100)는 복수의 카메라들(110)을 통해 획득한 어라운드 뷰에서 마커(40)를 인식할 수 있다. 주변 환경(10)에 배치된 객체는 마커(40)를 포함할 수 있다. 주변 환경 모델링 장치(100)는 주변 환경을 미리 모델링하는 과정에서 객체를 모델링할 수 있다. 주변 환경 모델링 장치(100)는 마커(40)의 위치 및 방향을 기초로 객체의 위치 및 방향을 결정할 수 있다. 즉, 주변 환경 모델링 장치(100)는 기 모델링된 객체를 주변 환경(10)에 적용할 수 있다.The surrounding environment modeling apparatus 100 can recognize the marker 40 in the surround view acquired through the plurality of cameras 110. [ Objects disposed in the surrounding environment 10 may include a marker 40. [ The environment modeling device 100 may model an object in a process of pre-modeling the environment. The environment modeling device 100 may determine the position and orientation of the object based on the position and orientation of the marker 40. [ That is, the surrounding environment modeling apparatus 100 can apply the modeled object to the surrounding environment 10.

일 실시예에서, 주변 환경 모델링 장치(100)는 가우시안 모델을 이용하여 주변 환경(10)을 미리 모델링할 수 있다. 가우시안 기반의 모델링 과정은 고해상도 입력 영상에 대하여 시간의 경과에 따라 변화되는 배경 정보를 반영하는데 사용될 수 있다. 가우시안 기반의 모델링 과정은 프레임 간의 배경 추정을 적용하여 효과적으로 배경 영상을 모델링할 수 있다. 가우시안 기반의 모델링 과정은 객체 및 배경의 크기를 조절하여 노이즈나 아주 작은 객체들을 제거할 수 있다. 또한, 가우시안 기반의 모델링 과정은 인접하는 영상 간의 화소 연관성에 따라 노이즈를 판단하고, 객체에 의하여 발생되는 그림자를 제거할 수 있다. 가우시안 기반의 모델링 과정은 객체 내부에 발생한 빈 공간을 채우거나 짧게 끊어진 영역들을 연결하여 매끄러운 영상을 구현할 수 있다.In one embodiment, the environment modeling device 100 may pre-model the environment 10 using a Gaussian model. The Gaussian based modeling process can be used to reflect background information that changes over time for high resolution input images. The Gaussian based modeling process can effectively model the background image by applying the background estimation between frames. The Gaussian based modeling process can remove noise or very small objects by adjusting the size of objects and backgrounds. In addition, the Gaussian based modeling process can determine the noise according to the pixel association between adjacent images, and remove the shadow generated by the object. The Gaussian based modeling process can fill the empty space generated inside the object or connect the shortened regions to create a smooth image.

주변 환경 모델링 장치(100)는 특정 방향을 촬상하는 입체 카메라(120)를 통해 입체 영상(20)을 수신할 수 있다. 일 실시예에서, 입체 카메라(120)는 주변 환경 모델링 장치(100)의 전면에 배치될 수 있고, 스테레오 카메라(Stereoscopic Camera)를 통해 구현될 수 있다. 여기에서, 입체 카메라(120)의 위치는 반드시 이에 한정되는 것은 아니고 실시예에 따라 변경될 수 있다. 입체 카메라(120)는 사용자가 필요로 하는 특정 방향의 입체 영상(20)을 촬영하기 위하여 배치될 수 있다. 입체 카메라(120)는 초점 및 노출 양을 조절할 수 있고 시점 이동을 통해 다시점 영상을 촬상할 수 있다. 입체 영상(20)은 모델링된 주변 환경(10)의 일부에 대한 입체적 영상에 해당할 수 있다.The surrounding environment modeling apparatus 100 can receive the stereoscopic image 20 through the stereoscopic camera 120 that captures a specific direction. In one embodiment, the stereoscopic camera 120 may be disposed on the front side of the environment modeling apparatus 100 and may be implemented through a stereoscopic camera. Here, the position of the stereoscopic camera 120 is not limited to this, and may be changed according to the embodiment. The stereoscopic camera 120 may be arranged to photograph a stereoscopic image 20 in a specific direction required by the user. The stereoscopic camera 120 can adjust the amount of focus and exposure, and can capture a multi-view image through the movement of the viewpoint. The stereoscopic image 20 may correspond to a stereoscopic image of a part of the modeled surrounding environment 10. [

일 실시예에서, 주변 환경 모델링 장치(100)는 복수의 카메라들(110)을 통해 이벤트를 수신할 수 있다. 주변 환경 모델링 장치(100)가 이벤트를 수신하면, 주변 환경 모델링 장치(100)는 이벤트에 대한 데이터를 처리하여 이벤트와 연관된 방향을 판단할 수 있다. 주변 환경 모델링 장치(100)는 이벤트와 연관된 방향에 대한 데이터를 포함하는 신호를 입체 카메라(120)에 제공할 수 있다. 즉, 주변 환경 모델링 장치(100)는 이벤트와 연관된 방향으로 입체 카메라(120)를 제어하여, 이벤트와 연관된 방향에 대한 입체 영상(20)을 수신할 수 있다.In one embodiment, the environment modeling device 100 may receive events via a plurality of cameras 110. In one embodiment, When the environment modeling device 100 receives an event, the environment modeling device 100 processes the data on the event to determine a direction associated with the event. The ambient modeling device 100 may provide a stereoscopic camera 120 with a signal containing data about the direction associated with the event. That is, the environment modeling device 100 may control the stereoscopic camera 120 in a direction associated with the event, and receive the stereoscopic image 20 in a direction associated with the event.

일 실시예에서, 주변 환경 모델링 장치(100)는 사용자의 머리 방향을 센싱하여 특정 방향을 결정할 수 있다. 주변 환경 모델링 장치(100)는 사용자의 머리 방향의 변화를 인식할 수 있는 센서(미도시)를 포함할 수 있다. 주변 환경 모델링 장치(100)는 센서를 통해 사용자의 머리 방향 변화를 감지하고, 입체 카메라(120)의 특정 방향을 결정할 수 있다. 입체 카메라(120)는 결정된 특정 방향의 입체 영상(20)을 촬상할 수 있다. 주변 환경 모델링 장치(100)는 사용자의 머리 방향 변화에 따른 데이터를 처리 및 분석하여 입체 카메라(120)에 특정 방향에 대한 신호를 전송할 수 있다. 다른 일 실시예에서, 입체 카메라(120)는 사용자의 모션과 연동되어 특정 방향의 입체 영상(20)을 촬상할 수 있다. 예를 들어, 사용자의 모션은 팔의 움직임 또는 상체의 움직임에 해당할 수 있다.In one embodiment, the environment modeling device 100 may determine the specific direction by sensing the head direction of the user. The environment modeling device 100 may include a sensor (not shown) that can recognize a change in the head direction of the user. The ambient environment modeling apparatus 100 can detect a user's head direction change through a sensor and determine a specific direction of the stereoscopic camera 120. The stereoscopic camera 120 can pick up the stereoscopic image 20 in the determined specific direction. The surrounding environment modeling apparatus 100 may process and analyze data according to a change in the user's head direction and transmit a signal for a specific direction to the stereoscopic camera 120. [ In another embodiment, the stereoscopic camera 120 can capture the stereoscopic image 20 in a specific direction in association with the motion of the user. For example, the motion of the user may correspond to movement of the arm or movement of the upper body.

주변 환경 모델링 장치(100)는 수신된 입체 영상(20)을 미리 모델링된 주변 환경(10)에 정합할 수 있다. 일 실시예에서, 주변 환경 모델링 장치(100)는 복수의 카메라들(110)을 통해 획득된 어라운드 뷰에서 제1 특징 영역(30)을 인식할 수 있다. 주변 환경 모델링 장치(100)는 수신된 입체 영상(20)으로부터 제2 특징 영역(30)을 인식할 수 있다. 특징 영역은 특징 글자, 특징점, 특징 형상, 특징 모양, 특징 색깔 또는 특징 도형에 해당할 수 있다. 주변 환경 모델링 장치(100)는 제1 및 제2 특징 영역들(30)의 유사도를 분석할 수 있다. 주변 환경 모델링 장치(100)는 특징 영역들(30)의 유사도에 따라 정합 여부를 판단할 수 있다. 예를 들어, 제1 및 제2 특징 영역들(30)이 “S”의 특징 글자에 해당하고 유사도가 높다고 분석되는 경우, 주변 환경 모델링 장치(100)는 특징 영역(30)을 기초로 입체 영상(20)을 주변 환경(10)에 정합할 수 있다. 한편, 제1 및 제2 특징 영역들(30)의 유사도가 낮다고 분석되는 경우, 주변 환경 모델링 장치(100)는 서로 유사한 특징 영역들(30)의 존재 여부를 검색할 수 있다. 주변 환경 모델링 장치(100)는 분석된 유사도를 기초로 수신된 입체 영상(20)을 주변 환경(10)에 정합할 수 있다. 즉, 주변 환경 모델링 장치(100)는 수신된 입체 영상(20)에 대응되는 주변 환경(10)의 일부를 업데이트할 수 있다. 또한, 주변 환경 모델링 장치(100)는 입체 영상(20)에 대한 객체의 배열, 시점, 텍스처 매핑 및 셰이딩 정보에 기초하여 입체 영상(20)을 렌더링할 수 있다. 주변 환경 모델링 장치(100)는 입체 카메라부(280)의 내외부 파라미터를 추정하고, 추정된 파라미터를 이용하여 입체 영상(20)의 데이터를 획득할 수 있다.The surrounding environment modeling apparatus 100 can match the received stereoscopic image 20 to the environment 10 previously modeled. In one embodiment, the environment modeling device 100 can recognize the first feature region 30 in the surrounding view obtained through the plurality of cameras 110. [ The surrounding environment modeling apparatus 100 can recognize the second feature region 30 from the received stereoscopic image 20. [ The feature region may correspond to feature character, feature point, feature feature, feature feature, feature color, or feature feature. The ambient environment modeling apparatus 100 may analyze the similarities of the first and second feature regions 30. [ The surrounding environment modeling apparatus 100 may determine whether or not to match according to the degree of similarity of the feature regions 30. [ For example, when the first and second characteristic regions 30 correspond to the characteristic character of " S " and the similarity is analyzed to be high, the surrounding environment modeling apparatus 100 may generate a stereoscopic image (20) to the surrounding environment (10). On the other hand, when it is analyzed that the degree of similarity between the first and second characteristic regions 30 is low, the surrounding environment modeling apparatus 100 can search for the existence of similar characteristic regions 30. The surrounding environment modeling apparatus 100 may match the received stereoscopic image 20 to the surrounding environment 10 based on the analyzed similarity. That is, the surrounding environment modeling apparatus 100 can update a part of the surrounding environment 10 corresponding to the received stereoscopic image 20. Also, the environment modeling apparatus 100 may render the stereoscopic image 20 based on an arrangement of objects, a viewpoint, a texture mapping, and shading information on the stereoscopic image 20. [ The surrounding environment modeling apparatus 100 can estimate the parameters inside and outside the stereoscopic camera unit 280 and acquire the data of the stereoscopic image 20 using the estimated parameters.

일 실시예에서, 주변 환경 모델링 장치(100)는 입체 영상(20)에서 신규 출현한 전경 객체를 인식할 수 있다. 주변 환경 모델링 장치(100)는 전경 객체를 추출하여 전경 객체의 이동 또는 정지 여부를 판단할 수 있다. 주변 환경 모델링 장치(100)는 전경 객체의 이동 여부에 따라 입체 영상(20) 전체를 정합하거나 전경 객체에 해당하는 부분만 정합할 수 있다. 또한, 주변 환경 모델링 장치(100)는 사용자에 의한 객체 이동을 감지하여 주변 환경의 모델링에 적용할 수 있다.In one embodiment, the environment modeling device 100 may recognize a new foreground object in the stereoscopic image 20. The surrounding environment modeling device 100 may extract a foreground object and determine whether to move or stop the foreground object. The surrounding environment modeling apparatus 100 may match the entirety of the stereoscopic image 20 or only the portion corresponding to the foreground object depending on whether the foreground object is moved or not. Also, the surrounding environment modeling device 100 can detect the movement of the object by the user and apply the modeling to the surrounding environment.

일 실시예에서, 주변 환경 모델링 장치(100)는 작업 환경에서 사용되기 위하여 스테레오 비전을 사용할 수 있다. 주변 환경 모델링 장치(100)는 대용량의 데이터 처리가 필요한 과정 및 입체 영상에 대한 데이터 처리가 필요한 과정을 분류하여 입체 영상(20)의 모델링 과정에서 발생하는 스테레오 매칭 노이즈를 제거할 수 있다. 주변 환경 모델링 장치(100)는 주변 환경(10)을 미리 모델링하기 위하여 작업 환경 요소를 포함하는 스테레오 영상을 수신할 수 있고, 입체 영상 모델링을 위한 알고리즘을 수행할 수 있다.In one embodiment, the environment modeling device 100 may use stereo vision to be used in a work environment. The surrounding environment modeling apparatus 100 may classify a process requiring a large amount of data processing and a process requiring data processing for the stereoscopic image to remove the stereo matching noise generated in the modeling process of the stereoscopic image 20. [ The surrounding environment modeling apparatus 100 may receive a stereo image including a work environment element to model the surrounding environment 10 in advance, and may perform an algorithm for stereoscopic image modeling.

주변 환경 모델링 장치(100)는 입체 카메라부(280)로부터 획득한 영상으로부터 입체 영상(20)을 정합하기 때문에 현장감을 향상시킬 수 있으며, 주변 환경 모델링 장치(100)는 거리 센서를 이용한 모델링 시스템과 비교하여 저비용으로 구현될 수 있다.
Since the surroundings modeling apparatus 100 matches the stereoscopic image 20 from the images obtained from the stereoscopic camera unit 280, the ambient environment modeling apparatus 100 can improve the sense of presence by using the modeling system using the distance sensor And can be implemented at a low cost in comparison with the above.

도 2는 도 2는 도 1에 있는 주변 환경 모델링 장치의 내부 구성도를 설명하는 블록도이다.FIG. 2 is a block diagram illustrating an internal configuration diagram of the environment modeling apparatus shown in FIG. 1;

도 2를 참조하면, 주변 환경 모델링 장치(100)는 주변 환경 모델링부(210), 입체 영상 수신부(220), 입체 영상 정합부(230), 디스플레이부(240), 유사도 분석부(250), 데이터베이스(260), 카메라부(270), 입체 카메라부(280) 및 제어부(290)를 포함한다.2, the environment modeling apparatus 100 includes a surrounding environment modeling unit 210, a stereoscopic image receiving unit 220, a stereoscopic image matching unit 230, a display unit 240, a similarity analyzing unit 250, A database 260, a camera unit 270, a stereoscopic camera unit 280, and a control unit 290.

주변 환경 모델링부(210)는 카메라부(270)를 통해 획득된 어라운드 뷰를 기초로 주변 환경을 미리 모델링할 수 있다. 카메라부(270)를 통해 획득된 어라운드 뷰는 대용량의 데이터를 포함할 수 있고, 주변 환경 모델링부(210)는 주변 환경 모델링 과정을 수행하기에 앞서 대용량의 데이터를 처리할 수 있다. 주변 환경 모델링부(210)는 대용량 데이터를 시점 및 공간의 유사성을 이용하여 하나의 주변 환경으로 모델링할 수 있다.The surrounding environment modeling unit 210 may pre-model the surrounding environment based on the surrounding view acquired through the camera unit 270. [ The surrounding view acquired through the camera unit 270 may include a large amount of data and the surrounding environment modeling unit 210 may process a large amount of data before performing the surrounding environment modeling process. The surrounding environment modeling unit 210 may model the large capacity data into one surrounding environment using the similarity of the viewpoint and the space.

주변 환경 모델링부(210)는 주변 환경을 미리 모델링하는 과정에서 객체를 모델링할 수 있다. 주변 환경 모델링부(210)는 카메라부(270)를 통해 획득한 어라운드 뷰에서 객체에 포함된 마커(40)를 인식할 수 있다. 주변 환경 모델링부(210)는 인식된 마커(40)를 기초로 기 모델링된 객체를 데이터베이스(260)로부터 검색할 수 있다. 주변 환경 모델링부(210)는 마커(40)의 위치 및 방향을 기초로 객체의 위치 및 방향을 결정할 수 있다. 즉, 주변 환경 모델링부(210)는 기 모델링된 객체를 주변 환경(10)에 적용할 수 있다.The surrounding environment modeling unit 210 may model an object in the course of modeling the surrounding environment in advance. The surrounding environment modeling unit 210 can recognize the marker 40 included in the object in the surrounding view acquired through the camera unit 270. [ The surrounding environment modeling unit 210 can search the database 260 for objects modeled based on the recognized markers 40. [ The surrounding environment modeling unit 210 can determine the position and the direction of the object based on the position and the direction of the marker 40. That is, the surrounding environment modeling unit 210 may apply the modeled object to the surrounding environment 10.

입체 영상 수신부(220)는 특정 방향을 촬상하는 입체 카메라부(280)를 통해 입체 영상(20)을 수신할 수 있다. 입체 영상 수신부(220)는 사용자의 머리 방향을 센싱하여 특정 방향을 결정할 수 있다. 입체 영상 수신부(220)는 사용자의 머리 방향의 변화를 인식할 수 있는 센서(미도시)를 포함할 수 있다. 입체 영상 수신부(220)는 센서를 통해 사용자의 머리 방향 변화를 감지하고, 입체 카메라부(280)의 특정 방향을 결정할 수 있다.The stereoscopic image receiving unit 220 can receive the stereoscopic image 20 through the stereoscopic camera unit 280 that captures a specific direction. The stereoscopic image receiving unit 220 can determine the specific direction by sensing the head direction of the user. The stereoscopic image receiving unit 220 may include a sensor (not shown) capable of recognizing a change in the head direction of the user. The stereoscopic image receiving unit 220 can detect a change in the user's head direction through the sensor and determine a specific direction of the stereoscopic camera unit 280.

입체 영상 수신부(220)는 입체 카메라부(280)를 통해 수신된 입체 영상(20) 영상의 깊이 정보를 추출할 수 있다. 입체 영상 수신부(220)는 소실선 또는 소실점을 이용하여 깊이 정보를 추출할 수 있다. 깊이 정보는 물체에 입체감을 부여하기 위하여 사용될 수 있다. 또한, 입체 영상 수신부(220)는 사용자에 의하여 부여된 깊이 정보를 수신할 수 있다. 입체 영상 수신부(220)는 사용자로부터 깊이 정보를 수신하는 경우 영상의 전처리 과정을 용이하게 수행할 수 있다.The stereoscopic image receiving unit 220 can extract the depth information of the stereoscopic image 20 received through the stereoscopic camera unit 280. [ The stereoscopic image receiving unit 220 can extract depth information using a missing line or a vanishing point. Depth information can be used to impart a sense of depth to an object. In addition, the stereoscopic image receiving unit 220 may receive the depth information provided by the user. The stereoscopic image receiving unit 220 can easily perform a preprocessing process of an image when receiving depth information from a user.

일 실시예에서, 카메라부(270)는 주변 환경(10) 내에서 발생되는 이벤트를 수신할 수 있다. 카메라부(270)는 이벤트를 수신하여 주변 환경 모델링부(210)에 이벤트에 대한 데이터를 전송할 수 있다. 카메라부(270)가 이벤트를 수신하면, 주변 환경 모델링부(210)는 이벤트에 대한 데이터를 처리하여 이벤트와 연관된 방향을 판단할 수 있다. 주변 환경 모델링부(210)는 이벤트와 연관된 방향에 대한 데이터를 포함하는 신호를 입체 영상 수신부(220)에 제공할 수 있다. 입체 영상 수신부(220)는 이벤트와 연관된 방향으로 입체 카메라부(280)를 제어하여, 이벤트와 연관된 방향에 대한 입체 영상(20)을 수신할 수 있다.In one embodiment, the camera portion 270 may receive events that occur within the environment 10. The camera unit 270 may receive the event and transmit data about the event to the surrounding environment modeling unit 210. When the camera unit 270 receives the event, the surrounding environment modeling unit 210 processes the event data to determine the direction associated with the event. The surrounding environment modeling unit 210 may provide the stereoscopic image receiving unit 220 with a signal including data on a direction associated with the event. The stereoscopic image receiving unit 220 may control the stereoscopic camera unit 280 in a direction associated with the event to receive the stereoscopic image 20 in the direction associated with the event.

입체 영상 정합부(230)는 수신된 입체 영상(20)을 미리 모델링된 주변 환경(10)에 정합할 수 있다. 일 실시예에서, 주변 환경 모델링부(210)는 카메라부(270)를 통해 획득된 어라운드 뷰에서 제1 특징 영역(30)을 인식할 수 있다. 입체 영상 수신부(220)는 수신된 입체 영상(20)으로부터 제2 특징 영역(30)을 인식할 수 있다. 유사도 분석부(250)는 주변 환경 모델링부(210) 및 입체 영상 수신부(220)로부터 제1 및 제2 특징 영역들(30)을 각각 수신할 수 있다. 유사도 분석부(250)는 제1 및 제2 특징 영역들(30)의 유사도를 분석할 수 있다. 유사도 분석부(250)는 특징 영역들의 유사도에 따라 정합 여부를 판단하여 입체 영상 정합부(230)에 정합 결과를 제공할 수 있다. 입체 영상 정합부(230)는 분석된 유사도를 기초로 수신된 입체 영상(20)을 주변 환경(10)에 정합할 수 있다. 즉, 입체 영상 정합부(230)는 수신된 입체 영상(20)에 대응되는 주변 환경(10)의 일부를 업데이트할 수 있다.The stereoscopic image matching unit 230 may match the received stereoscopic image 20 to the modeled surrounding environment 10. In one embodiment, the environment modeling unit 210 may recognize the first feature region 30 in the surrounding view obtained through the camera unit 270. [ The stereoscopic image receiving unit 220 can recognize the second characteristic region 30 from the received stereoscopic image 20. [ The similarity analyzer 250 may receive the first and second characteristic regions 30 from the surrounding environment modeling unit 210 and the stereoscopic image receiving unit 220, respectively. The similarity analyzer 250 may analyze the similarities of the first and second feature regions 30. [ The similarity analyzer 250 may determine matching according to the degree of similarity of the feature regions, and may provide a matching result to the stereoscopic image matching unit 230. The stereoscopic image matching unit 230 may match the received stereoscopic image 20 to the surrounding environment 10 based on the analyzed similarity. That is, the stereoscopic image matching unit 230 may update a part of the surrounding environment 10 corresponding to the received stereoscopic image 20. [

입체 영상 정합부(230)는 입체 카메라부(280)의 방향이 전환되는 경우 정합된 입체 영상을 주변 환경(10)으로 인식하고, 입체 영상(20)의 신규 대상 영역을 주변 환경(10)과 정합할 수 있다. 예를 들어, 입체 카메라부(280)가 사용자의 조작 또는 센싱된 머리 방향의 변화에 의하여 촬상하는 특정 방향을 변경하는 경우, 입체 영상 정합부(230)는 기존에 정합된 영상을 주변 환경(10)으로 인식하고 새롭게 수신되는 입체 영상(20)을 기초로 주변 환경(10)과 정합할 수 있다.The stereoscopic image matching unit 230 recognizes the matched stereoscopic image as the surrounding environment 10 when the direction of the stereoscopic camera unit 280 is switched and displays a new target area of the stereoscopic image 20 in the surrounding environment 10 Can be matched. For example, when the stereoscopic camera unit 280 changes a specific direction to be imaged by a user's manipulation or a change in the sensed head direction, the stereoscopic image matching unit 230 converts the previously matched image into the surrounding environment 10 ) And can be matched with the surrounding environment 10 based on the newly received stereoscopic image 20.

디스플레이부(240)는 입체 영상 정합부(230)에서 정합된 영상을 출력 장치를 통해 사용자에게 제공할 수 있다. 사용자는 정합된 영상을 제공 받아 관심 영역에 대한 정보를 획득할 수 있다. 일 실시예에서, 출력 장치는 입체 고글, 입체 디스플레이, 입체 홀로그램 및 입체 출력 장치로 구현될 수 있다. 일 실시예에서, 디스플레이부(240)는 주변 환경 모델링 기술과 별도로 입체 정도를 조절할 수 있으며, 입체 영상의 입체감을 향상시킬 수 있다.The display unit 240 may provide the matching image to the user through the output device. The user can obtain information about the region of interest by receiving the matched image. In one embodiment, the output device may be embodied as stereoscopic goggles, stereoscopic displays, stereoscopic holograms, and stereoscopic output devices. In one embodiment, the display unit 240 can adjust the stereoscopic effect separately from the surrounding environment modeling technique, and can enhance the stereoscopic effect of the stereoscopic image.

일 실시예에서, 입체 영상 수신부(220)는 기 모델링된 객체가 입체 카메라부(280)를 통하여 수신되는 경우 주변 환경 모델링 장치(100)와 객체와의 거리를 측정할 수 있다. 입체 영상 수신부(220)는 마커(40)를 포함하는 객체와의 거리를 측정하여 디스플레이부(240)에 거리 정보를 제공할 수 있다. 디스플레이부(240)는 객체와의 거리를 정합된 영상에 표시할 수 있다.In one embodiment, the stereoscopic image receiving unit 220 may measure the distance between the surrounding environment modeling device 100 and the object when the modeled object is received through the stereoscopic camera unit 280. The stereoscopic image receiving unit 220 may measure the distance to the object including the marker 40 and provide distance information to the display unit 240. The display unit 240 may display the distance to the object on the matched image.

카메라부(270)는 복수의 카메라들(110a, 110b, 110c, 110d)을 포함할 수 있다. 카메라부(270)는 주변 환경 모델링 장치(100)의 외곽을 따라 배치될 수 있다. 카메라부(270)는 주변 환경 모델링 과정을 수행하기에 앞서 어라운드 뷰를 획득할 수 있다. 어라운드 뷰는 주변 환경 모델링 장치(100)의 주변 영역의 영상에 해당할 수 있다. 카메라부(270)는 획득된 어라운드 뷰를 주변 환경 모델링부(210)에 제공할 수 있다.The camera unit 270 may include a plurality of cameras 110a, 110b, 110c, and 110d. The camera unit 270 may be disposed along the outer periphery of the environment modeling apparatus 100. The camera unit 270 may acquire the surround view before performing the surrounding environment modeling process. The surround view may correspond to an image of a surrounding area of the environment modeling apparatus 100. [ The camera unit 270 can provide the acquired surround view to the surrounding environment modeling unit 210.

입체 카메라부(280)는 입체 카메라(120)를 포함할 수 있고, 특정 방향의 입체 영상(20)을 촬상할 수 있다. 일 실시예에서, 입체 카메라부(280)는, 반드시 이에 한정되는 것은 아니나, 주변 환경 모델링 장치(100)의 전면에 배치될 수 있고 스테레오 카메라를 통해 구현될 수 있다. 입체 카메라부(280)는 사용자가 필요로 하는 특정 방향의 입체 영상(20)을 촬상하기 위하여 배치될 수 있다.The stereoscopic camera unit 280 may include a stereoscopic camera 120, and can capture a stereoscopic image 20 in a specific direction. In one embodiment, the stereoscopic camera unit 280 may be disposed on the front surface of the environment modeling device 100 and may be implemented through a stereo camera, though not necessarily limited thereto. The stereoscopic camera unit 280 may be disposed to capture a stereoscopic image 20 in a specific direction required by the user.

제어부(290)는 주변 환경 모델링 장치(100)의 전체적인 동작을 제어하고, 주변 환경 모델링부(210), 입체 영상 수신부(220), 입체 영상 정합부(230), 디스플레이부(240), 유사도 분석부(250) 및 데이터베이스(260) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.
The control unit 290 controls the overall operation of the environment modeling apparatus 100 and includes an environment modeling unit 210, a stereoscopic image receiving unit 220, a stereoscopic image matching unit 230, a display unit 240, The control unit 250 can control the flow of control or data between the control unit 250 and the database 260.

도 3은 도 1에 있는 주변 환경 모델링 장치에서 수행되는 주변 환경 모델링 과정에 대한 순서도이다.FIG. 3 is a flowchart illustrating an environmental modeling process performed by the environment modeling apparatus shown in FIG.

주변 환경 모델링부(210)는 복수의 카메라들(110)을 통해 획득된 어라운드 뷰를 기초로 주변 환경(10)을 미리 모델링할 수 있다(단계 S310). 주변 환경 모델링부(210)는 대용량 데이터를 시점 및 공간의 유사성을 이용하여 하나의 주변 환경(10)으로 모델링할 수 있다.The surrounding environment modeling unit 210 may model the surrounding environment 10 in advance based on the surrounding views obtained through the plurality of cameras 110 (step S310). The surrounding environment modeling unit 210 may model the large capacity data into one surrounding environment 10 by using similarity of viewpoints and spaces.

입체 영상 수신부(220)는 특정 방향을 촬상하는 입체 카메라(120)를 통해 입체 영상(20)을 수신할 수 있다(단계 S320). 입체 영상 수신부(220)는 사용자의 머리 방향을 센싱하여 특정 방향을 결정할 수 있다.The stereoscopic image receiving unit 220 can receive the stereoscopic image 20 through the stereoscopic camera 120 capturing a specific direction (step S320). The stereoscopic image receiving unit 220 can determine the specific direction by sensing the head direction of the user.

입체 영상 정합부(230)는 입체 영상(20)을 미리 모델링된 주변 환경(10)에 정합할 수 있다(단계 S330). 입체 영상 정합부(230)는 유사도 분석부(250)로부터 특징 영역들의 유사도를 수신하여 입체 영상(20)을 주변 환경(10)에 정합할 수 있다.
The stereoscopic image matching unit 230 may match the stereoscopic image 20 to the modeled surrounding environment 10 (step S330). The stereoscopic image matching unit 230 may receive the similarity of the feature regions from the similarity analyzer 250 and match the stereoscopic image 20 to the surrounding environment 10. [

도 4는 도 1에 있는 주변 환경 모델링 장치에서 수행되는 주변 환경을 미리 모델링 하는 과정에 대한 순서도이다.FIG. 4 is a flowchart illustrating a process of pre-modeling the environment around the environment modeling apparatus shown in FIG.

주변 환경 모델링부(210)는 주변 환경을 미리 모델링하는 과정에서 객체를 모델링할 수 있다. 주변 환경 모델링부(210)는 복수의 카메라들(110)을 통해 인식된 마커(40)를 기초로 기 모델링된 객체를 데이터베이스(260)로부터 검색할 수 있다(단계 S410).The surrounding environment modeling unit 210 may model an object in the course of modeling the surrounding environment in advance. The surrounding environment modeling unit 210 may search the database 260 for objects modeled on the basis of the markers 40 recognized through the plurality of cameras 110 (step S410).

주변 환경 모델링부(210)는 인식된 마커(40)를 기초로 기 모델링된 객체를 데이터베이스(260)로부터 검색할 수 있다. 주변 환경 모델링부(210)는 마커(40)의 위치 및 방향을 기초로 검색된 객체의 위치 및 방향을 결정할 수 있다(단계 S420).The surrounding environment modeling unit 210 can search the database 260 for objects modeled based on the recognized markers 40. [ The surrounding environment modeling unit 210 may determine the position and orientation of the retrieved object based on the position and direction of the marker 40 (step S420).

주변 환경 모델링부(210)는 결정된 위치 및 방향에 따라 기 모델링된 객체를 주변 환경(10)에 적용할 수 있고(단계 S430), 디스플레이부(240)는 주변 환경(10) 내의 객체를 표시할 수 있다.
The surrounding environment modeling unit 210 can apply the primed modeled object to the surrounding environment 10 according to the determined position and direction (step S430), and the display unit 240 displays the object in the surrounding environment 10 .

주변 환경 모델링 장치(100)는 대용량의 주변 환경 데이터 처리가 필요한 과정(즉, 단계 S310) 및 입체 영상에 대한 데이터 처리가 필요한 과정(즉, 단계 S320)을 분류하여 신속하고 정확한 주변 환경 모델링 기술을 제공할 수 있다. 주변 환경 모델링 장치(100)는 주변 환경(10)을 미리 모델링하여 입체 영상(20)을 실시간으로 정합할 수 있다. 또한, 주변 환경 모델링 장치(100)는 작업 환경에 대한 고해상도의 입체 영상(20)을 사용자에게 제공할 수 있다.
The surrounding environment modeling apparatus 100 classifies a process requiring a large amount of surrounding data processing (that is, step S310) and a process requiring data processing on the stereoscopic image (i.e., step S320) . The surrounding environment modeling apparatus 100 may preliminarily model the surrounding environment 10 to match the stereoscopic image 20 in real time. In addition, the environment modeling apparatus 100 can provide the user with a high-resolution stereoscopic image 20 with respect to the work environment.

상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the present invention as defined by the following claims It can be understood that

100: 주변 환경 모델링 장치
110: 복수의 카메라들 120: 입체 카메라
210: 주변 환경 모델링부 220: 입체 영상 수신부
230: 입체 영상 정합부 240: 디스플레이부
250: 유사도 분석부 260: 데이터베이스
270: 카메라부 280: 입체 카메라부
290: 제어부
10: 주변 환경 20: 입체 영상
30: 특징 영역 40: 마커100: Environment modeling device
110: plurality of cameras 120: stereoscopic camera
210: surrounding environment modeling unit 220: stereoscopic image receiving unit
230: stereoscopic image matching unit 240: display unit
250: similarity analysis unit 260: database
270: camera unit 280: stereoscopic camera unit
290:
10: Surrounding environment 20: Stereoscopic image
30: Feature area 40: Marker

Claims (8)

복수의 카메라들을 통해 획득된 어라운드 뷰를 기초로 주변 환경을 미리 모델링하는 단계;
특정 방향을 촬상하는 입체 카메라를 통해 입체 영상을 수신하고, 상기 복수의 카메라를 통해 이벤트가 수신되면 상기 이벤트와 연관된 방향으로 상기 입체 카메라를 제어하는 단계; 및
상기 수신된 입체 영상을 상기 미리 모델링된 주변 환경에 정합하는 단계를 포함하는 주변 환경 모델링 방법.
Modeling the surrounding environment in advance based on the surrounding view acquired through the plurality of cameras;
Receiving a stereoscopic image through a stereoscopic camera capturing a specific direction and controlling the stereoscopic camera in a direction associated with the event when an event is received through the plurality of cameras; And
And matching the received stereoscopic image to the pre-modeled surrounding environment.
제1항에 있어서, 상기 주변 환경을 미리 모델링하는 단계는
상기 복수의 카메라들을 통해 인식된 마커를 기초로 기 모델링된 객체를 상기 주변 환경에 적용하는 단계를 포함하는 것을 특징으로 하는 주변 환경 모델링 방법.
2. The method of claim 1, wherein pre-modeling the ambient environment comprises:
And applying an object modeled based on a marker recognized through the plurality of cameras to the surrounding environment.
제2항에 있어서, 상기 주변 환경에 적용하는 단계는
상기 복수의 카메라들을 통해 인식된 마커를 기초로 상기 기 모델링된 객체를 객체 데이터베이스로부터 검색하는 단계; 및
상기 마커의 위치 및 방향을 기초로 상기 검색된 객체의 위치 및 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 주변 환경 모델링 방법.
3. The method of claim 2, wherein applying to the ambient environment comprises:
Retrieving the pre-modeled object from an object database based on a marker recognized through the plurality of cameras; And
And determining a position and a direction of the searched object based on the position and direction of the marker.
제1항에 있어서, 상기 입체 영상을 수신하는 단계는
사용자의 머리 방향을 센싱하여 상기 특정 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 주변 환경 모델링 방법.
2. The method of claim 1, wherein the step of receiving the stereoscopic image comprises:
And determining the specific direction by sensing the head direction of the user.
삭제delete 제1항에 있어서, 상기 주변 환경을 미리 모델링하는 단계는
상기 어라운드 뷰에서 인식된 제1 특징 영역을 상기 주변 환경에 반영하는 단계를 포함하는 것을 특징으로 하는 주변 환경 모델링 방법.
2. The method of claim 1, wherein pre-modeling the ambient environment comprises:
And reflecting the first feature region recognized in the surround view to the surrounding environment.
제6항에 있어서, 상기 미리 모델링된 주변 환경에 정합하는 단계는
상기 수신된 입체 영상으로부터 제2 특징 영역을 인식하여 상기 제1 및 제2 특징 영역들의 유사도를 분석하는 단계; 및
상기 분석된 유사도를 기초로 상기 수신된 입체 영상을 상기 주변 환경에 정합하는 단계를 포함하는 것을 특징으로 하는 주변 환경 모델링 방법.
7. The method of claim 6, wherein matching the pre-modeled environment further comprises:
Recognizing a second feature region from the received stereoscopic image and analyzing the similarity of the first and second feature regions; And
And matching the received stereoscopic image to the surrounding environment based on the analyzed similarity.
복수의 카메라들을 통해 획득된 어라운드 뷰를 기초로 주변 환경을 미리 모델링하는 주변 환경 모델링부;
특정 방향을 촬상하는 입체 카메라를 통해 입체 영상을 수신하고, 상기 복수의 카메라를 통해 이벤트가 수신되면 상기 이벤트와 연관된 방향으로 상기 입체 카메라를 제어하는 입체 영상 수신부; 및
상기 수신된 입체 영상을 상기 미리 모델링된 주변 환경에 정합하는 입체 영상 정합부를 포함하는 주변 환경 모델링 장치.
A surrounding environment modeling unit for modeling the surrounding environment in advance based on the surrounding view acquired through the plurality of cameras;
A stereoscopic image receiving unit for receiving a stereoscopic image through a stereoscopic camera for capturing a specific direction and controlling the stereoscopic camera in a direction associated with the event when an event is received through the plurality of cameras; And
And a stereoscopic image matching unit for matching the received stereoscopic image with the pre-modeled surrounding environment.
KR1020140180117A 2014-12-15 2014-12-15 Surrounding environment modeling method and apparatus performing the same KR101668649B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140180117A KR101668649B1 (en) 2014-12-15 2014-12-15 Surrounding environment modeling method and apparatus performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140180117A KR101668649B1 (en) 2014-12-15 2014-12-15 Surrounding environment modeling method and apparatus performing the same

Publications (2)

Publication Number Publication Date
KR20160072477A KR20160072477A (en) 2016-06-23
KR101668649B1 true KR101668649B1 (en) 2016-10-24

Family

ID=56353188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140180117A KR101668649B1 (en) 2014-12-15 2014-12-15 Surrounding environment modeling method and apparatus performing the same

Country Status (1)

Country Link
KR (1) KR101668649B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210117289A (en) * 2019-01-25 2021-09-28 소니 어드밴스드 비주얼 센싱 아게 Maintaining an environmental model using event-based vision sensors
US11588987B2 (en) 2019-10-02 2023-02-21 Sensors Unlimited, Inc. Neuromorphic vision with frame-rate imaging for target detection and tracking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103395A (en) * 1999-09-30 2001-04-13 Kawasaki Heavy Ind Ltd Head mount display device
JP2005165614A (en) * 2003-12-02 2005-06-23 Canon Inc Device and method for synthesizing picture
JP2014115957A (en) * 2012-12-12 2014-06-26 Hiroaki Ishihara Augmented reality building simulation device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101038650B1 (en) 2011-01-26 2011-06-02 박상현 Adaptive modeling method for background image, detecting method and system for illegal-stopping and parking vehicle using it
KR101454333B1 (en) 2013-05-07 2014-10-27 (주) 프로게이트테크놀러지 Real time system for mixing captured image and backgroud image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103395A (en) * 1999-09-30 2001-04-13 Kawasaki Heavy Ind Ltd Head mount display device
JP2005165614A (en) * 2003-12-02 2005-06-23 Canon Inc Device and method for synthesizing picture
JP2014115957A (en) * 2012-12-12 2014-06-26 Hiroaki Ishihara Augmented reality building simulation device

Also Published As

Publication number Publication date
KR20160072477A (en) 2016-06-23

Similar Documents

Publication Publication Date Title
US20200279121A1 (en) Method and system for determining at least one property related to at least part of a real environment
CN108369741B (en) Method and system for registration data
KR20180087947A (en) Modeling method and modeling apparatus using 3d point cloud
Lee et al. Low-cost 3D motion capture system using passive optical markers and monocular vision
CN110084243B (en) File identification and positioning method based on two-dimensional code and monocular camera
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
US20200258309A1 (en) Live in-camera overlays
JP2011123071A (en) Image capturing device, method for searching occlusion area, and program
JP2019075156A (en) Method, circuit, device, and system for registering and tracking multifactorial image characteristic and code executable by related computer
US9886769B1 (en) Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
CN104700385B (en) The binocular visual positioning device realized based on FPGA
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
Kang et al. Accurate fruit localisation using high resolution LiDAR-camera fusion and instance segmentation
US20210104052A1 (en) Information processing apparatus and method for aligning captured image and object
CN112116631A (en) Industrial augmented reality combined positioning system
CN109035307B (en) Set area target tracking method and system based on natural light binocular vision
KR101668649B1 (en) Surrounding environment modeling method and apparatus performing the same
US20240096094A1 (en) Multi-view visual data damage detection
CN112073640B (en) Panoramic information acquisition pose acquisition method, device and system
CN110849380B (en) Map alignment method and system based on collaborative VSLAM
Saner et al. High-Speed Object Tracking Using an Asynchronous Temporal Contrast Sensor.
Slossberg et al. Freehand Laser Scanning Using Mobile Phone.
Ratajczak et al. Vehicle size estimation from stereoscopic video
CN111399634B (en) Method and device for recognizing gesture-guided object
Zhang Target-based calibration of 3D LiDAR and binocular camera on unmanned vehicles

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant