WO2012074174A1 - 고유식별 정보를 이용한 증강 현실 구현시스템 - Google Patents

고유식별 정보를 이용한 증강 현실 구현시스템 Download PDF

Info

Publication number
WO2012074174A1
WO2012074174A1 PCT/KR2011/002258 KR2011002258W WO2012074174A1 WO 2012074174 A1 WO2012074174 A1 WO 2012074174A1 KR 2011002258 W KR2011002258 W KR 2011002258W WO 2012074174 A1 WO2012074174 A1 WO 2012074174A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
information
image
camera
unique identification
Prior art date
Application number
PCT/KR2011/002258
Other languages
English (en)
French (fr)
Inventor
심광호
이종훈
Original Assignee
건아정보기술 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건아정보기술 주식회사 filed Critical 건아정보기술 주식회사
Publication of WO2012074174A1 publication Critical patent/WO2012074174A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/08—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code using markings of different kinds or more than one marking of the same kind in the same record carrier, e.g. one marking being sensed by optical and the other by magnetic means
    • G06K19/083—Constructional details
    • G06K19/086—Constructional details with markings consisting of randomly placed or oriented elements, the randomness of the elements being useable for generating a unique identifying signature of the record carrier, e.g. randomly placed magnetic fibers or magnetic particles in the body of a credit card
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

본 발명은 고유식별 정보를 이용한 증강 현실 구현시스템에 관한 것으로, 더욱 상세하게는 실내외 공간에 분산되어 설치되어 있는 다수의 영상취득 카메라로부터 취득된 실세계의 영상정보를 3차원 공간 모델에 실시간으로 맵핑하여 시각화하도록 하며, 특히 건물의 내부를 시각화할 경우에 투명벽으로 표현하여 마치 벽과 바닥이 없는 것처럼 화면에 제공하는 고유식별 정보를 이용한 증강 현실 구현시스템에 관한 것이다.

Description

고유식별 정보를 이용한 증강 현실 구현시스템
본 발명은 고유식별 정보를 이용한 증강 현실 구현시스템에 관한 것으로, 더욱 상세하게는 실내외 공간에 분산되어 설치되어 있는 다수의 영상취득 카메라로부터 취득된 실세계의 영상정보를 3차원 공간 모델에 실시간으로 맵핑하여 시각화하도록 하며, 특히 건물의 내부를 시각화할 경우에 투명벽으로 표현하여 마치 벽과 바닥이 없는 것처럼 화면에 제공하는 고유식별 정보를 이용한 증강 현실 구현시스템에 관한 것이다.
일반적으로, 영상 취득 카메라는 도시 공간에 광범위하게 분산 설치되어 운영되고 있으며 일반적으로 실시간으로 획득되는 영상은 3차원 GIS 데이터와 분리되어 영상 자체로 제공되어 지리정보와 관련된 분석이 어려운 단점이 있다.
상기와 같은 단점을 해결하기 위하여 2차원 지도상에 영상 취득 카메라가 설치되어 있는 위치를 표시하고 사용자가 관심 있는 지역을 선택하면 해당 위치에 설치된 영상 취득 카메라로부터 실시간으로 획득되는 영상 자체를 별도의 사용자 인터페이스에 가시화하는 형태로 발전하였다.
최근에는 카메라로부터 실시간으로 획득되는 영상을 가상의 3차원 공간모델에 맵핑하여 현실감 있는 증강현실 기반 가상현실을 구현하기 위한 장치 및 방법이 제시되었다.
현재, 도시 공간에는 실내/외에 걸쳐 광범위한 지역에 영상 취득 카메라들이 분산 설치되어 있으며 위치와 자세가 고정되어 있는 경우도 있지만, 많은 영상 취득 카메라들이 위치 또는 자세를 실시간으로 변경하는 기능을 포함한다.
상기한 종래의 기술들은 실외에 설치된 영상 취득 카메라로부터 실시간으로 획득되는 영상을 실외 공간 객체의 외부에 픽셀 단위로 맵핑하는 것에 국한되어 있다.
상기한 증강 현실(Augmented Reality)이란 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 실세계 영상과 가상의 영상을 혼합한 것을 의미한다.
실세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다.
즉, 증강 현실 시스템은 실세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것이다.
상기와 같은 증강 현실을 구현하기 위해서는 실제의 영상을 입력받을 수 있는 카메라와 실제 영상과 가상 영상을 디스플레이할 수 있는 HMD(Head Mounted Display)와 같은 디스플레이 장치를 필요로 하는데, 일반 사용자는 비용 문제로 인하여 이러한 장치를 별도로 구비하기 힘들다.
또한, 상기와 같은 장치를 이용하는 경우 거울 등을 이용한 복잡한 광학적 장비가 필요하기 때문에 이를 구현하는 데 어려움이 있다.
결론적으로 실외의 공간에서의 증강 현실은 개발되어 있지만, 실내의 공간에서는 증강 현실을 구현하기에는 다소 어려움이 있었으며, 피사체의 위치를 파악할 수가 없어 피사체의 위치에 따른 증강 현실을 구현할 수가 없었다.
또한, 실내의 복잡한 구조와 거치된 각종 부속품들로 인하여 촬영된 피사체가 어디에 위치하고 있는지를 파악하기란 쉽지 않은 문제점을 가질 수 밖에 없었다.
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 목적은 고유식별 정보를 이용하여 피사체의 정확한 실내 혹은 실외 위치를 파악하며, 실시간으로 영상취득 카메라로부터 획득된 피사체의 영상 정보와 위치 정보 및 3차원 입체 공간정보를 통합하여 실시간 영상 기반의 증강 현실 구현시스템을 구현하도록 하는데 있다.
본 발명의 다른 목적은 입체 공간모델을 형성하되, 건물 내 불투명한 벽면 혹은 바닥면을 제거하고 골격만을 생성하여 투명벽으로 시각화하도록 하는데 있다.
본 발명의 또 다른 목적은 카메라제어단말기에 의해 카메라의 팬, 틸트, 줌 명령시 해당 명령값을 투명벽생성서버에서 획득하여 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 명령값에 부합되는 영상을 획득하여 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성시킴으로써, 더욱 다이나믹한 입체 공간 모델을 실행할 수 있도록 하는데 있다.
본 발명이 해결하고자 하는 과제를 달성하기 위하여,
본 발명의 일실시예에 따른 고유식별 정보를 이용한 증강 현실 구현시스템은,
고유식별 정보가 기록된 피사체와;
소정 공간에 배치되어 피사체의 영상을 취득하는 다수의 카메라와;
다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 피사체를 3차원 영상으로 변환시키며, 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 고유식별 정보를 분석하여 해당 피사체의 위치를 판단하며, 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 변환된 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하되, 건물 내 불투명한 벽면 혹은 바닥면을 제거하고 골격만을 생성하여 투명벽으로 시각화하는 투명벽생성서버;를 포함하여 구성되어 본 발명의 과제를 해결하게 된다.
이상에서 살펴본 바와 같이, 본 발명인 고유식별 정보를 이용한 증강 현실 구현시스템은,
고유식별 정보를 이용하여 피사체의 정확한 실내 혹은 실외 위치를 파악하며, 실시간으로 영상취득 카메라로부터 획득된 피사체의 영상 정보와 위치 정보 및 3차원 입체 공간정보를 통합하여 실시간 영상 기반의 증강 현실 구현시스템을 구현할 수 있게 된다.
또한, 정확한 위치에 입각한 입체 공간모델을 형성하되, 건물 내 불투명한 벽면 혹은 바닥면을 제거하고 골격만을 생성하여 투명벽으로 시각화하도록 함으로써, 해당 실내 공간을 확인할 경우에 실내의 복잡한 구조와 거치된 각종 부속품들로 인하여 촬영된 피사체가 어디에 위치하고 있는지를 파악하기 어려운 문제점을 해결하여 직관적으로 해당 피사체의 위치를 확인할 수 있는 더 나은 효과를 제공하게 된다.
또한, 카메라제어단말기에 의해 카메라의 팬, 틸트, 줌 명령시 해당 명령값을 투명벽생성서버에서 획득하여 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 명령값에 부합되는 영상을 획득하여 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성시킴으로써, 더욱 다이나믹한 입체 공간 모델을 실행할 수 있는 더 나은 효과를 제공할 수 있게 된다.
도 1 은 본 발명의 일실시예에 따른 고유식별 정보를 이용한 증강 현실 구현시스템의 전체 구성도이다.
도 2 는 본 발명의 일실시예에 따른 고유식별 정보를 이용한 증강 현실 구현시스템의 투명벽생성서버 블록도이다.
도 3 은 본 발명의 일실시예에 따른 고유식별 정보를 이용한 증강 현실 구현시스템의 카메라및피사체정보디비에 저장된 필드를 나타낸 예시도이다.
도 4 는 본 발명의 일실시예에 따른 고유식별 정보를 이용한 증강 현실 구현시스템의 카메라의 촬영 각도를 나타낸 예시도이다.
도 5 는 본 발명의 일실시예에 따른 고유식별 정보를 이용한 증강 현실 구현시스템의 카메라의 촬영 각에 따라 촬영된 영상을 나타낸 예시도이다.
도 6 는 본 발명의 일실시예에 따른 고유식별 정보를 이용한 증강 현실 구현시스템의 건물 내부에 카메라의 설치 위치 및 피사체의 위치를 나타낸 예시도이다.
도 7 은 본 발명의 일실시예에 따른 고유식별 정보를 이용한 증강 현실 구현시스템의 건물 내부에 벽면을 투명하게 처리한 예를 나타낸 도면이다.
도 8 은 본 발명의 일실시예에 따른 고유식별 정보를 이용한 증강 현실 구현시스템의 실외에 존재하는 건물들을 투명하게 처리한 예를 나타낸 도면이다.
*도면의 주요부호에 대한 상세한 설명*
100 : 피사체
200 : 카메라
300 : 투명벽생성서버
310 : 입체공간정보디비
320 : 카메라및피사체정보디비
330 : 피사체3차원영상변환부
340 : 피사체위치판단부
350 : 입체공간형성부
360 : 투명벽생성부
370 : 입체공간시각화부
380 : 중앙제어부
500: 투명벽
상기 목적을 달성하기 위한 본 발명의 고유식별 정보를 이용한 증강 현실 구현시스템은,
증강 현실 구현시스템에 있어서,
고유식별 정보가 기록된 피사체와;
소정 공간에 배치되어 피사체의 영상을 취득하는 다수의 카메라와;
다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 피사체를 3차원 영상으로 변환시키며, 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 고유식별 정보를 분석하여 해당 피사체의 위치를 판단하며, 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 변환된 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하되, 건물 내 불투명한 벽면 혹은 바닥면을 제거하고 골격만을 생성하여 투명벽으로 시각화하는 투명벽생성서버;를 포함하여 구성되는 것을 특징으로 한다.
이때, 상기 투명벽생성서버는,
GIS(Geographic Information System) 정보와 실내 공간 정보가 저장되는 입체공간정보디비와,
카메라의 위치 정보와 피사체의 고유식별 정보에 부합되는 피사체 정보가 저장되는 카메라및피사체정보디비와,
상기 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 피사체를 3차원 영상으로 변환시키는 피사체3차원영상변환부와,
상기 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 고유식별 정보를 분석하여 해당 피사체의 위치를 판단하는 피사체위치판단부와,
해당 피사체 영상을 취득하게 되면, 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 실내 공간 정보 및 변환된 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하는 입체공간형성부와,
상기 입체공간형성부에 의해 생성된 입체 공간모델을 획득하여 건물 내 불투명한 벽면 혹은 바닥면을 제거하고 골격만을 생성시키는 투명벽생성부와,
상기 투명벽생성부에 의해 생성된 투명벽과 상기 입체공간형성부에 의해 형성된 입체 공간모델을 시각화하는 입체공간시각화부와,
상기 입체공간정보디비, 카메라및피사체정보디비, 피사체3차원영상변환부, 피사체위치판단부, 입체공간형성부, 투명벽생성부, 입체공간시각화부 간의 신호 흐름을 제어하는 중앙제어부를 포함하여 구성되는 것을 특징으로 한다.
이때, 상기 피사체에는,
바코드, 2차원 바코드, 읽을 수 있는 심볼 중 어느 하나가 고유식별 정보로 형성되는 것을 특징으로 한다.
이때, 상기 카메라및피사체정보디비는,
카메라 고유번호, 카메라의 위치, 고유식별번호, 신상 정보, 건물출입허가유무, 촬영일시, 촬영부위의 필드를 포함하고 있는 것을 특징으로 한다.
한편, 본 발명의 부가적인 양상에 따른 고유식별 정보를 이용한 증강 현실 구현시스템은,
카메라를 제어하기 위한 카메라제어단말기;를 더 포함하여 구성되어 카메라의 팬, 틸트, 줌 명령시 명령값을 투명벽생성서버에서 획득하여 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 명령값에 부합되는 영상을 획득하고, 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하는 것을 특징으로 한다.
이때, 상기 투명벽생성서버는,
카메라의 팬, 틸트, 줌 명령시 명령값을 획득하는 카메라명령신호획득부를 더 포함하여 구성되되,
입체공간형성부에서는,
피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 명령값에 부합되는 영상을 획득하고, 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명인 고유식별 정보를 이용한 증강 현실 구현시스템의 바람직한 실시예를 상세하게 설명한다.
도 1 은 본 발명의 일실시예에 따른 고유식별 정보를 이용한 증강 현실 구현시스템의 전체 구성도이다.
도 1에 도시한 바와 같이, 본 발명인 고유식별 정보를 이용한 증강 현실 구현시스템은,
고유식별 정보가 기록된 피사체(100)와;
소정 공간에 배치되어 피사체의 영상을 취득하는 다수의 카메라(200)와;
다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 피사체를 3차원 영상으로 변환시키며, 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 고유식별 정보를 분석하여 해당 피사체의 위치를 판단하며, 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 변환된 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하되, 건물 내 불투명한 벽면 혹은 바닥면을 제거하고 골격만을 생성하여 투명벽으로 시각화하는 투명벽생성서버(300);를 포함하여 구성되는 것을 특징으로 한다.
좀 더 구체적으로 설명하자면, 본 발명인 시스템은 피사체와, 피사체의 영상을 취득하는 다수의 카메라와, 상기 다수의 카메라로부터 획득된 영상을 취득하여 입체 공간모델을 형성하는 투명벽생성서버로 구성되어 진다.
상기 투명벽생성서버(300)는 GIS 정보 및 실내외 공간 정보를 보유한 상태에서, GIS 정보 및 실내외 공간 정보에 배치된 영상취득 카메라(200)를 통해 해당 위치의 영상 정보를 취득하면, 취득된 해당 지역의 영상 정보와 GIS 정보 및 실내외 공간 정보를 통합하여 입체 공간 모델링 함으로써 해당 피사체의 위치를 실외뿐만 아니라, 실내에 위치하여도 정확하게 해당 피사체의 실제 상태를 확인할 수 있게 된다.
상기 GIS(Geographic Information System)는 일반적으로 공간상 위치를 점유하는 지리자료(Geographic data)와 이에 관련된 속성자료(Attribute data)를 통합하여 처리하는 지리정보시스템으로, 다양한 형태의 지리정보를 효율적으로 수집, 저장, 갱신, 처리, 분석, 출력하기 위해 이용되는 하드웨어, 소프트웨어, 지리자료, 인적자원의 총체적 조직체를 말한다.
상기 피사체에는 바코드, 2차원 바코드, 읽을 수 있는 심볼 중 어느 하나가 고유식별 정보로 형성되는 것을 특징으로 하고 있는데, 이는 피사체를 식별하기 위한 것이며 예를 들어, 피사체가 사람일 경우에 사람이 착용하는 모자에 바코드, 2차원 바코드, 읽을 수 있는 심볼을 형성시키게 된다.
또한, 피사체가 사람일 경우에 카메라를 적외선 카메라로 설치 구성하게 되면 피사체가 착용하는 의복에 적외선 카메라가 식별할 수 있는 숫자를 표시하게 되면 해당 피사체의 신상 정보를 분석할 수 있게 된다.
도 2 는 본 발명의 일실시예에 따른 고유식별 정보를 이용한 증강 현실 구현시스템의 투명벽생성서버 블록도이다.
도 2에 도시한 바와 같이, 상기 투명벽생성서버(300)는,
GIS(Geographic Information System) 정보와 실내 공간 정보가 저장되는 입체공간정보디비(310)와,
카메라의 위치 정보와 피사체의 고유식별 정보에 부합되는 피사체 정보가 저장되는 카메라및피사체정보디비(320)와,
상기 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 피사체를 3차원 영상으로 변환시키는 피사체3차원영상변환부(330)와,
상기 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 고유식별 정보를 분석하여 해당 피사체의 위치를 판단하는 피사체위치판단부(340)와,
해당 피사체 영상을 취득하게 되면, 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 실내 공간 정보 및 변환된 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하는 입체공간형성부(350)와,
상기 입체공간형성부에 의해 생성된 입체 공간모델을 획득하여 건물 내 불투명한 벽면 혹은 바닥면을 제거하고 골격만을 생성시키는 투명벽생성부(360)와,
상기 투명벽생성부에 의해 생성된 투명벽과 상기 입체공간형성부에 의해 형성된 입체 공간모델을 시각화하는 입체공간시각화부(370)와,
상기 입체공간정보디비, 카메라및피사체정보디비, 피사체3차원영상변환부, 피사체위치판단부, 입체공간형성부, 투명벽생성부, 입체공간시각화부 간의 신호 흐름을 제어하는 중앙제어부(380)를 포함하여 구성되는 것을 특징으로 한다.
상기 입체공간정보디비(310)에는 GIS(Geographic Information System) 정보와 실내 공간 정보가 저장되어 있다.
상기 카메라및피사체정보디비(320)는 카메라의 위치 정보와 피사체의 고유식별 정보에 부합되는 피사체 정보가 저장되어 있다.
상기 카메라의 위치 정보란 현재 카메라가 위치한 장소를 의미하며, 피사체의 고유식별 정보에 부합되는 피사체 정보란 피사체의 신상 정보 예를 들어, 성명, 성별, 연락처 등이 될 수 있다.
도 3 은 본 발명의 일실시예에 따른 고유식별 정보를 이용한 증강 현실 구현시스템의 카메라및피사체정보디비에 저장된 필드를 나타낸 예시도이다.
도 3에 도시한 바와 같이, 상기 카메라및피사체정보디비는,
카메라 고유번호, 카메라의 위치, 고유식별번호, 신상 정보, 건물출입허가유무, 촬영일시, 촬영부위의 필드를 포함하고 있다.
예를 들어, #1 내지 #4의 카메라가 설치된 위치가 응접실이라면, 해당 응접실에 고유식별 번호를 가지고 있는 사람이 존재하게 되면 이를 각각의 카메라에서 촬영하게 되는 것이다.
상기 촬영된 영상 정보를 가지고 식별할 수 있는 고유식별 번호를 분석하게 된다.
상기 영상 정보를 가지고 고유식별 정보를 추출하는 기술은 이미 당업자들에게는 널리 알려진 기술이므로 이에 대한 구체적인 설명은 생략하겠다.
예를 들어, 촬영된 영상에 바코드가 존재하면 해당 바코드를 인식하게 되며 2차원 바코드가 존재하면 해당 2차원 바코드를 인식하는 것이다.
상기 고유식별 번호가 분석되면 해당 고유식별 번호에 부합되는 신상 정보를 카메라및피사체정보디비에서 획득하게 되며 이를 입체 영상 모델링에 매칭하여 도 6과 같이 해당 피사체의 상단 위치(혹은 지정된 위치)에 표시하게 되는 것이다.
또한, 해당 사람의 건물 출입허가 유무도 확인이 가능하므로 만약 홍길동이 해당 건물내 출입이 허가되지 않았거나 아니면 고유식별 번호를 인식하지 못할 경우에는 건물 출입이 허가되지 않은 사람으로 판단할 수도 있다.
상기 촬영부위는 실제 카메라가 위치한 곳에 따라 피사체의 촬영 각도가 달라지므로 이에 대한 정보를 저장하게 되는 것이며, 예를 들어 #1 카메라의 촬영 부위는 뒷면 우측이라는 것을 알 수 있다.
상기 피사체3차원영상변환부(330)는 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 피사체를 3차원 영상으로 변환시키게 되며 도 6와 같은 3차원 피사체 영상이 건물 내의 해당 위치에 나타나게 된다.
고유식별 정보가 일치하는 피사체의 영상을 취득하게 되는데, 도 5와 같은 각각의 다른 각도에서 촬영된 영상을 3차원 영상으로 변환하는 것으로서 이러한 기술은 이미 널리 알려진 기술이므로 3차원 영상으로 처리하는 기술에 대한 구체적인 설명은 생략하겠다.
상기 피사체위치판단부(340)는 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 고유식별 정보를 분석하여 해당 피사체의 위치를 판단하게 되는데, 카메라의 위치 정보가 이미 저장되어 있으므로 이를 기준으로 피사체의 위치를 판단할 수 있게 된다.
본 발명에서 가장 중요한 구성요소인 상기 입체공간형성부(350)는 해당 피사체 영상을 취득하게 되면, 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 입체공간정보디비를 참조하여 추출하게 된다.
이후, 상기 추출된 GIS 정보와 실내 공간 정보 및 변환된 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하게 되는 것이다.
상기 투명벽생성부(360)는 입체공간형성부에 의해 생성된 입체 공간모델을 획득하여 건물 내 불투명한 벽면 혹은 바닥면을 제거하고 골격만을 생성시키는 기능을 수행하게 된다.
상기와 같이 투명벽(500)으로 처리하게 되면 해당 실내 공간을 확인할 경우에 실내의 복잡한 구조와 거치된 각종 부속품들로 인하여 촬영된 피사체가 어디에 위치하고 있는지를 파악하기 어려운 문제점을 해결하여 직관적으로 해당 피사체의 위치를 확인할 수 있는 더 나은 효과를 제공하게 된다.
건물 내 피사체의 위치를 파악하기 위하여 걸림돌이 되는 것은 벽면 및 바닥면이 될 수 있으며 이를 투명하게 처리한다면 피사체의 위치를 제 3자가 확인하기에 훨씬 편리할 것이다.
만약, 빌딩 내에 피사체가 한 명이 아닌 수십명 이상 존재한다면 이를 일일히 확인하기 위해서는 상당한 어려움이 발생할 수 있으므로 벽들을 투명하게 처리한다면 피사체만 확인함에 있어서 편리함을 제공할 수 있을 것이다.
한편, 도 8에 도시한 바와 같이, 건물 내부가 아닌 건물들이 위치한 실외 공간에서도 확인하고 싶은 특정 건물(600) 이외의 건물들을 투명하게 처리하여 투명한 건물(550)으로 제공하게 되는 것이다.
예를 들어, 카메라가 확인하고 싶은 건물이 3번째 건물이라면, 첫번째, 두번째 건물을 투명하게 처리하고 3번째 건물은 있는 그대로 처리하게 되면 마치 첫번째, 두번째 건물을 투과한 후 3번째 건물을 확인하는 효과를 표현할 수도 있을 것이다.
마지막으로 상기 입체공간시각화부(370)는 투명벽생성부에 의해 생성된 투명벽과 상기 입체공간형성부에 의해 형성된 입체 공간모델을 시각화하게 된다.
그러면 도 7과 같이, 특정 건물 내에 존재하는 이순신과 홍길동의 위치를 쉽게 확인할 수 있게 된다.
동작 원리를 간단히 설명하자면, 최초 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하게 되면 이를 중앙제어부에서 수신받아 해당 영상 정보를 피사체3차원영상변환부에 송출하게 되며 피사체3차원영상변환부에서 피사체를 3차원 영상으로 변환시키게 된다.
또한, 중앙제어부에서 수신받은 영상 정보를 피사체위치판단부로 송출하게 되며 피사체위치판단부에서 피사체 영상 중 고유식별 정보가 존재하면 이를 분석하여 해당 피사체의 위치를 판단하게 된다.
이후, 중앙제어부에서는 변환된 3차원 영상과 피사체의 위치를 획득하여 입체공간형성부로 송출하게 되며 입체공간형성부에서는 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 입체공간정보디비로부터 추출하고 상기 추출된 GIS 정보와 실내 공간 정보 및 변환된 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하게 되는 것이다.
이후, 중앙제어부에서는 입체공간형성부에 의해 생성된 입체 공간모델을 투명벽생성부로 송출하여 투명벽생성부에 의해 건물 내 불투명한 벽면 혹은 바닥면을 제거하고 골격만을 생성시키게 된다.
이후, 최종적으로 중앙제어부의 처리에 의해 상기 투명벽생성부에 의해 생성된 투명벽과 상기 입체공간형성부에 의해 형성된 입체 공간모델를 공간시각화부로 송출하여 시각화하게 되는 것이다.
한편, 본 발명의 다른 일실시예에 따라 카메라를 제어하기 위한 카메라제어단말기;를 더 포함하여 구성될 수 있게 된다.
이는 카메라제어단말기에 의해 카메라의 팬, 틸트, 줌 명령시 해당 명령값을 투명벽생성서버에서 획득하여 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 명령값에 부합되는 영상을 획득하여 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성시킴으로써, 더욱 다이나믹한 입체 공간 모델을 실행할 수 있는 더 나은 효과를 제공하기 위한 것이다.
상기 카메라제어단말기는 이동통신 단말기, PDA, 노트북, GPS단말기, 넷탑 등과 같이 사용자가 휴대할 수 있는 기기로서 투명벽생성서버와 통신이 가능한 단말기를 의미한다.
이를 위하여 투명벽생성서버에는 카메라의 팬, 틸트, 줌 명령시 명령값을 획득하는 카메라명령신호획득부(미도시)를 더 포함하여 구성되어 진다.
즉, 카메라제어단말기에서 단말기를 소유한 제 3자가 제어하기를 원하는 카메라의 팬, 틸트, 줌 명령 중 어느 하나를 제어하게 되면 해당 명령값을 상기 카메라명령신호획득부에서 획득하게 된다.
이때. 상기 입체공간형성부에서는 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 명령값에 부합되는 영상을 획득하고, 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하게 된다.
예를 들어, #1 카메라를 줌하게 되면 해당 줌 명령값을 상기 카메라명령신호획득부에서 획득하게 되며 중앙제어부에서 획득된 줌 신호에 부합되는 영상을 형성하기 위하여 입체공간형성부에 공간 형성 명령을 송출하게 되는 것이다.
상기한 카메라 원격 제어에 따른 영상 표출 기술은 이미 당업자들에게 널리 알려진 기술이므로 상기한 정도의 설명만으로도 카메라제어단말기의 기능을 충분히 이해할 수 있을 것이다.
상기와 같은 구성 및 동작을 통해 고유식별 정보를 이용하여 피사체의 정확한 실내 혹은 실외 위치를 파악하며, 실시간으로 영상취득 카메라로부터 획득된 피사체의 영상 정보와 위치 정보 및 3차원 입체 공간정보를 통합하여 실시간 영상 기반의 증강 현실 구현시스템을 구현할 수 있게 된다.
또한, 정확한 위치에 입각한 입체 공간모델을 형성하되, 건물 내 불투명한 벽면 혹은 바닥면을 제거하고 골격만을 생성하여 투명벽으로 시각화하도록 함으로써, 해당 실내 공간을 확인할 경우에 실내의 복잡한 구조와 거치된 각종 부속품들로 인하여 촬영된 피사체가 어디에 위치하고 있는지를 파악하기 어려운 문제점을 해결하여 직관적으로 해당 피사체의 위치를 확인할 수 있는 더 나은 효과를 제공하게 된다.
이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
실내외 공간에 분산되어 설치되어 있는 다수의 영상취득 카메라로부터 취득된 실세계의 영상정보를 3차원 공간 모델에 실시간으로 맵핑하여 시각화하도록 하며, 특히 건물의 내부를 시각화할 경우에 투명벽으로 표현하여 마치 벽과 바닥이 없는 것처럼 화면에 제공하여 보안산업과 방법산업분야에 활용가능할 것이다.

Claims (5)

  1. 증강 현실 구현시스템에 있어서,
    고유식별 정보가 기록된 피사체와;
    소정 공간에 배치되어 피사체의 영상을 취득하는 다수의 카메라와;
    다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 피사체를 3차원 영상으로 변환시키며, 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 고유식별 정보를 분석하여 해당 피사체의 위치를 판단하며, 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 변환된 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하되, 건물 내 불투명한 벽면 혹은 바닥면을 제거하고 골격만을 생성하여 투명벽으로 시각화하는 투명벽생성서버;를 포함하여 구성되는 것을 특징으로 하는 고유식별 정보를 이용한 증강 현실 구현시스템.
  2. 제 1항에 있어서,
    상기 투명벽생성서버는,
    GIS(Geographic Information System) 정보와 실내 공간 정보가 저장되는 입체공간정보디비와,
    카메라의 위치 정보와 피사체의 고유식별 정보에 부합되는 피사체 정보가 저장되는 카메라및피사체정보디비와,
    상기 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 피사체를 3차원 영상으로 변환시키는 피사체3차원영상변환부와,
    상기 다수의 카메라로부터 고유식별 정보가 기록된 피사체 영상을 취득하여 고유식별 정보를 분석하여 해당 피사체의 위치를 판단하는 피사체위치판단부와,
    해당 피사체 영상을 취득하게 되면, 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 실내 공간 정보 및 변환된 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하는 입체공간형성부와,
    상기 입체공간형성부에 의해 생성된 입체 공간모델을 획득하여 건물 내 불투명한 벽면 혹은 바닥면을 제거하고 골격만을 생성시키는 투명벽생성부와,
    상기 투명벽생성부에 의해 생성된 투명벽과 상기 입체공간형성부에 의해 형성된 입체 공간모델을 시각화하는 입체공간시각화부와,
    상기 입체공간정보디비, 카메라및피사체정보디비, 피사체3차원영상변환부, 피사체위치판단부, 입체공간형성부, 투명벽생성부, 입체공간시각화부 간의 신호 흐름을 제어하는 중앙제어부를 포함하여 구성되는 것을 특징으로 하는 고유식별 정보를 이용한 증강 현실 구현시스템.
  3. 제 1항에 있어서,
    상기 피사체에는,
    바코드, 2차원 바코드, 읽을 수 있는 심볼 중 어느 하나가 고유식별 정보로 형성되는 것을 특징으로 하는 고유식별 정보를 이용한 증강 현실 구현시스템.
  4. 제 2항에 있어서,
    상기 카메라및피사체정보디비는,
    카메라 고유번호, 카메라의 위치, 고유식별번호, 신상 정보, 건물출입허가유무, 촬영일시, 촬영부위의 필드를 포함하고 있는 것을 특징으로 하는 고유식별 정보를 이용한 증강 현실 구현시스템.
  5. 제 1항에 있어서,
    상기 카메라를 제어하기 위한 카메라제어단말기;를 더 포함하여 구성되어 카메라의 팬, 틸트, 줌 명령시 명령값을 투명벽생성서버에서 획득하여 피사체 영상을 취득한 카메라가 배치된 공간의 GIS 정보를 추출하고, 상기 추출된 GIS 정보와 명령값에 부합되는 영상을 획득하고, 3차원의 피사체 영상을 통합하여 해당 피사체의 위치에 배치시켜 입체 공간모델을 형성하는 것을 특징으로 하는 고유식별 정보를 이용한 증강 현실 구현시스템.
PCT/KR2011/002258 2010-11-30 2011-04-01 고유식별 정보를 이용한 증강 현실 구현시스템 WO2012074174A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100120924A KR101036107B1 (ko) 2010-11-30 2010-11-30 고유식별 정보를 이용한 증강 현실 구현시스템
KR10-2010-0120924 2010-11-30

Publications (1)

Publication Number Publication Date
WO2012074174A1 true WO2012074174A1 (ko) 2012-06-07

Family

ID=44366377

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/002258 WO2012074174A1 (ko) 2010-11-30 2011-04-01 고유식별 정보를 이용한 증강 현실 구현시스템

Country Status (2)

Country Link
KR (1) KR101036107B1 (ko)
WO (1) WO2012074174A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101181967B1 (ko) 2010-12-29 2012-09-11 심광호 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2013169080A2 (ko) * 2012-05-11 2013-11-14 Ahn Kang Seok 피사체의 촬영을 통한 피사체 소스정보의 제공방법 및 이를 위한 서버와 휴대용 단말기
KR101743569B1 (ko) * 2016-04-28 2017-06-05 한림대학교 산학협력단 증강 현실 콘텐츠 제어 방법과 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080147325A1 (en) * 2006-12-18 2008-06-19 Maassel Paul W Method and system for providing augmented reality
KR20090047889A (ko) * 2007-11-08 2009-05-13 한국전자통신연구원 투명 디스플레이를 이용한 증강 현실 구현 방법, 장치 및시스템
KR20100109144A (ko) * 2009-03-31 2010-10-08 한국전자통신연구원 가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100945555B1 (ko) * 2007-03-20 2010-03-08 인천대학교 산학협력단 증강현실 공간을 제공하는 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080147325A1 (en) * 2006-12-18 2008-06-19 Maassel Paul W Method and system for providing augmented reality
KR20090047889A (ko) * 2007-11-08 2009-05-13 한국전자통신연구원 투명 디스플레이를 이용한 증강 현실 구현 방법, 장치 및시스템
KR20100109144A (ko) * 2009-03-31 2010-10-08 한국전자통신연구원 가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법

Also Published As

Publication number Publication date
KR101036107B1 (ko) 2011-05-19

Similar Documents

Publication Publication Date Title
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2018164460A1 (en) Method of providing augmented reality content, and electronic device and system adapted to the method
WO2011074759A1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
WO2017026839A1 (ko) 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
WO2013015549A2 (ko) 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법
WO2016107230A1 (zh) 一种3d场景中重现物体的系统和方法
WO2015012441A1 (en) Digital device and control method thereof
WO2015014018A1 (zh) 移动终端基于图像识别技术的室内定位与导航方法
WO2016035993A1 (ko) 클라우드 포인트를 이용한 실내 지도 구축 장치 및 방법
WO2013168998A1 (en) Apparatus and method for processing 3d information
JP2005517253A (ja) 潜入型見張りを提供する方法及び装置
WO2012124852A1 (ko) 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법
WO2016107231A1 (zh) 一种3d场景中输入手势的系统和方法
WO2017142311A1 (ko) 다중 객체 추적 시스템 및 이를 이용한 다중 객체 추적 방법
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
KR100545048B1 (ko) 항공사진의 폐쇄영역 도화 시스템 및 방법
WO2022039404A1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
CN110324572A (zh) 监视系统、监视方法和非暂时性计算机可读存储介质
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
WO2012074174A1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2019124818A1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
WO2021086018A1 (ko) 3차원 증강현실 표시 방법
WO2018164287A1 (ko) 증강현실 제공 방법, 장치 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11844330

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11844330

Country of ref document: EP

Kind code of ref document: A1