KR101134466B1 - 가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법 - Google Patents

가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법 Download PDF

Info

Publication number
KR101134466B1
KR101134466B1 KR1020090027585A KR20090027585A KR101134466B1 KR 101134466 B1 KR101134466 B1 KR 101134466B1 KR 1020090027585 A KR1020090027585 A KR 1020090027585A KR 20090027585 A KR20090027585 A KR 20090027585A KR 101134466 B1 KR101134466 B1 KR 101134466B1
Authority
KR
South Korea
Prior art keywords
information
world
image
virtual world
mirror
Prior art date
Application number
KR1020090027585A
Other languages
English (en)
Other versions
KR20100109144A (ko
Inventor
이기석
이동춘
김항기
박창준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090027585A priority Critical patent/KR101134466B1/ko
Publication of KR20100109144A publication Critical patent/KR20100109144A/ko
Application granted granted Critical
Publication of KR101134466B1 publication Critical patent/KR101134466B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 실시간으로 획득된 영상 정보를 가상 세계에 매핑시켜 4차원 미러 월드를 구축함으로써, 4차원 미러 월드를 이용한 가상 세계 서비스를 제공한다는 것으로, 이를 위하여 본 발명은, 실세계를 가상 공간에 생성한 후, 실시간으로 획득된 영상 정보에서 각 객체별 객체 특징 정보를 가상 공간에 매핑시켜 4차원 미러 월드를 구축함으로써, 4차원 미러 월드를 통해 객체 검색, 객체 추적, 교통 정보 획득, 주차 정보 획득 등과 같은 각종 가상 세계 서비스를 제공할 수 있는 것이다.
가상 세계, 미러 월드

Description

가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법{VIRTUAL WORLD SERVICE APPARATUS, VIRTUAL WORLD SERVICE SYSTEM AND ITS METHOD}
본 발명은 가상 세계 서비스 기법에 관한 것으로, 더욱 상세하게는 실세계의 영상의 획득하여 그 영상 정보를 포함하는 가상 세계 서비스를 제공하는데 적합한 가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-044-03, 과제명: 멀티코아 CPU 및 MPU 기반 크롯플랫폼 게임기술 개발].
잘 알려진 바와 같이, 최근 컴퓨터 성능이 향상됨에 따라, 3차원 컴퓨터 그래픽스(CG) 기술이 일반화되어 영화, 광고, 게임, 애니메이션 등에서 널리 사용되고 있다.
특히, 그래픽 기술이 발전함에 따라 세컨드 라이프(second life) 등과 같이 가상 세계를 만들거나 구글 어스(google earth), 구글 스트리트뷰(google street view) 등과 같이 실세계를 가상의 공간에 옮겨 다양한 서비스를 제공하는 서비스가 가능하게 되었고, 그렇게 가상 세계와 실세계간의 연동을 수행하기 위한 다양한 데 이터 입력 기술이 필요하게 되었다.
이렇게 실세계 객체의 위치를 획득하기 위해서 종래에는 GPS가 내장된 단말을 활용하는 기법, 핸드폰 등의 통신 기기의 통신망을 활용한 삼각 측량 기법, RFID 기술을 활용한 기법이 대표적으로 사용되고 있다.
하지만, 종래에 GPS 또는 통신망을 활용하는 기법의 경우 전파 음영 지역에서는 위치 측정이 곤란하여 정확한 영상 정보를 획득하기 어렵고, RFID의 경우에는 RFID 리더기를 많은 곳에 설치해야 함으로써, 비용, 시간 등이 많이 소요되는 문제점이 있었다.
이에 따라, 본 발명은 실세계에 설치된 다수의 카메라와 같은 영상 획득 수단을 통해 실시간으로 입력된 영상에 대해 그 객체를 판별하고, 판별된 객체에 대한 영상 정보를 실시간으로 가상 세계에 매핑시켜 다양한 가상 세계 서비스를 제공할 수 있는 가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법을 제공하고자 한다.
제 1 관점에서 본 발명은, 실시간으로 제공되는 영상 정보에서 객체 특징 정보를 획득하는 객체 특징 획득부, 상기 획득된 객체 특징 정보를 기 구축된 가상 세계에 매핑시켜 4차원 미러 월드를 구축하는 미러 월드 구축부, 상기 4차원 미러 월드가 구축된 상태에서 클라이언트 단말기로부터 요청된 가상 세계 서비스를 상기 4차원 미러 월드를 통해 구현하는 서비스 구동부를 포함하는 가상 세계 서비스 장치를 제공한다.
제 2 관점에서 본 발명은, 다수의 카메라를 통해 실시간으로 획득된 영상에 대응하는 영상 정보를 획득하는 영상 획득 장치와, 상기 획득된 영상 정보에서 각 객체를 판별하고, 상기 판별된 객체에 대응하는 객체 특징 정보를 획득하며, 상기 획득된 객체 특징 정보를 기 구축된 가상 세계에 매핑시켜 4차원 미러 월드를 구축하는 가상 세계 서비스 장치와, 상기 구축된 4차원 미러 월드를 통해 가상 세계 서비스를 요청 및 제공받는 클라이언트 단말기를 포함하는 가상 세계 서비스 시스템을 제공한다.
제 3 관점에서 본 발명은, 다수의 카메라를 통해 실시간으로 입력되는 영상에 대한 영상 정보를 획득하여 가상 세계 서비스 장치에 전송하는 단계와, 상기 전송된 영상 정보에서 각각의 객체를 판별하고, 이에 대응하는 객체 특징 정보를 획득하는 단계와, 상기 획득된 객체 특징 정보를 기 구축된 가상 세계에 매핑시켜 4차원 미러 월드를 구축하는 단계와, 상기 구축된 4차원 미러 월드를 통해 가상 세계 서비스를 제공하는 단계를 포함하는 가상 세계 서비스 방법을 제공한다.
본 발명은, 관리나 보안을 목적으로 카메라는 실내 및 지하 환경 등에 더 많이 설치가 되어 있기 때문에 이러한 카메라를 활용한 영상 획득을 통해 더욱 정확한 실시간 영상을 획득할 수 있어 실세계를 투영시킨 4차원 미러 월드를 효과적으로 구축하여 가상 세계 서비스를 제공할 수 있다.
이러한 미러 월드에 실세계 객체들과 연계시켜 시간적 변화를 가미한 교통량 분석, 실 세계 연동형 위치 기반 게임 서비스, 주차 안내, 혼잡도 분석, 동선분석, 특징을 가진 객체의 검색, 건물 보안 등의 각종 가상 세계 서비스를 효과적으로 제공할 수 있다.
본 발명은, 실세계에 다양하게 존재하는 카메라와 같은 영상 획득 장치, 이를 연결하는 통신망, 통신망을 통해 취득된 영상들을 종합하여 처리하여 객체들의 다양한 정보를 저장하고 관리하여 이를 가상 세계에 도식화하고 활용하여 4D(3D+time) 기반의 다양한 서비스를 구현하는 가상 세계 서비스 장치 및 클라이언트 단말기를 포함하는 가상 세계 서비스 시스템을 구축함으로써, 시간에 관계없이 가상 세계상에서 편리하게 검색의 수행이 가능하여 다양한 서비스에 활용될 수 있다.
특히, 본 발명의 객체 위치 활용 기법은 GPS나 전파 기반의 위치 획득 방법의 약점인 실내 및 지하 환경 등에서 더 활용이 용이하며 객체 위치 및 특징 측정 데이터를 기반으로 한 다양한 서비스가 가능한데, 실세계 연동형 위치 기반 게임 서비스, 시간적 변화를 가미한 교통량 분석, 주차 안내, 혼잡도 분석, 동선분석, 특징을 가진 객체의 검색 등과 다양한 보안 관리 솔루션에도 활용한다는 것이며, 이러한 기술적 수단을 통해 종래 기술에서의 문제점을 해결할 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예에 대하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따라 실시간으로 획득된 영상 정보를 가상 세계에 매핑시켜 가상 세계 서비스를 제공하는데 적합한 가상 세계 서비스 시스템의 블록 구성도로서, 영상 획득 장치(102), 통신망(104), 가상 세계 서비스 장치(106), 정보 데이터베이스(108), 클라이언트 단말기(110) 등을 포함할 수 있다.
도 1을 참조하면, 영상 획득 장치(102)는 예를 들면, 각종 교통 감시 카메라, 각종 공공 감시 카메라, 사설 감시 카메라, 차량 영상 녹화 카메라, 이동 단말기 카메라 등을 포함하는 것으로, 카메라가 촬영한 영상을 획득하여 그에 대응하는 영상 정보를 통신망(104)을 통해 실시간으로 가상 세계 서비스 장치(106)에 전송한다. 일 예로서, 도 2a 내지 도 2c는 본 발명의 실시 예에 따른 영상 획득 장치를 예시한 도면으로, 도 2a는 교통량 감시 카메라이고, 도 2b는 차량용 영상 녹화기이며, 도 2c는 카메라가 장착된 이동 단말기로서, 이러한 영상 획득 장치(102)를 통해 영상을 획득할 수 있다.
여기에서, 영상 획득 장치(102)는 고정 방식의 카메라(예를 들면, 각종 교통 감시 카메라, 각종 공공 감시 카메라, 사설 감시 카메라 등)를 통해 획득된 영상 데이터와 그 위치 정보를 포함하는 영상 정보를 통신망(104)을 통해 실시간으로 가상 세계 서비스 장치(106)에 전송하고, 이동 방식의 카메라(예를 들면, 차량 영상 녹화 카메라, 이동 단말기 카메라 등)를 통해 획득된 영상 데이터와 GPS 모듈을 통해 획득된 위치 정보를 포함하는 영상 정보를 통신망(104)을 통해 실시간으로 가상 세계 서비스 장치(106)에 전송할 수 있다.
그리고, 통신망(104)은 유무선 통신망을 포함하는 것으로, 예를 들면, LAN(local area network), WiFi, Wibro 등을 이용하여 영상 획득 장치(102), 가상 세계 서비스 장치(106), 클라이언트 단말기(110) 간의 통신을 담당한다.
다음에, 가상 세계 서비스 장치(106)는 영상 정보에서 객체 특징 정보를 획득하는 객체 특징 획득부, 객체 특징 정보를 기 구축된 미러 월드에 매핑시켜 4차원의 미러 월드를 구축하는 미러 월드 구축부, 요청된 각종 서비스를 미러 월드를 통해 구현하는 서비스 구동부 등을 포함하는 것으로, 실세계를 가상 공간에 생성한 세계(이하에서는 “미러 월드(mirror world)"라 함)을 구축한 상태에서 영상 획득 장치(102)로부터 실시간으로 전송되는 영상 정보에서 각각의 객체 특정 정보를 추출하며, 추출된 객체 특징 정보를 미러 월드에 매핑시키고, 매핑된 미러 월드 정보를 영상 정보와 객체 특징 정보와 함께 정보 데이터베이스(108)에 저장한 후에, 클라이언트 단말기(110)로부터 가상 세계 서비스가 요청되면, 실시간 영상 정보를 미러 월드에 모델링한 실시간의 미러 월드 정보를 추출하여 통신망(104)을 통해 클라이언트 단말기(110)로 전송한다.
여기에서, 가상 세계 서비스 장치(106)의 서비스 구동부에서는 가상 세계 서비스를 제공하는 중에 클라이언트 단말기(110)로부터의 각종 가상 세계 서비스 요청에 따라, 미러 월드의 관심 지점에 대한 교통량을 측정하고, 그 지점에서의 혼잡도를 분석하는 등의 교통 정보 서비스를 제공할 수 있으며, 미러 월드 내에 사용자의 아바타를 생성하고, 실세계에서 사용자의 현재 위치를 검출하여 미러 월드에 반영하는 등의 위치 기반 게임 서비스를 제공할 수 있으며, 특정 주차 공간에 대해 획득된 영상 정보를 통해 주차 가능 공간을 검출하는 등의 주차 안내 서비스를 제공할 수 있고, 각종 객체를 검색하고, 검색된 객체의 이동 경로를 검출하며 해당 객체의 동선을 분석하는 등의 객체 검색 서비스를 제공할 수 있으며, 획득된 영상 정보에서 이벤트 발생(예를 들면, 움직임 등)을 검출하고, 검출된 지점의 보안 업무를 처리하는 등의 보안 서비스를 제공할 수 있다.
이러한 각종 가상 세계 서비스를 제공하기 위해 가상 세계 서비스 장치(106)의 객체 특징 획득부에서는 영상 획득 장치(102)로부터 전송되는 영상 정보에서 객체 특징 정보를 추출해야 하는데 그 객체 특징 정보를 추출하는 기법에 대해 설명하면, 전송된 영상 정보에서 객체 특징 정보(예를 들면, 위치, 형태, 색상 등)를 획득하기 위해서 컴퓨터 비전 기법을 사용하는데, 이러한 컴퓨터 비전 기법은 예를 들면, 칼라 필터, 영상 에지(edge) 정보, 이미지 세그먼트(image segment) 등을 이용한 기하학적 정보를 획득하거나 이미지 매칭을 수행하는 등의 방식으로 수행될 수 있다.
예를 들면, 차량 검출의 경우 연속된 컬러 영상으로부터 영상 처리를 통해 차량과 차선을 검출함으로써, 컬러 모델 기반의 차량 정보 및 차선 정보를 검출할 수 있고, 차량의 수가 많은 경우에도 컬러 모델에서 채도 성분과 명도성분을 이용하여 후보점을 검출하고, 차량과 차선의 영역을 검출한 후에 에지 정보를 이용하여 차량의 영역을 결정하며, 검출된 차량 영역이 이전 프레임의 차량 영역과 같은 차량인지의 여부는 칼라 성분과 위치 정보의 통계적 특징을 이용하여 검출할 수 있다. 여기에서, 차량 인식의 경우 차량의 번호판을 인식하여 차량 번호를 검출하는 방식으로 수행될 수 있으며, 각종 차종에 대한 각 방향에서의 영상을 템플릿화하여 차선 내에 위치하는 영상과의 패턴 매칭을 통해 더욱 정확하게 차량을 검출할 수 있다.
또한, 사람 검출의 경우 영상에서 에지를 추출하고, 칼라 성분에 의한 이미지 세그먼트를 통해 사람으로 판단할 수 있는 특징(예를 들면, 얼굴, 팔, 다리 등)을 검출하고, 검출된 특징을 검사하여 영상 내 색상 중 피부색과 유사한 부분을 추출하는 방식으로 수행할 수 있다.
이러한 객체 특징 정보를 검출하는 과정에서 특정 카메라의 위치화 회전 정보를 알고 있는 경우 영상의 특정 위치에 대한 프로젝션을 통해 실세계의 위치를 검출할 수 있는데, 실세계 영상의 각 특징점과 매핑되어 있는 미러 월드의 좌표 정보를 통해 영상 내 관측되는 객체의 위치를 인터폴레이션(interpolation)하여 추정할 수 있으며, 추정된 위치에 가상 객체를 생성하고 미러 월드 상에 실시간 영상 정보를 텍스쳐 등의 방식으로 표시할 수 있다.
또한, 영상 내의 특징을 검출하여 추적하는 기법에 대해 설명하면, 다수의 카메라의 위치를 알고 있는 상태에서 각 영상 내에 존재하는 객체들의 칼라 정보, 에지 정보 등을 검출하고, 영상간의 유사도 비교를 통해 객체들의 이동을 추적할 수 있으며, 연속되는 영상에서 객체의 이동 방향을 추적할 수 있기 때문에 다음번에 어떤 카메라에서 해당 객체의 영상을 획득할 수 있는지도 예상 가능하므로 객체 추적의 정확도를 향상시킬 수 있다.
그리고, 정보 데이터베이스(108)는 가상 세계 서비스 장치(106)를 통해 구축 된 미러 월드에 대한 각종 데이터(예를 들면, 각종 영상 정보, 각종 객체 특징 정보, 각종 미러 월드 정보 등)를 저장하고 있으며, 이들은 필요에 따라 추출되어 가상 세계 서비스 장치(106)로 제공된다.
한편, 클라이언트 단말기(110)는 예를 들면, PC, 노트북, 이동 단말기 등의 통신 단말기를 포함하는 것으로, 가상 세계 서비스 장치(106)에 통신망(104)을 통해 접속하여 가상 세계 서비스를 요청하고, 이에 따라 전송되는 미러 월드 정보를 수신하여 실세계에 대응하는 미러 월드에 대한 각종 가상 세계 서비스(예를 들면, 객체 검색, 교통 정보 획득, 실세계 연동 위치 기반 게임, 주차 정보 획득 등)를 제공받는다.다음에, 상술한 바와 같은 구성을 갖는 가상 세계 서비스 시스템에서 영상 획득 장치를 통해 영상 정보를 획득하여 가상 세계 서비스 장치로 전송하고, 가상 세계 서비스 장치에서는 구축된 가상 세계에 영상 정보로부터 추출한 객체 특징 정보를 매핑시켜 미러 월드를 구성하며, 클라이언트 단말기로부터 요청된 가상 세계 서비스를 제공하는 과정에 대해 설명한다.
도 3은 본 발명의 일 실시 예에 따라 실세계의 투영하는 미러 월드를 이용한 가상 세계 서비스를 제공하는 과정을 도시한 플로우차트이다.
도 3을 참조하면, 영상 획득 장치(102)에서는 예를 들면, 각종 교통 감시 카메라, 각종 공공 감시 카메라, 사설 감시 카메라, 차량 영상 녹화 카메라, 이동 단말기 카메라 등을 통해 실시간으로 촬영되는 영상 데이터와 그에 대응하는 위치 정보를 포함하는 영상 정보를 획득한 후에 통신망(104)을 통해 가상 세계 서비스 장치(106)로 전송한다(단계302).
그리고, 가상 세계 서비스 장치(106)에서는 영상 획득 장치(102)로부터 전송되는 영상 정보에서 각각의 객체를 추출하고, 추출된 객체에 각각 대응하는 객체 특징 정보를 추출한다(단계304). 여기에서, 객체의 추출 및 객체 특징 정보는 예를 들면, 컴퓨터 비전 기법 등을 통해 추출될 수 있으며, 이러한 컴퓨터 비전 기법은 예를 들면, 칼라 필터, 영상 에지 정보, 이미지 세그먼트 등의 방식을 이용하여 수행될 수 있다.
다음에, 가상 세계 서비스 장치(106)에서는 실세계를 가상 공간에 투영시켜 기 구축된 가상 세계(예를 들면, 미러 월드)에 추출된 객체 특징 정보를 매핑시킨다(단계306). 이에 따라 3차원의 가상 세계인 미러 월드에 실시간으로 전송되는 영상 정보에 대응하는 객체 특징 정보를 매핑시킴으로써, 실세계에 대응하는 4차원의 가상 세계를 구축할 수 있으며, 이러항 영상 정보, 객체 특징 정보, 미러 월드에 대응하는 각종 미러 월드 정보는 정보 데이터베이스(108)에 저장될 수 있다.
예를 들면, 도 4s 및 도 4b는 본 발명의 실시 예에 따라 실제 공간을 가상 공간에 투영시킨 것을 예시한 도면으로, 도 4a에 도시한 바와 같은 실제 공간에서 카메라를 통해 획득된 영상을 이용하여 각 객체(예를 들면, 건물, 도로, 숲 등)를 판별하고, 이러한 객체의 각 특징과 위치를 포함하는 객체 특징 정보를 가상 공간에 매핑시킴으로써, 도 4b에 도시한 바와 같은 가상 공간에 실세계에 대응하는 미러 월드를 구축할 수 있다.
또한, 도 5는 본 발명의 실시 예에 따라 특징점을 검출하여 실세계의 객체를 추적하는 것을 예시한 도면으로, 다수의 카메라의 위치를 알고 있는 상태에서 각 영상 내에 존재하는 객체들의 칼라 정보, 에지 정보 등을 검출하고, 영상간의 유사도 비교를 통해 객체들의 이동을 추적할 수 있으며, 연속되는 영상에서 객체의 이동 방향을 추적할 수 있기 때문에 다음번에 어떤 카메라에서 해당 객체의 영상을 획득할 수 있는지도 예상 가능하므로 객체 추적의 정확도를 향상시킬 수 있다.
한편, 가상 세계 서비스 장치(106)에서는 클라이언트 단말기(110)로부터 가상 세계 서비스를 요청하는지를 체크한다(단계308).
상기 단계(308)에서의 체크 결과, 가상 세계 서비스가 요청되지 않으면, 실시간 영상 정보의 획득, 객체 특징 정보 추출 및 매핑 등을 수행하는 단계302 내지 단계306의 과정을 반복하여 수행하고, 가상 세계 서비스가 요청되면 구축된 미러 월드를 구동시키기 위한 미러 월드 정보를 정보 데이터베이스(108)에서 추출하여 클라이언트 단말기(110)에 전송하며, 클라이언트 단말기(110)에서는 이러한 미러 월드 정보를 소정의 가상 세계 프로그램을 통해 구동시켜 각종 가상 세계 서비스를 제공받는다(단계310). 여기에서, 가상 세계 서비스는 예를 들면, 객체 검색, 교통 정보 획득, 실세계 연동 위치 기반 게임, 주차 정보 획득 등을 포함할 수 있다.
따라서, 실시간으로 획득된 영상 정보에 대응하는 객체 특징 정보를 추출하고, 추출된 객체 특징 정보를 기 구축된 가상 세계에 매핑시켜 4차원의 미러 월드를 구축하며 클라이언트 단말의 서비스 요청 시 해당 미러 월드를 구동시켜 가상 세계 서비스를 효과적으로 제공할 수 있다.
다음에, 상술한 바와 같이 실시간으로 획득된 영상 정보에 대응하는 객체 특징 정보를 추출하여 이를 기 구축된 가상 세계에 매핑시킴으로써, 4차원의 미러 월 드를 구축하는 중에 실시간으로 획득된 영상 정보에서 각각의 객체를 추출하고, 추출된 각 객체에 대응하는 객체 특징 정보를 획득하는 과정에 대해 설명한다.
도 6은 본 발명의 다른 실시 예에 따라 영상 정보로부터 객체 특징 정보를 획득하는 과정을 도시한 플로우차트이다.
도 6을 참조하면, 가상 세계 서비스 장치(106)에서는 영상 획득 장치(102)로부터 통신망(104)을 통해 영상 정보(예를 들면, 영상 데이터, 위치 정보 등)가 실시간으로 수신되면(단계602), 예를 들면, 컴퓨터 비전 기법 등을 통해 영상 정보에서 각각의 객체를 판별한다(단계604).
여기에서, 객체를 판별하는 기법에 대해 설명하면, 전송된 영상 정보에서 객체 특징 정보(예를 들면, 위치, 형태, 색상 등)를 획득하기 위해서 컴퓨터 비전 기법을 사용하는데, 이러한 컴퓨터 비전 기법은 예를 들면, 칼라 필터, 영상 에지(edge) 정보, 이미지 세그먼트(image segment) 등을 이용한 기하학적 정보를 획득하거나 이미지 매칭을 수행하는 등의 방식으로 수행될 수 있다.
그리고, 가상 세계 서비스 장치(106)에서는 판별된 객체의 특징 정보(예를 들면, 위치, 형태, 색상 등)와 판별된 객체의 위치를 검출한다(단계606).
이어서, 가상 세계 서비스 장치(106)에서는 검출된 특징 정보와 검출된 위치를 포함하는 객체 특징 정보를 획득한다(단계608). 이러한 객체 특징 정보는 기 구축된 가상 세계에 매핑되어 실세계를 투영시킨 4차원의 미러 월드를 구성할 수 있다.
따라서, 전송되는 영상 정보에서 각 객체를 판별하고, 판별된 각 객체에 대 응하는 특징 정보 및 위치 정보를 검출한 후에, 이들을 포함하는 객체 특징 정보를 가상 세계에 매핑시킴으로써, 4차원의 미러 월드를 구축하여 가상 세계 서비스를 제공할 수 있다.
한편, 상술한 바와 같은 본 발명의 다른 실시 에에서는 객체 특징 정보를 획득하는 과정을 가상 세계 서비스 장치(106)에서 수행하는 것으로 하여 설명하였으나, 이러한 객체 특징 정보 획득 과정은 영상 획득 장치(102)에서 획득된 영상 정보에 대응하는 객체 특징 정보를 획득한 후에 가상 세계에 필요한 객체 특징 정보만을 가상 세계 서비스 장치(106)에 전송할 수 있음도 물론이다.
이상의 설명에서는 본 발명의 다양한 실시 예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
도 1은 본 발명의 실시 예에 따라 실시간으로 획득된 영상 정보를 가상 세계에 매핑시켜 가상 세계 서비스를 제공하는데 적합한 가상 세계 서비스 시스템의 블록 구성도,
도 2a 내지 도 2c는 본 발명의 실시 예에 따른 영상 획득 장치를 예시한 도면,
도 3은 본 발명의 일 실시 예에 따라 실세계의 투영하는 미러 월드를 이용한 가상 세계 서비스를 제공하는 과정을 도시한 플로우차트,
도 4a 및 도 4b는 본 발명의 실시 예에 따라 실제 공간을 가상 공간에 투영시킨 것을 예시한 도면,
도 5는 본 발명의 실시 예에 따라 특징점을 검출하여 실세계의 객체를 추적하는 것을 예시한 도면,
도 6은 본 발명의 다른 실시 예에 따라 영상 정보로부터 객체 특징 정보를 획득하는 과정을 도시한 플로우차트.
<도면의 주요부분에 대한 부호의 설명>
102 : 영상 획득 장치 104 : 통신망
106 : 가상 세계 서비스 장치 108 : 정보 데이터베이스
110 : 클라이언트 단말기

Claims (11)

  1. 실시간으로 제공되는 영상 정보에서 칼라 필터, 영상 에지 정보, 이미지 세그먼트 중 적어도 어느 하나를 이용하여 기하학적 정보를 획득하거나 이미지 매칭을 수행하는 방식으로 객체 특징 정보를 획득하는 객체 특징 획득부,
    상기 획득된 객체 특징 정보를 기 구축된 가상 세계에 매핑시켜 4차원 미러 월드를 구축하는 미러 월드 구축부,
    상기 4차원 미러 월드가 구축된 상태에서 클라이언트 단말기로부터 요청된 가상 세계 서비스를 상기 4차원 미러 월드를 통해 구현하는 서비스 구동부를 포함하며,
    상기 객체 특징 획득부는,
    상기 영상 정보의 각 특징점과 매핑되어 있는 미러 월드의 좌표 정보를 통해 관측되는 객체의 위치를 인터폴레이션하여 추정하고,
    추정된 위치에 가상 객체를 생성하고, 상기 미러 월드 상에 실시간 영상 정보를 텍스쳐 방식으로 표시하는 가상 세계 서비스 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 가상 세계 서비스는, 객체 검색, 교통 정보 획득, 실세계 연동 위치 기반 게임, 주차 정보 획득 중 어느 하나의 서비스인 가상 세계 서비스 장치.
  4. 제 1 항에 있어서,
    상기 객체 특징 정보는, 객체에 대응하는 위치, 형태, 색상을 포함하는 가상 세계 서비스 장치.
  5. 다수의 카메라를 통해 실시간으로 획득된 영상에 대응하는 영상 정보를 획득하는 영상 획득 장치와,
    상기 획득된 영상 정보에서 각 객체를 판별하고, 상기 판별된 객체에 대응하는 칼라 필터, 영상 에지 정보, 이미지 세그먼트 중 적어도 어느 하나를 이용하여 기하학적 정보를 획득하거나 이미지 매칭을 수행하는 방식으로 객체 특징 정보를 획득하며, 상기 획득된 객체 특징 정보를 기 구축된 가상 세계에 매핑시켜 4차원 미러 월드를 구축하는 가상 세계 서비스 장치와,
    상기 구축된 4차원 미러 월드를 통해 가상 세계 서비스를 요청 및 제공받는 클라이언트 단말기를 포함하며,
    상기 가상 세계 서비스 장치는,
    상기 영상 정보의 각 특징점과 매핑되어 있는 미러 월드의 좌표 정보를 통해 관측되는 객체의 위치를 인터폴레이션하여 추정하고,
    추정된 위치에 가상 객체를 생성하고, 상기 미러 월드 상에 실시간 영상 정보를 텍스쳐 방식으로 표시하는 가상 세계 서비스 시스템.
  6. 삭제
  7. 다수의 카메라를 통해 실시간으로 입력되는 영상에 대한 영상 정보를 획득하여 가상 세계 서비스 장치에 전송하는 단계와,
    상기 전송된 영상 정보에서 각각의 객체를 판별하고, 이에 대응하는 칼라 필터, 영상 에지 정보, 이미지 세그먼트 중 적어도 어느 하나를 이용하여 기하학적 정보를 획득하거나 이미지 매칭을 수행하는 방식으로 객체 특징 정보를 획득하는 단계와,
    상기 획득된 객체 특징 정보를 기 구축된 가상 세계에 매핑시켜 4차원 미러 월드를 구축하는 단계와,
    상기 구축된 4차원 미러 월드를 통해 클라이언트 단말기로부터 요청된 가상 세계 서비스를 제공하는 단계를 포함하며,
    상기 객체 특징 정보를 획득하는 단계는,
    상기 영상 정보의 각 특징점과 매핑되어 있는 미러 월드의 좌표 정보를 통해 관측되는 객체의 위치를 인터폴레이션하여 추정하는 단계와,
    추정된 위치에 가상 객체를 생성하고, 상기 미러 월드 상에 실시간 영상 정보를 텍스쳐 방식으로 표시하는 단계를 포함하는 가상 세계 서비스 방법.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 가상 세계 서비스를 제공하는 단계는, 상기 4차원 미러 월드를 통해 객체 검색, 교통 정보 획득, 실세계 연동 위치 기반 게임, 주차 정보 획득 중 어느 하나의 서비스를 제공하는 가상 세계 서비스 방법.
  10. 제 7 항에 있어서,
    상기 가상 세계 서비스를 제공하는 단계는, 상기 객체에 대응하는 위치에 실시간으로 획득된 상기 영상 정보를 텍스쳐 방식으로 표시하는 가상 세계 서비스 방법.
  11. 제 7 항에 있어서,
    상기 객체 특징 정보는, 각 객체에 대응하는 위치, 형태, 색상을 포함하는 가상 세계 서비스 방법.
    .
KR1020090027585A 2009-03-31 2009-03-31 가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법 KR101134466B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090027585A KR101134466B1 (ko) 2009-03-31 2009-03-31 가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090027585A KR101134466B1 (ko) 2009-03-31 2009-03-31 가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100109144A KR20100109144A (ko) 2010-10-08
KR101134466B1 true KR101134466B1 (ko) 2012-04-13

Family

ID=43130308

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090027585A KR101134466B1 (ko) 2009-03-31 2009-03-31 가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101134466B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101036107B1 (ko) * 2010-11-30 2011-05-19 심광호 고유식별 정보를 이용한 증강 현실 구현시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259685A (ja) * 1998-03-13 1999-09-24 Mitsubishi Electric Corp ３次元ｃｇ実写映像融合装置
JP2007147642A (ja) * 2002-11-25 2007-06-14 Nippon Telegr & Teleph Corp <Ntt> 実世界オブジェクト認識方法および実世界オブジェクト認識システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259685A (ja) * 1998-03-13 1999-09-24 Mitsubishi Electric Corp ３次元ｃｇ実写映像融合装置
JP2007147642A (ja) * 2002-11-25 2007-06-14 Nippon Telegr & Teleph Corp <Ntt> 実世界オブジェクト認識方法および実世界オブジェクト認識システム

Also Published As

Publication number Publication date
KR20100109144A (ko) 2010-10-08

Similar Documents

Publication Publication Date Title
US11393173B2 (en) Mobile augmented reality system
US10499002B2 (en) Information processing apparatus and information processing method
US20200401617A1 (en) Visual positioning system
KR101758576B1 (ko) 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
US11393212B2 (en) System for tracking and visualizing objects and a method therefor
EP2208021B1 (en) Method of and arrangement for mapping range sensor data on image sensor data
CN108921894B (zh) 对象定位方法、装置、设备和计算机可读存储介质
US10043097B2 (en) Image abstraction system
CN102959946A (zh) 基于相关3d点云数据来扩充图像数据的技术
CN111815675A (zh) 目标对象的跟踪方法及装置、电子设备和存储介质
CN111028358B (zh) 室内环境的增强现实显示方法、装置及终端设备
US20230068001A1 (en) Video-based tracking systems and methods
KR20150042544A (ko) 위치정보를 제공하는 단말기, 위치정보 측정 방법 및 시스템
CN111935641B (zh) 一种室内自定位的实现方法、智能移动设备和存储介质
JP2011170599A (ja) 屋外構造物計測装置及び屋外構造物計測方法
CN115004273A (zh) 交通道路的数字化重建方法、装置和系统
US10674117B2 (en) Enhanced video system
KR101134466B1 (ko) 가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법
KR100981588B1 (ko) 특징점 픽셀의 크기와 방향 정보를 이용하는 벡터 변환에 기초한 도시공간 지리정보 생성 시스템
CN111882675A (zh) 一种模型呈现方法、装置、电子设备及计算机存储介质
KR102407802B1 (ko) 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치
KR102367782B1 (ko) 객체추적장치 및 그 장치의 구동방법
KR101016071B1 (ko) 이동측량장치의 이동경로에 따른 스테레오 영상으로부터 벡터변환을 이용하여 대응영역을 추출하는 도시공간 영상처리장치
KR100959246B1 (ko) 스테레오 영상 및 ｇｐｓ 좌표를 이용하여 도시공간의 지리정보를 생성하는 방법 및 시스템
CN116342471A (zh) 信息处理系统、信息处理方法以及非易失性的计算机可读取的介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 8