KR20220143517A - 스마트폰 카메라를 이용한 cnn과 ar기반의 공간 속성 탐지 방법 및 그 장치 - Google Patents

스마트폰 카메라를 이용한 cnn과 ar기반의 공간 속성 탐지 방법 및 그 장치 Download PDF

Info

Publication number
KR20220143517A
KR20220143517A KR1020210050129A KR20210050129A KR20220143517A KR 20220143517 A KR20220143517 A KR 20220143517A KR 1020210050129 A KR1020210050129 A KR 1020210050129A KR 20210050129 A KR20210050129 A KR 20210050129A KR 20220143517 A KR20220143517 A KR 20220143517A
Authority
KR
South Korea
Prior art keywords
indoor
data
space
spatial
poi
Prior art date
Application number
KR1020210050129A
Other languages
English (en)
Other versions
KR102503797B1 (ko
Inventor
권선
유기윤
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020210050129A priority Critical patent/KR102503797B1/ko
Publication of KR20220143517A publication Critical patent/KR20220143517A/ko
Application granted granted Critical
Publication of KR102503797B1 publication Critical patent/KR102503797B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법 및 그 장치에 관한 것으로, (a) 실내공간 데이터 정교화모듈이 위치정보를 포함하고 있는 실내공간 데이터를 정교화하는 단계와; (b) 스마트폰 카메라가 실내장면 사진을 취득하고 해당 사진이 촬영된 위치를 AR 기반으로 추정하는 단계와; (c) 시맨틱 정보 추출모듈이 상기 실내장면 사진을 입력 데이터로 하여 합성곱신경망(CNN)을 통해 상기 실내장면 사진의 시맨틱 정보(POI명 포함)를 추출하는 단계 및, (d) 실내 POI 데이터 업데이트모듈이 상기 정교화한 실내공간 데이터에 상기 시맨틱 정보를 위치 기준 매칭하여 실내 POI 데이터의 속성을 업데이트하고 추가 구축하는 단계로 이루어짐으로써, 이러한 POI 데이터의 속성의 업데이트는 범용적이고 실용화에 가까우며 추가적인 장비 설치가 필요없어 경제적인 효과가 있고, 실내공간 데이터 상의 폴리곤이 실제로는 여러가지 성격의 다양한 공간을 포함하는 경우 실내공간 데이터를 정교화할 수 있다.

Description

스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법 및 그 장치 {CNN and AR-based Spatial attribute detection method using smartphone camera and device thereof}
본 발명은 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 스마트폰 카메라로 획득한 실내장면 사진을 인공지능 기술인 합성곱신경망을 이용해 시맨틱 속성을 얻고 이를 증강현실 기술을 이용해 실내공간 데이터에 위치를 기준으로 매칭하여 기존 POI 데이터의 속성을 업데이트 가능케 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법 및 그 장치에 관한 것이다.
최근 실내공간이 고층화, 대형화됨에 따라 실내지도를 포함한 실내공간 데이터 구축에 대한 관심이 커지고 있으며 서울시 등 지자체들도 복잡한 공공건물 몇 곳을 지정, 실내지도를 시범적으로 제공하고 있다. 실내공간 데이터의 구성요소 중 실내 관심지점(Point of Interest, 이하 POI) 데이터는 공간의 실제 사용행태에 따라 실시간으로 업데이트 되어야 한다.
한편, POI 데이터는 공간 데이터베이스를 구성하는 핵심 데이터로 주로 생활 편의 시설과 관련된 관심 지점 정보를 의미하며 실외 POI 데이터와 실내 POI 데이터로 나눌 수 있다. 본 발명과 관련있는 실내 POI 데이터는 실내공간에서 특정 위치에 있는 장소, 서비스, 시설 또는 이벤트를 포함하며 실내공간을 보다 완벽하게 묘사할 수 있다. 특히나 그 활용양상을 살펴보았을 때, 실내 내비게이션 사용자들을 위해 시맨틱(semantic) 정보가 강화된 실내 POI 데이터의 구축 및 업데이트가 필요하다.
따라서, 실내공간의 장소사용이나 시설, 서비스 등의 정보가 변경될 시 즉시 이에 해당하는 POI 데이터의 속성을 업데이트할 필요가 있다. 현재의 실내/외 POI 데이터 구축 및 업데이트는 실사취득 방식으로 이루어지는데, 이는 비용과 시간이 많이 소요되어 데이터가 최신으로 유지되기 어렵다.
최근 이와 관련해 공간이 촬영된 사진을 이용해 공간의 변화를 탐지하고, 공간의 성격을 분류하여 실내외 POI를 실시간으로 구축·업데이트하려는 시도가 있는데, 가칠오(2013)는 SLI(Street-Level Imagery) 장면에서 간판 텍스트를 추출하여 실외 POI를 업데이트하였으므로 이 방법으로는 텍스트가 검출되지 않은 공간의 POI는 업데이트할 수 없다. 이처럼, 공간을 촬영한 사진으로 실내외 POI의 업데이트를 시도한 최근의 선행연구는 주로 텍스트 정보가 포함된 공간만을 대상으로 하여, 텍스트 간판이 없는 다른 많은 종류의 공간에 적용할 수 없다는 한계를 지닌다. 따라서 본 발명에서는 공간 사진을 이용하여 텍스트 포함 여부와 관계없이 다양한 실내공간의 POI를 업데이트하는 방법을 ‘장면 분류(scene classification)’ 기술에서 찾고자 한다.
또한, 가칠오(2013)의 SLI 장면-벡터맵 매칭 방법은 사진에서 여러 개의 건물을 분리하여 각각의 POI 데이터를 추출하고, 각 건물의 영역과 벡터맵 상 영역의 비율을 이용한 것이므로, 객체를 분리하여 POI 데이터를 추출하는 대신 한 장의 사진을 종합적으로 고려하여 시맨틱을 추출하는 실내장면 사진-실내공간 데이터(POI) 매칭에 적용하기 어렵다.
따라서 실내장면 사진의 시맨틱 정보를 추출하여 실제로 실내 POI 데이터를 업데이트하기 위해서는, 텍스트가 포함되지 않은 실내공간의 시맨틱 정보를 장면 분류 기술을 통해 추출하는 연구뿐만 아니라, 추출한 시맨틱 정보를 기존 실내 POI 데이터에 매칭하는 방법에 관한 연구 또한 새롭게 필요하므로, 본 발명에서는 텍스트 포함 여부와 상관없이 모든 다양한 종류의 실내공간을 고려하기 위해, 공간을 촬영한 사진을 장면 분류하여 실제 공간 사용양상을 시맨틱 정보로써 추출하고, 이를 실제 실내 POI 데이터에 위치 기준 매칭하여 POI 데이터의 속성을 업데이트하며, 추가로 실내공간 데이터를 정교화하여 실내 POI 데이터의 추가 구축 또한 가능하게 하는 실용적인 방안을 제시하고자 한다.
가칠오. SLI 와 벡터 지도의 융합을 이용한 POI 데이터 구축 기법 연구. 2013. PhD Thesis. 서울대학교 대학원.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 스마트폰 카메라로 획득한 실내장면 사진을 인공지능 기술인 합성곱신경망(Convolutional Neural Network)으로 분류하여 획득한 시맨틱(semantic) 카테고리 정보를 실내공간 데이터 코드 리스트에 매칭하여 시맨틱 속성을 얻고 이를 증강현실(Augmented Reality) 기술을 이용해 실내공간 데이터에 위치를 기준으로 매칭하여 기존 POI 데이터의 속성을 업데이트 가능케 함으로써, 범용적이고 실용화에 가까우며 추가적인 장비 설치가 필요없어 경제적인, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법 및 그 장치를 제공하는데 있다.
본 발명의 다른 목적은 실내공간 데이터 상의 폴리곤이 실제로는 여러가지 성격의 다양한 공간을 포함하는 경우 실내공간 데이터를 정교화하기 위한 것이다.
본 발명의 또 다른 목적은 스마트폰 카메라를 통해 실시간으로 수집되는 모바일 데이터를 이용하여 실내공간의 POI 데이터를 실시간으로 유지함으로써 직접조사로 이루어지는 기존의 실내 POI 데이터 업데이트를 보완 혹은 대체할 수 있도록 하기 위한 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명은 (a) 실내공간 데이터 정교화모듈이 위치정보를 포함하고 있는 실내공간 데이터를 정교화하는 단계와; (b) 스마트폰 카메라가 실내장면 사진을 취득하고 해당 사진이 촬영된 위치를 AR 기반으로 추정하는 단계와; (c) 시맨틱 정보 추출모듈이 상기 실내장면 사진을 입력 데이터로 하여 합성곱신경망(CNN)을 통해 상기 실내장면 사진의 시맨틱 정보(POI명 포함)를 추출하는 단계 및, (d) 실내 POI 데이터 업데이트모듈이 상기 정교화한 실내공간 데이터에 상기 시맨틱 정보를 위치 기준 매칭하여 실내 POI 데이터의 속성을 업데이트하고 추가 구축하는 단계로 이루어지는 것을 특징으로 한다.
또한, 본 발명에서 상기 실내공간 데이터와 실내장면 사진의 매칭 기준은 실내공간 데이터의 위치정보와 AR 기반으로 추정한 실내장면 사진이 촬영된 위치이다.
또한, 본 발명에서 상기 CNN을 사전 트레이닝하기 위한 데이터셋은 Places 365 데이터셋 또는 다수의 사용자로부터 스마트폰 카메라를 통해 얻은 대량의 실내장면 사진이다.
또한, 본 발명에서는 상기 데이터셋의 시맨틱 카테고리를 실내공간 데이터 코드 리스트에 의한 POI명과 매칭한다.
또한, 본 발명에서 실내 POI는 실내공간에서 특정 위치에 있는 장소, 서비스, 시설 또는 이벤트를 포함한다.
또한, 본 발명의 상기 단계(a)에서 실내공간 데이터의 정교화는, (a1) 공간구문분석을 통해 실내공간에서 통합도 3단계 지표가 가장 높은 공간을 오픈 스페이스로서 탐지하는 단계와; (a2) 상기 탐지된 오픈 스페이스를 분할하여 다수의 폴리곤을 생성하기 위해 벽체를 연장하여 파티션을 얻는 S-파티셔닝을 수행하는 단계와; (a3) 다시 공간구문분석을 통해 상기 다수의 폴리곤 중에서 통합도 3단계 지표값이 상위 30%로 탐지된 폴리곤 공간은 사람들의 통행이 필수적이거나 통행이 많이 일어나는 공간(복도 또는 로비)이므로 병합하여 속성을 부여하는 단계, 및 (a4) 병합되지 않은 나머지 분할된 폴리곤은 null 값을 갖는 POI를 생성하는 단계로 이루어지되, 병합되지 않은 나머지 분할된 폴리곤에는 상기 단계(c)에서 실내장면 사진으로부터 추출한 시맨틱 정보를 부여하고 상기 단계(d)에서 실내 POI 데이터를 추가 구축하게 되는 것이다.
또한, 본 발명에서 상기 통합도 3단계 지표(
Figure pat00001
, 한공간에서 다른 공간을 도달하기 위해 통과해야 하는 최소 공간의 개수가 3개인 경우)는 다음의 수학식,
Figure pat00002
(여기서,
Figure pat00003
,
Figure pat00004
,
Figure pat00005
, dij는 임의의 두 공간 i와 j사이의 최단 거리,
Figure pat00006
는 전체 공간심도, MDi는 공간평균심도, n은 공간의 개수, k는 i공간에 직접 연결된 공간의 수)을 이용한다.
또한, 본 발명의 공간 속성 탐지 장치는 위치정보를 포함하고 있는 실내공간 데이터를 정교화하는 실내공간 데이터 정교화모듈과, 실내장면 사진을 입력 데이터로 하여 합성곱신경망(CNN)을 통해 상기 실내장면 사진의 시맨틱 정보(POI명 포함)를 추출하는 시맨틱 정보 추출모듈, 및 상기 정교화한 실내공간 데이터에 상기 시맨틱 정보를 위치 기준 매칭하여 실내 POI 데이터의 속성을 업데이트하고 추가 구축하는 실내 POI 데이터 업데이트모듈을 포함한다.
이상에서 살펴본, 본 발명인 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법 및 그 장치는 스마트폰 카메라로 획득한 실내장면 사진을 인공지능 기술인 합성곱신경망(Convolutional Neural Network)을 이용해 시맨틱 속성을 얻고 이를 증강현실(Augmented Reality) 기술을 이용해 실내공간 데이터에 위치를 기준으로 매칭하여 기존 POI 데이터의 속성을 업데이트 가능케 함으로써, 범용적이고 실용화에 가까우며 추가적인 장비 설치가 필요없어 경제적인 효과가 있고, 실내공간 데이터 상의 폴리곤이 실제로는 여러가지 성격의 다양한 공간을 포함하는 경우 실내공간 데이터를 정교화할 수 있으며 스마트폰 카메라를 통해 실시간으로 수집되는 모바일 데이터를 이용하여 실내공간의 POI 데이터를 실시간으로 유지함으로써 직접조사로 이루어지는 기존의 실내 POI 데이터 업데이트를 보완 혹은 대체할 수 있는 효과가 있다.
도 1 은 본 발명에 따른 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법의 전체 흐름도를 나타낸 도면.
도 2 는 본 발명에서 실내장면 사진으로부터 POI명을 추출하는 과정의 일실시예를 나타낸 도면.
도 3 은 본 발명에서 포인트 형태의 실내 POI 데이터 예시를 나타낸 도면.
도 4 는 본 발명에서 닫힌공간 내 70도 Isovist 영역과 해당 영역에 대응하는 사진을 나타낸 도면.
도 5 는 본 발명에서 실내장면 사진이 나타내는 공간 영역과 해당 공간을 포함하는 실내 폴리곤 데이터를 나타낸 도면.
도 6 은 본 발명에서 실내공간 데이터 상 하나의 폴리곤에 대응되는 실제 세계의 다양한 공간 속성을 나타낸 도면.
도 7 은 본 발명에서 실내공간 기하 데이터(폴리곤)와 실내공간 데이터의 공간구문분석결과를 나타낸 도면.
도 8 은 본 발명에서 S-파티션의 예시를 나타낸 도면.
도 9 는 본 발명에서 오픈 스페이스가 탐지된 실내공간 데이터와 실내공간 데이터 오픈 스페이스에 S-파티셔닝 수행 결과를 나타낸 도면.
도 10 은 본 발명에서 S-파티셔닝 수행한 실내공간 데이터의 통합도(3) 지표 산출 결과와 분할한 오픈 스페이스를 포함하는 실내공간 데이터에서 최종적으로 획득한 정교화된 실내공간 데이터를 나타낸 도면.
도 11 은 본 발명에서 정교화된 실내공간 기하 데이터와 추가 부여된 POI 데이터 및 오픈 스페이스에서 실제로 획득된 다양한 공간 속성을 나타낸 도면.
도 12 는 본 발명에 따른 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법과 관련된 장치의 일실시예를 나타낸 구성도.
상기와 같이 구성된 본 발명의 바람직한 실시예를 첨부된 도면을 참조하면서 상세히 설명하면 다음과 같다. 첨부된 도면들 및 이를 참조한 설명은 본 발명에 관하여 당해 기술 분야에서 통상의 지식을 가진 자들이 쉽게 이해할 수 있도록 하기 위해 예시된 것이며, 본 발명의 사상 및 범위를 한정하려는 의도로 제시된 것은 아님에 유의하여야 할 것이다.
도 12는 본 발명에 따른 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법과 관련된 장치의 일실시예를 나타낸 구성도로, 공간 속성 탐지 장치(10)는 스마트폰 카메라로 획득한 실내장면 사진을 인공지능 기술인 합성곱신경망(Convolutional Neural Network)을 이용해 시맨틱 속성을 얻고 이를 증강현실(Augmented Reality) 기술을 이용해 실내공간 데이터에 위치를 기준으로 매칭하여 기존 POI 데이터의 속성을 업데이트 가능케 하는 것으로, 위치정보를 포함하고 있는 실내공간 데이터를 정교화하는 실내공간 데이터 정교화모듈(11), 실내장면 사진을 입력 데이터로 하여 합성곱신경망(CNN)을 통해 상기 실내장면 사진의 시맨틱 정보(POI명 포함)를 추출하는 시맨틱 정보 추출모듈(12), 정교화한 실내공간 데이터에 상기 시맨틱 정보를 위치 기준 매칭하여 실내 POI 데이터의 속성을 업데이트하고 추가 구축하는 실내 POI 데이터 업데이트모듈(13)을 포함하고 상기 입력 데이터는 스마트폰(20)을 통해 취득하고 CNN 훈련을 위한 데이터셋도 스마트폰(20)을 통해 취득할 수 있다. 즉, 시맨틱 정보 추출모듈(12), 실내공간 데이터 정교화모듈(11) 및 실내 POI 데이터 업데이트모듈(13)은 본 발명이 컴퓨터상에서 수행되도록 하기 위한 기술적 수단으로 시맨틱 정보 추출부, 실내공간 데이터 정교화부 및 실내 POI 데이터 업데이트부로 각각 명명할 수도 있다.
상기 공간 속성 탐지 장치(10)는 서버, 데스크톱, 노트북 또는 휴대용 단말기 등으로, CNN과 AR기반의 공간 속성 탐지를 수행하기 위한 소프트웨어를 저장 포함한다.
더불어 상기 공간 속성 탐지 장치(10)에서 연산되거나 입출력되는 자료 및 스마트폰(20)에서 취득한 자료(실내공간 데이터, 실내장면 사진, POI 데이터, 시맨틱 정보, 데이터셋, 통합도 지표 등)는 별도의 저장 장치(30)에 저장되도록 하는 것이 좋으나, 상기 공간 속성 탐지 장치(10)는 저장 장치(30)를 포함할 수도 있다.
본 발명은 장소별 사용양상이 자주 바뀌어 실내 POI가 최신으로 업데이트되어야 하는 실내공간으로 한정하고, 텍스트 간판의 유무나 규모에 상관없이 모든 종류의 실내공간을 대상으로 한다.
본 발명은 도 1에 도시된 바와 같이 크게 첫번째로 실내공간 데이터를 정교화하고(S10), 두번째로 스마트폰 카메라로 실내장면 사진과 해당 사진이 촬영된 위치 포인트를 취득(S20)한 후, 세번째로 인공지능 기술인 합성곱신경망(Convolutional Neural Network, 이하 CNN)을 이용하여 실내장면 사진의 시맨틱 정보(속성정보)를 추출하여(S30), 네번째로 앞서 정교화한 실내공간 데이터와 포함관계를 계산, 실내 POI 데이터에 위치 기준 매칭하여 최종적으로 실내 POI 데이터의 속성을 업데이트 및 추가 구축(S40)하는 과정으로 구성된다.
AR 기반의 실내장면 사진 위치 추정
실내장면 사진으로부터 추출한 시맨틱 정보(속성정보)를 이용해 실내공간 데이터를 업데이트하기 위해서는 실내장면 사진과 실내공간 데이터의 매칭 기준이 필요하다. 본 발명에서는 실내장면 사진이 건물 평면에서 갖는 상대 좌푯값을 얻어 이를 사진에서 추출한 시맨틱 정보(속성정보)와 실내 POI 데이터의 매칭 기준으로 삼고자 하였다. 이를 위해서는 실내장면 사진이 촬영된 위치, 즉 해당 시점에서의 사용자의 스마트폰(20) 위치를 얻어야 한다.
본 발명에서는 실내장면 사진의 위치정보를 추가적 장비 없이 사용자 스마트폰만을 이용하여 얻기 위하여 모바일 AR(Augmented Reality, 증강현실) 기술을 사용한다. 모바일 AR 내비게이션은 스마트폰에 내장된 관성 센서와 RGB 카메라만 사용하므로 실내 측위 기술들 중 ‘관성측정 기반 측위’와 ‘광학 시스템 기반 측위’를 이용하여 사용자 위치 추정이 가능하다.
현재 AR 기반 모바일 장치의 실시간 위치추적을 가능하게 하는 가장 일반적인 원리는 관성 센서(Inertial Measurement Unit, IMU)를 사용하는 VIO(Visual Inertial Odometry)인데, 이는 카메라에 들어오는 연속적인 사진에서, 특징점으로부터 기기의 거리와 방향을 이용하여 기기의 상대 좌표를 추정하고 결론적으로 기기 사용자의 움직임까지도 추정한다.
한편 구글, 애플, 퀄컴 등이 2018년 이후 제공하는 AR SDK(Software Development Toolkit) 덕분에 이를 활용해 실내공간에서 물체나 사용자의 위치를 추정하거나 움직임을 추적하는 연구가 급속도로 이루어지고 있다.
본 발명에서도 구글 AR Core의 모션 트래킹(Motion tracking)기능과 환경이해(Environmental understanding)기능을 이용해 실내장면 사진의 위치를 추정하기 위한 AR 기반의 애플리케이션을 제작하고 이를 이용해 실내장면 사진의 위치정보를 획득할 수 있다. 그러나 구글 AR Core에 한정되는 것은 아니고 애플 AR kit 또는 퀄컴 Vuforia를 이용할 수도 있다.
CNN 기반의 실내장면 사진 시맨틱 정보 추출
스마트폰 카메라로 촬영한 실내장면 사진에서 POI 데이터를 업데이트하기 위한 유의미한 시맨틱 정보(속성정보)를 추출하려면, 실내장면 사진 한 장 전체를 종합적으로 고려하여 해당 공간이 어떤 용도(예: 복도, 화장실, 연구실 등)로 쓰이고 있는지 알아내야 한다. 이를 위해 이미지 장면 분류 기술을 이용할 수 있는데, 고려해야 할 부분은, 다수의 사용자로부터 얻은 대량의 실내장면 사진을 빠르고 효율적으로 분류할 수 있어야 한다는 점이다. 따라서 본 발명에서는, 최근 대량의 이미지를 분류하는 데 있어서 큰 발전을 이루어 주목받고 있는 딥러닝 기술인 CNN을 사용하여 실내장면 사진의 장면 분류를 수행한다.
CNN에 대해 간단히 살펴보면, CNN은 시각적 영상을 분석하는 데 사용되는 다층의 피드-포워드적인 인공신경망의 한 종류이다. 딥 러닝에서 심층 신경망으로 분류되며, 또한 공유 가중치 구조와 변환 불변성 특성에 기초하여 변이 불변 또는 공간 불변 인공 신경망 (SIANN)으로도 알려져 있다. 영상 및 동영상 인식, 추천 시스템, 영상 분류, 의료 영상 분석 및 자연어 처리 등에 응용된다.
또한 CNN은 정규화 된 버전의 다층 퍼셉트론이다. 다층 퍼셉트론은 일반적으로 완전히 연결된 네트워크, 즉 한 계층의 각 뉴런이 다음 계층의 모든 뉴런에 연결되는 신경망 구조이다. 이와 같이 네트워크가 완전 연결된 경우 주어진 데이터에 과적합 되는 경향이 있다. 일반적인 정규화를 위해 최적화 함수에 특정 척도를 추가하는 방법이 흔이 쓰이지만, CNN은 정규화를 위한 다른 접근 방식을 취한다. 데이터에서 계층적 패턴을 활용하고 더 작고 간단한 패턴을 사용하여 더 복잡한 패턴을 표현함으로써 정규화와 같은 효과를 내는 것이다. 따라서 합성곱 신경망의 연결 구조의 복잡성은 유사한 기능의 다층 퍼셉트론에 비해 극단적으로 낮다.
이러한 CNN을 이용한 영상 분류는 다른 영상 분류 알고리즘에 비해 상대적으로 전처리를 거의 사용하지 않는다. 이는 신경망이 기존 알고리즘에서 수작업으로 제작된 필터를 학습한다는 것을 의미한다. 기존 영상 분류 알고리즘에서 설계자가 영상의 특징들을 미리 이해해 알고리즘을 만드는 과정이 없는 것이 합성곱 신경망의 주요한 장점이다. 더불어 CNN에는 일반적으로 합성곱 계층(convolution layer), 활성 함수(activation function), 하위 추출 계층(sub-sampling layer), 전역 연 결 계층(fully connected layer), 그리고 softmax 함수가 존재한다. 영상이 CNN의 입력으로 사용되고 출력은 해당 영상이 각 집단마다 속할 확률이다. 상기 합성곱 계층에서는 3차원으로 이루어진 커널(kernel, 혹은 필터(filter))과 입력값의 합성곱 연산으로 입력값인 영상의 특징들을 추출한다. 상기 활성함수는 입력값과 출력값 사이의 비선형성을 추가하기 위하여 사용 된다.
고성능 CNN 모델을 이용해 원하는 연구 데이터에 좋은 분류 성능을 발휘하는 CNN을 얻기 위해서는 방대한 트레이닝 데이터와 계산 자원이 필요하다. 따라서 특정 실내환경 사진이 수집될 때마다 CNN의 트레이닝(training)이 필요하다면 이미지 분류를 통한 장소 인식의 효율성이 상당히 떨어지므로, 환경별 트레이닝이 필요 없는 CNN의 선택이 필요하다. 본 발명에서는 최근 장소 분류 작업을 위해 많은 데이터셋(data set)으로 훈련된 CNN을 사용한다.
본 발명에서는 Places 365 데이터셋으로 사전 트레이닝 된 CNN (AlexNet, GoogLeNet, VGG16, ResNet50, ResNet152) 중 Places 365 데이터셋의 분류 Top-5 정확도가 가장 높은 CNN인 ResNet152를 선택하여 입력 데이터인 실내장면 사진을 분류하는 데 이용할 수 있지만 이에 한정되는 것은 아니다.
그러나 데이터셋은 상기 Places 365 데이터셋에 한정되는 것은 아니고 다수의 사용자가 스마트폰(20)을 수직으로 들고 걸어가면서 일정 간격으로 실내장면 사진을 자동 촬영하고 저장 장치(30)로 전송하여 사용자(스마트폰)의 실제 위치좌표(x,y,z)를 AR 기반의 위치추적 기능으로 얻어 낼 수 있다. 따라서 특정시점, 해당 위치에서 자동 촬영된 실내장면 사진은 실제 위치좌표 정보와 함께 저장 장치(30)에 전송 및 저장되고 저장 장치(30)에 저장된 대량의 실내장면 사진을 데이터셋으로 사전 트레이닝하여 입력 데이터인 다른 실내장면 사진을 CNN 분류 및 입력 데이터(다른 실내장면 사진)로부터 시맨틱 정보를 추출할 수 있다. 물론 상기 저장 장치(30)에 저장된 실내장면 사진은 대량일수록 정확도가 높다. 즉, 본 발명에서 스마트폰(20)은 CNN을 트레이닝하기 위한 데이터셋을 구축하기 위해 필요할 뿐만 아니라 시맨틱 정보 추출과 POI업데이트를 위한 과정이라 할 수 있는 CNN의 입력 데이터인 실내장면 사진을 취득하기 위해 필요한 것이다.
이미지의 장소를 분류하기 위해 구축된 상기 Places 365 데이터셋은 1000만 개 이상의 장소 관련 이미지로 이루어져 있으며, 이 이미지들은 365개의 시맨틱 카테고리로 나뉘어 있다. 하나의 카테고리당 최소 5,000~30,000개의 트레이닝 이미지가 있다. 또한, 데이터셋 구축을 위해 다수의 사용자로부터 얻은 대량의 실내장면 사진을 통한 CNN의 사전 트레이닝에 의해서도 일정 개수(365개가 바람직)의 시맨틱 카테고리를 나눌 수 있다.
더불어, 본 발명에서는 Places 365 데이터셋 또는 다수의 사용자로부터 얻은 대량의 실내장면 사진 데이터셋으로 사전학습된 CNN(바람직하게는 ResNet152)를 이용하여 실내장면 사진을 분류하여 해당 실내장면이 나타내는 공간의 속성으로 실내 POI 데이터를 업데이트하기 위하여 Places 365 데이터셋 또는 다수의 사용자로부터 얻은 대량의 실내장면 사진 데이터셋의 시맨틱 카테고리를 실내공간 데이터 코드 리스트와 매칭하는 작업을 추가로 수행한다(도 2 및 표 1 내지 표 5 참조).
이에 시맨틱 정보 추출모듈(12)은 실내장면 사진을 입력 데이터로 하여 합성곱신경망(CNN)을 통해 상기 실내장면 사진의 시맨틱 정보(POI명 포함)를 추출하게 되는데, 이러한 추출 과정은 최종적으로 컴퓨터로 수행하기 위해 프로그램 언어를 통해 알고리즘으로 코딩한 프로그램이고, 다시 말해 이러한 프로그램은 상기 CNN을 포함하면서 공간 속성 탐지 장치(10) 또는 저장 장치(30)에 저장되어 시맨틱 정보 추출모듈(12)이 공간 속성 탐지 장치(10) 또는 저장 장치(30)에 입력저장된 입력 데이터와 상기 프로그램을 이용하여 시맨틱 정보를 추출하게 되는 것이다.
공간구문분석 기반의 오픈 스페이스 분할
대다수 실내공간에서 오픈 스페이스는 로비, 엘리베이터 홀, 복도, 계단실 등을 포함하는, 즉 접근성이 높은 속성을 지닌다. 본 발명에서는 실내공간 데이터와 공간구문분석 그래프의 구조적, 개념적 유사성에서 착안해, 공간구문분석론으로부터 실내공간 데이터의 오픈 스페이스를 탐색하고 이를 분할하기 위한 지표를 얻는다.
연결도(connectivity) 지표란 임의의 공간과 공간 사이 연결의 상대적 중요성을 나타내는 지표로, 특정 연결이 전체 공간상에서 사용할 확률이 높은 경우 큰 연결도 지표 값을 갖는다. 통제도(control value) 지표는 연결도 지표를 발전시킨 개념으로, 한 공간이 인접한 다른 공간을 통제하는 정도를 국부적(local)으로 계산하는 지표이다. 공간심도가 크다는 뜻은 공간이 깊다는 뜻으로, 심도가 큰 공간일수록 그 공간에 접근하기 어려운 것을 의미한다. 공간평균심도(Mean Depth)지표는 공간심도 값의 평균으로서, 값이 클수록 그 공간은 폐쇄적이고 사적인 공간이라는 것을 의미한다. 이러한 공간평균심도의 건물이나 대지 규모 및 형상에 따른 차이를 바로잡은 상대적 공간심도(Real Relative Asymmetry,RRA) 값의 역수가 통합도(integration) 지표이다. 따라서 상대적 공간 심도의 역수인 통합도(integration) 지표는 특정 공간으로부터 n(1부터 무한대까지의 정수) 단계 떨어진 공간까지를 계산하는데 임의의 공간으로부터 그 공간으로 접근하기 쉬운 정도를 의미한다. 본 발명에서는 이러한 공간구문분석 지표 중에서 공간의 접근성 정도와 관계가 있는 통합도 지표를 채택한다.
상기 공간평균심도(Mean Depth, MDi)지표와 상대적 공간심도(Real Relative Asymmetry,RRA)는 각각 다음의 수학식 1과 수학식 2와 같고 통합도(integration) 지표는
Figure pat00007
다.
Figure pat00008
(여기서, dij는 임의의 두 공간 i와 j사이의 최단 거리,
Figure pat00009
는 전체 공간심도, n은 공간의 개수)
Figure pat00010
(여기서,
Figure pat00011
,
Figure pat00012
, MDi는 공간평균심도, n은 공간의 개수, k는 i공간에 직접 연결된 공간의 수)
다시 말해 특정 공간의 통합도 지표가 크면 접근성이 좋은 공간, 즉 다른 모든 공간으로 이동할 때 거치게 되는 공간의 개수가 적은 공간을 의미한다. 통합도 지표는 부분 공간들 전체의 관계 속에서 특정 공간의 위치가 갖는 의미를 도출하기 때문에 다양한 실내공간에 모두 적용 가능한 포괄적 지표이기에 본 발명의 대상인 모든 종류의 실내공간에 적용 가능한 지표이다.
이하에서는 실내장면 사진에서 추출한 시맨틱 정보(속성정보)를 실내 POI 데이터에 매칭하여 업데이트하는 방법을 살펴보겠다.
실내외 POI 데이터는 주로 생활 편의 시설과 관련된 관심 지점 정보를 의미하는데, 실내 POI는 주로 실내공간에서 특정 위치에 있는 장소, 서비스, 시설 또는 이벤트를 포함한다. 본 발명에서는 실내공간의 실제 사용 용도(화장실, 계단, 복도 등)와 관련한 속성정보를 POI명으로 한정하는데, POI명이 음료수 자판기, 소화전, 정수기 등 실내 시설을 포함하는 범위로 확대할 수 있다.
실내공간 데이터에서 POI를 나타내는 방법에는 물체나 공간의 3D 형상대로 나타내는 방법과 해당 물체나 공간의 중심에 포인트로 나타내는 방법이 있는데, 본 발명에서는 실내 POI 데이터를 위치정보와 실내공간의 사용양상(시맨틱 정보)을 POI명으로 가지는 포인트 데이터로 구축 및 업데이트한다. 도 3은 벡터맵 형태의 실내공간 데이터에 실내 POI를 포인트로 표현한 예시이다. 실내공간 데이터의 하나의 공간 폴리곤은 하나의 실내 POI 포인트를 기하적으로 포함하는 관계로서, 이 둘은 일대일 매칭 가능하다. 상기 실내공간 데이터는 SHP 형식의 벡터 데이터로, 방을 폴리곤으로 표현하고 POI를 포인트로 표현하여 DWG, IndoorGML, IFC등 다른 포맷의 실내공간 데이터와 변환이 용이하게 구축함이 바람직하다.
본 발명에서는 Places 365 데이터셋 또는 다수의 사용자로부터 얻은 대량의 실내장면 사진 데이터셋의 시맨틱 카테고리와 실내공간 데이터 코드 리스트를 매칭한다.
본 발명에서 실내장면 사진을 분류할 때 사용한 Places 365 데이터셋의 시맨틱 카테고리는 총 365종류의 공간 카테고리를 가지며, Indoor, Outdoor natural, Outdoor man-made 3개의 카테고리로 나누어져 있다. Indoor 카테고리는 다시 workplace(office building, factory, lab, etc), shopping and dining, home or hotel, transportation(vehicle interiors, stations, etc.), sports and leisure, cultural (art, education, religion, milliary, law, politics, etc)의 6개 카테고리로 나누어져 있다. 한편 상기 다수의 사용자로부터 얻은 대량의 실내장면 사진 데이터셋의 시맨틱 카테고리도 Places 365 데이터셋과 동일하게 총 365종류의 공간 카테고리를 가짐이 바람직하다.
본 발명의 대상인 실내공간과 관련 있는 159개의 Indoor 시맨틱 카테고리 일부는 다음의 표 1과 같다.
Figure pat00013
본 발명에서 실내장면 사진의 시맨틱 정보를 추출할 때에는 Places 365 영문 카테고리 명을 그대로 사용하지만, 실제로 실내공간 데이터에서 사용하는 POI명은 OGC(Open Geospatial Consortium) 표준에 정의된 코드 리스트를 참조하여 생성하여야 한다. 같은 개념에 대하여 이름이나 철자가 다르면 데이터 상호 운용성에 문제가 발생하므로 임의로 POI명을 지정하기보다, 코드 리스트에 정의된 이름과 코드를 사용하는 것이 알맞다. 코드 리스트 예시는 북미건축, 엔지니어링및 건설(AEC)산업에서 만들고 사용하는 Omniclass에서 정의된 것을 따르고, 코드 리스트는 General Space Function Type, Transition Space Function Type, Connection Space Function Type, Anchor space Function Type 네 가지의 카테고리로 나누어져 작성되어 있다. 실내공간 데이터 코드 리스트의 일부는 다음의 표 2와 같다.
Figure pat00014
이와 같이 실제 실내공간 데이터에서 쓰이는 공간명과, Places365 데이터셋에서 쓰이는 공간명이 일치하지 않는 경우가 많다. 따라서 실내장면 사진을 Places365 데이터셋(또는 다수의 사용자로부터 얻은 대량의 실내장면 사진 데이터셋)으로 사전학습된 ResNet으로 분류하여 추출한 시맨틱 정보로 실내 POI 데이터를 업데이트 하기 위해서는 분류결과(시맨틱 카테고리)와 가장 가까운 코드 리스트의 단어(space funtion type)를 매칭하여야 한다. 본 발명에서는 Places 365 시맨틱 카테고리와 가장 가까운 코드 리스트의 단어를 직접 검토하여 매칭되는데, 다음의 표 3은 Places 365 시맨틱 카테고리와 코드 리스트의 POI명이 일대일로 바람직하게 매칭된 결과 중 일부이다. 그러나 모든 단어들이 이렇게 일대일로 정확하게 매칭되는 것은 아니다.
Figure pat00015
다음의 표 4는 여러 개의 Places365 시맨틱 카테고리를 하나의 코드 리스트 POI명이 나타내는 경우를 보여준다. Places365 시맨틱 카테고리는 office, office_cubicles, home_office 의 세 가지 다른 공간을 구분하는 데 반해, 실내공간 데이터(코드 리스트)에서는 이 세 가지 공간을 모두 Office Spaces 하나의 POI명으로 구축한다(다대일 매칭).
Figure pat00016
다음의 표 5는 Places365에서 하나의 시맨틱 카테고리로 분류되는 공간을 여러 종류의 실내공간으로 분류하여 데이터를 구축하는 경우(코드 리스트)를 보여준다. Places365에서는 bathroom으로만 분류하는 공간을, 실내공간 데이터에서는 Bathroom, Toilet Space, Combination Toilet and Bathing Space, Men’s Restroom, Unisex Restroom, 그리고 Women’s Restroom의 6가지의 공간으로 분류하여 구축한다(일대다 매칭). 화장실의 실내장면 사진을 촬영하고 구축하는 것은 분명 어려운(불가능한) 일이다. 이렇게 내부공간의 촬영이 어려우나 실내 POI 데이터의 세부 구축이 필요한 화장실 같은 공간의 POI 데이터는 수동으로 구축할 수도 있다.
Figure pat00017
이는 예를 들어 다양한 연구실이 모여 있는 실내공간 데이터에서도 살펴볼 수 있듯, 구조설계 연구실, 수문학 연구실, 공간정보 연구실의 이름으로 구체적으로 구축되어야 사용자 편의성을 높일 수 있기 때문이다. 실용화 단계에서는 실내공간 진입구에 텍스트나 심볼 명패가 있는 경우 이것이 촬영된 사진을 OCR로 읽어들여 세부 시맨틱 정보를 구축할 수 있을 것이다.
나아가 본 발명에서는 실내장면 사진에서 추출한 POI명(즉 시맨틱 정보)과 실내 POI 데이터 위치기준 매칭을 한다.
도 4a는 특정 위치(초록색 구로 표시)에서 촬영된 실내장면 사진이 실제로 어느 정도의 공간 영역을 포함하는지를 나타낸 것이다. 스마트폰 카메라의 평균 시야각 70°와 스마트폰 카메라의 시야 방향, 시야의 장애물로 작용하는 실제 벽체를 고려하기 위해 Isovist 분석의 일종인 VAE(Visual Access and Exposure) 분석 결과, 스마트폰 카메라의 가시영역은 도 4a에 표현한 사각형의 영역과 같다. 즉 도 4a에 표현한 원 내부의 사각형 가시영역은 도 4b의 사진에 나타난 공간적 영역을 표현한다.
상기 도 4b에 나타나는 해당 공간은, 실제로 벽으로 둘러 쌓인 더 큰 공간(폴리곤)에 포함된다. 따라서 사진에서 추출한 시맨틱 정보(속성정보)를 이용해 실내 폴리곤 데이터가 포함하는 POI 데이터의 속성정보를 업데이트 할 수 있다. 이 때 앞서 얻은 사진의 AR기반의 위치 정보를 이용해 시맨틱 정보를 실내공간 데이터(이미 위치정보를 가진 POI포함)에 위치기준으로 매칭한다(도 5 참조).
다시 말해 사진이 촬영된 위치 포인트를 포함하는 실내 폴리곤 데이터를 찾으면 최종적으로 닫힌 공간 내에서 취득한 사진을 이용해 실내공간 데이터의 해당 영역의 POI를 업데이트 할 수 있다.
이러한 매칭방법을 사용하면 AR 기술로 추정한 사용자의 위치와 실제 사용자의 위치 오차가 어느 정도 있더라도 매칭 결과에 영향을 주지 않는다. 이 때 주의해야 할 점은, 일반 벽체와 달리 유리창이나 유리벽이 가시영역에 포함될 경우, 그 너머의 공간도 가시영역에 포함된다는 점이다.
그러나 상술한 방법만으로는 기존 실내공간 데이터의 POI를 완벽히 업데이트 할 수 없다. 도 6a의 실내공간 데이터에서 가운데의 넓고 큰 공간(노란색으로 표시)은 하나의 폴리곤이며, 해당 폴리곤은 하나의 POI 데이터를 가지고 있다. 그러나 해당 공간에서 촬영된 여러 장의 사진들(도 6b)은 각각 다른 시맨틱 정보(속성정보)를 담고 있다. 이처럼 실내공간 데이터 상 하나의 폴리곤이 실제로는 여러 가지 성격의 다양한 공간을 포함하는 경우에는 실내공간 데이터의 POI를 어떤 시맨틱 정보(속성정보)로 업데이트 해야 할지 결정하기 어렵다.
본 발명에서는 기존 실내공간 데이터에서 이러한 넓고 큰 공간(이하 오픈 스페이스)를 가상으로 분할하여 여러 개의 폴리곤을 생성하고, 각 폴리곤에 null 값을 갖는 POI를 생성하여 사진에서 추출한 시맨틱 데이터를 부여하고 업데이트 할 수 있도록 한다. 이를 통해 POI 업데이트의 정교화는 물론, 부가적으로 실내공간 데이터 자체를 정교화하여 그 효용을 높일 수 있다.
이에 실내 POI 데이터 업데이트모듈(13)은 정교화한 실내공간 데이터에 시맨틱 정보를 위치 기준 매칭하여 실내 POI 데이터의 속성을 업데이트하고 추가 구축하는데, 이러한 업데이트 과정은 최종적으로 컴퓨터로 수행하기 위해 프로그램 언어를 통해 알고리즘으로 코딩한 프로그램이고, 다시 말해 이러한 프로그램은 상기 정교화한 실내공간 데이터와 시맨틱 정보를 입력자료로 하면서 공간 속성 탐지 장치(10) 또는 저장 장치(30)에 저장되어 실내 POI 데이터 업데이트모듈(13)이 공간 속성 탐지 장치(10) 또는 저장 장치(30)에 입력저장된 입력자료와 상기 프로그램을 이용하여 실내 POI 데이터의 속성을 업데이트하게 되는 것이다.
상술한 바와 같이 실내공간 데이터 상 하나의 폴리곤이 실제로는 여러 가지 성격의 다양한 공간을 포함할 수 있기에 실내공간 데이터 오픈 스페이스 분할 및 POI 추가 구축 방법을 살펴보면 다음과 같다.
본 발명에서는 이동객체가 보행자임을 고려하여 통합도 3단계 지표값(수학식 1과 수학식 2 참조)을 이용해 오픈 스페이스를 탐지하고 분할 및 재병합한다. 이러한 통합도 3단계는 특정 공간에서 3단계 공간깊이(한공간에서 다른 공간을 도달하기 위해 통과해야 하는 최소 공간의 개수가 3개인 경우)까지만 계산한다. 실제로 실내공간 데이터(도 7a)를 공간구문분석하여, 공간별 통합도 3단계 지표(이하 통합도(3)) 값을 등간격(interval)으로 순위를 매겨 rainbow color map 방식으로 가시화 한 결과는 도 7b와 같다. 도 7에서 보이는 바와 같이, 오픈 스페이스가 실내공간에서 가장 통합도(3) 지표가 높은 것으로 나왔으며, 거꾸로 말해 공간구문분석을 통해 통합도(3) 지표가 가장 높은 공간을 오픈 스페이스로서 탐지할 수 있는 것이다. 앞서 말했듯 통합도 지표는 포괄적(global) 지표이기에 건물의 종류나 규모에 관계없이 주거 건물이나 같은 캠퍼스 건물 등 다양한 건물의 지표 값이 계산 가능하다.
이렇게 탐지된 실내공간 데이터의 오픈 스페이스를 적절히 분할해야 하는데, 본 발명에서는 우선적으로 기존 실내공간의 기하적 특성을 반영하기 위해 S-파티션(surface partition)을 생성한다. 벽체(Surface, 실내공간 데이터에서 폴리곤을 이루는 선분)를 연장하여 얻은 파티션이므로 S-파티션이라고 부른다(도 8 참조).
실내공간 데이터에서 탐지한 오픈 스페이스(도 9a 참조)에 대해 S-파티셔닝을 수행한 결과는 도 9b와 같다. 그 결과, 오픈 스페이스가 다수의 폴리곤으로 나뉘게 된다.
그러나 오픈 스페이스를 구성하는 폴리곤들의 개수가 많아, 이를 적절히 병합하여 의미 있는 공간 단위로 정의해 줄 필요가 있다. 세부 공간(오픈 스페이스 내의 폴리곤)들의 상대적 접근성을 비교하기 위해 도 9b 데이터에 대하여 통합도(3) 지표를 다시 산출한 결과 도 10a의 결과를 얻었다. 이에 대하여 오픈 스페이스 내의 폴리곤들을 통합도(3) 지표의 값이 가까운 것끼리 적절히 병합하여 결과적으로 기존 실내공간 데이터에 비해 정교화된 실내공간 데이터(도 10b 참조)를 얻을 수 있다. 다시 말해 도 10a에 도시된 바와 같이 통합도(3) 지표값이 높을수록 적색으로 표시하고 통합도(3) 지표값이 낮을수록 청색으로 표시하였는데, 모든 폴리곤 중에서 통합도(3) 지표값이 상위 30%로 탐지된 폴리곤 공간은 사람들의 통행이 필수적이거나 통행이 많이 일어나는 공간으로 병합하여 복도 또는 로비의 속성을 부여하고 나머지 분할된 폴리곤은 null 값을 갖는 POI를 생성하여 추후 실내장면 사진에서 추출한 시맨틱 정보를 부여하고 업데이트 할 수 있도록 한다.
본 발명에서 사용하는 실내공간 데이터는 앞서 말했듯 하나의 폴리곤마다 하나의 POI를 갖는다. 실내공간 데이터의 오픈 스페이스를 탐색하고 해당 오픈 스페이스를 적절히 분할 및 병합하여 수정된 실내공간 데이터를 얻는 과정에서, 오픈 스페이스가 갖는 POI는 추가 구축된다.
즉 일실시예로, 기존 실내공간 데이터의 오픈 스페이스는 하나의 폴리곤으로 구성되어 있으므로 POI가 1개(도 9a)이지만, S-파티션을 수행한 이후에는 작은 여러 개(39개, 도 9b)의 폴리곤으로 구성되고, 다시 통합도(3) 지표를 산출하여 작은 폴리곤들을 적절히 병합하여 최종적으로 오픈 스페이스를 7개(도 10b 참조)의 폴리곤으로 표현하고, 오픈 스페이스에 1개의‘복도’값을 갖는 POI와 6개의 ‘null’ 값을 갖는 POI를 부여하게 된다. 도 11b의 실제 공간에서 촬영된 다양한 사진에서 추출한 정보는 도 11a의 정교화된 실내공간 데이터(POI 데이터)에 매칭 가능하다. 도 3과 비교하여 정교화된 실내공간 데이터가 오픈 스페이스의 다양한 공간속성을 반영할 수 있어 POI 구축 및 업데이트에 더 적합하다는 사실을 확인할 수 있다.
이에 실내공간 데이터 정교화모듈(11)은 위치정보를 포함하고 있는 실내공간 데이터를 정교화하는데, 이러한 정교화 과정은 최종적으로 컴퓨터로 수행하기 위해 프로그램 언어를 통해 알고리즘으로 코딩한 프로그램이고, 다시 말해 이러한 프로그램은 상기 실내공간 데이터를 입력자료로 하고 상기 수학식 1과 수학식 2를 포함하면서 공간 속성 탐지 장치(10) 또는 저장 장치(30)에 저장되어 실내공간 데이터 정교화모듈(11)이 공간 속성 탐지 장치(10) 또는 저장 장치(30)에 입력저장된 입력 자료와 상기 프로그램을 이용하여 오픈 스페이스를 분할, 병합 및 POI의 추가 구축을 수행하게 되는 것이다.
10: 공간 속성 탐지 장치
11: 실내공간 데이터 정교화모듈
12: 시맨틱 정보 추출모듈
13: 실내 POI 데이터 업데이트모듈
20: 스마트폰
30: 저장 장치

Claims (8)

  1. (a) 실내공간 데이터 정교화모듈(11)이 위치정보를 포함하고 있는 실내공간 데이터를 정교화하는 단계(S10)와;
    (b) 스마트폰 카메라(20)가 실내장면 사진을 취득하고 해당 사진이 촬영된 위치를 AR 기반으로 추정하는 단계(S20)와;
    (c) 시맨틱 정보 추출모듈(12)이 상기 실내장면 사진을 입력 데이터로 하여 합성곱신경망(CNN)을 통해 상기 실내장면 사진의 시맨틱 정보(POI명 포함)를 추출하는 단계(S30) 및,
    (d) 실내 POI 데이터 업데이트모듈(13)이 상기 정교화한 실내공간 데이터에 상기 시맨틱 정보를 위치 기준 매칭하여 실내 POI 데이터의 속성을 업데이트하고 추가 구축하는 단계(S40)로 이루어지는 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법.
  2. 제 1 항에 있어서,
    상기 실내공간 데이터와 실내장면 사진의 매칭 기준은 실내공간 데이터의 위치정보와 AR 기반으로 추정한 실내장면 사진이 촬영된 위치인 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법.
  3. 제 1 항에 있어서,
    상기 CNN을 사전 트레이닝하기 위한 데이터셋은 Places 365 데이터셋 또는 다수의 사용자로부터 스마트폰 카메라를 통해 얻은 대량의 실내장면 사진인 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법.
  4. 제 3 항에 있어서,
    상기 데이터셋의 시맨틱 카테고리를 실내공간 데이터 코드 리스트에 의한 POI명과 매칭하는 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법.
  5. 제 1 항에 있어서,
    실내 POI는 실내공간에서 특정 위치에 있는 장소, 서비스, 시설 또는 이벤트를 포함하는 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법.
  6. 제 1 항에 있어서,
    상기 단계(a)에서 실내공간 데이터의 정교화는,
    (a1) 공간구문분석을 통해 실내공간에서 통합도 3단계 지표가 가장 높은 공간을 오픈 스페이스로서 탐지하는 단계와;
    (a2) 상기 탐지된 오픈 스페이스를 분할하여 다수의 폴리곤을 생성하기 위해 벽체를 연장하여 파티션을 얻는 S-파티셔닝을 수행하는 단계와;
    (a3) 다시 공간구문분석을 통해 상기 다수의 폴리곤 중에서 통합도 3단계 지표값이 상위 30%로 탐지된 폴리곤 공간은 사람들의 통행이 필수적이거나 통행이 많이 일어나는 공간(복도 또는 로비)이므로 병합하여 속성을 부여하는 단계, 및
    (a4) 병합되지 않은 나머지 분할된 폴리곤은 null 값을 갖는 POI를 생성하는 단계로 이루어지되,
    병합되지 않은 나머지 분할된 폴리곤에는 상기 단계(c)에서 실내장면 사진으로부터 추출한 시맨틱 정보를 부여하고 상기 단계(d)에서 실내 POI 데이터를 추가 구축하게 되는 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법.
  7. 제 6 항에 있어서,
    상기 통합도 3단계 지표(
    Figure pat00018
    , 한공간에서 다른 공간을 도달하기 위해 통과해야 하는 최소 공간의 개수가 3개인 경우)는 다음의 수학식,
    Figure pat00019
    (여기서,
    Figure pat00020
    ,
    Figure pat00021
    ,
    Figure pat00022
    , dij는 임의의 두 공간 i와 j사이의 최단 거리,
    Figure pat00023
    는 전체 공간심도, MDi는 공간평균심도, n은 공간의 개수, k는 i공간에 직접 연결된 공간의 수)을 이용하는 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법.
  8. 위치정보를 포함하고 있는 실내공간 데이터를 정교화하는 실내공간 데이터 정교화모듈(11)과,
    실내장면 사진을 입력 데이터로 하여 합성곱신경망(CNN)을 통해 상기 실내장면 사진의 시맨틱 정보(POI명 포함)를 추출하는 시맨틱 정보 추출모듈(12), 및
    상기 정교화한 실내공간 데이터에 상기 시맨틱 정보를 위치 기준 매칭하여 실내 POI 데이터의 속성을 업데이트하고 추가 구축하는 실내 POI 데이터 업데이트모듈(13)을 포함하는 공간 속성 탐지 장치.
KR1020210050129A 2021-04-16 2021-04-16 스마트폰 카메라를 이용한 cnn과 ar기반의 공간 속성 탐지 방법 및 그 장치 KR102503797B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210050129A KR102503797B1 (ko) 2021-04-16 2021-04-16 스마트폰 카메라를 이용한 cnn과 ar기반의 공간 속성 탐지 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210050129A KR102503797B1 (ko) 2021-04-16 2021-04-16 스마트폰 카메라를 이용한 cnn과 ar기반의 공간 속성 탐지 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20220143517A true KR20220143517A (ko) 2022-10-25
KR102503797B1 KR102503797B1 (ko) 2023-02-23

Family

ID=83804031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210050129A KR102503797B1 (ko) 2021-04-16 2021-04-16 스마트폰 카메라를 이용한 cnn과 ar기반의 공간 속성 탐지 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102503797B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200013155A (ko) * 2018-07-19 2020-02-06 네이버랩스 주식회사 관심 영역 변화를 검출하는 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200013155A (ko) * 2018-07-19 2020-02-06 네이버랩스 주식회사 관심 영역 변화를 검출하는 방법 및 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
가칠오 저, ‘SLI 와 벡터 지도의 융합을 이용한 POI 데이터 구축 기법 연구,’ 2013, PhD Thesis, 서울대학교 대학원(2013.) 1부.* *
가칠오. SLI 와 벡터 지도의 융합을 이용한 POI 데이터 구축 기법 연구. 2013. PhD Thesis. 서울대학교 대학원.
문지윤, 이범희 공저, ‘Semantic Scene Graph Map 기반의 실내 장면 분류,’ 제어로봇시스템학회 국내학술대회 논문집, 2018, 216-217 (2018.05.17.) 1부.* *

Also Published As

Publication number Publication date
KR102503797B1 (ko) 2023-02-23

Similar Documents

Publication Publication Date Title
EP3971757A1 (en) Automated identification and use of building floor plan information
US10297070B1 (en) 3D scene synthesis techniques using neural network architectures
WO2021175050A1 (zh) 三维重建方法和三维重建装置
US9488492B2 (en) Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
KR20200040665A (ko) 컨볼루션 신경망을 이용하여 poi 변화를 검출하기 위한 시스템 및 방법
Xu et al. Application of a graph convolutional network with visual and semantic features to classify urban scenes
WO2021249114A1 (zh) 目标跟踪方法和目标跟踪装置
CN110516707B (zh) 一种图像标注方法及其装置、存储介质
CN115100643B (zh) 融合三维场景语义的单目视觉定位增强方法和设备
CN114494436A (zh) 室内场景定位方法及装置
CN116340563A (zh) 图形匹配的城市场景地理位置定位方法
Li et al. POI detection of high-rise buildings using remote sensing images: A semantic segmentation method based on multitask attention Res-U-Net
Balaska et al. Self-localization based on terrestrial and satellite semantics
KR20220027000A (ko) 지리적 위치점들의 공간 관계를 추출하는 방법 및 장치
Claridades et al. Developing a data model of indoor points of interest to support location-based services
KR102503797B1 (ko) 스마트폰 카메라를 이용한 cnn과 ar기반의 공간 속성 탐지 방법 및 그 장치
KR101640758B1 (ko) 실내외 연속 지오코딩 장치 및 그 방법
Sun et al. Automatic building age prediction from street view images
Anh et al. Preliminary result of 3d city modelling for Hanoi, Vietnam
CN115905442A (zh) 基于认知图谱的无人驾驶航空器地貌勘测方法、系统和介质
Hu et al. Computer vision for sight: Computer vision techniques to assist visually impaired people to navigate in an indoor environment
Kim et al. Developing a method to detect indoor spatial entities in omnidirectional images for constructing IndoorGML data
CN110569323B (zh) 一种室内导航地标提取方法
Kim et al. Developing a method to generate IndoorGML data from the omni-directional image
Kim et al. A Method for Generating Network-based Indoor Topology Data using an Omnidirectional Image Dataset

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant