KR20210108044A - 디지털 트윈 기술을 위한 영상 분석 시스템 - Google Patents

Abstract

본 발명은 실제 대상을 가상의 공간에 구성하여 시뮬레이션을 수행하는 디지털 트윈 기술에 적용할 수 있는 가상의 인간 객체를 구현하기 위하여, 영상 분석을 기반으로 인간의 움직임을 추적하면서 그 자세에 대한 정보까지 수집하고, 이를 토대로 디지털 트윈 기술에 적용할 수 있는 가상의 인간 객체의 움직임과 자세를 생성하도록 한 디지털 트윈 기술을 위한 영상 분석 시스템에 관한 것으로서, 실제 영상을 분석하여 영상 내 객체들의 이동 경로와 스켈레톤 정보 수준의 자세 정보를 함께 저장한 후 이러한 저장 객체 정보의 상황별 분포를 기준으로 이동 경로와 자세 정보를 가지는 가상 객체들을 생성할 수 있도록 함으로써 디지털 트윈 기반 시뮬레이션에 현실에 근접한 가상적 인간 객체들의 움직임을 제공할 수 있어 디지털 트윈 기반 시뮬레이션의 품질을 높일 수 있는 효과가 있다.

Description

디지털 트윈 기술을 위한 영상 분석 시스템{Video analysis system for digital twin technology}

본 발명은 디지털 트윈 기술을 위한 영상 분석 시스템에 관한 것으로서, 더욱 상세히는 실제 대상을 가상의 공간에 구성하여 시뮬레이션을 수행하는 디지털 트윈 기술에 적용할 수 있는 가상의 인간 객체를 구현하기 위하여, 영상 분석을 기반으로 인간의 움직임을 추적하면서 그 자세에 대한 정보까지 수집하고, 이를 토대로 디지털 트윈 기술에 적용할 수 있는 가상의 인간 객체의 움직임과 자세를 생성하도록 한 디지털 트윈 기술을 위한 영상 분석 시스템에 관한 것이다.

디지털 트윈 기술은 물리적 사물을 컴퓨터의 가상 공간에 실제와 동일하게 가상 모델로 형성한 후 이를 시뮬레이션하여 그 결과를 예측하는 기술로서, 항공 산업에서 도입되기 시작한 이후 교통, 물류, 도시 등으로 확장되고 있다.

이와 같이 가상공간상에 실제와 동일한 가상의 시설물을 구축하고 해당 시설물을 이용하는 각종 상황을 가상 환경에서 시뮬레이션함으로써 최적의 활용을 위한 운용 방식과 개선 내용을 파악하는 등의 효과를 얻을 수 있으며, 이러한 기술은 4차 산업혁명의 핵심으로 간주되고 있는 실정이다.

특히 다양한 3D 모델링 기술과 각종 가상환경에 대한 가상현실과 물리 엔진 등의 기술이 비약적으로 발전하고 있으며, 도시 규모의 가상현실 환경까지도 구축되어 다양한 서비스에 활용되고 있는 실정이므로 이러한 디지털 트윈에 대한 기술 개선에 많은 관심이 집중되고 있다.

하지만, 이러한 디지털 트윈 기술을 통한 시뮬레이션이 효과적으로 진행되기 위해서는 그 대상이 되는 각종 환경에 대한 정보가 정확하게 적용되어야 하는데, 건축물이나 사회 기반 시설, 도시 등에 대한 시뮬레이션에서 반드시 필요한 것이 인간 객체들의 가상적 움직임이라 할 수 있다.

현재에는 가상의 인간 객체들에 대한 통계적 이동량이나 객체의 이동 궤적 정도의 정보만 활용되었으나, 디지털 트윈 기술의 고도화를 위해서는 좀 더 정밀한 가상 객체에 대한 정보가 요구되고 있는 실정이다.

한국 등록특허 제10-1989982호, [디지탈 트윈 기반의 실내 공간 분석을 통한 모델링 시스템과 모델링 방법] 한국 등록특허 제10-1325401호, [가상 객체의 이동 경로 생성 장치 및 방법]

전술한 문제점을 해결하기 위한 본 발명의 목적은 실제 영상을 분석하여 영상 내 객체들의 이동 경로를 추적함과 아울러 해당 객체들의 자세를 관절 구분에 따른 스켈레톤 정보로 추출함으로써 실제 객체의 이동 경로와 자세를 포함하는 구체적인 정보를 수집하되, 이를 학습하도록 하여 영상 내 객체의 자세 정보 구분에 대한 성능을 높이고, 객체의 자세를 기반으로 영상 내 객체들이 군집, 소실, 폐색되는 경우에도 동일 객체를 유지할 수 있도록 함으로써, 현실 세계의 인간 객체에 대한 정보를 효과적으로 수집할 수 있도록 하는 것이다.

나아가, 본 발명의 다른 목적은 이러한 실제 인간 객체의 이동 및 자세에 대한 정보가 수집되는 상황에 대한 분류 정보를 함께 저장한 후 디지털 트윈에 적용할 가상 인간 객체를 저장된 분류별 객체 정보를 기반으로 생성함으로써 통계적 객체의 움직임과 실제 인간 객체의 구체적 움직임에 따른 돌발적 객체의 움직임까지도 포함된 현실적인 환경을 반영할 수 있도록 하여 디지털 트윈 기술의 성능을 개선할 수 있도록 한 것이다.

본 발명의 실시예에 따른 디지털 트윈 기술을 위한 영상 분석 시스템은 카메라나 영상 데이터베이스를 통해 수집한 영상에서 객체를 선별하고 선별된 객체에 대한 자세를 신경망 모델을 통해 학습하며, 학습 후 얻어진 신경망 모델을 이용하여 객체에 대한 자세를 분류하여 객체의 자세를 스켈레톤 정보를 포함하는 자세 정보로 산출한 후 해당 객체의 식별자와 이동경로 및 자세 정보를 포함하는 객체 정보를 영상분석 데이터베이스에 저장하고, 해당 객체가 등장한 일자, 시간, 날씨 및 객체 등장에 영향을 줄 수 있는 것으로 미리 선별된 환경 조건 중 적어도 하나 이상의 분류 기준에 따라 상기 저장된 객체 정보 분류 정보를 상기 영상분석 데이터베이스에 저장하며, 영상 분석 데이터베이스에 저장된 객체 정보를 기반으로 분류 기준별 가상 객체를 생성하여 가상 객체 데이터베이스에 저장하는 영상 분석 기반 객체 생성 장치와, 시뮬레이션 대상에 대한 가상현실 모델 데이터를 가상현실 환경에 구성하고, 영상 분석 기반 객체 생성 장치에 시뮬레이션 조건에 따른 가상 객체들을 요청하며, 그에 따라 가변성을 가지는 분류별 가상 객체 정보를 수신하여 가상현실 환경에 적용하는 디지털 트윈 기반 시뮬레이션 장치를 포함한다.

일례로서, 영상 분석 기반 객체 생성 장치는 카메라나 영상 데이터베이스를 통해 영상을 수집하는 영상 수집부와, 영상 수집부에서 수집된 영상으로부터 관심 영역을 선별하여 해당 관심 영역에 존재하는 객체를 선별하는 객체 선별부와, 객체 선별부에서 선별된 객체에 대한 자세를 신경망 모델을 통해 학습시키는 자세 학습부와, 자세 학습부를 통해 학습된 가중치가 적용된 신경망 모델을 통해서 객체 선별부에서 선별된 객체의 자세를 분류하는 자세 분류부와, 객체 선별부에서 선별된 복수의 객체들에 각각 식별자를 부여하여 지속적으로 복수 객체들을 동시에 추적하며, 자세 분류부에서 분류된 각 객체별 자세를 추적 객체들에 연동시키며 군집, 소실 또는 폐색된 객체의 재등장 시 분류된 자세를 토대로 이전 객체 식별자를 유지시키거나 신규 생성하며 추적된 객체들에 대한 객체별 식별자와 이동경로 및 자세 정보를 포함하는 객체 정보를 영상분석 데이터베이스에 저장하는 객체 식별 및 추적부를 포함할 수 있다.

한편, 객체 식별 및 추적부는 추적 객체가 등장한 일자, 시간, 날씨 및 객체 등장에 영향을 줄 수 있는 것으로 미리 선별된 환경 조건 중 적어도 하나 이상의 분류 기준에 따라 상기 저장된 객체 정보에 분류 정보를 더 포함시켜 영상분석 데이터베이스에 저장할 수 있다.

더불어, 영상 분석 데이터베이스에 저장된 객체 정보를 기반으로 분류 기준별 가상 객체를 생성하되 해당 분류 기준별 가상 객체의 경로와 자세의 분류 범위 내에서 자세와 경로에 대한 실제 객체들의 분포 비율에 따라 유사한 경로와 자세를 가지는 가상 객체를 생성한 후 가상 객체 데이터베이스에 저장하는 가상 객체 생성부를 포함할 수 있다.

나아가, 가상 객체 생성부는 디지털 트윈 기반 시뮬레이션 장치로부터 시뮬레이션 조건에 따른 가상 객체들이 요구되면, 저장된 가상 객체들 중 시뮬레이션 조건에 따른 분류별 가상 객체들을 분류별 분포에 맞추어 선별하여 제공할 수 있다.

본 발명의 실시예에 따른 디지털 트윈 기술을 위한 영상 분석 시스템은 실제 영상을 분석하여 영상 내 객체들의 이동 경로와 스켈레톤 정보 수준의 자세 정보를 함께 저장한 후 이러한 저장 객체 정보의 상황별 분포를 기준으로 이동 경로와 자세 정보를 가지는 가상 객체들을 생성할 수 있도록 함으로써 디지털 트윈 기반 시뮬레이션에 현실에 근접한 가상적 인간 객체들의 움직임을 제공할 수 있어 디지털 트윈 기반 시뮬레이션의 품질을 높일 수 있는 효과가 있다.

특히, 실제 인간 객체의 경로와 움직임, 자세 정보를 세부 분류별로 구분한 후 이를 기반으로 가상 객체에 대한 정보를 생성하므로 통계적 의미를 가진 인간 객체들의 움직임은 물론이고 돌출행동이나 일반적으로 예상하지 못한 인간 객체들의 특이 행동에 대한 정보까지도 반영할 수 있어 디지털 트윈 기반 시뮬레이션의 완성도를 극히 높일 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 디지털 트윈 기술을 위한 영상 분석 시스템의 구성을 보인 개념도이다.
도 2는 본 발명의 실시예에 따른 영상 분석 기반 객체 생성 장치의 구성을 보인 구성도이다.
도 3은 본 발명의 실시예에 따른 이미지 분석 신경망에 대한 개념도이다.
도 4는 본 발명의 실시예에 따른 영상 내 관심 객체 선별을 위한 신경망의 개념도이다.
도 5는 본 발명의 실시예에 따른 영상 내 객체의 자세 판정을 위한 신경망의 개념도이다.
도 6은 본 발명의 실시예에 따른 영상 내 객체의 자세 판정 결과를 예시한 예시도이다.
도 7은 본 발명의 실시예에 따른 동작 과정을 보인 순서도이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

본 발명의 실시예의 영상 분석 기반 객체 생성 장치 및 디지털 트윈 기반 시뮬레이션 장치는 연산이 가능한 다양한 단말 장치나 네트워크 기능을 구비한 서버의 형태일 수 있다. 이러한 장치들이 서버로 구성될 경우 해당 서버는 일반적으로 인터넷과 같은 개방형 컴퓨터 네트워크를 통하여 불특정 다수 클라이언트 및/또는 다른 서버와 연결되어 있고, 클라이언트 또는 다른 서버의 작업수행 요청을 접수하고 그에 대한 작업 결과를 도출하여 제공하는 컴퓨터 시스템 및 그를 위하여 설치되어 있는 컴퓨터 소프트웨어(웹서버 프로그램)를 뜻하는 것이다. 그러나, 전술한 서버 프로그램 이외에도, 서버상에서 동작하는 일련의 응용 프로그램(Application Program)과 경우에 따라서는 내부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다. 이러한 서버는 일반적인 서버용 하드웨어에 도스(DOS), 윈도우(Windows), 리눅스(Linux), 유닉스(UNIX), 매킨토시(Macintosh) 등의 운영체제에 따라 다양하게 제공되고 있는 서버 프로그램을 이용하여 구현될 수 있으며, 클라우드 방식으로 동작하는 하나 이상의 서버로 구현될 수 있다.

나아가, 기술의 발전에 따라 이러한 영상 분석 기반 객체 생성 장치나 디지털 트윈 기반 시뮬레이션 장치는 서버가 아닌 단말로 구성될 수 있는데, 스마트 폰, 타블렛 PC, 노트북, 울트라북, 미니 PC, 마이크로 콘트롤러 기반 단말 장치, 가상 단말 장치, 디스플레이 일체형 컴퓨터, POS 단말 기반 장치, PDA(Personal Digital Assistants), MID(Mobile Internet Device), PMP(Portable Multimedia Player)등을 기본으로 하여 구성되는 디지털 기기로서 사용자의 입력을 받아들이고 사용자에게 정보를 표시하며, 연산과 저장 기능 및 통신 기능을 구비한 다양한 단말일 수 있다.

이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.

도 1은 본 발명의 실시예에 따른 디지털 트윈 기술을 위한 영상 분석 시스템의 구성을 보인 개념도이다.

도시된 바와 같이, 디지털 트윈 기술을 위한 영상 분석 시스템(10)은 영상 분석 기반 객체 생성 장치(100)와 디지털 트윈 기반 시뮬레이션 장치(200)로 구성된다.

영상 분석 기반 객체 생성 장치(100)는 기본적으로 객체와 각 객체에 대한 자세 정보가 확보된 영상(즉 태깅된 학습 데이터)을 통해서 객체 선별, 객체의 자세 분류에 대한 학습을 수행할 수 있는데, 다양한 신경망 모델이 활용될 수 있다.

한편, 이와 같은 학습을 통해서 신경망 모델이 확립되면 해당 신경망 모델을 분류기로 활용하여 영상에서 객체를 구분하고, 해당 객체에 대한 자세 정보를 분류할 수 있는데, 자세 정보는 관절에 대한 정보를 포함하는 스켈레톤 정보와 해당 자세에 대한 분류 결과일 수 있다.

이와 같은 영상 분석 기반 객체 생성 장치(100)는 영상으로부터 수집한 영상에서 객체를 선별하고 선별된 객체에 대한 자세를 신경망 모델을 통해 학습하며, 학습 후 얻어진 신경망 모델을 이용하여 객체에 대한 자세를 분류하여 객체의 자세를 스켈레톤 정보를 포함하는 자세 정보로 산출한 다음 해당 객체의 식별자와 이동경로 및 자세 정보를 포함하는 객체 정보를 영상분석 데이터베이스(101)에 저장한다.

한편, 이렇게 영상 분석 데이터베이스(101)에 저장되는 객체에 대한 정보는 향후 디지털 트윈 기반 시뮬레이션 장치(200)에 제공할 가상적인 인간 객체 생성을 위한 기본 정보가 된다.

따라서, 수집된 객체 정보를 좀 더 각 상황에 맞추어 분류해 둘 필요가 있으므로, 영상 분석 기반 객체 생성 장치(100)는 추적 객체가 등장한 일자, 시간, 날씨 및 객체 등장에 영향을 줄 수 있는 것으로 미리 선별된 환경 조건(국경일, 세일 기간, 방학, 개학, 기념일, 행사 등) 중 적어도 하나 이상의 분류 기준에 따라 상기 저장된 객체 정보에 분류 정보를 더 포함시켜 상기 영상분석 데이터베이스(101)에 객체 정보로서 저장한다.

나아가, 영상 분석 기반 객체 생성 장치(100)는 영상 분석 데이터베이스(101)에 저장된 객체 정보를 기반으로 분류 기준별 가상 객체를 생성하여 가상 객체 데이터베이스(102)에 저장하고, 디지털 트윈 기반 시뮬레이션 장치(200)의 요청에 따라 적절한 가장 객체들을 선별하여 제공해 줄 수 있다. 이렇게 제공되는 가상 객체는 디지털 트윈 기반 시뮬레이션 장치(200)에서 객체로 활용할 수 있는 시뮬레이션 객체관련 포맷 정보로 전달될 수 있다.

디지털 트윈 기반 시뮬레이션 장치(200)는 시뮬레이션 대상에 대한 가상현실 모델 데이터를 구비한 시뮬레이션 대상 데이터베이스(201)와 연동하여 해당 가상현실 모델 데이터를 가상현실 환경에 구성하고, 영상 분석 기반 객체 생성 장치(100)에 시뮬레이션 조건(객체 분류 기준으로서 일자, 시간, 날씨 및 객체 등장에 영향을 줄 수 있는 것으로 미리 선별된 환경 조건)에 따른 가상 객체들을 요청하고, 그에 따라 가변성을 가지는 분류별 가상 객체 정보를 수신하여 가상현실 환경에 적용한다. 여기서, 가변성을 가지는 분류별 가상 객체 정보는, 영상 분석 기반 객체 생성 장치(100)로부터 전달받는 가상 객체들이 완전히 동일한 자세와 경로를 가지는 객체들이 아닌 실제 객체와 유사하게 각각 약간의 가변성을 가지는 객체라는 의미로서, 영상 분석 기반 객체 생성 장치(100)는 통계적 분석에 따른 분포에 맞추어 가상 객체들을 생성하거나 실제 객체 정보를 유사하게 모사하여 생성하되, 분포에 맞추어 평균적인 객체 정보는 물론이고 일반적이지 않은 객체 정보까지도 적절히 생성하여 제공한다. 예컨대 공항에 대한 가상 객체의 경우 알려져 있는 동선에 따라 이동하는 객체보다는 알려진 동선을 기반으로 대기 장소, 다양한 주변 상점, 안내 데스크, 화장실 등을 배회하는 객체들이 더 많으므로 이를 반영하거나, 특이하게 특정 장소를 배회하거나 직원과 같은 객체의 특이 움직임 등도 반영할 수 있게 된다.

이러한 구성을 도 2를 통해서 좀 더 상세히 살펴본다.

도 2는 본 발명의 실시예에 따른 영상 분석 기반 객체 생성 장치(100)의 구성을 보인 구성도이다.

상기 영상 분석 기반 객체 생성 장치(100)는 카메라나 영상 데이터베이스와 같은 영상 소스(105)를 통해 영상을 수집하는 영상 수집부(110)와, 영상 수집부(110)에서 수집된 영상으로부터 관심 영역을 선별하여 해당 관심 영역에 존재하는 객체를 선별하는 객체 선별부(120)와, 객체 선별부(120)에서 선별된 객체에 대한 자세를 신경망 모델을 통해 학습시키는 자세 학습부(130)와, 자세 학습부(130)를 통해 학습된 가중치가 적용된 신경망 모델을 통해서 객체 선별부(120)에서 선별된 객체의 자세를 분류하는 자세 분류부(140)와, 객체 선별부(120)에서 선별된 복수의 객체들에 각각 식별자를 부여하여 지속적으로 복수 객체들을 동시에 추적하며, 자세 분류부(140)에서 분류된 각 객체별 자세를 추적 객체들에 연동시키며 군집, 소실 또는 폐색된 객체의 재등장 시 분류된 자세를 토대로 이전 객체 식별자를 유지시키거나 신규 생성하며 추적된 객체들에 대한 객체별 식별자와 이동경로 및 자세 정보를 포함하는 객체 정보를 영상분석 데이터베이스에 저장하는 객체 식별 및 추적부(150)를 포함한다.

여기서, 객체 선별부(120)와 자세 학습부(130)는 다양한 신경망 모델이 적용될 수 있으며, 객체 선별부(120)는 이미 알려져 가중치가 확립된 분류 모델을 이용할 수 있고, 필요한 경우 이에 대해서도 별도의 학습 과정을 거칠 수 있다. 자세 학습부(130)는 영상 소스(105)를 통한 실시간 혹은 비실시간 영상 정보(태깅된 학습 정보일 수 있음)를 이용하여 자세를 학습하며, 학습이 완료된 경우 자세 분류부(140)에서 학습된 분류 모델을 적용할 수 있고, 이 경우 영상 소스(105)를 통해서 실시간 혹은 비실시간 영상을 분석하며 그 결과를 객체 식별 및 추적부(150)에 제공한다. 이러한 구체적인 신경망 모델에 대한 내용은 이후 도 3 내지 도 5를 통해서 설명한다.

한편, 도시된 영상 분석 기반 객체 생성 장치(100)의 객체 식별 및 추적부(150)는 추적 객체가 등장한 일자, 시간, 날씨 및 객체 등장에 영향을 줄 수 있는 것으로 미리 선별된 환경 조건 중 적어도 하나 이상의 분류 기준에 따라 상기 영상분석 데이터베이스(101)에 저장된 객체 정보에 분류 정보를 더 추가하여 저장한다.

또한, 영상 분석 기반 객체 생성 장치(100)는 영상 분석 데이터베이스(101)에 저장된 객체 정보를 기반으로 분류 기준별 가상 객체를 생성하되 해당 분류 기준별 가상 객체의 경로와 자세의 분류 범위 내에서 자세와 경로에 대한 실제 객체들의 분포 비율에 따라 유사한 경로와 자세를 가지는 가상 객체를 생성한 후 가상 객체 데이터베이스(102)에 저장하는 가상 객체 생성부(160)를 포함한다.

이러한 상기 가상 객체 생성부(160)는 디지털 트윈 기반 시뮬레이션 장치(200)로부터 시뮬레이션 조건에 따른 가상 객체들이 요구되면, 저장된 가상 객체들 중 시뮬레이션 조건에 따른 분류별 가상 객체들을 분류별 분포에 맞추어 선별하여 제공한다.

도 3 내지 도 5는 본 발명의 실시예에 따른 객체 선별부(120), 자세 학습부(130) 및 자세 분류부(140)에 적용되는 신경망에 대한 것이다.

도 3은 본 발명의 실시예에 따른 이미지 분석 신경망에 대한 개념도이다.

도시된 구성은 신경망 모델 중 이미지 분석에 특화된 합성곱 신경망((Convolutional Neural Networks: CNN))에 대한 것으로, 알려져 있는 VGG16 CNN의 구성을 보인 것이다.

도시된 바와 같이 CNN의 각 계층의 산출결과를 영상으로 나타낸 것을 특징맵(feature map)이라고 한다. 입력 계층의 경우 특징맵은 입력 영상인 RGB 세 채널의 행렬이 된다. 은닉 계층의 특징맵은 합성곱 및 활성화 함수 등으로 산출된 영상들로서, 각 영상 내의 픽셀들은 특징맵의 특징으로 간주될 수 있다. 각 특징맵은 다음과 같은 과정을 거쳐 산출된다. 특징맵 내의 신경세포(뉴런: neuron) 또는 픽셀들은 주변 인접한 이웃 신경세포들의 일부분들(수용장: receptive field)과, 오차역전파법으로 얻어진 가중치 행렬과의 합성곱(convolution) 연산을 거친 후, 최대/평균/L2 풀링 등 다양한 변환 및 비선형 함수(예 : 시그모이드, ReLU) 연산 과정 후에 새로운 특징맵이 생성하게 된다. 참고로 풀링 과정은 수용장의 응답을 하나로 요약함으로써 보다 강인한 특징(특징맵 내의 픽셀)을 생성할 수 있게 된다.

연속된 합성곱과 풀링 과정을 거치면, 초기 특징 계층 구조가 구성되며, 이는 여러 지도학습 방식에 의한 완전연결계층들(Fully Connected Layers: FCN)을 통해 미세조정되어 여러 컴퓨터비전 목적에 따라 결과를 도출한게 된다. 따라서 최종 계층은 여러 다른 활성화 함수를 통해 각 출력 뉴런에 조건부 확률값 결과를 산출하게 된다. 전체적인 신경망은 평균자승오차(Mean Squared Error: MSE), 교차 엔트로피(cross-entropy) 등 목적함수를 최적화는 과정 및 오차역전파법에서의 확률적 경사하강법(Stochastic Gradient Descent: SGD)을 통하여 학습된다. 예를 들어 위 그림 2의 VGG16의 경우 총 13개의 합성곱 계층과, 3개의 완전연결계층, 그리고 최종적으로 소프트맥스(softmax) 분류 계층으로 이루어진다. 구체적으로 합성곱 특징맵은 3x3 합성곱 필터를 통하여, 그리고 특징맵의 해상도는 2-폭(stride) 최대풀링 계층을 통해 낮아져 산출된다. 물론 입력영상의 크기가 다를 경우 크기변환 또는 영상 자르기 등의 전처리 과정이 필요하다.

이러한 CNN은 다른 종류의 인공 지능 기법들에 대비하여 영상 분석에 효율적이므로 객체 식별이나 장면 컨텍스트 분석에 주로 활용되고 있다.

본 발명의 객체 선별부(120)는 이러한 CNN을 기반으로 하되, 도 4와 같이 관심영역에 대한 객체 검출 알고리즘을 활용한다.

도 4는 본 발명의 실시예에 따른 영상 내 관심 객체 선별을 위한 신경망의 개념도이다.

일반적인 객체 검출에서는 영상 내에 존재하는 객체들의 위치를 찾고, 분류하여, 그 분류 신뢰도(확률)와 함께 사각형의 바운딩 박스로 레이블링하는 것을 목표로 한다. 이러한 객체 검출 프레임워크는 (1) 객체 영역을 제안한 후 각 제안 영역에 대하여 객체 카테고리를 분류하는 전통적인 방법과, (2) 객체 검출을 회귀분석 및 분류 문제로 간주하여, 카테고리 분류 및 위치 등 최종 결과를 하나의 통일된 프레임워크 관점에서 도출하는 방법으로 구분할 수 있다.

영역 제안 기반의 대표적인 방법들로는 R-CNN, SPP-net, 고속 R-CNN, 초고속 R-CNN , R-FCN, FPN 및 마스크 R-CNN 등이 있다. 회귀분석/분류 기반 방법으로는 MultiBox, AttentionNet, G-CNN, YOLO, SSD, YOLOv2, DSSD 및 DSOD 등이 있다. 본 발명의 객체 선별부(120)는 딥러닝 기반 객체 검출의 큰 도약을 이루게 한 영역 제안 기반 접근방법 중 하나인 R-CNN (Regions with CNN features) 방법을 이용한다.

바운딩 박스 후보들의 품질을 향상시키고 높은 수준의 특징을 추출하기 위해 딥러닝의 구조를 더 심층화하는 것이 필요하다. 이에 도달하기 위한 R-CNN은 2014년 Ross Girshick에 의해 제안되었으며, PASCAL VOC 2012에서 이전 최고 결과 (DPM HSC)보다 30% 이상 개선된 53.3 %의 평균 정밀도(mAP)를 얻었다. 도시된 도 4는 R-CNN의 흐름도를 보여준다.

먼저, R-CNN은 각 이미지에 대해 약 2천 개의 영역 제안을 생성하기 위한 선택적 검색을 채택한다. 선택적 검색 방법은 보다 정확한 후보를 제공하기 위해 간단한 상향식 그룹화 및 돌극성(saliency) 신호에 의존한다. 선택적 검색을 통하여 임의 크기의 박스들이 빠르게 검출되고 물체 검출에서 탐색 공간이 감소된다.

이후 CNN 기반 특징 추출을 진행한다. 이 단계에서 각 제안 영역은 와핑 또는 잘림을 통하여 고정 크기로 전환되고, CNN 모듈을 통하여 최종 표현으로서 4096 차원의 특징이 추출된다. CNN의 고수준 학습능력, 표현력, 계층적 구조 때문에 각 제안 영역에 대하여 추상적, 의미론적, 강인한 특징 기반 표현이 가능해진다.

그 다음, 분류 및 위치 발견이 진행된다. 여러 클래스에 대해 사전훈련된 특정 카테고리용 선형 SVM(Support Vector Machine)을 사용하여 여러 제안 영역들(+: 객체, -: 배경)에 대한 점수가 결정된다. 이 점수화된 영역들은 바운딩 박스 회귀분석으로 조정되어 탐욕적 NMS(greedy Non-Maximum Suppression) 적용 후 최종 바운딩 박스를 산출한다.

이를 통해서 효과적으로 영상 내에서 원하는 객체들을 선별할 수 있다.

도 5는 본 발명의 실시예에 따른 영상 내 객체의 자세 판정을 위한 신경망의 개념도이다.

본 발명의 실시예에서는 영상 내 여러 인간 객체들의 자세(pose)를 추적하고, 영상 프레임에 걸쳐 각 키포인트에 대하여 유일한 인스턴스 아이디를 배정하는 자세 추적 프레임워크를 이용한다. 기존 대부분의 자세 추적 연구방법들은 오프라인 방법으로서 실시간 영상처리보다는 객체 추적의 정확성에 보다 초점이 맞추어져 있다. 따라서 기존 방법들은 인간 객체 검출, 후보 자세 추정, 식별성 연관 과정을 순차적으로 진행한다. 자세 추정 결과에 따라 자세 추적 결과는 최적화 문제를 풂으로써 계산된다. 이 경우 차후 프레임 내의 자세들을 사전 계산해야한다.

하지만, 본 발명의 경우 라이트트랙(LightTrack) 방법을 적용하는데, 이는 일반적이고 하향적인 접근 방식으로서, 자세 추정의 후보들이 검출된 후 자세 추정이 이루어지며, 실시간으로 영상 처리가 가능하다는 장점이 있다.

본 발명은 영상으로부터 인간 객체를 효과적으로 선별하고 이를 추적하며, 그 자세를 파악하는 것으로서, 인간의 자세는 인간의 위치를 더 잘 추론하기 위해 사용될 수 있다는 점을 활용한다.

따라서 자세 추정 후보 검출 후 자세 추정을 하는 하향식 접근 방식에서는, 정확한 인간 객체 위치를 통해 인간 객체의 자세를 쉽게 추정할 수 있다. 따라서 (1) 대략적인 인간 객체 위치는 단일 인간 객체의 자세 추정에 접목될 수 있으며, (2) 인간 관절의 위치는 인간 객체의 위치 식별에 대략적으로 사용될 수 있으며, (3) 따라서 반복적으로 추정과정으로써 단일 인간 객체 자세 추적(Single-person Pose Tracking: SPT)이 가능해진다.

여러 인간 객체 자세 추적(Multi-target Pose Tracking: MPT)는 단순히 여러 인간 객체들에 대하여 SPT를 반복하는 방법보다는, 여러 객체들을 동시에 추적하고, 추가 재식별(Re-ID)을 통해 그 객체들을 식별하는 것이 유리하다.

따라서, 본 발명의 실시예에 따른 객체 식별 및 추적부(150)는 복수 객체들을 동시에 추적하는 방식을 이용한다.

객체 추적의 경우 다음과 같은 상황들에 주의하여야 한다: (1) 인간 객체 중 카메라 뷰에서 사라지거나 폐색되는 경우, (2) 새 후보들이 카메라 뷰에 등장하거나, 기존 사라졌던 후보들이 다시 뷰에 등장하는 경우, (3) 서로를 향해 인간 객체들이 움직여서 마치 한 객체처럼 보이는 경우, (4) 카메라의 빠른 이동 또는 주밍 때문에 추적이 실패하는 경우 등이다.

따라서, 이러한 상황에서 객체를 소실한 경우 새로운 객체를 다시 추적한다면 인간 객체에 대한 연속적인 이동 경로 확보가 어렵게 되므로, 본 발명의 실시예에서는 이러한 상황들에 대해서 인간의 자세를 기반으로 추적 객체의 일관성을 가급적 유지하도록 한다.

즉, 폐색 또는 카메라 이동으로 인하여 객체 후보들을 놓치는 경우에만 객체 후보들을 다시 도입하기 위한 검출 모듈을 실행하고, 자세 매칭 방법을 통하여 이전 프레임의 추적된 타겟들에 대하여 객체 후보들을 연관시킨다.

그리고 식별 연관 과정에서는, 공간 정보의 일관성과 자세의 일관성 정보를 활용한다. 재식별 과정에서 새롭게 관측된 객체와 추적된 객체 후보 간의 매칭이 요구되는데, 이는 시각 특징 분류기를 이용하게 된다. 본 발명의 실시예에서는 그래프 컨볼루션 네트워크(Graph Convolution Network: GCN)를 이용하여 인간 객체 관절의 그래프 표현을 가능하게 하였다. 이러한 인간 객체 스켈레톤의 그래프 표현성은 차후 자세 매칭을 위한 후보 매칭 과정에 사용된다.

이러한 GCN을 이용하는 자세 분류 방식은 자세 분류부(140)에 적용될 수 있다.

도 4에 도시된 구성은 샤미즈(Siamese) GCN에 대한 네트워크 구조를 나타낸 것이다.

인간 객체 관절의 2D 좌표가 주어졌을 때, 관절을 노드로, 인간 몸 구조의 연결성을 에지로 하는 공간 그래프를 생성할 수 있다. 본 발명의 실시예에서는 GCN의 입력으로 그래프 노드의 관절 좌표 벡터를 사용하며, 다중 그래프 합성곱 연산을 통하여 인간 자세에 대한 개념적 요약으로서의 특징 표현을 생성한다.

네트워크 출력 특징들 간의 거리를 통하여 얼마나 두 자세가 유사한지, 즉 두 자세가 서로 매칭이 되는지 결정하는데, 도시된 구성은 2개의 GCN과 대조 손실을 이용한 1개의 합성곱 계층으로 구성된, 자세 매칭을 위한 샤미즈 GCN 구조로서 두 특징 벡터를 동일한 가중치 벡터를 가진 네트워크의 입력 그래프 쌍으로부터 추출하므로 특징 벡터는 인간 객체 관절의 공간적 관계성 정보를 함축하게 된다.

이러한 스켈레톤 기반 표현은 인간 객체 자세의 유사성을 효과적으로 표현할 뿐만 아니라, 계산량에서 효율적이며, 동시에 카메라 이동에 강인하다는 특징을 갖는다.

도 6은 본 발명의 실시예에 따른 영상 내 객체의 자세 판정 결과를 예시한 예시도이다.

도시된 바와 같이 영상 내 관심 객체인 인간을 선별하고 각 인간 객체에 대한 식별자를 할당하여 추적하면서 동시에 해당 객체의 스켈레톤 기반 자세 정보를 산출하고, 이를 기반으로 객체의 일관성을 지속적으로 유지하도록 한다.

도 7은 본 발명의 실시예에 따른 동작 과정을 보인 순서도이다.

도시된 바와 같이 본 발명은 R-CNN을 기반으로 객체를 선별하고, 선별 객체 위치에 대한 자세를 추정하고, 이를 학습하는 과정을 수행한다.

이후, 학습이 완료되면, 영상소스로부터 R-CNN을 통해 객체를 선별하고 영상 내 객체들을 동시에 추적하면서 추적 객체의 자세를 분류한다. 각 객체의 군집, 소실, 폐색 등이 발생하고 신규 객체 후보들이 발견되면 자세를 기반으로 추적 객체의 일관성을 유지하면서 관리한다.

이러한 객체별 추적 경로와 자세 정보를 추적 객체가 등장한 일자, 시간, 날씨 및 객체 등장에 영향을 줄 수 있는 것으로 미리 선별된 환경 조건 등의 분류 정보와 함께 저장한다.

이후, 이렇게 수집 누적된 객체 정보를 분류하여 분류별 가상 객체를 생성한다. 이러한 가상 객체는 해당 분류 기준별 가상 객체의 경로와 자세의 분류 범위 내에서 자세와 경로에 대한 실제 객체들의 분포 비율에 따라 유사한 경로와 자세를 가지는 가상 객체들을 포함한다.

도시되지는 않았으나, 이후 디지털 트윈 기반 시뮬레이션 장치로부터 시뮬레이션 조건에 따른 가상 객체들이 요구되면, 저장된 가상 객체들 중 시뮬레이션 조건에 따른 분류별 가상 객체들을 분류별 분포에 맞추어 선별하여 제공할 수 있게 된다.

이와 같은 본 발명의 실시예를 통해서 디지털 트윈 기반 시뮬레이션에 현실에 근접한 가상적 인간 객체들의 움직임을 제공할 수 있어 디지털 트윈 기반 시뮬레이션의 품질을 높일 수 있게 된다.

본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 영상 분석 기반 객체 생성 장치 110: 영상 수집부
120: 객체 선별부 130: 자세 학습부
140: 자세 분류부 150: 객체 식별 및 추적부
160: 가상 객체 생성부
200: 디지털 트윈 기반 시뮬레이션 장치

Claims (5)

1. 카메라나 영상 데이터베이스를 통해 수집한 영상에서 객체를 선별하고 선별된 객체에 대한 자세를 신경망 모델을 통해 학습하며, 학습후 얻어진 신경망 모델을 이용하여 객체에 대한 자세를 분류하여 객체의 자세를 스켈레톤 정보를 포함하는 자세 정보로 산출한 후 해당 객체의 식별자와 이동경로 및 자세 정보를 포함하는 객체 정보를 영상분석 데이터베이스에 저장하고, 해당 객체가 등장한 일자, 시간, 날씨 및 객체 등장에 영향을 줄 수 있는 것으로 미리 선별된 환경 조건 중 적어도 하나 이상의 분류 기준에 따라 상기 저장된 객체 정보에 분류 정보를 더 포함시켜 저장하며, 상기 영상 분석 데이터베이스에 저장된 객체 정보를 기반으로 분류 기준별 가상 객체를 생성하여 가상 객체 데이터베이스에 저장하는 영상 분석 기반 객체 생성 장치와;
   시뮬레이션 대상에 대한 가상현실 모델 데이터를 가상현실 환경에 구성하고, 상기 영상 분석 기반 객체 생성 장치에 시뮬레이션 조건에 따른 가상 객체들을 요청하며, 그에 따라 가변성을 가지는 분류별 가상 객체 정보를 수신하여 가상현실 환경에 적용하는 디지털 트윈 기반 시뮬레이션 장치를 포함하는 디지털 트윈 기술을 위한 영상 분석 시스템.
   
2. 청구항 1에 있어서, 상기 영상 분석 기반 객체 생성 장치는
   카메라나 영상 데이터베이스를 통해 영상을 수집하는 영상 수집부와;
   영상 수집부에서 수집된 영상으로부터 관심 영역을 선별하여 해당 관심 영역에 존재하는 객체를 선별하는 객체 선별부와;
   객체 선별부에서 선별된 객체에 대한 자세를 신경망 모델을 통해 학습시키는 자세 학습부와;
   자세 학습부를 통해 학습된 가중치가 적용된 신경망 모델을 통해서 객체 선별부에서 선별된 객체의 자세를 분류하는 자세 분류부와;
   객체 선별부에서 선별된 복수의 객체들에 각각 식별자를 부여하여 지속적으로 복수 객체들을 동시에 추적하며, 자세 분류부에서 분류된 각 객체별 자세를 추적 객체들에 연동시키며 군집, 소실 또는 폐색된 객체의 재 등장 시 분류된 자세를 토대로 이전 객체 식별자를 유지시키거나 신규 생성하며 추적된 객체들에 대한 객체별 식별자와 이동경로 및 자세 정보를 포함하는 객체 정보를 영상분석 데이터베이스에 저장하는 객체 식별 및 추적부를 포함하는 것을 특징으로 하는 디지털 트윈 기술을 위한 영상 분석 시스템.
   
3. 청구항 2에 있어서, 상기 객체 식별 및 추적부는 추적 객체가 등장한 일자, 시간, 날씨 및 객체 등장에 영향을 줄 수 있는 것으로 미리 선별된 환경 조건 중 적어도 하나 이상의 분류 기준에 따라 상기 저장된 객체 정보에 분류 정보를 더 포함시켜 영상분석 데이터베이스에 저장하는 것을 특징으로 하는 디지털 트윈 기술을 위한 영상 분석 시스템.
   
4. 청구항 3에 있어서, 상기 영상 분석 데이터베이스에 저장된 객체 정보를 기반으로 분류 기준별 가상 객체를 생성하되 해당 분류 기준별 가상 객체의 경로와 자세의 분류 범위 내에서 자세와 경로에 대한 실제 객체들의 분포 비율에 따라 유사한 경로와 자세를 가지는 가상 객체를 생성한 후 가상 객체 데이터베이스에 저장하는 가상 객체 생성부를 포함하는 것을 특징으로 하는 디지털 트윈 기술을 위한 영상 분석 시스템.
   
5. 청구항 4에 있어서, 상기 가상 객체 생성부는 디지털 트윈 기반 시뮬레이션 장치로부터 시뮬레이션 조건에 따른 가상 객체들이 요구되면, 저장된 가상 객체들 중 시뮬레이션 조건에 따른 분류별 가상 객체들을 분류별 분포에 맞추어 선별하여 제공하는 것을 특징으로 하는 디지털 트윈 기술을 위한 영상 분석 시스템.

Images