KR20210081223A - 2d 영상 및 3d 영상의 융합을 통한 공간 상황 인지 장치, 방법, 및 시스템 - Google Patents

Abstract

본 발명은 외부에 대상 영역에 대한 3D 영상 정보를 저장하는 통신부; 상기 대상 영역에 설치되어 상기 대상 영역에 대한 실시간 영상인 2D 영상 정보를 수집하는 공간 카메라; 수집된 상기 2D 영상 정보를 상기 3D 영상 정보에 투영한 융합 영상 정보를 생성하는 영상 융합부; 및 상기 융합 영상 정보를 기설정된 상황 기준값과 비교하여 비교 결과에 대응되는 상황 인지 정보를 생성하는 상황 인지부;를 포함하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치, 방법, 및 시스템에 관한 것이다.

Description

2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치, 방법, 및 시스템{DEVICE, METHOD, AND SYSTEM FOR RECOGNIZING SITUATION IN SPACE THROUGH 2D IMAGE AND 3D IMAGE}

본 발명은 3D 공간 정보 제작 시 생성되는 실사 기반 텍스처 맵을 활용하여 3D 공간 내의 장면을 실시간으로 획득하는 2D 카메라 영상을 3D 메쉬 상에 투영, 영상처리로 탐지, 추적되는 영상 객체를 3D 공간에 배치하여 공간 내의 상황을 인지하는 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치, 방법, 및 시스템에 관한 것이다.

영상 관련 장치 및 기술들은 빠른 속도로 발전 및 보급되어 일상 생활에서 거의 모든 영역이 영상과 관련되어 있다.

일반적으로, 외부 공간 및 내부 공간은 CCTV와 같은 영상 촬영 장치를 통해 촬영 영역에서 발생되는 상황을 실시간 영상으로 촬영 및 저장하여 다양한 종류로 활용되고 있다.

하지만, 기존 카메라는 2D 영상을 생성함에 따라 3차원으로 이루어지는 현실 공간에 대한 명확한 상황 인지가 어려운 문제가 있다.

특히, 실내 공간을 위한 3D 공간 데이터는 일반적으로 정확한 공간의 측정 및 그래픽 툴을 통해 제작 및 생성되는 것으로, 실내 공간의 측정을 기반으로 사용자 시점의 3D 뷰어 효과를 부여하여 가시화되는 데이터이다.

실내 공간 상황의 파악을 위해 이용되는 데이터는 실내 공간에 설치되는 다수의 센서와 CCTV와 같은 실시간 촬영 카메라가 주된 장치로서, 센서 데이터 값과 영상 처리의 결과를 주어진 조건에 대입하여 정의된 상황에 해당되면 대응되는 경보와 같은 알람을 발생시키는 원리로 지능형 CCTV나 센서 게이트웨이 혹은 이들의 결합을 통한 시스템이 적용될 수 있다.

하지만, 기존 시스템은 3D 모델 상에 카메라의 화각 및 방향 정보들만으로 구성됨으로써 2D 여상의 3D 투영을 위한 병합이나 3D 정보 갱신이 이루어지지 않고, 각각 독립적인 사용자 뷰만을 제공할뿐 아니라, 결과의 상황 인지 정보도 직관적으로 표시될 수 없는 한계점이 있었다.

이는, 기술적으로 다중 2D 영상의 스테레오 비전을 통해 계산 생성된 3D 데이터를 다시 2D 이미지로 복원할 수 없거나, 직교나 원근 투영의 방법 등을 활용 하여도 사용자 조작 자유도를 갖는 고정되지 않는 시점의 3D 데이터를 투영하는 것은 기하학적으로 매운 어려운 일이기 때문이다.

이에 따라 최근에는 실사 기반 3D 공간 정보를 제공하기 위해 VR과 통신되는 실사 기반의 파노라마 영상과 시멘틱한 공간 정의 및 방법이 포함된 3D 메쉬를 결합하여 서비스를 실시하고 있다.

Dollhouse라고 지칭되는 전체 공간을 조견하고 탐색하는 용도로 3D 메쉬를 활용하고, 세부 공간의 뷰나 네비게이션은 VR 이미지를 활용하는 것이다.

이러한 실사 기반 VR의 3D 메쉬 상 배치는 특별한 기하적인 투영이 아닌 제작 시범의 촬영 이미지 좌표 배치와 스케일링 정도이며, 이들 간의 이동은 3D 메쉬와 VR 간의 시점 전환이며 VR 내부의 네비게이션은 공간 측정에 의한 탐색이 아닌 기존의 증강된 서비스일 뿐이다.

이처럼 기존의 2D 카메라 영상의 카메라 캘리브레이션을 통해 2D 카메라에 원근 데이터를 부여하여 장면에 나타나는 객체의 거리 등을 계산하는 방법이 있었으나, 이러한 방식은 영상 객체의 겹침에 의한 객체 폐색(Occlusion) 등을 해결하기 어려운 문제가 존재하였다.

또한, 기존에 상황 인지를 위해 적용되는 CCTV의 경우 대개 공간 구조에서 CCTV가 어디에 설치되고 어디를 비추고 있는 정도만을 표시하고, 영상과 3D 배경과의 밀접성은 낮았으며 제공되는 공간 3D 모델링은 단순한 응용 프로그램의 인터페이스에 불과한 경우가 대부분이었다.

이와 같이, 기존 공간 상황을 인지하기 위한 장치, 시스템, 및 방법들은 개별적인 정보만을 제공하는데 한정되었으며, 이들을 통합하여 융합된 상태로 상황 인식의 향상과 통합 서비스로서의 기능에는 미치지 못하는 문제점이 여전히 존재하였다.

본 발명은 상술한 문제점들을 해소하기 위한 것으로 기제작된 3D 영상과 실시간 2D 영상의 투영을 통해 해당 공간에 발생되는 객체들의 상황을 보다 효율적으로 인지하며, 반복 학습을 통한 자율적 상황 인지 능력을 부여하고, 다양한 이벤트 상황에 대한 알림 서비스를 전달하는 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치, 방법, 및 시스템을 제공하는 것을 그 목적으로 한다.

상술한 목적을 실현하기 위한 본 발명의 일 실시예에 따른 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치는, 대상 영역에 대한 3D 영상 정보를 저장하는 통신부; 상기 대상 영역에 설치되어 상기 대상 영역에 대한 실시간 영상인 2D 영상 정보를 수집하는 공간 카메라; 수집된 상기 2D 영상 정보를 상기 3D 영상 정보에 투영한 융합 영상 정보를 생성하는 영상 융합부; 및 상기 융합 영상 정보를 기설정된 상황 기준값과 비교하여 비교 결과에 대응되는 상황 인지 정보를 생성하는 상황 인지부;를 포함할 수 있다.

여기서, 상기 3D 영상 정보는, 상기 대상 영역에 대한 3D 메쉬 정보; 상기 대상 영역에 대한 3D 텍스처정보; 및 상기 3D 메쉬 정보와 상기 3D 텍스처정보의 매칭 관계에 관한 텍스처 매핑 정보;를 포함할 수 있다.

여기서, 상기 영상 융합부는, 상기 2D 영상 정보를 상기 3D 텍스처정보 및 상기 텍스처 매핑 정보와 비교하여 대응되는 상기 3D 메쉬 정보에 투영할 수 있다.

여기서, 상기 상황 인지 정보를 상기 3D 메쉬 정보 상에 가상 현실 또는 증강 현실 중 적어도 어느 하나의 방식으로 구현하는 화면 구성부;를 더 포함할 수 있다.

여기서, 상기 융합 영상 정보는, 상기 2D 영상 정보에 포함된 객체에 관한 2D 객체 정보를 포함하고, 상기 영상 융합부는, 상기 2D 객체 정보를 상기 3D 메쉬 정보에 반영하여 증강 처리할 수 있다.

여기서, 상기 대상 영역에 대한 환경 정보를 수집하는 센서부를 더 포함하고, 상기 상황 인지부는, 상기 환경 정보를 참고하여 상기 상황 인지 정보를 생성할 수 있다.

여기서, 상기 상황 인지 정보는, 과거 시점에서 생성된 제1 상황 인지 정보; 및 실시간 시점에서 생성된 제2 상황 인지 정보;를 포함하고, 상기 상황 인지부는, 상기 제1 상황 인지 정보를 상기 상황 기준값으로 설정하여 상기 제2 상황 인지 정보를 생성할 수 있다.

상술한 목적을 실현하기 위한 본 발명의 다른 실시예에 따른 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 방법은 저장부를 통해 대상 영역에 대한 3D 영상 정보를 저장하는 단계; 상기 대상 영역에 설치되는 공간 카메라를 통해 상기 대상 영역의 실시간 2D 영상 정보를 수집하는 단계; 영상 융합부를 통해 상기 2D 영상 정보를 상기 3D 영상 정보에 투영하여 융합 영상 정보를 생성하는 단계; 및 상황 인지부를 통해 상기 융합 영상 정보를 기설정된 상황 기준값과 비교하여 비교 결과에 대응되는 상황 인지 정보를 생성하는 단계;를 포함할 수 있다.

여기서, 상기 영상 융합부를 통해 상기 2D 영상 정보를 상기 3D 영상 정보에 투영하여 융합 영상 정보를 생성하는 단계는, 상기 2D 영상 정보에 포함된 객체에 관한 2D 객체 정보를 생성하는 단계; 및 상기 2D 객체 정보를 상기 3D 영상 정보에 반영하여 증강 처리하는 단계;를 포함할 수 있다.

여기서, 센서부를 통해 상기 대상 영역의 환경 정보를 수집하는 단계를 더 포함하고, 상기 상황 인지부를 통해 상기 융합 영상 정보를 기설정된 상황 기준값과 비교하여 비교 결과에 대응되는 상황 인지 정보를 생성하는 단계는, 상기 환경 정보를 상기 상황 인지 정보에 반영하는 단계를 포함할 수 있다.

상술한 목적을 실현하기 위한 본 발명의 또 다른 실시예에 따른 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 시스템은 대상 영역에 대한 3D 영상 정보를 생성하는 3D 영상 장치; 상기 대상 영역에 대한 실시간 2D 영상 정보를 수집하고, 이를 상기 3D 영상 정보에 투영하여 융합 영상 정보를 생성하며, 기설정된 상황 기준값과 상기 융합 영상 정보를 비교하여 비교 결과에 대응되는 상황 인지 정보를 생성하는 상황 인지 장치; 및 상기 상황 인지 장치로부터 상기 융합 영상 정보 및 상기 상황 인지 정보를 수신하여 출력하는 모니터링 장치;를 포함할 수 있다.

여기서, 상기 상황 인지 장치와 데이터 통신 가능하게 구성되는 서비스 서버를 더 포함하고, 상기 서비스 서버는, 외부 단말기와의 통신을 통해 상기 융합 영상 정보 및 상기 상황 인지 정보에 대한 사용자 입력 정보가 수신되면 이를 상기 상황 인지 장치로 전송할 수 있다.

여기서, 상기 상황 인지 장치는, 상기 서비스 서버로부터 상기 사용자 입력 정보가 수신되면, 이를 상기 융합 영상 정보 및 상황 인지 정보 중 적어도 어느 하나에 반영시킬 수 있다.

여기서, 서로 다른 각도에서 제 1 기준 얼굴 이미지 및 제 M 기준 얼굴 이미지 및, 서로 다른 각도에서 연속된 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지를 실시간으로 획득하는 인증 카메라; 상기 획득된 제 1 실시간 얼굴 이미지 및 상기 획득된 제 M 실시간 얼굴 이미지로부터 기준 사각형들을 형성하고, 상기 획득된 제 1 실시간 얼굴 이미지 및 상기 획득된 제 N 실시간 얼굴 이미지로부터 실시간 사각형들을 형성하고, 상기 M개의 기준 얼굴 이미지별로 생성된 기준 사각형들에 대한 자세 기준선 및 실시간 얼굴 이미지별로 생성된 실시간 사각형에 대한 자세 기준선의 유사도를 비교하여, 생성된 기준 사각형들에 대한 자세 기준선 중 실시간 사각형에 대한 자세 기준선과 가장 유사한 기준 사각형에 대한 자세 기준선을 추출하는 사각형 생성 추출부; 및 상기 가장 유사한 기준 사각형에 대한 자세 기준선에 해당되는 기준 얼굴 이미지의 얼굴 자세를 실시간으로 획득한 실시간 이미지의 얼굴 자세로 판단하여 실시간 이미지의 얼굴 자세의 변화를 판단하고, 판단 결과를 이용하여 실시간 얼굴 이미지가 위변조된 얼굴 이미지인지 살아있는 사람의 얼굴 이미지인지를 판단하는 위변조 판단부;로 구성되는, 인증 카메라를 통해 생성되는 실시간 얼굴 이미지를 이용하여 마인드맵을 이용한 업무 프로세스 추천 장치를 이용할 수 있는 사용자 인지여부를 인증하는 얼굴 인증부를 더 포함할 수 있다.

여기서, 상기 인증 카메라는, 스피커를 통한 얼굴 움직임 방향에 대한 지시 음성 또는, 디스플레이부에 표시된 이미지의 이동방향에 맞게 얼굴을 움직이도록 하는 이미지 표시에 따라, 사용자가 서로 다른 각도로 얼굴을 움직임에 따라 연속적으로 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지를 실시간으로 획득하고, 상기 위변조 판단부는, 상기 판단된 실시간 이미지의 얼굴 자세의 변화가 스피커를 통한 얼굴 움직임 방향에 대한 지시 음성 또는, 디스플레이부에 표시된 이미지의 이동방향에 맞게 얼굴을 움직이도록하는 이미지 표시와 일치되게 변화하는지 여부를 기준으로, 실시간 얼굴 이미지가 위변조된 얼굴 이미지인지 살아있는 사람의 얼굴 이미지인지를 자세 기준으로 판단할 수 있다.

여기서, 상기 획득된 M개의 기준 얼굴 이미지별 및 상기 획득된 제 N 실시간 얼굴 이미지별로부터 특징점들을 연결하여 특징 라인들을 추출하는 특징 라인 추출부;를 더 포함하고, 상기 사각형 생성 추출부는, 상기 M개의 기준 얼굴 이미지별로 추출된 특징 라인들 중 인접하지 않은 2개의 특징 라인들을 선택하고, 선택된 2개의 특징 라인들의 양끝점들을 연결하여 사각형을 형성하여 기준 사각형을 생성하고, 상기 획득된 제 N 실시간 얼굴 이미지별로로 추출된 특징 라인들 중 인접하지 않은 2개의 특징 라인들을 선택하고, 선택된 2개의 특징 라인들의 양끝점들을 연결하여 사각형을 형성하여 사각형을 생성할 수 있다.

여기서, 제 1 실시간 얼굴 이미지에 포함된 제 1 사각형의 넓이 및 제 2 사각형의 넓이 간의 제 1 넓이 비율 및, 상기 제 N 실시간 얼굴 이미지에 포함된 제 3 사각형의 넓이 및 제 4 사각형의 넓이 간의 제 2 넓이 비율을 계산하는 연산부;를 더 포함하고, 상기 위변조 판단부는, 상기 제 1 넓이 비율 및 상기 제 2 넓이 비율의 차이값이 기준 넓이 비율 차이값보다 작은 경우, 상기 제 1 실시간 얼굴 이미지 및 상기 제 N 실시간 얼굴 이미지를 위변조된 얼굴 이미지로 판단하고, 상기 제 1 넓이 비율 및 상기 제 2 넓이 비율의 차이값이 기준 넓이 비율 차이값보다 큰 경우, 상기 제 1 실시간 얼굴 이미지 및 상기 제 N 실시간 얼굴 이미지를 살아있는 사람의 얼굴 이미지로 판단하는 비율 변화 기준으로 실시간 얼굴 이미지가 위변조된 얼굴 이미지인지 살아있는 사람의 얼굴 이미지인지를 판단할 수 있다.

여기서, 상기 위변조 판단부는, 상기 자세 기준으로 판단한 결과 및 상기 비율 변화 기준으로 판단한 결과에서 모두 실시간 얼굴 이미지가 살아있는 사람의 얼굴 이미지로 판단되는 경우에만, 최종적으로 실시간 얼굴 이미지가 살아있는 사람의 얼굴 이미지로 판단할 수 있다.

상술한 구성을 갖는 본 발명의 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치, 방법, 및 시스템에 의하면 공간 이미지 분석의 성능을 제고할 수 있다.

또한, 제작 콘텐츠로서 실시간성이 매우 부족한 3D/VR 공간 정보의 갱신을 가능하게 할 뿐 아니라 상황 설정을 위한 센서와 영상 처리의 복잡한 설정을 단순하게 처리할 수 있는 구조로 공간 내의 여러 상황을 인지할 수 있는 조건을 활용하여 공간 기반의 다양한 서비스를 제공할 수 있다.

또한, 본 발명은 실내 공간 요소의 비중이 높은 서비스 산업, 예로 부동산, 공간 임대 상점의 고객 동선 관리, 공간 이용 분석 등의 분야에 1차적으로 활용될 수 있다.

또한, 3D 공간 기반의 상황 분석을 통한 보안, 안전, 및 환경 등의 감시 장비에 활용할 수 있다.

또한, 기 저작된 3D 공간 콘테츠의 전술한 실시간성을 보완 및 효율화할 수 있으며, CCTV와 같은 접근 보호 필요성이 있는 장치를 대신하여 공간 상황의 알림 서비스가 가능하고, 공간 기반 시뮬레이션, 재난 관제 등의 여러 산업 응용 분야에 적용할 수 있다.

또한, 얼굴 이미지를 이용하여 서비스 접속자에 대한 사용자 인증을 수행함에 있어서 특징 라인을 이용하여 생성한 사각형을 이용하여 획득된 이미지의 위변조 여부를 판단함으로써, 얼굴 이미지의 위변조 여부를 정확하게 판단할 수 있다.

도 1은 본원발명의 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 시스템(1000)의 간략한 구성을 설명하기 위한 개념도이다.
도 2는 본원발명의 일 실시예에 따른 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치(100)의 구성을 설명하기 위한 블록도이다.
도 3은 본원발명의 다른 실시예에 따른 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 시스템(1000)의 전체 구성을 설명하기 위한 개념도이다.
도 4는 본원발명의 또 다른 실시예에 따른 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 방법을 설명하기 위한 흐름도이다.
도 5 내지 도 11은 도 1 내지 도 4에서 설명한 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치(200), 방법, 및 시스템의 구동 상황을 단계별 이미지화하여 설명하기 위한 도면이다.
도 12는 얼굴 인증부(380)를 설명하기 위한 블록도이다.
도 13 내지 16은 얼굴 인증부(2000)에서 위변조 여부를 판단하는 과정을 설명하기 위한 도면이다.

이하, 본 발명의 바람직한 실시예에 따른 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치, 방법, 및 시스템에 대하여 도면을 참조하여 상세히 설명한다. 본 명세서에서는 서로 다른 실시예라도 동일·유사한 구성에 대해서는 동일·유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다.

도 1은 본원발명의 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 시스템(1000)의 간략한 구성을 설명하기 위한 개념도이다.

영상 제공 장치는, 영상 내 객체의 (x,y) 좌표로 구성되는 CCTV와 같은 2D 영상 장치와, (x,y,z) 좌표를 갖는 3D 영상 장치가 대표적으로 보급 및 활용되고 있다.

최근에는, 특정 공간을 사용자에게 증강현실(AR:Augmented Reality) 또는 가상현실(VR: Virtual Reality)로 제공하기 위해 다수의 어플리케이션을 통해 3D 영상을 제공하고 있다.

3D 영상은, 깊이 센서(Depth Sensor)와 복수의 카메라를 통해 다중 영상 및 깊이 영상을 수집하고, 이에 대한 영상 처리 및 스테레오 비전을 수행하여 3D 메쉬 정보와 3D 텍스처정보를 생성함으로써 구현된다.

이러한 3D 영상은, 특정 공간을 대상으로 생성되어 이를 사용자의 시점에 매칭시키는 AR/VR 방식을 통해 실제 사용자가 해당 공간상에서 이동되며 시점에 따라 대응되는 3D 영상을 제공할 수 있다.

따라서, 최근에는 해당 3D 영상이 적용된 어플리케이션에 접속하는 간단한 조작을 통해, 물리적으로 떨어진 위치의 특정 공간을 가상으로 방문하여 가상 체험을 실시할 수 있다.

2D 영상은, 일반적인 카메라를 통해 수집되는 2차원 좌표의 영상으로 CCTV 또는 스마트폰에 구비된 카메라와 같은 수단에 의해 생성될 수 있다. 이러한 CCTV에서 실시간으로 수집되는 영상은 이를 감시하는 관리자에게 제공되어 감시 영역에서 발생되는 상황을 관리자가 인지하도록 도울 수 있다. 따라서, 관리자는 CCTV에서 제공되는 2D 영상을 통해 해당 공간에서 발생되는 상황은 인지하고 이에 따라 대응이 가능하다.

하지만, CCTV를 이용한 상황 대처는 관리자의 지속적인 감시가 이루어져야한다는 점에서 효율성이 저하되는 문제점을 갖고 있다. 만약 해당 영상에서 특정 상황이 발생하였으나, 관리자가 이를 제대로 확인하지 못하는 경우 해당 상황은 인지하지 못하는 문제가 있다. 또한, 지속적인 상황 인지를 위해서 관리자를 고용해야되므로, 비용 발생에 따른 문제점 역시 존재한다.

뿐만아니라, 2D 영상은 (x,y) 좌표로만 구성됨에 따라 해당 영상에 존재하는 객체들의 명확한 구분과 객체 속성을 파악하기 어려운 문제 역시 갖고 있는 것이다.

본 발명인 상술한 문제점들을 해소하기 위한 것으로, 대상 영역에 대하여 기 제작된 3D 영상 정보에, 대상 영역에 대하여 실시간으로 수집되는 2D 영상 정보를 투영한 융합 영상 정보를 생성하고, 융합 영상 정보를 기설정된 상황 기준값과 비교하여 그 비교 결과에 대응되는 상황 인지 정보를 생성하는 것을 그 목적으로 한다.

도 1에 제시된 바와 같이, 본 발명의 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 시스템(1000)은 대략적으로 3D 영상 장치(100), 공간 상황 인지 장치(300), 서비스 장치(500), 및 외부 단말기(700)로 구성될 수 있다.

3D 영상 장치(100)는, 대상 영역에 대한 3D 영상 정보를 생성하기 위한 수단이다. 여기서, 대상 영역은 건축물의 실내 공간만을 한정하는 것이 아니며, 실외 공간도 포함할 수 있다. 본 실시예에서는 효율적인 설명을 위하여 건축물의 실내 공간을 대상 영역을 예시하여 설명하도록 한다.

이를 위해, 3D 영상 장치(100)는 다중 카메라와 깊이 센서(Depth Sensor)를 구비하여 대상 영역을 스캔, 포인트 클라우드를 취득하는 Multi View 3D reconstruction을 수행할 수 있다.

이렇게 생성된 3D 영상 정보는, 대상 영역에 대한 3D 메쉬 정보, 3D 텍스처정보, 및 텍스처 매핑 정보를 포함할 수 있다.

3D 메쉬 정보는, 대상 영역에 존재하는 3차원 공간에 대한 객체들을 정점(Vertex) 및 변(Edge)로 구성한 폴리곤(Polygon)의 집합에 관한 정보이다. 즉, 3D 메쉬 정보는, 대상 영역의 가상의 3차원 공간에서 뼈대 구조로 구성하는 정보이다.

3D 텍스처정보는, 3D 영상 정보에서 폴리곤으로 제작된 오브젝트에 덧씌워 다양한 색감이나 절감 등을 표현하는데 쓰이는 2D 이미지에 관한 정보이다. 이러한 3D 텍스처정보는, 컬러 텍스처(Color Texture), 노멀 텍스처(Normal Texture), 하이라이트 텍스처(Highlight Texture), 및 환경 텍스처 등을 포함할 수 있다.

텍스처 매핑 정보는, 해당 3D 텍스처정보가 3D 메쉬 정보에 매칭되는 관계에 관한 정보로, 일반적인 UV 좌표 정보를 포함할 수 있다.

따라서, 상술한 3D 메쉬 정보, 3D 텍스처정보, 및 텍스처 매핑 정보를 서로 매칭하는 방식을 통해 대상 영역을 3차원 가상 공간에서의 3D 영상 정보로 구현할 수 있다.

이렇게 생성되는 3D 영상 정보는, 가상현실(VR: Virtual Reality) 또는 증강 현실(AR: Augmented Reality)로 구현될 수 있다. 이를 구현하기 위한 구성들은 공지의 기술들을 적용할 수 있으므로 세부적인 방식 설명은 생략하도록 한다.

따라서, 가상현실이나 증강현실이 적용된 3D 영상 정보는, 사용자 시점 정보에 따라 위치, 각도, 방향, 축소, 및 확대 등에 대응되는 영상 변화 정보를 가질 수 있다.

이처럼, 3D 영상 장치(100)에서 생성된 3D 영상 정보는, 공간 상황 인지 장치(300)로 전송된다.

공간 상황 인지 장치(300)는, 대상 영역에 설치되어 공간 카메라를 통해 대상 영역의 실시간 2D 영상 정보를 수집한다. 수집된 2D 영상 정보는 수신된 3D 영상 정보에 투영되어 융합 영상 정보를 생성할 수 있다.

즉, 융합 영상 정보는 3D 영상 정보에 2D 영상 정보 매칭시킨 것으로, 2D 영상 정보의 객체 정보와 이에 대한 객체 좌표 정보, 2D 텍스처정보를 3D 메쉬 정보에 반영하여 생성될 수 있다.

따라서, 융합 영상 정보에는 기제작된 3D 영상 정보 상에 2D 영상 정보가 3D 영상으로 변환되어 적용될 수 있다.

공간 상황 인지 장치(300)는, 융합 영상 정보와 기설정된 상황 기준값을 비교하여 대상 영역에서 발생되는 상황에 관한 상황 인지 정보를 생성할 수 있다.

상황 인지 정보는, 대상 영역의 혼잡도, 객체의 이벤트, 및 환경 정보 등을 바탕으로, 현재의 상황에 대한 분석 결과에 관한 정보일 수 있다.

이렇게 상황 인지 정보가 생성되면, 서비스 서버(500)를 통해 외부 단말기(700)로 이를 전송할 수 있다.

따라서, 사용자는 자신이 소유한 단말기를 통해 현재 대상 영역에서 발생되는 상황 인지 정보를 자동으로 수신할 수 있으므로, 대상 영역에 대한 감시 및 관리가 보다 효율적으로 이루어질 수 있다.

이상은, 본 발명의 시스템의 구동 원리에 대하여 간략하게 설명하였다. 도 2에서는 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치에 관하여 구체적으로 설명하도록 한다.

도 2는 본원발명의 일 실시예에 따른 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치(100)의 구성을 설명하기 위한 블록도이다.

도시된 바와 같이, 공간 상황 인지 장치는, 저장부(310), 공간 카메라(320), 영상 융합부(330), 센서부(340), 상황 인지부(350), 사용자 서비스부(360), 및 얼굴 인증부(380)를 포함할 수 있다.

먼저 공간 상황 인지 장치(300)는, 설치형 구조로 설계됨에 따라 외부 하우징을 구비하고 해당 하우징의 내부에는 PCB 기판과 같은 구조를 통해 다수의 전기적인 구성들이 서로 연결되어 설치될 수 있다.

하우징은, 대상 영역의 벽면이나, 설치물 등에 고정 설치되기 위한 결합부를 구비할 수 있으며, 본 실시예에서 도시하지 전원 공급부, 스피커부, 마이커부, 및 디스플레이부 등을 더 포함할 수도 있다.

저장부(310)는, 3D 영상 장치로(도 1, 100 이하생략)부터 생성되는 대상 영역에 대한 3D 영상 정보를 저장하기 위한 수단이다. 메모리와 같은 구성으로 구성될 수 있으며, 도시하지 않은 유/무선 통신부(이동 저장 매체 포함)를 통해 3D 영상 장치로부터 3D 영상 정보가 수신되면 이를 저장할 수 있다.

공간 카메라(320)는, 대상 영역에 대한 실시간 2D 영상 정보를 수집할 수 있다. 이때, 공간 카메라(320)는 하우징에 구비되는 회전 구동부에 의해 외부에서 입력되는 카메라 제어 정보에 따라 카메라 시점 위치 및 줌-인, 줌-아웃 등의 영상 수집 제어를 실시할 수 있다.

영상 융합부(330)는, 대상 영역의 2D 영상 정보를 3D 영상 장치로부터 수신한 3D 영상 정보에 투영하여 융합 영상 정보를 생성하기 위한 수단이다.

구체적으로 영상 융합부(330)는, 2D 영상 입력부, 텍스처 분석부, 영상 분석부, 2D 영상 투영부, 파노라마 영상 갱신부, 및 화면 구성부를 포함할 수 있다.

2D 영상 입력부는, 공간 카메라(320)로부터 수집되는 대상 영역에 대한 실시간 2D 영상 정보를 입력하기 위한 수단이다.

텍스처 분석부는, 2D 영상 입력부를 통해 입력되는 2D 영상 정보의 2D 텍스처 정보를 분석하여 2D 영상 좌표 정보를 생성하고, 이를 3D 영상 정보의 3D 텍스처정보와 비교하여 매칭하기 위한 수단이다. 이를 위해 텍스처 분석부는 비교 이미지들의 크기와 회전에도 특징추출을 통해 동일한 장면을 검출할 수 있는 SIFT 알고리즘(Scale Invariant Feature Transform)을 적용할 수 있다.

영상 분석부는, 2D 영상 정보에 포함된 배경 정보와 객체 정보를 분리하고, 객체 정보의 추적에 관한 객체 추적 정보를 생성할 수 있다.

2D 영상 투영부는, 2D 텍스처 분석을 통해 생성된 2D 영상 좌표 정보를 3D 영상 정보의 3D 메쉬 정보에 투영하기 위한 수단이다.

파노라마 영상 생성부는, 실시간 2D 영상 정보를 VR 이미지 정보로 변환하기 위한 수단이다.

화면 구성부는, 상황 인지 정보를 3D 메쉬 정보 상에 가상 현실 또는 증강 현실 중 적어도 하나의 방식으로 구현하기 위한 수단이다.

따라서, 이와 같은 영상 융합부(330)를 통하는 경우, 대상 영역에서 촬영된 실시간 2D 영상 정보는 기제작된 3D 영상 정보에 투영되어, 기존 3D 영상 정보에 포함되어 있지 않은 신규 객체에 관한 2D 객체 정보를 3D 객체 정보로 실시간 반영할 수 있다.

센서부(340)는, 하우징에 설치되어 대상 영역에 대한 환경 정보를 수집할 수 있다.

환경 정보는, 온도 정보, 습도 정보, 미세먼지 정보, 소리 정보, 및 화재 정보 등을 포함할 수 있다.

상황 인지부(350)는, 융합 영상 정보를 기설정된 상황 기준값과 비교하여 비교 결과에 대응되는 상황 인지 정보를 생성할 수 있다.

상황 인지 정보는, 융합 영상 정보에서 객체 정보를 참고하여 대상 영역에서 발생되는 상황이 어떠한 상황인지를 자동으로 판단하여 생성된 알림 정보를 포함할 수 있다. 이때, 상황 인지 정보는 센서부(340)에 의해 감지되는 환경 정보를 참고하여 생성될 수 있다.

예컨데, 상황 인지부(350)는 융합 영상 정보에서 객체 정보를 분석하여 대상 영역에 대한 객체가 기준 객체수보다 더 많이 존재하는 경우, 해당 영역을 혼잡 상황으로 판단하고 이에 대한 혼잡 상황 알림 정보를 상황 인지 정보로 생성할 수 있다.

이러한 상황 인지 정보의 기준이되는 상황 기준값 정보는 메모리부 또는 별도의 데이터 베이스에 저장될 수 있으며, 자동 또는 수동으로 갱신 및 학습되어 기준값이 변경될 수 있다.

사용자 서비스부(360)는, 융합 영상 정보를 3D 뷰어 정보로 변환하기 위한 수단이다. 따라서, 공간 상황 인지 장치(300)는, 생성된 융합 영상 정보를 3D 뷰어 정보로 변환하여 모니터링 장치, 서비스 서버, 및 외부 단말기로 제공하고, 사용자는 자신의 단말기를 통해 3D 뷰어 정보를 수신하여 융합 영상 정보를 자신의 시점에 따라 이용할 수 있다.

얼굴 인증부(380)는, 사용자 인증을 실시하기 위한 수단으로, 상술한 융합 영상 정보에 접근 가능한 관리자 또는 접속자 등의 사용자에 대한 인증을 실시할 수 있다. 이를 위해 얼굴 인증부(380)는 인증 카메라(도 12, 2100)을 통해 수집되는 실시가 사용자의 얼굴 이미지를 기준 이미지와 비교하여 인증을 실시하고, 그 인증 결과에 따라 서비스 접속 여부를 판단할 수 있다. 얼굴 인증부(380)에 대한 구체적인 설명은 도 12 내지 도 16에서 후술하도록 한다.

이와 같은 공간 상황 인지 장치(300)에 의하면, 대상 영역에서 수집되는 2D 영상 정보를 기제작된 3D 영상 정보에 투영하여, 3D 영상 정보로 구현되는 객체 정보를 통해 상황을 자동으로 인지하여 알림으로써 시스템 운용 효율을 보다 효율적이고 신뢰도 있게 구현할 수 있다.

이상은 공간 상황 인지 장치의 구성에 대하여 설명하였다. 이하에서는 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 방법 및 시스템에 대하여 단계적인 이미지를 예시로 하여 설명하도록 한다.

도 3은 본원발명의 다른 실시예에 따른 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 시스템(1000)의 전체 구성을 설명하기 위한 개념도이고, 도 4는 본원발명의 또 다른 실시예에 따른 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 방법을 설명하기 위한 흐름도이고, 도 5 내지 도 11은 도 1 내지 도 4에서 설명한 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치(300), 방법, 및 시스템의 구동 상황을 단계별 이미지화하여 설명하기 위한 도면이다.

공간 상황 인지 장치(300) 및 시스템의 구동 방법에 대하여 각 단계 별로 설명하도록 한다.

먼저, 도 5에 도시된 바와 같이, 3D 영상 장치(100)를 통해 대상 영역(A)에 대한 스캔을 실시하여 3D 메쉬 정보, 텍스처 정보, 텍스처 매핑 정보를 포함하는 3D 영상 정보를 생성할 수 있다.

3D 영상 정보는, 대상 영역(A)에 고정된 오브젝트를 대상으로 제작됨에 따라 베이스 구조로 별도의 이동식 객체가 존재하지 않도록 구성될 수 있다.

3D 영상 정보는, 공간 상황 인지 장치(300)로 전송될 수 있다(S11).

공간 상황 인지 장치(300)는, 3D 영상 장치로부터 제공되는 3D 영상 정보를 저장한다. 이후, 3D 영상 정보와 동일한 대상 영역(A)에 설치되어, 공간 카메라를 통해 대상 영역(A)에 대한 실시간 2D 영상 정보를 수집할 수 있다(S13).

본 실시예에서의 대상 영역(A)은 커피숍과 같은 건물의 내부 공간에 대한 실시간 영상으로, 영업 시간에 따라 다양한 사람들과 같은 객체가 대상 영역(A)에 포함되고 움직임이 발생될 수 있다.

이렇게 대상 영역(A)에 대한 실시간 2D 영상 정보가 수집되면, 공간 상황 인지 장치(300)는 수신된 3D 영상 정보에 실시간 2D 영상 정보를 투영한 융합 영상 정보를 생성할 수 있다(S15).

2D 영상 정보는, 배경 정보와 2D 객체 정보가 포함되어 있으므로, 이들을 분리하고, 2D 객체 정보를 3D 메쉬 정보에 반영하여 3D 객체 정보로 변환시킨 뒤, 텍스처 매핑을 통한 영상 융합을 실시할 수 있다. 따라서, 2D 영상 정보에 존재하는 2D 객체 정보는 3D 객체 정보로 변환되어 3D 영상 정보 상에 실시간으로 표현될 수 있다.

이렇게 변환된 3D 객체 정보는 기존 (x,y)좌표로만 구성되는 2D 객체 정보 대비 (x,y,z)좌표로 구성됨에 따라 2개 이상의 검지 객체가 병합되어 하나로 인지되는 것과 같은 객체 폐색(Occlusion), 객체의 원근 구도에 따라 이미지 컨투어가 분리되어 하나의 객체가 두 개로 인지되는 객체 분리 문제를 각각 해소할 수 있어 대상 영역(A)에 대한 객체의 동선 추적 및 상황 판단이 보다 명확히 이루어질 수 있다.

이때, 센서부를 통해 대상 영역(A)에 대한 실시간 환경 정보 역시 수집할 수 있다.

이와 같은 융합 영상 정보가 생성되면, 공간 상황 인지 장치(300)는 융합 영상 정보를 상황 기준값과 비교하여(S17) 상황 기준값과의 매칭 결과에 따라(S19) 상황 인지 정보를 생성할 수 있다(S21).

상황 인지 정보는, 융합 영상 정보에 포함된 3D 객체 정보 및 환경 정보를 상황 기준값과 분석하여 자동으로 산출되는 정보일 수 있다. 즉, 각 상황값에 대한 정보를 기저장된 기준 테이블값과 비교하여 매칭되는 상황에 대한 알림 정보일 수 있다.

도 8의 (a)와 같이, 융합 영상 정보 상에서 2개 이상의 3D 객체 정보(사람 객체)서 기준 거리보다 가까이 위치한 상태에서 서로에 대한 액션 움직임 정보가 기준 시간 동안 발생되는 경우, 이를 폭력 상황으로 판단하고 이에 대한 폭력 상황 알림 정보를 상황 인지 정보로 생성할 수 있다.

또한, 도 8의 (b)에서처럼 3D 객체 정보의 움직임이 발생되는 경우, 최초 위치, 이동 거리, 이동 시간, 최종 위치 등을 포함하는 동선 알림 정보를 상황 인지 정보로 생성할 수도 있다. 이와 같은 동선 알림 정보는 자동적으로 누적되어, 객체 식별 정보와 함께 매칭되어 향후 고객 및 매장 관리 정보로 활용될 수 있다.

도 8의 (c)의 경우, 특정 영역에 대하여 다수의 3D 객체 정보가 소정 시간 이상 위치하는 경우, 해당 영역에 대한 혼잡 정보를 상황 인지 정보로 생성할 수 도 있다.

뿐만아니라, 도 8의 (d)와 같이 센서부를 통해 수집되는 환경 정보를 통해 대상 영역(A)의 온도, 습도, 화재 여부 등에 관한 알림 정보를 상황 인지 정보로 생성할 수 있다.

이렇게 생성되는 상황 인지 정보는, 별도의 모니터링 장치(400), 서비스 서버(500), 및 외부 단말기(700)로 전송될 수 있다(S23).

그러한 경우, 도 9에서처럼 사용자는 대응되는 단말기의 어플리케이션의 접속을 통해 융합 영상 정보로 출력되는 대상 영역(A) 및 상황 인지 정보를 확인할 수 있다. 도 9에서는 대상 영역(A)에 3D 객체 정보가 일반적인 상황을 제시하고 있으므로, 공간 상황 인지 장치(300)는 해당 상황을 일반 상황으로 판단하고, 각 센서부의 센서값을 포함하는 상황 인지 정보를 생성하여 단말기로 전송할 수 있다.

따라서, 관리자와 같은 사용자는 단말기를 통해 해당 상황 내용을 간단하게 확인할 수 있으며, 융합 영상 정보는 가상 현실 또는 증강 현실로 구성되어 제공됨에 따라 사용자의 입력에 따른 시점 변환이 이루어질 수 있다.

이렇게 상황 인지 정보의 전송이 완료된 후, 외부 단말기(700)의 사용자 입력 정보에 대한 상황 피드백 정보의 수신 여부를 판단할 수 있다(S25).

상황 피드백 정보는, 특정 상황에 대한 융합 영상 정보 및 공간 상황 인지 정보가 단말기로 전송되고, 이를 사용자가 확인한 경우 도 10에서 처럼 상황 피드백 정보를 생성할 수 있다.

예컨데, 공간 상황 인지 장치(300)가, 융합 영상 정보의 분석을 통해 도 10에서처럼 폭력 상황이라고 판단하여 경보에 관한 알림 정보를 상황 인지 정보 생성하여 사용자의 단말기로 전송할 수 있다. 이때, 사용자의 외부 단말기(700)에 구비된 사용자 입력부로부터 융합 영상 정보 및 상황 인지 정보에 대한 사용자 입력 정보가 서비스 서버(500)로 수신되면, 서비스 서버(500)는 이를 공간 상황 인지 장치(300)로 전송할 수 있다. 공간 상황 인지 장치(300)는, 사용자 입력 정보를 융합 영상 정보 및 상황 인지 정보 중 적어도 어느 하나에 반영시킬 수 있는 것이다. 즉, 외부 단말기(700)로부터 생성된 사용자 입력 정보에 따라 상황 기준값을 수동으로 재설정할 수 있는 것이다.

예컨데, 상황 인지 정보를 확인한 사용자는 해당 상황이 폭력 상황이 아니라고 판단되면, 상황 기준값을 변경하기 위한 상황 피드백 정보를 생성할 수 있다.

도 11에서처럼 해당 상황의 경우, 일반 상황으로 상황 기준값을 수정하는 상황 피드백 정보를 생성하고 이를 공간 상황 인지 장치(300)에 전송하면, 공간 상황 인지 장치(300)는 수신된 상황 피드백 정보를 참고하여 상황 기준값을 재설정할 수 있다(S27). 이렇게 상황 기준값이 재설정되면, 해당 시점 이후부터 발생되는 상황에는 재설정된 상황 기준값이 적용될 수 있다.

이러한 상황 기준값은 데이터베이스에 저장되어 상술한 바와 같이, 사용자의 피드백에 의해 재설정되어 학습될 수 있으며, 기존 시점의 상황 기준값을 참고하여 활용될 수도 있다.

예컨데, 상황 인지 정보는 과거 시점에서 생성된 제1 상황 인지 정보와 실시간 시점에서 생성된 제2 상황 인지 정보를 포함할 수 있다. 이러한 경우, 상황 인지부는 기존 시점에서 생성된 제1 상황 인지 정보를 상황 기준값으로 설정하고 이를 참고하여 실시간 시점에서의 제2 상황 인지 정보를 생성할 수 있다. 즉, 상황 기준값은 기존에 발생된 다수의 상황들을 누적하여 학습하는 기계학습 과정을 통해 지속적으로 갱신되는 업데이트 과정을 가질 수 있다.

이와 같은, 본 발명에 따르면 실시간 2D 영상 정보를 3D 영상 정보에 투영하여, 3D 영상에서의 객체 분석을 통해 대상 영역(A)에서 발생되는 상황을 자동을 인지하고 이를 알림으로써 상황 인식의 신뢰도 및 시스템 관리 효율을 보다 향상시킬 수 있다.

또한, 2D 영상 정보의 객체 정보를 3D 객체 정보를 변환하여 분석함에 따라, 객체 속성에 대한 식별 효율을 향상시켜, 데이터베이스에 저장된 정보들의 활용 범위를 보다 다각화시킬 수 있다.

즉, 이와 같은 발명의 구성을 통하는 경우, 대상 영역에 대한 객체들의 동선, 혼잡도, 대기 상태, 공간 상황, 및 경보 상황 등을 전체적으로 관리 가능하여 인테리어, 사업 운영 시간, 및 가용 자원 등과 같은 사업적 제안 요소들을 도출하여 다양한 서비스 분야에 활용 가능할 수 있다.

도 12는 얼굴 인증부(2000)를 설명하기 위한 블록도이다.

얼굴 인증부(2000)는 서비스에 접속되는 사용자의 인증을 실시하기 위한 수단이다. 이를 위해 얼굴 인증부(2000)는 인증 카메라(2100), 특징 라인 추출부(2200), 사각형 생성 추출부(2300), 연산부(2400) 및, 위변조 판단부(2500)를 포함한다.

인증 카메라(2100)는 서비스에 접속하기 위한 사용자 얼굴 이미지를 수집하기 위한 수단이다. 인증 카메라(2100)는 사용자가 서비스에 접속하기 위한 이용하는 단말기에 구비된 카메라 또는 도 2에서의 공간 카메라 등이 적용될 수 있다.

인증 카메라(2100)는 서로 다른 각도에서 연속된 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지를 실시간으로 획득할 수 있다. 예를 들면, 얼굴 이미지는 정면 얼굴 이미지, 좌측면 얼굴 이미지, 우측면 얼굴 이미지, 상측면 얼굴 이미지, 하측면 얼굴이미지 등과 같이 서로 다른 각도에서 얻어진 이미지 일 수 있다.

인증 카메라(2100)는 스피커를 통한 얼굴 움직임 방향에 대한 지시 음성 또는, 디스플레이부에 표시된 이미지의 이동방향에 맞게 얼굴을 움직이도록 하는 이미지 표시에 따라, 사용자가 서로 다른 각도로 얼굴을 움직임에 따라 연속적으로 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지를 실시간으로 획득할 수 있다. 예를 들면, 지시 음성은 "얼굴을 왼쪽으로 회전시키세요", "얼굴을 위쪽으로 올려주세요" 등과 같이 사용자의 얼굴 움직임에 대한 방향을 지시할 수 있는 음성일 수 있다. 또한, 예를 들면, 이미지 표시는 디스플레이부에 표시되는 이미지('도넛, 가면 등')이고, 디스플레이부에 이미지가 왼쪽으로 이동하도록 표시하여 사용자가 얼굴을 왼쪽으로 이동 시키도록 유도할 수 있다.

인증 카메라(2100)는 서로 다른 각도에서 M개의 기준 얼굴 이미지를 획득할 수 있다. 기준 얼굴 이미지는 실시간 얼굴 이미지를 획득하기 이전에 얻어진 이미지로, 특정 기준을 설정하기 위해 미리 얻어진 이미지를 의미한다.

특징 라인 추출부(2200)는 획득된 M개의 기준 얼굴 이미지별 및 획득된 제 N 실시간 얼굴 이미지별로부터 특징점들을 연결하여 특징 라인들을 추출할 수 있다. 예를 들면, 특징 라인 추출부(2200)는 추출된 다수의 특징점들을 서로 연결하여 형성될 수 있는 다수의 특징 라인들을 추출할 수 있다.

사각형 생성 추출부(2300)는 획득된 M개의 기준 얼굴 이미지별 및 획득된 제 N 실시간 얼굴 이미지별부터 사각형들을 형성할 수 있다.

예를 들면, 사각형 생성 추출부(2300)는 획득된 제 1 실시간 얼굴 이미지 및 상기 획득된 제 N 실시간 얼굴 이미지로부터 추출된 특징 라인들 중 인접하지 않은 2개의 특징 라인들을 선택하고, 선택된 2개의 특징 라인들의 양끝점들을 연결하여 사각형을 형성하여 사각형을 생성할 수 있다.

또 다른 예를 들면, 사각형 생성 추출부(2300)는 제 1 기준 얼굴 이미지 및 M개의 기준 얼굴 이미지별로 추출된 특징 라인들 중 인접하지 않은 2개의 특징 라인들을 선택하고, 선택된 2개의 특징 라인들의 양끝점들을 연결하여 기준 사각형을 생성할 수 있다.

사각형 생성 추출부(2300)는 형성된 사각형들 중 제 1 실시간 얼굴 이미지에 포함된 제 1 사각형 및 제 2 사각형를 추출하고, 제 1 사각형 및 제 2 사각형에 대응되는 제 N 실시간 얼굴 이미지에 포함된 제 3 사각형 및 상기 제 4 사각형을 추출할 수 있다.

사각형 생성 추출부(2300)는 M개의 기준 얼굴 이미지별로 생성된 기준 사각형들에 대한 자세 기준선 및 실시간 얼굴 이미지별로 생성된 실시간 사각형에 대한 자세 기준선의 유사도를 비교하여, 생성된 기준 사각형들에 대한 자세 기준선 중 실시간 사각형에 대한 자세 기준선과 가장 유사한 기준 사각형에 대한 자세 기준선을 추출할 수 있다. 여기서 자세 기준선은 생성된 사각형을 기준으로 생성된 선으로, 사각형은 중심선일 수 있다. 그러나, 자세 기준선이 반드시 중심선으로 한정되는 것은 아니며 사각형의 각도를 표현할 수 있는 선이면 족하다.

연산부(2400)는 제 1 실시간 얼굴 이미지에 포함된 제 1 사각형의 넓이 및 제 2 사각형의 넓이 간의 제 1 넓이 비율 및, 상기 제 N 실시간 얼굴 이미지에 포함된 제 3 사각형의 넓이 및 상기 제 4 사각형의 넓이 간의 제 2 넓이 비율을 계산할 수 있다.

예를 들면, 연산부(2400)는 제 1 실시간 얼굴 이미지에 포함된 제 1 사각형의 넓이 및 제 2 사각형의 넓이를 계산할 수 있다.

연산부(2400)는 제 N 실시간 얼굴 이미지에 포함된 제 3 사각형의 넓이 및 상기 제 4 사각형의 넓이를 계산할 수 있다.

연산부(2400)는 제 1 사각형의 넓이 및 제 2 사각형의 넓이 간의 제 1 넓이 비율 및, 제 3 사각형의 넓이 및 상기 제 4 사각형의 넓이 간의 제 2 넓이 비율을 계산할 수 있다.

위변조 판단부(2500)는 가장 유사한 기준 사각형에 대한 자세 기준선에 해당되는 기준 얼굴 이미지의 얼굴 자세를 실시간으로 획득한 실시간 이미지의 얼굴 자세로 판단하여 실시간 이미지의 얼굴 자세의 변화를 판단하고, 판단 결과를 이용하여 실시간 얼굴 이미지가 위변조된 얼굴 이미지인지 살아있는 사람의 얼굴 이미지인지를 판단할 수 있다. 예를 들면, 위변조 판단부(2500)는 판단된 실시간 이미지의 얼굴 자세의 변화가 스피커를 통한 얼굴 움직임 방향에 대한 지시 음성 또는, 디스플레이부에 표시된 이미지의 이동방향에 맞게 얼굴을 움직이도록하는 이미지 표시와 일치되게 변화하는지 여부를 기준으로, 실시간 얼굴 이미지가 위변조된 얼굴 이미지인지 살아있는 사람의 얼굴 이미지인지를 자세 기준으로 판단할 수 있다. 구체적으로, 위변조 판단부(2500)는 얼굴 자세를 기준으로 사용자의 얼굴이 음성('얼굴을 왼쪽으로 회전하세요')과 일치하는 방향으로 이동하였는지를 판단하고, 일치되는 경우 실시간 얼굴 이미지가 살아있는 사람의 얼굴 이미지라고 판단할 수 있다.

위변조 판단부(2500)는 제 1 넓이 비율 및 제 2 넓이 비율의 차이값이 기준 넓이 비율 차이값보다 큰 경우, 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지를 살아있는 사람의 얼굴 이미지로 판단할 수 있다. 넓이 비율의 차이값이 크다는 것은 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지가 2D 이미지가 아니라('3D 이미지')는 것을 의미한다. 따라서, 위변조 판단부(2500)는 사용자가 2D 이미지를 회전/이동 시키면서 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지를 인증 카메라를 통해 입력한 것이 아니고, 살아있는 사람이 움직이면서 얼굴 이미지를 인증 카메라를 통해 입력한 것으로 판단할 수 있다.

반면에, 위변조 판단부(2500)는 제 1 넓이 비율 및 제 2 넓이 비율의 차이값이 기준 넓이 비율 차이값보다 작은 경우, 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지를 위변조된 얼굴 이미지로 판단할 수 있다. 넓이 비율의 차이값이 작다는 것은 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지가 2D 이미지라는 것을 의미한다. 따라서, 위변조 판단부(2500)는 사용자가 2D 이미지를 회전/이동 시키면서 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지를 인증 카메라를 통해 입력한 것으로 판단하여, 현재 획득된 실시간 얼굴 이미지는 위변조된 얼굴 이미지로 판단할 수 있다.

위변조 판단부(2500)는 자세 기준으로 판단한 결과 및 상기 비율 변화 기준으로 판단한 결과에서 모두 실시간 얼굴 이미지가 살아있는 사람의 얼굴 이미지로 판단되는 경우에만, 최종적으로 실시간 얼굴 이미지가 살아있는 사람의 얼굴 이미지로 판단할 수 있다. 이와 같이, 2 단계를 통해 라이브니스를 판단함으로써, 본 발명에 따른 위변조 판단부(2500)는 더욱 정확하게 라이브니스를 판단하고, 이를 기초로하여 서비스에 대한 접속 인증을 실시할 수 있다.

도 13 내지 16은 얼굴 인증부(2000)에서 위변조 여부를 판단하는 과정을 설명하기 위한 도면이다.

도 13 내지 도 16를 참조하면, 얼굴 인증부(도 12, 2000 이하생략)는 서로 다른 각도에서 연속된 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지를 실시간으로 인증 카메라를 통해 획득할 수 있다. 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지라고 표현하였으나, 실시간으로 획득되는 실시간 얼굴 이미지의 개수는 다양하게 설정할 수 있다.

도 13을 참조하면, 얼굴 인증부는 획득된 제 1 실시간 얼굴 이미지 및 획득된 제 N 실시간 얼굴 이미지로부터 특징점들을 연결하여 특징 라인들을 추출할 수 있다

도 14을 참조하면, 얼굴 인증부는 획득된 제 1 실시간 얼굴 이미지 및 획득된 제 N 실시간 얼굴 이미지로부터 사각형들을 형성할 수 있다. 예를 들면, 얼굴 라이브니스 검증 장치는 획득된 제 1 실시간 얼굴 이미지 및 획득된 제 N 실시간 얼굴 이미지로부터 추출된 특징 라인들 중 인접하지 않은 2개의 특징 라인들을 선택하고, 선택된 2개의 특징 라인들의 양끝점들을 연결하여 사각형을 형성하여 사각형(2600, 2700)을 생성할 수 있다.

또한, 얼굴 인증부는 사각형(2600, 2700)의 윗변 및 아랫변의 중심을 지나가는 중심선을 자세 기준선(2610, 2710)으로 생성할 수 있다. 그러나, 자세 기준선이 반드시 중심선으로 한정되는 것은 아니며 사각형의 각도를 표현할 수 있는 선이면 족하다.

도 15를 참조하면, 얼굴 인증부는 제 1 실시간 얼굴 이미지에 포함된 제 1 사각형(2600)의 넓이 및 제 2 사각형(2700)의 넓이를 계산할 수 있다.

얼굴 인증부는 제 1 실시간 얼굴 이미지에 포함된 제 1 사각형(2600) 및 제 2 사각형(2700)에 대응되는 제 N 실시간 얼굴 이미지에 포함된 제 3 사각형(2620) 및 제 4 사각형(2720)을 추출할 수 있다. 예를 들면, 제 3 사각형(2620)은 제 1 사각형(2600)에 대응되는 사각형이고, 제 4 사각형(2720)은 제 2 사각형(2700)에 대응되는 사각형으로, 양 사각형을 비교함으로써 얼굴의 변화를 인식할 수 있다.

얼굴 인증부는 제 N 실시간 얼굴 이미지에 포함된 제 3 사각형(2620)의 넓이 및 제 4 사각형(2720)의 넓이를 계산할 수 있다.

얼굴 인증부는 제 1 실시간 얼굴 이미지에 포함된 제 1 사각형의 넓이 및 제 2 사각형의 넓이 간의 제 1 넓이 비율 및, 상기 제 N 실시간 얼굴 이미지에 포함된 제 3 사각형의 넓이 및 상기 제 4 사각형의 넓이 간의 제 2 넓이 비율을 계산할 수 있다.

얼굴 인증부는 제 1 넓이 비율 및 제 2 넓이 비율의 차이값이 기준 넓이 비율 차이값보다 작은 경우, 제 1 실시간 얼굴 이미지 및 상기 제 N 실시간 얼굴 이미지를 위변조된 얼굴 이미지로 판단할 수 있다.

얼굴 인증부는 제 1 넓이 비율 및 제 2 넓이 비율의 차이값이 기준 넓이 비율 차이값보다 큰 경우, 제 1 실시간 얼굴 이미지 및 제 N 실시간 얼굴 이미지를 살아있는 사람의 얼굴 이미지로 판단할 수 있다.

얼굴 인증부는 서로 다른 각도에서 M개의 기준 얼굴 이미지를 인증 카메라를 통해 미리 획득할 수 있다.

얼굴 인증부는 획득된 M개의 기준 얼굴 이미지별로 특징 라인을 추출할 수 있다.

도 16을 참조하면, 얼굴 인증부는 M개의 기준 얼굴 이미지별로 추출된 특징라인의 끝점들을 연결하여 다수의 사각형을 형성하여 기준 사각형을 생성할 수 있다. 기준 사각형을 편의상 2개로 표현하였으나, 2개 이상일 수도 있다. 예를 들면, M개의 기준 얼굴 이미지는 왼쪽시선 얼굴 이미지, 정면시선 얼굴 이미지, 오른쪽시선 얼굴 이미지, 위쪽시선 얼굴이미지 등을 포함할 수 있다.

얼굴 인증부는 각각의 기준 사각형에 대응되는 자세 기준선(미도시)을 이용하여 얼굴의 자세를 파악할 수 있다.

상기와 같은 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치, 방법, 및 시스템은, 위에서 설명된 실시예들의 구성과 작동 방식에 한정되는 것이 아니다. 상기 실시예들은 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 다양한 변형이 이루어질 수 있도록 구성될 수 있다.

1000: 공간 상황 인지 시스템
100: 3D 영상 장치
300: 상황 인지 장치
400: 모니터링 장치
500: 서비스 서버
700: 외부 단말기

Claims (13)

1. 대상 영역에 대한 3D 영상 정보를 저장하는 통신부;
   상기 대상 영역에 설치되어 상기 대상 영역에 대한 실시간 영상인 2D 영상 정보를 수집하는 공간 카메라;
   수집된 상기 2D 영상 정보를 상기 3D 영상 정보에 투영한 융합 영상 정보를 생성하는 영상 융합부; 및
   상기 융합 영상 정보를 기설정된 상황 기준값과 비교하여 비교 결과에 대응되는 상황 인지 정보를 생성하는 상황 인지부;를 포함하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치.
   
2. 제1항에 있어서,
   상기 3D 영상 정보는,
   상기 대상 영역에 대한 3D 메쉬 정보;
   상기 대상 영역에 대한 3D 텍스처정보; 및
   상기 3D 메쉬 정보와 상기 3D 텍스처정보의 매칭 관계에 관한 텍스처 매핑 정보;를 포함하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치.
   
3. 제2항에 있어서,
   상기 영상 융합부는,
   상기 2D 영상 정보를 상기 3D 텍스처정보 및 상기 텍스처 매핑 정보와 비교하여 대응되는 상기 3D 메쉬 정보에 투영하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치.
   
4. 제2항에 있어서,
   상기 상황 인지 정보를 상기 3D 메쉬 정보 상에 가상 현실 또는 증강 현실 중 적어도 어느 하나의 방식으로 구현하는 화면 구성부;를 더 포함하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치.
   
5. 제4항에 있어서,
   상기 융합 영상 정보는,
   상기 2D 영상 정보에 포함된 객체에 관한 2D 검출 정보를 포함하고,
   상기 영상 융합부는,
   상기 2D 검출 정보를 상기 3D 메쉬 정보에 반영하여 증강 처리하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치.
   
6. 제1항에 있어서,
   상기 대상 영역에 대한 환경 정보를 수집하는 센서부를 더 포함하고,
   상기 상황 인지부는,
   상기 환경 정보를 참고하여 상기 상황 인지 정보를 생성하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치.
   
7. 제1항에 있어서,
   상기 상황 인지 정보는,
   과거 시점에서 생성된 제1 상황 인지 정보; 및
   실시간 시점에서 생성된 제2 상황 인지 정보;를 포함하고,
   상기 상황 인지부는,
   상기 제1 상황 인지 정보를 상기 상황 기준값으로 설정하여 상기 제2 상황 인지 정보를 생성하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치.
   
8. 통신부를 통해 대상 영역에 대한 3D 영상 정보를 저장하는 단계;
   상기 대상 영역에 설치되는 공간 카메라를 통해 상기 대상 영역의 실시간 2D 영상 정보를 수집하는 단계;
   영상 융합부를 통해 상기 2D 영상 정보를 상기 3D 영상 정보에 투영하여 융합 영상 정보를 생성하는 단계; 및
   상황 인지부를 통해 상기 융합 영상 정보를 기설정된 상황 기준값과 비교하여 비교 결과에 대응되는 상황 인지 정보를 생성하는 단계;를 포함하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 방법.
   
9. 제8항에 있어서,
   상기 영상 융합부를 통해 상기 2D 영상 정보를 상기 3D 영상 정보에 투영하여 융합 영상 정보를 생성하는 단계는,
   상기 2D 영상 정보에 포함된 객체에 관한 2D 객체 정보를 생성하는 단계; 및
   상기 2D 객체 정보를 상기 3D 영상 정보에 반영하여 증강 처리하는 단계;를 포함하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 방법.
   
10. 제8항에 있어서,
    센서부를 통해 상기 대상 영역의 환경 정보를 수집하는 단계를 더 포함하고,
    상기 상황 인지부를 통해 상기 융합 영상 정보를 기설정된 상황 기준값과 비교하여 비교 결과에 대응되는 상황 인지 정보를 생성하는 단계는,
    상기 환경 정보를 상기 상황 인지 정보에 반영하는 단계를 포함하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 방법.
    
11. 대상 영역에 대한 3D 영상 정보를 생성하는 3D 영상 장치;
    상기 대상 영역에 대한 실시간 2D 영상 정보를 수집하고, 이를 상기 3D 영상 정보에 투영하여 융합 영상 정보를 생성하며, 기설정된 상황 기준값과 상기 융합 영상 정보를 비교하여 비교 결과에 대응되는 상황 인지 정보를 생성하는 상황 인지 장치; 및
    상기 상황 인지 장치로부터 상기 융합 영상 정보 및 상기 상황 인지 정보를 수신하여 출력하는 모니터링 장치;를 포함하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 시스템.
    
12. 제11항에 있어서,
    상기 상황 인지 장치와 데이터 통신 가능하게 구성되는 서비스 서버를 더 포함하고,
    상기 서비스 서버는,
    외부 단말기와의 통신을 통해 상기 융합 영상 정보 및 상기 상황 인지 정보에 대한 사용자 입력 정보가 수신되면 이를 상기 상황 인지 장치로 전송하는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 시스템.
    
13. 제12항에 있어서,
    상기 상황 인지 장치는,
    상기 서비스 서버로부터 상기 사용자 입력 정보가 수신되면, 이를 상기 융합 영상 정보 및 상황 인지 정보 중 적어도 어느 하나에 반영시키는, 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 시스템.
    
    
    

Images