KR20230095197A - 3차원 공간에서 생성한 인지적 매쉬 정보와 가상 객체들간의 상호작용 방법 및 그 장치 - Google Patents

Abstract

본 발명은 임의의 한 공간에 가상 객체들을 합성하는 증강현실 기술을 구현하고자, 가상의 객체와 실제 공간 간의 상호작용을 위하여 3차원의 인지적으로 분할된 매쉬 정보를 생성하고, 가상의 객체가 실제 공간과 상호작용 하도록 가상 객체의 위치, 방향, 상태에 대한 정보를 갱신하여, 사용자로 하여금 현존감과 조작성을 높이기 위한 방법에 관한것이다. 보다 상세하게는 카메라로부터 얻은 연속된 이미지를 이용하여 기하학적 관계를 추정하여 3차원 공간 정보를 생성하고, 현재 공간의 이미지를 합성곱 신경망을 이용한 인지적 영역분할을 하여, 이를 상기 공간 정보와 결합하여 분할된 인지적 매쉬 정보를 생성한다. 그리고, 3차원의 공간에 배치된 가상 객체가 물리적으로 존재할 수 있는 위치 정보, 방향 정보, 상태 정보를 계속적으로 갱신하고, 상기 인지적 매쉬 정보를 이용하여 가상 객체가 현재의 위치에서 실재할 수 있는지를 판단하여 서로 상호작용 하도록 하며, 가상의 객체가 3차원의 매쉬정보와의 위치 관계를 비교하여 가려짐 등을 표현하여, 3차원 공간에서 생성한 인지적 매쉬 정보와 가상 객체들간의 상호작용을 구현하는 방법과 그 장치에 관한 것이다.

Description

3차원 공간에서 생성한 인지적 매쉬 정보와 가상 객체들간의 상호작용 방법 및 그 장치 {METHOD AND APPARATUS FOR INTERACTION METHOD BETWEEN COGNITIVE MESH INFORMATION GENERATED IN A THREE-DIMENSIONAL SPACE AND VIRTUAL OBJECTS}

본 발명은 가상의 객체를 실제 공간 위에 존재하는 것처럼 합성할 수 있는 실-가상 정합을 구현하기 위한 기술로서, 실제 공간의 형상으로부터 인지적으로 분할된 3차원의 매쉬 정보를 생성하여, 가상의 객체가 실제 공간에서 실재할 수 있는 위치 정보를 정확히 하고, 가상의 객체들과 실제 공간이 시각적, 물리적으로 상호작용하여 사용자로 하여금 가상의 객체가 실제 공간에 실재한다는 착각을 불러 일으켜 현존감을 높일 수 있는 실-가상 정합 콘텐츠를 제공하기 위한 방법 및 장치에 관한 것이다.

일반적으로 증강현실(Augmented Reality) 기술이란, 현실 공간 위에 가상의 물체를 합성하여 중첩하고 이를 보여주는 가상현실(Virtual Reality) 기술에서 파생된 기술 분야로써, 가상현실 기술보다 가상의 물체를 보여주는데 있어서 사용자로 하여금 가상의 물체가 실제로 현실 공간에 존재하는 것처럼 착각을 일으켜 현존감(Presence)을 높여줄 수 있다.

첫번째 일례로서 뎁스 카메라를 이용하여 획득한 뎁스 영상으로부터 3D 포인트 클라우드 맵을 생성하고 3D 포인트 클라우드 맵으로 증강 콘텐츠가 투영될 실 공간의 객체를 추적하여, 프로젝터와 같은 디스플레이 장치를 이용해 실제 공간 상에 가상의 물체를 투영하여 직접 중첩시키고 사용자와의 인터랙션을 할 수 있는 방법이 있다.

두번째 일례로서는 3차원의 현실 공간에서 사용자의 동작을 인식하여 이벤트를 발생시키기 위한 방법으로, 뎁스 카메라를 이용하여 획득한 뎁스 영상으로부터, 가상 공간 상에서의 대상 객체의 위치값을 연산하여 기준위치 데이터베이스와 비교하여 이벤트 실행 신호를 방생하는 방법이 있다.

하지만 상기의 일례들의 방법에서는 카메라 또는 센서를 통해 얻은 3차원 공간정보만 가지고 있으므로, 이렇게 얻은 3D 포인트 클라우드 맵을 통하여 생성한 단편적 매쉬 정보는 공간과 사물이 분리되지 않으며, 또 공간에 해당하는 영역의 속성을 알 수 없는것과 같이 인지적 정보를 얻는 것에 한계가 있다.

또한 사용자는 실제의 공간에서 가상의 객체를 증강하기 위하여, 일반적으로는 사용자가 선택한 객체를 공간에 배치하고, 사물의 크기를 조절하거나 이동하는 등 사용자의 의도에 의하여만 증강현실을 구현하는 한계가 있다.

위와 같은 한계는 증강현실을 구현함에 있어 콘텐츠를 제작하거나 시나리오를 제작하는데 실공간과의 상호작용이 무시되거나, 임의의 객체를 사전에 짜여진 각본에 의해서만 표출할 수 있으므로 현존감 높은 사용자 경험을 제공하는데 상당한 문제점이 있다.

또한 상기의 일례들은 모두 3차원의 실제 공간을 공간정보를 생성하기 위하여 스테레오 카메라 똔느 뎁스 카메라와 같은 심도(Depth)를 획득할 수 있는 장치가 수반되어야 한다. 때문에 심도를 얻을 수 있는 카메라가 내장되어 있지 않은 기기에서는 상기 일례들과 같은 기술을 구현할 수 없는 문제점이 있다.

이러한 한계를 극복하기 위하여, 실제 공간의 2차원 연속 이미지로부터 특징점을 추출하고 연속 이미지간의 위치 정합을 통해 3차원 공간의 위치를 추적하는 3D 포인트 클라우드 맵을 생성하는 방법이 등장하였다.

하지만 이러한 기술 역시 실제 공간의 3D 포인트 클라우드 맵을 구성한 후 가상의 객체를 증강하여 표현하는데 있어서 공간의 인지적 분할을 하지 않고, 가상의 객체를 실제 공간에 유지하기 위한 앵커(Anchor point)를 계산하는데 그쳐, 실제 공간과 가상의 객체가 상호작용하지 않아 사용자가 높은 현존감을 느끼게 할 수 없는 문제점이 있다.

(특허 문헌 0001) KR 10-2009-0009651 (특허 문헌 0002) KR 10-2018-0130753 (특허 문헌 0003) KR 10-2019-0161630

(논문 0001) Neither Quick Nor Proper - Evaluation of QuickProp for Learning Deep Neural Networks, arXiv:1606.04333v2 [cs.CV] 15 Jun 2016

본 발명은 임의의 한 공간에 가상 객체들을 합성하는 증강현실 기술을 구현하고, 가상의 객체와 실제 공간 간의 상호작용을 위하여, 먼저 실제 공간의 3차원 매쉬 정보를 생성하고, 인지적 영역분할을 통해 얻은 영역 정보를 3차원 공간에 투영하여 이를 다시 3차원 매쉬 정보의 영역 분할을 위해 사용하여 인지적 매쉬 정보를 생성한 후, 가상의 객체들이 인지적 매쉬 정보를 이용하여 물리적 특성을 적용한 객체의 위치 결정과 이동 모습을 구현하고, 가상의 객체가 실제 공간의 사물간의 위치 관계를 고려하여 객체의 가려짐을 구현함으로써, 사용자로 하여금 높은 현존감을 얻을 수 있게 하고 사용자와 가상의 객체들이 실제 공간에서 서로 상호작용 할 수 있는 방법을 제공하는데 그 목적이 있다.

본 발명에 앞서 종래의 선행기술에서는 적외선 ToF 카메라, RGB-D 방식의 뎁스 카메라, 스테레오카메라 등을 통해 취득한 깊이 정보를 기반으로 실제 공간을 인식하였으나, 본 발명은 단안 카메라로부터 연속하여 2차원 이미지를 취득하고, 서로 이웃한 이미지 사이의 위치관계를 이용하여 실제하는 공간이나 사물과 같은 대상체까지의 거리를 추정하는 방식으로 깊이 정보를 생성하고, 이 때 각 이미지에서 추출한 특징점 중 카메라까지의 거리를 올바르게 추정하였다고 판단한 특징점들을 모아 3차원 포인트 클라우드 맵으로 구성하는 SLAM(Simultaneous Localization and Mapping) 방법을 구현하여 공간을 해석한다.

본 발명은 해석된 공간 정보와, 취득 시각이 동일한 2차원 이미지를, 합성곱 신경망(Convolutional Neural Network)을 이용한 영역 분할 방법을 이용하여 인지적 영역 분할(Semantic Segmentation)을 수행하고, 그 결과로서 2차원의 인지적 영역 분할 정보를 상기 해석된 공간에 투영(Projection)하여, 상기 해석된 공간 정보로부터 인지적 매쉬 정보로 영역의 의미를 부여한다.

인지적 매쉬 정보는 가상의 객체를 실제 공간에 배치함에 있어, 가상 객체가 실제 공간에 보다 자연스럽게 실재할 수 있도록 3차원 공간상의 앵커(Anker) 포인트를 계산하는데 활용하며, 매쉬 정보는 가상 객체가 실제 공간에 가려져 일부 또는 그 전체의 형상이 보이지 않아야 할 상황에 가상 객체를 실제와 같이 렌더링할 수 있도록 도움을 준다.

또한, 가상의 객체는 인지적 매쉬 정보를 이용하여 실제 공간과 가상의 객체들이 서로 상호작용 할 수 있도록 부가적인 정보를 제공한다. 예를 들어, 인지적 영역 분할을 통해 실제 공간의 테이블을 인식하였다고 한다면, 가상의 객체는 테이블의 위에 실재하는 것처럼 그 위치를 고정하여 표현할 수 있어야 할 것이다. 또는, 실제 공간의 화분을 인식하였다고 한다면, 가상의 객체는 화분의 주변에 어우러져 자연스럽게 보여줄 뿐 아니라 가상의 객체가 화분 뒤에 가려져 일부 또는 전체가 보이지 않음을 표현할 수 있어야 할 것이다. 또는, 실제 공간의 매쉬 정보가 수평면의 높낮이가 있는 경우, 가상 객체의 움직임을 구현할 때 현실 세계의 물리법칙을 적용하여 중력 방향으로 가상의 객체들이 이동하거나 바닥 또는 벽 또는 사물에 부딪혀 움직임의 방향이 바뀌는 것을 표현할 수 있어야 할 것이다.

이와 같이 가상의 객체들이 실제의 공간에서 어떻게 상호작용 해야 하는지에 대한 표현을 하기 위해 실제 공간의 깊이를 추출하고, 3차원 포인트 클라우드 맵을 생성하고, 생성된 공간정보로부터 매쉬 정보를 생성하고, 2차원 이미지의 인지적 영역분할을 수행하고, 이를 상기 매쉬정보의 영역분할을 위해 3차원 투영하여 결합함으로써 사물이나 영역에 따라 분할된 인지적 매쉬정보를 생성하고, IMU센서를 통해 취득한 중력 방향을 결합하여 물리법칙을 적용할 수 있는 정보를 부가하고, 사용자의 요청 또는 사전에 설계된 시나리오로부터 객체의 생성 명령을 받아, 그 객체가 실제 공간에 존재할 수 있는 좌표를 찾아 3차원 공간에 위치하도록 하고, 카메라로부터 얻은 2차원 이미지 위에 가상 객체를 합성하여 디스플레이에 출력하는 증강현실을 구현하는 실제 공간과 가상의 객체들이 서로 상호작용을 구현한다.

본 발명은 가상의 객체가 실제 공간에서 서로 상호작용 하기 위하여, 카메라와, IMU센서와, 디스플레이와, 상기 증강현실을 구현할 수 있는 방법인 알고리즘을 탑재할 수 있는 전자적 기록 매체와, 이를 실행하기 위한 프로세서로 구성된 장치로 구성한다.

상기 장치는, 증강현실을 구현할 수 있는 방법인 알고리즘을 탑재하였는데, 이는, 영상 취득 처리와, 공간정보 생성처리와, 매쉬정보 생성 처리와, 인지적 영역분할 처리와, 인지적 매쉬정보 생성 처리로 구성된 영상해석부로부터 실제 공간의 인지적 매쉬 정보를 생성하는 단계; 가상의 객체를 사용자의 입력 또는 사전에 설계된 시나리오를 통해 가상객체 생성명령을 처리하고, 가상객체의 위치를 계산하고, 가상 객체를 상기 획득 영상 위에 인지적 매쉬 정보를 결합하여 합성하는, 객체표현부로 구성된 객체 표현 단계로 이루어진 것에 특징이 있다.

상기와 같은 본 발명은 사용자에게 가상의 객체가 실제 공간에 물리적으로 실재한다고 착각을 일으켜 현존감을 높일 수 있는 방법으로, 가상의 객체가 실제 공간에서 서로 상호 작용할 수 있어 증강현실 콘텐츠를 제공하는 측면에서 몰입감 있는 시나리오를 구성하는 것이 가능하게 되었다.

3차원 매쉬 정보를 인지적 영역 분할을 이용하여 실제 공간의 구성을 각 사물에 따라 분리할 수 있게 되어, 가상의 객체가 실제 공간의 사물과 상호작용하도록 표현하고, 실제 사물에 가상의 객체가 고정되거나, 부착되거나, 부딪혀 튕겨 나가거나, 쌓이거나, 이에 국한하지 않고 다양한 상호작용을 할 수 있다.

이를 통해 어느 임의의 한 공간에서, 실제의 벽에 가상의 벽시계를 걸어두는 것을 표현하거나, 실제의 테이블 주변에 가상의 의자를 배치하고, 가상의 의자가 배치된 위치에 따라 실제의 테이블에 가려져 그 일부 또는 전체가 보이지 않도록 표현하는 것이 사전에 정교하게 설계되지 않아도 사용자의 목적에 따라 손쉬운 조작으로도 구현할 수 있어, 건설, 건축, 인테리어, 3차원 제품 디자인, 게임 등 다양한 분야의 증강현실 기술로 활용할 수 있다.

단, 본 발명의 적용은 상기 기술한 활용 예에 국한하지 않고, 본 발명의 본질적인 내용의 변경없이 상기의 실시 예시와 다른 분야에도 본 발명을 적용할 수 있다.

도 1은 본 발명을 구성하는 카메라, IMU 센서, 디스플레이로 구성된 장치와, 본 발명의 방법을 구현하기 위한 각 부 알고리즘의 구조를 나타낸 흐름도이다.
도 2는 영상해석부의 처리 과정을 상세히 기술한 순서도이다.
도 3은 객체표현부의 처리 과정을 상세히 기술한 순서도이다.
도 4는 인지적 영역 분할을 수행하는 합성곱 신경망을 상세히 기술한 구조도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 2차원의 컬러 영상을 취득할 수 있는 하나의 카메라(D001)와, 증강현실을 구현하기 위한 알고리즘으로 구성된 영상해석부(S100)와 객체표현부(S200)를 저장할 수 있는 전자적 기록 매체와 이를 실행할 수 있는 프로세서와, 인지적 매쉬 정보에 가속도와 자세에 대한 물리적 환경 정보를 부가하기 위한 IMU센서(D002)와, 실제 공간의 2차원 이미지 위에 가상의 객체를 합성한 영상을 재생할 수 있는 하나의 디스플레이(D003)를 가진 장치와 그 방법에 대한 흐름도이다.

상기 흐름도의 영상해석부(S100)를 구체적으로 기술하면, 카메라(D001)로부터 영상을 얻는 영상 취득 처리(S110)를 통해 정해진 시간 간격마다 일정하게 2차원 이미지를 취득하고, 이를 획득 영상(R001)으로 일시 기억한다. 획득 영상은, 직전에 취득한 2차원 이미지와 현재 취득한 2차원 이미지로 구분하여 기억하고, 이 두 이미지에서 각각 SIFT, SURF, ORB 또는 이와 유사한 이미지의 특징점을 찾아 해당 특징점의 설명자를 생성할 수 있는 알고리즘을 이용하여 특징정보를 추출하고, 시점이 다른 두 이미지 사이의 특징정보간의 유사도를 비교하여, 최근접 특징점의 쌍(Pair)을 구하고, 쌍을 이룬 특징점의 기하학적 관계를 이용하여 t-1 프레임으로부터 t 프레임의 상대적 위치를 구한다. 이 때 특징점의 쌍이 충분히 많은 일정 간격의 연속 프레임을 키프레임 (Key Frame)으로 등록하고, 기하학적 관계로부터 3차원 위치 정보를 구한 특징점들의 군집을 3차원 포인트 클라우드맵으로 생성하는 공간정보 생성 처리(S120) 단계를 실행한다. 다시 상기 3차원 포인트 클라우드맵은 각 특징점의 3차원 공간에서의 유클리디안 거리를 구하고, 모든 특징점은 자신을 제외한 다른 특징점 중 최근접쌍을 적어도 2개 이상 구하여, 3개로 쌍을 이룬 특징점들을 이어 삼각형의 연결로 이루어진 매쉬정보를 생성하는 매쉬정보 생성 처리(S130)를 실행한다.

상기 영상 취득 처리(S110)에서 취득한 2차원 이미지는, 도 4와 같이 구성된 합성곱 신경망을 이용하여 인지적 영역분할 처리(S140)를 실행하여, 2차원의 인지적 영역분할 정보를 생성한다.

상기 2차원의 인지적 영역분할 정보는 평면 이미지와 같이 취급할 수 있는데, 이때 Fast corner detector 와 같은 코너점 추출 알고리즘을 이용하여 추출한 각 모서리의 2차원 위치를, 상기 매쉬정보 생성 처리(S130)에서 생성한 매쉬정보가 존재하는 3차원 공간에 투영(Projection)하여 3차원 정보로 변환하고, 투영된 3차원 좌표 사이의 유클리디안 거리를 구하여 최근접 포인트끼리 서로 연결하여 3차원으로 투영된 인지적 영역분할 정보를 생성하고, 상기 매쉬정보 생성 처리(S130)에서 생성한 매쉬 정보와 3차원의 인지적 영역분할 정보가 가지는 각각의 삼각형간의 거리를 구하고, 서로 근접한 삼각형 중 3차원의 인지적 영역분할 정보 측의 삼각형 각 모서리 3차원 좌표를 매쉬 정보에 추가하여 실제 공간을 세부적으로 표현할 수 있도록 분할하고, 인지적 영역 분할 정보 중 사물의 범주에 대한 정보를 매쉬 정보의 각 삼각형에 부가하여 매쉬정보의 영역이 어떤 사물을 표현하는 것인지에 대해 의미를 가지도록 하고, IMU센서(D002)로 부터 취득한 장치의 이동에 대한 가속도와 장치의 자세에 대한 정보를 얻고, 이 때 중력이 작용하는 방향을 계산하여, 상기 인지적 매쉬정보(R002)에 부가하는, 인지적 매쉬정보 생성 처리(S150)를 실행한다.

상기 객체표현부(S200)는, 사용자가 디스플레이(D003)의 임의의 위치를 터치하거나, 타이머 또는 시계를 이용한 객체 출연 정보에 대한 시나리오를 이용하거나, 가상의 객체와 상호작용하기 위한 조건에 의해서나, 또는 본 발명에서 기술한 방법에 국한하지 않고 객체의 생성을 명령하는 방법에 의해서, 가상객체 생성 명령을 수신하여 일시적 기억장치에 가상객체의 출현 여부와, 위치 정보, 방향 정보, 상태 정보를 만들어 기억하는 가상객체 생성명령 처리(S210)를 실행하고, 생성 명령을 통해 입력된 위치 정보에 가상의 객체를 배치한 후, 시간의 흐름에 따라 물리적인 위치의 변화값이 존재하는지 재계산하여 객체의 위치 정보 또는 방향 정보 또는 상태 정보를 갱신하는 가상객체 위치 계산 처리(S220)를 실행하고, 인지적 매쉬정보(R002)를 이용하여 가상객체가 실제 공간에서 실재하는 것처럼 느끼도록 객체의 물리적 효과 또는 가려짐 또는 본 발명에서 기술한 방법에 국한하지 않고 상호작용하는 장면을, 획득 영상(R001)과 합성하여 실제 공간에 가상의 객체가 존재하는 것과 같이 렌더링하는 가상객체 합성 처리(S230)를 실행하고, 이를 디스플레이(D003)에 출력한다.

Claims (2)

1. 카메라와 IMU센서와 디스플레이와 전자적 기록 매체를 탑재한 장치에서, 카메라로 취득한 영상으로 3차원의 실제 공간을 해석하고자 연속된 영상을 취득하는 단계, 연속된 영상으로부터 특징을 추출하여 정합하는 단계, 연속된 영상에서 정합된 특징 쌍으로 기하학적 관계를 구하여 3차원 공간 정보를 생성하는 단계, 3차원 공간 정보의 특징점을 연결하여 매쉬 정보를 생성하는 단계로 구성된 공간정보 생성 단계와, 취득한 영상에서 인지적 영역 분할을 하여 인지적 영역 분할정보를 생성하는 단계와, 상기 두 단계에서 구한 공간정보와 인지적 영역분할정보를 결합하여 인지적으로 분할된 인지적 매쉬정보를 생성하는 단계와, 상기 단계에서 생성한 인지적 매쉬정보에 IMU 센서를 이용하여 얻은 상기 장치의 자세 정보를 결합하여 인지적 매쉬 정보를 생성하는 방법
   
2. 실제 공간에서 획득한 영상 위에 합성하기 위하여, 가상의 객체가 물리적으로 존재 가능한 공간의 좌표를 계산하는 단계와, 가상의 객체가 실제 공간에서 상호작용 하기 위하여, 상기 청구항 1에서 생성한 인지적 매쉬 정보를 바탕으로 가상의 객체의 위치 정보, 방향 정보, 상태 정보를 갱신하는 단계와, 가상 객체의 상태를 상태를 보존하기 위한 기억 처리 단계와, 실제 공간에서 획득한 영상 위에 가상의 객체를 합성하는 단계로 이루어진 가상 객체 합성 방법
   

Images