KR20230106000A - Xr 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법 및 장치 - Google Patents

Abstract

XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법은 카메라를 통해 수신한 입력 영상으로부터 타겟 객체를 분할하는 단계; 기 학습된 3D 모델 데이터로부터 상기 타겟 객체와 가장 높은 유사도를 갖는 유사 타겟 객체를 추출하는 단계; 상기 카메라를 통해 타겟 객체의 텍스처를 추출하여 상기 유사 타겟 객체에 매핑하는 단계; 사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태를 변형하는 단계; 및 상기 변형된 유사 타겟을 렌더링하여 출력하는 단계를 포함한다.

Description

XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING USER-INTERACTIVE CUSTOMIZED INTERACTION FOR XR REAL OBJECT TRANSFORMATION}

본 발명은 XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법 및 장치에 관한 것이다.

확장현실(Extended Reality)은 가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 그리고 혼합현실(Mixed Reality, MR)을 모두 아우르는 개념으로 광범위하고 다양한 수준의 초실감형 기술 및 서비스를 의미한다.

이러한 확장현실 기술의 발전에 따라, 이에 필요한 비전 기술이나 그래픽 기술 등 다양한 기반 기술 등이 개발되는 상황에서, 기반 기술을 토대로 사용자가 실세계 물체를 자신의 의도한 바대로 인터랙티브하게 변형할 수 있는 기술이 필요한 실정이다.

공개특허공보 제10-2018-0015527호 (2018.02.13)

본 발명이 해결하고자 하는 과제는 확장현실에서 사용자의 의도대로 실객체의 변형을 용이하게 할 수 있도록 하고, 실객체의 변형 목적에 따라 변형 모드를 변경하여 이용할 수 있도록 하는, XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법 및 장치를 제공하는 것이다.

다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법은 카메라를 통해 수신한 입력 영상으로부터 타겟 객체를 분할하는 단계; 기 학습된 3D 모델 데이터로부터 상기 타겟 객체와 가장 높은 유사도를 갖는 객체(이하, 유사 타겟 객체)를 추출하는 단계; 상기 카메라를 통해 타겟 객체의 텍스처를 검출하여 상기 유사 타겟 객체에 매핑하는 단계; 사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체를 메쉬 변형하는 단계; 및 상기 변형된 유사 타겟을 렌더링하여 출력하는 단계를 포함한다.

또한, 본 발명의 제2 측면에 따른 XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 장치는 카메라를 통해 촬영된 영상을 수신하는 통신모듈, 사용자의 인터랙션 기반의 의도 정보를 반영하여 타겟 객체를 변형 및 렌더링하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시킴에 따라, 상기 입력 영상으로부터 타겟 객체를 분할하고, 기 학습된 3D 모델 데이터로부터 상기 타겟 객체와 가장 높은 유사도를 갖는 객체(이하, 유사 타겟 객체)를 추출하고, 상기 카메라를 통해 타겟 객체의 텍스처를 검출하여 상기 유사 타겟 객체에 매핑하고, 사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체를 메쉬 변형하여 렌더링하는 프로세서를 포함한다.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

전술한 본 발명의 일 실시예에 의하면, 실객체의 특성 및 사용자별 맞춤형 GUI를 제공하여, 사용자에게 보다 직관적이고 용이한 인터랙티브 XR 변형 서비스를 제공할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 사용자 인터랙티브 맞춤형 인터랙션 제공 방법의 순서도이다.
도 2는 본 발명의 일 실시예에서 적용되는 메쉬 변형 방법의 일 예시를 설명하기 위한 도면이다.
도 3a 내지 도 3c는 타겟 객체에 대한 사용자의 의도 정보를 반영한 변형 실시예를 설명하기 위한 도면이다.
도 4는 어포던스(affordance) 기반 시각화 GUI 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에서의 객체의 특성 정보를 설명하기 위한 도면이다.
도 6a 내지 도 6d는 사용자별 맞춤형 GUI 제공 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 장치의 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다.

최근에는 비전 기술과 그래픽 기술이 무한 발전하여, 실세계 환경을 3D 복원하는 기술이 속도와 정확성 측면에서 모두 좋은 퍼포먼스를 가지고 개발되고 있다. 그리고 이렇게 복원된 3차원 실물체를 변형하는 것이 점차 가능해지고 있다.

기존에는 3차원 현실 공간(real world) 안에 가상의 3D 물체 모델을 배치하여 현실 공간에 어우러지도록 하는 기술이 있었다. 예를 들어, '이케아'라는 가구 브랜드에서는 자사의 앱을 통해 실제 그 브랜드에서 판매하는 실제 물건의 3D 모델을 사용자들이 제공받을 수 있고, 이를 실제 자신의 집에 증강현실로 배치해볼 수 있다.

처음에는 단순히 현실 공간에 3D 가상의 모델을 현실 공간의 물체와의 상관관계를 고려하지 않고, 3D 공간 안에 증강현실로 보여주는 기술에만 초점을 두다, 이후 점차 상관관계를 고려한 비전기술(겹침(occlusion), 충돌(collision) 등), 그래픽 기술(조명, 렌더링 등)도 점차 개발되었다. 이러한 기술은 모두 현실 공간 안에 가상의 물체를 현실 공간과 잘 어우러지게 하는 기술이다.

이와 더불어, 최근 현실 세계를 변형하고자 하는 기술도 개발되고 있다. 이는 현실 세계에는 실제 물체(real object)를 아주 정교하게 3D 모델로 복원한 후, 현실 공간에 원 배치대로 잘 배치되게 한 다음, 복원된 실물체와 아주 닮은 3D 모델을 변형하여 마치 실제 물체가 변형되는 것처럼 느끼게 하는 기술이다.

이러한 기술은 아직 개발 초기 단계이고, 해당 기술이 실현되기 위해서는 다양한 분야(SW측면에서는 비전, 그래픽, HCI 기술, HW측면에서는 광학 기술 등)의 개발이 함께 이루어져야 한다. 기본적으로 현실 공간을 보다 정확하고 섬세하게 3D 모델로 복원하는 기술, 공간과 공간 안의 물체들을 각각 분할 및 인식 기술, 실시간 물체 추적기술 등의 기초 기술이 잘 개발이 되면 이를 바탕으로 실공간에 존재하는 실제 물체의 3D 모델이 생성되고, 이를 기존에 가상의 오브젝트를 배치하듯이 현재 실공간의 현 위치로부터 다른 위치로 옮기고, 방향을 바꾸고, 속성 기반으로 형태를 변형할 수 있게 된다.

따라서, 확장현실 기반 기술이 개발되면, 기존의 VR, AR에서 사용자가 가상 물체를 조작(manipulation)하는 인터랙션 기술에서 좀 더 섬세한 인터랙션 기술이 요구된다. 특히, 사용자가 전문가인가 일반인인가에 따라서도 적용되는 인터랙션 기술도 달라진다.

이를 위해 본 발명의 일 실시예에 따른 XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법 및 장치는, 확장현실에서 사용자가 실시간 인터랙티브하게 실공간(real-world)에 있는 실객체에 대한 3D 객체를 사용자의 의도대로 용이하게 변형할 수 있도록 하고, 실객체의 변형 목적에 따라 변형 모드를 변경하여 이용할 수 있도록 하는 기술을 제공한다.

이하에서는 도 1 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법(이하, 사용자 인터랙티브 맞춤형 인터랙션 제공 방법)에 대해 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 사용자 인터랙티브 맞춤형 인터랙션 제공 방법의 순서도이다.

본 발명의 일 실시예는 먼저, 카메라를 통해 수신한 입력 영상으로부터 타겟 객체를 분할(segmentation)한다(S110). 이때, 타겟 객체는 실객체 중 사용자에 의해 변형될 대상 객체를 의미한다.

다음으로, 기 학습된 3D 모델 데이터로부터 타겟 객체와 가장 높은 유사도를 갖는 객체(이하, 유사 타겟 객체)를 추출(extraction)한다(S120).

다음으로, 카메라를 통해 타겟 객체의 텍스처를 트래킹(tracking)하여 검출하고, 검출된 텍스처를 추출된 유사 타겟 객체에 매핑한다(S130).

다음으로, 사용자의 인터랙션 기반의 의도 정보를 반영하여 유사 타겟 객체를 메쉬(mesh) 변형(deform)한다(S140).

다음으로, S110 단계 및 S130 단계에서 카메라를 통해 실시간으로 수신한 입력 영상으로부터, 앞선 타겟 객체 이외의 영상(배경)에 대하여, 변형된 유사 타겟 객체로 인하여 변형된 배경 영상을 인페이팅(inpainting)한다(S150). 이때, S150 단계에서는 배경 영상을 인페이팅하기 위하여 기 학습된 학습 모델을 적용할 수 있다.

다음으로, 변형된 유사 타겟 및 변형된 배경 영상을 렌더링하여 출력한다(S160).

한편, 도 1에 도시된 각 단계들은 후술하는 사용자 인터랙티브 맞춤형 인터랙션 제공 장치(100)에 의해 수행되는 것으로 이해될 수 있으나, 반드시 이에 한정되는 것은 아니다.

도 2는 본 발명의 일 실시예에서 적용되는 메쉬 변형 방법의 일 예시를 설명하기 위한 도면이다.

도 1의 각 단계 중 본 발명의 가장 핵심되는 부분은 S140 단계이다. 일 실시예로, 본 발명은 도 2에 도시된 메쉬 변형 기법을 적용할 수 있으나 반드시 이에 한정되는 것은 아니며, 다양한 방법의 메쉬 변형 기법을 배제하는 것은 아니다.

먼저, 유사 타겟 객체에 대한 3D 모델 형태(shape)를 입력받는다(S210). 이때, 본 발명의 일 실시예에서 입력 데이터인 3D 모델 형태는 도 1의 3D 모델 데이터가 타겟 객체의 속성 정보(예를 들어, 실 객체의 특성(attributes) 등)를 모두 포함하지 못하는 경우(예를 들어, CAD, 메쉬 데이터 등), 소정의 데이터 분석 과정을 통해 타겟 객체를 변형 가능하도록 파라미터화하는 사전 프로세싱(pre-processing)을 포함하는 결과값을 의미한다.

다음으로, 미리 학습된 소정의 제1 예측 알고리즘을 통해 입력된 3D 모델 형태에 대한 추론값을 예측한다(S220).

이와 더불어, 미리 학습된 소정의 제2 예측 알고리즘을 통해 입력된 3D 모델 형태에 대한 핸들포인트(handlepoint)를 예측한다(S230). 본 발명의 일 실시예는 최근 3D 모델 변형에 있어서 핸들포인트를 기반으로 하는 기술들을 기본으로 하여, 기 학습된 제2 예측 알고리즘을 통해 입력 3D 모델 형태로부터 핸들포인트도 동시에 예측하여 추출한다. 여기에서 핸들포인트는 사용자가 유사 타겟 객체에 대해 변형할 수 있는 키가 되는 위치 또는 영역을 의미한다.

다음으로, 추출된 핸들포인트를 기반으로 사용자의 의도 정보를 수신하고(S240), 예측된 추론값 및 핸들포인트와, 의도 정보에 따라 변형된 핸들포인트들이 연산되어 변형된 3D 모델 형태를 생성한다(S250).

한편, 본 발명의 일 실시예에서는 사용자가 XR 환경 내에서 인터랙티브하게 실객체를 선택하고 변형하고자 할 때, 타겟 객체의 특성(attributes) 정보, 타겟 객체와 사용자와의 위치 정보, 그리고 타겟 객체에 대한 변형 범위(조정의 세밀성, 조작의 복잡성 등) 정보 중 적어도 하나를 반영하여 유사 타겟 객체를 변형할 수 있다. 이는 도 2에서 점선 박스로 표시한 부분에 해당한다.

이하에서는 타겟 객체의 특성 정보를 반영하여 유사 타겟 객체를 변형하는 과정에 대해 설명하도록 한다.

도 3a 내지 도 3c는 타겟 객체에 대한 사용자의 의도 정보를 반영한 변형 실시예를 설명하기 위한 도면이다.

먼저, 도 3a 및 도 3b의 의자 실시예를 참조하면, 사용자가 의자 윗부분의 한쪽 모퉁이를 잡아당기는 변형 인터랙션을 입력한 경우, 이와 같은 사용자의 변형 인터랙션 의도는 의자의 등받이 윗부분 전체를 좀 더 길게 변형하고자 하는 의도로 볼 수 있다. 이것은 실세계에 존재하는 대부분의 객체들이 대칭(symmetry) 형태를 가지고 있기 때문에, 사용자는 대칭 입력 모델에 있어서 변형 예상을 대칭적으로 변형될 것으로 기대할 수 있기 때문이다.

반면, 도 3c의 고양이 실시예를 참조하면, 사용자가 고양이의 한쪽 귀를 위로 잡아당기는 변형 인터랙션을 한 경우, 사용자의 변형 인터랙션 의도는 고양이의 한쪽 귀만 변형시킨 방향으로 바꾸고자 하는 의도라 볼 수 있다.

더불어, 도 3a의 의자 실시예의 경우, 의자 등받이 옆 기둥을 잡아당기는 변형 인터랙션을 하는 경우, 그 옆 기둥의 두께가 늘어나는 변형을 보일 수도 있지만, 이는 의자의 등받이 전체를 등쪽으로 더 당겨 기울이고자 하는 사용자의 의도로 추정할 수 있다.

이처럼, 사용자의 의도를 자동으로 판단, 추정 및 예측하기는 쉽지 않기 때문에, 본 발명의 일 실시예에서는 HCI(Human Computer Interaction) 방법을 기반으로 사용자의 행동을 유도함으로써 사용자의 의도 정보를 추정할 수 있다. 그리고 추정된 사용자의 의도 정보를 사용자가 인지 가능하도록 시각화(visualization)하는 과정을 제공한다. 또한, 본 발명의 일 실시예에서는 사용자의 추정된 의도 정보가 실제 본인의 의도와 다르다고 판단시, 모드 변경을 통해 객체 변형 자유도를 증가시킬 수 있는 방법도 함께 제공한다.

전술한 바와 같이, 본 발명의 일 실시예는 HCI기술 중 하나인 사용자 경험(UX) 기반의 인터페이스에서 사용자의 행동(인터랙션)을 유도하는 사용자 행동유도 기술(어포던스: affordance, 이하 어포던스라 칭함)을 통해 보다 친근하고 용이한 사용자 인터랙션이 이루어지도록 한다. 또한, 본 발명의 일 실시예에서는 어포던스 기반의 사용자의 의도 정보를 추정하고 이를 시각화하는 방법을 제안한다. 이하, 어포던스 기반 사용자 의도 추정 방법과, 어포던스 기반 시각화 GUI 방법에 대해 각각 설명한다.

먼저, 어포던스 기반 사용자 의도 추정 방법은, 사용자에게 타겟 객체의 변형 GUI(Graphic User Interface) 방법을 위한 학습 프로그램을 제공하여 미리 학습시키는 제1 방법과, 사용자에게 실시간 학습을 제공하는 제2 방법이 있다.

타겟 객체의 변형 GUI 방법을 위한 학습 프로그램을 제공하는 제1 방법은 최근 게임 방식과 유사하다. 보통 처음 게임을 접하는 사용자들에게 게임의 규칙과 방법을 알려주기 위해 본 게임 시작 전 튜토리얼을 제공한다. 또한, 실제로 사용자가 게임에 관련된 액션을 하면서 경험으로 게임 규칙 및 방법을 터득할 수도 있고, 다른 사람이 게임을 하는 장면을 보여주면서 이해를 기반으로 규칙 및 방법을 터득할 수도 있다. 제1 방법 역시 이와 유사한 것으로 사용자에게 학습 프로그램을 미리 제공함으로써 경험 기반 학습이 되도록 한다.

또한, 사용자에게 변형 GUI 방법을 실시간으로 학습시키는 제2 방법은, 유사 타겟 객체의 변형을 위한 기 정의된 변형 GUI 방법을 사용자에게 제공하여, 사용자가 바로 사용하면서 방법을 터득하는 방식이다. 이는 시스템이 의도한대로 사용자의 인터랙션을 유도할 수 있도록, 기 정의된 GUI 방법에 상응하는 변형 파라미터를 시각화하고 단계별로 변화되도록 하여 사용자의 인터랙션을 유도하는 방법에 해당한다. 예를 들어, 의자 기울기를 변경하고자 하는 사용자가 반복하여 의자 두께 변경 파라미터를 이리저리 변형한다고 판단하면, 의자 기울기 변경 파라미터 관련 GUI를 반짝이도록 하는 애니메이션 효과 등을 제공하여 사용자가 다른 파라미터를 사용하도록 유도하는 방식이다.

도 4는 어포던스 기반 시각화 GUI 실시예를 설명하기 위한 도면이다. 한편, 도 4에서는 설명의 용이성을 위해 사용자 인터랙션(손 제스처, XR 장치의 터치, 커서 등)은 '커서'인 것으로 가정하여 설명하도록 한다.

일 실시예로, 사용자의 의도 정보에 따른 인터랙션이 유사 타겟 객체와 기 설정된 제1 거리내에서 발생되는지 여부를 판단한다. 그리고 기 설정된 제1 거리 내인 경우 유사 타겟 객체에 대한 변형 가능한 파라미터를 출력한다.

도 4에서 사용자가 커서를 의자의 등받이 옆 기둥 근처로 움직이면(도 4의 (a)에서 커서의 이동으로 표현), 등받이 옆 기둥에 사용자가 변형할 수 있는 파라미터 3개(등받이 기둥의 굵은 실선들)가 나타난다. 이는 사용자가 직관적으로 확인 가능하도록 소정의 제1 색상을 갖는 실선 등으로 표출될 수 있다.

다음으로, 인터랙션이 출력된 파라미터와 기 설정된 제2 거리 내에 발생되는지 여부를 판단하고, 제2 거리 내인 것으로 판단된 경우 해당 파라미터의 색상을 타 파라미터와 차별되도록 표시하여 사용자의 선택을 유도한다.

도 4의 예시에서, 커서가 파라미터 중 하나에 가까워지면 그 파라미터를 변형할 수 있도록 선택된다(도 4의 (b)에서 타 굵은 실선들보다 더욱 굵은 실선과, 선택 시작을 S로 표현). 그 다음 커서가 이동한 방향만큼 선택된 파라미터의 미리 부여된 특성에 따라 유사 타겟 객체는 변형된다(도 4의 (c)). 이러한 변형은 사용자가 변형하고자 선택한 파라미터를 선택 시작(S, Start)하여 커서를 놓는 순간(F, Final)인만큼 변형된다.

그밖에, 본 발명의 일 실시예는 실세계 안에서 변형이 가능한 객체들을 GUI 상에서 다양한 형태(예를 들어, 해당 객체를 메쉬 형태로 오버레이하여 보여주거나, 또는 해당 객체의 윤곽선에 대해 발광 효과를 적용함)로 사용자가 지각할 수 있도록 시각화하여 제공할 수 있다(도.6a 내지 도 6d 참조).

이처럼 본 발명의 일 실시예는 사용자의 인터랙션이 시작되어 유사 타겟 객체의 근처로 가게 되면, 실객체의 특성(attributes)에 따라 시각화된 1차 GUI로 표현하여 제공한다. 이후, 사용자가 GUI를 실제적으로 사용하는 것에 따라 그 의도를 파악하여 2차 GUI로 표현하여 제공할 수 있다.

한편, 도 3a에서 전술한 바와 같이 의자 객체의 경우에서, 사용자가 의자 등받이 옆 기둥 근처에서 변형 인터랙션을 입력하는 경우를 가정하면, 사용자는 의자 옆 기둥의 두께를 늘리는 변형 인터랙션을 입력할 수도 있고, 등받이 기울기를 변형하는 변형 인터랙션을 입력할 수도 있다.

본 발명의 일 실시예에서는 이를 위해, 객체 별 컴포넌트(component) 정보, 컴포넌트의 속성 정보를 포함하는 객체의 특성(attribute)를 정의하는 사전 프로세싱을 수행하고, 추정된 의도 정보에 상응하도록 객체의 특성 정보를 시각화할 수 있다.

도 5는 본 발명의 일 실시예에서의 객체의 특성 정보를 설명하기 위한 도면이다.

본 발명의 일 실시예는 1차 GUI를 위해 사전 프로세싱을 통해, 객체 별 각각의 컴포넌트 정보와, 해당 컴포넌트의 속성 정보를 객체의 특성 정보라 정의하고, 이를 부여하는 방법을 제안한다.

최종적으로 사용자의 의도 정보를 반영한 변형이 가능하기 위해서는 도 5와 같이, 실객체들에 대한 속성 정보를 이미 알고 있어야 이러한 속성을 잘 표현하도록 GUI를 구성할 수 있고, 잘 구성된 GUI를 통해 사용자 의도를 파악하고 그에 맞게 변형이 가능하다.

1차 GUI를 통해 사용자에게 변형을 유도하였지만, 사용자는 실객체의 특성에 따르지 않고, 자유자재로 타겟 객체를 변형을 하고자 할 수 있다. 이 경우, 모드 변경이 되어 2차 GUI로 변경된다.

즉, 추정된 사용자의 의도 정보가 사용자의 실제 의도와 상이한 경우 사용자로부터 모드 변경 입력을 수신할 수 있다. 이러한 모드 변경 입력에 대응하여 유사 타겟 객객체의 영역(최소 단위로는 한 점) 중 적어도 하나의 변형 자유도를 증가시켜 의도 정보에 따른 유사 타겟 객체를 변형할 수 있다.

사용자가 1차 GUI가 자신의 의도와 다르다는 것을 판단하는 방법의 일 예로, 앞서 설명한 사용자에게 변형 GUI 방법을 실시간으로 학습시키는 제2 방법에서, 사용자로부터 다른 파라미터의 사용을 유도하게 하는 방식을 통해, 사용자에게 1차 GUI가 자신의 의도 정보와 상이한 것임을 알 수 있도록 할 수 있다.

모드 변경인 2차 GUI의 일 예로는, 의자가 휘고 의자 한 부분이 툭 튀어나오는 등 실객체의 특성에 따르지 않는 변형을 의미한다. 이때 변형 파라미터는 사용자가 직접 선택한 변형할 영역(최소단위는 객체의 한 점) 또는 앞선 1차 GUI에서의 특성 정보를 기반으로 한 자동 분할된 객체의 영역 등 다양한 방식의 제한(constraint)을 통해, 사용자의 인터랙션 용이성을 강화할 수 있다.

이하에서는, 타겟 객체와 사용자와의 위치 정보, 그리고 타겟 객체에 대한 변형 범위(조정의 세밀성, 조작의 복잡성 등)를 기반으로 유사 타겟 객체를 변형하는 실시예를 설명하도록 한다.

도 6a 내지 도 6d는 사용자별 맞춤형 GUI 제공 방법을 설명하기 위한 도면이다.

개발된 다양한 AR 기기나 VR 기기 및 VR, AR에서는 조작하고자 하는 가상 객체와 사용자가 서로 멀리 떨어져 있는 경우, 다음과 같은 2가지 방법 중 하나를 보통 사용한다. 사용자가 객체 근처로 가거나, 가상 객체를 사용자 앞으로 당겨오는 방법이다.

사용자가 객체 근처로 가는 방법의 경우, 사용자의 시점 위치 자체가 객체 앞으로 갈 수도 있고, 사용자의 조작 도구 일부(예를 들어, 사용자의 가상 손)만이 객체 앞으로 가는 경우도 있다. 특히, 증강현실(AR)의 경우 실세계에 새로운 가상의 물체를 삽입하여 이를 현재 삽입한 실세계에 어우러지도록 하는 것에 초점이 맞춰져 있기 때문에, 사용자가 다루어야 할 가상의 물체는 그 위치가 사용자와 멀 수도 가까울 수도 있다.

반면, 본 발명에서의 적용 대상인 혼합현실(XR)은 이와 다르다. 혼합현실은 이미 실세계에 어우러져 놓인 실객체를 변형 가능한 가상 3D 객체로 모델링하여 변형된 모습을 실사에 가깝게 보여주는 것이기 때문에, 사용자와의 거리는 사용자가 변형하고자 하는 실객체의 범위 및 사용자의 조작 숙련도와 관련이 더 있다고 볼 수 있다.

따라서, 본 발명의 일 실시예는 혼합현실에서의 실객체 변형 시 사용자가 타겟 객체 변형을 얼마나 세밀하게, 또는 복잡하게 할지에 대한 변형 범위와 실객체 변형을 사용자가 얼마나 능숙하게 하는지에 따라 상이한 GUI를 제공할 수 있다.

일 실시예로, 도 6a를 참조하면 사용자의 계정관리를 통해 사용자의 기본 정보를 입력하여 숙련도 및 객체 변형 범위를 잘 판단할 수 있도록 한다.

예를 들어, 사용자가 전문가 모드를 선택하여, 도 6b와 같은 실객체 형태를 복잡하게 변형한 후(예를 들어, 새롭게 디자인), 그 결과물을 실제로 3D 프린터 기반으로 제품을 생성할 목적이라면, 앞서 설명한 모드 변경 입력을 통해 타겟 객체의 변형 자유도가 가장 높도록 선택한다. 즉, 자동으로 인터랙션을 용이하게 하는 1차 GUI가 아닌, 자유자재 변형이 가능한 2차 GUI를 제공하도록 한다. 그리고 세밀한 조작을 위해, 도 6c에 도시된 바처럼 가능하면 실객체 위에 변형 가능한 3D 모델(예를 들어, 메쉬 변형 모델)을 중첩하여 출력하고, 필요에 따라 실객체에 중첩된 3D 모델만 사용자의 시점 가까이로 이동시켜 변형에 용이하도록 한다. 즉, 도 6d와 같이 변형 가능한 객체만 변형 파라미터화하여 사용자의 시점 가까이로 이동시킬 수 있으며, 사용자는 해당 3D 모델에 대해 높은 변형 자유도로 변형이 가능하다.

한편, 상술한 설명에서, 단계 S105 내지 S190은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 한편, 도 1 내지 도 6d의 내용은 도 7의 XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 장치(100)의 내용에도 적용될 수 있다.

도 7은 본 발명의 일 실시예에 따른 XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 장치(100)의 블록도이다.

본 발명의 일 실시예에 따른 XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 장치(100)는 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.

통신모듈(110)은 카메라를 통해 촬영된 영상을 수신한다.

메모리(120)에는 촬영된 영상으로부터 타겟 객체를 분할하고, 사용자의 인터랙션 기반의 의도 정보를 반영하여 타겟 객체를 변형 및 렌더링하기 위한 프로그램이 저장되며, 프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다.

프로세서(130)는 입력 영상으로부터 타겟 객체를 분할하고, 기 학습된 3D 모델 데이터로부터 상기 타겟 객체와 가장 높은 유사도를 갖는 유사 타겟 객체를 추출한다. 그리고 프로세서(130)는 카메라를 통해 타겟 객체의 텍스처를 추출하여 상기 유사 타겟 객체에 매핑하고, 사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태를 변형하여 렌더링한다.

이상에서 전술한 본 발명의 일 실시예에 따른 XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 사용자 인터랙티브 맞춤형 인터랙션 제공 장치
110: 통신모듈
120: 메모리
130: 프로세서

Claims (12)

1. 컴퓨터에 의해 수행되는 방법에 있어서,
   카메라를 통해 수신한 입력 영상으로부터 타겟 객체를 분할하는 단계;
   기 학습된 3D 모델 데이터로부터 상기 타겟 객체와 가장 높은 유사도를 갖는 객체(이하, 유사 타겟 객체)를 추출하는 단계;
   상기 카메라를 통해 타겟 객체의 텍스처를 추출하여 상기 유사 타겟 객체에 매핑하는 단계;
   사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태를 변형하는 단계; 및
   상기 변형된 유사 타겟을 렌더링하여 출력하는 단계를 포함하는,
   XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법.
   
2. 제1항에 있어서,
   사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태 변형하는 단계는,
   상기 유사 타겟 객체에 대한 3D 모델 형태를 입력받는 단계;
   미리 학습된 소정의 제1 예측 알고리즘을 통해 상기 입력된 3D 모델 형태에 대한 추론값을 예측하는 단계;
   미리 학습된 소정의 제2 예측 알고리즘을 통해 상기 입력된 3D 모델 형태에 대한 핸들포인트를 예측하는 단계;
   상기 추출된 핸들포인트를 기반으로 사용자의 의도 정보를 수신하는 단계; 및
   상기 예측된 추론값 및 핸들포인트와, 상기 의도 정보에 따라 변형된 핸들포인트를 기반으로 상기 3D 모델 형태를 변형하는 단계를 포함하는,
   XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법.
   
3. 제2항에 있어서,
   상기 유사 타겟 객체에 대한 3D 모델 형태를 입력 받는 단계는,
   상기 3D 모델 데이터가 상기 타겟 객체의 속성 정보를 모두 포함하지 못하는 경우, 소정의 데이터 분석 과정을 통해 상기 타겟 객체를 변형 가능하도록 파라미터화하는 사전 프로세싱 결과값을 상기 3D 모델 형태로 입력받는 것인,
   XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법.
   
4. 제1항에 있어서,
   상기 사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태 변형하는 단계는,
   상기 타겟 객체의 특성 정보, 상기 타겟 객체와 사용자와의 위치 정보 및 상기 타겟 객체에 대한 변형 범위 정보 중 적어도 하나를 반영하여 상기 유사 타겟 객체를 변형하는 것인,
   XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법.
   
5. 제4항에 있어서,
   상기 사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태 변형하는 단계는,
   HCI(Human Computer Interaction) 방법을 기반으로 사용자의 행동을 유도하여 상기 사용자의 의도 정보를 추정하는 단계; 및
   상기 추정된 의도 정보를 사용자가 인지 가능하도록 시각화하는 단계를 포함하는,
   XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법.
   
6. 제5항에 있어서,
   상기 사용자의 의도 정보를 추정하는 단계는,
   상기 사용자에게 상기 타겟 객체의 변형 GUI(Graphical User Interface) 방법을 위한 학습 프로그램을 제공하는 단계를 포함하는,
   XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법.
   
7. 제5항에 있어서,
   상기 사용자의 의도 정보를 추정하는 단계는,
   상기 유사 타겟 객체의 변형을 위한 기 정의된 변형 GUI 방법을 사용자에게 제공하는 단계; 및
   상기 사용자의 인터랙션 반응에 따라, 상기 기 정의된 GUI 방법에 상응하는 변형 파라미터를 시각화 및 단계별로 변화되도록 하여 사용자의 인터랙션을 유도하는 단계를 포함하는,
   XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법.
   
8. 제5항에 있어서,
   상기 추정된 의도 정보를 사용자가 인지 가능하도록 시각화하는 단계는,
   객체 별 컴포넌트 정보, 컴포넌트의 속성 정보를 포함하는 객체의 특성 정보를 정의하는 사전 프로세싱을 수행하는 단계; 및
   상기 추정된 의도 정보에 상응하도록 상기 객체의 특성 정보를 시각화하는 단계를 포함하는,
   XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법.
   
9. 제8항에 있어서,
   상기 추정된 의도 정보에 상응하도록 상기 객체의 특성 정보를 시각화하는 단계는,
   상기 사용자의 의도 정보에 따른 인터랙션이 상기 유사 타겟 객체와 기 설정된 제1 거리 내에서 발생되는지 여부를 판단하는 단계;
   상기 기 설정된 제1 거리 내인 경우 상기 유사 타겟 객체에 대한 변형 가능한 파라미터를 출력하는 단계;
   상기 인터랙션이 상기 출력된 파라미터와 기 설정된 제2 거리 내에 발생되는지 여부를 판단하는 단계; 및
   상기 제2 거리 내인 경우 해당 파라미터의 색상을 타 파라미터와 차별되도록 표시하여 사용자의 선택을 유도하는 단계를 포함하는,
   XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법.
   
10. 제5항에 있어서,
    상기 사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태 변형하는 단계는,
    상기 추정된 사용자의 의도 정보가 사용자의 실제 의도와 상이한 경우 사용자로부터 모드 변경 입력을 수신하는 단계; 및
    상기 모드 변경 입력에 대응하여 상기 유사 타겟 객체의 변형 영역 중 적어도 하나의 영역의 변형 자유도를 증가시켜 상기 의도 정보에 따른 상기 유사 타겟 객체를 변형하는 단계를 포함하는,
    XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법.
    
11. 제1항에 있어서,
    상기 변형된 유사 타겟 객체로 인한 변형된 배경 영상을 인페인팅하는 단계를 더 포함하고,
    상기 변형된 유사 타겟 객체를 렌더링하여 출력하는 단계는,
    상기 변형된 유사 타겟 객체 및 변형된 배경 영상을 렌더링하여 출력하는 것인,
    XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법.
    
12. 카메라를 통해 촬영된 영상을 수신하는 통신모듈,
    사용자의 인터랙션 기반의 의도 정보를 반영하여 타겟 객체를 변형 및 렌더링하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시킴에 따라, 입력 영상으로부터 타겟 객체를 분할하고, 기 학습된 3D 모델 데이터로부터 상기 타겟 객체와 가장 높은 유사도를 갖는 객체(이하, 유사 타겟 객체)를 추출하고, 상기 카메라를 통해 타겟 객체의 텍스처를 추출하여 상기 유사 타겟 객체에 매핑하고, 사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태를 변형하여 렌더링하는 프로세서를 포함하는,
    XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 장치.

Images