KR102314578B1 - 가상 현실에서 3d 물체 조작을 위한 보조 카메라 위치 최적화 장치 및 방법 - Google Patents

Abstract

본 발명은 가상 현실에서 3D 물체 조작을 위한 보조 카메라 위치 최적화 방법에 관한 것이다. 본 발명에 따르면, 가상 현실 상의 제1 물체와 사용자 조작에 대응하여 제1 물체로 접근하는 제2 물체 사이의 공간을 가르는 바이섹터 표면을 계산하는 단계, 바이섹터 표면 위에서, 제1 및 제2 물체의 표면 사이의 최단 거리 상에 위치한 점에 해당하는 타겟 포인트 및 최단 거리로부터 오차 범위 이내의 거리 상에 위치한 점들에 해당하는 관심 포인트들을 각각 추출하는 단계, 바이섹터 표면 위에 존재한 후보 포인트 중 보조 카메라를 위한 최적 포인트를 선정하되, 타겟 포인트를 향하는 방향으로 배치된 보조 카메라의 위치를 기준으로 타겟 포인트의 상대적 위치와 거리, 보조 카메라의 영상 내에서 타겟 포인트와 관심 포인트 각각의 관측 여부, 그리고 메인 카메라와 형성한 각도를 고려하여, 최적 포인트를 선정하는 단계, 및 최적 포인트의 위치에서 타겟 포인트를 향하는 방향으로 보조 카메라를 배치하여 메인 뷰와 상이한 시점(viewpoint)을 가지는 보조 뷰를 제공하는 단계를 포함하는 보조 카메라 위치 최적화 방법을 제공한다.
본 발명에 따르면, 가상 공간에서 물체 간에 실시간 가변하는 공간적 관계를 바탕으로 보조 카메라의 위치를 지속적으로 이동시켜 실시간 가변 시점을 가지는 보조 뷰를 끊임없이 제공하고 가상 현실 상의 물체 조작을 효과적으로 보조한다.

Description

가상 현실에서 3D 물체 조작을 위한 보조 카메라 위치 최적화 장치 및 방법{Auxiliary camera position optimization apparatus for 3D object operation in virtual reality and method thereof}

본 발명은 가상 현실에서 3D 물체 조작을 위한 보조 카메라 위치 최적화 장치 및 방법에 관한 것으로서, 보다 상세하게는 가상 현실 상에서 사용자 시점을 갖는 메인 카메라의 뷰와는 전혀 다른 시점의 새로운 뷰을 사용자에게 보조적으로 제공하기 위한 보조 카메라를 실시간 제어할 수 있는 가상 현실에서 3D 물체 조작을 위한 보조 카메라 위치 최적화 장치 및 방법에 관한 것이다.

가상 현실 공간 상에서 사용자는 3D 공간에서 물체를 정밀하게 조작하는데 어려움을 겪는다. 이는 사용자가 물체들 간의 공간적 관계를 인식할 수 있는 시각 정보를 가상 현실 공간 상에서 충분히 제공하지 않고 있기 때문이다.

3D 공간의 공간 정보에 대한 인식을 용이하게 하기 위해서는 동일한 장면에 대한 다양한 관점의 보조 뷰를 사용자에게 제공하는 것을 필요로 한다. 하지만 대부분의 시스템은 사용자 시점의 메인 뷰와 함께, 측면, 상단 뷰와 같은 미리 정해진 시점의 뷰를 보조적으로 제공한다.

하지만 이러한 방식은 정면, 상단 및 측면 방향이 자연스럽게 정의되는 물체(예: 자동차, 주택)의 기하학적 형태를 시각화하는 데는 유용하지만, 일반적이지 않거나 복잡한 구조와 형태의 물체를 시각화하는 데는 다소 부적절하다.

특히 사용자가 조작한 물체를 다른 물체에 장착하는 등의 정밀도가 요구되는 작업을 수행하기 위해서는 3차원 가상 공간 상에서 물체를 정밀하게 조작할 필요가 있다. 하지만, 단순히 측면이나 상면 뷰와 같은 미리 정해진 각도의 뷰를 보조적으로 제공할 경우 사용자 입장에서 실제로 필요로 하는 각도의 뷰가 제공되지 않을 수도 있고 이로 인해 사용자의 작업을 충분히 보조하기 어려우며 사용자가 의도하지 않은 방향이나 위치로 물체가 조작될 가능성이 높다.

따라서 3차원 공간상에서 물체 조작의 정밀도를 높이려면 물체와 주변 물체 간의 공간적 관계를 면밀히 관찰하고 이를 기반으로 보조 뷰의 시점을 적응적으로 조절할 필요성이 있다.

본 발명의 배경이 되는 기술은 한국등록특허 제1976288(2019.05.07 공고)에 개시되어 있다.

본 발명은, 가상 공간에서 사용자가 물체 조작 시에 물체들 간의 실시간 변동하는 공간적 관계를 바탕으로 보조 뷰를 실시간 가변하여 제공함으로써 가상 현실 상의 사용자 조작 행위를 효과적으로 보조할 수 있는 가상 현실에서 3D 물체 조작을 위한 보조 카메라 위치 최적화 장치 및 방법을 제공하는데 목적이 있다.

본 발명은, 가상 현실에서 3D 물체 조작을 위한 보조 카메라 위치 최적화 방법에 있어서, 상기 가상 현실 상의 제1 물체와 사용자 조작에 대응하여 제1 물체로 접근하는 제2 물체 사이의 공간을 가르는 바이섹터 표면을 계산하는 단계와, 상기 바이섹터 표면 위에서, 상기 제1 및 제2 물체의 표면 사이의 최단 거리 상에 위치한 점에 해당하는 타겟 포인트 및 상기 최단 거리로부터 오차 범위 이내의 거리 상에 위치한 점들에 해당하는 관심 포인트들을 각각 추출하는 단계와, 상기 바이섹터 표면 위에 존재한 후보 포인트 중 보조 카메라를 위한 최적 포인트를 선정하되, 상기 타겟 포인트를 향하는 방향으로 배치된 보조 카메라의 위치를 기준으로 상기 타겟 포인트의 상대적 위치와 거리, 보조 카메라의 영상 내에서 타겟 포인트와 관심 포인트 각각의 관측 여부, 그리고 메인 카메라와 형성한 각도를 고려하여, 상기 최적 포인트를 선정하는 단계, 및 상기 최적 포인트의 위치에서 상기 타겟 포인트를 향하는 방향으로 상기 보조 카메라를 배치하여 메인 뷰와 상이한 시점(viewpoint)을 가지는 보조 뷰를 제공하는 단계를 포함하는 보조 카메라 위치 최적화 방법을 제공한다.

또한, 상기 보조 카메라 위치 최적화 방법은, 상기 제1 물체 또는 제2 물체의 움직임에 따라 실시간 가변하여 계산되는 상기 바이섹터 표면에 대응하여 상기 보조 카메라의 위치와 방향을 적응적으로 가변시킬 수 있다.

또한, 상기 최적 포인트를 선정하는 단계는, 직전 시간에서의 상기 보조 카메라 위치를 추가로 고려하여 상기 최적 포인트를 선정할 수 있다.

또한, 상기 최적 포인트를 선정하는 단계는, 후보 포인트에 대한 타겟 포인트의 상대적 거리가 설정 거리와 가깝거나, 후보 포인트와 타겟 포인트 사이에 장애물이 존재하지 않거나, 후보 포인트의 위치에서 관측된 영상 내 관심 포인트들의 분산 정도가 크거나, 후보 포인트의 위치에서 보조 카메라가 메인 카메라와 형성한 각도가 수직에 가깝거나, 후보 포인트의 위치가 직전 시간의 보조 카메라의 위치와 인접할수록, 해당 후보 포인트가 최적 포인트로 선정되는 확률이 높아지도록 설정될 수 있다.

또한, 상기 최적 포인트를 선정하는 단계는, 상기 바이섹터 표면 위의 후보 포인트 각각을 대상으로, 상기 후보 포인트 상에서 상기 타겟 포인트를 향한 방향으로 보조 카메라를 배치할 경우에, 상기 타겟 포인트의 상대적 위치, 상대적 거리, 상기 타겟 포인트의 관측 여부, 상기 관심 포인트의 관측 여부, 상기 메인 카메라와의 각도에 관한 결과를 획득하여 조합하는 단계, 및 상기 조합한 결과를 기초로 상기 후보 포인트 중 하나를 최적 포인트로 선정하는 단계를 포함할 수 있다.

또한, 상기 최적 포인트를 선정하는 단계는, 상기 후보 포인트 상에서 상기 타겟 포인트를 향하도록 배치된 보조 카메라에서의 상기 타겟 포인트의 상대적 위치, 상기 타겟 포인트의 관측 여부, 상기 관심 포인트의 관측 여부, 상기 관심 포인트들의 영상 내 분산 정도, 상기 메인 카메라와의 각도, 상기 타겟 포인트까지의 상대적 거리와 기준 거리 간의 차이와 관련한 인자들을 조합하여 구성한 목적 함수를 연산하며, 상기 후보 포인트 중에서 상기 목적 함수의 결과값을 최소로 도출한 포인트를 최적 포인트로 선정할 수 있다.

또한, 상기 타겟 포인트 및 관심 포인트들을 추출하는 단계는, 상기 제1 및 제2 물체의 표면에 형성된 샘플 포인트 간을 잇는 가상 선분들 중에서 최단 길이의 선분이 상기 바이섹터 표면과 만나는 지점을 상기 타겟 포인트로 추출하고, 상기 가상 선분들 중에서 상기 최단 길이로부터 오차 범위 이내의 길이를 가진 선분들이 상기 바이섹터 표면과 각각 만나는 지점을 상기 관심 포인트로 추출할 수 있다.

또한, 상기 제2 물체는, 사용자의 손 동작에 대응하여 3D 공간 상에서 동작하는 손, 사용자의 손 동작에 의해 조작되는 물체, 외부 조작 기기의 입력 신호에 대응하여 조작되는 물체 중 적어도 하나를 포함할 수 있다.

그리고, 본 발명은, 가상 현실에서 3D 물체 조작을 위한 보조 카메라 위치 최적화 장치에 있어서, 상기 가상 현실 상의 제1 물체와 사용자 조작에 대응하여 제1 물체로 접근하는 제2 물체 사이의 공간을 가르는 바이섹터 표면을 계산하는 계산부와, 상기 바이섹터 표면 위에서, 상기 제1 및 제2 물체의 표면 사이의 최단 거리 상에 위치한 점에 해당하는 타겟 포인트 및 상기 최단 거리로부터 오차 범위 이내의 거리 상에 위치한 점들에 해당하는 관심 포인트들을 각각 추출하는 추출부와, 상기 바이섹터 표면 위에 존재한 후보 포인트 중 보조 카메라를 위한 최적 포인트를 선정하되, 상기 타겟 포인트를 향하는 방향으로 배치된 보조 카메라의 위치를 기준으로 상기 타겟 포인트의 상대적 위치와 거리, 보조 카메라의 영상 내에서 타겟 포인트와 관심 포인트 각각의 관측 여부, 그리고 메인 카메라와 형성한 각도를 고려하여, 상기 최적 포인트를 선정하는 선정부, 및 상기 최적 포인트의 위치에서 상기 타겟 포인트를 향하는 방향으로 상기 보조 카메라를 배치하여 메인 뷰와 상이한 시점(viewpoint)을 가지는 보조 뷰를 제공하는 제어부를 포함하는 보조 카메라 위치 최적화 장치를 제공한다.

또한, 상기 제어부는, 상기 제1 물체 또는 제2 물체의 움직임에 따라 실시간 가변하여 계산되는 상기 바이섹터 표면에 대응하여, 상기 보조 카메라의 위치와 방향을 적응적으로 가변시킬 수 있다.

또한, 상기 선정부는, 직전 시간에서의 상기 보조 카메라 위치를 추가로 고려하여 상기 최적 포인트를 선정할 수 있다.

또한, 상기 선정부는, 후보 포인트에 대한 타겟 포인트의 상대적 거리가 설정 거리와 가깝거나, 후보 포인트와 타겟 포인트 사이에 장애물이 존재하지 않거나, 후보 포인트의 위치에서 관측된 영상 내 관심 포인트들의 분산 정도가 크거나, 후보 포인트의 위치에서 보조 카메라가 메인 카메라와 형성한 각도가 수직에 가깝거나, 후보 포인트의 위치가 직전 시간의 보조 카메라의 위치와 인접할수록, 해당 후보 포인트가 최적 포인트로 선정되는 확률이 높아지도록 설정될 수 있다.

또한, 상기 선정부는, 상기 바이섹터 표면 위의 후보 포인트 각각을 대상으로, 상기 후보 포인트 상에서 상기 타겟 포인트를 향한 방향으로 보조 카메라를 배치할 경우에, 상기 타겟 포인트의 상대적 위치, 상대적 거리, 상기 타겟 포인트의 관측 여부, 상기 관심 포인트의 관측 여부, 상기 메인 카메라와의 각도에 관한 결과를 획득하여 조합한 다음, 상기 조합한 결과를 기초로 상기 후보 포인트 중 하나를 최적 포인트로 선정할 수 있다.

또한, 상기 선정부는, 상기 후보 포인트 상에서 상기 타겟 포인트를 향하도록 배치된 보조 카메라에서의 상기 타겟 포인트의 상대적 위치, 상기 타겟 포인트의 관측 여부, 상기 관심 포인트의 관측 여부, 상기 관심 포인트들의 영상 내 분산 정도, 상기 메인 카메라와의 각도, 상기 타겟 포인트까지의 상대적 거리와 기준 거리 간의 차이에 관한 인자들을 조합하여 구성한 목적 함수를 연산하며, 상기 후보 포인트 중에서 상기 목적 함수의 결과값을 최소로 도출한 포인트를 최적 포인트로 선정할 수 있다.

또한, 상기 추출부는, 상기 제1 및 제2 물체의 표면에 형성된 샘플 포인트 간을 잇는 가상 선분들 중에서 최단 길이의 선분이 상기 바이섹터 표면과 만나는 지점을 상기 타겟 포인트로 추출하고, 상기 가상 선분들 중에서 상기 최단 길이로부터 오차 범위 이내의 길이를 가진 선분들이 상기 바이섹터 표면과 각각 만나는 지점을 상기 관심 포인트로 추출할 수 있다.

본 발명에 따르면, 가상 공간에서 사용자가 물체 조작 시에 물체들 간의 실시간 변동하는 공간적 관계를 바탕으로 사용자 시점의 메인 뷰와는 전혀 상이한 시점의 보조 뷰를 실시간 가변하여 제공함으로써 3차원 가상 현실 공간에서 사용자의 3D 물체 조작을 효과적으로 보조할 수 있다.

이와 같은 본 발명은, 사용자 시점을 가지는 메인 카메라의 메인 뷰 이외에도, 물체와 물체 사이의 실시간 변동하는 공간적 관계를 계산하여 이를 기반으로 보조 카메라를 지속적으로 이동시켜 실시간 가변 시점을 가진 보조 뷰를 끊임 없이 제공할 수 있다.

물론, 이에 따르면, 가상 현실 기반의 3D 공간 상에서의 3D 물체 조작의 정밀도를 높일 수 있음은 물론, 조작 과정에서 물체 간의 불필요한 충돌, 조작 실수나 오류 등을 최소화할 수 있어 가상 현실에서의 3D 물체 조작의 정확도와 작업 속도를 높일 수 있다.

도 1은 본 발명의 실시예에 따른 보조 카메라 위치 최적화 장치의 구성을 나타낸 도면이다.
도 2는 도 1을 이용한 보조 카메라 위치 최적화 방법을 설명하는 도면이다.
도 3은 본 발명의 실시예에서 두 물체 사이의 바이섹터 표면을 획득하는 원리를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따라 3차원 가상 공간에서 두 물체 사이에 계산된 바이섹터 표면을 예시적으로 나타낸 도면이다.
도 5는 도 4에 도시된 두 가지 케이스를 개념적으로 나타낸 도면이다.
도 6은 본 발명의 실시예에서 바이섹터 표면 상에서 추출된 타겟 포인트 및 보조 카메라의 위치를 나타낸 도면이다.
도 7은 본 발명의 실시예에서 목적 함수의 연산에 필요한 인자들을 설명하는 도면이다.
도 8은 본 발명의 실시예에 따라 가상 현실에서 드론을 조정하는 과정에서 보조 뷰를 함께 제공하는 일례를 나타낸 도면이다.
도 9는 본 발명의 실시예에 따라 가상 현실에서 보조 뷰를 제공하는 다른 일례를 나타낸 도면이다.
도 10a 내지 도 10c는 본 발명의 실시예에 따라 가상 현실에서 보조 뷰를 제공하는 또 다른 일례를 나타낸 도면이다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

본 발명은 가상 현실에서 3D 물체 조작을 위한 보조 카메라 위치 최적화 기술에 관한 것으로서, 가상 현실 상에서 사용자의 시점(1인칭 시점)으로 동작하는 메인 카메라의 메인 뷰와는 전혀 상이한 시점에서 관측된 보조 뷰를 보조적으로 제공하도록 동작하는 보조 카메라의 위치를 최적화하는 기법을 제안한다.

본 발명의 실시예는 사용자가 가상 현실에서 조작 중인 물체가 다른 물체를 향하여 접근하는 과정에서, 두 물체 간의 공간적 관계를 분석하고 두 물체 간의 최근접 지점(타겟 포인트)을 탐색한다. 이때, 최근접 지점이란 충돌 위험 지점이나 영역을 의미할 수 있다.

본 발명의 실시예에서 두 물체 간의 공간적 관계는 두 물체 사이의 공간을 이등분하여 가르는 바이섹터 표면(bisector surface)으로 정의될 수 있다. 본 발명의 실시예에서 보조 카메라는 바이섹터 표면 상에 위치해야 하며 바이섹터 표면을 따라 이동할 수 있다. 또한 보조 카메라는 두 물체 간의 최근접 지점을 포함한 영역(충돌 위험 영역)을 관측하는 방향으로 배치된다.

그런데 적어도 한 물체의 이동(움직임)에 따라 바이섹터 표면의 위치와 형상이 가변하면서 물체 간의 최근점 지점 역시 가변할 수 있다. 이때, 보조 카메라는 시간에 따라 변동하는 최근점 지점을 계속하여 타겟팅 및 추종하도록, 바이섹터 표면 상의 위치와 방향을 실시간 변경할 수 있다. 즉, 물체의 이동에 따라 계산되는 바이섹터 표면의 위치와 형상이 실시간 가변하게 되고 에 대응하여 보조 카메라의 위치와 시점 역시 실시간 가변할 수 있다.

이와 같이 본 발명의 실시예에 따르면 바이섹터 표면과 타겟 지점을 지속적으로 재정의하면서 보조 카메라의 위치와 방향(시점)을 그에 대응하여 가변시킬 수 있다.

이처럼, 충돌 위험 지점을 계속하여 추종하는 형태의 보조 뷰 영상을 메인 뷰 영상과 함께 사용자에게 제공할 경우, 메인 뷰(1인칭 시점의 뷰) 만으로는 확인이 어려운 영역 까지 정밀하고 정확한 확인이 가능하게 하여, 가상 현실에서 사용자가 물체 조작 시 물체 간의 불필요한 충돌, 충돌로 인한 파손, 사고 발생, 작업 실패(미션 실패) 등의 문제를 최소화할 수 있다.

물론, 이에 따르면 가상 현실 상에서 사용자가 물체(부품) 간을 조립하거나, 손으로 물건을 만지거나 조작하는 등의 미션을 수행할 때 작업 정밀도, 정확도 및 작업 속도를 개선할 수 있다.

본 발명의 실시예에서 언급하는 메인 카메라 및 보조 카메라는 현실 세계에 존재하는 실물 카메라 아닌, 사용자에게 사용자 시점의 메인 뷰와, 그밖의 보조 뷰를 제공하도록 가상 현실 상에서 가상으로 존재하는 카메라에 해당하며, 실제로 가상 현실 화면 상에서 보여지는 카메라는 아님을 이해하여야 한다. 하지만, 경우에 따라서는(예: 가상 현실 기반의 부품 조립 훈련 게임의 개발자 프로그램의 경우), 보조 카메라가 실제로 이동하며 날아다니는 모습이 가상 현실 화면 상에 그대로 노출되는 형태로 구현될 수도 있다.

이하에서는 본 발명의 실시예에 따른 가상 현실에서 3D 물체 조작을 위한 보조 카메라 위치 최적화 장치 및 방법을 더욱 상세히 설며한다.

도 1은 본 발명의 실시예에 따른 보조 카메라 위치 최적화 장치의 구성을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 보조 카메라 위치 최적화 장치(100)는 계산부(110), 추출부(120), 선정부(130) 및 제어부(140)를 포함한다.

계산부(110)는 가상 현실 상의 제1 물체와 사용자 조작에 대응하여 제1 물체로 접근하는 제2 물체 사이의 공간을 가르는 바이섹터 표면을 계산한다. 여기서 제1 및 제2 물체 모두 가상 현실 상태에 모델링되어 표출되는 3D 물체에 해당한다.

추출부(120)는 바이섹터 표면 위에서, 제1 및 제2 물체의 표면 사이의 최단 거리 상에 위치한 점에 해당하는 타겟 포인트 및 최단 거리로부터 오차 범위 이내의 거리 상에 위치한 점들에 해당하는 관심 포인트들을 각각 추출한다.

선정부(130)는 바이섹터 표면 위에 존재한 후보 포인트 중 보조 카메라를 위한 최적 포인트를 선정한다. 이때, 선정부(130)는 타겟 포인트를 향하는 방향으로 배치된 보조 카메라의 위치를 기준으로 타겟 포인트의 상대적 위치와 거리, 보조 카메라의 영상 내에서 타겟 포인트와 관심 포인트 각각의 관측 여부, 그리고 메인 카메라와 형성한 각도를 종합적으로 고려하여, 여러 후보 포인트 중에 최적 포인트를 선정한다.

제어부(140)는 선정된 최적 포인트의 위치에서 타겟 포인트를 향하는 방향으로 보조 카메라를 배치하여, 메인 뷰와 상이한 시점(viewpoint)을 가지는 보조 뷰를 제공한다.

여기서, 제어부(140)는 제1 물체 또는 제2 물체의 움직임에 따라 실시간 가변하여 계산되는 바이섹터 표면에 대응하여, 보조 카메라의 위치와 방향을 적응적으로 가변시키면서 보조 뷰를 제공할 수 있다.

이하에서는 본 발명의 실시예에 따른 보조 카메라 위치 최적화 방법을 구체적으로 설명한다.

도 2는 도 1을 이용한 보조 카메라 위치 최적화 방법을 설명하는 도면이다.

먼저, 추출부(120)는 가상 현실 상의 제1 물체와 사용자 조작에 대응하여 제1 물체로 접근하는 제2 물체 사이의 공간을 가르는 바이섹터 표면을 계산한다(S210).

여기서, 제2 물체는, 사용자의 손 동작에 대응하여 3D 공간 상에서 동작되는 손(사용자 손 모델) 그 자체에 해당할 수 있지만, 3D 공간 상에서 사용자의 손 동작에 의해 직접적으로 조작되는 물체일 수도 있다. 그 밖에도, 제2 물체는, 외부 조작 기기(게임기, 조정기, 키보드, 마우스 등)의 입력 신호에 대응하여 3D 공간 상에 조작되는 물체(예: 드론, 사람 등)에 해당할 수도 있다.

사용자의 손 동작은 실제 손에 장착된 핸드 모션 인식 장치로부터 획득될 수 있다. 따라서, 본 발명의 장치(100)는 핸드 모션 인식 장치 또는 외부 조작 기기와 연동하여 동작할 수 있다.

물론, 본 발명의 장치(100)는 메인 뷰와 보조 뷰를 시각화하여 제공하는 디스플레이 장치와 추가적으로 연동할 수 있다. 디스플레이 장치는 모니터, TV 등과 같은 일반적인 영상 출력 수단, 그리고 헤드에 장착되는 헤드 마운트 디스플레이(HMD) 등을 포함할 수 있다.

도 3은 본 발명의 실시예에서 두 물체 사이의 바이섹터 표면을 획득하는 원리를 설명하기 위한 도면이다. 도 3에서 P와 Q는 각각 본 발명의 실시예에서 언급한 제1 물체와 제2 물체인 것으로 가정한다.

우선, 도 3(a)의 경우, 설명의 편의상 두 물체 P와 Q를 2차원 평면상에서 다각형 형태의 메쉬(mesh) 모델로 표현한 것이다. 도 3(b)는 메쉬 모델의 모든 꼭지점을 이용하여 들로네 삼각형 분할(Delaunay triangulation)을 적용한 결과이고, 도 3(c)는 도 3(b)를 기반으로 생성한 보로노이 다이어그램(Voronoi diagram)(육각 cell 모양의 선 참조)을 나타낸다.

들로네 삼각 분할 및 보로노이 다이어그램은 기 공지된 기법에 해당하므로 상세한 설명은 생략한다.

도 3(d)는 도 3(c)의 보로노이 다이어그램으로부터, P와 Q 사이의 공간을 세로로 이등분하는 바이섹터 표면(굵은 선 참조)을 얻은 결과이다. 물체 P에 의한 보로노이 셀과 물체 Q에 의한 보로노이 셀이 만나는 면을 계속하여 연결하면, 두 물체 사이의 공간을 가르는 바이섹터 표면이 얻어진다.

이론적으로 바이섹터 표면의 영역은 무한히 확장되지만 연산의 복잡도를 낮추기 위하여 유한한 경계 내에 적합하도록 외곽의 불필요한 영역을 잘라낼 수 있다.

도 4는 본 발명의 실시예에 따라 3차원 가상 공간에서 두 물체 사이에 계산된 바이섹터 표면을 예시적으로 나타낸 도면이다. 이러한 도 4는 'ㄷ'자 모양을 가진 물체(제1 물체)의 홈(groove) 부분에 사용자가 손(제2 물체)의 일부를 넣는 행위에 대한 모습을 나타낸다.

도 4에 나타낸 것과 같이 각 물체는 메쉬 모델로 구현되며, 두 물체의 표면에 찍힌 점들은 메쉬 모델을 위한 꼭지점(샘플 포인트)을 나타낸다. 도 4를 통해 두 물체 사이에 만들어진 바이섹터 표면(bisector surface)을 확인할 수 있으며 바이섹터 표면 역시 메쉬 타입을 가지고 있다.

도 4의 좌측 그림은 오른쪽 그림에 비해 두 물체의 메쉬 모델의 꼭지점 분포가 우측 그림에 비해 듬성한 것을 알 수 있다. 이 경우 바이섹터 표면을 연산하는 속도는 빠르지만, 생성된 바이섹터 표면의 일부가 물체의 홈부 바닥면을 뚫거나 홈부의 측면을 건드리는 오류가 발생한 것을 알 수 있다.

이에 반해, 도 4의 우측 그림과 같이, 샘플 포인트를 보강(약 1cm 간격)하여 꼭지점 분포를 더욱 촘촘히 한 경우, 바이섹터 표면이 물체를 뚫거나 건드리는 일 없이, 두 물체 사이의 공간 상에서 정상적으로 도출된 것을 확인할 수 있다.

이처럼 메쉬 모델의 꼭지점(샘플 포인트)을 보강하여 촘촘하게 구성한다면 바이섹터 표면의 신뢰도는 높아지는 반면 연산의 복잡도 및 연산 시간이 증가하므로, 샘플 포인트의 간격은 연산 속도 및 신뢰도를 모두 고려하여 적절히 조절되는 것이 바람직하다.

도 5는 도 4에 도시된 두 가지 케이스를 개념적으로 나타낸 도면이다.

도 5의 좌측 그림의 경우 메쉬 모델의 꼭지점이 충분하지 않은 경우로서 물체 P와 Q 사이에 만들어진 바이섹터 표면(굵은 선)을 보면, 바이섹터 표면의 일부가 물체 P를 뚫고 지나간 것을 확인할 수 있다.

하지만, 우측 그림의 경우 메쉬 모델의 꼭지점이 충분한 경우로서, 바이섹터 표면(굵은 선)이 물체의 표면을 뚫거나 건드리지 않지 않고 두 물체 P와 Q 사이의 공간을 따라서만 정상적으로 만들어진 것을 알 수 있다.

두 물체 간 바이섹터 표면이 완성되면, 추출부(120)는 해당 바이섹터 표면 위에서 타겟 포인트 및 복수의 관심 포인트를 추출한다(S220).

여기서, 추출부(120)는 바이섹터 표면 위에서, 제1 및 제2 물체의 표면 사이의 최단 거리 상에 위치한 점에 해당하는 타겟 포인트와, 최단 거리로부터 오차 범위 이내의 거리 상에 위치한 점들에 해당하는 관심 포인트들을 추출한다.

타겟 포인트는 보조 카메라의 방향이 추종해야 하는 목표 지점에 해당한다. 관심 포인트들은 타겟 포인트 주변에서 선택되어지는 관심 점들에 해당한다. 이와 같이 타겟 포인트 주변의 관심 포인트들까지 추출하는 이유는, 실제로 타겟 포인트를 포함한 주변 영역 까지를 충돌 위험 영역으로 판단하고 이를 보조 뷰의 시야 내에 모두 포함시키기 위한 목적을 가진다.

구체적으로, 추출부(120)는 제1 및 제2 물체의 표면에 형성된 샘플 포인트 간을 잇는 가상 선분들 중에서 최단 길이의 선분이 바이섹터 표면과 만나는 지점을 타겟 포인트로 추출한다. 그리고, 가상 선분들 중에서 최단 길이로부터 오차 범위 이내의 길이를 가진 선분들이 바이섹터 표면과 각각 만나는 지점들을 각각 관심 포인트로 추출한다.

도 6은 본 발명의 실시예에서 바이섹터 표면 상에서 추출된 타겟 포인트 및 보조 카메라의 위치를 나타낸 도면이다.

도 6은 설명의 편의상 두 물체 P와 Q, 그리고 두 물체 사이에 만들어진 바이섹터 표면(30)을 2차원적으로 도시한 것에 해당한다. 또한 각 물체 P와 Q의 표면 상의 점인 소문자 p와 q는 각 물체 상의 샘플 포인트를 나타낸다.

여기서, 두 물체 P와 Q의 표면 사이의 최단 거리(d_min) 상에 위치한 점 't'는 타겟 포인트를 나타낸다. 이를 위해, 추출부(120)는 두 물체 표면의 샘플 포인트 간을 이은 가상 선분 중 최단 길이(예: 10 cm)의 선분을 탐색하고 탐색한 해당 선분이 바이섹터 표면(30)과 교차하는 지점을 타겟 포인트(t)로 추출할 수 있다. 만일, 물체 P 상의 점 p'와 물체 Q 상의 점 q' 간의 거리가 최단 길이였다면, 유클리디안 거리 식에 따라 d_mim=∥p'-q'∥으로 표현될 수 있다.

이처럼, 추출부(120)는 두 물체 간의 최단 거리에 대응한 바이섹터 표면(30) 상의 어느 한 점을 찾아서 타겟 포인트(t)로 추출한다.

여기서, 추출부(120)는 타겟 포인트(t)만 추출하는 것이 아니라, 타겟 포인트(t) 주변의 점들을 추가로 추출한다. 이를 위해, 두 물체 표면의 샘플 포인트 간을 이은 가상 선분 중 10~11 cm 거리를 만족하는 선분 각각이 바이섹터 표면(30)과 만나는 교차점을 각각 관심 포인트로 추출할 수 있다.

이와 같이 관심 포인트를 함께 추출함으로써 추후 타겟 포인트와 주변의 관심 포인트들을 한번에 담은 보조 뷰를 사용자에게 제공할 수 있다.

이러한 도 6에서 메인 카메라(10)는 가상 현실 상에서 사용자 시점(1인칭)에서 관찰하는 카메라에 해당하며, 사용자 시점의 메인 뷰를 제공한다. 그런데, 메인 카메라(10)의 시점(방향)으로는 두 물체 간의 최근접 지점에 해당하는 충돌 위험 지점(t 지점)의 모습을 전혀 관측하기 어려움을 알 수 있다.

하지만, 도 6에서와 같이 보조 카메라(20)를 바이섹터 표면(30) 상의 어느 한 지점 상에 위치시킨 상태에서 충돌 위험 지점을 향하는 방향으로 배치한다면, 충돌 위험 지점(t)를 포함한 충돌 위험 영역의 영상 즉, 보조 뷰(auxiliary view)를 메인 카메라(10)의 메인 뷰와는 별도로 제공할 수 있다.

이에 따라, 사용자는 물체 조작 시에 가상 현실 상에 제공되는 메인 뷰와 보조 뷰를 모두 참조하여 3차원 공간에서 물체를 용이하게 조작할 수 있고, 조작 과정에서 물체 간 불필요한 충돌, 조작 실수 등을 방지하고 3D 물체 조작의 정확도와 작업 속도를 향상시킬 수 있다.

물론, 이를 위하여, 보조 카메라(20)는 현재의 두 물체 사이의 공간적 관계(바이섹터 표면, 충돌 위험 지점 등)를 고려하여, 바이섹터 표면(30) 상의 최적 지점에 위치하여야 한다.

이를 위해, 선정부(130)는 보조 카메라(20)를 현재 만들어진 바이섹터 표면(30) 상의 어느 지점에 위치시킬 것인지를 결정한다. 즉, S220 단계 이후, 선정부(130)는 바이섹터 표면(30) 상의 복수의 후보 포인트 중에서 보조 카메라(20)를 위한 최적의 포인트를 선정한다(S230).

여기서 바이섹터 표면(30) 위에 존재한 복수의 후보 포인트는 바이섹터 표면의 메쉬 구조를 형성하는 각 포인트를 의미할 수 있으며, 꼭지점을 더욱 보강하여 후보 포인트로 사용할 수도 있다.

도 6에서 보조 카메라(30)는 타겟 포인트(t)를 향하도록 배치되어야 하는데, 타겟 포인트(t)를 바라보는 각도는 다양할 수 있다. 하지만 충돌 위험 영역에 대한 정확하고 포괄적인 관찰을 위해서는 타겟 포인트(t)와 그 주변의 관심 포인트들 까지 한 화면에 담을 수 있어야 한다.

또한, 동일한 배율 조건에서 관심 포인트들이 화면 일부에 집중되어 뭉쳐서 보이는 각도보다는, 화면 내에 가급적 분산된(흩어진) 형태로 보이는 각도가 사용자 입장에서 충돌 위험 지점 근방을 보다 넓은 표면적으로 세밀하게 관측하기 좋은 위치에 해당한다. 선정부(130)는 상술한 점들을 모두 고려하여 보조 카메라의 위치를 선정한다.

이러한 점을 고려하여, 선정부(130)는 바이섹터 표면 위에 존재한 후보 포인트(c) 중에서 보조 카메라(20)를 위한 최적 포인트를 선정하되, 타겟 포인트(t)를 향하는 방향으로 배치된 보조 카메라(20)의 위치를 기준으로 타겟 포인트(t)의 상대적 위치와 거리, 보조 카메라(20)의 영상 내에서 타겟 포인트(t)와 관심 포인트 각각의 관측 여부, 메인 카메라(10)와 형성한 각도 등을 고려하여 최적 포인트를 선정한다.

구체적으로, 선정부(130)는 바이섹터 표면 위에 존재한 후보 포인트(c) 각각을 대상으로, 후보 포인트 상에서 타겟 포인트(t)를 향한 방향으로 보조 카메라(20)를 배치할 경우에, 타겟 포인트의 상대적 위치(t-c), 상대적 거리(∥t-c∥), 보조 카메라(20)의 영상에서 타겟 포인트의 관측 여부, 관심 포인트의 관측 여부, 그리고 메인 카메라(10)와 형성한 각도에 관한 결과를 획득하여 조합한다. 그리고, 조합한 결과를 기초로 후보 포인트 중 하나를 최적 포인트로 선정한다.

보조 카메라(20)가 놓여지는 후보 포인트의 위치(좌표)는 'c', 타겟 포인트의 위치(좌표)는 't'라고 할 때, 타겟 포인트(t)에 대한 후보 포인트(c)의 상대적 위치는 t-c이고, 타겟 포인트(t)에 대한 후보 포인트(c)의 상대적 거리는 두 점 간의 유클리디안 거리 ∥t-c∥로 정의될 수 있다.

보조 카메라(20)가 메인 카메라(10)와 형성한 각도는 메인 카메라(10)의 방향(시선)을 기준으로 보조 카메라(20)의 방향(시선)이 틀어진 각도를 의미한다. 또한, 보조 카메라(20)의 영상 내에 타겟 포인트 혹은 관심 포인트의 관측 여부란, 소정의 후보 포인트(t)에 위치한 보조 카메라(20)가 소정 방향을 향하여 영상을 촬영할 경우에, 촬영된 영상 내에서 타겟 포인트나 관심 포인트가 관측되는지 여부를 나타낸다.

메인 카메라(10)의 시선 방향은 이미 사용자의 시선에 대응하도록 정해지는 요소이다. 하지만 보조 카메라(20)의 경우 소정의 후보 포인트(t)의 위치에서 메인 카메라(10)의 방향과 형성한 각도에 따라, 타겟 포인트의 영상 내 관측 여부, 관심 포인트의 영상 내 관측 여부와 관측 개수, 영상 속에서 관심 포인트들이 흩어져 보이는 정도(분산) 등이 달라질 수 있다.

여기서, 선정부(130)는 보조 카메라(20)의 최적 위치 선정을 위한 요소로, 직전 시간에서의 보조 카메라 위치를 추가로 고려할 수 있다. 이는 보조 카메라(20)가 가상 공간 상에서 소정 거리 간격 이내로 시간에 따라 부드럽게 연속적으로 이동하도록 하기 위한 것이다. 즉, 직전 위치로부터 소정 거리 이내에 위치한 후보 포인트 중에서 선정하도록 하여, 보조 카메라(20)가 넓은 간격으로 점프하면서 이동하는 것과 같은 부자연스러운 위치 이동 현상을 방지할 수 있다.

본 발명의 실시예는 3차원 형상의 바이섹터 표면(30)을 따라 후보 포인트들이 3차원적으로 존재한다. 도 6의 경우 설명의 편의상 바이섹터 표면(30)을 2차원적으로 도시하고 있지만, 실제로는 도면에 대한 앞뒤 등의 방향으로도 후보 포인트들이 3차원 적으로 존재하게 된다.

본 발명의 실시예는, 이들 후보 포인트들 중에서도, 후보 포인트에 대한 타겟 포인트(t)의 상대적 거리가 설정 거리(기 설정된 기준 거리)와 가깝거나(A), 후보 포인트와 타겟 포인트 사이에 장애물(시각적 장애 요인)이 존재하지 않거나(B), 후보 포인트의 위치에서 관측된 영상 내 관심 포인트들의 분산 정도가 크거나(C), 후보 포인트의 위치에서 메인 카메라와 형성한 각도가 수직에 가깝거나(D), 후보 포인트의 위치가 직전 시간의 보조 카메라 위치와 인접(E)하는 조건을 만족하는 후보 포인트일수록, 최적 포인트로 선정되는 확률이 높아진다.

여기서, B 및 C는 이하 후술하는 목적함수 E(c)에서의 시각적 선명성 인자(E_v)와 관련되고, A는 적정 거리(거리 적합성) 인자(E_d)와 관련되고, D는 직교성 인자(E_O)과 관련되고, E는 모션 연속성 인자(E_S)와 관련된다.

이와 같이, 본 발명의 실시예에서 보조 카메라(20)는 기본적으로 바이섹터 표면 위에 위치해야 하고, 메인 카메라(10)의 뷰와 가급적 수직에 가까운 뷰를 제공해야 하며, 충돌 위험 지점(타겟 포인트 t)으로부터 정해진 거리 만큼 떨어져 있어야 하며, 자신의 직전(이전) 시간의 위치와는 가급적 가까워야 한다.

본 발명의 실시예는 이러한 사항들을 판단하기 위한 목적 함수를 사용하며, 바이섹터 표면 상의 복수의 후보 포인트들 중에서도 목적 함수를 최소화하는 하나의 후보 포인트를 찾아서 이를 현재 시간에서의 보조 카메라(20)의 최적 위치(최적 포인트)로 도출한다.

즉, 선정부(130)는 후보 포인트 상에서 타겟 포인트를 향하도록 배치된 보조 카메라(20)에서의 타겟 포인트의 상대적 위치(t-c), 타겟 포인트까지의 상대적 거리(∥t-c∥)와 기준 거리(d) 간의 차이, 타겟 포인트의 관측 여부, 관심 포인트의 관측 여부, 관심 포인트들의 영상 내 분산 정도, 메인 카메라와의 각도에 관한 인자들을 조합하여 구성한 목적 함수 E를 연산한다.

그런 다음, 선정부(130)는 후보 포인트 중에서 목적 함수의 결과값을 최소로 도출한 포인트를 최적 포인트로 선정한다.

본 발명의 실시예에서, 소정 후보 포인트(c)에서의 목적 함수 E(c)는 아래의 수학식 1과 같이 정의될수 있다

즉, E(c)는 후보 포인트(c)에서의 목적 함수의 결과 값으로, 각각의 후보 포인트 마다 수학식 1을 적용하여 E(c) 값을 얻는다.

여기서, E_v는 시각적 선명성(Visual clarity) 인자, E₀는 메인 카메라에 대한 직교성(Orthogonality) 인자, E_d는 거리 적합성(Proper distance) 인자, E_S는 모션 연속성(Motion continuity) 인자를 나타낸다.

물론, 수학식 1의 각 인자에 곱해진 ω_v, ω₀, ω_d, ω_S는 인자별 가중치를 나타낸다. ω 값은 모두 1이 사용될 수도 있지만, 각 인자의 중요도에 따라 1보다 작은 소수의 값으로 조정될 수 있으며 이 경우 네 가지 가중치의 합은 1이 되도록 설정될 수 있다.

도 7은 본 발명의 실시예에서 목적 함수의 연산에 필요한 인자들을 설명하는 도면이다. 이하에서는 도 7(a), (b), (c), (d)를 참조하여 수학식 1을 구성하는 네 가지 요소(인자)를 각각 설명한다.

도 7의 경우 물체 P, Q를 2차원 평면 상에 도시한 것이며, 물체 사이의 최단 거리 지점에 대응하여 추출된 타겟 포인트 t를 확인할 수 있다. 타겟 포인트 t 주변의 작은 원들은 관심 포인트들을 나타내는데, 현재의 도 7의 2차원 평면 상에서는 입체적인 표현이 어려운 관계로, 설명의 편의상 타겟 포인트의 양쪽 주변에 관심 포인트들이 퍼져 보이도록 도시하였음을 이해하여야 한다.

먼저, 수학식 1의 E_v(시각적 선명성 인자)는 수학식 2와 같이 표현되어진다.

여기서, E_v(c)는 소정 후보 포인트(c)에서의 시각적 선명성을 나타낸다.

또한, t-c와 ∥t-c∥의 개념은 앞서 설명한 바 있다. 이때, t-c를 ∥t-c∥로 나눈 값

은 보조 카메라(20)의 방향에 대응한다. 도 7 (a)를 보면 보조 카메라(20)의 방향을

로 표현하고 있다. 그리고, a_i는 주축(x,y,z; i=1,2,3)을 나타내고, (·)은 내적 연산을 나타낸다. 도 7(a)는 2차원 평면에 해당하므로 a₁과 a₂ 만을 도시하고 있다. 물론 a₃는 도면을 수직으로 뚫는 축 방향에 해당한다.

또한, σ_i는 추출된 관심 포인트들의 분산이며, 각 축별로 구해진다. 즉, x축, y축, z축 표면 상에서 관심 포인트들의 분산 정도가 개별 구해진다.

수학식 2의 E_v(c) 값이 작을수록 해당 후보 포인트 c 위치에서의 시각적 선명성이 높다는 것을 의미한다. 즉, 후보 포인트와 타겟 포인트 사이에서 시야 가림을 유발하는 장애 요소 없이 보조 카메라(20)의 영상(보조 뷰) 내에 타겟 포인트와 관심 포인트들이 모두 포함된 형태로 촬영되면서, 관심 포인트들의 분산 정도가 높게 나타날수록 E_v 값이 작아지게 된다. 여기서, 시각적 장애 요소란, 제1 물체나 제2 물체 자체의 굴곡지거나 복잡한 형상 등으로 인한 장애 요인 뿐만 아니라 주변의 타 물체로 인한 장애 등을 포함할 수 있다.

물론, 이러한 수학식 1에 의하면, 후보 포인트와 타겟 포인트 사이에 시각적 장애 요인(장애물)이 존재하지 않을수록, 그리고 후보 포인트의 위치에서 관측된 영상 내 관심 포인트들의 분산 정도가 클수록, 최적 포인트로 선정될 가능성이 높아지는 것을 알 수 있다.

그리고, 수학식 1의 E₀(메인 카메라에 대한 직교성 인자)는 수학식 3과 같이 표현된다.

여기서, E₀(c)는 소정 후보 포인트(c)에서의 직교성을 나타낸다. 또한,

는 보조 카메라(20)의 방향이고, v는 메인 카메라(10)의 방향이며, (·)은 둘 간의 내적 연산을 나타낸다. 도 7(b)에는 설명의 편의상 보조 카메라의 방향은

, 메인 카메라의 방향은

로 표현하였다.

이때, 내적이 0에 가까울수록 두 벡터가 수직임을 의미하므로, E₀(c) 값이 작다는 것은 보조 카메라(20)와 메인 카메라(10)가 수직에 가까운 각도를 가지는 것을 의미한다. 여기서 물론, 내적 값이 0보다 작은 음수로 나타나는 둔각 요소를 제거하기 위하여 내적에 대하여 절대값을 씌운 값을 사용한다.

본 발명의 실시예는, E₀(c) 값이 가장 작은 후보 포인트의 위치에 해당 각도를 갖도록 보조 카메라(20)를 위치시켜, 보조 카메라(20)의 방향이 가급적 메인 카메라(10)의 방향과 수직에 가까운 각도를 형성할 수 있고, 이를 통해 메인뷰와 수직에 가까운 시점에서 보조 뷰를 제공할 수 있다.

이러한 수학식 3에 따르면, 해당 후보 포인트 위치에서 보조 카메라(20)가 메인 카메라(10)와 형성한 각도가 수직에 가까울수록, 해당 후보 포인트가 최적 위치로 선정될 가능성이 높아지는 것을 알 수 있다.

다음, 수학식 1의 E_d(거리 적합성 인자)는 수학식 4와 같이 표현된다.

여기서, E_d(c)는 소정 후보 포인트(c)에서의 거리 적합성을 나타낸다. 또한, d는 설정 거리(기준 거리)를 나타낸다.

이때, 후보 포인트와 타겟 포인트 간의 거리(∥t-c∥)가 기준 거리(d)를 기준으로 앞뒤로 가까워질수록, E_d(c)는 작아지는 것을 알 수 있다. 즉, 도 7(c)에서 E_d(c)가 0에 가까울수록 거리 적합성이 높음을 의미한다.

이에 따르면, 바이섹터 표면을 따라 위치한 복수의 후보 포인트 중에서, 타겟 포인트(t)와 떨어진 거리(∥t-c∥)가 설정 거리(d)와 가까운 후보 포인트일수록, 최적 위치로 선정될 가능성이 높아진다. 다시 말해서, 수학식 4의 값을 최소화하는 후보 포인트일수록 최적 위치로 선정될 가능성이 높아진다.

다음, 수학식 1의 E_S(모션 연속성 인자)는 다음의 수학식 5와 같이 표현된다.

여기서, E_S(c)는 소정 후보 포인트(c)에서의 모션 연속성을 나타내고, c는 현재 시간에 대한 후보 포인트의 위치이고, c_prev는 직전 시간에서 보조 카메라(20)의 위치를 나타낸다.

이때, 현재의 후보 포인트의 위치가 직전 시간의 보조 카메라(20) 위치와 인접할수록, 우항의 절대값이 0에 가까워진다. 다만, 0에 해당하는 경우 움직임이 없는 것과 같기 때문에 이전의 위치를 후보에서 제외함은 자명한 것이다. 이러한 수학식 5에 의하면, 수학식 5를 값을 최소화하는 후보 포인트일수록, 즉 도 7(d)에서 더 작은 E_S(c)를 도출하는 후보 포인트일수록, 최적 위치로 선정될 가능성이 높아진다.

이러한 방법으로, 바이섹터 표면 상을 따라 존재하는 각 후보 포인트를 대상으로, 수학식 2 내지 5의 값을 구한 다음, 구해진 각각의 값에 가중치를 적용하고 합산하면 수학식 1의 결과 값 E(c)을 구할 수 있다.

이때, 아래 수학식 6과 같이, 수학식 1의 E(c) 값을 최소로 하는 후보 포인트를 탐색하여 이를 현재 시간에 대한 보조 카메라(20)의 최적 위치 c^*로 결정한다.

여기서, 대문자 C는 후보 포인트들의 집합을 의미하며, 수학식 6에 따라 후보 포인트 집합 C 내에 소속된 원소 각각에 대해 E(c)를 구하고, 그 중에서 가장 작은 E(c) 값을 도출한 c를 찾아서 이를 c^*로 선정한다.

이후에, 제어부(140)는 탐색한 최적 포인트의 위치(c^*)에서 타겟 포인트(t)를 향하는 방향으로 보조 카메라(20)를 배치하여, 보조 카메라(20)에 의해 촬영되는 보조 뷰를 메인 뷰와 함께 실시간 제공한다(S240,S250).

여기서 물론, 제어부(140)는 실시간 가변하여 계산되는 바이섹터 표면과 그에 따른 타겟 포인트(t)에 대응하여, 상술한 S230~S250 단계를 적용하여 보조 카메라(20)의 위치와 방향을 적응적으로 가변시키도록 한다.

이때, 타겟 포인트(t)는 아래 수학식 7과 같은 선형 보간 기법을 통하여 점진적으로 전환 및 업데이트될 수 있고, 그에 대응하여 보조 카메라(20)의 위치(c) 또한 점진적으로 전환 및 업데이트될 수 있다.

여기서, t는 타겟 포인트, c^*는 선정된 최적 포인트를 나타낸다.

와

는 선형 보간 기법을 통하여 점차 업데이트되는 중간 변수이고,

와

는 현재 프레임의 값이며

와

는 중간 변수를 기반으로 다음 프레임에서 얻은 새 값을 나타낸다. α는 중간 변수나 현재 값의 중요도에 따라 설정 가능하다. 예를 들어, α=0.1로 설정하고, 초당 30프레임의 속도로

와

를 업데이트할 수 있다.

이러한 방법을 통하여 타겟 포인트(t)의 위치 및 그에 따른 보조 카메라의 위치(c)를 매 프레임마다 부드럽게 점진적으로 이동시킬 수 있고 이를 통하여 불연속적이거나 부자연스러운 위치 이동을 방지할 수 있다.

도 8은 본 발명의 실시예에 따라 가상 현실에서 드론을 조정하는 과정에서 보조 뷰를 함께 제공하는 일례를 나타낸 도면이다.

도 8의 화면은 드론을 조작하는 사용자 시점의 메인 뷰를 나타내고 우측 상단의 작은 화면은 보조 카메라에 의해 제공되는 보조 뷰를 나타낸다. 도 8에서 화면에 보이는 복잡한 기하학 형상의 구조물은 제1 물체, 그리고 사용자가 조작하는 드론은 제2 물체에 해당한다.

사용자 조작에 대응하여 드론이 이동하는 방향을 따라 메인 뷰 영상이 제공된다. 조작 과정에서 드론이 구조물에 일정 거리 이내로 접근하면 드론과 구조물 사이의 바이섹터 표면을 계산하며 바이섹터 표면 상에 보조 카메라를 위치시켜 메인 카메라에서 보여줄 수 없는 새로운 시점의 보조 뷰를 제공한다.

물론, 드론의 움직임에 따라 실시간 가변하는 바이섹터 표면에 대응하여, 보조 카메라의 위치와 방향이 가변할 수 있다. 이에 따라 보조 카메라가 바이섹터 표면을 따라 이동하면서 가변 시점의 보조 뷰를 제공할 수 있다.

이와 같이, 보조 카메라의 위치는 바이섹터 표면 상에서 결정되는데, 특히 드론과 구조물 간의 최근점 지점(충돌 위험 영역)을 향하는 동시에 메인 뷰와는 수직에 가까운 시점을 가지면서, 충돌 위험 영역과 일정 거리 떨어진 상태에서 충돌 위험 영역을 시각적 방해(장애물) 없이 촬영할 수 있는 지점 상에 위치하여야 한다.

도 8의 우측 상단의 보조 뷰를 참조하면, 실제로 메인 뷰에서 확인이 어려운 충돌 위험 영역을 포함한 시야를 제공하며 이를 통해 드론 조정 과정에서 드론과 구조물 간의 불필요한 충돌 등을 방지할 수 있다.

도 9는 본 발명의 실시예에 따라 가상 현실에서 보조 뷰를 제공하는 다른 일례를 나타낸 도면이다. 도 9는 두 물체 사이에 생성된 바이섹터 표면을 메인 뷰에서 확인 가능하게 도시하였다. 도 9에서 바이섹터 표면 상에 위치한 보조 카메라는 두 물체 사이의 최근접 지점(충돌 위험 영역)을 바라보도록 배치되어 메인 뷰와 상이한 시점의 보조 뷰를 제공한다.

도 9의 상부 그림과 하부 그림은 사용자 시점에 해당하는 메인 카메라의 방향을 달리 조정한 경우인데 그에 대응하는 보조 카메라의 방향(시점) 변화도 확인할 수 있다. 이와 같이, 사용자의 시점이 변화하는 경우에도 그에 대응하여 보조 카메라의 시점이 적응적으로 가변할 수 있다.

도 10a 내지 도 10c는 본 발명의 실시예에 따라 가상 현실에서 보조 뷰를 제공하는 또 다른 일례를 나타낸 도면이다.

도 10a는 두 물체 사이에서 바이섹터 표면이 계산된 결과를 나타낸다. 도 10b의 상부 그림은 두 물체 간의 최단 거리에 대응하는 타겟 포인트와 그 주변의 관심 포인트들을 바이섹터 표면 위에서 탐색한 결과이며, 탐색한 점들은 충돌 위험 영역에 해당한다. 도 10b의 하부 그림은 바이섹터 표면 상에 배치한 보조 카메라를 이용하여 충돌 위험 영역에 관한 보조 뷰를 제공하는 모습을 나타낸다.

도 10c는 도 10b의 하부 그림 상태에서 사용자 시점을 변경하였을 때의 보조 카메라의 방향 변화를 나타낸다. 변경된 사용자 시점(메인 카메라의 방향)에 대응하여 해당 위치에서의 보조 카메라의 방향도 변경되면서, 보조 뷰의 촬영 시점이 달라진 것을 확인할 수 있다.

이와 같은 본 발명의 장치는 사용자 조작에 의해 구동하는 가상 현실 게임은 물론 가상 현실 시뮬레이션 도구 등으로 활용될 수 있는데, 예를 들어 가상 현실 기반의 차량 부품 조립 훈련, 가상 수술 훈련/시뮬레이션 등에도 활용될 수 있다.

이상과 같은 본 발명에 따르면, 가상 공간에서 사용자가 물체 조작 시에 물체들 간의 실시간 변동하는 공간적 관계를 바탕으로 사용자 시점의 메인 뷰와는 전혀 상이한 시점의 보조 뷰를 실시간 가변하여 제공함으로써 3차원 가상 현실 공간에서 사용자의 3D 물체 조작을 효과적으로 보조할 수 있다.

즉, 본 발명에 따르면, 사용자 시점의 기본 뷰 이외에도, 사용자의 조작 행위에 대응하여 서로 가까워지는 물체와 물체 간의 실시간 변동하는 공간적 관계(바이섹터 표면)를 계산하고 이를 기반으로 바이섹터 표면 위에서 물체 사이의 최근접 부위를 향하여 보조 카메라를 지속적으로 이동시켜, 실시간 가변 시점을 가진 보조 뷰를 끊임 없이 제공할 수 있다.

또한, 이를 통해, 가상 현실 공간 상에서 진행 중인 사용자의 물체 조작의 정밀성을 높이며, 물체 간의 불필요한 충돌, 조작 실수 및 오류를 최소화할 수 있어, 가상 현실 기반의 3D 공간에서 물체 조작의 정밀도는 물론, 정확도 및 작업 속도를 개선할 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

100: 보조 카메라 위치 최적화 장치 110: 계산부
120: 추출부 130: 선정부
140: 제어부

Claims (16)

1. 가상 현실에서 3D 물체 조작을 위한 보조 카메라 위치 최적화 방법에 있어서,
   상기 가상 현실 상의 제1 물체와 사용자 조작에 대응하여 제1 물체로 접근하는 제2 물체 사이의 공간을 가르는 바이섹터 표면을 계산하는 단계;
   상기 바이섹터 표면 위에서, 상기 제1 및 제2 물체의 표면 사이의 최단 거리 상에 위치한 점에 해당하는 타겟 포인트 및 상기 최단 거리로부터 오차 범위 이내의 거리 상에 위치한 점들에 해당하는 관심 포인트들을 각각 추출하는 단계;
   상기 바이섹터 표면 위에 존재한 후보 포인트 중 보조 카메라를 위한 최적 포인트를 선정하되, 상기 타겟 포인트를 향하는 방향으로 배치된 보조 카메라의 위치를 기준으로 상기 타겟 포인트의 상대적 위치와 거리, 보조 카메라의 영상 내에서 타겟 포인트와 관심 포인트 각각의 관측 여부, 메인 카메라와 형성한 각도, 그리고 직전 시간에서의 상기 보조 카메라 위치를 고려하여, 상기 최적 포인트를 선정하는 단계; 및
   상기 최적 포인트의 위치에서 상기 타겟 포인트를 향하는 방향으로 상기 보조 카메라를 배치하여 메인 뷰와 상이한 시점(viewpoint)을 가지는 보조 뷰를 제공하는 단계를 포함하며,
   상기 최적 포인트를 선정하는 단계는,
   후보 포인트에 대한 타겟 포인트의 상대적 거리가 설정 거리와 가까울수록, 후보 포인트의 위치에서 관측된 영상 내 관심 포인트들의 분산 정도가 클수록, 후보 포인트의 위치에서 보조 카메라가 메인 카메라와 형성한 각도가 수직에 가까울수록, 그리고 후보 포인트의 위치가 직전 시간의 보조 카메라의 위치와 인접할수록, 높은 확률로 해당 후보 포인트를 최적 포인트로 선정하고, 후보 포인트와 타겟 포인트 사이에 장애물이 존재하지 않는 경우가 장애물이 존재하는 경우보다 높은 확률로 해당 후보 포인트를 최적 포인트로 선정하는 보조 카메라 위치 최적화 방법.
2. 청구항 1에 있어서,
   상기 제1 물체 또는 제2 물체의 움직임에 따라 실시간 가변하여 계산되는 상기 바이섹터 표면에 대응하여 상기 보조 카메라의 위치와 방향을 적응적으로 가변시키는 보조 카메라 위치 최적화 방법.
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 최적 포인트를 선정하는 단계는,
   상기 바이섹터 표면 위의 후보 포인트 각각을 대상으로, 상기 후보 포인트 상에서 상기 타겟 포인트를 향한 방향으로 보조 카메라를 배치할 경우에, 상기 타겟 포인트의 상대적 위치, 상대적 거리, 상기 타겟 포인트의 관측 여부, 상기 관심 포인트의 관측 여부, 상기 메인 카메라와의 각도에 관한 결과를 획득하여 조합하는 단계, 및
   상기 조합한 결과를 기초로 상기 후보 포인트 중 하나를 최적 포인트로 선정하는 단계를 포함하는 보조 카메라 위치 최적화 방법.
6. 청구항 5에 있어서,
   상기 최적 포인트를 선정하는 단계는,
   상기 후보 포인트 상에서 상기 타겟 포인트를 향하도록 배치된 보조 카메라에서의 상기 타겟 포인트의 상대적 위치, 상기 타겟 포인트의 관측 여부, 상기 관심 포인트의 관측 여부, 상기 관심 포인트들의 영상 내 분산 정도, 상기 메인 카메라와의 각도, 상기 타겟 포인트까지의 상대적 거리와 기준 거리 간의 차이와 관련한 인자들을 조합하여 구성한 목적 함수를 연산하며,
   상기 후보 포인트 중에서 상기 목적 함수의 결과값을 최소로 도출한 포인트를 최적 포인트로 선정하는 보조 카메라 위치 최적화 방법.
7. 청구항 1에 있어서,
   상기 타겟 포인트 및 관심 포인트들을 추출하는 단계는,
   상기 제1 및 제2 물체의 표면에 형성된 샘플 포인트 간을 잇는 가상 선분들 중에서 최단 길이의 선분이 상기 바이섹터 표면과 만나는 지점을 상기 타겟 포인트로 추출하고,
   상기 가상 선분들 중에서 상기 최단 길이로부터 오차 범위 이내의 길이를 가진 선분들이 상기 바이섹터 표면과 각각 만나는 지점을 상기 관심 포인트로 추출하는 보조 카메라 위치 최적화 방법.
8. 청구항 1에 있어서,
   상기 제2 물체는,
   사용자의 손 동작에 대응하여 3D 공간 상에서 동작하는 손, 사용자의 손 동작에 의해 조작되는 물체, 외부 조작 기기의 입력 신호에 대응하여 조작되는 물체 중 적어도 하나를 포함하는 보조 카메라 위치 최적화 방법.
9. 가상 현실에서 3D 물체 조작을 위한 보조 카메라 위치 최적화 장치에 있어서,
   상기 가상 현실 상의 제1 물체와 사용자 조작에 대응하여 제1 물체로 접근하는 제2 물체 사이의 공간을 가르는 바이섹터 표면을 계산하는 계산부;
   상기 바이섹터 표면 위에서, 상기 제1 및 제2 물체의 표면 사이의 최단 거리 상에 위치한 점에 해당하는 타겟 포인트 및 상기 최단 거리로부터 오차 범위 이내의 거리 상에 위치한 점들에 해당하는 관심 포인트들을 각각 추출하는 추출부;
   상기 바이섹터 표면 위에 존재한 후보 포인트 중 보조 카메라를 위한 최적 포인트를 선정하되, 상기 타겟 포인트를 향하는 방향으로 배치된 보조 카메라의 위치를 기준으로 상기 타겟 포인트의 상대적 위치와 거리, 보조 카메라의 영상 내에서 타겟 포인트와 관심 포인트 각각의 관측 여부, 메인 카메라와 형성한 각도, 그리고직전 시간에서의 상기 보조 카메라 위치를 고려하여, 상기 최적 포인트를 선정하는 선정부; 및
   상기 최적 포인트의 위치에서 상기 타겟 포인트를 향하는 방향으로 상기 보조 카메라를 배치하여 메인 뷰와 상이한 시점(viewpoint)을 가지는 보조 뷰를 제공하는 제어부를 포함하며,
   상기 선정부는,
   후보 포인트에 대한 타겟 포인트의 상대적 거리가 설정 거리와 가까울수록, 후보 포인트의 위치에서 관측된 영상 내 관심 포인트들의 분산 정도가 클수록, 후보 포인트의 위치에서 보조 카메라가 메인 카메라와 형성한 각도가 수직에 가까울수록, 그리고 후보 포인트의 위치가 직전 시간의 보조 카메라의 위치와 인접할수록, 높은 확률로 해당 후보 포인트를 최적 포인트로 선정하고, 후보 포인트와 타겟 포인트 사이에 장애물이 존재하지 않는 경우가 장애물이 존재하는 경우보다 높은 확률로 해당 후보 포인트를 최적 포인트로 선정하는 보조 카메라 위치 최적화 장치.
10. 청구항 9에 있어서,
    상기 제어부는,
    상기 제1 물체 또는 제2 물체의 움직임에 따라 실시간 가변하여 계산되는 상기 바이섹터 표면에 대응하여, 상기 보조 카메라의 위치와 방향을 적응적으로 가변시키는 보조 카메라 위치 최적화 장치.
11. 삭제
12. 삭제
13. 청구항 9에 있어서,
    상기 선정부는,
    상기 바이섹터 표면 위의 후보 포인트 각각을 대상으로, 상기 후보 포인트 상에서 상기 타겟 포인트를 향한 방향으로 보조 카메라를 배치할 경우에, 상기 타겟 포인트의 상대적 위치, 상대적 거리, 상기 타겟 포인트의 관측 여부, 상기 관심 포인트의 관측 여부, 상기 메인 카메라와의 각도에 관한 결과를 획득하여 조합한 다음,
    상기 조합한 결과를 기초로 상기 후보 포인트 중 하나를 최적 포인트로 선정하는 보조 카메라 위치 최적화 장치.
14. 청구항 13에 있어서,
    상기 선정부는,
    상기 후보 포인트 상에서 상기 타겟 포인트를 향하도록 배치된 보조 카메라에서의 상기 타겟 포인트의 상대적 위치, 상기 타겟 포인트의 관측 여부, 상기 관심 포인트의 관측 여부, 상기 관심 포인트들의 영상 내 분산 정도, 상기 메인 카메라와의 각도, 상기 타겟 포인트까지의 상대적 거리와 기준 거리 간의 차이에 관한 인자들을 조합하여 구성한 목적 함수를 연산하며,
    상기 후보 포인트 중에서 상기 목적 함수의 결과값을 최소로 도출한 포인트를 최적 포인트로 선정하는 보조 카메라 위치 최적화 장치.
15. 청구항 9에 있어서,
    상기 추출부는,
    상기 제1 및 제2 물체의 표면에 형성된 샘플 포인트 간을 잇는 가상 선분들 중에서 최단 길이의 선분이 상기 바이섹터 표면과 만나는 지점을 상기 타겟 포인트로 추출하고,
    상기 가상 선분들 중에서 상기 최단 길이로부터 오차 범위 이내의 길이를 가진 선분들이 상기 바이섹터 표면과 각각 만나는 지점을 상기 관심 포인트로 추출하는 보조 카메라 위치 최적화 장치.
16. 청구항 9에 있어서,
    상기 제2 물체는,
    사용자의 손 동작에 대응하여 3D 공간 상에서 동작하는 손, 사용자의 손 동작에 의해 조작되는 물체, 외부 조작 기기의 입력 신호에 대응하여 조작되는 물체 중 적어도 하나를 포함하는 보조 카메라 위치 최적화 장치.

Images