KR101455236B1 - 이동형 증강현실 제공 장치 및 그 방법 - Google Patents

Abstract

이동형 증강현실 제공 장치는 영상을 촬영하는 카메라부, 상기 영상에 포함된 객체의 특징점 및 사용자를 검출하는 특징 추출부, 상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 제어부, 상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 경로 설정부, 및 상기 조향각에 따라 상기 이동형 증강현실 제공 장치를 이동시키는 구동부를 포함한다. 이동형 증강현실 제공 장치가 주변 환경에 맞게 자율 주행하여 증강현실을 구현하기 위한 적절한 목표점으로 이동함으로써, 최적의 공간에서 증강현실이 구현될 수 있다.

Description

이동형 증강현실 제공 장치 및 그 방법{MOBILE APPARATUS FOR PROVIDING AUGMENTED REALITY AND METHOD THEREOF}

본 발명은 이동형 증강현실 제공 장치 및 그 방법에 관한 것으로, 보다 상세하게는 자율주행이 가능한 이동형 증강현실 제공 장치 및 그 방법에 관한 것이다.

증강현실(Augmented Reality)이란 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 말한다.

이러한 증강현실 기술에는 마커 기반의 증강현실 기술과 센서 기반의 증강현실 기술이 있다. 마커 기반의 증강현실 기술은 특정 건물에 대응되는 마커를 건물과 함께 촬영한 후 마커를 인식하여 해당 건물을 인식하는 기술이다. 센서 기반의 증강현실 기술은 단말기에 탑재된 GPS, 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치 및 주시 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다.

종래에는 객체 인식을 위한 마커, 위치 제공을 위한 센서, 증강현실을 표현하는 디스플레이 등이 고정된 상태에서 증강현실이 구현되었다. 이와 같이, 마커, 센서, 디스플레이 등이 고정된 환경 하에서는 복잡한 실생활에 대한 증강현실을 구현하는데 어려움이 있다.

한국공개특허 제10-2012-0046613호

본 발명이 해결하고자 하는 기술적 과제는 사용자의 위치, 자세, 시선 방향 등에 따라 적응적으로 증강현실을 구현할 수 있는 이동형 증강현실 제공 장치 및 그 방법을 제공함에 있다.

본 발명의 일 실시예에 따른 이동형 증강현실 제공 장치는 영상을 촬영하는 카메라부, 상기 영상에 포함된 객체의 특징점 및 사용자를 검출하는 특징 추출부, 상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 제어부, 상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 경로 설정부, 및 상기 조향각에 따라 상기 이동형 증강현실 제공 장치를 이동시키는 구동부를 포함한다.

상기 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 영상에 상기 컨텐츠 정보를 합성하여 합성 영상을 생성하는 합성부를 더 포함할 수 있다.

상기 합성 영상을 디스플레이하는 디스플레이부를 더 포함할 수 있다.

상기 장애물과의 거리를 센싱하는 센싱부를 더 포함할 수 있다.

상기 경로 설정부는 좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여 상기 장애물의 배치유형을 결정할 수 있다.

상기 카메라부는 촬영 방향 조절을 위한 2축 회전이 가능하도록 마련되고, 상기 제어부는 상기 사용자를 검출하기 위해 상기 카메라부의 촬영 방향을 제어할 수 있다.

본 발명의 다른 실시예에 따른 이동형 증강현실 제공 장치를 이용하여 증강현실을 제공하는 방법은 제1 영상을 촬영하는 단계, 상기 제1 영상에 포함된 사용자를 검출하는 단계, 상기 제1 영상에 포함된 객체의 특징점을 추출하는 단계, 상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 단계, 상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 단계, 및 상기 조향각에 따라 상기 이동형 증강현실 제공 장치가 상기 목표점으로 이동하는 단계를 포함한다.

상기 목표점에서 제2 영상을 촬영하는 단계, 상기 제2 영상에 컨텐츠 정보가 합성된 합성 영상을 생성하는 단계, 및 상기 합성 영상을 디스플레이하는 단계를 더 포함할 수 있다.

상기 합성 영상을 생성하는 단계는, 상기 제2 영상에 포함된 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징 정보와 비교하여 상기 컨텐츠 정보를 호출하는 단계를 포함할 수 있다.

상기 조향각을 산출하는 단계는, 상기 장애물과의 거리를 센싱하는 단계, 및 좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여 상기 장애물의 배치유형을 결정하는 단계를 포함할 수 있다.

상기 제1 영상을 촬영하는 단계는, 상기 사용자를 검출하기 위해 2축 회전이 가능한 카메라부의 촬영 방향을 제어하는 단계를 포함할 수 있다.

이동형 증강현실 제공 장치가 주변 환경에 맞게 자율 주행하여 증강현실을 구현하기 위한 적절한 목표점으로 이동함으로써, 최적의 공간에서 증강현실이 구현될 수 있다.

또한, 사용자의 위치, 자세, 시선 방향 등에 따라 사용자에 적합한 증강현실의 구현이 가능해진다.

도 1은 본 발명의 일 실시예에 따른 이동형 증강현실 제공 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.

또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적으로 제1 실시예에서 설명하고, 그 외의 실시예에서는 제1 실시예와 다른 구성에 대해서만 설명하기로 한다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

도 1은 본 발명의 일 실시예에 따른 이동형 증강현실 제공 장치를 나타내는 블록도이다.

도 1을 참조하면, 이동형 증강현실 제공 장치(100)는 센싱부(110), 경로 설정부(120), 구동부(130), 카메라부(140), 특징 추출부(150), 합성부(160), 디스플레이부(170) 및 제어부(180)를 포함한다.

센싱부(110)는 장애물과의 거리를 센싱한다. 센싱부(110)는 장애물과의 거리를 센싱하기 위한 복수의 센싱장치를 포함할 수 있다. 장애물과의 거리를 센싱할 수 있는 센싱장치로는 적외선 센서, 레이저 센서, 초음파 센서 등이 이용될 수 있다. 센싱부(110)는 복수의 센싱장치를 이용하여 좌측 전방, 정면 전방 및 우측 전방의 장애물과의 거리를 측정할 수 있다. 센싱부(110)는 복수의 센싱장치에서 측정된 장애물과의 거리 정보를 경로 설정부(120)에 전달한다.

경로 설정부(120)는 이동형 증강현실 제공 장치(100)의 이동량 및 회전량을 기반으로 이동형 증강현실 제공 장치(100)의 자세를 추정하고, 추정된 자세로부터 목표점 간의 타겟각을 산출한다. 목표점은 센싱부(110)를 이용하여 경로 설정부(120)가 장애물을 회피하여 최종적으로 도달하는 지점으로써, 이동형 증강현실 제공 장치(100)가 증강현실을 제공하는 목표 위치를 의미한다. 타겟각은 이동형 증강현실 제공 장치(100)의 이동 방향과 목표점 방향 간의 각도를 의미한다.

경로 설정부(120)는 인코더, 가속도 센서 및 자이로 센서 중 적어도 어느 하나를 포함할 수 있다. 인코더는 이동형 증강현실 제공 장치(100)의 이동 거리 및 방향을 적분하여 2차원 좌표계 상의 위치 및 방향각을 추정한다. 가속도 센서는 이동형 증강현실 제공 장치(100)의 속도의 증감을 측정하여 이동 거리를 산출할 수 있다. 자이로 센서는 이동형 증강현실 제공 장치(100)의 각속도를 측정하여 방향각을 산출할 수 있다.

경로 설정부(120)는 장애물과의 거리 및 타겟각을 기반으로 이동형 증강현실 제공 장치(100)의 이동을 위한 조향각을 산출한다. 경로 설정부(120)는 장애물의 배치유형 및 타겟각에 따른 퍼지추론 방식으로 조향각을 산출할 수 있다. 장애물의 배치유형은 센싱부(110)에서 측정된 좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여, 멀고 가까움에 따라 구분될 수 있다. 장애물과의 거리의 원근을 구분하는 기준치는 이동형 증강현실 제공 장치(100)의 주행 속도, 회전 속도 등을 고려하여 정해질 수 있다.

경로 설정부(120)는 타겟각을 줄이거나 장애물이 멀리 위치하는 방향으로 조향각을 결정할 수 있다. 경로 설정부(120)는 산출된 조향각을 구동부(130)에 전달한다.

구동부(130)는 경로 설정부(120)에서 전달받은 조향각에 따라 이동형 증강현실 제공 장치(100)를 이동시킨다.

카메라부(140)는 객체가 포함된 실사 영상을 촬영하고, 정지영상 또는 동영상의 형태의 실사 영상을 특징 추출부(150) 및 합성부(160)에 전달한다. 카메라부(140)는 Full HD 카메라 모듈로 마련될 수 있다. 카메라부(140)는 촬영 방향이 조절될 수 있도록 2축 회전이 가능한 구조로 마련될 수 있다.

특징 추출부(150)는 카메라부(140)로부터 전달받은 정지영상 또는 동영상에 포함된 객체에 대한 마커, 패턴, 로고, 색상, 코너점, 외곽선, 텍스처, 텍스트, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 객체의 특징점을 추출한다. 객체의 특징점은 객체의 전체적인 특징들뿐만 아니라 객체의 부분적인 특징들이 될 수 있다. 예를 들어, 객체의 코너점은 객체 모양에 대한 정보를 가장 많이 가지고 있으므로 객체의 표현, 해석, 인식에 가장 중요한 특징점으로 사용될 수 있다.

그리고 특징 추출부(150)는 객체의 특징점을 기반으로 사용자를 검출한다. 특징 추출부(150)는 영상에 포함된 다수의 객체 중에서 사용자를 지시하는 객체의 특징점을 검출하여 사용자를 검출할 수 있다.

합성부(160)는 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징정보와 비교하여 객체에 대응하는 컨텐츠 정보를 호출한다. 그리고 합성부(160)는 카메라부(140)로부터 전달받은 정지영상 또는 동영상에 컨텐츠 정보를 합성하여 합성 영상을 생성한다.

디스플레이부(170)는 정지영상 또는 동영상에 컨텐츠 정보가 합성된 합성 영상을 디스플레이한다.

제어부(180)는 이동형 증강현실 제공 장치(100)의 전반적인 동작을 제어한다. 특히, 제어부(180)는 사용자를 검출하기 위하여 2축 회전이 가능한 카메라부(140)의 촬영 방향을 제어할 수 있다. 카메라부(140)에서 영상이 촬영될 때, 제어부(180)는 특징 추출부(150)를 통해 검출된 사용자의 위치, 자세, 시선 방향 등의 사용자의 형태 정보를 결정한다. 그리고 제어부(180)는 사용자의 형태 정보 및 객체의 특징점을 기반으로 사용자에 적합한 증강현실을 구현할 수 있는 목표점을 설정하여 경로 설정부(120)에 전달할 수 있다.

예를 들어, 사용자에 적합한 증강현실을 구현할 수 있는 목표점은 디스플레이부(170)가 사용자의 시선 방향에 위치되는 지점, 사용자 주변의 인접 객체들이 최대한 촬영될 수 있는 지점, 미리 정해진 주요 객체와 사용자가 촬영될 수 있는 지점 등으로 설정될 수 있다.

이에 따라, 경로 설정부(120)는 사용자에 적합한 증강현실을 구현할 수 있는 목표점으로 이동형 증강현실 제공 장치(100)가 이동될 수 있도록 조향각을 설정하고, 구동부(130)가 조향각에 따라 이동형 증강현실 제공 장치(100)를 이동시키게 된다.

이제, 이동형 증강현실 제공 장치(100)를 이용하여 사용자에게 증강현실을 제공하는 방법에 대하여 설명한다.

도 2는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다.

도 2를 참조하면, 사용자를 검출하기 위하여 카메라부(140)의 촬영 방향이 제어되고, 카메라부(140)를 통해 정지영상 또는 동영상의 형태로 영상이 촬영된다(S110).

영상에 포함된 객체에 대한 마커, 패턴, 로고, 색상, 코너점, 외곽선, 텍스처, 텍스트, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 영상에 포함된 객체의 특징점이 추출되고, 객체의 특징점을 기반으로 사용자가 검출된다(S120). 즉, 영상에 포함된 다수의 객체 중에서 사용자를 지시하는 객체의 특징점을 검출함으로써 사용자가 검출된다. 이때, 사용자를 지시하는 객체의 특징점을 이용하여 사용자의 위치, 자세, 시선 방향 등의 사용자 형태 정보가 결정될 수 있다.

사용자가 검출되면, 사용자 주변에 위치하는 인접 객체의 특징점이 추출된다(S130).

사용자의 형태 정보 및 인접 객체의 특징점을 기반으로 사용자에게 적합한 증강현실을 구현할 수 있는 목표점이 설정된다(S140). 설정된 목표점은 이동형 증강현실 제공 장치(100)의 이동을 제어하는 경로 설정부(120)에 전달된다.

경로 설정부(120)에서 이동형 증강현실 제공 장치(100)의 자세가 추정되고, 추정된 자세로부터 목표점 간의 타겟각이 산출되고, 장애물과의 거리 정보 및 타겟각 정보를 기반으로 이동형 증강현실 제공 장치(100)의 조향각이 산출된다. 산출된 조향각에 따라 이동형 증강현실 제공 장치(100)가 이동하고, 최종적으로 이동형 증강현실 제공 장치(100)가 목표점으로 이동하게 된다(S150).

이동형 증강현실 제공 장치(100)가 목표점에 도달하면, 목표점에서 정지영상 또는 동영상이 촬영되고, 촬영된 정지영상 또는 동영상에 컨텐츠 정보가 합성된 합성 영상이 생성된다(S160). 즉, 촬영된 영상에 포함된 객체의 특징점이 추출되고, 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징과 비교하여 객체에 대응하는 컨텐츠 정보가 호출되고, 촬영된 영상에 컨텐츠 정보가 합성된다.

정지영상 또는 동영상에 컨텐츠 정보가 합성된 합성 영상이 디스플레이부(170)를 통해 디스플레이된다(S170).

이와 같이, 이동형 증강현실 제공 장치(100)는 사용자의 위치, 자세, 시선 방향을 검출하여 사용자에게 적합한 증강현실을 구현할 수 있는 목표점으로 이동하여 사용자에게 증강현실을 제공함으로써 복잡한 실생활의 환경에서 사용자에게 최적의 증강현실을 제공할 수 있다.

지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100 : 이동형 증강현실 제공 장치
110 : 센싱부
120 : 경로 설정부
130 : 구동부
140 : 카메라부
150 : 특징 추출부
160 : 합성부
170 : 디스플레이부
180 : 제어부

Claims (11)

1. 이동형 증강현실 제공 장치에 있어서,
   영상을 촬영하는 카메라부;
   상기 카메라부가 촬영한 제1 영상에 포함된 객체의 특징점 및 사용자를 검출하는 특징 추출부;
   상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 제어부;
   상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 경로 설정부;
   상기 조향각에 따라 상기 이동형 증강현실 제공 장치를 이동시키는 구동부; 및
   상기 카메라부가 상기 목표점에서 촬영한 제2 영상에 컨텐츠 정보가 합성된 합성 영상을 생성하는 합성부를 포함하는 이동형 증강현실 제공 장치.
2. 제1항에 있어서,
   상기 합성부는 상기 제2 영상에 포함된 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징 정보와 비교하여 상기 객체에 대응하는 상기 컨텐츠 정보를 호출하는 이동형 증강현실 제공 장치.
3. 제1 항에 있어서,
   상기 합성 영상을 디스플레이하는 디스플레이부를 더 포함하는 이동형 증강현실 제공 장치.
4. 제1 항에 있어서,
   상기 장애물과의 거리를 센싱하는 센싱부를 더 포함하는 이동형 증강현실 제공 장치.
5. 제4 항에 있어서,
   상기 경로 설정부는 좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여 상기 장애물의 배치유형을 결정하는 이동형 증강현실 제공 장치.
6. 제1 항에 있어서,
   상기 카메라부는 촬영 방향 조절을 위한 2축 회전이 가능하도록 마련되고, 상기 제어부는 상기 사용자를 검출하기 위해 상기 카메라부의 촬영 방향을 제어하는 이동형 증강현실 제공 장치.
7. 이동형 증강현실 제공 장치를 이용하여 증강현실을 제공하는 방법에 있어서,
   제1 영상을 촬영하는 단계;
   상기 제1 영상에 포함된 사용자를 검출하는 단계;
   상기 제1 영상에 포함된 객체의 특징점을 추출하는 단계;
   상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 단계;
   상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 단계;
   상기 조향각에 따라 상기 이동형 증강현실 제공 장치가 상기 목표점으로 이동하는 단계;
   상기 목표점에서 제2 영상을 촬영하는 단계; 및
   상기 제2 영상에 컨텐츠 정보가 합성된 합성 영상을 생성하는 단계
   를 포함하는 증강현실 제공 방법.
8. 제7 항에 있어서,
   상기 합성 영상을 디스플레이하는 단계를 더 포함하는 증강현실 제공 방법.
9. 제8 항에 있어서,
   상기 합성 영상을 생성하는 단계는,
   상기 제2 영상에 포함된 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징 정보와 비교하여 상기 컨텐츠 정보를 호출하는 단계를 포함하는 증강현실 제공 방법.
10. 제7 항에 있어서,
    상기 조향각을 산출하는 단계는,
    상기 장애물과의 거리를 센싱하는 단계; 및
    좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여 상기 장애물의 배치유형을 결정하는 단계를 포함하는 증강현실 제공 방법.
11. 제7 항에 있어서,
    상기 제1 영상을 촬영하는 단계는,
    상기 사용자를 검출하기 위해 2축 회전이 가능한 카메라부의 촬영 방향을 제어하는 단계를 포함하는 증강현실 제공 방법.

Images