KR102625729B1 - 클론객체를 이용하는 ar 콘텐츠 렌더링 처리 방법 - Google Patents

Abstract

본 발명은 일반적으로 AR 콘텐츠 렌더링 처리를 개선하는 기술에 관한 것이다. 특히, 본 발명은 기준 프레임(예: 60 프레임)을 기준으로 기준 프레임 이전까지는 마커를 추적하여 마커를 기준으로 가상객체를 정합 렌더링 처리하고 기준 프레임 이후에는 가상객체를 복제하여 얻은 클론객체를 AR 디바이스의 기기조작 정보에 대응하여 렌더링 처리함으로써 AR 콘텐츠 렌더링의 프로세싱 부담을 감소시킬 수 있는 클론객체를 이용하는 AR 콘텐츠 렌더링 처리 기술에 관한 것이다. 본 발명에 따르면 AR 콘텐츠 렌더링의 프로세싱 부담을 감소시켜 AR 콘텐츠의 사용자 인터랙션 응답성을 개선할 수 있고, 이를 통해 저사양의 AR 디바이스에서도 AR 콘텐츠를 다룰 수 있는 장점이 있다. 또한, 본 발명에 따르면 AR 콘텐츠 렌더링의 프로세싱 부담을 감소시켜 애니메이션 콘텐츠 형태의 가생객체를 AR 콘텐츠에 적용할 수 있는 장점이 있다. 또한, 본 발명에 따르면 클론객체를 AR 디바이스의 기기조작 정보에 따라 렌더링하므로 마커가 없는 위치에 대해서도 AR 콘텐츠를 표시할 수 있어 AR 콘텐츠의 운용 범위를 확대할 수 있는 장점이 있다.

Description

클론객체를 이용하는 AR 콘텐츠 렌더링 처리 방법 {method of rendering AR contents by use of clone object}

본 발명은 일반적으로 AR 콘텐츠 렌더링 처리를 개선하는 기술에 관한 것이다.

특히, 본 발명은 기준 프레임(예: 60 프레임)을 기준으로 기준 프레임 이전까지는 마커를 추적하여 마커를 기준으로 가상객체를 정합 렌더링 처리하고 기준 프레임 이후에는 가상객체를 복제하여 얻은 클론객체를 AR 디바이스의 기기조작 정보에 대응하여 렌더링 처리함으로써 AR 콘텐츠 렌더링의 프로세싱 부담을 감소시킬 수 있는 클론객체를 이용하는 AR 콘텐츠 렌더링 처리 기술에 관한 것이다.

증강현실(AR; Augmented Reality)은 현실세계의 영상에 컴퓨터그래픽으로 만든 가상객체를 추가하여 표시하는 기술이다. AR 콘텐츠를 구현하기 위해서는 현실세계의 위치정보를 인식한 후에 가상객체를 정합하여 렌더링해야 한다. 현실세계의 위치정보를 인식하는 방법으로는 마커 인식 방식, 이미지 인식 방식, SLAM(Simultaneous Localization and Mapping) 방식이 대표적으로 사용되고 있다.

마커 인식 방법은 현실세계에서 특정 위치에 미리 설치되어 있는 마커(marker)를 식별하고 그 마커 위에 가상객체를 표시하는 방식이다. 이때, 마커에 인코딩되어 있는 정보에 따라 가상객체를 선택하도록 구성할 수 있다. 이미지 인식 방법은 현실세계를 촬영한 영상을 분석하여 사물들을 식별하고 그 식별 결과에 따라 가상객체를 표시하는 방식이다. SLAM 방식은 로봇이 미지의 환경을 돌아다니면서 로봇에 부착되어 있는 센서를 통해 주변 환경에 대한 지도를 만들어가는 방식이다.

이들 마커 인식 방식, 이미지 인식 방식, SLAM 방식은 모두 컴퓨터 비전(computer vision) 기반의 인식 방법이다. 컴퓨터 비전 기술은 카메라 촬영영상을 실시간으로 분석해야 하기 때문에 데이터 처리량이 많을 수밖에 없고, 그로 인해 여러가지 문제점이 있다.

[도 1]은 증강현실(AR) 기술에서 마커 인식 방식을 개념적으로 나타내는 도면이다. [도 1]에서는 AR 디바이스(10)의 일 예로서 AR 글래스를 기준으로 나타내었다.

AR 디바이스(10)는 카메라(11)가 생성하는 촬영영상을 매 프레임(frame)마다 분석하여 기존에 등록된 마커(21)가 존재하는지 여부를 식별하고, 만일 마커(21)를 발견하면 마커 이미지 위에 가상객체(22)를 렌더링하여 사용자가 볼 수 있도록 해준다.

그런데, 매 프레임마다 영상분석 작업을 수행해야 하기 때문에 연산부담이 매우 크다. 특히, 가상객체(22)가 정지 이미지(still image)가 아니라 애니메이션 콘텐츠(amimation contents)인 경우에는 렌더링 과정에서 지연시간이 발생하여 AR 품질이 낮아지는 문제점이 있다. 또한, 카메라(11)가 마커(21)를 잠시라도 놓치는 경우에는 가상객체(22)도 사라지고 AR 콘텐츠 실행이 중단되어 버리는 문제점도 있다.

대한민국 등록특허 10-2294717호(2021.08.23) "변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템 및 방법" 대한민국 등록특허 10-1250619호(2013.03.28) "가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법" 대한민국 공개특허 10-2016-0147450호(2016.12.23) "영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법"

본 발명의 목적은 일반적으로 AR 콘텐츠 렌더링 처리를 개선하는 기술을 제공하는 것이다.

특히, 본 발명의 목적은 기준 프레임(예: 60 프레임)을 기준으로 기준 프레임 이전까지는 마커를 추적하여 마커를 기준으로 가상객체를 정합 렌더링 처리하고 기준 프레임 이후에는 가상객체를 복제하여 얻은 클론객체를 AR 디바이스의 기기조작 정보에 대응하여 렌더링 처리함으로써 AR 콘텐츠 렌더링의 프로세싱 부담을 감소시킬 수 있는 클론객체를 이용하는 AR 콘텐츠 렌더링 처리 기술을 제공하는 것이다.

한편, 본 발명의 해결 과제는 이들 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.

상기의 목적을 달성하기 위하여 본 발명에 따른 클론객체를 이용하는 AR 콘텐츠 렌더링 처리 방법은, AR 디바이스(10)가 카메라(11)의 촬영영상을 분석하여 마커(21)를 초기 인식하는 제 1 단계; 마커 초기인식 이후에 미리 설정된 임계프레임까지 AR 디바이스(10)가 카메라(11)의 촬영영상을 분석하여 마커(21)를 추적하면서 가상객체(22)를 마커(21)와 정합하여 렌더링하는 제 2 단계; 임계프레임에 도달하면 AR 디바이스(10)가 임계프레임에서의 마커(21) 위치를 기준으로 가상객체(22)를 복제한 클론객체(23)를 생성하는 제 3 단계; 임계프레임 이후에는 AR 디바이스(10)가 모션센서(12)에 의해 시야 이동을 식별하고 그 시야 이동에 대응하여 클론객체(23)를 렌더링하는 제 4 단계;를 포함하여 구성된다.

이때, 본 발명에 따른 AR 콘텐츠 렌더링 처리 방법은, 임계프레임 이후에 AR 디바이스(10)가 AR 콘트롤러(30)와 협조 동작하여 현재 시야의 로컬공간 내에서 사용자 인터랙션에 대응하여 클론객체(23)를 렌더링하는 제 5 단계;를 더 포함하여 구성될 수 있다.

본 발명에서 모션센서(12)는 관성측정(IMU) 센서를 포함하여 구성되고, 제 4 단계에서 AR 디바이스(10)는 관성측정 센서의 관성측정 데이터를 시야 회전으로 대응 설정하도록 구성될 수 있다.

또한, 제 5 단계에서 AR 디바이스(10)는 사용자 인터랙션에 대응하여 클론객체(23)를 애니메이션 처리한 후 렌더링하도록 구성될 수 있다.

한편, 본 발명에 따른 컴퓨터프로그램은 컴퓨터에 이상과 같은 클론객체를 이용하는 AR 콘텐츠 렌더링 처리 방법을 실행시키기 위하여 비휘발성 저장매체에 저장된 것이다.

본 발명에 따르면 AR 콘텐츠 렌더링의 프로세싱 부담을 감소시켜 AR 콘텐츠의 사용자 인터랙션 응답성을 개선할 수 있고, 이를 통해 저사양의 AR 디바이스에서도 AR 콘텐츠를 다룰 수 있는 장점이 있다.

또한, 본 발명에 따르면 AR 콘텐츠 렌더링의 프로세싱 부담을 감소시켜 애니메이션 콘텐츠 형태의 가생객체를 AR 콘텐츠에 적용할 수 있는 장점이 있다.

또한, 본 발명에 따르면 클론객체를 AR 디바이스의 기기조작 정보에 따라 렌더링하므로 마커가 없는 위치에 대해서도 AR 콘텐츠를 표시할 수 있어 AR 콘텐츠의 운용 범위를 확대할 수 있는 장점이 있다.

[도 1]은 AR 기술에서 마커 인식 방식을 개념적으로 나타내는 도면.
[도 2]는 본 발명에 따른 클론객체를 이용하는 AR 콘텐츠 렌더링 처리 방법의 전체 프로세스를 나타내는 도면.
[도 3]은 본 발명에서 마커 인식에 관련된 구성을 개념적으로 나타내는 도면.
[도 4]는 본 발명에서 가상객체 및 클론객체의 렌더링에 관한 구성을 개념적으로 나타내는 도면.
[도 5]는 본 발명에서 가상객체 및 클론객체의 인터랙션에 관한 구성을 개념적으로 나타내는 도면.
[도 6]은 본 발명에서 AR 디바이스와 AR 콘트롤러를 연결 사용하는 구성을 개념적으로 나타내는 도면.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.

[도 2]는 본 발명에 따른 클론객체(clone object)를 이용하는 AR 콘텐츠 렌더링 처리 방법의 전체 프로세스를 나타내는 도면이다.

단계 (S110) : 먼저, AR 디바이스(10)가 카메라(11)의 촬영영상을 분석하여 마커(21)를 초기 인식한다. 본 발명에서 AR 디바이스(10)가 특정 마커(21)를 초기 인식하는 구성이 [도 3]에 개념적으로 도시되어 있다.

단계 (S120) : AR 디바이스(10)가 마커(21)를 초기인식한 이후로 미리 설정된 임계프레임(예: 60 프레임)까지는 AR 디바이스(10)가 카메라(11)의 촬영영상을 분석하여 마커(21)를 추적하면서 가상객체(22)를 마커(21)와 정합하여 렌더링한다. 이 과정은 [도 1]을 참조하여 전술한 바와 동일하게 구성될 수 있다.

단계 (S130) : 임계프레임에 도달하면 AR 디바이스(10)는 그 임계프레임에서의 마커(21) 위치를 기준으로 가상객체(22)를 복제하여 클론객체(23)를 생성한다. [도 3]을 참조하면 임계프레임에 도달하였을 때에 가상객체(22)를 복제하여 클론객체(23)를 생성하는 구성이 개념적으로 도시되어 있다.

본 발명에서 클론객체(23)의 개념을 가상객체(22)와 구분하여 정의하면 다음과 같다. 가상객체(22)는 마커(21) 위치에 연동하여 현실세계 영상 위에 표시되어 AR 콘텐츠를 형성하는 컴퓨터그래픽 객체이다. 클론객체(23)는 컴퓨터그래픽 객체로서 현실세계 영상 위에 표시되어 AR 콘텐츠를 형성하는 점에서는 가상객체(22)와 동일하지만 마커(21) 위치에 연동하지 않는다는 점에서 가상객체(22)와 구별된다.

클론객체(23)는 가상객체(22)를 복제하여 생성한 것이다. 클론객체(23)의 초기 위치는 임계프레임에서의 마커(21) 위치로 정해지는데, 이 위치가 일종의 앵커(anchor) 역할을 해주어 클론객체(23) 정합 위치의 정확도를 확보해준다.

단계 (S140) : 임계프레임 이후에는 AR 디바이스(10)가 모션센서(12)에 의해 시야 이동을 식별하고 그 시야 이동에 대응하여 클론객체(23)를 렌더링한다.

[도 4]는 본 발명에서 가상객체 및 클론객체의 렌더링에 관한 구성을 개념적으로 나타내는 도면이다. [도 4]를 참조하면, 임계프레임 이전에는 마커(21)를 식별하고 그 마커(21) 위치에 가상객체(22)를 표시한 반면, 임계프레임 이후에는 모션센서(12)에 의해 AR 디바이스(10)의 시야 이동(예: 사용자가 머리를 돌려서 시야(view)가 A에서 B로 이동)을 감지하고 그에 대응하여 클론객체(23)를 렌더링한다.

이 구성에 의하면, 임계프레임 이후에는 촬영영상을 분석하여 마커(21)를 식별하는 과정이 불필요하므로 클론객체(23)가 렌더링 표시될때까지 소요되는 시간지연이 거의 없다. [도 4]의 하단에 예시된 바와 같이, 모션센서(12)에 의해 AR 디바이스(10)의 시야가 좌에서 우로 이동한 것에 대응하여 AR 디바이스(10)의 디스플레이 화면에서 클론객체(23)를 우에서 좌로 이동하여 렌더링해주면 된다.

한편, 임계프레임 이후에는 촬영영상을 분석하여 마커(21)를 식별하는 과정을 전혀 하지 않아야만 하는 것으로 본 발명의 범위가 한정되는 것은 아니다. 클론객체(23)의 위치 오차가 누적되는 것을 방지하기 위해 간헐적으로 영상분석을 통해 마커(21)를 식별하고 클론객체(23)의 위치를 보정하는 구성이 사용될 수 있다.

본 발명에서 모션센서(12)는 관성측정(IMU; Inertial Measurement Unit) 센서를 포함하여 구성될 수 있다. 이 경우, AR 디바이스(10)는 관성측정(IMU) 센서의 관성측정 데이터를 AR 디바이스(10)의 시야 회전으로 대응 설정한다. 예를 들어, 관성측정 데이터를 AR 디바이스(10)의 회전(rotation) 값으로 대응시키는 것이다.

단계 (S150) : 임계프레임 이후에 AR 디바이스(10)가 AR 콘트롤러(30)와 협조 동작하여 현재 시야의 로컬공간 내에서 사용자 인터랙션에 대응하여 클론객체(23)를 렌더링한다.

[도 5]는 본 발명에서 가상객체 및 클론객체의 인터랙션에 관한 구성을 개념적으로 나타내는 도면이다.

[도 5]의 좌측을 참조하면, 임계프레임 이내에는 가상객체(22)는 마커(21) 위치에 표시되므로 위치 이동을 자유롭게 하는 것이 곤란하며, 매 프레임마다 마커(21)를 인식하고 가상객체(22)를 생성 및 삭제를 반복한다.

반면, [도 5]의 우측을 참조하면, 임계프레임 이후에는 클론객체(23)를 현재 시야의 로컬 공간(로컬 좌표계) 내에서 이동시키는 것이 가능하다. [도 4]에서 전술한 바와 같이 기본적으로는 시야 이동에 대응하여 클론객체(23)를 렌더링하지만, 구현 예에 따라서는 콘트롤러를 통해 사용자와 인터랙션하고 그에 대응하여 애니메이션 처리하는 구성이 가능하다. 이와 같은 본 발명의 구성에 따르면 사용자 조작에 대한 AR 콘텐츠의 응답성이 종래기술에 비해 크게 개선되는 장점이 있다.

[도 6]은 본 발명에서 AR 디바이스(10)와 AR 콘트롤러(30)를 연결 사용하는 구성을 개념적으로 나타내는 도면이다. AR 콘트롤러(30)는 마커인식 모듈(31), 클론객체 처리모듈(32), 렌더링 모듈(33)을 구비하며 사용자 조작을 입력받아 그에 대응하여 클록객체(23)를 렌더링한다. 바람직하게는, AR 콘트롤러(30)는 사용자 인터랙션에 대응하여 클론객체(23)를 애니메이션 처리한 후 렌더링하도록 구성될 수 있다.

또한, AR 콘트롤러(30)는 전술한 프로세스, 예를 들어 촬영영상에서 마커(21)를 인식하고 그 위치를 연산해내는 과정이나 시야 이동에 대응하여 클론객체(23)를 렌더링하는 과정도 수행하도록 구성될 수 있다. 이러한 구성을 채택하는 경우, 사용자가 웨어링(wearing)하는 AR 디바이스(10)를 경량화할 수 있는 장점이 있다.

한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

Claims (5)

1. AR 디바이스(10)가 카메라 촬영영상에서 마커(21)의 초기 인식에 실패하는 경우에는 모션센서(12)를 비활성화 설정하는 제 0 단계;
   상기 AR 디바이스(10)가 카메라 촬영영상을 분석하여 마커(21)를 초기 인식하는 제 1 단계;
   상기 AR 디바이스(10)가 상기 마커 초기인식 이후에 미리 설정된 임계프레임에 도달하기 전까지는 카메라 촬영영상을 실시간 분석하여 상기 마커(21)를 추적하면서 마커 위치에 연동하여 현실세계 영상 위에 표시되어 AR 콘텐츠를 형성하는 컴퓨터그래픽 객체인 가상객체(22)를 상기 마커(21)와 정합하여 렌더링하는 제 2 단계;
   상기 AR 디바이스(10)가 상기 임계프레임에 도달하면 AR 콘텐츠 형성을 위해 현실세계 영상 위에 표시되고 마커 위치에 비연동하는 컴퓨터그래픽 객체인 클론객체(23)를 상기 가상객체(22)를 복제하여 생성하는 제 3A 단계;
   상기 AR 디바이스(10)가 상기 클론객체(23)의 초기 위치를 상기 임계프레임에서의 상기 마커(21) 위치로 설정하는 제 3B 단계;
   상기 AR 디바이스(10)가 상기 모션센서(12)를 활성화 설정하는 제 3C 단계;
   상기 AR 디바이스(10)가 상기 임계프레임 이후에는 상기 모션센서(12)에 의해 상기 AR 디바이스(10)의 시야 이동을 식별하고 그 시야 이동에 대응하여 상기 클론객체(23)의 위치를 현재 시야의 로컬 좌표계 내에서 이동하여 렌더링하는 제 4 단계;
   상기 AR 디바이스(10)가 상기 임계프레임 이후에는 AR 콘트롤러(30)와 협조 동작하여 사용자 인터랙션에 대응하여 상기 클론객체(23)의 위치를 현재 시야의 로컬 좌표계 내에서 이동 및 애니메이션 처리하여 렌더링하는 제 5 단계;
   를 포함하여 구성되는 클론객체를 이용하는 AR 콘텐츠 렌더링 처리 방법.
   
2. 청구항 1에 있어서,
   상기 모션센서(12)는 관성측정(IMU) 센서를 포함하여 구성되고,
   상기 제 4 단계에서 상기 AR 디바이스(10)는 상기 관성측정 센서의 관성측정 데이터를 시야 회전으로 대응 설정하도록 구성되는 것을 특징으로 하는 클론객체를 이용하는 AR 콘텐츠 렌더링 처리 방법.
   
3. 삭제
4. 삭제
5. 컴퓨터에 청구항 1 또는 2에 따른 클론객체를 이용하는 AR 콘텐츠 렌더링 처리 방법을 실행시키기 위하여 비휘발성 저장매체에 저장된 컴퓨터프로그램.

Images