KR20230081695A - 증강현실 제공 장치 - Google Patents

Abstract

본 발명은 증강현실 제공 장치에 관한 것으로, 특히 실제 객체와 가상 객체 간의 충돌 발생시 실제 객체 및 가상 객체에 대한 충돌 효과 정보를 제공할 수 있도록 하는 기술이다. 이러한 본 발명은, 가상 객체를 포함하는 증강현실 영상을 실행하는 콘텐츠 실행부; 글래스의 정면을 촬영하여 실사 영상을 획득하는 카메라; 실사 영상을 분석하여 실제 객체를 인식하는 객체 인식부; 충돌로 발생하는 물리적 정보를 저장하는 물리 정보 저장부; 증강현실 영상과 실사 영상을 기초로 실제 객체와 가상 객체가 접촉하는 충돌 이벤트를 검출하는 충돌 감지부; 충돌 감지부로부터 충돌 이벤트를 수신하면 실제 객체와 가상 객체 각각의 물리적 정보를 기반으로 실제 객체와 가상 객체 간의 충돌로 발생하는 물리적인 상태 변화에 해당하는 충돌 효과 정보를 생성하는 충돌 효과 생성부; 및 충돌 효과 정보를 증강현실 영상에 반영하도록 콘텐츠 실행부에 충돌 효과 정보를 제공하는 제어부를 포함한다.

Description

증강현실 제공 장치{Augmented reality providing device}

본 발명은 증강현실 제공 장치에 관한 것으로, 특히 본 발명은 실제 객체와 가상 객체 간의 충돌 발생시 실제 객체 및 가상 객체에 대한 충돌 효과 정보를 제공할 수 있도록 하는 기술이다.

최근 가상현실(Virtual Reality: VR)과 증강현실(Augmented Reality: AR)이 주목을 받고 있다.

가상현실(VR)은 배경과 현실 세계의 객체로 구성된 가상의 이미지를 컴퓨터 그래픽(Computer Graphic: CG) 영상으로 제공하여 가상공간을 만들어낸다. 증강현실(AR)은 현실의 이미지에 가상으로 만들어진 3차원 이미지를 겹쳐 하나의 영상으로 보여주는 기술이다. 증강현실(AR)은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 어떠한 특정한 환경이나 상황을 인위적으로 만들어, 그것을 사용하는 사람이 마치 실제 주변 상황 및 환경과 상호작용을 하고 있는 것처럼 만들어 줄 수 있다.

증강현실 애플리케이션은 현실 세계의 객체와 가상의 객체가 상호작용하여 현실감이 높다. 최근에는 컴퓨터 그래픽 기술, 소프트웨어 및 하드웨어 기술의 발전으로 인해, 게임, 산업, 교육, 훈련, 의학 등 다양한 분야에서 증강현실 기술을 이용한 다양한 애플리케이션들이 개발되고 있다.

본 발명의 실시예는 실제 객체와 가상 객체 간의 충돌 발생시 실제 객체 및 가상 객체에 대한 충돌 효과 정보를 제공할 수 있도록 하는 특징을 제공한다.

본 발명의 실시예에 따른 증강현실 제공 장치는, 가상 객체를 포함하는 증강현실 영상을 실행하는 콘텐츠 실행부; 글래스의 정면을 촬영하여 실사 영상을 획득하는 카메라; 실사 영상을 분석하여 실제 객체를 인식하는 객체 인식부; 충돌로 발생하는 물리적 정보를 저장하는 물리 정보 저장부; 증강현실 영상과 실사 영상을 기초로 실제 객체와 가상 객체가 접촉하는 충돌 이벤트를 검출하는 충돌 감지부; 충돌 감지부로부터 충돌 이벤트를 수신하면 실제 객체와 가상 객체 각각의 물리적 정보를 기반으로 실제 객체와 가상 객체 간의 충돌로 발생하는 물리적인 상태 변화에 해당하는 충돌 효과 정보를 생성하는 충돌 효과 생성부; 및 충돌 효과 정보를 증강현실 영상에 반영하도록 콘텐츠 실행부에 충돌 효과 정보를 제공하는 제어부를 포함한다.

본 발명의 실시예는 실제 객체와 가상 객체 간의 충돌 발생시 실제 객체 및 가상 객체에 대한 충돌 효과 정보를 사용자에게 제공하여 증강현실에서 사용자가 느끼는 현실감을 증가시킬 수 있도록 하는 효과를 제공한다.

아울러 본 발명의 실시예는 예시를 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 증강현실 제공 장치를 나타낸 개념도이다.
도 2는 도 1의 실시예에 따른 사용자 장치의 구성을 나타내는 블록도이다.
도 3은 도 1의 실시예에 따른 사용자 장치의 AR 영상 제공 방법을 나타내는 흐름도이다.
도 4는 실제 객체와 가상 객체 간의 충돌 발생시 글래스에 표시되는 증강현실 영상을 나타내는 예시적인 도면이다.
도 5는 이용자의 시선 이동에 따른 시야 영역의 이동을 설명하는 도면이다.
도 6은 관심도 측정을 설명하기 위한 도면이다.
도 7은 객체 정보를 처리하기 위해 객체를 지정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 증강현실 제공 장치의 하드웨어 구성을 나타내는 도면이다.

이하, 첨부한 도면을 참조하여 본 발명의 다양한 실시 예들에 대해 상세히 설명하고자 한다. 본 문서에서 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 문서에 개시되어 있는 본 발명의 다양한 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 다양한 실시 예들은 여러 가지 형태로 실시될 수 있으며 본 문서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.

본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 증강현실 제공 장치를 나타낸 개념도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 증강현실 제공 장치는, 서버(100)와 사용자 장치(200)를 포함할 수 있다.

여기서, 서버(100)는 사용자 장치(200)로 3차원 증강현실(Augmented Reality: AR, 이하 'AR'이라 함) 영상 및 3차원 AR 영상 내의 미리 특정된 적어도 하나의 객체(예로서, 인물 또는 사물)에 대해서 미리 설정된 객체 정보를 제공할 수 있다. 이를 위해, 서버(100)는 AR 영상 및 객체 정보를 저장하는 데이터베이스(미도시)를 포함할 수 있다. 일례로, 서버(100)는 AR 영상 제공 사업자의 서버 컴퓨터일 수 있다.

또한, 서버(100)는 AR 영상 저작도구를 이용하여 AR 영상 데이터를 저작하고 편집할 수 있다. 일례로, 객체 정보를 생성하기 위해서, 객체에 대한 영역을 특정할 때에는, 서버(100)에 접속된 관리자 컴퓨터에서 마우스, 키보드 등의 입력 장치를 이용하여 객체 영역을 지정할 수 있다. 또한, 서버(100)는 입력장치로서 관리자 컴퓨터에 연결된 HMD(head mount display)를 포함하여, HMD의 사용자 시선과 연동되는 포인터 등을 이용하여 객체 영역을 특정할 수도 있다. 또는 사람의 안면 인식, 차량의 번호판 인식 등과 같이, 다양한 설정된 조건에 의해 영상 내 객체들을 자동으로 인식하여 지정할 수도 있다.

또한, 서버(100)는 사용자 장치(200)를 통해 증강현실 공간에서 수행되는 증강현실 사용자와의 상호 인터렉션 서비스를 제공할 수 있다. 특히, 서버(100)는 증강현실 사용자간의 상호 인터렉션을 위해 다수의 사용자 장치(200)의 현재 위치 및 좌표계를 서로 동기화시켜 사용자 장치(200)로 전송할 수 있다.

서버(100)는 사용자 장치(200)로부터의 지시에 따라서 AR 영상 및/또는 객체 정보 파일을 스트리밍 방식으로 사용자 장치(200)에 전송할 수도 있을 것이며, 혹은 AR 영상 및/또는 객체 정보 파일 전체를 사용자 장치(200)에 한번에 전송하여 다운로드 시킨 후, 사용자 장치(200)에서 사용되도록 할 수도 있을 것이다.

사용자 장치(200)는 3차원 AR 영상을 구동시키고, 사용자의 시선 방향에 따라 3차원 AR 영상 내 일부 영상을 출력하는 장치이다. 사용자 장치(200)는 실제 객체 정보와 사용자 정보를 획득하고 실제 객체와 가상 객체를 맵핑하여 AR 공간을 통해 증강현실 서비스를 제공할 수 있다.

특히. 사용자 장치(200)는 실제 객체와 가상 객체에 대한 물리적 정보를 지속적으로 수집하고 업데이트 할 수 있다. 사용자 장치(200)는 실제 객체와 가상 객체 간에 물리적인 변화인 충돌, 위치 변화 등이 발생하였는지를 감지할 수 있다. 사용자 장치(200)는 객체 간의 충돌, 위치 변화 등이 발생한 경우 수집된 물리적 정보에 기초하여 충돌로 인한 상태 변화를 실제 객체와 가상 객체에 표현하여 사용자에게 현실감 있게 전달할 수 있다. 또한, 사용자 장치(200)는 객체 기반의 이미지를 분석하여 실제 객체와 가상 객체 간의 충돌 이후에 객체가 움직이는 변화 패턴을 예측할 수 있다.

사용자 장치(200)는 AR 공간에서 수행되는 증강현실 사용자와의 상호 인터렉션을 처리할 수 있다. 사용자 장치(200)는 증강현실 사용자와의 상호 인터렉션이 가능한 서비스 앱을 서버(100)로부터 다운로드 받아서 사용할 수 있다.

예를 들면, 사용자 장치(200)는 HMD, 스마트폰 등의 휴대용 단말, 휴대용 컴퓨터 등일 수 있으며, 또는 이들의 조합으로 이루어지는 구성일 수도 있다. 여기서, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 그리고, 휴대용 컴퓨터는 노트북, 랩톱(laptop) 등을 포함할 수 있다.

한편, 상술한 사용자 단말(200)은 네트워크를 통해 서버(100)에 접속할 수 있다. 여기서, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network;WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크로 구현될 수 있다. 한편으로, 네트워크는 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다. 필요에 따라서, 네트워크는 유선 및 무선이 혼용된 네트워크일 수 있다.

도 2는 도 1의 실시예에 따른 사용자 장치(200)의 구성을 나타내는 블록도이다.

도 2에 도시된 바와 같이, 사용자 장치(200)는, 카메라(210), 객체 인식부(220), 입력부(230), 통신부(240), 물리 정보 저장부(250), 콘텐츠 실행부(260), 제어부(270), 충돌 감지부(280) 및 충돌 효과 생성부(290)를 포함할 수 있다. 사용자 장치(200)는 카메라(210), 객체 인식부(220), 입력부(230), 통신부(240), 물리 정보 저장부(250), 콘텐츠 실행부(260), 제어부(270), 충돌 감지부(280) 및 충돌 효과 생성부(290)의 기능을 실행시키기 위해 저장 매체(예를 들어, 제어부(270) 내부 또는 외부의 메모리)에 저장된 어플리케이션을 통해 실현될 수 있다. 물론 사용자 장치(200)는 각 기능을 구현하는 하드웨어의 조합으로 구현될 수도 있다.

카메라(210)는 글래스의 정면을 촬영하여 실사 영상을 획득할 수 있다. 카메라(210)는 전방 촬영을 위한 전방 카메라일 수도 있고, 후방 영상을 획득하기 위한 후방 카메라를 더 포함할 수도 있다. 카메라(210)는 실제 객체와의 거리를 감지할 수 있는 뎁스 카메라일 수 있다. 카메라(210)에 의해 촬영된 외부 실사 영상 및 사용자 양안의 이미지는 객체 인식부(220)와 제어부(270)에 제공될 수 있다.

여기서, 카메라(210)는 실사 영상을 인식하기 위한 AR 글래스(후술하는 도 7에 도시됨)에 마련될 수 있다. AR 글래스는 사용자가 안경처럼 착용하여 객체 정보를 전달받는 장치이다. AR에서의 객체는 실제 객체와 가상 객체로 구분될 수 있다. 여기서, 가상 객체는 실제는 존재하지 않지만 유저 디스플레이가 포함되고 AR 글래스에만 표시되는 객체를 뜻할 수 있다. 그리고, 각 객체는 실사 기반의 객체이거나 가상의 그래픽 객체일 수 있다. 실제 존재하는 사물을 기반으로 하는 실제 객체는 모두 실사로 이루어져 있다. AR 글래스에 표시되는 가상 객체는 실사를 기반으로 만들어진 객체도 있지만 그래픽 기반 객체일 수도 있다.

실시예에 따라, 카메라(210)는 사용자가 착용할 수 있는 웨어러블 장치에 마련될 수도 있다. 여기서, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형, 또는 생체 이식형 회로 등과 같이 다양한 타입의 장치로 구현될 수 있다.

객체 인식부(220)는 카메라(210)를 통해 촬영된 실사 영상을 분석하여 실제 객체를 인식할 수 있다. 객체 인식부(220)는 카메라(210)를 통해 거리감이 유사한 물체에서 인물이나 사물의 객체를 추출할 수 있다. 예를 들어, 객체 인식부(220)는 카메라(210)를 통해 촬영된 영상을 기반으로 실제 객체를 인식하고 그 정보를 출력할 수 있는 알고리즘으로 구현될 수 있고, 촬상된 영상으로부터 영상 및 객체 정보를 구분하여 출력할 수도 있다.

입력부(230)는 사용자로부터 선택신호, 조작신호 등을 입력받는 구성으로서, 다양한 조작버튼, 선택버튼 등을 포함할 수 있다. 입력부(230)는 외부로부터의 물리적 입력을 특정한 전기 신호로 변환하는 기능을 할 수 있다.

일례로, 입력부(230)는 마우스, 키보드, 터치스크린 등의 입력수단이 이용될 수 있다. 다른 실시예에서, 입력부(230)는 사용자의 입력의 위치, 방향, 가속도, 압력, 키 정보를 등을 입력 받아 입력 데이터를 생성하는 장치일 수 있다.

입력부(230)는 자이로 센서, 엔코더, 터치패널, 다수의 키버튼을 구비한 키패드 등이 구비되어 사용자의 입력을 검출하여 입력 데이터를 생성하는 장치일 수 있다. 예를 들어, 입력부(230)는 게임패드, 패들 컨트롤러, 트랙볼, 조이스틱, 아케이드 스타일 조이스틱, 자동차 핸들, 마우스, 데이터 글러브 등 일 수 있다. 또한, 입력부(230)는 사용자의 손 동작, 팔 동작 등의 움직임을 검출하고, 이러한 움직임을 사용자 입력으로 인식하는 카메라, 모션센서 등으로 구현될 수도 있다.

통신부(240)는 서버(100)와 통신을 수행할 수 있다. 예로써, 통신부(240)는 서버(100)에 네트워크를 통해 접속하여 3차원 AR 영상 및 객체정보 중 적어도 하나를 전송받을 수 있다. 통신부(240)는 서버(100)와 통신하여, 입력데이터, 제어신호, 영상 데이터 및 음성 데이터를 송수신 할 수 있다. 통신부(240)는 원격지에 존재하는 다른 사용자 장치(200)와 증강 콘텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 증강 콘텐츠 및 동기화를 위한 정보를 송수신할 수 있다.

예를 들어, 통신부(240)는 LAN, 데이터 케이블 등을 이용한 유선방식 또는 RF통신(Radio Frequency), WiFi(Wireless Fidelity), LTE(Long Term Evolution), 블루투스, IrDA(Infrared Data Association), 지그비, UWB(Ultra-wideband), 부호분할다중접속방식(code division multiple access: CDMA), 주파수분할다중방식(frequency division multiplexing: FDM), 시분할다중방식(time division multiplexing: TDM) 등에 따라 무선방식으로 서버(100)와 통신할 수 있다.

물리 정보 저장부(250)는 객체의 충돌 등으로 발생하는 물리적 변화를 예측하기 위해 객체의 물리적 정보(또는 물리적 인자)를 수집할 수 있다. 물리 정보 저장부(250)는 실제 일상 생활에서 얻을 수 있는 물리적 정보를 지속적으로 수집하여 저장할 수 있으며 수집된 정보를 업데이트 하여 제어부(270)에 전달할 수 있다.

물리 정보 저장부(250)에서 수집하는 객체화된 물리적 정보는 객체의 탄성, 무게, 경도, 질감, 소리, 부피, 힘의 크기, 접촉 각도, 접촉 면적, 객체 표면의 굴곡, 강성, 마찰 계수 또는 점도 등일 수 있다. 또한, 사람의 피부뿐만 아니라 스마트폰, 도끼, 돌, 나무, 철, 목재, 천, 물, 불 등 기본적인 일상생활에서의 기본 단위를 이루는 물질의 물리적 정보도 포함될 수 있다.

콘텐츠 실행부(260)는 가상 객체를 포함하는 3차원 AR 영상 콘텐츠를 실행시킬 수 있다. AR 영상 콘텐츠는 AR 환경에서 제공되는 콘텐츠를 나타낼 수 있다. AR 환경은 사용자의 주변 환경에 실제로 존재하지 않는 가상의 사물을 나타내는 AR 콘텐츠를 디스플레이를 통해 주변의 환경과 함께 제공함으로써 가상의 사물이 주변 환경에 존재하는 것처럼 보이도록 할 수 있다. AR 콘텐츠는 이미지, 동영상, 애니메이션 효과 등 다양한 종류로 구현될 수 있다. 예를 들어, AR 콘텐츠는 실존하는 사물(예를 들면, TV, 디지털 액자, 사운드 바, 냉장고, 세탁기, 가구, 자동차, 건물, 나무 등)이 2차원 또는 3차원으로 렌더링된 이미지일 수 있다. 다른 예를 들어, AR 콘텐츠는 텍스트, 문자, 이미지, 사진, 동영상, 문서, 대시보드(dashboard) 등과 같은 다양한 유형 중 하나의 정보일 수 있다.

콘텐츠 실행부(260)는 3차원 AR 영상을 3차원 좌표계에 매칭시켜 가상의 공간 상에 3차원 AR 영상 콘텐츠를 구동시킬 수 있다. 여기서, AR 영상 콘텐츠는, 예로써, 현실감이 느껴지는 증강현실을 제공할 수 있도록 디지털 방식으로 제작된 360도 동영상 등의 콘텐츠일 수 있다.

일례로, 콘텐츠 실행부(260)는 하나 이상의 AR 영상 콘텐츠를 실행 순서에 따라 또는 결합하여 동시에 재생시킬 수 있는 적어도 하나의 AR 영상 플레이어(261)와, 재생된 AR 영상에 대해 영상 데이터 및 음성 데이터 등을 출력하는 출력부(262)를 포함하여 구현될 수 있다.

여기서, AR 영상 플레이어(261)는 사용자가 실제로 보고 있는 현실 세계를 담고 있는 영상(예를 들면, 전봇대 및 전봇대 주위의 영상)에 부가 정보(예를 들면, 차량이 전봇대에 충돌하는 영상, 및 충돌시 차량과 전봇대가 파괴되는 충돌 효과 정보 등)를 시각적으로 중첩하여 제공할 수 있다.

그리고, 출력부(262)는 사용자의 시선 방향 즉 감지된 시선 방향에 따라 3차원 AR 영상 구동 중 대응하는 시야 영역을 표시할 수 있다. 또한, 출력부(262)는 콘텐츠 실행부(260)에 의해 실행된 증강현실 콘텐츠를 포함하도록 구성된 표시화면을 출력할 수 있다.

특히, 출력부(262)는 충돌 감지부(280)를 통해 실제 객체와 가상 객체 간의 충돌 발생이 감지되면, 제어부(270) 또는 콘텐츠 실행부(260)의 제어에 대응하여, 충돌 효과 생성부(290)를 통해 생성된 충돌 효과 정보를 가시화하여 사용자에게 제공할 수 있다. 여기서, 출력부(262)는 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, AR 영상의 음성 신호를 출력하기 위한 음향 출력부, 햅팁 모듈, 광 출력부, 물리적인 힘을 제공하는 다른 장치 중 적어도 하나를 포함할 수 있다.

본 발명의 실시예에서는 출력부(262)가 콘텐츠 실행부(260) 내에 포함되는 것으로 도시하였지만 이는 설명의 편의를 위한 것일 뿐 이에 한정되는 것은 아니다. 출력부(262)는 콘텐츠 실행부(260)의 외부에 구비되거나, AR 글래스의 일부에 구비되거나, 입력부(230)와 출력부(262)가 일체형으로 구비되어 입력 및 출력이 하나의 장치에서 가능할 수도 있다.

제어부(270)는 카메라(210), 객체 인식부(220), 입력부(230), 통신부(240), 물리 정보 저장부(250), 콘텐츠 실행부(260), 제어부(270), 충돌 감지부(280) 및 충돌 효과 생성부(290)의 전반적인 동작을 제어할 수 있다.

이러한 제어부(270)는 내부에 구비된 메모리(271) 또는 외부에 존재하는 메모리(미도시)에 저장된 적어도 하나의 인스트럭션을 실행함으로써 사용자 장치(200)를 제어할 수 있다. 여기서, 제어부(270)는 적어도 하나의 프로세서로 구성될 수 있으며, 각 프로세서는 CPU(Central Processing Unit), AP(Application Processor) 등과 같은 범용 프로세서, GPU(Graphic Processing Unit), VPU(Vision Processing Unit) 등과 같은 그래픽 전용 프로세서, NPU(Neural Processing Unit)와 같은 인공지능 전용 프로세서 등으로 구현될 수 있다.

제어부(270)는 가상의 공간 상에 3차원 AR 영상과 함께 객체정보를 출력하도록 제어할 수 있다. 특히, 제어부(270)는 3차원 AR 영상에 대해 미리 설정된 객체에 대한 객체 정보를, 시야 영역의 영상 내에서 특정되는 객체에 대응해서, 3차원 인식되게 영상 처리하여 출력부(262)에 함께 출력할 수 있다.

제어부(270)는 AR 영상 구동 중 객체정보, 사용자의 시선 정보 및 사용자 선택신호 중 적어도 하나에 기초하여, 각각의 특정된 객체에 대한 출력정보를 처리할 수 있다. 여기서, 객체는 3차원 AR 영상 내의 인물, 동물, 사물 등의 물체일 수도 있고, 또는 배경 등의 일정 영역 등이 객체로 될 수도 있다. 제어부(270)는 카메라(210) 및 객체 인식부(220)를 통해 추출된 데이터를 이용하여 후술하는 객체 수치화 방법(도 5 내지 도 7)을 통해 시야 범위를 수치화시킬 수 있다. 또한, 제어부(270)는 사용자의 선택에 따라 AR 영상을 제공하는 프로그램 또는 어플리케이션을 실행할 수도 있다.

제어부(270)는 충돌 감지부(280)로부터 AR 환경 상에서 객체 간의 충돌 이벤트가 검출되면 충돌로 인한 물리적인 상태 변화를 AR 영상 콘텐츠에 반영하도록 제어할 수 있다. 즉, 제어부(270)는 충돌 효과 생성부(290)에서 생성된 충돌 효과 정보를 증강현실 영상에 반영하도록 콘텐츠 실행부(260)에 충돌 효과 정보를 제공하여 실감나는 증강현실 영상을 사용자에게 제공할 수 있다. 제어부(270)는 물리 정보 저장부(250)에 저장되는 물리적 정보가 업데이트 된 경우 업데이트 된 정보를 충돌 효과 생성부(290)에 제공할 수 있다.

또한, 제어부(270)는 실제 객체와 가상 객체간의 충돌 이벤트 발생 정보, 충돌로 인한 객체의 물리적인 상태 변화 정보(충돌 효과 정보) 등에 관한 히스토리 정보를 메모리(271)에 누적하여 저장할 수 있다. 그리고, 제어부(270)는 메모리(271)에 저장된 히스토리 정보에 따라 충돌로 인해 객체의 물리적인 상태가 변화되는 패턴 정보를 획득하여 분석하고 객체의 움직임에 대한 예측 정보를 생성할 수 있다.

메모리(271)는 시스템의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(271)는 물리 정보 저장부(250)에서 수집된 물리적 정보, 콘텐츠 실행부(260)에서 실행되는 AR 콘텐츠 정보 및 제어부(270)에서 처리되는 데이터 및 히스토리 정보 등을 저장할 수 있다.

또한, 메모리(271)에는 실제 객체와 가상 객체 간의 맵핑 정보가 저장될 수 있으며, 사전에 제작되어, 실제 객체와 대응되는 가상 객체의 모델 데이터가 저장될 수 있다. 여기서, 가상 객체의 모델 데이터는 실제 객체의 특징과 기저장된 가상 객체의 모델 데이터와의 비교를 통해 변화될 수 있다.

그리고, 메모리(271)는 게임, 통신 등 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 영상들, 사용자 정보, 문서 등과 관련된 데이터베이스들, 배경 영상들(메뉴 화면, 대기 화면 등), 제어 변수 데이터 또는 운영 프로그램들 등을 저장할 수 있다.

충돌 감지부(280)는 콘텐츠 실행부(260)에서 실행되는 AR 영상과 카메라(210)를 통해 획득된 실사 영상을 기초로 하여 실제 객체와 가상 객체가 접촉하는 충돌 이벤트를 검출할 수 있다.

충돌 효과 생성부(290)는 충돌 감지부(280)로부터 충돌 이벤트를 수신하면 실제 객체와 가상 객체 각각의 물리적 정보를 기반으로 실제 객체와 가상 객체 간의 충돌로 발생하는 물리적인 상태 변화에 해당하는 충돌 효과 정보를 생성할 수 있다. 충돌 효과 생성부(290)는 충돌 감지부(280)로부터 실제 객체와 가상 객체가 충돌하였다는 정보가 인가되는 경우, 물리 정보 수집부(250)에 누적된 물리적 정보를 바탕으로 하여 제어 변수를 변경함으로써 충돌로 인한 객체의 물리적인 상태 변화를 실제 객체와 가상 객체에 반영하기 위한 충돌 효과 정보를 생성할 수 있다.

충돌 효과 생성부(290)는 제어부(270)로부터 물리 정보 저장부(250)의 업데이트 된 정보가 인가되는 경우 업데이트 된 물리적 정보를 물리적인 상태 변화에 적용하여 실제 객체와 가상 객체에 반영하고 제어부(270)를 통해 콘텐츠 실행부(260)에 전달할 수 있다.

도 3은 도 1의 실시예에 따른 사용자 장치(200)의 AR 영상 제공 방법을 나타내는 흐름도이다.

먼저, 콘텐츠 실행부(260)에 의해 가상의 공간 상에 3차원 AR 영상을 실행시킨다.(단계 S1) 객체 인식부(220)는 카메라(210)(예를 들어, 뎁스 카메라(Depth Camera), 일반 카메라 등)를 통해 촬영된 실사 영상을 분석하여 실제 객체를 인식하고 제어부(270)에 제공할 수 있다.

제어부(270)는 AR 영상의 실제 객체를 수치화하여 단위 객체로 구분하고 실제 객체와 가상 객체 각각을 구분할 수 있다.(단계 S2) 제어부(270)는 AR 영상을 3차원 좌표계에 매칭시키고, 매칭된 3차원 좌표계에 기초하여 AR 영상 내의 적어도 하나의 객체를 지정할 수 있다. AR 영상 내에서 객체를 지정하는 방법은 후술하는 도 5 내지 도 7에서 상세히 설명하도록 한다.

예로서, 위의 단계들은 사용자의 시선 방향에 따라 3차원 AR 영상 중의 대응하는 시야 영역의 영상을 출력부(262)를 통해 출력하되, 3차원 AR 영상에 대해 미리 설정된 객체에 대한 객체 정보를, 시야 영역의 영상 내에서 특정되는 객체에 대응해서, 3차원 인식되게 영상 처리하여 출력부(262)에 함께 출력하는 단계를 포함할 수 있다.

이어서, 제어부(270)는 실제 객체 및 가상 객체에 대한 충돌 관련 물리적 정보를 물리 정보 저장부(250)로부터 획득한다.(단계 S3) 여기서, 물리적 정보는 실시간으로 수치화될 수 있다. 하지만, 물리적 정보가 없는 객체의 경우, 온라인으로 연결된 객체 물리 정보 정보 데이터베이스(미도시)를 통해 실시간으로 해당 객체와 유사성이 높은 객체의 정보를 내려 받아 물리적 정보를 획득할 수도 있다. 즉, 동일하지 않더라도 이미지 분석 및 모양 분석, 상황 분석 등에 기반하여 해당 객체와 가장 유사성이 높은 객체로 정보를 획득할 수 있다.

다음에, 충돌 감지부(240)는 AR 글래스의 디스플레이 상에서 증강 현실 영상과 실사 영상을 기초로 하여 실제 객체와 가상 객체 간의 충돌이 발생하였는지 여부를 감지할 수 있다.(단계 S4) 실제로 객체들 끼리의 충돌은 이에 맞게 소음이 발생하거나 찌그러짐, 부서짐 등의 반응이나 물리적인 상태 변화를 나타낼 수 있다. 객체들끼리의 충돌에 따른 물리적인 상태 변화는 물리 정보 저장부(250)(예를 들어, 물리 정보 저장부(250) 내의 데이터베이스)에 업데이트될 수 있다. 여기서, 물리적 정보는 객체 사이의 충격의 속도나 방향, 크기 등의 정보에 따른 소음의 크기나 종류, 부서짐의 세기 등의 물리적인 상태 변화에 따른 데이터도 포함될 수 있다.

충돌 효과 생성부(290)는 충돌 감지부(280)로부터 충돌 이벤트를 수신하면, 물리 정보 저장부(250)에 저장된 물리적 정보를 바탕으로 하여 실제 객체와 가상 객체 간의 충돌로 발생하는 충돌 효과 정보를 생성하여 제어부(270)에 제공할 수 있다.(단계 S5) 충돌 효과 생성부(290)는 실제 객체에도 파괴나 찌그러짐, 이동 등의 외부 물리적인 상태 변화가 나타날 수 있도록, 실제 객체에 추가적인 가상 이미지를 덧씌울 수 있다.

제어부(270)는 충돌 효과 생성부(290)에서 생성된 충돌 효과 정보를 콘텐츠 실행부(260)에 제공하여 증강현실 영상에 충돌 효과 정보를 반영할 수 있도록 한다. 실시예에 따라, 제어부(270)는 미리 저작되어 메모리(271)에 저장된 물리적 정보를 사용하여 객체 간의 충돌로 인한 물리적인 상태 변화를 증강 콘텐츠에 반영하도록 제어할 수도 있다.

다음에, 제어부(270)는 실제 객체와 가상 객체간의 충돌 발생 정보, 충돌로 인한 객체의 물리적인 상태 변화 정보 등에 관한 히스토리 정보를 메모리(271)에 누적하여 저장할 수 있다.(단계 S6) 그리고, 제어부(270)는 메모리(271)에 저장된 히스토리 정보에 따라 충돌로 인해 객체의 물리적인 상태가 변화되는 패턴 정보를 획득하여 분석하고 객체의 움직임에 대한 예측 정보를 생성할 수 있다.(단계 S7)

즉, 제어부(270)는 객체 기반의 이미지 분석을 통해 사용자의 운동성을 구분할 수 있다. 이를 통해 사용자의 현재 운동방향, 속도, 운동 상태(회전, 정지 등)를 구분하고 충돌에서의 속도와 충돌 후 이동 방향, 변화 방향 등을 예측하여 객체 변화에 적용할 수 있다. 콘텐츠 실행부(260)는 제어부(270)에서 처리된 객체 변화의 예측 정보에 기초하여 AR 서비스의 콘텐츠를 실행하여 사용자에게 제공할 수 있다.(단계 S8)

예를 들어, 객체 기반의 이미지 분석을 통해 실제 객체의 움직임 등을 구분하고 바람의 방향과 세기, 빛의 세기, 비나 눈의 기상 상황 등을 예측할 수 있다. 객체 주변 환경의 물리적 데이터를 가상 객체의 움직임이나 충돌 등을 구현하는데에 적용시킬 뿐 아니라 충돌 이후의 변화 등에도 예측 정보를 적용할 수 있다.

다른 예로, 해당 날짜에서 현재의 위치와 시간 정보를 통해 기상 상황 및 온도 등의 물리적 정보를 수집하여 가상 객체의 움직임이나 충돌 등의 구현에 데이터를 적용시킬 수 있다. 뿐만 아니라 실제 객체와의 충돌 이후의 변화 등에도 예측 정보를 적용할 수 있다.

도 4는 실제 객체와 가상 객체 간의 충돌 발생시 AR 글래스에 표시되는 증강현실 영상을 나타내는 예시적인 도면이다. 도 4에서 가상 객체는 자동차(300)로 예시되고 실제 객체는 전봇대(310)로 예시되었으나, 가상 객체와 실제 객체는 변경이 가능하다.

도 4에서 (a)는 AR 글래스(211) 내에서 가상 객체인 자동차(300)가 실제 객체인 전봇대(310)에 충돌하기 전의 이미지를 나타낸다. 그리고, 도 4에서 (b)는 자동차(300)가 전봇대(310)에 접촉하여 충돌하는 등의 이벤트가 발생할 수 있다.

이러한 객체 간의 충돌이 발생하는 경우 소음 등이 발생할 뿐 아니라 충격에 따른 실제 객체의 파괴나 부서짐, 이동, 정지 또는 회전 등의 운동 상태 변화가 나타날 수 있다. 실제 객체와 가상 객체가 충돌하는 경우 소음 발생과 함께 가상 객체의 상태가 실제와 유사하게 파괴 되는 등의 변화가 나타날 수 있다.

또한, 자동차(300)가 전봇대(310)에 충돌한 경우, 충돌 효과 생성부(290)에 의해 생성된 충돌 효과 정보가 콘텐츠 실행부(260)에 제공될 수 있다. 이에 따라, 도 4에서 (c)에서와 같이, 자동차(300)와 전봇대(310)에 충돌로 발생하는 물리적인 상태 변화를 나타내기 위해, 자동차(300)와 전봇대(310)에 가상 이미지를 덧씌워 충돌로 인한 변화가 가시화되어 표시될 수 있도록 한다.

여기서, 충돌 효과 생성부(290)에서 생성되는 충돌 효과 정보는 객체 간의 충돌 세기, 충돌 속도, 충돌시의 소음 크기, 충돌시의 소음 유지 시간, 충돌시의 소음 종류, 충돌로 인한 객체의 이동 방향, 충돌로 인한 객체의 이동 범위 등의 정보를 포함할 수 있다.

도 5는 이용자의 시선 이동에 따른 시야 영역의 이동을 설명하는 도면이고, 도 6은 관심도 측정을 설명하기 위한 도면이다. 도 5 및 도 6의 실시예는 뎁스 카메라, 일반 카메라 등을 이용하여 3차원 좌표계를 통해 객체를 지정하는 방법을 나타낼 수 있다.

그리고, 도 7은 영상 내의 객체 정보를 처리하기 위해 객체를 지정하는 또 다른 실시예를 설명하기 위한 도면이다. 도 7의 실시예는 AR 글래스(211)에 표시되는 이미지 상에서 객체를 지정하기 위해 사용자의 시야 범위를 특정하는 방법을 나타낼 수 있다.

일 예로, 도 3에서 제어부(270)가 특정된 객체에 대한 객체정보를 처리하는 단계는, 도 5 및 도 6을 참고하여 설명하기로 한다.

도 5 및 도 6에 도시된 바와 같이, 출력부(262)의 시야 영역 내에 특정된 객체가 위치하는 경우, 객체별로 가상 타이머를 동작시켜 측정된 시간 길이에 따라 객체별 관심도를 측정할 수 있다.

예를 들어, 도 5는 3차원 좌표계를 통해 4개의 점으로 객체를 지정하는 방법으로 객체를 수치화할 수 있다. 도 5에서와 같이, 먼저 "이용자 시선이동-1"일 때 시야영역 내에 객체가 포함되어 있다. 이어서, "이용자 시선이동-2"일 때, 시선이 이동하였으나 객체는 여전히 시야영역 내에 포함된다. 이어서, "이용자 시선이동-3"일 때, 시선이 이동하여, 객체는 시야 영역 내에 일부만 포함된다. 이어서, "이용자 시선이동-4"일 때, 시선이 이동하여, 객체는 시야 영역 밖에 위치한다.

이때, 도 6(a)에서와 같이, 시야 영역 내에 객체가 포함된다고 판단될 때, 가상의 타이머를 작동시켜 객체가 시야 영역 내에 위치하는 시간 길이를 측정한다. 이때, 시간 길이는 도 6(b)에서와 같이, 시야 영역 내에 객체의 적어도 일부가 포함되지 않을 때까지 측정하거나, 또는 시야 영역 내에 객체의 전부가 포함되지 않을 때까지 측정하도록 설정할 수 있다.

만일, 측정된 관심도가 설정된 조건(예로써, 일정 시간)을 만족하는 경우, 출력정보로서 객체에 대한 설명정보, 객체관련 영상 정보, 객체관련 광고정보, 링크정보 중 적어도 하나를 출력할 수 있다.

다른 예로, 도 3에서 제어부(270)가 특정된 객체에 대한 객체 정보를 처리하는 단계는, 도 7을 참고하여 설명하기로 한다. 도 7은 방향성이 있는 각도값으로 객체를 구분하는 실시예를 나타낸다.

도 7을 참조하면, 인물이나 사물에 대해, 유저의 시야를 가로, 세로 2개의 범위 각도값으로 직접 혹은 자동생성하여 객체를 특정할 수 있다. 즉, AR 글래스(211)에서 유저의 눈과 AR 글래스(211)의 중심을 잇는 직선의 거리를 통해 특정 객체를 지정하는 방법을 이용할 수 있다. 유저의 눈과 AR 글래스(211)의 디스플레이부(안경알)의 거리는 일정하므로, 방향성을 가진 각도값을 통해 인물 또는 사물과 유저의 시야 범위를 특정 할 수 있다.

도 8은 본 발명의 일 실시예에 따른 증강현실 제공 장치의 하드웨어 구성을 나타내는 도면이다. 일례로, 본 발명의 실시예는 AR 기기로서 구현될 수 있다.

도 8에 도시된 바와 같이, AR 기기(400)는, 중앙 처리 장치(CPU; 410), 입출력부(420), 메모리(430) 및 통신 인터페이스(440)를 포함할 수 있다.

여기서, 중앙 처리 장치(410)는 AR 기기(400)의 각종 처리 및 각 구성을 제어한다. 입출력부(420)는 유저와의 사이에서 입력 인터페이스 및 출력 인터페이스를 제공한다. 메모리(430)는 운영체제 프로그램 및 각종 프로그램(예로서, AR 콘텐츠 반응 평가 프로그램 혹은 AR 콘텐츠 실행 프로그램) 등을 기록한다. 통신 인터페이스(440)는 콘텐츠 관리 서버, 유무선 통신망을 통해 콘텐츠 관리 서버, 지정된 단말기 혹은 다른 AR 기기와 통신 기능을 제공한다. 또한, 도시하지는 않았으나, AR 기기(400)는 각종 반응 정보를 수집하기 위한 센싱 장치를 더 구비할 수 있다.

이에 따라, 본 발명의 실시예에 따른 시스템의 컴퓨터 프로그램은 메모리(430)에 기록되고, 중앙 처리 장치(410)에 의해 처리됨으로써 도 2에서 도시한 각 기능 블록들을 수행하는 모듈로서 구현될 수 있다.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

1. 가상 객체를 포함하는 증강현실 영상을 실행하는 콘텐츠 실행부;
   글래스의 정면을 촬영하여 실사 영상을 획득하는 카메라;
   상기 실사 영상을 분석하여 실제 객체를 인식하는 객체 인식부;
   충돌로 발생하는 물리적 정보를 저장하는 물리 정보 저장부;
   상기 증강현실 영상과 상기 실사 영상을 기초로 상기 실제 객체와 상기 가상 객체가 접촉하는 충돌 이벤트를 검출하는 충돌 감지부;
   상기 충돌 감지부로부터 상기 충돌 이벤트를 수신하면 상기 실제 객체와 상기 가상 객체 각각의 물리적 정보를 기반으로 상기 실제 객체와 상기 가상 객체 간의 충돌로 발생하는 물리적인 상태 변화에 해당하는 충돌 효과 정보를 생성하는 충돌 효과 생성부; 및
   상기 충돌 효과 정보를 상기 증강현실 영상에 반영하도록 상기 콘텐츠 실행부에 상기 충돌 효과 정보를 제공하는 제어부를 포함하는 증강현실 제공 장치.
2. 제 1항에 있어서,
   사용자로부터의 입력을 수신하는 입력부; 및
   상기 증강현실 영상 및 객체 정보를 서버와 송수신하는 통신부를 더 포함하는 증강현실 제공 장치.
3. 제 1항에 있어서, 상기 제어부는
   상기 증강현실 영상의 콘텐츠, 상기 물리적 정보 및 상기 제어부에서 처리되는 데이터 및 히스토리 정보를 저장하는 메모리를 더 포함하는 증강현실 제공 장치.
4. 제 1항에 있어서, 상기 충돌 감지부는
   증강현실 글래스를 통해 상기 실제 객체와 상기 가상 객체 간의 충돌을 인식하는 증강현실 제공 장치.
5. 제 1항에 있어서, 상기 물리적 정보는
   객체의 탄성, 무게, 경도, 질감, 소리, 부피, 힘의 크기, 접촉 각도, 접촉 면적, 객체 표면의 굴곡, 강성, 마찰 계수 및 점도 중 적어도 하나 이상을 포함하는 증강현실 제공 장치.
6. 제 1항에 있어서, 상기 물리정보 저장부에 저장되는 상기 물리적 정보는 업데이트 되어 상기 제어부 및 상기 충돌 효과 생성부에 제공되는 증강현실 제공 장치.
7. 제 1항에 있어서,
   상기 증강현실 영상의 콘텐츠를 재생하는 증강현실 영상 플레이어; 및
   상기 증강현실 영상 플레이어에서 재생된 상기 증강현실 영상을 출력하는 출력부를 더 포함하는 증강현실 제공 장치.
8. 제 1항에 있어서, 상기 충돌 효과 생성부는
   상기 충돌 이벤트의 수신시, 상기 가상 객체와 상기 실제 객체에 상기 물리적인 상태 변화가 나타날 수 있도록, 상기 가상 객체와 상기 실제 객체에 가상 이미지를 중첩하여 제공하는 증강현실 제공 장치.
9. 제 1항에 있어서, 상기 충돌 효과 생성부에서 생성되는 상기 충돌 효과 정보는,
   상기 가상 객체와 상기 실제 객체 간의 충돌 세기, 충돌 속도, 충돌시의 소음 크기, 충돌시의 소음 유지 시간, 충돌시의 소음 종류, 충돌로 인한 상기 가상 객체와 상기 실제 객체의 이동 방향, 충돌로 인한 상기 가상 객체와 상기 실제 객체의 이동 범위 중 적어도 하나의 이상의 정보를 포함하는 증강현실 제공 장치.
10. 제 1항에 있어서, 상기 제어부는
    상기 실제 객체와 상기 가상 객체 간의 충돌 발생 정보와, 상기 물리적인 상태 변화의 정보를 포함하는 히스토리 정보에 기초하여,
    상기 충돌 이벤트로 인해 상기 가상 객체와 상기 실제 객체의 물리적인 상태가 변화되는 패턴 정보를 분석하고 상기 가상 객체와 상기 실제 객체의 움직임에 대한 예측 정보를 생성하여 상기 증강현실 영상에 반영하는 증강현실 제공 장치.

Images