KR20210004079A - 대체 현실 제공 시스템 - Google Patents

Abstract

대체 현실 제공 시스템.

Description

대체 현실 제공 시스템{SYSTEM FOR PROVIDING REPLACED REALITY}

본 발명은 대체 현실 제공 시스템에 관한 것으로, 보다 상세하게 제3의 장소에 카메라를 설치하고 사용자의 시점을 일치시켜 대체 현실을 제공하는 기술에 대한 것이다.

현실의 장소를 가상으로 매핑하거나 임의로 가상세계를 구축하여 사용자에게 가상체험을 제공하는 서비스는 가상현실의 범주에 속한다(예: 루브르 박물관 체험). 반면, 현실 공간에 가상객체를 부가정보형태로 제공하는 서비스는 증강현실 범주에 속하며(예: 피카추 잡기), 혼합현실(Mixed Reality)은 가상현실과 증강현실 기술이 혼재된 기술영역으로 확장현실(Extended Reality)로도 불린다.

본 발명의 기술개념은 대체 현실(Replaced Reality)로 제3의 장소에 카메라(360도 카메라, 드론에 탑재된 스테레오 카메라 등)를 설치하고 사용자의 시점을 일치시키는 기술영역이다. 즉, 사용자의 현실공간에 제3의 장소로부터 수신한 감각정보(영상정보/음성정보, 후각, 촉각, 미각으로 확장 가능)를 사용자에 일치시키는 기술이다.

본 발명의 핵심사항은 사용자가 제3의 장소에 있는 것과 같은 효과를 얻기 위해 카메라 등의 감각센싱장치와 사용자를 일치시키는데 있다. 이러한 정보는 실감을 증대시키기 위해 초고화질의 영상을 실시간으로 획득/인코딩/전송/디코딩/재생하는 고난도 기술을 요한다.

본 발명은 대체 현실 서비스를 제공할 수 있다.

기존의 현실을 가상으로 매핑해놓고 이들과 상호작용하는 서비스(예: 스크린 골프)에서는 사용자가 바라볼 예상되는 모든 시각정보를 데이터베이스에 확보하고 있어야 하는데, 골프장 전체공간을 대상으로 사용자와 초점을 맞추어 정보를 제공하는 것은 엄청난 양의 데이터를 요구할 뿐만 아니라 실현하기도 대단히 어렵다. 그러나 제안방식은 실시간으로 사용자가 보는 방향과 객체에 대한 초점으로 해당 영상을 초고화질로 획득하여 제공하므로 현실적인 서비스가 가능하다.

이 기술은 원격의료와 유사하게 볼 수 있으나, 원격의료는 엑츄에이팅(시술)에 주안점을 두지만 이 기술은 센싱에 주안점이 있다.

스크린 골프서비스가 골프장을 내 앞으로 가져온 것이라 본다면, 이 서비스는 사용자가 골프장으로 가는 것이다.

일례로, 그림 1과 같이 제3의 장소에 있는 나무를 관찰하는 경우, 사용자가 바라보는 방향을 따라 제3의 장소의 카메라가 움직여주어야 한다. 이때, 사용자는 더 가까이 가거나 멀어질 수 있다. 또한, 제3의 장소에서 들리는 소리 역시 소리의 발생 방향을 인식하여 현실공간의 사용자 귀로 들어와주어야 한다. 또한, 후각, 촉각, 미각 정보역시 동일한 방식으로 사용자에게 전달되어야 한다. 사용자는 이러한 정보를 고글타입 HMD장비 또는 돔형태의 스크린으로부터 시각정보를 수신하고, 이러한 시각정보는 고화질(입체)로 실시간 인코딩되어 고성능 네트워크(5G)를 통해 전달된다.

<그림 1>

<Use Case 1>

가. 골프광 사용자 A는 항상 골프를 즐기고 싶지만 바쁜 일상으로 시간을 좀처럼 낼 상황이 되지 않는다. 그렇다고 스크린 골프장은 골프장을 사전에 매핑해둔 영상을 보면서 공을 치는 것이 실감이 나지도 않고 실제 골프장에서 치는 자신의 스코어와도 많은 차이가 나는 이유로 가기가 꺼려진다.

나. 사용자 A는 평소에 미국 캘리포니아에 있는 페블비치에서 라운딩하는것이 일생의 꿈으로 갖고 있다. 사용자 A는 그의 꿈을 이룰 수 있을 것인가?

다. 페블비치에서는 더욱 많은 고객들에게 페블비치의 아름다움과 경험을 제공하기 위한 대체현실 서비스를 개시하였으며, 그 서비스 개요는 아래와 같다.

(1) 페블비치의 1번홀에 A와 함께 라운딩하는 사람들(A의 지인 B, C, D)을 대신하는 4대의 드론이 위치한다. 각 드론은 고성능 카메라를 탑재하고 있으며, 이 카메라의 초점과 방향은 사용자 각각의 눈과 일치되어 있다. 여기서, 일치라 함은 동기화의 의미이며, 사용자 앞에 펼쳐지는 페블비치 1번홀의 티오프(tee off)위치에서 사용자가 바라보는 시야와 실제 객체(먼산, 그늘집, 소나무 등)에 초점이 맞춰짐을 의미한다.

(2) 사용자는 돔 형태의 스크린을 통해 페블비치 1번홀을 주시하거나 HMD를 통해 주시하고 있다. 이때 사용자가 다른 방향으로 고개를 돌리면 드론 역시 같은 방향으로 향하여 카메라와 시점을 일치시켜주고 카메라는 사용자가 응시하는 객체에 초점을 맞춘다.

(3) 드론에 탑재된 카메라가 촬영하는 영상은 실시간으로 인코딩되어 5G통신망을 통해 고속 전송되고, 사용자 스크린(돔 또는 HMD)에 실시간 디코딩되어 영상이 재현된다. 이때, 촬영시점과 사용자가 보는 시점간의 지연은 인간이 느끼지 못할 정도의 실시간성을 제공한다.

(4) 사용자는 기존의 스크린 골프장과 같은 방식으로 자신의 앞에 있는 스크린을 향해 실제 공을 타격한다. 타격된 공은 물리적 계산을 통하여 날아가며 스크린상에 표시되며, 드론은 공의 비행궤적을 따라 공과의 적당한 간격을 유지하며 공을 포함한 전방의 영상을 촬영하여 전송해준다.

(5) 실제의 필드에서는 사람의 눈이 공의 비행궤적을 따라 갈수 없지만 드론은 어느 정도의 거리를 유지하며 공의 비행을 좀더 가까이서 관찰할 수 있는 이점이 있다. 또한, 4명의 사용자가 공을 모두 타격하여 날린 후 공의 위치까지 카트를 타고 이동하는 시간은 드론이 각 플레이어의 공의 위치까지 날아가기 때문에 시간을 절약할 수 있다.

(6) 필드에서의 일반적인 팀간 티오프 간격은 7분으로 본 서비스를 이용하면 1~2분으로 줄일 수 있다. 이것은 4개의 드론이 한 팀을 이루어 이들이 먼저 전진하고 그 다음 이들 뒤를 단음 4개의 드론이 뒤따른다는 시나리오를 가정하였을 때의 상황이며, 드론 간의 충돌만 피한다면 공의 궤적이 스크린골프장에서의 물리 시뮬레이터에 따른 가상의 공이기 때문에 여러 팀이 동시에 플레이가 가능하다는 장점을 갖게 된다. 다시 말해 드론간의 충돌을 회피하고 드론이 촬영한 영상 내에서 다른 드론이 보이지 않도록 처리하는 과정이 필요하다.

(7) 공이 물리 궤적을 따라 이동하는 장면을 드론이 따라가면서 촬영하는 이유는 공이 날아가면서 발생하는 효과음의 재생이나 주변음 및 바람의 세기, 향기 등의 정보를 실시간 획득하여 재현하기 위한 이유도 있고 좀더 실감을 증대시키기 위한 목적이 있다. 사용자의 선호에 따라 드론을 플레이어 위치에 고정시켜 실제 플레이어 관점에서 공의 궤적을 관찰하는 것도 옵션으로 제공할 수 있다.

라. 페블비치 운영자는 특정한 시간대에 한하여 수많은 대체현실 서비스 이용자를 위해 드론 서비스를 제공하여 더욱 수익과 사용자층을 확보할 수 있다.

<Use Case 2>

가. 머지 않은 미래에 자율주행차가 보급되어 음주와 관계없이 자신의 차량을 운행할 수 있는 시대가 올 것이라고 많은 사람들의 기대를 모으고 있다. 그러나, 자율주행은 기계가 초고속 초정밀 센싱을 통해 인간을 대신하여 대리운행을 한다는 개념으로 오작동과 법적인 책임에 대한 분쟁에 대책이 마련되지 않는 한 상용화에 어려움이 있을 것으로 예상된다.

나. 이러한 자율주행의 문제점을 해결하기 위해 노력보다는 대체운행(대체현실에서의 대리운행)을 생각해 볼수 있다. 즉, 차량을 원격조정하는 방식으로 360카메라가 차량의 전후좌우 정보를 실시간 전송하고, 이를 통해 제3의 장소에서 대리운전자가 운행을 하는 방식이다.

다. Use Case 1에서 드론에 탑재된 카메라가 촬영하는 것이 아니고, 차량에 탑재된 360카메라가 전후좌후를 촬영하여 영상을 전송하고, 대리운전자가 응시하고자 하는 방향의 영상정보와 주변소음 정보, 차량의 상태정보 등을 실시간 전송하여 대리운전자가 실제 운전석에 앉은 효과를 내주는 방식이다.

라. 이 방식은 대리운전자가 차량까지 이동하는 시간을 없애고, 차량에 탑재된 360카메라 및 각종 감각센서와 시점이 일치시킴으로써 사고에 대한 책임소재를 명확히 할 수 있어, 완전자율주행시대의 중간 단계 역할을 할 수 있을 것이다.

마. 또한, 무인 택시가 일정한 거리적/시간적 간격, 정해진 장소에 배치되어 사용자가 이용할 수도 있고, 콜을 하여 원하는 장소로 부를 수도 있어 차세대 택시(우버 이후의 택시)업계에도 적용될 수 있다. 이러한 무인택시 사업은 이용자의 사생활보호를 포함하여 승차거부나 각종 시비거리를 없앨 수 있는 강점이 있다.

<Use Case 3>

가. 카레이싱에서 사람들은 위험을 무릅쓰고 경주에 임하는 선수들을 통해 대리만족을 느끼며 즐거워한다. 때로는 레이싱카 간의 충돌로 인해 차량이 불에 타거나 뒤집어지고, 심지어 레이서의 사망까지도 목격하면서 스릴을 만끽한다.

나. 누구나 엑셀레이터를 끝까지 밟아 최고속도를 내보고 싶지만, 위험을 감수하면서까지 이러한 스포츠를 즐기기는 어렵다.

다. 이것 역시 대체현실을 통해 가능하다. 드론의 비행높이를 차량의 운전자와 같은 높이로 설정하고 드론을 중심으로 차량을 가상으로 만들어 사용자 스크린상에 띄워준다. 드론은 설정된 속도(자동차 속도: 0~300Km/h) 에서 운행이 가능하고 물리엔진을 통해 자동차의 가속 성능을 조정한다. 차량간의 접촉이나 가드레일을 들이받는 상황연출도 가능하다.

라. 세상에서 가장 재미있는 게임은 War Game이라고 한다. 자신은 실제로 죽지 않는다는 가정이 설정되어 있고, 남들이 죽는 모습을 보는데서 얻는 쾌감인가? 이것이 인간의 본능인지는 모르겠지만 이것이 사실이라면 인간은 참으로 잔인한 존재이다.

<Use Case 4>

가. 이외에도 번지점프나 낙하산을 타고 뛰어내리는 대체현실의 서비스, 워게임, 행글라이더, 비행 시뮬레이터, 자전거, 오토바이 등의 각종 서비스 구현이 가능하다.

나. 요즈음도 많이 사용하는 화상채팅(face talk)은 상대방이 카메라를 조정하여 상대방이 보여주고 싶은 장면을 보여준다. 그러나, 다른 측면에서 보면 이 서비스는 서로가 현실에서 마주하지 못하는 상황을 대신하여 제공되는 서비스이다. 다시 말해, 서비스 목적의 리얼리티를 구현하고자 한다면, 화상채팅에서 상대방의 카메라는 내가 조정할 수 있어야 하는 것이 정상이다. 내가 그 사람과 눈을 마주칠 수도 있고 그 사람 옆의 다른 객체를 응시할 수도 있어야 한다. 그런데 지금의 화상채팅은 상대가 보여주는 것만을 보아야 한다.

다. 상대방의 앞에 드론을 띄우고 Use Case 1에서와 같이 나와 시점을 일치시켜 내가 상대방의 주변을 네비게이팅하는 서비스가 가능하다. 반드시 상대가 있어야 하는 것은 아니다. 그것이 루부르 박물관이 되었건 산이 되었건 내가 보고 싶은 장소에 나의 눈을 드론에 탑재된 카메라와 시점일치만 시켜주면 무궁무진한 서비스가 펼쳐진다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (1)

1. 대체 현실 제공 시스템.