KR101895482B1 - 증강현실 원격제어 방법, 프로그램 및 시스템 - Google Patents

증강현실 원격제어 방법, 프로그램 및 시스템 Download PDF

Info

Publication number
KR101895482B1
KR101895482B1 KR1020170047869A KR20170047869A KR101895482B1 KR 101895482 B1 KR101895482 B1 KR 101895482B1 KR 1020170047869 A KR1020170047869 A KR 1020170047869A KR 20170047869 A KR20170047869 A KR 20170047869A KR 101895482 B1 KR101895482 B1 KR 101895482B1
Authority
KR
South Korea
Prior art keywords
image
remote control
augmented reality
displayed
information
Prior art date
Application number
KR1020170047869A
Other languages
English (en)
Inventor
박대건
박영신
Original Assignee
박대건
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박대건 filed Critical 박대건
Priority to KR1020170047869A priority Critical patent/KR101895482B1/ko
Application granted granted Critical
Publication of KR101895482B1 publication Critical patent/KR101895482B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

컴퓨팅 장치가 원격제어 차량으로부터 상기 원격제어 차량의 전면영상, 측면영상 및 후면영상을 포함하는 360도 촬영영상을 획득하는 단계, 차량의 운전자 관점에서 생성된 증강현실 콘텐츠를 획득하되, 상기 증강현실 콘텐츠는 상기 차량의 윈드쉴드(windshield), 룸미러 및 좌우 사이드 미러를 포함하는, 단계, 상기 촬영영상과 상기 증강현실 콘텐츠를 결합하여 360도 증강현실 영상을 생성하되, 상기 전면영상의 적어도 일부가 상기 윈드쉴드에 표시되도록 하고, 상기 측면영상의 적어도 일부가 상기 좌우 사이드 미러에 표시되도록 하고, 상기 후면영상의 적어도 일부가 상기 룸미러에 표시되도록 하는, 단계 및 상기 생성된 360도 증강현실 영상을 헤드 마운트 디스플레이(Head Mount Display, HMD)에 표시하는 단계를 포함하는, 증강현실 원격제어 방법이 개시된다.

Description

증강현실 원격제어 방법, 프로그램 및 시스템 {AUGMENTED-REALITY REMOTE CONTROL METHOD, PROGRAM AND SYSTEM}
본 발명은 증강현실 원격제어 방법 및 시스템에 관한 것이다.
증강현실은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.
현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 증강현실은 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다.
가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 예를 들어 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기된다.
RC카는 무선조종 자동차라고도 하며, 무선조종 방식으로 원격 조작되는 모형 자동차를 의미한다. RC카는 사람이 직접 RC카의 움직임을 확인하면서 게임기 패드와 같은 조작패드를 이용하여 조작하는 경우가 일반적이다.
RC카에 카메라를 장착한다면 사람이 직접 움직임을 확인할 수 없는 원거리에서도 RC카를 제어할 수 있고, 촬영된 영상을 증강현실과 결합한다면 더욱 다양한 게임효과와 사용자 경험을 제공할 수 있을 것이다.
이에, RC카 뿐 아니라 다양한 원격제어기기에 있어서, 증강현실과 원격제어 기술을 결합한 새로운 제어시스템에 대한 개발이 요구된다.
공개특허공보 제10-2016-0043705호, 2016.04.22 공개
본 발명이 해결하고자 하는 과제는 증강현실 원격제어 방법 및 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 증강현실 원격제어 방법은, 컴퓨팅 장치가 원격제어 차량으로부터 상기 원격제어 차량의 전면영상, 측면영상 및 후면영상을 포함하는 360도 촬영영상을 획득하는 단계, 차량의 운전자 관점에서 생성된 증강현실 콘텐츠를 획득하되, 상기 증강현실 콘텐츠는 상기 차량의 윈드쉴드(windshield), 룸미러 및 좌우 사이드 미러를 포함하는, 단계, 상기 촬영영상과 상기 증강현실 콘텐츠를 결합하여 360도 증강현실 영상을 생성하되, 상기 전면영상의 적어도 일부가 상기 윈드쉴드에 표시되도록 하고, 상기 측면영상의 적어도 일부가 상기 좌우 사이드 미러에 표시되도록 하고, 상기 후면영상의 적어도 일부가 상기 룸미러에 표시되도록 하는, 단계 및 상기 생성된 360도 증강현실 영상을 헤드 마운트 디스플레이(Head Mount Display, HMD)에 표시하는 단계를 포함한다.
또한, 상기 헤드 마운트 디스플레이의 움직임을 감지하는 단계 및 상기 헤드 마운트 디스플레이의 움직임에 따라 상기 헤드 마운트 디스플레이에 표시되는 증강현실 영상의 시점(視點)을 변경하는 단계를 더 포함할 수 있다.
또한, 상기 변경된 시점과 상기 룸미러 사이의 거리 및 각도를 산출하는 단계, 상기 산출된 거리 및 각도를 이용하여 상기 후면영상에서 상기 룸미러에 표시될 부분을 결정하는 단계 및 상기 결정된 부분을 상기 룸미러에 표시하는 단계를 더 포함할 수 있다.
또한, 상기 변경된 시점과 상기 좌우 사이드 미러 사이의 거리 및 각도를 산출하는 단계, 상기 산출된 거리 및 각도를 이용하여 상기 측면영상에서 상기 좌우 사이드 미러에 각각 표시될 부분을 결정하는 단계 및 상기 결정된 부분을 상기 좌우 사이드 미러에 각각 표시하는 단계를 더 포함할 수 있다.
또한, 가상의 객체를 나타내는 증강현실 콘텐츠를 획득하는 단계, 상기 증강현실 영상에 상기 가상의 객체를 표시하는 단계, 상기 증강현실 영상에 표시된 가상의 객체와 상기 원격제어 차량 사이의 위치관계를 산출하는 단계 및 상기 산출된 위치관계에 따른 피드백 정보를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 피드백 정보를 생성하는 단계는, 상기 원격제어 차량과 상기 가상의 객체가 접촉 또는 충돌한 것으로 판단되는 경우 상기 접촉 또는 충돌에 따른 피드백 정보를 생성하되, 상기 피드백 정보는 상기 원격제어 차량의 동작을 제어하는 정보를 포함하는, 단계를 포함하고, 상기 생성된 피드백 정보를 상기 원격제어 차량에 전송하는 단계를 더 포함할 수 있다.
또한, 상기 원격제어 차량과 상기 가상의 객체가 접촉한 것으로 판단되는 경우 상기 가상의 객체에 대응하는 가상의 아이템을 획득하는 단계, 상기 가상의 아이템에 대응하는 제어정보를 생성하는 단계 및 상기 생성된 제어정보를 상기 원격제어 차량에 전송하는 단계를 더 포함할 수 있다.
또한, 상기 원격제어 차량에 포함된 적어도 하나의 센서로부터 감지된 적어도 하나의 센서정보를 획득하는 단계, 상기 획득된 센서정보를 이용하여 상기 원격제어 차량의 상태를 판단하는 단계 및 상기 원격제어 차량의 상태에 따라 상기 생성된 증강현실 영상을 조정하는 단계를 더 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 증강현실 원격제어 방법을 수행하도록 컴퓨터 판독가능 기록 매체에 저장된 컴퓨터 프로그램이 제공된다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 증강현실 원격제어 시스템은, 원격제어 차량의 전면영상, 측면영상 및 후면영상을 포함하는 360도 촬영영상을 획득하는 영상 촬영부, 상기 촬영된 영상을 디코딩하는 영상 디코더, 가속도 센서, 초음파 센서, 기울기 센서 및 위치 센서를 포함하는 센서부, 상기 센서부에서 감지된 정보에 기초하여 상기 원격제어 차량의 상황정보를 생성하는 상황정보 생성부 및 상기 디코딩된 영상 및 상기 생성된 상황정보를 사용자 단말에 전송하는 통신부를 포함하는, 상기 원격제어 차량, 적어도 하나의 증강현실 콘텐츠를 포함하는 저장부 및 상기 저장부로부터 획득된 증강현실 콘텐츠를 상기 사용자 단말에 전송하는 통신부를 포함하는 서버 및 상기 원격제어 차량으로부터 상기 디코딩된 영상 및 상기 생성된 상황정보를 수신하고, 상기 서버로부터 상기 증강현실 콘텐츠를 수신하되, 상기 증강현실 콘텐츠는 상기 차량의 윈드쉴드, 룸미러 및 좌우 사이드 미러를 포함하는, 통신부, 상기 수신된 상황정보를 분석하여 상기 원격제어 차량의 상태를 판단하는 상황정보 분석부, 상기 원격제어 차량의 상태 및 상기 수신된 증강현실 콘텐츠를 믹싱하여 360도 증강현실 영상을 생성하는 증강영상 믹싱부, 상기 디코딩된 영상을 인코딩하는 영상 인코더, 상기 인코딩된 영상과 상기 360도 증강현실 영상을 믹싱하여 최종 영상을 생성하되, 상기 전면영상의 적어도 일부가 상기 윈드쉴드에 표시되도록 하고, 상기 측면영상의 적어도 일부가 상기 좌우 사이드 미러에 표시되도록 하고, 상기 후면영상의 적어도 일부가 상기 룸미러에 표시되도록 하는, 영상 믹싱부 및 상기 생성된 360도 증강현실 영상을 헤드 마운트 디스플레이에 표시하는 출력부를 포함하는, 상기 사용자 단말을 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
개시된 실시 예에 따르면, 영상을 통해 원격제어기기를 원거리에서 제어할 수 있는 시스템 및 방법이 제공되는 효과가 있다.
또한, 증강현실과 원격제어기기에서 촬영된 영상을 결합함으로써, 사용자가 실제로 원격제어기기에 탑승하여 운전하는 듯한 사용자 경험을 제공할 수 있는 효과가 있다.
또한, 증강현실을 통하여 가상의 장애물, 아이템 및 몬스터 등을 영상에 결합하여 표시함으로써, 원격제어기기를 활용한 다양한 게임 효과를 제공할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 증강현실 원격제어 시스템을 도시한 개념도이다.
도 2는 증강현실 영상을 표시하기 위한 증강현실 원격제어 시스템의 일 예를 도시한 구성도이다.
도 3은 일 실시 예에 따른 영상 믹싱방법을 도시한 도면이다.
도 4는 원격제어기기를 제어하기 위한 증강현실 원격제어 시스템의 일 예를 도시한 구성도이다.
도 5는 장애물을 포함하는 증강현실 원격제어 시스템의 일 예를 도시한 구성도이다.
도 6은 일 실시 예에 따라 복수의 원격제어기기가 상호작용하는 시스템을 도시한 구성도이다.
도 7은 일 실시 예에 따른 증강현실 원격제어 방법을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 일 실시 예에 따른 증강현실 원격제어 시스템을 도시한 개념도이다.
개시된 실시 예에 따른 증강현실 원격제어 시스템은 원격제어기기(100), 서버(200) 및 사용자 단말(300)을 포함한다.
일 실시 예에서, 원격제어기기(100)는 RC카이고, 사용자 단말(300)은 RC카를 제어하기 위한 제어장치(304) 및 RC카에서 촬영되는 영상을 출력하는 출력장치(302)를 포함한다.
일 실시 예에서, 출력장치(302)는 RC카에서 촬영되는 영상을 가상현실(VR)로 표시하기 위한 HMD(Head Mount Display)일 수 있다. 출력장치(302)는 사용자의 스마트폰을 거치하고, 스마트폰의 화면을 이용하여 가상현실 영상을 출력하는 HMD로 구성될 수도 있고, 자체 화면을 구비하고 스마트폰 또는 컴퓨터로부터 영상을 전송받아 출력하는 HMD로 구성될 수도 있다.
다른 실시 예에서, 출력장치(302)는 HMD가 아닌 디스플레이 장치로 구성될 수 있다. 예를 들어, 출력장치(302)는 스마트폰의 화면, 컴퓨터 모니터, TV 또는 기타 영상을 출력할 수 있는 디스플레이 장치로 구성될 수 있다.
일 실시 예에서, 제어장치(304)는 원격제어기기(100)를 제어하기 위한 제어명령을 전달할 수 있는 컨트롤러 형태로 구성된다.
다른 실시 예에서, 출력장치(302)가 HMD가 아닌 경우 출력장치(302)와 제어장치(304)는 하나의 단말에 포함될 수 있다. 예를 들어, 출력장치(302)는 스마트폰의 화면에 대응하고, 제어장치(304)는 스마트폰의 터치 입력장치에 대응할 수 있다. 즉, 스마트폰의 터치 스크린이 출력장치(302) 및 제어장치(304)로서 기능할 수 있다.
서버(200)는 원격제어기기(100)와 사용자 단말(300) 간의 통신을 담당하며, 원격제어기기(100)에서 수집되는 정보와 사용자 단말(300)에서 전송되는 제어정보를 저장하는 역할을 수행한다.
원격제어기기(100), 서버(200) 및 사용자 단말(300)은 네트워크를 통하여 연결된다. 네트워크는 원격제어기기(100), 서버(200) 및 사용자 단말(300) 간의 데이터 송수신을 위한 데이터 통신망을 의미하며, 그 종류에는 특별히 제한되지 않는다.
예를 들어, 네트워크는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망 일 수 있다.
또한, 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.
일 실시 예에서, 원격제어기기(100)와 사용자 단말(300)은 네트워크를 통하여 직접 통신할 수 있다. 예를 들어, 원격제어기기(100)는 촬영된 영상을 서버(200) 및 사용자 단말(300)에 각각 전송하며, 사용자 단말(300) 또한 제어명령을 서버(200) 및 사용자 단말(300)에 각각 전송할 수 있다.
서버(200)는 원격제어기기(100)에서 촬영된 영상을 사용자 단말(300)에 전달하고, 사용자 단말(300)은 출력장치(302)를 이용하여 영상을 출력한다.
일 실시 예에서, 서버(200) 또는 사용자 단말(300)은 원격제어기기(100)에서 촬영된 영상에 하나 이상의 증강현실 객체를 병합하여 증강현실 영상을 생성한다. 사용자 단말(300)은 출력장치(302)를 이용하여 증강현실 영상을 출력한다.
일 실시 예에서, 서버(200) 또는 사용자 단말(300)은 증강현실 객체와 원격제어기기(100) 간의 상호작용을 구현할 수 있다. 예를 들어, 원격제어기기(100)가 가상의 증강현실 객체와 충돌한 것으로 판단되는 경우, 서버(200) 또는 사용자 단말(300)은 원격제어기기(100)의 주행을 정지시키거나, 원격제어기기(100)를 감속시키거나, 가상의 증강현실 객체와 실제로 충돌한 것과 같은 충격을 재현할 수 있는 동작을 원격제어기기(100)가 수행하도록 할 수 있다.
일 실시 예에서, 원격제어기기(100)는 장애물(400)의 존재여부 및 위치를 판단할 수 있다. 예를 들어, 원격제어기기(100)는 적어도 하나의 센서를 이용하여 장애물(400)의 존재여부 및 위치를 판단할 수 있다.
원격제어기기(100)는 장애물(400)의 존재 및 위치에 대한 정보를 서버(200)에 전달한다. 일 실시 예에서, 서버(200) 또는 사용자 단말(300)은 장애물(400)에 대응하는 증강현실 객체를 생성하고, 생성된 증강현실 객체를 장애물(400)의 위치에 병합하는 증강현실 영상을 생성한다.
일 실시 예에서, 장애물(400)은 실제로 원격제어기기(100)가 충돌할 수 있는 장애물이 아니고, 바닥에 설치된 마커(marker) 또는 근거리 통신장치일 수 있다. 원격제어기기(100)는 센서, 카메라 또는 근거리 통신모듈을 이용하여 장애물(400)의 위치를 판단하고, 서버(200) 또는 사용자 단말(300)은 장애물(400)의 위치에 가상의 증강현실 객체를 병합할 수 있다.
원격제어기기(100)는 센서, 카메라 또는 근거리 통신모듈을 이용하여 가상의 장애물(400)과의 충돌여부를 판단하기 위한 정보를 획득한다. 원격제어기기(100), 서버(200) 또는 사용자 단말(300)은 획득된 정보를 이용하여 원격제어기기(100)의 가상의 장애물(400)과의 충돌여부를 판단한다. 원격제어기기(100), 서버(200) 또는 사용자 단말(300)은 가상의 장애물(400)에 충돌한 것으로 판단되는 경우, 충돌에 해당하는 피드백을 명령 또는 수행한다.
도 2는 증강현실 영상을 표시하기 위한 증강현실 원격제어 시스템의 일 예를 도시한 구성도이다.
도 2에 도시된 증강현실 원격제어 시스템은, 도 2와 관련된 일 실시 예를 설명하기 위한 구성요소만을 포함하고 있다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들 및 다른 실시 예에 따른 구성요소들이 증강현실 원격제어 시스템에 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
일 실시 예에서, 원격제어기기(100)는 영상 촬영부(110), 영상 디코더(120), 센서부(130), 상황정보 생성부(140) 및 통신부(150)를 포함한다.
영상 촬영부(110)는 적어도 하나의 카메라 모듈을 포함하고, 원격제어기기(100) 주변의 영상을 촬영한다. 일 실시 예에서, 영상 촬영부(110)는 하나 이상의 어안렌즈 카메라 또는 360도 카메라를 포함할 수 있다.
영상 디코더(120)는 영상 촬영부(110)에서 촬영된 영상을 디코딩하여 통신부(150)에 전달한다.
일 실시 예에서, 센서부(130)는 가속도 센서(132), 초음파 센서(134), 기울기 센서(136) 및 위치 센서(138)를 포함한다. 센서부(130)에는 원격제어기기(100)의 위치, 움직임 및 상태를 판단하기 위한 다양한 센서들이 더 포함될 수 있다.
상황정보 생성부(140)는 센서부(130)로부터 하나 이상의 센서 정보를 전달받고, 각 센서 정보에 대응하는 원격제어기기(100)의 상황정보를 생성한다.
일 실시 예에서, 상황정보 생성부(140)는 각 센서 정보를 서버(200) 및 사용자 단말(300)에 전송할 수 있도록 처리하는 역할을 수행하고, 각 센서 정보를 분석하여 원격제어기기(100)의 상황정보를 판단하는 것은 서버(200) 또는 사용자 단말(300)에서 수행될 수도 있다.
통신부(150)는 네트워크를 통하여 서버(200) 또는 사용자 단말(300)에 영상과 상황정보를 전송한다. 설명의 편의를 위하여, 도 2에서는 통신부(150)가 사용자 단말(300)에 정보를 전송하는 것으로 도시하였다. 하지만, 통신부(150)는 서버(200)에도 정보를 전달할 수 있고, 실시 예에 따라 서버(200)를 통하여 사용자 단말(300)에 정보가 전달될 수도 있다.
일 실시 예에서, 서버(200)는 증강현실 콘텐츠 데이터베이스(210), 증강현실 유저화면 데이터베이스(220) 및 통신부(230)를 포함한다.
서버(200)는 증강현실 콘텐츠 데이터베이스(210)로부터 필요한 증강현실 콘텐츠를 획득한다. 예를 들어, 서버(200)는 장애물(400)에 대응하는 증강현실 객체의 이미지를 증강현실 콘텐츠 데이터베이스(210)로부터 획득한다.
또한, 서버(200)는 사용자 단말(300)에 증강현실 영상을 표시하기 위한 정보를 증강현실 유저화면 데이터베이스(220)에서 획득한다. 예를 들어, 서버(200)는 사용자 단말(300)에 표시되기 위한 증강현실 사용자 인터페이스(UI) 및 화면 구성에 필요한 정보들을 증강현실 유저화면 데이터베이스(220)에서 획득한다.
통신부(230)는 증강현실 콘텐츠 데이터베이스(210) 및 증강현실 유저화면 데이터베이스(220)에서 획득된 정보를 사용자 단말(300)에 전송한다.
일 실시 예에서, 사용자 단말(300)은 통신부(310), 상황정보 분석부(320), 증강영상 믹싱부(330), 영상 인코더(340), 영상 믹싱부(350) 및 출력부(360)를 포함한다.
통신부(310)는 원격제어기기(100) 및 서버(200)로부터 데이터를 수신한다.
통신부(310)는 원격제어기기(100)로부터 원격제어기기(100)의 영상 촬영부(110)에서 촬영된 영상 및 원격제어기기(100)의 센서부(130)에서 감지된 센서 정보를 수신한다.
또한, 통신부(310)는 서버(200)로부터 증강현실 영상을 생성하기 위하여 필요한 정보를 수신한다.
상황정보 분석부(320)는 통신부(310)가 원격제어기기(100)로부터 수신한 상황정보를 분석한다. 상황정보는 원격제어기기(100)의 센서부(130)에서 감지된 센서 정보를 포함한다. 예를 들어, 상황정보 분석부(320)는 원격제어기기(100)의 위치, 속도, 기울기와 방향 등을 판단한다.
예를 들어, 원격제어기기(100)에서 촬영된 영상에 가상의 트랙이나 장애물을 표시하게 되는 경우, 원격제어기기(100)가 향하는 방향이나 기울기에 따라 트랙이나 장애물을 기울이거나 이동시켜 표시해야 할 수 있다. 따라서, 상황정보 분석부(320)는 원격제어기기(100)의 상태를 판단하여, 증강현실 객체를 자연스럽게 표시하기 위한 정보를 획득할 수 있다.
증강영상 믹싱부(330)는 서버(200)로부터 획득된 증강현실 유저화면 및 증강현실 콘텐츠를 이용하여 증강영상을 생성한다. 또한, 증강영상 믹싱부(330)는 증강영상을 생성하는 데 상황정보 분석부(320)의 판단결과를 이용하거나, 생성된 증강영상을 조정할 수 있다.
영상 인코더(340)는 원격제어기기(100)에서 디코딩되어 전송된 영상을 인코딩한다.
영상 믹싱부(350)는 영상 인코더(340)에서 인코딩된 영상과 증강영상 믹싱부(330)에서 생성된 증강영상을 믹싱하여, 증강현실이 반영된 최종 영상을 생성한다.
일 실시 예에서, 증강영상 믹싱부(330)에서 생성된 증강영상은 가상의 차량 내부 영상일 수 있다. 예를 들어, 증강영상 믹싱부(330)는 사용자가 가상의 차량에 탑승한 것과 같은 영상을 보여주기 위하여, 차량 내부의 360도 영상을 생성할 수 있다.
영상 믹싱부(350)는 영상 인코더(340)에서 인코딩된 영상을 증강영상 믹싱부(330)에서 생성된 차량 내부의 증강영상의 창문과 룸미러, 사이드 미러에 분할하여 병합할 수 있다. 따라서, 사용자 단말(300)은 사용자에게 원격제어기기(100)에 탑승하여 주행하는 것과 같은 영상을 제공할 수 있다.
출력부(360)는 도 1에 도시된 출력장치(302)에 대응하며, 영상 믹싱부(350)에서 생성된 최종 영상을 출력한다.
HMD형태의 출력장치(302)를 착용한 사용자는 고개를 돌리거나 시선을 달리 함으로써 출력되는 최종 영상을 다양한 관점에서 관찰할 수 있다.
도 3은 일 실시 예에 따른 영상 믹싱방법을 도시한 도면이다.
도 3에 도시된 실시 예에서, 영상촬영부(110) 360도 카메라 또는 원격제어기기(100)에 설치된 복수의 카메라를 포함한다.
도 3에 도시된 촬영영상(500)은 영상촬영부(110)에서 촬영된 영상을 나타낸다. 영상촬영부(110)가 360도 카메라인 경우, 촬영영상(500)은 구 형태의 360도 영상으로 표시될 수 있으나, 설명의 편의를 위하여 원통 형태로 도시하였다.
증강영상(600)은 차량 내부의 360도 영상 또는 정면 영상을 생성한다.
증강영상(600)은 차량의 전면창문(또는 윈드쉴드, 610), 룸미러(620) 및 좌우 사이드 미러(630 및 640)를 포함한다.
일 실시 예에서, 증강영상(600)은 차량의 좌, 우측 창문과 후면 창문을 포함한다. 또한, 증강영상(600)은 차량의 개방된 선루프 창문(미도시)을 포함할 수 있다.
다른 실시 예에서, 증강영상(600)은 오픈카의 내부에서 촬영된 것과 같은 360도 영상을 포함할 수 있다.
도 2에 도시된 영상 믹싱부(350)는 촬영영상(500)의 각 부분들을 증강영상(600)에 배치하여 병합함으로써, 운전자 관점의 영상을 생성할 수 있다.
예를 들어, 영상 믹싱부(350)는 촬영영상(500)의 전면 영상(510)을 증강영상(600)의 전면창문(610)에 표시하고, 후면 영상(520)을 룸미러(620)에 표시하고, 좌측 영상(530)을 좌측 사이드 미러(630)에 표시하고, 우측 영상(540)을 우측 사이드 미러(640)에 표시할 수 있다.
또한, 영상 믹싱부(350)는 좌측, 우측 및 후면 영상을 각각 증강영상(600)의 좌측, 우측 및 후면 창문에 표시할 수 있다. 각 창문에 표시되는 영상은 룸미러(620) 및 좌우 사이드 미러(630 및 640)에 표시되는 영상과는 크기 및 범위가 상이할 수 있다.
일 실시 예에서, 영상 믹싱부(350)는 촬영영상(500)의 도시되지 않은 상측 부분을 증강영상(600)의 선루프 창문에 표시할 수 있다.
다른 실시 예에서, 증강영상(600)에 표시되는 차량이 오픈카인 경우 영상 믹싱부(350)는 오픈카의 개방된 영역에 해당하는 촬영영상을 증강영상(600)에 표시하도록 할 수 있다.
또한, 영상 믹싱부(350)는 하나 이상의 증강현실 콘텐츠를 촬영영상(500)과 결합하고, 증강현실 콘텐츠가 결합된 촬영영상(500)을 증강영상(600)에 결합하도록 할 수 있다.
일 실시 예에서, 출력장치(302)는 사용자의 얼굴을 촬영하기 위한 내부 촬영수단을 더 포함할 수 있다. 다른 실시 예에서, 사용자 단말(300)은 사용자의 얼굴 이미지를 저장할 수 있다.
영상 믹싱부(350)는 사용자의 움직임에 따라, 룸미러(620)에 사용자의 얼굴이 비칠 수 있는 위치 및 각도인 것으로 인식되면, 출력장치(302)의 카메라를 이용하여 촬영된 사용자의 얼굴 또는 사용자의 얼굴 이미지를 룸미러(620)에 표시할 수 있다.
도 4는 원격제어기기를 제어하기 위한 증강현실 원격제어 시스템의 일 예를 도시한 구성도이다.
도 4에 도시된 증강현실 원격제어 시스템은, 도 4와 관련된 일 실시 예를 설명하기 위한 구성요소만을 포함하고 있다. 따라서, 도 4에 도시된 구성요소들 외에 다른 범용적인 구성요소들 및 다른 실시 예에 따른 구성요소들이 증강현실 원격제어 시스템에 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
도 4에 도시된 사용자 단말(300)은 도 1에 도시된 제어장치(304)에 대응할 수 있다. 제어장치(304)는 통신부(310), 제어부(370) 및 입력부(380)를 포함한다.
사용자 단말(300)은 입력부(380)를 통하여 사용자로부터 제어 명령을 수신한다. 제어부(370)는 입력부(380)에서 수신된 제어 명령을 처리하여 통신부(310)로 전달하고, 통신부(310)는 제어 명령을 원격제어기기(100) 및 서버(200)에 전송한다.
서버(200)는 통신부(230) 및 제어명령 데이터베이스(240)를 포함하고, 사용자 단말(300)에서 송신된 제어명령을 제어명령 데이터베이스(240)에 저장한다.
원격제어기기(100)는 통신부(150), 제어부(160) 및 동력부(170)를 포함한다. 통신부(150)는 사용자 단말(300)로부터의 제어명령을 수신하고, 제어부(160)는 수신된 제어명령을 이용하여 동력부(170)를 제어한다.
서버(200)는 제어명령 데이터베이스(240)에 저장된 제어명령 히스토리를 원격제어기기(100)의 정밀한 제어를 위한 학습데이터로 활용할 수 있다. 예를 들어, 제어명령과 각 제어명령에 따른 원격제어기기(100)의 이동속도, 방향 및 경로 등을 획득하여, 원격제어기기(100)의 자동주행 또는 제어명령 보정을 위한 학습을 수행할 수 있다.
또한, 서버(200)는 원격제어기기(100)의 오작동시 제어명령 데이터베이스(240)에 저장된 제어명령 히스토리를 검토하여 오작동의 원인을 판단할 수 있다.
도 5는 장애물을 포함하는 증강현실 원격제어 시스템의 일 예를 도시한 구성도이다.
도 5에 도시된 증강현실 원격제어 시스템은, 도 5와 관련된 일 실시 예를 설명하기 위한 구성요소만을 포함하고 있다. 따라서, 도 5에 도시된 구성요소들 외에 다른 범용적인 구성요소들 및 다른 실시 예에 따른 구성요소들이 증강현실 원격제어 시스템에 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
도 5를 참조하면, 원격제어기기(100), 서버(200), 사용자 단말(300) 및 장애물(400)이 도시되어 있다.
원격제어기기(100)는 센서부(130), 네트워크 통신부(152), 근거리 통신부(154), 제어부(160) 및 동력부(170)를 포함한다.
일 실시 예에서, 네트워크 통신부(152) 및 근거리 통신부(154)는 도 2에 도시된 통신부(150)에 포함된다.
원격제어기기(100)는 센서부(130) 또는 근거리 통신부(154)를 이용하여 장애물의 존재 및 위치를 감지한다.
일 실시 예에서, 장애물(400)는 마커부(410) 또는 근거리 통신부(420)를 포함할 수 있다. 센서부(130)는 마커부(410) 또는 장애물(400) 그 자체를 감지하고, 위치를 판단하기 위한 정보를 획득할 수 있다.
예를 들어, 센서부(130)는 카메라를 이용하여 마커부(410)를 인식하거나, 초음파 센서를 이용하여 장애물(400)의 존재 및 위치를 인식할 수 있다.
일 실시 예에서, 근거리 통신부(154)는 장애물(400)의 근거리 통신부(420)와 근거리 통신을 수행함으로써 장애물의 존재, 위치 및 장애물과의 거리를 판단할 수 있다.
예를 들어, 근거리 통신부(154 및 420)는 블루투스 모듈을 포함할 수 있다. 또한, 근거리 통신부(154 및 420)는 각각 비콘 단말과 비콘 수신기를 포함할 수 있다. 또한, 근거리 통신부(154 및 420)는 적외선 통신 모듈을 포함할 수 있다.
제어부(160)는 센서부(130) 또는 근거리 통신부(154)에서 획득된 정보를 이용하여 장애물(400)의 존재 및 위치를 판단한다. 제어부(160)는 네트워크 통신부(152)를 통하여 서버(200) 및 사용자 단말(300)에 장애물(400)에 대한 정보를 전달한다.
서버(200)는 통신부(230)를 통하여 장애물(400)에 대한 정보를 수신하고, 제어부(250)는 장애물(400)에 대응하는 증강현실 콘텐츠를 데이터베이스로부터 획득한다. 서버(200)는 획득된 증강현실 콘텐츠를 사용자 단말(300)에 전송할 수 있다.
사용자 단말(300)은 통신부(310)를 통하여 장애물(400)에 대한 정보를 수신하고, 서버(200)로부터 수신된 증강현실 콘텐츠와 장애물(400)에 대한 정보를 이용하여 증강영상을 생성한다.
또한, 원격제어기기(100)는 장애물(400)과의 거리 및 충돌여부를 판단하거나, 거리 및 충돌여부를 판단하기 위한 정보를 획득할 수 있다.
일 실시 예에서, 장애물(400)이 실제로 원격제어기기(100)와 충돌할 수는 없는 마커부(410)나 근거리 통신부(420)만으로 구성될 수 있다. 예를 들어, 원격제어기기(100)와 충돌할 수 있는 부피를 갖지 않고, 바닥에 부착된 마커 또는 소형의 근거리 통신모듈만으로 구성될 수 있다.
이 경우, 원격제어기기(100)는 마커부(410)를 인식하거나, 근거리 통신부(420)와의 통신을 통하여 장애물(400)과의 거리를 판단할 수 있고, 장애물(400)과 충돌여부를 판단할 수 있다.
원격제어기기(100), 서버(200) 또는 사용자 단말(300)은 장애물(400)과의 충돌여부가 판단되면, 원격제어기기(100)가 충돌에 따른 피드백 동작을 수행하도록 하는 명령어를 생성 및 전송할 수 있다.
동력부(170)는 충돌에 따른 피드백 동작을 수행한다. 예를 들어, 동력부(170)는 장애물(400)과의 충돌 피드백을 위해 주행을 정지하거나 주행속도를 줄일 수 있고, 또는 충돌에 의한 반동을 구현하기 위해 주행방향과 반대로 후진하거나 충돌방향에 따라 주행방향을 전환할 수 있다.
일 실시 예에서, 증강현실 원격제어 시스템은 원격제어기기(100)의 주행을 방해하는 장애물(400)뿐 아니라 원격제어기기(100)의 주행을 보조하는 아이템이나, 원격제어기기(100)와 상호작용이 가능한 몬스터 등을 추가로 포함할 수 있다.
일 실시 예에서, 아이템이나 몬스터는 장애물(400)과 같은 구성을 포함할 수 있다. 예를 들어, 아이템 또는 몬스터를 나타내는 마커부 또는 근거리 통신부가 시스템에 포함되어, 트랙이나 주행경로 상에 배치될 수 있다.
일 실시 예에서, 장애물, 아이템 및 몬스터는 모두 같은 구성으로 구분없이 배치되고, 서버(200) 또는 사용자 단말(300)이 소정의 순서 또는 무작위로 각 마커부 또는 근거리 통신부의 역할을 부여할 수 있다.
예를 들어, 원격제어기기(100)의 주행중에 마커부(410) 또는 근거리 통신부(420)가 감지되면, 서버(200) 또는 사용자 단말(300)은 감지된 마커부(410) 또는 근거리 통신부(420)의 위치에 장애물, 아이템 또는 몬스터를 배치할 것을 결정할 수 있다. 서버(200)는 결정된 객체에 대응하는 증강현실 콘텐츠를 획득하여 사용자 단말(300)에 전송할 수 있다. 사용자 단말(300)은 수신된 증강현실 콘텐츠를 이용하여 증강영상을 생성 및 표시할 수 있다.
일 실시 예에서, 아이템은 다른 원격제어기기(100)를 공격할 수 있는 무기가 될 수도 있고, 원격제어기기(100)의 제한 속도를 상승시키는 부스터 아이템일 수도 있으며, 사전에 배치되거나 다른 원격제어기기(100)에 의해 설치된 장애물이나 함정일 수도 있다.
또한, 몬스터는 원격제어기기(100)를 돕거나 방해할 수 있고, 원격제어기기(100)가 몬스터에 소정의 횟수나 속도, 강도로 충돌함으로써 몬스터를 물리치고 주행하는 게임적인 요소를 구현하는 데에도 활용될 수 있다.
일 실시 예에서, 장애물, 아이템 및 몬스터는 마커부(410) 또는 근거리 통신부(420)와 같은 지표가 없어도, 서버(200) 또는 사용자 단말(300)에 의하여 소정의 위치에 생성되거나, 무작위로 생성될 수 있다. 이 경우, 생성된 장애물, 아이템 및 몬스터의 위치 좌표와 원격제어기기(100)의 위치 좌표를 이용하여 사용자 단말(300)에 표시되고, 원격제어기기(100)와의 상호작용을 수행할 수 있다.
도 6은 일 실시 예에 따라 복수의 원격제어기기가 상호작용하는 시스템을 도시한 구성도이다.
도 6에 도시된 증강현실 원격제어 시스템은, 도 6과 관련된 일 실시 예를 설명하기 위한 구성요소만을 포함하고 있다. 따라서, 도 6에 도시된 구성요소들 외에 다른 범용적인 구성요소들 및 다른 실시 예에 따른 구성요소들이 증강현실 원격제어 시스템에 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
도 6에 도시된 시스템은 또 다른 사용자 단말(700)과 원격제어기기(800)를 더 포함한다. 사용자 단말(700)과 원격제어기기(800)는 사용자 단말(300) 및 원격제어기기(100)와 동일한 구성을 갖는다.
일 실시 예에서, 원격제어기기(100 및 800)는 적외선 모듈(180 및 850)을 더 포함한다. 원격제어기기(100 및 800) 각각은 적외선 모듈(180 및 850)을 이용한 상호작용을 할 수 있다.
예를 들어, 원격제어기기(100)는 사용자 단말(300)의 제어에 따라 적외선 모듈(180)을 이용하여 공격정보를 원격제어기기(800)에 전송할 수 있다. 적외선 모듈(850)에서 공격정보가 수신되면, 원격제어기기(800)의 제어부(860)는 수신된 공격정보를 처리하고, 통신부(880)를 통하여 사용자 단말(700)에 수신된 공격정보를 전송한다.
사용자 단말(700)의 제어부(710)는 통신부(770)에서 수신된 공격정보를 분석하고, 서버(200)에 전송할 수 있다.
서버(200) 또는 사용자 단말(700)은 수신된 공격정보에 대응하는 피드백을 원격제어기기(800)에 전송하고, 원격제어기기(800)의 제어부(880)는 동력부를 이용하여 피드백을 수행한다.
일 실시 예에서, 원격제어기기(800)의 제어부(860)는 적외선 모듈(850)에서 수신된 공격정보를 판단하고, 직접 피드백 동작을 생성 및 수행할 수도 있다.
일 실시 예에서, 공격정보는 원격제어기기(800)의 주행을 소정의 시간 동안 정지시키거나, 주행속도를 제한하는 등 원격제어기기(800)의 주행을 방해하기 위한 정보를 포함한다.
일 실시 예에서, 공격정보를 전송할 수 있는 횟수가 제한되거나, 공격정보를 전송하기 위해서는 특정 아이템을 필요로 할 수 있다.
원격제어기기(100 및 800)는 도 5와 관련하여 설명된 아이템과 접촉함으로써 아이템을 획득할 수 있으며, 획득된 아이템이 공격용 아이템인 경우, 적외선 모듈(180 및 850)을 이용하여 다른 원격제어기기에 공격정보를 전송할 수 있다.
도 7은 일 실시 예에 따른 증강현실 원격제어 방법을 도시한 흐름도이다.
도 7에 도시된 증강현실 원격제어 방법은 도 1 내지 도 6과 관련하여 설명된 사용자 단말(300)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 도 7의 증강현실 원격제어 방법에 대하여 생략된 내용이라 하더라도 도 1 내지 도 6에서 사용자 단말(300)과 관련하여 설명된 내용은 도 7의 증강현실 원격제어 방법에도 적용될 수 있다.
단계 S910에서, 사용자 단말(300)은 원격제어 차량으로부터 상기 원격제어 차량의 전면영상, 측면영상 및 후면영상을 포함하는 360도 촬영영상을 획득한다.
단계 S920에서, 사용자 단말(300)은 차량의 운전자 관점에서 생성된 증강현실 콘텐츠를 획득하되, 상기 증강현실 콘텐츠는 상기 차량의 윈드쉴드(windshield), 룸미러 및 좌우 사이드 미러를 포함한다.
단계 S930에서, 사용자 단말(300)은 상기 촬영영상과 상기 증강현실 콘텐츠를 결합하여 360도 증강현실 영상을 생성하되, 상기 전면영상의 적어도 일부가 상기 윈드쉴드에 표시되도록 하고, 상기 측면영상의 적어도 일부가 상기 좌우 사이드 미러에 표시되도록 하고, 상기 후면영상의 적어도 일부가 상기 룸미러에 표시되도록 한다.
단계 S940에서, 사용자 단말(300)은 상기 생성된 360도 증강현실 영상을 헤드 마운트 디스플레이(Head Mount Display, HMD)에 표시한다.
일 실시 예에서, 사용자 단말(300)은 상기 헤드 마운트 디스플레이의 움직임을 감지하고, 상기 헤드 마운트 디스플레이의 움직임에 따라 상기 헤드 마운트 디스플레이에 표시되는 증강현실 영상의 시점(視點)을 변경한다.
또한, 사용자 단말(300)은 상기 변경된 시점과 상기 룸미러 사이의 거리 및 각도를 산출하고, 상기 산출된 거리 및 각도를 이용하여 상기 후면영상에서 상기 룸미러에 표시될 부분을 결정하고, 상기 결정된 부분을 상기 룸미러에 표시한다.
또한, 사용자 단말(300)은 상기 변경된 시점과 상기 좌우 사이드 미러 사이의 거리 및 각도를 산출하고, 상기 산출된 거리 및 각도를 이용하여 상기 측면영상에서 상기 좌우 사이드 미러에 각각 표시될 부분을 결정하고, 상기 결정된 부분을 상기 좌우 사이드 미러에 각각 표시한다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100: 원격제어기기
200: 서버
300: 사용자 단말
302: 표시장치
304: 제어장치
400: 장애물

Claims (10)

  1. 컴퓨팅 장치가 원격제어 차량으로부터 상기 원격제어 차량의 전면영상, 측면영상 및 후면영상을 포함하는 360도 촬영영상을 획득하는 단계;
    차량의 운전자 관점에서 생성된 증강현실 콘텐츠를 획득하되, 상기 증강현실 콘텐츠는 상기 차량의 윈드쉴드(windshield), 룸미러 및 좌우 사이드 미러를 포함하는, 단계;
    상기 촬영영상과 상기 증강현실 콘텐츠를 결합하여 360도 증강현실 영상을 생성하되, 상기 전면영상의 적어도 일부가 상기 윈드쉴드에 표시되도록 하고, 상기 측면영상의 적어도 일부가 상기 좌우 사이드 미러에 표시되도록 하고, 상기 후면영상의 적어도 일부가 상기 룸미러에 표시되도록 하는, 단계; 및
    상기 생성된 360도 증강현실 영상을 헤드 마운트 디스플레이(Head Mount Display, HMD)에 표시하는 단계; 를 포함하고,
    상기 표시되도록 하는 단계는,
    상기 헤드 마운트 디스플레이의 움직임을 감지하는 단계;
    상기 헤드 마운트 디스플레이의 움직임에 따라 상기 헤드 마운트 디스플레이에 표시되는 증강현실 영상의 시점(視點)을 변경하는 단계;
    상기 변경된 시점과 상기 룸미러 사이의 거리 및 각도를 산출하는 단계;
    상기 산출된 거리 및 각도를 이용하여 상기 후면영상에서 상기 룸미러에 표시될 부분을 결정하는 단계;
    상기 결정된 부분을 상기 룸미러에 표시하되, 상기 산출된 거리 및 각도가 상기 룸미러에 상기 운전자의 얼굴이 비칠 수 있는 거리 및 각도인 것으로 판단되는 경우, 상기 룸미러에 상기 운전자의 얼굴 이미지를 표시하는, 단계;
    상기 변경된 시점과 상기 좌우 사이드 미러 사이의 거리 및 각도를 산출하는 단계;
    상기 산출된 거리 및 각도를 이용하여 상기 측면영상에서 상기 좌우 사이드 미러에 각각 표시될 부분을 결정하는 단계; 및
    상기 결정된 부분을 상기 좌우 사이드 미러에 각각 표시하는 단계; 를 더 포함하는, 증강현실 원격제어 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서,
    가상의 객체를 나타내는 증강현실 콘텐츠를 획득하는 단계;
    상기 증강현실 영상에 상기 가상의 객체를 표시하는 단계;
    상기 증강현실 영상에 표시된 가상의 객체와 상기 원격제어 차량 사이의 위치관계를 산출하는 단계; 및
    상기 산출된 위치관계에 따른 피드백 정보를 생성하는 단계; 를 더 포함하는, 증강현실 원격제어 방법.
  6. 제5 항에 있어서,
    상기 피드백 정보를 생성하는 단계는,
    상기 원격제어 차량과 상기 가상의 객체가 접촉 또는 충돌한 것으로 판단되는 경우 상기 접촉 또는 충돌에 따른 피드백 정보를 생성하되, 상기 피드백 정보는 상기 원격제어 차량의 동작을 제어하는 정보를 포함하는, 단계를 포함하고,
    상기 생성된 피드백 정보를 상기 원격제어 차량에 전송하는 단계; 를 더 포함하는, 증강현실 원격제어 방법.
  7. 제5 항에 있어서,
    상기 원격제어 차량과 상기 가상의 객체가 접촉한 것으로 판단되는 경우 상기 가상의 객체에 대응하는 가상의 아이템을 획득하는 단계;
    상기 가상의 아이템에 대응하는 제어정보를 생성하는 단계; 및
    상기 생성된 제어정보를 상기 원격제어 차량에 전송하는 단계; 를 더 포함하는, 증강현실 원격제어 방법.
  8. 제1 항에 있어서,
    상기 원격제어 차량에 포함된 적어도 하나의 센서로부터 감지된 적어도 하나의 센서정보를 획득하는 단계;
    상기 획득된 센서정보를 이용하여 상기 원격제어 차량의 상태를 판단하는 단계; 및
    상기 원격제어 차량의 상태에 따라 상기 생성된 증강현실 영상을 조정하는 단계; 를 더 포함하는, 증강현실 원격제어 방법.
  9. 제1 항의 증강현실 원격제어 방법을 수행하도록 컴퓨터 판독가능 기록 매체에 저장된 컴퓨터 프로그램.
  10. 원격제어 차량의 전면영상, 측면영상 및 후면영상을 포함하는 360도 촬영영상을 획득하는 영상 촬영부;
    상기 촬영된 영상을 디코딩하는 영상 디코더;
    가속도 센서, 초음파 센서, 기울기 센서 및 위치 센서를 포함하는 센서부;
    상기 센서부에서 감지된 정보에 기초하여 상기 원격제어 차량의 상황정보를 생성하는 상황정보 생성부; 및
    상기 디코딩된 영상 및 상기 생성된 상황정보를 사용자 단말에 전송하는 통신부; 를 포함하는, 상기 원격제어 차량;
    적어도 하나의 증강현실 콘텐츠를 포함하는 저장부; 및
    상기 저장부로부터 획득된 증강현실 콘텐츠를 상기 사용자 단말에 전송하는 통신부; 를 포함하는 서버; 및
    상기 원격제어 차량으로부터 상기 디코딩된 영상 및 상기 생성된 상황정보를 수신하고, 상기 서버로부터 상기 증강현실 콘텐츠를 수신하되, 상기 증강현실 콘텐츠는 상기 차량의 윈드쉴드, 룸미러 및 좌우 사이드 미러를 포함하는, 통신부;
    상기 수신된 상황정보를 분석하여 상기 원격제어 차량의 상태를 판단하는 상황정보 분석부;
    상기 원격제어 차량의 상태 및 상기 수신된 증강현실 콘텐츠를 믹싱하여 360도 증강현실 영상을 생성하는 증강영상 믹싱부;
    상기 디코딩된 영상을 인코딩하는 영상 인코더;
    상기 인코딩된 영상과 상기 360도 증강현실 영상을 믹싱하여 최종 영상을 생성하되, 상기 전면영상의 적어도 일부가 상기 윈드쉴드에 표시되도록 하고, 상기 측면영상의 적어도 일부가 상기 좌우 사이드 미러에 표시되도록 하고, 상기 후면영상의 적어도 일부가 상기 룸미러에 표시되도록 하는, 영상 믹싱부; 및
    상기 생성된 360도 증강현실 영상을 헤드 마운트 디스플레이에 표시하는 출력부; 를 포함하는, 상기 사용자 단말; 을 포함하고,
    상기 영상 믹싱부는,
    상기 헤드 마운트 디스플레이의 움직임을 감지하고, 상기 헤드 마운트 디스플레이의 움직임에 따라 상기 헤드 마운트 디스플레이에 표시되는 증강현실 영상의 시점(視點)을 변경하고, 상기 변경된 시점과 상기 룸미러 사이의 거리 및 각도를 산출하고, 상기 산출된 거리 및 각도를 이용하여 상기 후면영상에서 상기 룸미러에 표시될 부분을 결정하고, 상기 결정된 부분을 상기 룸미러에 표시하되, 상기 산출된 거리 및 각도가 상기 룸미러에 상기 운전자의 얼굴이 비칠 수 있는 거리 및 각도인 것으로 판단되는 경우, 상기 룸미러에 상기 운전자의 얼굴 이미지를 표시하고, 상기 변경된 시점과 상기 좌우 사이드 미러 사이의 거리 및 각도를 산출하고, 상기 산출된 거리 및 각도를 이용하여 상기 측면영상에서 상기 좌우 사이드 미러에 각각 표시될 부분을 결정하고, 상기 결정된 부분을 상기 좌우 사이드 미러에 각각 표시하는, 증강현실 원격제어 시스템.
KR1020170047869A 2017-04-13 2017-04-13 증강현실 원격제어 방법, 프로그램 및 시스템 KR101895482B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170047869A KR101895482B1 (ko) 2017-04-13 2017-04-13 증강현실 원격제어 방법, 프로그램 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170047869A KR101895482B1 (ko) 2017-04-13 2017-04-13 증강현실 원격제어 방법, 프로그램 및 시스템

Publications (1)

Publication Number Publication Date
KR101895482B1 true KR101895482B1 (ko) 2018-09-05

Family

ID=63594548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170047869A KR101895482B1 (ko) 2017-04-13 2017-04-13 증강현실 원격제어 방법, 프로그램 및 시스템

Country Status (1)

Country Link
KR (1) KR101895482B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114787890A (zh) * 2019-12-06 2022-07-22 株式会社电装 车辆驾驶系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002224434A (ja) * 2001-11-02 2002-08-13 Namco Ltd 画像合成装置、仮想体験装置および画像合成方法
KR20120020915A (ko) * 2010-08-31 2012-03-08 안정근 이동통신 단말기를 이용한 위치 연동 쿠폰 제공 방법
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
KR20160043705A (ko) 2014-10-14 2016-04-22 (주)세이프텍리서치 무인 비행체를 이용한 원격 비행 체험 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002224434A (ja) * 2001-11-02 2002-08-13 Namco Ltd 画像合成装置、仮想体験装置および画像合成方法
KR20120020915A (ko) * 2010-08-31 2012-03-08 안정근 이동통신 단말기를 이용한 위치 연동 쿠폰 제공 방법
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
KR20160043705A (ko) 2014-10-14 2016-04-22 (주)세이프텍리서치 무인 비행체를 이용한 원격 비행 체험 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114787890A (zh) * 2019-12-06 2022-07-22 株式会社电装 车辆驾驶系统

Similar Documents

Publication Publication Date Title
US11235871B2 (en) Control method, control system, and smart glasses for first person view unmanned aerial vehicle flight
US11484790B2 (en) Reality vs virtual reality racing
JP7029910B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN106575437B (zh) 信息处理装置、信息处理方法以及程序
US10108018B2 (en) Image display apparatus for displaying an image captured by a mobile apparatus
US10773715B2 (en) Parking control method and parking control device
KR102043060B1 (ko) 자율 주행 장치 및 이를 구비한 차량
EP2234399A1 (en) Image processing method and image processing apparatus
CN111216127A (zh) 一种机器人控制方法、装置、服务器及介质
US20060267747A1 (en) Travel safety apparatus for vehicle
KR102215428B1 (ko) 주차 제어 방법 및 주차 제어 장치
JP2015055999A (ja) 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
CN103609101A (zh) 车辆周边监视装置
JP2009101718A (ja) 映像表示装置及び映像表示方法
KR20110136012A (ko) 위치와 시선방향을 추적하는 증강현실 장치
KR20160108017A (ko) 가상 여행 체험 장치 및 그 방법
CN109415018B (zh) 用于数字后视镜的方法和控制单元
JP7287257B2 (ja) 画像処理装置、表示システム、プログラムおよび画像処理方法
US11626028B2 (en) System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content
JP2019156298A (ja) 車両遠隔操作装置及び車両遠隔操作方法
CN111512277A (zh) 信息处理装置、信息处理方法及程序
KR20210120398A (ko) 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
WO2017022262A1 (ja) 作業機械の周囲監視装置
KR20200055058A (ko) 머리에 착용될 수 있는 전자 디스플레이 장치를 작동하기 위한 방법, 및 가상 콘텐츠를 디스플레이하기 위한 디스플레이 시스템
KR101895482B1 (ko) 증강현실 원격제어 방법, 프로그램 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant