KR102551145B1

KR102551145B1 - 주행 환경과 연관된 혼합 현실 영상 생성 방법 및 시스템

Info

Publication number: KR102551145B1
Application number: KR1020220165146A
Authority: KR
Inventors: 이진우; 서기현; 권병헌
Original assignee: 주식회사 모라이
Priority date: 2022-11-30
Filing date: 2022-11-30
Publication date: 2023-07-04

Abstract

본 개시는 적어도 하나의 프로세서에 의해 수행되는, 주행 환경과 연관된 혼합 현실 영상 생성 방법에 관한 것이다. 혼합 현실 영상 생성 방법은, 주행 환경과 연관된 실제 영상을 획득하는 단계, 주행 환경의 객체를 포함하는 제1 가상 영상을 생성하는 단계 및 실제 영상 및 상기 제1 가상 영상에 기초하여 주행 환경의 객체를 포함하는 혼합 현실 영상을 생성하는 단계를 포함한다.

Description

주행 환경과 연관된 혼합 현실 영상 생성 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING MIXED REALITY IMAGE RELATED TO DRIVING ENVIRONMENT}

본 개시는 주행 환경과 연관된 혼합 현실 영상을 생성하는 방법 및 시스템에 관한 것으로, 구체적으로 주행환경과 연관된 실제 영상과 주행 환경의 객체를 포함한 가상 영상에 기초하여 주행 환경의 객체를 포함한 혼합 현실 영상을 생성하는 방법 및 시스템에 관한 것이다.

최근, 4차 산업 혁명 시대가 도래함에 따라, 미래형 자동차로서 자율 주행 차량 관련 기술들이 주목받고 있다. IT 기술을 포함한 각종 첨단 기술이 적용된 자율주행 기술은 자동차 산업의 신성장 동력으로 그 위상이 높아지고 있다.

한편, 자율 주행 차량은 일반적으로 운전자의 개입 없이 주변 환경을 인식하고 주행 상황을 판단하여 차량을 제어함으로써 스스로 주어진 목적지까지 주행하기 때문에 안전 규제, 운행 규정 등 여러가지 사회 이슈와 연관되어 있다. 따라서, 이러한 사회 이슈를 해결하고 자율 주행 기술이 상용화되기 위해서는 지속적인 성능 테스트를 필요로 한다.

그러나, 차량의 부품 및 소프트웨어가 점점 다양화 및 복잡화됨에 따라 자율 주행 차량을 평가하기 위해 주행 환경을 실제로 구현하고 테스트하기 위해서는 장소적 제약이 존재하며, 많은 시간 및 비용이 소요된다는 문제가 있다.

본 개시는 상기와 같은 문제를 해결하기 위한 주행 환경과 연관된 혼합 현실 영상 생성 방법, 기록 매체에 저장된 컴퓨터 프로그램 및 시스템(장치)을 제공한다.

본 개시는 방법, 시스템(장치) 또는 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 포함한 다양한 방식으로 구현될 수 있다.

본 개시의 일 실시예에 따르면, 적어도 하나의 프로세서에 의해 수행되는, 주행 환경과 연관된 혼합 현실(mixed reality) 영상 생성 방법은 주행 환경과 연관된 실제 영상을 획득하는 단계, 주행 환경의 객체(object)를 포함하는 제1 가상 영상을 생성하는 단계 및 실제 영상 및 제1 가상 영상에 기초하여 주행 환경의 객체를 포함하는 혼합 현실 영상을 생성하는 단계를 포함한다.

본 개시의 일 실시예에 따르면, 제1 가상 영상은 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 이미지를 포함한다.

본 개시의 일 실시예에 따르면, 주행 환경과 연관된 제2 가상 영상을 생성하는 단계를 더 포함하고, 실제 영상 및 제1 가상 영상에 기초하여 혼합 현실 영상을 생성하는 단계는, 실제 영상, 제1 가상 영상 및 제2 가상 영상에 기초하여 혼합 현실 영상을 생성하는 단계를 포함한다.

본 개시의 일 실시예에 따르면, 제2 가상 영상은 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 시멘틱 이미지(semantic image)를 포함한다.

본 개시의 일 실시예에 따르면, 주행 환경과 연관된 실제 영상을 획득하는 단계는, 차량에 장착된 제1 카메라를 이용하여 실제 영상을 획득하는 단계를 포함한다.

본 개시의 일 실시예에 따르면 제1 가상 영상은, 차량과 동일한 차량 모델로서 시뮬레이션 모델에 구현된 차량에 장착된 제2 카메라를 이용하여 획득된 데이터로부터 생성되고, 제2 카메라는, 제1 카메라의 외부 매개 변수 및 내부 매개 변수가 동일한 카메라로서 시뮬레이션 모델에 구현된 가상의 카메라다.

본 개시의 일 실시예에 따르면, 제2 가상 영상은, 차량과 동일한 차량 모델로서 시뮬레이션 모델에 구현된 차량에 장착된 제3 카메라를 이용하여 획득된 데이터로부터 생성되고, 제3 카메라는, 제1 카메라의 외부 매개 변수 및 내부 매개 변수가 동일한 카메라로서 시뮬레이션 모델에 구현된 가상의 카메라다.

본 개시의 일 실시예에 따르면, 실제 영상 및 제1 가상 영상에 기초하여 혼합 현실 영상을 생성하는 단계는, 제1 가상 영상에서 객체에 해당하는 부분을 추출하는 단계 및 객체에 해당하는 부분 및 실제 영상에 기초하여 혼합 현실 영상을 생성하는 단계를 포함한다.

본 개시의 일 실시예에 따르면, 객체에 해당하는 부분을 추출하는 단계는, 제2 가상 영상을 이용하여 객체에 해당하는 부분을 추출하는 단계를 포함한다.

본 개시의 일 실시예에 따르면, 제2 가상 영상에 기초하여 객체에 해당하는 부분을 추출하는 단계는, 제2 가상 영상을 필터링하여 객체에 대한 마스크 이미지(mask image)를 생성하는 단계 및 마스크 이미지를 이용하여 제1 가상 영상에서 객체에 해당하는 부분을 추출하는 단계를 포함한다.

본 개시의 일 실시예에 따르면, 객체에 해당하는 부분 및 실제 영상에 기초하여 혼합 현실 영상을 생성하는 단계는, 객체에 해당하는 부분과 대응하는 실제 영상의 일부를 제거하는 단계를 포함한다.

본 개시의 일 실시예에 따르면, 객체에 해당하는 부분과 대응하는 실제 영상의 일부를 제거하는 단계는, 제2 가상 영상을 이용하여 객체에 해당하는 부분과 대응하는 실제 영상의 일부를 제거하는 단계를 포함한다.

본 개시의 일 실시예에 따르면, 제2 가상 영상을 이용하여 객체에 해당하는 부분과 대응하는 실제 영상의 일부를 제거하는 단계는, 제2 가상 영상으로부터 마스크 인버스 이미지(mask inverse image)를 생성하는 단계 및 마스크 인버스 이미지를 이용하여 객체에 해당하는 부분과 대응하는 실제 영상의 일부를 제거하는 단계를 포함한다.

본 개시의 일 실시예에 따르면, 마스크 인버스 이미지를 생성하는 단계는, 제2 가상 영상으로부터 객체에 대한 마스크 이미지를 생성하는 단계 및 마스크 이미지를 반전시켜 마스크 인버스 이미지를 생성하는 단계를 포함한다.

본 개시의 일 실시예에 따른 상술한 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 제공된다.

본 개시의 일 실시예에 따른 정보 처리 시스템은 통신 모듈, 메모리 및 메모리와 연결되고, 메모리에 포함된 컴퓨터 판독 가능한 적어도 하나의 프로그램을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로그램은, 주행 환경과 연관된 실제 영상을 획득하고, 주행 환경의 객체를 포함하는 제1 가상 영상을 생성하고 실제 영상 및 제1 가상 영상에 기초하여 주행 환경의 객체를 포함하는 혼합 현실 영상을 생성하기 위한 명령어들을 포함한다.

본 개시의 일 실시예에 따르면, 실제 주행 환경에 가상 객체를 융합함으로써, 장소적 제약에 구애없이 다양한 테스트 상황을 구현하여 자율 주행 차량을 테스트할 수 있다.

본 개시의 일 실시예에 따르면, 실제 주행 환경에 가상의 객체를 가시화하여 제공함으로써, 자율 주행 차량에 탑승한 테스터에게 실제 주행 환경에 대한 가상의 테스트 상황을 시각적으로 인식하게 하여 다양한 주행 환경에 대한 테스트를 원활히 수행하도록 할 수 있다.

본 개시의 일 실시예에 따르면, 자율 주행 차량의 테스트를 위해 물리적인 객체를 실제로 배치하는 것이 아닌 주행 환경에 가상의 객체가 투영된 영상을 자율 주행 차량의 테스트 과정에서 제공함으로써, 해당 테스트에 소요되는 시간 및 비용을 절약할 수 있다.

본 개시의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 다른 효과들은 청구범위의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자(이하, '통상의 기술자'라 함)에게 명확하게 이해될 수 있을 것이다.

본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 주행 환경과 연관된 혼합 현실 영상 생성 방법이 사용되는 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 정보 처리 시스템의 내부 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 정보 처리 시스템의 프로세서의 내부 구성을 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따라 실제 영상 및 가상 영상으로부터 혼합 현실 영상이 생성되는 예시를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따라 제1 가상 영상 및 제2 가상 영상으로부터 가공된 가상 영상이 생성되는 예시를 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따라 실제 영상 및 제2 가상 영상으로부터 가공된 실제 영상이 생성되는 예시를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 가상 영상의 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 실제 영상의 예시를 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 혼합 현실 영상의 예시를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 주행 환경과 연관된 혼합 현실 영상 생성 방법을 나타내는 흐름도이다.

이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.

첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.

개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 통상의 기술자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. 본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한, 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.

또한, 명세서에서 사용되는 '모듈' 또는 '부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '모듈' 또는 '부'는 어떤 역할들을 수행한다. 그렇지만, '모듈' 또는 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, '모듈' 또는 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 또는 변수들 중 적어도 하나를 포함할 수 있다. 구성요소들과 '모듈' 또는 '부'들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '부'들로 더 분리될 수 있다.

본 개시의 일 실시예에 따르면, '모듈' 또는 '부'는 프로세서 및 메모리로 구현될 수 있다. '프로세서'는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서, '프로세서'는 주문형 반도체(ASIC), 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA) 등을 지칭할 수도 있다. '프로세서'는, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다. 또한, '메모리'는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. '메모리'는 임의 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비-휘발성 임의 액세스 메모리(NVRAM), 프로그램가능 판독-전용 메모리(PROM), 소거-프로그램가능 판독 전용 메모리(EPROM), 전기적으로 소거가능 PROM(EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.

본 개시에서, '혼합 현실(mixed reality; MR)'은 가상 세계와 현실 시계를 합쳐 새로운 환경이나 시각화 등 새로운 정보를 만들어 내는 것을 지칭할 수 있다. 즉, 현실 세계에 가상 현실을 접목하여 현실의 물리적 객체와 가상의 객체가 상호 작용할 수 있는 기술을 지칭할 수 있다.

본 개시에서, '실제 영상'은 실체화된 물리적 객체 또는 환경에 대한 영상을 지칭할 수 있다. 예를 들어, 현실에 존재하는 차량, 차도, 주변 객체에 대한 영상을 지칭할 수 있다.

본 개시에서, '가상 영상'은 실체화된 물리적 객체에 대한 영상이 아닌 가상으로 구현된 객체에 대한 영상을 지칭할 수 있다. 예를 들어, 가상 현실(virtual reality) 환경에서의 객체에 대한 영상을 지칭할 수 있다.

본 개시에서, '시멘틱 이미지(semantic image)'는 시멘틱 세그멘테이션(semantic segmentation) 기술이 적용된 이미지를 지칭할 수 있다. 이 경우, 시멘틱 세그멘테이션 기술은 이미지 내 객체들을 의미론적 단위(예: 객체)로 분할하는 기술로서, 이미지 내 각 픽셀이 속하는 클래스를 예측하는 기술을 지칭할 수 있다.

본 개시에서, '마스크 이미지(mask image)'는 이미지 내의 특정 부분을 마스킹(masking)하기 위해 사용되는 이미지를 지칭할 수 있다. 이 경우, 마스킹은 영상에 특정 효과를 적용에 있어 효과를 적용할 영역과 나머지 영역을 구분하는 작업을 지칭할 수 있다.

도 1은 본 개시의 일 실시예에 따른 주행 환경과 연관된 혼합 현실 영상 생성 방법이 사용되는 예시를 나타내는 도면이다. 도 1에서 도시된 바와 같이, 혼합 현실 영상 생성 시스템은 가상 영상 생성부(120), 실제 영상 가공부(150), 가상 영상 가공부(160) 및 혼합 현실 영상 생성부(170)를 포함하여 구성될 수 있으며, 실제 영상(110) 및 가상 영상(130, 140)으로부터 혼합 현실 영상(190)이 생성될 수 있다.

일 실시예에 따르면, 제1 카메라(100)로부터 실제 영상(110)이 생성될 수 있다. 이 경우, 제1 카메라(100)는 차량에 장착된 카메라일 수 있다. 또한, 실제 영상(110)은 주행 환경과 연관된 영상일 수 있다. 예를 들어, 차량에 장착된 제1 카메라(100)는 주행 도로 및 주변 객체가 촬영된 실제 영상(110)을 생성할 수 있다. 이후, 생성된 실제 영상(110)은 실제 영상 가공부(150)로 전송될 수 있다.

일 실시예에 따르면, 가상 영상 생성부(120)는 가상 영상(130, 140)을 생성하여 실제 영상 가공부(150) 및 가상 영상 가공부(160)에 전송할 수 있다. 이 경우, 제1 가상 영상(130)은 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 이미지를 포함할 수 있다. 또한, 제1 가상 영상(130)은 주행 환경의 객체(예: 도로에 위치한 트래픽 콘, 다른 주행 차량 등)를 포함하는 영상일 수 있다. 제2 가상 영상(140)은 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 시멘틱 이미지(semantic image)를 포함할 수 있다.

일 실시예에 따르면, 제1 가상 영상(130)은 제2 카메라(122)로부터 생성될 수 있다. 또한, 제2 가상 영상(140)은 제3 카메라(124)로부터 생성될 수 있다. 제2 카메라(122)는 제1 카메라(100)가 부착된 차량과 동일한 차량 모델로서 시뮬레이션 모델에 구현된 차량에 장착된 가상의 카메라일 수 있다. 마찬가지로, 제3 카메라(124) 역시 제1 카메라(100)가 부착된 차량과 동일한 차량 모델로서 시뮬레이션 모델에 구현된 차량에 장착된 가상의 카메라일 수 있다. 또한, 제2 카메라(122) 및 제3 카메라(124)는 제1 카메라와 외부 매개 변수(예: 카메라의 방향 등) 및 내부 매개 변수(예: 초점 거리, 광학 중심 등)가 동일하게 설정된 카메라로서 시뮬레이션 모델에 구현된 가상의 카메라일 수 있다.

일 실시예에 따르면, 실제 영상(110) 및 제1 가상 영상(130)에 기초하여 주행 환경의 객체를 포함하는 혼합 현실 영상(190)이 생성될 수 있다. 이를 위해, 실제 영상 가공부(150)에 의해 실제 영상(110)으로부터 가공된 실제 영상(152)이 생성될 수 있다. 또한, 가상 영상 가공부(160)에 의해 제1 가상 영상(130)으로부터 가공된 가상 영상(162)이 생성될 수 있다. 가공된 실제 영상(152) 및 가공된 가상 영상(162)은 혼합 현실 영상 생성부(170)에 의해 융합되어 혼합 현실 영상(190)이 생성될 수 있다(180). 이에 대한 세부적인 내용은 도 4 내지 도 6을 참조하여 후술된다.

일 실시예에 따르면, 제2 가상 영상(140)은 가공된 실제 영상(152) 및 가공된 가상 영상(162)을 생성하는데 이용될 수 있다. 예를 들어, 제2 가상 영상(140)은 제1 가상 영상(130)에서 객체에 해당하는 부분을 추출하는 데 이용될 수 있다. 또한, 제2 가상 영상(140)은 실제 영상(110)에서 객체가 위치할 부분의 영상을 제거하는데 이용될 수 있다. 이에 대한 세부적인 내용은 도 5 및 도 6을 참조하여 후술된다.

이상 설명한 구성을 통해, 자율 주행 차량의 테스트를 위해 물리적인 객체를 실제로 배치하는 것이 아닌 주행 환경에 가상의 객체가 투영된 영상을 자율 주행 차량의 테스트 과정에서 제공함으로써, 해당 테스트에 소요되는 시간 및 비용을 절약할 수 있다.

도 2은 본 개시의 일 실시예에 따른 정보 처리 시스템(200)의 내부 구성을 나타내는 블록도이다. 정보 처리 시스템(200)은, 도 1의 가상 영상 생성부(120), 실제 영상 가공부(150), 가상 영상 가공부(160) 및 혼합 현실 영상 생성부(170)를 포함한 혼합 현실 영상 생성 시스템에 대응될 수 있으며, 메모리(210), 프로세서(220), 통신 모듈(230) 및 입출력 인터페이스(240)를 포함할 수 있다. 정보 처리 시스템(200)은 통신 모듈(230)을 이용하여 네트워크를 통해 외부 시스템과 정보 및/또는 데이터를 통신할 수 있도록 구성될 수 있다.

메모리(210)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 실시예에 따르면, 메모리(210)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리와는 구분되는 별도의 영구 저장 장치로서 정보 처리 시스템(200)에 포함될 수 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드(예를 들어, 정보 처리 시스템(200)에 설치되어 구동되는 혼합 현실 영상 생성을 위한 코드 등)가 저장될 수 있다.

이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 이러한 정보 처리 시스템(200)에 직접 연결가능한 기록 매체를 포함할 수 있는데, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 예로서, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(230)을 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 통신 모듈(230)을 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(예를 들어, 혼합 현실 영상 생성을 위한 프로그램 등)에 기반하여 메모리(210)에 로딩될 수 있다.

프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 모듈(230)에 의해 사용자 단말(미도시) 또는 다른 외부 시스템으로 제공될 수 있다. 예를 들어, 프로세서(220)는, 혼합 현실 영상 생성에 필요한 복수의 정보(예: 실제 영상)를 수신하고, 수신된 복수의 정보에 기초하여 주행 환경과 연관된 혼합 현실 영상을 생성할 수 있다.

통신 모듈(230)은 네트워크를 통해 사용자 단말(미도시)과 정보 처리 시스템(200)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있으며, 정보 처리 시스템(200)이 외부 시스템(일례로 별도의 클라우드 시스템 등)과 통신하기 위한 구성 또는 기능을 제공할 수 있다. 일례로, 정보 처리 시스템(200)의 프로세서(220)의 제어에 따라 제공되는 제어 신호, 명령, 데이터 등이 통신 모듈(230)과 네트워크를 거쳐 사용자 단말 및/또는 외부 시스템의 통신 모듈을 통해 사용자 단말 및/또는 외부 시스템으로 전송될 수 있다. 예를 들어, 사용자 단말은 생성된 주행환경과 연관된 혼합 현실 영상을 수신할 수 있다.

또한, 정보 처리 시스템(200)의 입출력 인터페이스(240)는 정보 처리 시스템(200)과 연결되거나 정보 처리 시스템(200)이 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 도 2에서는 입출력 인터페이스(240)가 프로세서(220)와 별도로 구성된 요소로서 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(240)가 프로세서(220)에 포함되도록 구성될 수 있다. 정보 처리 시스템(200)은 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다.

정보 처리 시스템(200)의 프로세서(220)는 복수의 사용자 단말 및/또는 복수의 외부 시스템으로부터 수신된 정보 및/또는 데이터를 관리, 처리 및/또는 저장하도록 구성될 수 있다. 일 실시예에 따르면, 프로세서(220)는 주행환경과 연관된 실제 영상을 수신할 수 있다. 그런 다음, 프로세서(220)는, 수신된 실제 영상 및 생성된 가상 영상에 기초하여 주행 환경의 객체를 포함하는 혼합 현실 영상을 생성할 수 있다.

도 3는 본 개시의 일 실시예에 따른 정보 처리 시스템(200)의 프로세서(220)의 내부 구성을 나타내는 도면이다. 일 실시예에 따르면, 프로세서(220)는 가상 영상 생성부(120), 실제 영상 가공부(150), 가상 영상 가공부(160) 및 혼합 현실 영상 생성부(170)를 포함하여 구성될 수 있다. 도 3에서 도시한 정보 처리 시스템의 프로세서(220)의 내부 구성은 일 예시일 뿐이며, 프로세서(220)의 적어도 일부의 구성이 생략되거나, 다른 구성이 추가될 수 있으며, 프로세서(220)가 수행하는 적어도 일부의 동작 또는 과정이 정보 처리 시스템과 통신 가능하도록 연결된 사용자 단말의 프로세서에 의해 수행되는 등 이와 다르게 구현될 수 있다. 또한, 도 3에서는 프로세서(220)의 구성을 각각의 기능별로 구분하여 설명하였으나, 반드시 물리적으로 구분되는 것을 의미하지 않는다. 예를 들어, 실제 영상 가공부(150)와 가상 영상 가공부(160)는 구분되어 상술되었으나, 이는 발명의 이해를 돕기 위한 것으로서, 이에 한정되지 않는다.

일 실시예에 따르면, 가상 영상 생성부(120)는 주행환경과 연관된 혼합 현실 영상을 생성하기 위한 가상 영상을 생성할 수 있다. 예를 들어, 가상 영상 생성부(120)는 주행 환경의 객체(예: 도로에 위치한 트래픽 콘, 다른 주행 차량 등)를 포함하는 제1 가상 영상 및/또는 주행 환경과 연관된 제2 가상 영상을 생성할 수 있다. 제1 가상 영상은 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 이미지를 포함할 수 있다. 제2 가상 영상은 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 시멘틱 이미지를 포함할 수 있다. 일 실시예에서, 제1 가상 영상 및 제2 가상 영상은 시뮬레이션 모델에 구현된 차량에 장착된 제2 카메라 및 제3 카메라를 이용하여 획득된 데이터로부터 생성될 수 있다. 이 경우, 시뮬레이션 모델에 구현된 차량은 실제 영상을 획득하기 위한 제1 카메라가 장착된 차량과 동일 모델일 수 있다. 또한, 제2 카메라 및 제3 카메라는 제1 카메라(100)와 외부 매개 변수(예: 카메라의 방향 등) 및 내부 매개 변수(예: 초점 거리, 광학 중심 등)가 동일한 카메라로서 시뮬레이션 모델에 구현된 가상의 카메라일 수 있다.

일 실시예에 따르면, 실제 영상 가공부(150)는 실제 영상으로부터 혼합 현실 영상 생성을 위한 가공된 실제 영상을 생성할 수 있다. 예를 들어, 실제 영상 가공부(150)는 실제 영상의 일부를 제거함으로써 가공된 실제 영상을 생성할 수 있다. 또한, 실제 영상 가공부(150)는 가공된 실제 영상을 생성하기 위해 제2 가상 영을 이용할 수 있다. 예를 들어, 실제 영상 가공부는 제2 가상 영상으로부터 마스크 인버스 이미지(mask inverse image)를 생성하고, 마스크 인버스 이미지를 이용하여 실제 영상의 일부를 제거함으로써 가공된 실제 영상을 생성할 수 있다. 이에 대한 세부적인 내용은 도 6을 참조하여 후술된다.

일 실시예에 따르면, 가상 영상 가공부(160)는 제1 가상 영상으로부터 가공된 가상 영상을 생성할 수 있다. 예를 들어, 가상 영상 가공부(160)는 제1 가상 영상에서 객체에 해당하는 부분을 추출함으로써 가공된 가상 영상을 생성할 수 있다. 또한, 가상 영상 가공부(160)는 가공된 가상 영상을 생성하기 위해 제2 가상 영상을 이용할 수 있다. 예를 들어, 가상 영상 가공부(160)는 제2 가상 영상으로부터 마스크 이미지(mask image)를 생성하고, 마스크 이미지를 이용하여 제1 가상 영상에서 객체에 해당하는 부분을 추출함으로써 가공된 가상 영상을 생성할 수 있다. 이에 대한 세부적인 내용은 도 5를 참조하여 후술된다.

일 실시예에 따르면, 혼합 현실 영상 생성부(170)는 가공된 가상 영상 및 가공된 실제 영상에 기초하여 혼합 현실 영상을 생성할 수 있다. 예를 들어, 혼합 현실 영상 생성부(170)는 가공된 가상 영상과 가공된 실제 영상을 융합하여 혼합 현실 영상을 생성할 수 있다. 이에 대한 세부적인 내용은 도 4를 참조하여 후술된다.

도 4는 본 개시의 일 실시예에 따라 실제 영상(110) 및 가상 영상(130, 140)으로부터 혼합 현실 영상(190)이 생성되는 예시를 나타내는 도면이다. 도시된 바와 같이, 혼합 현실 영상(190)은 제1 가상 영상(130), 제2 가상 영상(140) 및 실제 영상(110)에 기초하여 생성될 수 있다.

일 실시예에 따르면, 실제 영상(110)은 주행 환경과 연관된 영상일 수 있다. 예를 들어, 실제 영상(110)은 자율 주행 차량의 테스트를 위한 주행 도로를 촬영한 영상일 수 있다. 제1 가상 영상(130)은 실제 영상과 동일한 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 이미지로서 주행 환경의 객체를 포함할 수 있다. 예를 들어, 제1 가상 영상(130)은 실제 영상의 주행 도로를 구현한 시뮬레이션 모델에 존재하는 주변 차량 또는 트래픽 콘을 시뮬레이션 모델 속의 카메라를 통해 촬영한 영상일 수 있다. 제2 가상 영상(140)은 실제 영상과 동일한 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 시멘틱 이미지일 수 있다. 예를 들어, 제2 가상 영상(140)은 실제 영상의 주행 도로를 구현한 시뮬레이션 모델에 존재하는 주변 차량 또는 트래픽 콘을 시뮬레이션 모델 속의 카메라를 통해 촬영한 영상에 시멘틱 세그멘테이션 기술이 적용되어 객체별로 구분된 영상일 수 있다.

일 실시예에 따르면, 제1 가상 영상(130)이 가공되여 가공된 가상 영상(162)이 생성될 수 있다(410). 보다 상세하게, 가공된 가상 영상(162)은 가상 영상 가공부(160)에서 가공될 수 있으며, 제1 가상 영상(130)에서 객체에 해당하는 부분이 추출됨으로써 생성될 수 있다. 예를 들어, 제1 가상 영상에 존재하는 차량 및 트래픽 콘에 해당하는 부분이 추출됨으로써, 추출된 부분만 존재하는 가공된 가상 영상(162)이 생성될 수 있다. 또한, 제1 가상 영상(130)이 가공되는 과정에서 제2 가상 영상(140)이 이용될 수 있다. 예를 들어, 제2 가상 영상(140)을 이용하여 제1 가상 영상에 존재하는 차량 및 트래픽 콘에 대한 마스크 이미지가 생성될 수 있고, 생성된 마스크 이미지를 이용하여 차량 및 트래픽 콘에 해당하는 부분이 추출된 영상이 생성될 수 있다. 이에 대한 세부적인 내용은 도 5를 참조하여 후술된다.

일 실시예에 따르면, 실제 영상(110)이 가공되어 가공된 실제 영상(152)이 생성될 수 있다(420). 보다 상세하게, 가공된 실제 영상(152)은 실제 영상 가공부(150)에서 가공될 수 있으며, 실제 영상(110)에서 제1 가상 영상의 객체에 해당하는 부분과 대응하는 실제 영상(110)의 일부가 제거됨으로써 생성될 수 있다. 예를 들어, 제1 가상 영상의 차량 및 트래픽 콘이 위치한 부분과 대응하는 실제 영상(110)의 일부가 제거됨으로써, 가공된 실제 영상(152)이 생성될 수 있다. 또한, 실제 영상(110)이 가공되는 과정에서 제2 가상 영상(140)이 이용될 수 있다. 예를 들어, 제2 가상 영상(140)을 이용하여 제1 가상 영상에 존재하는 차량 및 트래픽 콘에 대한 마스크 인버스 이미지가 생성될 수 있고, 생성된 마스크 인버스 이미지를 이용하여 실제 영상(110)의 일부가 제거된 영상이 생성될 수 있다. 이에 대한 세부적인 내용은 도 6을 참조하여 후술된다.

일 실시예에 따르면, 가공된 가상 영상(162) 및 가공된 실제 영상(152)이 융합되어 혼합 현실 영상(190)이 생성될 수 있다(180). 보다 상세하게, 혼합 현실 영상(190)은 혼합 현실 영상 생성부(170)에서 생성될 수 있으며, 가공된 가상 영상(162)에 존재하는 객체들을 가공된 실제 영상(152)에 투영함으로써 생성될 수 있다. 예를 들어, 혼합 현실 영상(190)은 가공된 가상 영상(162)에 존재하는 차량 및 트래픽 콘을 가공된 실제 영상(152)의 제거된 부분에 투영하여 융합함으로써 생성될 수 있다.

도 5는 본 개시의 일 실시예에 따라 제1 가상 영상(130) 및 제2 가상 영상(140)으로부터 가공된 가상 영상(162)이 생성되는 예시를 나타내는 도면이다. 일 실시예에 따르면, 가공된 가상 영상(162)은 제1 가상 영상(130)에서 객체에 해당하는 부분을 추출함으로써 생성될 수 있다(530). 예를 들어, 제1 가상 영상(130)에서 차량 및 트래픽 콘에 해당하는 부분을 추출함으로써, 차량 및 트래픽 콘에 해당하는 부분을 제외한 나머지 부분이 제거된 가공된 가상 영상(162)이 생성될 수 있다.

일 실시예에 따르면, 제1 가상 영상(130)에서 객체에 해당하는 부분을 추출하는데 마스크 이미지(520)가 이용될 수 있다. 예를 들어, 마스크 이미지(520)는 제1 가상 영상(130)에서 객체에 해당하는 부분을 마스킹할 수 있는 이미지일 수 있으며, 제1 가상 영상(130)에 마스크 이미지(520)를 적용함으로써 마스킹된 객체 부분을 제외하고 나머지 부분을 제거할 수 있다. 이와 같이 마스크 이미지(520)를 이용하여 제1 가상 영상(130)에서 객체에 해당하는 부분을 마스킹함으로써 객체에 해당하는 부분을 추출할 수 있다. 이 경우, 마스크 이미지(520)는 바이너리 타입(binary type)의 이미지일 수 있다.

일 실시예에 따르면, 마스크 이미지(520)는 제2 가상 영상(140)으로부터 생성될 수 있다. 예를 들어, 제2 가상 영상(140)은 시멘틱 세그멘테이션 기술을 통해 객체별로 분리된 이미지일 수 있으며, 제2 가상 영상 중 객체에 해당하는 부분이 필터링됨으로써 마스크 이미지(520)가 생성될 수 있다(510).

도 6은 본 개시의 일 실시예에 따라 실제 영상(110) 및 제2 가상 영상(140)으로부터 가공된 실제 영상(152)이 생성되는 예시를 나타내는 도면이다. 일 실시예에 따르면, 가공된 실제 영상(152)은 제1 가상 영상(130)의 객체에 해당하는 부분과 대응하는 실제 영상(110)의 일부를 제거함으로써 생성될 수 있다(630). 예를 들어, 가공된 실제 영상(152)은 실제 영상(110)에서 제1 가상 영상(130)의 차량 및 트래픽 콘이 위치한 부분과 대응하는 실제 영상(110)의 일부를 제거함으로써 생성될 수 있다.

일 실시예에 따르면, 실제 영상(110)의 일부를 제거하는데 마스크 인버스 이미지(620)가 이용될 수 있다. 마스크 인버스 이미지는 제1 가상 영상(130)에서 객체에 해당하는 부분을 제외한 나머지 부분을 마스킹할 수 있는 이미지일 수 있으며, 실제 영상(110)에 마스크 인버스 이미지(620)를 적용함으로써 제1 가상 영상(130)의 객체에 해당하는 부분과 대응하는 부분만을 제거할 수 있다.

일 실시예에 따르면, 마스크 인버스 이미지(620)는 제2 가상 영상(140)으로부터 생성될 수 있다. 예를 들어, 제2 가상 영상(140)을 필터링함으로써 마스크 이미지(520)가 생성되고(510), 마스크 이미지(520)를 반전시킴으로써 마스크 인버스 이미지(620)가 생성될 수 있다(610). 마스크 인버스 이미지(620)는 마스크 이미지(520)와 마찬가지로 바이너리 타입의 이미지일 수 있다.

도 6은 본 개시의 일 실시예에 따라 실제 영상(110) 및 제2 가상 영상(140)으로부터 가공된 실제 영상(152)이 생성되는 예시를 나타내는 도면이다. 일 실시예에 따르면, 가공된 실제 영상(152)은 제1 가상 영상(130)의 객체에 해당하는 부분과 대응하는 실제 영상(110)의 일부를 제거함으로써 생성될 수 있다(630). 예를 들어, 가공된 실제 영상(152)은 실제 영상(110)에서 제1 가상 영상의 차량 및 트래픽 콘이 위치한 부분과 대응하는 실제 영상(110)의 일부를 제거함으로써 생성될 수 있다.

일 실시예에 따르면, 실제 영상(110)의 일부를 제거하는데 마스크 인버스 이미지(620)가 이용될 수 있다. 마스크 인버스 이미지는 제1 가상 영상에서 객체에 해당하는 부분을 제외한 나머지 부분을 마스킹할 수 있는 이미지일 수 있으며, 실제 영상(110)에 마스크 인버스 이미지(620)를 적용함으로써 제1 가상 영상의 객체에 해당하는 부분과 대응하는 부분만을 제거할 수 있다.

도 7은 본 개시의 일 실시예에 따른 제1 가상 영상(130)의 예시를 나타내는 도면이다. 일 실시예에 따르면, 제1 가상 영상(130)은 실제 영상(110)과 동일한 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 이미지일 수 있다. 보다 상세하게, 제1 가상 영상(130)은 실제 영상(110)을 촬영한 카메라가 부착된 차량과 동일한 차량 모델로서 시뮬레이션 모델에 구현된 차량에 장착된 카메라를 이용하여 획득된 데이터로부터 생성될 수 있다. 또한, 제1 가상 영상(130)을 생성하는데 이용되는 카메라는 실제 영상(110)을 촬영한 카메라와 외부 매개 변수(예: 카메라의 방향 등) 및 내부 매개 변수(예: 초점 거리, 광학 중심 등)가 동일한 카메라로서 시뮬레이션 모델에 구현된 가상의 카메라일 수 있다.

일 실시예에 따르면, 제1 가상 영상(130)은 주행 환경의 객체를 포함할 수 있다. 예를 들어, 제1 가상 영상(130)은 주변에 주행 중인 차량(720) 및 주변에 놓인 트래픽 콘(710_1, 710_2, 710_3, 710_4)이 포함된 영상일 수 있다. 이러한 제1 가상 영상(130)의 객체들은 마스크 이미지(520)에 의해 추출 및 가공될 수 있으며, 실제 영상(110)과 융합되어 혼합 현실 영상(190)이 생성될 수 있다.

도 7은 본 개시의 일 실시예에 따른 제1 가상 영상(130)의 예시를 나타내는 도면이다. 일 실시예에 따르면, 제1 가상 영상(130)은 실제 영상과 동일한 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 이미지일 수 있다. 보다 상세하게, 제1 가상 영상(130)은 실제 영상을 촬영한 카메라가 부착된 차량과 동일한 차량 모델로서 시뮬레이션 모델에 구현된 차량에 장착된 카메라를 이용하여 획득된 데이터로부터 생성될 수 있다. 또한, 제1 가상 영상(130)을 생성하는데 이용되는 카메라는 실제 영상을 촬영한 카메라와 외부 매개 변수(예: 카메라의 방향 등) 및 내부 매개 변수(예: 초점 거리, 광학 중심 등)가 동일한 카메라로서 시뮬레이션 모델에 구현된 가상의 카메라일 수 있다.

일 실시예에 따르면, 제1 가상 영상(130)은 주행 환경의 객체를 포함할 수 있다. 예를 들어, 제1 가상 영상(130)은 주변에 주행 중인 차량(720) 및 주변에 놓인 트래픽 콘(710_1, 710_2, 710_3, 710_4)이 포함된 영상일 수 있다. 이러한 제1 가상 영상(130)의 객체들은 마스크 이미지에 의해 추출 및 가공될 수 있으며, 실제 영상과 융합되어 혼합 현실 영상이 생성될 수 있다.

도 8은 본 개시의 일 실시예에 따른 실제 영상(110)의 예시를 나타내는 도면이다. 일 실시예에 따르면, 실제 영상(110)은 주행 환경과 연관된 영상일 수 있다. 예를 들어, 실제 영상(110)은 주행 도로 및 주변에 위치한 객체(예: 주변 차량 등)들을 포함한 영상일 수 있다. 또한 실제 영상(110)은 차량에 장착된 카메라를 통해 획득될 수 있다.

일 실시예에 따르면, 실제 영상(110)은 혼합 현실 영상의 생성을 위해 가공될 수 있다. 보다 상세하게, 실제 영상(110)에서 제1 가상 영상의 객체에 해당하는 부분과 대응하는 일부 부분이 제거될 수 있다. 예를 들어, 제1 가상 영상의 차량이 위치한 부분과 대응하는 부분(820) 및 트래픽 콘이 위치한 부분과 대응하는 부분(810_1, 810_2, 810_3, 810_4)은 마스크 인버스 이미지를 통해 제거될 수 있다.

도 9는 본 개시의 일 실시예에 따른 혼합 현실 영상(190)의 예시를 나타내는 도면이다. 일 실시예에 따르면, 혼합 현실 영상(190)은 가공된 가상 영상과 가공된 실제 영상을 융합함으로써 생성될 수 있다. 혼합 현실 영상(190)은 실제 영상에 추출된 제1 가상 영상의 객체에 해당하는 부분을 투영함으로써 생성될 수 있다. 예를 들어, 주행 도로를 포함한 실제 영상에 제1 가상 영상의 주변 차량(920) 및 트래픽 콘(910_1, 910_2, 910_3, 910_4)을 합침으로써 가상 객체와 실제의 영상을 융합한 혼합 현실 영상(190)이 생성될 수 있다.

이와 같이, 실제 주행 환경에 가상의 객체를 가시화하여 제공함으로써, 자율 주행 차량에 탑승한 테스터에게 테스트 상황을 시각적으로 인식하게 하여 테스트를 원활히 수행하도록 할 수 있다. 또한, 자율 주행 차량의 테스트를 위해 물리적인 객체를 실제로 배치하는 것이 아닌 주행 환경에 가상의 객체가 투영된 영상을 자율 주행 차량의 테스트 과정에서 제공함으로써, 해당 테스트에 소요되는 시간 및 비용을 절약할 수 있다.

도 10은 본 개시의 일 실시예에 따른 주행 환경과 연관된 혼합 현실 영상 생성 방법(1000)을 나타내는 흐름도이다. 방법(1000)은 정보 처리 시스템의 적어도 하나의 프로세서(예: 프로세서(220))에 의해 수행될 수 있다. 도시된 바와 같이, 방법(1000)은 주행 환경과 연관된 실제 영상을 획득함으로써 개시될 수 있다(S1010). 일 실시예에서, 주행 환경과 연관된 실제 영상은 차량에 장착된 제1 카메라를 이용하여 획득될 수 있다.

그 후, 프로세서는 주행 환경의 객체를 포함하는 제1 가상 영상을 생성할 수 있다(S1020). 일 실시예에서, 제1 가상 영상은 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 이미지를 포함할 수 있다. 또한, 제1 가상 영상은 실제 영상을 획득하는데 이용한 카메라가 장착된 차량과 동일한 차량 모델로서 시뮬레이션 모델에 구현된 차량에 장착된 제2 카메라를 이용하여 획득된 데이터로부터 생성될 수 있다. 제2 카메라는 제1 카메라의 외부 매개 변수 및 내부 매개 변수가 동일한 카메라로서 시뮬레이션 모델에 구현된 가상의 카메라일 수 있다.

마지막으로, 프로세서는 실제 영상 및 제1 가상 영상에 기초하여 주행 환경의 객체를 포함하는 혼합 현실 영상을 생성할 수 있다(S1030). 일 실시예에서, 프로세서는 제1 가상 영상에서 객체에 해당하는 부분을 추출하고, 객체에 해당하는 부분 및 실제 영상에 기초하여 혼합 현실 영상을 생성할 수 있다. 또한, 프로세서는 객체에 해당하는 부분에 대응하는 실제 영상의 일부를 제거할 수 있다.

일 실시예에서, 프로세서는 주행 환경과 연관된 제2 가상 영상을 생성하고, 실제 영상, 제1 가상 영상 및 제2 가상 영상에 기초하여 혼합 현실 영상을 생성할 수 있다. 제2 가상 영상은 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 시멘틱 이미지를 포함할 수 있다. 또한, 제2 가상 영상은 실제 영상을 획득하는데 이용한 카메라가 장착된 차량과 동일한 차량 모델로서 시뮬레이션 모델에 구현된 차량에 장착된 제3 카메라를 이용하여 획득된 데이터로부터 생성되고, 제3 카메라는 제1 카메라의 외부 매개 변수 및 내부 매개 변수가 동일한 카메라로서 시뮬레이션 모델에 구현된 가상의 카메라일 수 있다.

일 실시예에서, 프로세서는 제2 가상 영상을 이용하여 제1 가상 영상에서 객체에 해당하는 부분을 추출할 수 있다. 프로세서는 제2 가상 영상을 필터링하여 객체에 대한 마스크 이미지를 생성하고, 마스크 이미지를 이용하여 제1 가상 영상에서 객체에 해당하는 부분을 추출할 수 있다.

일 실시예에서, 프로세서는 제2 가상 영상을 이용하여 제1 가상 영상의 객체에 해당하는 부분에 대응하는 실제 영상의 일부를 제거할 수 있다. 프로세서는 제2 가상 영상으로부터 마스크 인버스 이미지를 생성하고, 마스크 이미지를 이용하여 객체에 해당하는 부분에 대응되는 실제 영상의 일부를 제거할 수 있다. 마스크 인버스 이미지는 제2 가상 영상으로부터 객체에 대한 마스크 이미지를 생성하고 마스크 이미지를 반전시켜 마스크 인버스 이미지를 생성할 수 있다.

도 10에서 도시한 흐름도 및 상술한 설명은 일 예시일 뿐이며, 일부 실시예에서는 다르게 구현될 수 있다. 예를 들어, 일부 실시예에서는 각 단계의 순서가 바뀌거나, 일부 단계가 반복 수행되거나, 일부 단계가 생략되거나, 일부 단계가 추가될 수 있다.

100: 제1 카메라
110: 실제 영상
120: 가상 영상 생성부
122: 제2 카메라 124: 제3 카메라
130: 제1 가상 영상
140: 제2 가상 영상
150: 실제 영상 가공부
152: 가공된 실제 영상
160: 가상 영상 가공부
162: 가공된 가상 영상
170: 혼합 현실 영상 생성부
180: 융합
190: 혼합 현실 영상

Claims

적어도 하나의 프로세서에 의해 수행되는, 주행 환경과 연관된 혼합 현실(mixed reality) 영상 생성 방법에 있어서,
주행 환경과 연관된 실제 영상을 획득하는 단계;
상기 주행 환경의 객체(object)를 포함하는 제1 가상 영상을 생성하는 단계;
상기 실제 영상 및 상기 제1 가상 영상을 가공하기 위해, 상기 주행환경과 연관된 제2 가상 영상을 생성하는 단계; 및
상기 실제 영상, 상기 제1 가상 영상 및 상기 제2 가상 영상에 기초하여 상기 주행 환경의 객체를 포함하는 혼합 현실 영상을 생성하는 단계
를 포함하는, 혼합 현실 영상 생성 방법.
제1항에 있어서,
상기 제1 가상 영상은 상기 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 이미지를 포함하는, 혼합 현실 영상 생성 방법.
삭제
제1항에 있어서,
상기 제2 가상 영상은 상기 주행 환경을 구현한 시뮬레이션 모델로부터 생성된 시멘틱 이미지(semantic image)를 포함하는, 혼합 현실 영상 생성 방법.
제1항에 있어서,
상기 주행 환경과 연관된 실제 영상을 획득하는 단계는,
차량에 장착된 제1 카메라를 이용하여 상기 실제 영상을 획득하는 단계
를 포함하는, 혼합 현실 영상 생성 방법.
제5항에 있어서,
상기 제1 가상 영상은,
상기 차량과 동일한 차량 모델로서 시뮬레이션 모델에 구현된 차량에 장착된 제2 카메라를 이용하여 획득된 데이터로부터 생성되고,
상기 제2 카메라는,
상기 제1 카메라의 외부 매개 변수 및 내부 매개 변수가 동일한 카메라로서 시뮬레이션 모델에 구현된 가상의 카메라인, 혼합 현실 영상 생성 방법.
제5항에 있어서,
상기 제2 가상 영상은,
상기 차량과 동일한 차량 모델로서 시뮬레이션 모델에 구현된 차량에 장착된 제3 카메라를 이용하여 획득된 데이터로부터 생성되고,
상기 제3 카메라는,
상기 제1 카메라의 외부 매개 변수 및 내부 매개 변수가 동일한 카메라로서 시뮬레이션 모델에 구현된 가상의 카메라인, 혼합 현실 영상 생성 방법.
제1항에 있어서,
상기 실제 영상, 상기 제1 가상 영상 및 상기 제2 가상 영상에 기초하여 혼합 현실 영상을 생성하는 단계는,
상기 제1 가상 영상에서 객체에 해당하는 부분을 추출하는 단계; 및
상기 객체에 해당하는 부분 및 상기 실제 영상에 기초하여 혼합 현실 영상을 생성하는 단계
를 포함하는, 혼합 현실 영상 생성 방법.
제8항에 있어서,
상기 객체에 해당하는 부분을 추출하는 단계는,
상기 제2 가상 영상을 이용하여 객체에 해당하는 부분을 추출하는 단계
를 포함하는, 혼합 현실 영상 생성 방법.
제9항에 있어서,
상기 제2 가상 영상을 이용하여 객체에 해당하는 부분을 추출하는 단계는,
상기 제2 가상 영상을 필터링하여 상기 객체에 대한 마스크 이미지(mask image)를 생성하는 단계; 및
상기 마스크 이미지를 이용하여 상기 제1 가상 영상에서 객체에 해당하는 부분을 추출하는 단계
를 포함하는, 혼합 현실 영상 생성 방법.
제8항에 있어서,
상기 객체에 해당하는 부분 및 상기 실제 영상에 기초하여 혼합 현실 영상을 생성하는 단계는,
상기 객체에 해당하는 부분과 대응하는 상기 실제 영상의 일부를 제거하는 단계
를 포함하는, 혼합 현실 영상 생성 방법.
제11항에 있어서,
상기 객체에 해당하는 부분과 대응하는 상기 실제 영상의 일부를 제거하는 단계는,
상기 제2 가상 영상을 이용하여 상기 객체에 해당하는 부분과 대응하는 상기 실제 영상의 일부를 제거하는 단계를 포함하는, 혼합 현실 영상 생성 방법.
제12항에 있어서,
상기 제2 가상 영상을 이용하여 상기 객체에 해당하는 부분과 대응하는 상기 실제 영상의 일부를 제거하는 단계는,
상기 제2 가상 영상으로부터 마스크 인버스 이미지(mask inverse image)를 생성하는 단계; 및
상기 마스크 인버스 이미지를 이용하여 상기 객체에 해당하는 부분과 대응하는 상기 실제 영상의 일부를 제거하는 단계
를 포함하는, 혼합 현실 영상 생성 방법.
제13항에 있어서,
상기 마스크 인버스 이미지를 생성하는 단계는,
상기 제2 가상 영상으로부터 상기 객체에 대한 마스크 이미지를 생성하는 단계; 및
상기 마스크 이미지를 반전시켜 상기 마스크 인버스 이미지를 생성하는 단계
를 포함하는, 혼합 현실 영상 생성 방법.
제1항, 제2항 및 제4항 내지 제14항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
정보 처리 시스템으로서,
통신 모듈;
메모리; 및
상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독 가능한 적어도 하나의 프로그램을 실행하도록 구성된 적어도 하나의 프로세서
를 포함하고,
상기 적어도 하나의 프로그램은,
주행 환경과 연관된 실제 영상을 획득하고,
상기 주행 환경의 객체를 포함하는 제1 가상 영상을 생성하고,
상기 실제 영상 및 상기 제1 가상 영상을 가공하기 위해, 상기 주행 환경과 연관된 제2 가상 영상을 생성하고,
상기 실제 영상, 상기 제1 가상 영상 및 상기 제2 가상 영상에 기초하여 상기 주행 환경의 객체를 포함하는 혼합 현실 영상을 생성하기 위한 명령어들을 포함하는, 정보 처리 시스템.