KR102181589B1 - 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템 - Google Patents

자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템 Download PDF

Info

Publication number
KR102181589B1
KR102181589B1 KR1020200013815A KR20200013815A KR102181589B1 KR 102181589 B1 KR102181589 B1 KR 102181589B1 KR 1020200013815 A KR1020200013815 A KR 1020200013815A KR 20200013815 A KR20200013815 A KR 20200013815A KR 102181589 B1 KR102181589 B1 KR 102181589B1
Authority
KR
South Korea
Prior art keywords
augmented reality
vehicle
layer
reality content
external environment
Prior art date
Application number
KR1020200013815A
Other languages
English (en)
Inventor
김현승
양혜림
Original Assignee
에이치에이치홀딩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이치에이치홀딩스 주식회사 filed Critical 에이치에이치홀딩스 주식회사
Priority to KR1020200013815A priority Critical patent/KR102181589B1/ko
Application granted granted Critical
Publication of KR102181589B1 publication Critical patent/KR102181589B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/28—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B60K2360/176—
    • B60K2360/177—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/16—Type of information
    • B60K2370/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/16—Type of information
    • B60K2370/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera

Abstract

자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템이 개시된다. 자동차 전방의 도로 교통 상황을 획득할 수 있는 자동차 전방 카메라를 포함하는 자동차에 포함된 임베디드 컴퓨터에 의해 수행되는 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법은, 자동차 전방 카메라를 통해 실제 이미지를 획득하는 단계; 실제 이미지에서 적어도 하나의 일부 영역을 인식하는 단계; 일부 영역에 대응하는 증강현실 콘텐츠를 실제 이미지에 반영한 증강현실 레이어를 생성하는 단계; 자동차의 외부 환경 정보를 획득하는 단계; 외부 환경 정보가 미리 정의된 조건에 포함되는지 판별하는 단계; 외부 환경 정보가 미리 정의된 조건에 포함되지 않는 경우, 증강현실 레이어를 출력하는 단계; 외부 환경 정보가 미리 정의된 조건에 포함되는 경우, 외부 환경 정보와 증강현실 레이어 상에서 증강현실 콘텐츠의 면적 및 위치를 기초로, 증강현실 콘텐츠의 반투명 레이어를 생성하는 단계; 및 증강현실 레이어에 반투명 레이어를 덧입혀 출력하는 단계를 포함할 수 있다.

Description

자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템{method and system of providing augmented reality using automobile front view camera}
아래 실시예들은 자동차 전방의 도로 교통 상황을 획득할 수 있는 자동차 전방 카메라를 이용하여 운전자에게 증강현실 콘텐츠를 제공하는 기술에 관한 것이다.
실시예들과 관련된 배경기술로, 대한민국 등록특허공보 KR 10-1413231 B1은 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량을 개시한다. 구체적으로, 선행문헌은 카메라부가 차량에 설치되어 영상을 촬영하는 적어도 하나 이상의 카메라를 포함하고; 어라운드뷰 생성부가 카메라부에서 촬영된 영상을 이용하여 어라운드뷰를 생성하고; 지면영상 정합부가 생성된 어라운드뷰 또는 지도영상을 이용하여 지면영상을 정합하고; 증강현실 처리부가 생성된 어라운드뷰에 포함된 객체를 가상의 그래픽으로 구현하고, 정합된 지면영상과 생성된 가상의 그래픽을 정합하여 증강 어라운드뷰를 생성하는 시스템을 개시한다.
이를 통해, 선행문헌의 시스템은 임의의 시간 구간별로 생성된 어라운드뷰의 지면영상을 비교하여 유사도가 있는 픽셀의 이미지를 정합할 수 있어, 지면영상을 왜곡 없이 제공할 수 있다. 또한, 어라운드뷰 생성 시 발생하는 장애물과 물체의 왜곡을 제거하고, 이 영역에 증강현실 기반 객체를 대신 구현해 줌으로써 이질감이 적은 어라운드뷰 영상을 운전자에게 제공할 수 있다.
또한, 대한민국 등록특허공보 KR 10-1713740 B1은 차량의 증강현실 HUD 표시 방법 및 그 표시 장치를 개시한다. 구체적으로, 선행문헌은 차량의 운전자가 보는 차량 외부의 물체의 위치를 검출하는 단계와, 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 차량 운전자의 눈 위치를 검출하는 단계와, 상기 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 검출된 눈 위치의 증강현실 HUD 표시 좌표를 추출하는 단계와, 운전자의 눈과 외부 물체 사이의 거리 정보에 따라 가변되는 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정하는 단계와, 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 외부 물체 정보에 관한 증강현실 HUD 그래픽을 윈드쉴드(windshield)에 표시하는 단계를 포함하는 차량의 증강현실 HUD 표시 방법을 개시한다.
그러나 선행문헌들은 교통이 정체된 상황에서, 자동차에 탑승한 상태에서 육안으로 볼 수 없는, 자동차 전방 도로에서 진행되고 있는 공사 모습 등의 도로 정체 상황을 확인하고, 도로가 정체된 상황들과 관련한 일부 영역들을 설명하는 증강현실 콘텐츠들이 포함된 증강현실 레이어를 생성하는 방법 내지 시스템을 개시하지 않는다. 또한, 선행문헌들은 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등의 이유로 자동차 전방 카메라의 가시거리가 짧아, 자동차 전방 카메라를 통해 획득되는 이미지가 어둡거나 불명확하더라도, 증강현실 레이어에 덧입힌 반투명 레이어를 통해, 선명하게 표시된 증강현실 콘텐츠들―도로 교통 상황을 설명하기 위한 보조 이미지들―이 포함된 이미지를 디스플레이하는 방법 내지 시스템을 개시하지 않는다. 나아가, 선행문헌들은 버퍼링 없이 반투명 레이어 상의 증강현실 콘텐츠를 제공할 수 있도록, 자동차의 움직임 및 증강현실 콘텐츠의 미리 프로그램된 움직임 경로에 기초하여, 예측 반투명 레이어를 생성하는 방법 내지 시스템을 개시하지 않는다.
이에 따라, 교통이 정체된 상황에서, 자동차에 탑승한 상태에서 육안으로 볼 수 없는, 자동차 전방 도로에서 진행되고 있는 공사 모습 등의 도로 정체 상황을 확인하고, 도로가 정체된 상황들과 관련한 일부 영역들을 설명하는 증강현실 콘텐츠들이 포함된 증강현실 레이어를 생성하는 기술의 구현이 요청된다. 또한, 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등의 이유로 자동차 전방 카메라의 가시거리가 짧아, 자동차 전방 카메라를 통해 획득되는 이미지가 어둡거나 불명확하더라도, 증강현실 레이어에 덧입힌 반투명 레이어를 통해, 선명하게 표시된 증강현실 콘텐츠들―도로 교통 상황을 설명하기 위한 보조 이미지들―이 포함된 이미지를 디스플레이하는 기술의 구현이 요청된다. 나아가, 버퍼링 없이 반투명 레이어 상의 증강현실 콘텐츠를 제공할 수 있도록, 자동차의 움직임 및 증강현실 콘텐츠의 미리 프로그램된 움직임 경로에 기초하여, 예측 반투명 레이어를 생성하는 기술의 구현이 요청된다.
대한민국 등록특허공보 KR 10-1413231 B1 대한민국 등록특허공보 KR 10-1713740 B1 대한민국 등록특허공보 KR 10-1544524 B1 대한민국 등록특허공보 KR 10-1855940 B1
실시예들은 교통이 정체된 상황에서, 자동차에 탑승한 상태에서 육안으로 볼 수 없는, 자동차 전방 도로에서 진행되고 있는 공사 모습 등의 도로 정체 상황을 확인하고, 도로가 정체된 상황들과 관련한 일부 영역들을 설명하는 증강현실 콘텐츠들이 포함된 증강현실 레이어를 생성하는 방법 및 시스템을 제공하고자 한다.
실시예들은 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등의 이유로 자동차 전방 카메라의 가시거리가 짧아, 자동차 전방 카메라를 통해 획득되는 이미지가 어둡거나 불명확하더라도, 증강현실 레이어에 덧입힌 반투명 레이어를 통해, 선명하게 표시된 증강현실 콘텐츠들―도로 교통 상황을 설명하기 위한 보조 이미지들―이 포함된 이미지를 디스플레이하는 방법 및 시스템을 제공하고자 한다.
실시예들은 버퍼링 없이 반투명 레이어 상의 증강현실 콘텐츠를 제공할 수 있도록, 자동차의 움직임 및 증강현실 콘텐츠의 미리 프로그램된 움직임 경로에 기초하여, 예측 반투명 레이어를 생성하는 방법 및 시스템을 제공하고자 한다.
나아가, 실시예들은 배경 기술에서 언급한 과제들 및 본 명세서에서 드러나는 해당 기술 분야의 과제들을 해결하기 위한 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템을 제공하고자 한다.
일실시예에 따른 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법은 자동차 전방의 도로 교통 상황을 획득할 수 있는 자동차 전방 카메라를 포함하는 자동차에 포함된 임베디드 컴퓨터에 의해 수행되며, 상기 자동차 전방 카메라를 통해 실제 이미지를 획득하는 단계; 상기 실제 이미지에서 적어도 하나의 일부 영역을 인식하는 단계; 상기 일부 영역에 대응하는 증강현실 콘텐츠를 상기 실제 이미지에 반영한 증강현실 레이어를 생성하는 단계; 상기 자동차의 외부 환경 정보를 획득하는 단계; 상기 외부 환경 정보가 미리 정의된 조건에 포함되는지 판별하는 단계; 상기 외부 환경 정보가 미리 정의된 조건에 포함되지 않는 경우, 상기 증강현실 레이어를 출력하는 단계; 상기 외부 환경 정보가 미리 정의된 조건에 포함되는 경우, 상기 외부 환경 정보와 상기 증강현실 레이어 상에서 상기 증강현실 콘텐츠의 면적 및 위치를 기초로, 상기 증강현실 콘텐츠의 반투명 레이어를 생성하는 단계; 및 상기 증강현실 레이어에 상기 반투명 레이어를 덧입혀 출력하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 반투명 레이어의 반투명도(%)는, 상기 외부 환경 정보를 입력받은 인공지능의 추론을 기초로 설정될 수 있다.
일실시예에 따르면, 제 1 시점은 제 2 시점보다 선행하며, 상기 제 1 시점에 수행되는 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법은, 제 1 경로―상기 제 1 시점에서 상기 자동차의 움직임에 따른 상기 자동차 전방 카메라의 응시점 변화 경로―를 획득하는 단계; 상기 제 1 경로를 기초로, 상기 제 2 시점에 생성될 증강현실 레이어 상에서 상기 증강현실 콘텐츠의 면적 및 위치를 예측하는 단계; 및 상기 외부 환경 정보와 상기 제 1 경로를 기초로 예측된 상기 증강현실 콘텐츠의 면적 및 위치를 기초로, 상기 증강현실 콘텐츠의 제 1 예측 반투명 레이어를 생성하는 단계를 포함할 수 있다.
일실시예에 따른 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법은 제 2 경로―상기 증강현실 콘텐츠의 미리 프로그램된 움직임 경로―를 실행하는 단계; 상기 제 1 경로에 따른 상기 증강현실 콘텐츠의 상대적 움직임 및 상기 제 2 경로를 기초로, 제 3 경로를 연산하는 단계; 상기 제 3 경로를 기초로, 상기 제 2 시점에 생성될 증강현실 레이어 상에서 상기 증강현실 콘텐츠의 면적 및 위치를 예측하는 단계; 및 상기 외부 환경 정보와 상기 제 3 경로를 기초로 예측된 상기 증강현실 콘텐츠의 면적 및 위치를 기초로, 상기 증강현실 콘텐츠의 제 2 예측 반투명 레이어를 생성하는 단계를 더 포함할 수 있다.
일실시예에 따른 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법은 매체에 저장된 컴퓨터 프로그램에 의해 실행될 수 있다.
일실시예에 따른 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 시스템은 자동차 전방의 도로 교통 상황을 획득할 수 있는 자동차 전방 카메라; 및 상기 자동차에 포함되는 임베디드 컴퓨터를 포함하고, 상기 자동차 전방 카메라는 상기 자동차의 천장보다 높은 위치에서 상기 자동차 전방의 이미지를 획득할 수 있는 위치를 가지고, 상기 임베디드 컴퓨터는 상기 자동차 전방 카메라를 통해 실제 이미지를 획득하고, 상기 실제 이미지에서 적어도 하나의 일부 영역을 인식하고, 상기 일부 영역에 대응하는 증강현실 콘텐츠를 상기 실제 이미지에 반영한 증강현실 레이어를 생성하고, 상기 자동차의 외부 환경 정보를 획득하고, 상기 외부 환경 정보가 미리 정의된 조건에 포함되는지 판별하고, 상기 외부 환경 정보가 미리 정의된 조건에 포함되지 않는 경우, 상기 증강현실 레이어를 출력하고, 상기 외부 환경 정보가 미리 정의된 조건에 포함되는 경우, 상기 외부 환경 정보와 상기 증강현실 레이어 상에서 상기 증강현실 콘텐츠의 면적 및 위치를 기초로, 상기 증강현실 콘텐츠의 반투명 레이어를 생성하고, 상기 증강현실 레이어에 상기 반투명 레이어를 덧입혀 출력하는 프로세서를 포함할 수 있다.
실시예들은 교통이 정체된 상황에서, 자동차에 탑승한 상태에서 육안으로 볼 수 없는, 자동차 전방 도로에서 진행되고 있는 공사 모습 등의 도로 정체 상황을 확인하고, 도로가 정체된 상황들과 관련한 일부 영역들을 설명하는 증강현실 콘텐츠들이 포함된 증강현실 레이어를 생성하는 방법 및 시스템을 제공할 수 있다.
실시예들은 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등의 이유로 자동차 전방 카메라의 가시거리가 짧아, 자동차 전방 카메라를 통해 획득되는 이미지가 어둡거나 불명확하더라도, 증강현실 레이어에 덧입힌 반투명 레이어를 통해, 선명하게 표시된 증강현실 콘텐츠들―도로 교통 상황을 설명하기 위한 보조 이미지들―이 포함된 이미지를 디스플레이하는 방법 및 시스템을 제공할 수 있다.
실시예들은 버퍼링 없이 반투명 레이어 상의 증강현실 콘텐츠를 제공할 수 있도록, 자동차의 움직임 및 증강현실 콘텐츠의 미리 프로그램된 움직임 경로에 기초하여, 예측 반투명 레이어를 생성하는 방법 및 시스템을 제공할 수 있다.
한편, 실시예들에 따른 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일실시예에 따른 시스템의 구성의 예시도이다.
도 2는 일실시예에 따른 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 동작을 설명하기 위한 순서도이다.
도 3은 일실시예에 따른 반투명 레이어를 덧입히는 동작을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 제 1 예측 반투명 레이어를 생성하는 동작을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 제 2 예측 반투명 레이어를 생성하는 동작을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 인공 신경망의 학습을 설명하기 위한 도면이다.
도 7은 일실시예 따른 장치의 구성의 예시도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용 시 또는 동작 시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓일 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일실시예에 따른 시스템의 구성의 예시도이다.
증강현실 콘텐츠 제공 시스템(110)은 운전자 및 동승자가 탑승한 자동차 전방의 도로 교통 상황을 파악할 수 있도록 기능할 수 있다. 증강현실 콘텐츠 제공 시스템(110)은 자동차 전방 카메라(120); 임베디드 컴퓨터(130); 및 디스플레이(140)를 포함할 수 있다. 증강현실 콘텐츠 제공 시스템(110)의 개별 구성들은 자동차(100)에 내외부에 설치되거나, 자동차(100)와 유무선 통신을 통해 연결되는 구성일 수 있다. 증강현실 콘텐츠 제공 시스템(110)의 개별 구성들은 유무선 통신을 통해 서로 데이터를 주거나 받을 수 있다. 또한, 증강현실 콘텐츠 제공 시스템(110)의 개별 구성들은 유무선 통신을 통해 자동차(100)의 구성품들, 예를 들어, 자동차(100)의 외부 환경 감지 센서들과 데이터를 주거나 받을 수 있다.
증강현실 콘텐츠 제공 시스템(110)은, 운전자 및 동승자가 자동차(100)에 탑승한 상태에서 육안으로 볼 수 있는 자동차 전방의 도로 모습과 비교하여, 보다 넓은 시야로 자동차 전방의 도로 모습을 제공할 수 있다. 이를 통해, 증강현실 콘텐츠 제공 시스템(110)은 자동차 전방의 도로에서 특이사항이 발생한 영역에 대응하는 증강현실 콘텐츠를 제공하여, 운전자 및 동승자의 도로 교통 상황 이해를 증진시킬 수 있다.
자동차 전방 카메라(120)는 카메라부(121) 및 지지부(122)를 포함할 수 있다.
카메라부(121)는 자동차 전방의 이미지를 획득할 수 있는 디지털 카메라 또는 촬영 장치일 수 있다. 카메라부(121)를 통해 촬영된 이미지는 임베디드 컴퓨터(130)로 전송될 수 있다.
지지부(122)는 카메라부(121)가 자동차 전방의 도로 교통 상황을 촬영할 때, 자동차(100)의 천장보다 높은 위치에서 자동차 전방의 이미지를 획득할 수 있도록, 카메라부(121)의 위치를 높이는 구성일 수 있다. 구체적으로, 지지부(122)는 자동차(100)의 천장부에 설치될 수 있으며, 평소에 자동차(100)의 높이축(軸)에 대해 접혀있다가, 카메라부(121)가 자동차 전방의 도로 교통 상황을 촬영할 때 자동차(100)의 천장보다 높은 위치에서 자동차 전방의 이미지를 획득할 수 있도록, 자동차(100)의 높이축(軸)에 대해 신장될 수 있는 연장봉 또는 익스텐션 컬럼(extension column)의 구성을 가질 수 있다.
자동차 전방 카메라(120)를 통해 획득되는 자동차 전방의 도로 이미지는, 가령, 도 1의 제 1-1 이미지(125)와 같을 수 있다. 제 1-1 이미지(125)는 교통이 정체된 상황에서, 자동차(100) 전방 도로에서 우 및 교통을 안내하는 교통 경찰 모습(127)을 포함하고 있다. 이처럼, 자동차 전방 카메라(120)를 통해 획득되는 자동차 전방의 도로 이미지는, 운전자 및 동승자가 자동차(100)에 탑승한 상태에서 육안으로 볼 수 있는 자동차 전방의 도로 모습과 비교하여, 보다 넓은 시야의 이미지일 수 있다. 이를 통해, 운전자 및 동승자는, 교통이 정체된 상황에서, 자동차(100)에 탑승한 상태에서 육안으로 볼 수 없는, 자동차 전방 도로에서 진행되고 있는 공사 모습 등을 확인할 수 있다. 이를 통해, 자동차(100)의 운전자 및 동승자는, 교통 정체의 원인이 직진 차선에서 진행되고 있는 공사 때문임을 파악하고, 자동차(100)를 직진하기 보다는 좌회전하여, 공사 현장을 피해서 운전해야겠다는 판단을 미리 내릴 수 있다. 이를 통해, 운전자 및 동승자의 운전 편의성이 향상될 수 있다.
임베디드 컴퓨터(130)는 프로세서 및 메모리를 포함할 수 있다. 구체적으로, 임베디드 컴퓨터(130)는 통상의 컴퓨터가 가지는 연산 기능; 저장/참조 기능; 입출력 기능; 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 임베디드 컴퓨터(130)는 추론 기능을 수행하는 적어도 하나 이상의 인공 신경망을 구비할 수 있다. 임베디드 컴퓨터(130)은 유무선 통신을 통해 실시간/비실시간으로 업데이트 가능하도록 구성될 수 있다. 임베디드 컴퓨터(130)는 증강현실 콘텐츠 제공 시스템(110)을 개발·생산·유지·보수하는 자 내지 단체가 개발 내지 배포한 어플리케이션이 설치될 수 있다.
임베디드 컴퓨터(130)는 자동차 전방 카메라(120)로부터 전달받은 실제 이미지를 기반으로, 증강현실 콘텐츠를 참조하고, 실제 이미지에 증강현실 콘텐츠를 반영한 증강현실 레이어(layer)를 생성할 수 있다. 또한, 임베디드 컴퓨터(130)는 자동차(100)의 외부 환경 조건에 따라, 증강현실 레이어에 덧입히는 반투명 레이어를 생성할 수 있다. 임베디드 컴퓨터(130)는 디스플레이(140)로 증강현실 레이어 및 반투명 레이어를 전송할 수 있다. 이때, 증강현실 콘텐츠는 자동차 전방의 도로 교통 상황을 설명하기 위한 보조 이미지일 수 있으며, 자동차 전방의 도로 이미지에 포함된 도로 교통 상황을 완전히 가리지 않도록, 반투명한 이미지일 수 있다. 따라서 실제 이미지에 증강현실 콘텐츠를 반영한 증강현실 레이어에서, 증강현실 콘텐츠들은 반투명으로 보일 수 있다. 임베디드 컴퓨터(130)가 실제 이미지에 기초하여 증강현실 콘텐츠를 참조하는 동작 및 증강현실 콘텐츠를 포함하는 증강현실 레이어를 생성하는 동작은 도 2 내지 5를 참조하여 후술된다.
디스플레이(140)는 임베디드 컴퓨터(130)로부터 획득한 증강현실 레이어를 출력할 수 있다. 디스플레이(140)는 자동차(100)에 포함된 네비게이션 패널일 수도 있고; 임베디드 컴퓨터(130)와 유무선으로 통신하는 운전자 또는 동승자의 스마트폰의 화면일 수도 있다. 운전자 및 동승자는 디스플레이(140)로부터 출력된 증강현실 레이어를 볼 수 있다.
디스플레이(140)를 통해 출력되는 증강현실 레이어는, 가령, 도 1의 제 1-2 이미지(145)와 같을 수 있다. 제 1-2 이미지(145)는 교통이 정체된 상황에서, 자동차(100) 전방 도로에서 공사를 하는 공사 차량 모습(126); 공사 차량 모습에 대응하는 증강현실(146); 교통을 안내하는 교통 경찰 모습(127); 및 교통 경찰 모습에 대응하는 증강현실(147)을 포함하고 있다. 이때, 실제 이미지에 증강현실 콘텐츠를 반영한 증강현실 레이어에서, 증강현실 콘텐츠들(146, 147)은 반투명으로 보일 수 있다. 이를 통해, 증강현실 콘텐츠들(146, 147)은 도로 교통 상황(126, 127)을 가리지 않으면서, 도로 교통 상황(126, 127)을 설명하는 보조 이미지로 작용할 수 있다. 요컨대, 운전자 및 동승자는 실제 이미지의 도로 교통 상황(126, 127) 및 실제 이미지의 도로 교통 상황을 설명하는 반투명 증강현실 콘텐츠(146, 147)를 함께 볼 수 있다. 이를 통해, 증강현실 콘텐츠들(146, 147)이 도로 교통 상황(126, 127)을 완벽하게 가리지 않음으로써, 자동차(100)의 운전자 및 동승자의 운전 안정성이 확보된 상태에서, 운전자 및 동승자는, 교통 정체의 원인이 직진 차선에서 진행되고 있는 공사 때문임을 더욱 정확하게 파악하고, 자동차(100)를 직진하기 보다는 좌회전하여, 공사 현장을 피해서 운전해야겠다는 판단을 보다 미리 내릴 수 있다. 이를 통해, 운전자 및 동승자의 운전 안정성이 확보된 상태에서, 운전자 및 동승자의 운전 편의성이 보다 향상될 수 있다.
이하에서, 증강현실 콘텐츠 제공 시스템(110)의 동작을 중심으로 실시예가 기술되며, 실시예들은 통신의 주체나 양상에 의해 제한되지 않고 다양한 응용예가 채용될 수 있다. 이하, 도 2를 참조하여, 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 동작과 관련된 실시예가 설명된다. 도 3을 참조하여, 반투명 레이어를 덧입히는 동작과 관련된 실시예가 설명된다. 도 4를 참조하여, 제 1 예측 반투명 레이어를 생성하는 동작과 관련된 실시예가 설명된다. 도 5를 참조하여, 제 2 예측 반투명 레이어를 생성하는 동작과 관련된 실시예가 설명된다. 도 6을 참조하여, 인공 신경망의 학습 동작과 관련된 실시예가 설명된다.
도 2는 일실시예에 따른 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 동작을 설명하기 위한 순서도이다.
우선, 임베디드 컴퓨터(130)는 자동차 전방 카메라(120)를 통해 실제 이미지를 획득할 수 있다(210).
구체적으로, 임베디드 컴퓨터(130)는 자동차 전방 카메라(120)로부터 자동차 전방 카메라(120)의 카메라부(121)에서 촬영한 자동차(100) 전방의 교통 상황을 포함하는 실제 이미지를 획득할 수 있다. 카메라부(121)는 지지부(122)를 통해 자동차(100)의 천장보다 높은 위치에서 자동차 전방의 이미지를 획득할 수 있다. 이를 통해, 임베디드 컴퓨터(130)가 획득한 실제 이미지는, 운전자 및 동승자가 자동차(100)에 탑승한 상태에서 육안으로 볼 수 있는 자동차 전방의 도로 모습과 비교하여, 보다 넓은 시야의 이미지일 수 있다. 이를 통해, 운전자 및 동승자는, 교통이 정체된 상황에서, 자동차(100)에 탑승한 상태에서 육안으로 볼 수 없는, 자동차 전방 도로에서 진행되고 있는 공사 모습 등을 확인할 수 있다. 가령, 임베디드 컴퓨터(130)는 자동차 전방 카메라(120)로부터 도 1의 제 1-1 이미지(125)를 획득할 수 있다.
다음으로, 임베디드 컴퓨터(130)는 실제 이미지에서 적어도 하나의 일부 영역을 인식할 수 있다(220).
일부 영역들은 도로가 정체된 상황들과 관련한 이미지 단서일 수 있다. 일부 영역들은 적어도 하나 이상의 증강현실 콘텐츠와 대응 관계를 가질 수 있다. 임베디드 컴퓨터(130)는 사물 인식 알고리즘을 통해 도로 위에서 공사 중인 모습, 교통을 정리하는 모습, 차량 간 교통 사고 모습, 구급차의 모습, 산사태 등으로 도로가 파괴되거나 막힌 모습 등의 일부 영역들을 인식할 수 있다. 또한, 임베디드 컴퓨터(130)는 실제 이미지에서 일부 영역이 차지하는 면적 및 위치 등을 연산할 수 있다.
이어서, 임베디드 컴퓨터(130)는 일부 영역에 대응하는 증강현실 콘텐츠를 실제 이미지에 반영한 증강현실 레이어를 생성할 수 있다(230).
이를 위해, 임베디드 컴퓨터(130)는 일부 영역에 대응하는 증강현실 콘텐츠를 미리 데이터베이스화해 둘 수 있다. 데이터베이스화된 증강현실 콘텐츠는 대응관계를 가지는 일부 영역을 설명하는 콘텐츠일 수 있다. 가령, 일부 영역이 공사를 하는 공사 차량 모습(126)인 경우, 대응관계를 가지는 데이터베이스화된 증강현실 콘텐츠는 “공사 중”임을 표시·설명하는 증강현실(146)일 수 있다. 일부 영역이 교통을 안내하는 교통 경찰 모습(127)인 경우, 대응관계를 가지는 데이터베이스화된 증강현실 콘텐츠는 “교통안내”를 표시·설명하는 증강현실(147)일 수 있다. 증강현실 콘텐츠들은 자동차 전방의 도로 교통 상황을 설명하기 위한 보조 이미지로, 자동차 전방의 도로 이미지에 포함된 도로 교통 상황을 완전히 가리지 않도록, 반투명한 이미지일 수 있다.
임베디드 컴퓨터(130)는 실제 이미지에 포함된 일부 영역들이 차지하는 면적 및 위치 등을 기초로, 증강현실 콘텐츠가 디스플레이 될 사이즈 및 위치를 연산할 수 있다. 가령, 자동차(100)가 공사를 하는 공사 차량으로부터 멀리 떨어진 경우, 실제 이미지 상에서 일부 영역인 공사를 하는 공사 차량의 모습(126)이 차지하는 면적은 작을 것이므로, 임베디드 컴퓨터(130)는 일부 영역에 대응하는 증강현실 콘텐츠가 디스플레이 될 사이즈가 작도록 연산할 수 있다. 또는, 실제 이미지에서 일부 영역이 좌측 또는 우측 끝에 위치하는 경우, 임베디드 컴퓨터(130)는 일부 영역에 대응하는 증강현실 콘텐츠가 디스플레이 될 위치가 좌측 또는 우측 끝이도록 연산할 수 있다.
임베디드 컴퓨터(130)는 일부 영역에 대응하는 증강현실 콘텐츠가 디스플레이 될 면적 및 위치를 연산한 후, 연산한 면적 및 위치에 증강현실 콘텐츠가 포함되는 증강현실 레이어를 생성할 수 있다. 가령, 임베디드 컴퓨터(130)는 도 1의 제 1-2 이미지(145)와 같이, 도로에서 공사를 하는 공사 차량 모습(126) 위에 공사 차량 모습에 대응하는 증강현실(146)을 포함하고, 교통을 안내하는 교통 경찰 모습(127) 위에 교통 경찰 모습에 대응하는 증강현실(147)을 포함하는 증강현실 레이어를 생성할 수 있다. 이처럼, 임베디드 컴퓨터(130)는 실제 이미지에 포함된 일부 영역들 위에, 일부 영역들과 미리 정의된 대응관계를 가지는 증강현실 콘텐츠를 덧입히는 방식으로, 일부 영역들에 대응하는 증강현실 콘텐츠들을 실제 이미지에 반영한 증강현실 레이어를 생성할 수 있다. 한편, 증강현실 콘텐츠들은 투명하므로, 실제 이미지의 일부 영역들에 증강현실 콘텐츠들을 덧입히더라도, 일부 영역들이 완전하게 가려지는 것은 아니다.
이어지는 순서로, 임베디드 컴퓨터(130)는 자동차의 외부 환경 정보를 획득할 수 있다(240).
이를 위해, 임베디드 컴퓨터(130)는 자동차(100)의 외부 환경을 감지하는 센서들과 유무선으로 통신 가능하도록 연결될 수 있다. 외부 환경은 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등일 수 있다. 자동차(100)의 외부 환경을 감지하는 센서들은, 눈·비 감지 센서, 안개 감지 센서, 미세먼지 센서, 어둠 감지 센서 등일 수 있다. 자동차(100)의 외부 환경을 감지하는 센서들은 실시간으로 또는 특정 외부 환경 조건이 만족될 경우, 임베디드 컴퓨터(130)로 외부 환경 정보를 전송할 수 있다.
다음으로, 임베디드 컴퓨터(130)는 외부 환경 정보가 미리 정의된 조건에 포함되는지 판별할 수 있다(250).
이를 위해, 임베디드 컴퓨터(130)는 외부 환경에 따른 자동차 전방 카메라(120)의 가시거리를 미리 데이터베이스화해 둘 수 있다. 임베디드 컴퓨터(130)는 자동차 전방 카메라(120)의 가시거리가 자동차(100)의 외부 환경에 의해 미리 정의된 가시거리 이하로 내려갈 경우, 자동차(100)의 외부 환경 정보가 미리 정의된 조건에 포함된다고 판별할 수 있다. 미리 정의된 가시거리는, 가령, 30m일 수 있다. 예를 들어, 자동차(100)의 눈·비 감지 센서를 통해 측정된 시간당 비의 양이, 자동차 전방 카메라(120)의 가시거리를 30m 이하로 떨어뜨리는 경우, 임베디드 컴퓨터(130)는 자동차(100)의 외부 환경 정보가 미리 정의된 조건에 포함된다고 판별할 수 있다.
이어서, 임베디드 컴퓨터(130)는 외부 환경 정보가 미리 정의된 조건에 포함되는 경우, 외부 환경 정보와 증강현실 레이어 상에서 증강현실 콘텐츠의 면적 및 위치를 기초로, 증강현실 콘텐츠의 반투명 레이어를 생성할 수 있다(260).
반투명 레이어는, 증강현실 레이어 상의 증강현실 콘텐츠들과 동일한 크기, 위치, 및 색상을 가지지만, 상이한 반투명도를 가지는 증강현실 콘텐츠들을 포함할 수 있다. 반투명도가 클수록, 증강현실 콘텐츠는 투명하게 보이고, 반투명도가 작을수록, 증강현실 콘텐츠는 선명하게 보일 수 있다. 외부 환경에 의해 자동차 전방 카메라(120)의 가시거리가 줄면 줄수록, 반투명 레이어 상의 증강현실 콘텐츠들의 반투명도는 작아질 수 있다. 임베디드 컴퓨터(130)가 반투명 레이어를 생성하는 구체적인 동작은 도 3을 참조하여 후술된다.
이어지는 순서로, 임베디드 컴퓨터(130)는 증강현실 레이어에 반투명 레이어를 덧입혀 출력할 수 있다(270).
증강현실 레이어 위에 반투명 레이어를 덧입힘으로써, 출력되는 이미지 상의 증강현실 콘텐츠는 증강현실 레이어 상의 증강현실 콘텐츠와 반투명 레이어 상의 증강현실 콘텐츠를 겹친 반투명도를 가지게 된다. 즉, 출력되는 이미지 상의 증강현실 콘텐츠는 증강현실 레이어 상의 증강현실 콘텐츠의 반투명도 및 반투명 레이어 상의 증강현실 콘텐츠의 반투명도보다 작은 반투명도를 가지게 된다. 이를 통해, 자동차 전방 카메라(120)의 가시거리가 짧아, 자동차 전방 카메라(120)를 통해 획득되는 이미지가 어둡거나 불명확하더라도, 출력되는 증강현실 콘텐츠는 선명하게 보일 수 있다.
임베디드 컴퓨터(130)가 출력한 이미지는 디스플레이(140)로 전달될 수 있다. 디스플레이(140)는 운전자 및 동승자가 볼 수 있도록 증강현실 레이어에 반투명 레이어를 덧입힌 이미지를 출력할 수 있다. 디스플레이(140)가 출력한 이미지 상의 증강현실 콘텐츠들은 증강현실 레이어 상의 증강현실 콘텐츠와 반투명 레이어 상의 증강현실 콘텐츠를 겹친 반투명도를 가지게 된다.
한편, 임베디드 컴퓨터(130)는 외부 환경 정보가 미리 정의된 조건에 포함되지 않는 것으로 판별할 수 있다. 이 경우, 임베디드 컴퓨터(130)는 반투명 레이어를 생성하는 동작(260) 및 증강현실 레이어에 반투명 레이어를 덧입히는 동작(270)을 수행하지 않고, 디스플레이(140)로 증강현실 레이어를 출력할 수 있다. 출력되는 이미지 상의 증강현실 콘텐츠들은 자동차 전방의 도로 교통 상황을 설명하기 위한 보조 이미지로, 자동차 전방의 도로 이미지에 포함된 도로 교통 상황을 완전히 가리지 않도록, 반투명한 이미지일 수 있다.
이상을 통해, 증강현실 콘텐츠 제공 시스템(110)의 임베디드 컴퓨터(130)는 자동차 전방 카메라(120)를 통해 획득한 실제 이미지에 증강현실 콘텐츠를 포함하는 증강현실 레이어를 생성하고, 외부 환경 정보가 미리 정의된 조건을 만족시키는 경우, 반투명 레이어를 생성하여, 증강현실 레이어에 반투명 레이어를 덧입힌 이미지를 출력할 수 있다. 이를 통해, 운전자 및 동승자는, 교통이 정체된 상황에서, 자동차(100)에 탑승한 상태에서 육안으로 볼 수 없는, 자동차 전방 도로에서 진행되고 있는 공사 모습 등의 도로 정체 상황을 확인할 수 있다. 또한, 운전자 및 동승자는, 도로가 정체된 상황들과 관련한 일부 영역들을 설명하는 증강현실 콘텐츠들이 포함된 증강현실 레이어를 볼 수 있다. 또한, 운전자 및 동승자는, 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등의 이유로 자동차 전방 카메라(120)의 가시거리가 짧아, 자동차 전방 카메라(120)를 통해 획득되는 이미지가 어둡거나 불명확하더라도, 증강현실 레이어에 덧입힌 반투명 레이어를 통해, 선명하게 표시된 증강현실 콘텐츠들―도로 교통 상황을 설명하기 위한 보조 이미지들―이 포함된 이미지를 볼 수 있다. 이를 통해, 운전자 및 동승자는, 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등이 시야를 가리는 상황에서도, 도로가 정체된 원인을 명확하게 파악하여, 운전 경로를 수정하는 등의 행위를 미리 수행할 수 있다. 이를 통해, 운전자 및 동승자의 운전 편의성이 향상될 수 있다.
도 3은 일실시예에 따른 반투명 레이어를 덧입히는 동작을 설명하기 위한 도면이다.
우선, 자동차(100)의 외부 환경(390)에 의해 자동차 전방 카메라(120)의 가시거리가 미리 정의된 가시거리 이하로 내려간 상황을 상정할 수 있다. 외부 환경(390)은 구름(391), 비(392), 눈(393), 안개(394), 미세먼지(395), 초미세먼지(396) 등일 수 있다.
제 3-0 이미지(300)는 도 1의 제 1-1 이미지(125)에서, 공사를 하는 공사 차량 모습(126)과 교통을 안내하는 교통 경찰 모습(127)만을 도식화(311, 312)한 이미지이다. 제 3-1 이미지(310)는 제 3-0 이미지(300)에서, 도 1의 제 1-1 이미지(125)와 달리, 자동차(100)의 외부 환경(390)에 의해 자동차 전방 카메라(120)의 가시거리가 미리 정의된 가시거리 이하로 내려간 상황에서 자동차 전방 카메라(120)를 통해 획득한 이미지이다. 구름(391), 비(392), 눈(393), 안개(394), 미세먼지(395), 초미세먼지(396) 등에 의해 자동차 전방 카메라(120)의 가시거리가 미리 정의된 가시거리 이하로 내려갈 경우, 자동차 전방 카메라(120)는 어둡고 흐리고 불분명한 실제 이미지를 촬영하게 된다. 이에 따라, 임베디드 컴퓨터(130)는 도 1의 제 1-1 이미지(125) 및 제 3-0 이미지(300)와 비교하여, 어둡거나 흐리거나 불분명한 실제 이미지인 제 3-1 이미지(310)를 획득할 수 있다.
제 3-2 이미지(320)는 제 3-1 이미지(310)에 증강현실 콘텐츠를 포함한 증강현실 레이어이다. 임베디드 컴퓨터(130)는 제 3-1 이미지(310)의 일부 영역들(311, 312)에 대응하는 증강현실 콘텐츠들(321, 322)을 참조하여, 제 3-1 이미지(310)에 증강현실 콘텐츠를 포함한 증강현실 레이어인 제 3-2 이미지(320)를 생성할 수 있다. 만약, 제 3-2 이미지(320)가 디스플레이(140)를 통해 출력될 경우, 증강현실 콘텐츠들(321, 322)은 반투명하기 때문에, 어둡거나 흐리거나 불분명한 실제 이미지 상에서 불명확하게 보일 수 있다.
제 3-3 이미지(330)는 제 3-2 이미지(320)에 반투명 레이어를 덧입힌 이미지이다. 임베디드 컴퓨터(130)는 증강현실 콘텐츠들(321, 322)이 불명확하게 보이는 점을 해소하기 위해, 외부 환경 정보와 증강현실 레이어 상에서 증강현실 콘텐츠의 면적 및 위치를 기초로, 증강현실 콘텐츠의 반투명 레이어를 생성할 수 있다. 이어서, 임베디드 컴퓨터(130)는 제 3-3 이미지(330)와 같이, 제 3-2 이미지(320) 위에 반투명 레이어를 덧입힐 수 있다.
반투명 레이어는, 증강현실 레이어 상의 증강현실 콘텐츠들(321, 322)과 동일한 크기, 위치, 및 색상을 가지지만, 상이한 반투명도를 가지는 증강현실 콘텐츠들(331, 332)을 포함할 수 있다. 반투명도가 클수록, 증강현실 콘텐츠는 투명하게 보이고, 반투명도가 작을수록, 증강현실 콘텐츠는 선명하게 보일 수 있다. 외부 환경 정보에 의해 자동차 전방 카메라(120)의 가시거리가 줄면 줄수록, 반투명 레이어 상의 증강현실 콘텐츠들(331, 332)의 반투명도는 작아질 수 있다. 즉, 외부 환경 정보에 의해 자동차 전방 카메라(120)의 가시거리가 줄면 줄수록, 임베디드 컴퓨터(130)는 반투명 레이어 상의 증강현실 콘텐츠들(331, 332)이 선명하게 보이도록 설정할 수 있다.
임베디드 컴퓨터(130)가 외부 환경 정보를 기초로, 반투명 레이어 상의 증강현실 콘텐츠의 반투명도를 결정하는 구체적인 동작은 임베디드 컴퓨터(130)의 학습된 인공 신경망에 의해 이루어질 수 있다. 인공 신경망의 구체적인 학습 과정은 도 6을 참조하여 후술된다.
증강현실 레이어인 제 3-2 이미지(320) 위에 반투명 레이어를 덧입힘으로써, 디스플레이(140)로 출력되는 이미지인 제 3-3 이미지(330) 상의 증강현실 콘텐츠는 증강현실 레이어 상의 증강현실 콘텐츠(321, 322)와 반투명 레이어 상의 증강현실 콘텐츠(331, 332)를 겹친 반투명도를 가지게 된다. 즉, 출력되는 이미지 상의 증강현실 콘텐츠는 증강현실 레이어 상의 증강현실 콘텐츠(321, 322)의 반투명도 및 반투명 레이어 상의 증강현실 콘텐츠(331, 332)의 반투명도보다 작은 반투명도를 가지게 된다. 이를 통해, 자동차 전방 카메라(120)의 가시거리가 짧아, 자동차 전방 카메라(120)를 통해 획득되는 이미지가 어둡거나 불명확하더라도, 출력되는 증강현실 콘텐츠는 선명하게 보일 수 있다.
이처럼, 구름(391), 비(392), 눈(393), 안개(394), 미세먼지(395), 초미세먼지(396) 등의 외부 환경(390)으로 인해, 자동차 전방 카메라(120)의 가시거리가 미리 정의된 가시거리 이하로 내려간 경우, 임베디드 컴퓨터(130)는 외부 환경 정보와 증강현실 레이어 상에서 증강현실 콘텐츠의 면적 및 위치를 기초로, 증강현실 콘텐츠의 반투명 레이어를 생성할 수 있다. 또한, 임베디드 컴퓨터(130)는 증강현실 레이어인 제 3-2 이미지(320) 대신에, 제 3-2 이미지(320) 위에 반투명 레이어를 덧입힌 제 3-3 이미지(330)를 디스플레이(140)로 전달할 수 있다. 이를 통해, 운전자 및 동승자는 디스플레이(140)를 통해, 어둡거나 흐리거나 불분명한 실제 이미지에 의해 증강현실 콘텐츠들이 불명확하게 보이는 제 3-2 이미지(320) 대신에, 증강현실 콘텐츠들이 선명하게 보이는 제 3-3 이미지(330)를 볼 수 있다. 이를 통해, 운전자 및 동승자는 자동차(100)에 탑승한 상태에서 육안으로 확인할 수 없는 교통 정체 원인을 정확하게 파악하고, 교통 정체를 피하기 위한 운전 판단을 미리 내릴 수 있다. 이를 통해, 운전자 및 동승자의 운전 편의성이 향상될 수 있다.
도 4는 일실시예에 따른 제 1 예측 반투명 레이어를 생성하는 동작을 설명하기 위한 도면이다.
우선, 자동차(100)의 외부 환경(390)에 의해 자동차 전방 카메라(120)의 가시거리가 미리 정의된 가시거리 이하로 내려간 상황을 상정할 수 있다. 외부 환경(390)은 도 3의 구름(391), 비(392), 눈(393), 안개(394), 미세먼지(395), 초미세먼지(396) 등일 수 있다.
자동차(100)의 움직임에 따라, 자동차 전방 카메라(120)가 획득하는 실제 이미지가 임의적으로 빠르게 변화할 수 있으므로, 임베디드 컴퓨터(130)는 증강현실 콘텐츠에 대응하는 반투명 레이어를 실시간으로 생성하여, 반투명 레이어를 버퍼링 없이 제공하기 위해서, 현재 시점보다 나중 시점의 증강현실 콘텐츠의 면적 및 위치를 예측하고, 나중 시점의 증강현실 콘텐츠의 예측 위치를 기초로, 예측 반투명 레이어를 미리 생성해 둘 필요가 있다. 즉, 임베디드 컴퓨터(130)는 선행 제 1 시점일 때, 후행 제 2 시점의 예측 반투명 레이어를 미리 생성해 두면, 자동차(100)의 움직임에 의해 실제 이미지가 빠르게 변화하더라도, 제 2 시점의 예측 반투명 레이어를 미리 생성해 뒀으므로, 제 2 시점이 다가와도 반투명 레이어를 버퍼링 없이 제공할 수 있다.
선행 제 1 시점에 임베디드 컴퓨터(130)에 의해 수행되는 제 1 예측 반투명 레이어 생성 동작은 다음을 포함할 수 있다.
우선, 임베디드 컴퓨터(130)는 제 1 경로(413)―제 1 시점에서 자동차(100)의 움직임에 따른 자동차 전방 카메라(120)의 응시점 변화 경로―를 획득할 수 있다. 자동차(100)가 움직이는 상황은 얼마든지 있을 수 있다. 가령, 자동차(100)가 차선을 좌회전 가능한 좌측 차선으로 변경하는 상황을 가정할 수 있다.
좌표(O)를 이용하여 구체적인 예를 설명할 수 있다. 제 1 시점의 공사 차량의 실제 이미지 및 공사 차량에 대응하는 증강현실 콘텐츠(411)의 대표 위치는 x11, y11, z11로 표기된다. 제 1 시점의 교통 경찰의 실제 이미지 및 교통 경찰에 대응하는 증강현실 콘텐츠(412)의 대표 위치는 x12, y12, z12로 표기된다. 제 1 경로(413)는 Δx1, Δy1, Δz1로 표기된다. 제 2 시점의 공사 차량에 대응하는 예측 증강현실 콘텐츠(421)의 대표 위치는 x21, y21, z21로 표기된다. 제 2 시점의 교통 경찰에 대응하는 예측 증강현실 콘텐츠(422)의 대표 위치는 x22, y22, z22로 표기된다.
예를 들어, 제 1 시점의 증강현실 레이어 위에 반투명 레이어(410)에서, 공사 차량의 실제 이미지 및 공사 차량에 대응하는 증강현실 콘텐츠(411)는 실제 이미지의 중앙-상단-지면(紙面)깊은안쪽(x11=0, y11>0, z11<<0)에 위치해 있을 수 있고; 교통 경찰의 실제 이미지 및 교통 경찰에 대응하는 증강현실 콘텐츠(412)는 실제 이미지의 좌측-가운데-지면안쪽(x12<0, y12=0, 0>z12>z11)에 위치해 있을 수 있다. 제 1 경로(413)는 제 1 시점에서 자동차(100)의 움직임에 따른 자동차 전방 카메라(120)의 응시점 변화 경로일 수 있다. 예를 들어, 제 1 시점에서 자동차(100)의 차선을 좌회전 가능한 좌측 차선으로 변경함에 따라, 자동차 전방 카메라(120)의 응시점은 좌측-상단-지면안쪽(Δx1<0, Δy1>0, Δz1<0)으로 변화할 수 있다. 이 경우, 임베디드 컴퓨터(130)는 제 1 경로(413)의 방향을 좌측-상단-지면안쪽으로, 제 1 경로(413)의 크기를 자동차(100)의 속력에 비례하는 값으로 획득할 수 있다.
다음으로, 임베디드 컴퓨터(130)는 제 1 경로를 기초로, 후행 제 2 시점에 생성될 증강현실 레이어 상에서 증강현실 콘텐츠의 면적 및 위치를 예측할 수 있다. 임베디드 컴퓨터(130)는 제 1 시점의 일부 영역들 및 증강현실 콘텐츠들(411, 412)의 상대적 움직임(414, 415)을 구하여, 상대적 움직임을 마친 후의 일부 영역들 및 증강현실 콘텐츠들(411, 412)의 위치(416, 417)를 기초로, 제 2 시점에 생성될 증강현실 레이어 상에서 증강현실 콘텐츠의 면적 및 위치를 예측할 수 있다. 이때, 제 2 시점은, 가령, 제 1 시점보다 0.1 초 뒤일 수 있다. 또는, 제 2 시점은 제 1 시점보다 미리 정의된 시간 단위만큼 나중의 시간일 수 있다.
예를 들어, 제 1 경로(413)의 방향이 좌측-상단-지면안쪽인 경우, 제 1 시점의 일부 영역들 및 증강현실 콘텐츠들(411, 412)의 상대적 움직임(414, 415)의 방향은 우측-하단-지면바깥쪽(Δx11>0, Δy11<0, Δz11>0; Δx12>0, Δy12<0, Δz12>0)일 수 있다. 제 1 시점의 증강현실 콘텐츠의 상대적 움직임(414)의 크기는 제 1 경로(413)의 크기와 같을 수 있다. 임베디드 컴퓨터(130)는 제 1 시점의 증강현실 콘텐츠의 상대적 움직임(414, 415)의 방향 및 크기를 기초로, 제 1 시점의 증강현실 콘텐츠의 상대적 움직임(414, 415)을 구할 수 있고, 제 1 시점의 증강현실 콘텐츠가 상대적 움직임(414, 415)을 마친 후의 증강현실 콘텐츠들(411 412)의 위치(416, 417)를 기초로, 제 2 시점에 생성될 반투명 상에서 증강현실 콘텐츠들(421, 422)의 면적 및 위치를 예측할 수 있다.
이어서, 임베디드 컴퓨터(130)는 외부 환경 정보(390)와 제 1 경로를 기초로 예측된 증강현실 콘텐츠의 면적 및 위치를 기초로, 증강현실 콘텐츠의 제 1 예측 반투명 레이어(420)를 생성할 수 있다. 제 1 예측 반투명 레이어(420) 상의 증강현실 콘텐츠들(421, 422)의 위치는, 제 1 시점의 증강현실 콘텐츠들(411, 412)의 위치와 비교하여, 우측-하단-지면바깥쪽(Δx11>0, Δy11<0, Δz11>0; Δx12>0, Δy12<0, Δz12>0)일 수 있다. 또한, 제 1 상대적 움직임(414, 415)에 따라 증강현실 콘텐츠들(421, 422)은 지면바깥쪽(Δz11>0; Δz12>0)으로 이동할 것으로 예측되므로, 제 1 예측 반투명 레이어(420) 상의 증강현실 콘텐츠들(421, 422)의 면적은, 제 1 시점의 증강현실 콘텐츠들(411, 412)의 면적보다 넓을 수 있다. 한편, 증강현실 콘텐츠들(421, 422)의 반투명도는 외부 환경 정보(390)를 입력받은 인공 신경망의 출력을 기초로 결정될 수 있다. 인공 신경망의 구체적인 학습 과정은 도 6을 참조하여 후술된다.
이상을 통해, 임베디드 컴퓨터(130)는 선행 제 1 시점에 대하여, 후행 제 2 시점에서의 증강현실 콘텐츠의 면적 및 위치를 예측하여, 예측된 증강현실 콘텐츠의 면적 및 위치와 외부 환경 정보를 기초로, 제 1 반투명 레이어를 생성할 수 있다. 이를 통해, 제 1 시점에서 자동차(100)의 움직임에 따라, 자동차 전방 카메라(120)가 획득하는 실제 이미지가 임의적으로 빠르게 변화하더라도, 임베디드 컴퓨터(130)는 제 2 시점의 제 1 예측 반투명 레이어를 미리 생성해 뒀으므로, 제 2 시점이 도래했을 때, 제 1 예측 반투명 레이어를 기초로 한 반투명 레이어를 더욱 빠르게 생성하여, 반투명 레이어를 버퍼링 없이 제공할 수 있다. 이를 통해, 자동차(100)가 빠르게 또는 갑작스럽게 움직이더라도, 임베디드 컴퓨터(130)는 증강현실 콘텐츠에 제 1 예측 반투명 레이어를 기초로 한 반투명 레이어를 지연 없이 덧입혀, 제 2 시점의 증강현실 레이어 및 반투명 레이어를 끊김 없이 제공할 수 있다.
도 5는 일실시예에 따른 제 2 예측 반투명 레이어를 생성하는 동작을 설명하기 위한 도면이다.
우선, 자동차(100)의 외부 환경(390)에 의해 자동차 전방 카메라(120)의 가시거리가 미리 정의된 가시거리 이하로 내려간 상황을 상정할 수 있다. 외부 환경(390)은 도 3의 구름(391), 비(392), 눈(393), 안개(394), 미세먼지(395), 초미세먼지(396) 등일 수 있다.
제 1 시점에서, 증강현실 콘텐츠(511)는 고정된 이미지가 아니라 미리 프로그램된 움직임 경로를 가지는 영상일 수 있다. 이 경우, 임베디드 컴퓨터(130)는 제 1 시점에서 자동차(100)의 움직임 및 증강현실 콘텐츠의 미리 프로그램된 움직임 경로를 함께 고려하여, 제 2 시점에서의 제 2 예측 반투명 레이어를 생성할 수 있다.
임베디드 컴퓨터(130)가 제 1 시점에서 제 2 예측 반투명 레이어를 생성하는 동작은 이하의 동작을 포함할 수 있다.
우선, 임베디드 컴퓨터(130)는 제 2 경로―증강현실 콘텐츠의 미리 프로그램된 움직임 경로―를 실행할 수 있다. 예를 들어, 제 1 시점의 증강현실 레이어 및 반투명 레이어(510a)에서, 증강현실 콘텐츠(511)는 실제 이미지의 일부 영역인 교통 차량의 중심에 대응하는 위치에 있을 수 있다. 제 2 경로(515)는 제 1 시점의 증강현실 콘텐츠(511)가 상단으로 움직이는 동작일 수 있다.
좌표(O)를 이용하여 구체적인 예를 설명할 수 있다. 제 1 경로(513)는 Δx1, Δy1, Δz1로 표기된다. 제 1 경로(513)에 따른 상대적 움직임은 Δx'1, Δy'1, Δz'1로 표기된다. 제 2 경로(515)는 Δx2, Δy2, Δz2로 표기된다. 제 3 경로(516)는 Δx3, Δy3, Δz3로 표기된다.
예를 들어, 증강현실 콘텐츠(511)는 공사 차량이 위치하는 차선 뒤쪽도 공사 중임을 표시하기 위해, 제 2 경로(515)는 상단-지면안쪽(Δy2>0, Δz2<0)으로 움직이는 경로일 수 있다. 자동차(100)가 움직이지 않는 상태에서, 증강현실 콘텐츠(511)가 제 2 경로(515)를 따라 움직일 경우, 증강현실 레이어 및 반투명 레이어(520) 상의 증강현실 콘텐츠(521)의 면적 및 위치는 상단-지면안쪽(Δy2>0, Δz2<0)으로 변경될 수 있다.
다음으로, 임베디드 컴퓨터(130)는 제 1 경로에 따른 증강현실 콘텐츠의 상대적 움직임(514) 및 제 2 경로(515)를 기초로, 제 3 경로(516)를 연산할 수 있다. 제 1 경로(513)는 제 1 시점에서 자동차(100)의 움직임에 따른 자동차 전방 카메라(120)의 응시점 변화 경로로, 제 1 시점의 증강현실 레이어 및 반투명 레이어(510b)와 같이 좌측-상단-지면안쪽(Δx1<0, Δy1>0, Δz1<0)으로 변화할 수 있다. 이 경우, 제 1 경로(513)에 따른 제 1 시점의 증강현실 콘텐츠(511)의 상대적 움직임(514)은 우측-하단-지면바깥쪽(Δx'1>0, Δy'1<0, Δz'1>0)으로 향할 수 있다.
임베디드 컴퓨터(130)는 제 2 경로(515) 및 제 1 경로(513)에 따른 제 1 시점의 증강현실 콘텐츠(511)의 상대적 움직임(514)을 벡터 합(vector sum)하여 제 3 경로(516)를 연산할 수 있다. 예를 들어, 제 3 경로(516)는 우측-지면바깥쪽(Δx3>0, Δz3>0)을 가리킬 수 있으며, 제 3 경로(516)의 크기는 제 2 경로(515)와 제 1 경로(513)에 따른 제 1 시점의 증강현실 콘텐츠(511)의 상대적 움직임(514)의 벡터 합에 따른 크기를 가질 수 있다.
이어서, 임베디드 컴퓨터(130)는 제 3 경로를 기초로, 제 2 시점에 생성될 증강현실 레이어 상에서 증강현실 콘텐츠의 면적 및 위치를 예측할 수 있다. 임베디드 컴퓨터(130)는 제 3 경로(516)가 가리키는 끝점(517)을 기초로, 제 2 시점에 생성될 증강현실 레이어 상에서 증강현실 콘텐츠의 면적 및 위치를 예측할 수 있다. 이때, 제 2 시점은, 가령, 제 1 시점보다 1 초 뒤일 수 있다. 또는, 제 2 시점은 제 1 시점보다 미리 정의된 시간 단위만큼 나중의 시간일 수 있다.
이어지는 순서로, 임베디드 컴퓨터(130)는 외부 환경 정보(390)와 제 3 경로를 기초로 예측된 증강현실 콘텐츠의 면적 및 위치를 기초로, 증강현실 콘텐츠의 제 2 예측 반투명 레이어(530)를 생성할 수 있다. 제 2 예측 반투명 레이어(530) 상의 증강현실 콘텐츠(531)의 위치는, 제 1 시점의 증강현실 콘텐츠(511)의 위치와 비교하여, 우측-지면바깥쪽(Δx3>0, Δz3>0)일 수 있다. 또한, 증강현실 콘텐츠(531)는 제 1 상대적 움직임(514)과 제 2 경로(515)에 의해 지면바깥쪽(Δz3>0)으로 이동할 것으로 예측되므로, 제 2 예측 반투명 레이어(530) 상의 증강현실 콘텐츠(531)의 면적은, 제 1 시점의 증강현실 콘텐츠(511)의 면적보다 넓을 수 있다. 한편, 증강현실 콘텐츠(511)의 반투명도는 외부 환경 정보(390)를 입력받은 인공 신경망의 출력을 기초로 결정될 수 있다. 인공 신경망의 구체적인 학습 과정은 도 6을 참조하여 후술된다.
이상을 통해, 임베디드 컴퓨터(130)는 선행 제 1 시점에 대하여, 후행 제 2 시점에서의 증강현실 콘텐츠의 면적 및 위치를 예측하여, 예측된 증강현실 콘텐츠의 면적 및 위치와 외부 환경 정보를 기초로, 제 2 반투명 레이어를 생성할 수 있다. 이를 통해, 증강현실 콘텐츠가 제 1 시점에서 미리 프로그래밍된 움직임을 가지고, 제 1 시점에서 자동차(100)의 움직임에 따라, 자동차 전방 카메라(120)가 획득하는 실제 이미지가 임의적으로 빠르게 변화하더라도, 임베디드 컴퓨터(130)는 제 2 시점의 제 2 예측 반투명 레이어를 미리 생성해 뒀으므로, 제 2 시점이 도래했을 때, 제 2 예측 반투명 레이어를 기초로 한 반투명 레이어를 더욱 빠르게 생성하여, 반투명 레이어를 버퍼링 없이 제공할 수 있다. 이를 통해, 증강현실 콘텐츠가 제 1 시점에서 미리 프로그래밍된 움직임을 가지고, 자동차(100)가 빠르게 또는 갑작스럽게 움직이더라도, 임베디드 컴퓨터(130)는 증강현실 콘텐츠에 제 2 예측 반투명 레이어를 기초로 한 반투명 레이어를 지연 없이 덧입혀, 제 2 시점의 증강현실 레이어 및 반투명 레이어를 끊김 없이 제공할 수 있다..
도 6은 일실시예에 따른 인공 신경망의 학습을 설명하기 위한 도면이다.
인공 신경망은 임베디드 컴퓨터(130)에 포함되는 구성일 수 있으며, 임베디드 컴퓨터(130) 또는 별도의 학습 장치를 통해서 학습될 수 있다.
인공 신경망은 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등의 외부 환경에 대한 정보를 입력 받아, 반투명 레이어에 포함되는 증강현실 콘텐츠의 반투명도를 출력할 수 있다.
이하에서는 학습 장치를 통해 인공 신경망이 학습되는 과정을 설명한다.
우선, 학습 장치는 트레이닝 데이터(training data)와 레이블(label)을 획득할 수 있다(600).
인공 신경망 학습을 위해, 학습 장치는 외부 환경 정보들을 트레이닝 데이터(training data)로 획득할 수 있다. 외부 환경 정보들은 눈·비 감지 센서, 안개 감지 센서, 미세먼지 센서, 어둠 감지 센서 등을 통해 측정될 수 있다.
또한, 인공 신경망의 학습을 위해, 학습 장치는 각각의 트레이닝 데이터의 외부 환경 정보에 해당하는 외부 환경 상황에서, 자동차 전방 카메라(120)를 통해 획득한 실제 이미지에, 기본 반투명도를 가지는 증강현실 콘텐츠를 덧입힌 증강현실 레이어에 대하여, 증강현실 레이어 위에 덧입힐 반투명 레이어에 포함될 증강현실 콘텐츠의 반투명도를 각각의 트레이닝 데이터에 대한 레이블(label)로 획득할 수 있다.
각각의 레이블의 반투명도는, 정상 시력 범위(0.8~2.0)의 실험 참여군의 설문 결과를 통해 정해질 수 있다. 가령, 각각의 레이블의 반투명도는, 정상 시력 범위(0.8~2.0)의 실험 참여군이, 증강현실 레이어 위에 반투명 레이어를 덧입힌 이미지를 봤을 때, 증강현실 콘텐츠가 선명하게 보이면서, 증강현실 콘텐츠와 대응하는 실제 이미지도 확실하게 보인다고 답한 반투명 레이어 상의 증강현실 콘텐츠의 반투명도 중에서 대표값(최빈값, 중앙값, 또는 평균)일 수 있다.
이제, 학습 장치는 트레이닝 데이터로부터 인공 신경망의 입력을 생성할 수 있다(610).
학습 장치는 트레이닝 데이터를 인공 신경망의 입력으로 그대로 사용하거나, 불필요한 정보를 제거하는 등의 기 알려진 처리를 거친 후 인공 신경망의 입력을 생성할 수 있다.
다음으로, 학습 장치는 입력을 인공 신경망에 적용할 수 있다(620). 서버에 포함된 인공 신경망은 지도 학습(supervised learning)에 따라 학습되는 인공 신경망일 수 있다. 인공 신경망은 지도 학습을 통해 학습시키기에 적합한 컨볼루션 신경망(convolutional neural network, CNN) 또는 리커런트 신경망(recurrent neural network, RNN) 구조일 수 있다.
이어서, 학습 장치는 인공 신경망으로부터 출력을 획득할 수 있다(630).
인공 신경망의 출력은, 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등이 존재하는 상황에서, 반투명 레이어 상의 증강현실 콘텐츠의 반투명도의 추론일 수 있다. 구체적으로, 인공 신경망은 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등이 다소 많이 존재하는 상황에서, 자동차 전방 카메라의 가시거리가 미리 정의된 가시거리(가령, 30m 이하)보다 다소 내려간 경우; 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등이 다소 많이 존재하는 상황에서, 자동차 전방 카메라의 가시거리가 미리 정의된 가시거리보다 유의미하게 내려간 경우; 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등이 유의미하게 많이 존재하는 상황에서, 자동차 전방 카메라의 가시거리가 미리 정의된 가시거리보다 다소 내려간 경우; 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등이 유의미하게 많이 존재하는 상황에서, 자동차 전방 카메라의 가시거리가 미리 정의된 가시거리보다 유의미하게 내려간 경우 등의 패턴을 학습하고, 학습 결과를 기초로 반투명 레이어 상의 증강현실 콘텐츠의 반투명도를 추론하여 출력할 수 있다.
이후, 학습 장치는 출력과 레이블을 비교할 수 있다(640). 추론에 해당하는 인공 신경망의 출력과 정답에 해당하는 레이블을 비교하는 과정은 손실함수(loss function)를 계산하여 이루어질 수 있다. 손실함수는 기 알려진 평균 제곱 오차(mean squared error, MSE), 교차 엔트로피 오차(cross entropy error, CEE) 등이 이용될 수 있다. 그러나, 이에 제한되는 것은 아니며, 인공 신경망의 출력과 레이블 간의 편차, 오차 내지는 차이를 측정할 수 있다면, 다양한 인공 신경망 모델들에서 이용되는 손실함수들이 이용될 수 있다.
다음으로, 학습 장치는 비교값을 기초로 인공 신경망을 최적화할 수 있다(650). 학습 장치 비교값이 점점 작아지도록 인공 신경망의 노드(node)들의 웨이트(weight)를 갱신함으로써, 추론에 해당하는 인공 신경망의 출력과 정답에 해당하는 레이블을 점점 일치시킬 수 있고, 이를 통해 인공 신경망은 정답에 가까운 추론을 출력하도록 최적화될 수 있다. 구체적으로, 학습 장치는 비교값에 해당하는 손실함수가 최소값의 추정치에 가까워지도록 인공 신경망의 웨이트(weight)를 재설정하는 과정을 반복함으로써 인공 신경망을 최적화할 수 있다. 인공 신경망의 최적화를 위해 기 알려진 역전파(backpropagation) 알고리즘, 확률론적 경사하강법(stochastic gradient descent) 등이 이용될 수 있다. 그러나, 이에 제한되는 것은 아니며, 다양한 신경망 모델들에서 이용되는 웨이트의 최적화 알고리즘이 이용될 수 있다.
학습 장치는 이와 같은 과정을 반복함으로써 인공 신경망을 학습시킬 수 있다.
이를 통해, 학습 장치는 구름, 비, 눈, 안개, 미세먼지, 초미세먼지 등에 대한 외부 환경 정보를 기초로; 반투명 레이어 상의 증강현실 콘텐츠의 반투명도를 추론하여 출력할 수 있다. 인공 신경망은 도 2 내지 5를 참조하여 전술한 반투명 레이어, 제 1 예측 반투명 레이어, 및 제 2 예측 반투명 레이어를 생성하는데 사용될 수 있다.
도 7은 일실시예에 따른 장치의 구성의 예시도이다.
일실시예에 따른 장치(701)는 프로세서(702) 및 메모리(703)를 포함한다. 프로세서(702)는 도 1 내지 도 6을 참조하여 전술된 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 6을 참조하여 전술된 적어도 하나의 방법을 수행할 수 있다. 구체적으로, 장치(701)는 자동차(100)에 포함된 임베디드 컴퓨터(130) 또는 인공 신경망 학습 장치 등일 수 있다.
메모리(703)는 전술된 방법들과 관련된 정보를 저장하거나 후술되는 방법들이 구현된 프로그램을 저장할 수 있다. 메모리(703)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(702)는 프로그램을 실행하고, 장치(701)를 제어할 수 있다. 프로세서(702)에 의하여 실행되는 프로그램의 코드는 메모리(703)에 저장될 수 있다. 장치(701)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 유무선 통신을 통해 데이터를 교환할 수 있다.
장치(701)는 인공 신경망을 학습시키거나, 학습된 인공 신경망을 이용하는데 사용될 수 있다. 메모리(703)는 학습 중인 또는 학습된 인공 신경망을 포함할 수 있다. 프로세서(702)는 메모리(703)에 저장된 인공 신경망 알고리즘을 학습시키거나 실행시킬 수 있다. 인공 신경망을 학습시키는 장치(701)와 학습된 인공 신경망을 이용하는 장치(701)는 동일할 수도 있고 개별적일 수도 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (3)

  1. 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 시스템은,
    자동차 전방의 도로 교통 상황을 촬영하는 자동차 전방 카메라; 및
    상기 자동차에 포함되는 임베디드 컴퓨터
    를 포함하고,
    상기 자동차 전방 카메라는 카메라부 및 지지부를 포함하고,
    상기 카메라부는
    상기 지지부의 상측에 결속되고,
    상기 지지부는
    하측이 상기 자동차의 천장부에 설치되고,
    상기 자동차의 높이축(軸)에 대해 신장될 수 있는 연장 가능한 구성을 가지고,
    상기 카메라부가 촬영을 하지 않을 경우, 상기 자동차의 높이축(軸)에 대해 접혀있고,
    상기 카메라부가 자동차 전방의 도로 교통 상황을 촬영하는 경우, 상기 자동차의 천장부보다 높은 위치에서 자동차 전방의 이미지를 촬영할 수 있도록, 상기 자동차의 높이축(軸)에 대해 신장되고,
    상기 카메라부는
    자동차 전방의 도로 교통 상황을 상기 자동차의 천장부보다 높은 위치에서 촬영하고,
    상기 임베디드 컴퓨터가 수행하는 동작은,
    상기 자동차 전방 카메라로부터 상기 자동차의 천장부 이하의 높이에서는 촬영될 수 없는 탑승자 육안 높이대 미확인 영역을 포함하는 실제 이미지를 획득하고,
    상기 실제 이미지에서 적어도 하나의 일부 영역을 인식하고,
    상기 일부 영역에 대응하는 증강현실 콘텐츠를 상기 실제 이미지에 반영한 증강현실 레이어를 생성하고,
    상기 자동차의 외부 환경 정보를 획득하고,
    상기 외부 환경 정보가 미리 정의된 조건에 포함되는지 판별하고,
    상기 외부 환경 정보가 미리 정의된 조건에 포함되지 않는 경우,
    상기 증강현실 레이어를 출력하고,
    상기 외부 환경 정보가 미리 정의된 조건에 포함되는 경우,
    상기 외부 환경 정보와 상기 증강현실 레이어 상에서 상기 증강현실 콘텐츠의 면적 및 위치를 기초로, 상기 증강현실 콘텐츠의 반투명 레이어를 생성하고,
    상기 증강현실 레이어에 상기 반투명 레이어를 덧입혀 출력하는
    동작을 포함하고,
    상기 일부 영역은 상기 탑승자 육안 높이대 미확인 영역에 일부 또는 전부 포함될 수 있는
    자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 시스템.
  2. 제 1 항에 있어서,
    제 1 시점은 제 2 시점보다 선행하며,
    상기 임베디드 컴퓨터가 제 1 시점에 수행하는 동작은,
    제 1 경로―상기 제 1 시점에서 상기 자동차의 움직임에 따른 상기 자동차 전방 카메라의 응시점 변화 경로―를 획득하고,
    상기 제 1 경로를 기초로, 상기 제 2 시점에 생성될 증강현실 레이어 상에서 상기 증강현실 콘텐츠의 면적 및 위치를 예측하고,
    상기 외부 환경 정보와 상기 제 1 경로를 기초로 예측된 상기 증강현실 콘텐츠의 면적 및 위치를 기초로, 상기 증강현실 콘텐츠의 제 1 예측 반투명 레이어를 생성하는
    동작을 포함하는,
    자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 시스템.
  3. 제 1항에 있어서,
    상기 임베디드 컴퓨터가 상기 외부 환경 정보가 미리 정의된 조건에 포함되는지 판별하는 동작은,
    상기 카메라부의 가시거리가 상기 자동차의 외부 환경에 의해 미리 정의된 가시거리 이하로 내려갈 경우, 상기 외부 환경 정보가 상기 미리 정의된 조건에 포함된다고 판별하는
    동작을 포함하는,
    자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 시스템.
KR1020200013815A 2020-02-05 2020-02-05 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템 KR102181589B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200013815A KR102181589B1 (ko) 2020-02-05 2020-02-05 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200013815A KR102181589B1 (ko) 2020-02-05 2020-02-05 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102181589B1 true KR102181589B1 (ko) 2020-12-08

Family

ID=73779059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200013815A KR102181589B1 (ko) 2020-02-05 2020-02-05 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102181589B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023136369A1 (ko) * 2022-01-11 2023-07-20 엘지전자 주식회사 차량용 디스플레이 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130012629A (ko) * 2011-07-26 2013-02-05 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
KR101413231B1 (ko) 2013-02-18 2014-06-30 인하대학교 산학협력단 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량
KR101544524B1 (ko) 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
KR101713740B1 (ko) 2014-12-08 2017-03-08 현대자동차주식회사 차량의 증강현실 hud 표시 방법 및 그 표시 장치
KR101855940B1 (ko) 2015-10-27 2018-05-09 엘지전자 주식회사 차량용 증강현실 제공 장치 및 그 제어방법
KR20180071137A (ko) * 2016-12-19 2018-06-27 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101544524B1 (ko) 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
KR20130012629A (ko) * 2011-07-26 2013-02-05 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
KR101413231B1 (ko) 2013-02-18 2014-06-30 인하대학교 산학협력단 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량
KR101713740B1 (ko) 2014-12-08 2017-03-08 현대자동차주식회사 차량의 증강현실 hud 표시 방법 및 그 표시 장치
KR101855940B1 (ko) 2015-10-27 2018-05-09 엘지전자 주식회사 차량용 증강현실 제공 장치 및 그 제어방법
KR20180071137A (ko) * 2016-12-19 2018-06-27 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023136369A1 (ko) * 2022-01-11 2023-07-20 엘지전자 주식회사 차량용 디스플레이 장치

Similar Documents

Publication Publication Date Title
US11511750B2 (en) Image-based velocity control for a turning vehicle
US10984261B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
JP7052174B2 (ja) 将来経路を推定するシステム及び方法
US11249474B2 (en) Safety of autonomous vehicles using a virtual augmented support environment
US10926763B2 (en) Recognition and prediction of lane constraints and construction areas in navigation
US11333506B2 (en) Computer-vision based positioning for augmented reality navigation
CN106796648B (zh) 用于检测对象的系统和方法
US9619719B2 (en) Systems and methods for detecting traffic signs
WO2015189847A1 (en) Top-down refinement in lane marking navigation
JP2023504028A (ja) マップデータの更新
US11448518B2 (en) Augmented reality navigational overlay
US20210295058A1 (en) Apparatus, method, and computer program for identifying state of object, and controller
CN114945952A (zh) 使用神经网络从相机图像和已知深度数据生成深度
US20230222671A1 (en) System for predicting near future location of object
EP3859390A1 (en) Method and system for rendering a representation of an evinronment of a vehicle
KR102181589B1 (ko) 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템
US20220383645A1 (en) Rendering system, display system, moving vehicle, rendering method, and non-transitory storage medium
CN111975775A (zh) 基于多角度视觉感知的自主机器人导航方法及系统
JP2022146384A (ja) 物体検出装置
CN117382667A (zh) 虚拟场驾驶相关操作

Legal Events

Date Code Title Description
GRNT Written decision to grant