KR20240019041A - 착용형 헬멧에서의 운전 보조 안내 제공 방법, 운전보조 안내 제공 장치, 착용형 헬멧 및 프로그램 - Google Patents

Abstract

본 발명에 따른 착용형 헬멧에서의 운전 보조 안내 제공 방법은 운전자의 주행 과정에서 안내의 필요 여부를 판단하는 단계, 운전자가 운전하는 이동체의 주행 영상을 획득하는 단계, 안내가 필요하다고 판단된 경우, 주행 영상을 기초로 운전자의 운전을 보조(assist)하기 위한 안내 정보를 생성하는 단계 및 착용형 헬멧을 통해 상기 생성된 안내 정보를 표시하는 단계를 포함한다.

Description

착용형 헬멧에서의 운전 보조 안내 제공 방법, 운전 보조 안내 제공 장치, 착용형 헬멧 및 프로그램{Method, apparatus, and program for providing image-based driving assistance guidance in wearable helmet}

본 발명은 영상을 이용하여 이동체의 안전 운전에 도움이 되는 안내 정보를 생성하여 제공하는 기술에 관한 것이다.

자동차에 비해 친환경적일 뿐만 아니라 주차와 중단거리 주행에서 강점을 가지는 전동 킥보드, 전기 자전거, 나인봇-전동휠, 전기 오토바이 등과 같은 퍼스널 모빌리티(personal mobility : 이하, PM)가 미래 교통 수단으로 주목받고 있다.

또한, 최근에는, 퍼스널 모빌리티 공유 서비스 등이 활성화됨에 따라, 도로나 인도에서 퍼스널 모빌리티를 이용하는 사용자가 많아지고 있다.

이와 같이, 퍼스널 모빌리티의 이용률이 높아지면서 퍼스널 모빌리티의 안전에 대한 문제가 대두되고 있고, 이를 해결하기 위한 일 방안으로 종래 자동차에 사용되던 첨단 운전자 지원 시스템(Advanced Driver Assistance Systems : ADAS)을 HUD(Head Up Display) 방식으로 퍼스널 모틸리티에 적용하는 것이 논의되고 있다.

다만, 자동차의 전방유리(windshield)를 통해 HUD를 표시하는 것과 다르게, 오토바이나 킥보드와 같은 퍼스널 모빌리티는 운전자가 착용한 헬멧을 통해 HUD로 표시하기에, 종래 자동차에 적용되던 운전 보조 안내 제공 방법은 퍼스널 모빌리티에 적용하기 어렵다.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 이동체 운전자의 운전을 보조하는 안내 정보를 생성하고, 생성된 안내 정보를 착용형 헬멧을 통해 표시하는 착용형 헬멧에서의 운전 보조 안내 제공 방법, 운전 보조 안내 제공 장치, 착용형 헬멧 및 프로그램을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 착용형 헬멧에서의 운전 보조 안내 제공 방법은 운전자의 주행 과정에서 안내의 필요 여부를 판단하는 단계, 상기 운전자가 운전하는 이동체의 주행 영상을 획득하는 단계, 상기 안내가 필요하다고 판단된 경우, 상기 주행 영상을 기초로 상기 운전자의 운전을 보조(assist)하기 위한 안내 정보를 생성하는 단계 및 상기 착용형 헬멧을 통해 상기 생성된 안내 정보를 표시하는 단계를 포함한다.

그리고, 상기 안내는 상기 이동체의 전방에 대한 안내 및 후방에 대한 안내를 포함하고, 상기 안내가 필요하다고 판단하는 단계는, 상기 이동체의 속도 정보, 상기 이동체의 방향 지시등 정보, 상기 이동체의 스티어링 조작 정보, 상기 운전자의 머리 회전 방향 정보 및 상기 이동체의 주변 객체 정보 중 적어도 하나를 기초로 상기 전방에 대한 안내 및 상기 후방에 대한 안내 중 적어도 하나의 안내의 필요 여부를 판단할 수 있다.

또한, 상기 안내 정보를 생성하는 단계는, 상기 후방에 대한 안내가 필요하다고 판단된 경우, 상기 이동체의 후방 주행 영상을 수직 방향으로 플립(flip)하고, 상기 플립된 후방 주행 영상을 포함하는 안내 정보를 생성할 수 있다.

그리고, 상기 생성된 안내 정보를 표시하는 단계는, 상기 운전자의 시야의 외측에 상기 플립된 후방 주행 영상을 포함하는 안내 정보를 표시할 수 있다.

또한, 상기 안내 정보를 생성하는 단계는, 상기 전방에 대한 안내가 필요하다고 판단된 경우, 상기 착용형 헬멧의 디스플레이의 관측 시야와 상기 주행 영상을 촬영하는 촬영 장치의 관측 시야를 비교하는 단계 및 상기 비교 결과에 따라 상기 착용형 헬멧의 디스플레이의 관측 시야와 상기 촬영 장치의 관측 시야 사이의 중첩 영역과 비중첩 영역을 판단하는 단계를 더 포함할 수 있다.

그리고, 상기 안내 정보를 생성하는 단계는, 상기 중첩 영역과 비중첩 영역을 구분하여 상기 주행 영상으로부터 안내 대상이 되는 안내 객체를 검출하는 단계를 더 포함할 수 있다.

또한, 상기 안내 정보를 생성하는 단계는, 상기 검출된 안내 객체의 타입 정보, 상기 안내 객체의 영상 위치 정보, 상기 안내 객체까지의 거리 및 관측 시야 위치 정보 중 적어도 하나를 기초로 상기 안내 정보를 생성하는 단계를 더 포함할 수 있다.

그리고, 상기 생성된 안내 정보를 표시하는 단계는, 상기 이동체의 좌표계와 상기 착용형 헬멧의 좌표계 사이의 상관 관계 값을 산출하는 단계를 더 포함할 수 있다.

또한, 상기 생성된 안내 정보를 표시하는 단계는, 상기 상관 관계 값을 기초로 상기 안내 정보의 매핑 위치를 결정하는 단계 및 상기 결정된 매핑 위치에 상기 안내 정보를 위치시키는 단계를 포함할 수 있다.

그리고, 상기 생성된 안내 정보를 표시하는 단계는, 상기 안내 객체와 관련된 위치에 상기 생성된 안내 정보를 표시할 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 착용형 헬멧에서의 운전 보조 안내 제공 장치는 운전자의 주행 과정에서 안내의 필요 여부를 판단하는 판단부, 상기 운전자가 운전하는 이동체의 주행 영상을 획득하는 영상 획득부, 상기 안내의 필요 시, 상기 주행 영상을 기초로 상기 운전자의 운전을 보조(assist)하기 위한 안내 정보를 생성하는 생성부 및 상기 착용형 헬멧을 통해 상기 생성된 안내 정보를 표시하는 표시부를 포함한다.

그리고, 상기 안내는 상기 이동체의 전방에 대한 안내 및 후방에 대한 안내를 포함하고, 상기 안내가 필요하다고 판단하는 판단부는, 상기 이동체의 속도 정보, 상기 이동체의 방향 지시등 정보, 상기 이동체의 스티어링 조작 정보, 상기 운전자의 머리 회전 방향 정보 및 상기 이동체의 주변 객체 정보 중 적어도 하나를 기초로 상기 전방에 대한 안내 및 상기 후방에 대한 안내 중 적어도 하나의 안내의 필요 여부를 판단할 수 있다.

또한, 상기 안내 정보를 생성하는 생성부는, 상기 후방에 대한 안내가 필요하다고 판단된 경우, 상기 이동체의 후방 주행 영상을 수직방향으로 플립(flip)하고, 상기 플립된 후방 주행 영상을 포함하는 안내 정보를 생성할 수 있다.

그리고, 상기 생성된 안내 정보를 표시하는 표시부는, 상기 운전자의 시야의 외측에 상기 플립된 후방 주행 영상을 포함하는 안내 정보를 표시할 수 있다.

또한, 상기 안내 정보를 생성하는 생성부는, 상기 전방에 대한 안내가 필요하다고 판단된 경우, 상기 착용형 헬멧의 디스플레이의 관측 시야와 상기 주행 영상을 촬영하는 촬영 장치의 관측 시야를 비교하고, 상기 비교 결과에 따라 상기 착용형 헬멧의 디스플레이의 관측 시야와 상기 촬영 장치의 관측 시야 사이의 중첩 영역과 비중첩 영역을 판단하는 관측 시야 비교부를 포함할 수 있다.

그리고, 상기 안내 정보를 생성하는 생성부는, 상기 중첩 영역과 비중첩 영역을 구분하여 상기 주행 영상으로부터 안내 대상이 되는 안내 객체를 검출하는 검출부를 더 포함할 수 있다.

또한, 상기 안내 정보를 생성하는 생성부는, 상기 검출된 안내 객체의 타입 정보, 상기 안내 객체의 영상 위치 정보, 상기 안내 객체까지의 거리 및 관측 시야 위치 정보 중 적어도 하나를 기초로 상기 안내 정보를 생성하는 안내 정보 생성부를 더 포함할 수 있다.

그리고, 상기 생성된 안내 정보를 표시하는 표시부는, 상기 이동체의 좌표계와 상기 착용형 헬멧의 좌표계 사이의 상관 관계 값을 산출할 수 있다.

또한, 상기 생성된 안내 정보를 표시하는 표시부는, 상기 상관 관계 값을 기초로 상기 안내 정보의 매핑 위치를 결정하고, 상기 결정된 매핑 위치에 상기 안내 정보를 위치시킬 수 있다.

그리고, 상기 생성된 안내 정보를 표시하는 표시부는, 상기 안내 객체와 관련된 위치에 상기 생성된 안내 정보를 표시할 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 착용형 헬멧은 운전자의 시야에 위치한 글래스부, 주행 영상을 획득하는 주행 영상 획득부, 운전자의 주행 과정에서 안내의 필요 여부를 판단하는 판단부, 상기 안내의 필요 시, 상기 주행 영상을 기초로 상기 운전자의 운전을 보조하는 안내 정보를 생성하는 생성부 및 상기 생성된 안내 정보를 상기 글래스부에 표시하는 표시부를 포함한다.

그리고, 상기 주행 영상은, 이동체에 구비된 촬영 장치에서 촬영된 영상 또는 상기 착용형 헬멧에 구비된 촬영 장치에서 촬영된 영상일 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨터 판독 가능한 기록 매체는 상술한 운전 보조 안내 제공 방법을 수행하는 프로그램이 저장될 수 있다.

또한, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램은 상술한 운전 보조 안내 제공 방법을 실행하기 위한 프로그램 코드를 포함할 수 있다.

본 발명의 다양한 실시 예에 따르면, 착용형 헬멧을 착용한 운전자 시야의 최적의 위치에 안내 정보를 표시할 수 있다.

또한, 본 발명의 다양한 실시 예에 따르면, 착용형 헬멧을 착용한 운전자의 시야에 전방의 안내 대상에 대한 안내 정보를 제공함으로써, 운전자의 안전성 및 편의성을 높일 수 있다.

또한, 본 발명의 다양한 실시 예에 따르면, 플립된 후방 영상을 통해 후방에 대한 안내 정보를 제공함으로써, 운전자가 후방에서 근접하는 차량 등을 감지하지 못하여 큰 사고로 이어지는 문제를 해결할 수 있다.

도 1은 본 발명의 일 실시예에 따른 운전 보조 안내 제공 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 착용형 헬멧의 디스플레이의 관측 시야와 촬영 장치의 관측 시야를 나타낸 예시도이다.
도 3과 도 4는 본 발명의 일 실시예에 따른 이동체의 좌표계와 착용형 헬멧의 좌표계 간의 상관 관계를 나타낸 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 착용형 헬멧에서의 운전 보조 안내 제공 방법을 나타내는 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 착용형 헬멧에서의 전방 운전 보조 안내 제공 방법을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 안내 정보를 착용형 헬멧을 통해 표시하는 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 착용형 헬멧에서의 후방 운전 보조 안내 제공 방법을 나타내는 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 착용형 헬멧을 나타내는 블록도이다.
도 10 내지 12는 본 발명의 일 실시 예에 따른 안내 정보 표시의 구현 예를 나타낸 도면이다.

이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시 되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이외같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.

또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 운전 보조 안내 제공 장치를 나타낸 블록도이다. 도 1을 참조하면, 운전 보조 안내 제공 장치(10)는 영상 획득부(11), 판단부(12), 생성부(13), 표시부(14)의 일부 또는 전부를 포함할 수 있다. 여기서, 운전 보조 안내 제공 장치(10)는 착용형 헬멧을 착용한 이동체 운전자의 시야에 가시화되는 다양한 안내 정보의 생성 및 표시 기능을 수행할 수 있다. 이때, 다양한 안내 정보는 헬멧 내 설치된 디스플레이에 표시될 수 있으며, 디스플레이는 투명한 형태로 헬멧의 쉴드와 이격되어 헬멧의 쉴드 일부 또는 전체가 중첩되도록 설치될 수 있다.

이동체는 이동 가능한 동적 객체로, 차량, 오토바이, 보행자, 킥보드, 자전거, 퍼스널 모빌리티 등일 수 있다. 특히, 바람직하게는, 이동체는 주행 시 헬멧 착용이 필요한 동적 객체일 수 있다.

영상 획득부(11)는 이동체의 자체 촬영 장치나 별도의 촬영 장치에서 촬영된 주행 영상을 획득할 수 있다. 일 예로, 영상 획득부(11)는 이동체의 주행 중에 이동체에 설치된 촬영 장치에서 촬영된 주행 영상을 실시간으로 획득할 수 있다. 다른 예로, 영상 획득부(11)는 이동체의 주행 중에 이동체 사용자가 구비한 촬영 장치(예를 들어, 착용형 헬멧에 설치된 촬영 장치, 착용자가 손으로 들고 있는 촬영 장치 등)에서 촬영된 주행 영상을 실시간으로 획득할 수 있다.

여기서, 상술한 촬영 장치는 이동체의 전방의 주행 영상을 촬영하는 제1 촬영 장치와 전방 이외의 주행 영상을 촬영하는 적어도 하나의 제2 촬영 장치를 포함할 수 있다.

이에 따라, 영상 획득부(11)는 이동체의 전방 주행 영상과 전방 이외의 주행 영상을 획득할 수 있다.

그리고, 영상 획득부(11)에서 획득된 주행 영상에는 보행자, 오토바이, 차량 등과 같은 동적 객체와 고정 설치된 구조물 등과 같은 정적 객체가 포함될 수 있다.

판단부(12)는 운전자의 주행 과정에서 안내의 필요 여부를 판단할 수 있다. 여기서, 안내에는 전방 안내 및 후방 안내를 포함할 수 있다.

구체적으로, 판단부(12)는 이동체의 속도 정보, 이동체의 방향 지시등 정보, 이동체의 스티어링 조작 정보, 운전자 머리의 회전 방향 정보 및 주변 장애물 정보 중 적어도 하나를 기초로 해당 운전자에게 전방 안내 및 후방 안내 중 적어도 하나의 안내의 필요 여부를 판단할 수 있다.

일 예로, 판단부(12)는 이동체의 속도 정보를 기초로 이동체의 속도가 기 설정된 최저 속도보다 낮거나 또는 이동체의 속도가 기 설정된 최고 속도보다 높은 경우, 전방 안내 및 후방 안내 중 적어도 하나가 필요하다고 판단할 수 있다.

다른 예로, 판단부(12)는 이동체의 방향 지시등 정보를 기초로 이동체의 좌측 회전 및 우측 회전 각각에 대응되는 방향 지시등의 온(On) 또는 오프(Off)를 판단하고, 방향 지시등의 온(On)으로 판단된 경우 후방 안내가 필요하다고 판단할 수 있다.

또 다른 예로, 판단부(12)는 이동체의 스티어링 조작 정보를 기초로 이동체의 좌측 회전 또는 우측 회전을 판단하고, 좌측 또는 우측 회전으로 판단된 경우 후방 안내가 필요하다고 판단할 수 있다.

또 다른 예로, 판단부(12)는 주변 객체 정보를 기초로 이동체의 전방에 객체가 존재하는지 여부를 판단하고, 객체가 존재하는 경우 전방 안내가 필요하다고 판단할 수 있다.

또 다른 예로, 판단부(12)는 방향 지시등의 오프(off) 상태에서 스티어링 휠 각도 또는 이동체의 주행 방향에 따라 이동체가 차선을 벗어나거나 또는 이동체가 차선 변경을 하기 위한 조건에 대응될 경우, 후방 안내가 필요하다고 판단할 수 있다.

또한, 판단부(12)는 영상 획득부(11)에서 주행 영상을 획득하는데 이용되는 촬영 장치의 설치 위치에 따라 판단 방식을 다르게 하여 안내의 필요 여부를 판단할 수도 있다.

예를 들어, 촬영 장치가 헬멧에 부착된 경우, 판단부(12)는 사용자의 시선 방향 변화에 따라 후방 안내가 필요하다고 판단할 수 있다. 이때, 시선 방향 변화는 사용자의 눈동자의 이동 방향을 추적하여 사용자의 시선 방향 변화를 감지하는 헬멧 내 센서를 이용하여 획득될 수 있다.

다른 예로, 촬영 장치가 이동체에 부착된 경우, 판단부(12)는 이동체의 방향 지시등에 따라 후방 안내가 필요하다고 판단하거나 또는 이동체가 정차하는 경우에 후방 안내 또는 전방 안내가 필요하다고 판단할 수 있다.

여기서, 주변 객체 정보는 이동체 주변에 위치하는 타 이동체나 보행자 등과 같은 객체일 수 있고, 후술할 검출부(13-2)에서 주행 영상으로부터 객체가 검출됨에 따라 주변 객체 정보가 생성될 수 있다.

또한, 이동체의 속도 정보는 위성 위치 측정 시스템(GNSS : Global Navigation Satellite System)을 통하여 획득된 위치 정보를 기초로 산출되거나 또는 이동체의 ECU(Electronic Control Unit)로부터 획득된 속도값을 기초로 산출되거나 또는 속도 센서의 센싱값을 기초로 산출될 수 있다.

또한, 이동체의 방향 지시등 정보는 이동체의 ECU(Electronic Control Unit)로부터 획득된 데이터를 기초로 산출되거나, 방향 지시등 음성 감지 센서의 센싱값을 기초로 산출될 수 있다. 그리고, 이동체의 스티어링 조작 정보는 이동체의 ECU로부터 획득된 데이터를 기초로 산출되거나 자이로 센서와 같은 스티어링 회전 감지 센서의 센싱값을 기초로 산출될 수 있다. 또한, 운전자 머리의 회전 방향 정보는 자이로 센서와 같은 머리 회전 감지 센서의 센싱값을 기초로 산출될 수 있다.

한편, 판단부(12)에서 안내가 필요하다고 판단된 경우, 생성부(13)는 운전자의 운전을 보조하는 안내 정보를 생성할 수 있다. 여기서, 안내 정보는 운전자 안내를 위하여 운전자의 시야에 표시되는 그래픽, 아이콘, 영상, 텍스트 등 다양한 형상의 표출 정보를 포함할 수 있다. 또한, 안내 정보는 운전자가 소리로 확인할 수 있는 음성 정보를 포함할 수 있다.

이러한 생성부(13)는 판단부(12)에서 전방 안내가 필요하다고 판단된 경우 전방 안내 정보를 생성하고, 판단부(12)에서 후방 안내가 필요하다고 판단된 경우 후방 안내 정보를 생성할 수 있다. 여기서, 생성부(13)에서 생성된 전방 안내 정보와 후방 안내 정보는 판단부(12)의 판단에 따라 서로 다른 시점에 표시되거나 또는 서로 동일한 시점에 표시될 수 있다.

여기서, 생성부(13)는 관측 시야 비교부(13-1), 검출부(13-2), 안내 정보 생성부(13-3)을 포함할 수 있다.

구체적으로, 전방 안내가 필요하다고 판단된 경우, 관측 시야 비교부(13-1)는 착용형 헬멧의 디스플레이의 관측 시야와 전방 주행 영상을 촬영하는 촬영 장치의 관측 시야를 비교하고, 비교 결과에 따라 착용형 헬멧의 디스플레이의 관측 시야와 촬영 장치의 관측 시야 사이의 중첩 영역과 비중첩 영역을 판단할 수 있다. 이에 대해서는 도 2를 참조하여 보다 구체적으로 설명하기로 한다.

도 2(a)는 착용형 헬멧의 디스플레이의 관측 시야를 나타내는 도면이고, 도 2(b)는 촬영 장치의 관측 시야를 나타내는 도면이다. 여기서, 관측 시야는 FOV(Field Of View)를 의미할 수 있고, 착용형 헬멧의 디스플레이의 관측 시야는 착용형 헬멧의 HUD(Head Up display)의 관측 시야를 의미할 수 있다.

이러한 착용형 헬멧의 디스플레이의 관측 시야는 착용형 헬멧을 착용한 운전자의 시야에 각종 정보를 표시하는 범위를 나타내고, 도 2(a)와 도 2(b)와 같이, 통상적으로 촬영 장치의 관측 시야 보다 작을 수 있다.

도 2(c)는 착용형 헬멧의 디스플레이의 관측 시야와 촬영 장치의 관측 시야를 비교한 도면으로, 관측 시야 비교부(13-1)는 도 2(a)에 도시된 착용형 헬멧의 디스플레이의 관측 시야와 도 2(b)에 도시된 전방 주행 영상을 촬영하는 촬영 장치의 관측 시야를 비교하고, 비교 결과에 따라 관측 시야의 중첩 영역(20b)과 관측 시야의 비중첩 영역(20a)을 판단할 수 있다.

여기서, 비중첩 영역(20a)은 전방 주행 영상을 촬영하는 촬영 장치의 관측 시야에서 디스플레이의 관측 시야를 제외한 영역으로, 도 2(c)의 빗금으로 구분된 영역일 수 있다.

여기서, 중첩 영역(20b)과 비중첩 영역(20a)은 촬영 장치의 관측 시야의 기준점(일 예로, 촬영 장치의 광학적 중심(optical center))의 변화와 착용형 헬멧 디스플레이의 관측 시야의 기준점(일 예로, 관측 시야의 중심)의 변화에 따라 실시간으로 달라질 수 있다.

일 예로, 착용형 헬멧을 착용한 운전자가 촬영 장치가 구비된 이동체를 타고 주행 중인 상황에서 머리(head)를 Roll 방향, Yaw 방향 및 Pitch 방향 중 적어도 하나 방향으로 회전하는 경우, 중첩 영역(20b)과 비중첩 영역(20a)은 달라질 수 있다.

한편, 헬멧 내 설치된 디스플레이와 헬멧의 쉴드의 관측 시야가 다른 경우(예로 디스플레이 크기와 헬멧의 쉴드의 크기가 달라 일부만 서로 중첩되는 경우)에는 헬멧 쉴드의 관측 시야도 고려하여 비중첩 영역을 판단할 수도 있다.

도 2(d)는 착용형 헬멧의 디스플레이의 관측 시야, 촬영 장치의 관측 시야 및 헬멧 쉴드의 관측 시야를 비교한 도면으로, 관측 시야 비교부(13-1)는 헬멧의 디스플레이의 관측 시야와 전방 주행 영상을 촬영하는 촬영 장치의 관측 시야를 비교하고, 헬멧 쉴드의 관측 시야를 고려하여 관측 시야의 중첩 영역(20b 및 20c)과 관측 시야의 비중첩 영역(20a)을 판단할 수 있다.

여기서, 중첩 영역(20b 및 20c)은 디스플레이의 관측 시야를 포함하는 헬멧 쉴드의 관측 시야이며, 비중첩 영역(20a)은 전방 주행 영상을 촬영하는 촬영 장치의 관측 시야에서 디스플레이의 관측 시야와 헬멧 쉴드의 관측 시야를 제외한 영역으로, 도 2(d)의 빗금으로 구분된 영역일 수 있다.

즉, 디스플레이와 헬멧 쉴드의 관측 시야가 차이가 나는 경우, 관측 시야 비교부(13-1)는 헬멧 쉴드의 관측 시야를 추가로 고려하여 착용형 헬멧의 디스플레이의 관측 시야와 촬영 장치의 관측 시야 사이의 중첩 영역과 비중첩 영역을 판단할 수 있다. 이하에서는 디스플레이와 헬멧 쉴드의 관측 시야가 동일한 경우를 기준으로 설명한다.

한편, 검출부(13-2)는 주행 영상 획득부(11)에서 획득된 주행 영상을 기초로 안내 대상이 되는 안내 객체를 검출할 수 있다.

구체적으로, 관측 시야 비교부(13-1)에서 중첩 영역(20b)과 비중첩 영역(20a)이 판단되면, 검출부(13-2)는 주행 영상으로부터 중첩 영역(20b)의 안내 객체(21, 22)와 비중첩 영역(20a)의 안내 객체(23, 24)를 구분하여 검출할 수 있다.

이 경우, 검출부(13-2)는 신경망 모델을 이용하여 주행 영상 내 안내 객체를 검출할 수 있다. 일 예로, 검출부(13-2)는 주행 영상을 프레임(frame) 단위로 신경망 모델에 입력하고, 주행 영상 내 안내 객체의 영역을 나타내는 바운딩 박스(bounding box) 및 바운딩 박스에 대응되는 안내 객체의 타입 정보가 포함된 주행 영상을 획득할 수 있다. 여기서, 신경망 모델은, 일 예로, CNN 네트워크를 기반으로 하는 객체 인식 모델로 SSD(Single shot multibox detector) 알고리즘이 이용될 수 있으며, 이외에도 RefineDet, YOLO(You Only Look Once) 등의 여러 알고리즘이 이용될 수 있다.

한편, 검출부(13-2)에서 검출된 안내 객체는 상술한 동적 객체 및 정적 객체를 포함할 수 있다.

한편, 상술한 검출부(13-2)의 동작에 따라, 안내 객체의 타입 정보, 안내 객체의 영상 위치 정보 및 안내 객체의 관측 시야 위치 정보 중 적어도 하나가 생성될 수 있다.

여기서, 안내 객체의 타입 정보는 안내 객체의 종류(예를 들어, 차량, 표지판, 보행자 등)를 식별 가능하게 하는 정보일 있다. 그리고, 안내 객체의 영상 위치 정보는 주행 영상 내에서 안내 객체의 위치를 나타내는 정보일 수 있다. 그리고, 안내 객체의 관측 시야 위치 정보는 안내 객체가 중첩 영역에 위치하는지 또는 비중첩 영역에 위치하는지를 나타내는 정보일 수 있다.

한편, 검출부(13-2)는 검출된 안내 객체들 중 이동체와 추돌 가능성이 있는 객체를 안내 객체를 최종 안내 대상으로 선정하도록 구현될 수도 있다. 이 때, 검출부(13-2) 인접한 객체들과 이동체의 속도 정보, 위치 정보, 거리 정보, 방향 정보 중 적어도 하나 이상을 기초로 인접 객체들과의 추돌 가능성을 각각 산출할 수 있다.

또 다른 실시 예로, 검출부(13-2)는 이동체의 주행 영상 내에 존재하는 객체들 중 상기 이동체의 주행에 영향을 미칠 수 있는 객체를 안내 객체로 선택할 수도 있다.

한편, 안내 정보 생성부(13-3)는 운전자의 운전 또는 이동체의 주행을 보조하기 위한 안내 정보를 생성할 수 있다. 여기서, 이동체의 주행 중 전방 안내를 위한 전방 안내 정보 및 이동체의 주행 중 후방 안내를 위한 후방 안내 정보를 포함할 수 있다.

이러한 안내 정보는 그래픽, 아이콘, 영상, 텍스트 등 다양한 형상의 표출 정보 및 운전자가 소리로 확인할 수 있는 음성 정보를 포함할 수 있다.

일 예로, 판단부(12)에서 후방 안내가 필요하다고 판단된 경우, 안내 정보 생성부(13-3)는 후방 주행 영상을 수직방향으로 플립(flip)하고, 플립된 후방 주행 영상을 포함하는 안내 정보를 생성할 수 있다.

구체적으로, 안내 정보 생성부(13-3)는 후방 주행 영상 내 수직방향의 가상의 중심축을 생성하고, 가상의 중심축을 기초로 좌우로 반전되도록 후방 주행 영상을 플립할 수 있다.

예를 들어, 안내 정보 생성부(13-3)는 도 12(a)와 같은 후방 주행 영상을 수직방향으로 플립하여 도 12(b)와 같은 후방 주행 영상으로 변환할 수 있다. 여기서, 플립 후 후방 주행 영상(도 12(b))은 플립 전 후방 주행 영상(도 12(a))과 서로 좌우 대칭인 형태일 수 있다.

이 경우, 표시부(14)는 착용형 헬멧을 착용한 운전자의 시야에 플립된 후방 주행 영상을 포함하는 안내 정보를 표시할 수 있다. 이러한 후방 안내의 일 예시는 도 11과 같을 수 있다.

다른 예로, 판단부(12)에서 전방 안내가 필요하다고 판단된 경우, 안내 정보 생성부(13-3)는 검출부(13-2)에서 검출된 안내 객체의 타입 정보, 영상 위치 정보 및 관측 시야 위치 정보 중 적어도 하나를 기초로 안내 정보를 생성할 수 있다.

구체적으로, 안내 정보 생성부(13-3)는 안내 객체가 중첩 영역에 위치하는 경우, 영상 위치 정보를 기초로 안내 객체 위치에 정보를 나타내는 안내 정보를 생성할 수 있다. 여기서, 안내 객체의 위치는 주행 영상 내에서 표시되는 안내 객체의 위치일 수 있다. 그리고, 안내 정보의 형태는 안내 객체의 타입 정보에 따라 안내 객체의 타입을 이미지화한 심볼들로 표시함으로써, 그 표시 형태가 상이할 수 있다. 일 예로, 안내 객체가 차량인 경우, 안내 정보는 차량 형태의 그래픽 이미지일 수 있고, 안내 객체가 보행자인 경우, 안내 정보는 보행자 형태의 그래픽 이미지일 수 있으며, 안내 객체가 주행 표지판인 경우, 안내 정보는 표지판 형태의 그래픽 이미지일 수 있다.

또한, 안내 정보 생성부(13-3)는 안내 객체가 비중첩 영역에 위치하는 경우, 관측 시야 위치 정보 및 영상 위치 정보를 기초로 비중첩 영역 중 안내 객체가 위치하는 방향에 대응되는 위치에 정보를 나타내는 안내 정보를 생성할 수 있다.

이 경우, 표시부(14)는 착용형 헬멧을 착용한 운전자의 시야에 안내 정보를 표시할 수 있다. 이러한 전방 안내의 일 예시는 도 10과 같을 수 있다.

즉, 상술한 바와 같이, 표시부(14)는 안내 정보 생성부(13-3)에서 생성된 안내 정보를 착용형 헬멧을 착용한 운전자의 시야에 표시할 수 있다. 여기서, 표시부(14)는, 일 예로, 착용형 헬멧의 HUD로 구현될 수 있다.

단, 이 때, 운전자의 머리에 착용되는 착용형 헬멧의 좌표계와 이동체에 구비된 촬영 장치의 좌표계 간의 상관 관계를 고려하지 않는다면, 표시부(14)는 생성부(13)에서 생성된 안내 정보를 착용형 헬멧을 착용한 운전자 시야의 적절한 위치에 표시하지 못하게 된다. 특히, 후방 주행 영상을 플립하여 표시하는 후방 안내와 달리, 전방에 위치한 안내 객체의 위치에 그래픽 등의 형태로 안내 정보를 표시하는 전방 안내의 경우, 좌표계 간의 상관 관계가 고려되지 않는다면, 정확한 위치에 안내 정보가 표시될 수 없다.

이에 따라, 본 발명에 따른 표시부(14)는 이동체의 좌표계와 착용형 헬멧의 좌표계 간의 상관 관계 값을 산출하고, 산출된 상관 관계 값을 이용하여 생성부(13)에서 생성된 안내 정보의 매핑 위치를 결정하며, 결정된 매핑 위치에 안내 정보를 위치시킴으로써 운전자의 시야의 최적의 위치에 안내 정보를 표시할 수 있다. 여기서, 상관 관계 값은 물체에 대한 2차원 이미지 좌표들 사이 또는 3차원 카메라 좌표들 사이의 매핑 관계(변환 관계)를 나타낸 것으로 행렬(matrix)의 형태일 수 있다. 이러한 표시부(14)의 동작에 대해서는 도 3 내지 4를 참조하여 보다 구체적으로 설명하기로 한다.

도 3과 도 4는 본 발명의 일 실시예에 따른 이동체의 좌표계와 착용형 헬멧의 좌표계 간의 상관 관계를 나타낸 예시도이다.

도 3을 참조하면, 일 예로, 착용형 헬멧(200)의 좌표계(201)는 HUD의 좌표계를 의미할 수 있고, 이동체(30)의 좌표계(31)는 이동체(30)에 구비된 촬영 장치의 좌표계를 의미할 수 있다. 이 때, 착용형 헬멧(200)의 좌표계(201)의 기준점은 착용형 헬멧(200)을 착용한 운전자의 시야 중심일 수 있고, 이동체(30)의 좌표계(31)의 기준점은 촬영 장치의 광학적 중심(optical center)일 수 있다.

그리고, 상관 관계 값(H)은 착용형 헬멧(200)을 착용한 운전자 시야(202)와 이동체(30)의 촬영 장치에서 촬영된 이미지(32)의 매칭쌍()들 사이의 기하학적 관계를 나타낼 수 있다. 이 경우, 표시부(140)는 검출부(13-2)에서 검출된 안내 객체의 형상에 따라 상관 관계 값의 산출 방식을 다르게 결정할 수 있다.

일 예로, 검출부(13-2)에서 검출된 안내 객체가 평면형 물체(예를 들어, 안내 표지판 등)인 경우, 표시부(14)는 평면 물체 간의 매칭 쌍(pairs)을 기초로 DLT(Direct Linear Transformation) 알고리즘(algorithm)을 이용하여 상관 관계 값(또는 호모그래피(Homography))을 산출할 수 있다.

다른 예로, 안내 객체가 3차원의 부피를 갖는 입체형 물체(예를 들어, 차량, 보행자 등)인 경우, 표시부(14)는 기초행렬(Fundamental matrix) 또는 기본 행렬(Essential matrix)을 상관 관계 값으로 산출할 수 있다. 여기서, 기본 행렬(Essential matrix)은 정규화된 이미지 평면에서의 매칭 쌍들 사이의 기하학적 관계를 설명하는 행렬로써, 카메라 내부 파라미터 행렬인 K가 제거된 좌표계에서의 변환 관계를 나타낸 것이다. 또한, 기초 행렬(Fundamental matrix)는 카메라 파라미터까지 포함한 두 이미지의 실제 픽셀(pixel) 좌표 사이의 기하학적 관계를 나타내는 행렬이다.

또 다른 예로, 표시부(14)는 착용형 헬멧(200)과 이동체(30)에 설치된 촬영 장치 간의 위치 차이를 상관 관계 값으로 산출하여 이용할 수도 있다.

한편, 표시부(14)는 산출된 상관 관계 값을 이용하여 안내 정보의 매핑 위치를 결정할 수 있다. 구체적으로 표시부(14)는 생성부(13)에서 생성된 안내 정보의 주행 영상 내 매핑 위치에 산출된 상관 관계 값을 적용하여 착용형 헬멧을 착용한 운전자 시야 내 안내 정보의 매핑 위치를 결정할 수 있다.

그리고, 표시부(14)는 결정된 매핑 위치에 안내 정보를 위치시킴으로써 운전자의 시야의 최적의 위치에 안내 정보를 표시할 수 있다.

일 예로, 표시부(14)는 운전자의 시야의 안내 객체의 위치에 생성부(13)에서 생성된 안내 정보를 표시할 수 있다.

이러한 본 발명의 일 실시 예에 따른 운전 보조 안내 제공 장치(10)는 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 구현될 수 있다. 일 예로, 하드웨어적인 구현에 의하면, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(micro-processors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

이하에서는, 이후 도면을 참조하여 본 발명의 일 실시 예에 따른 운전 보조 안내 제공 방법에 대하여 상세히 설명하기로 한다.

도 5는 본 발명의 일 실시 예에 따른 운전 보조 안내 제공 방법을 나타내는 흐름도 이다. 도 5를 참조하면, 운전 보조 안내 제공 장치(10)는 운전자의 주행 과정에서 안내의 필요 여부를 판단하는 단계를 포함할 수 있다(S110). 여기서, 판단하는 단계는 이동체의 속도 정보, 이동체의 방향 지시등 정보, 이동체의 스티어링 조작 정보, 운전자 머리의 회전 방향 정보 및 주변 객체 정보 중 적어도 하나를 기초로 전방 안내 및 후방 안내 중 적어도 하나의 안내의 필요 여부를 판단할 수 있다. 그리고, 안내는 전방 안내 및 후방 안내를 포함할 수 있다.

그리고, 운전 보조 안내 제공 장치(10)는 안내의 필요 시 운전자의 운전을 보조하는 안내 정보를 생성하는 단계(S120) 및 생성된 안내 정보를 착용형 헬멧을 통해 표시하는 단계(S130)를 수행할 수 있다.

이하에서는 이 후 도면을 참조하여, 전방 안내와 후방 안내에 대하여 보다 상세히 설명하기로 한다.

도 6는 본 발명의 일 실시예에 따른 전방 운전 보조 안내 제공 방법을 나타낸 흐름도이다. 도 6을 참조하면, 먼저 운전 보조 안내 제공 장치(10)는 운전자의 주행 과정에서 전방 안내의 필요 여부를 판단할 수 있다(S210). 구체적으로, 운전 보조 안내 장치(10)는 이동체의 주변에 위치한 주변 객체 정보를 기초로 이동체의 전방에 타 이동체나 보행자 등의 동적 객체 및 표지판 등의 정적 객체가 존재하는지 여부를 판단하고, 전방에 객체가 존재하는 경우 전방 안내가 필요하다고 판단할 수 있다.

다음, 운전 보조 안내 제공 장치(10)는 착용형 헬멧의 디스플레이의 관측 시야와 주행 영상을 촬영하는 촬영 장치의 관측 시야를 비교할 수 있다(S220).

그리고, 운전 보조 안내 제공 장치(10)는 비교 결과에 따라 착용형 헬멧의 디스플레이의 관측 시야와 촬영 장치의 관측 시야 사이의 중첩 영역과 비중첩 영역을 판단할 수 있다(S230).

그리고, 운전 보조 안내 제공 장치(10)는 중첩 영역과 비중첩 영역을 구분하여 주행 영상으로부터 안내 대상이 되는 안내 객체를 검출할 수 있다(S240). 일 예로, 운전 보조 안내 제공 장치(10)는 신경망 모델을 이용하여 주행 영상 내 안내 객체를 검출할 수 있다. 이러한 검출 단계(S240)에 따라 안내 객체의 타입 정보, 안내 객체의 영상 위치 정보 및 안내 객체의 관측 시야 위치 정보 중 적어도 하나가 생성될 수 있다.

그리고, 운전 보조 안내 제공 장치(10)는 검출된 안내 객체의 타입 정보, 영상 위치 정보 및 관측 시야 위치 정보 중 적어도 하나를 기초로 안내 정보를 생성할 수 있다(S250).

그리고, 운전 보조 안내 제공 장치(10)는 생성된 안내 정보를 착용형 헬멧을 통해 표시할 수 있다(S260). 여기서 표시하는 단계(S260)에 대해서는 도 7을 참조하여 보다 상세히 설명하기로 한다.

도 7을 본 발명의 일 실시 예에 따른 생성된 안내 정보를 착용형 헬멧을 통해 표시하는 방법을 나타내는 흐름도이다. 도 7을 참조하면, 운전 보조 안내 제공 장치(10)는 이동체의 좌표계와 착용형 헬멧의 좌표계 사이의 상관 관계 값을 산출할 수 있다(S251). 여기서, 상관 관계 값(H)은 착용형 헬멧을 착용한 운전자 시야와 이동체의 촬영 장치에서 촬영된 이미지의 매칭쌍들 사이의 기하학적 관계를 나타낼 수 있다.

그리고, 운전 보조 안내 제공 장치(10)는 산출된 상관 관계 값을 기초로 안내 정보의 매핑 위치를 결정할 수 있다(S252). 구체적으로, 운전 보조 안내 제공 장치(100)는 생성된 안내 정보의 주행 영상 내 매핑 위치에 산출된 상관 관계 값을 적용하여 착용형 헬멧을 착용한 운전자 시야 내 안내 정보의 매핑 위치를 결정할 수 있다.

그리고, 운전 보조 안내 제공 장치(100)는 결정된 매핑 위치에 안내 정보를 위치시킬 수 있다(S253). 이에 따라, 착용형 헬멧을 통해 전방 안내를 표시할 수 있다.

도 8은 본 발명의 일 실시 예에 따른 후방 운전 보조 안내 제공 방법을 나타내는 흐름도이다. 도 8을 참조하면, 운전 보조 안내 제공 장치(10)는 운전자의 주행 과정에서 후방 안내의 필요 여부를 판단할 수 있다(S310).

일 예로, 운전 보조 안내 제공 장치(10)는 이동체의 방향 지시등 정보를 기초로 이동체의 좌측 회전 및 우측 회전 각각에 대응되는 방향 지시등의 온(On) 또는 오프(Off)를 판단하고, 방향 지시등의 온(On)으로 판단된 경우 후방 안내가 필요하다고 판단할 수 있다.

다른 예로, 운전 보조 안내 제공 장치(10)는 방향 지시등의 오프(off) 상태에서 스티어링 휠 각도 또는 이동체의 주행 방향에 따라 이동체가 차선을 벗어나거나 또는 이동체가 차선 변경을 하기 위한 조건에 대응될 경우, 후방 안내가 필요하다고 판단할 수 있다.

그리고, 후방 안내가 필요한 경우, 운전 보조 안내 제공 장치(10)는 후방 주행 영상을 수직 방향으로 플립(flip)하고(S320), 플립된 후방 주행 영상을 포함하는 안내 정보를 생성할 수 있다(S330).

그리고, 운전 보조 안내 제공 장치(100)는 생성된 안내 정보를 착용형 헬멧을 통해 표시할 수 있다(S340).

한편, 상술한 운전 보조 안내 제공 장치(10)는 각종 장치의 일 모듈로 구현되어, 착용형 헬멧을 착용한 운전자의 시야에 각종 안내 정보를 표시할 수 있다. 이에 대해서는 도 9를 참조하여 보다 구체적으로 설명하기로 한다.

도 9는 본 발명의 일 실시 예에 따른 착용형 헬멧을 나타내는 블록도이다. 도 9를 참조하면, 착용형 헬멧(200)은 글래스부(210), 제어부(220), 운전 보조 안내 제공부(230)의 전부 또는 일부를 포함할 수 있다.

운전 보조 안내 제공부(230)는 상술한 운전 보조 안내 장치(10)와 동일하게 동작할 수 있고, 특히 운전 보조 안내 제공부(230)의 영상 획득부(11)에서 획득된 영상은 이동체에 구비된 촬영 장치에서 촬영된 영상 또는 착용형 헬멧에 구비된 촬영 장치에서 촬영된 영상일 수 있다.

글래스부(210)는 착용형 헬멧에서 운전자의 시야가 향하는 방향에 위치하여, 운전자의 눈을 보호하는 기능을 수행한다. 이러한 글래스부(210)에는 운전 보조 안내 제공부(230)에서 생성된 안내 정보가 표시될 수 있고, 이에 따라 착용형 헬멧을 착용한 운전자의 시야에는 주행에 관련된 각종 안내 정보가 표시될 수 있다.

한편, 제어부(220)는 착용형 헬멧(200)의 동작을 제어할 수 있고, 특히 제어부(220)는 운전 보조 안내 제공부(230)를 제어하여 각종 안내 정보를 생성할 수 있다.

도 10은 본 발명의 일 실시 예에 따른 전방 안내 정보의 표시의 구현 예를, 도 11은 본 발명의 일 실시 예에 따른 후방 안내 정보의 표시의 구현 예를 나타내는 도면이다.

도 10은 참조하면, 운전 보조 안내 제공 장치(10,230)는 운전자의 전방 시야에 표시될 전방 안내 정보(51,52,53,54,55)를 생성하고, 생성된 전방 안내 정보(51,52,53,54,55)의 표출 위치를 결정하여 운전자의 전방 시야에 표시할 수 있다.

여기서, 제1 안내 정보(51,52,53)는 촬영 장치의 관측 시야와 착용형 헬멧의 디스플레이의 관측 시야의 중첩 영역에 위치한 안내 객체를 안내하는 정보로, 운전 보조 안내 제공 장치(10,230)는 중첩 영역에 위치한 안내 객체에 대해서는 안내 객체 타입 정보를 기초로 차량의 경우 충돌 주의를 나타내는 아이콘 형태로 제1 안내 정보를 표시할 수 있고, 안내 객체 위치 정보를 기초로 안내 객체의 위치에 제1 안내 정보를 표시할 수 있다. 도 10에 도시되지는 않았으나, 중첩 영역에 위치한 안내 객체의 타입 정보가 보행자나 표지판인 경우 전방 안내 정보(51,52,53)와는 다른 아이콘 형태로 안내 정보를 표시할 수도 있다.

또한, 도 10에서는 제1 안내 정보가 붉은색으로 표시되었으나, 색상은 이동체와 타 객체 사이의 거리에 따라 변경될 수 있다. 일 예로, 이동체와 안내 객체의 위치가 소정 거리 이내로 근접하면 붉은색으로 표시되고, 이동체와 안내 객체의 위치가 소정 거리 이상이면 초록색으로 표시될 수 있다.

또 다른 예로, 안내 객체가 이동체의 주행 경로 상에 위치하고, 이동체와의 충돌 가능한 경로에 위치할 경우. 상기 안내 객체에 대한 운전자의 주의를 높이기 위해 상기 안내 객체는 붉은색 등으로 표시될 수 있다. 반면, 안내 객체가 이동체의 주행 경로 상에 위치하지 않고, 이동체와의 충돌 가능한 경로에 위치하지 않는 경우. 상기 안내 객체를 초록색 등으로 표시하여, 충돌 가능성이 높은 안내 객체만을 주의하도록 운전자에게 안내함으로써, 충돌 가능성이 낮은 안내 객체들에 대해서는 운전자의 주의를 상대적으로 낮게 유지하도록 하는 것이 바람직할 것이다.

그리고, 또 다른 예로 안내 객체들은 모빌리티의 주행 중에는 모빌리티의 스티어링 휠 각도, 모빌리티의 이동 방향에 따라 충돌 가능성이 상이하게 표시될 수 있다.

한편, 제2 안내 정보(55)는 촬영 장치의 관측 시야와 착용형 헬멧의 디스플레이의 관측 시야의 비중첩 영역에 위치한 안내 객체를 안내하는 정보로, 운전 보조 안내 제공 장치(10,230)는 비중첩 영역에 위치한 안내 객체에 대해서는 안내 객체 타입 정보를 기초로 보행자의 경우 보행자 아이콘 형태로 제2 안내 정보를 표시할 수 있고, 안내 객체 위치 정보를 기초로 비중첩 영역 중 안내 객체가 위치하는 방향에 제2 안내 정보를 표시할 수 있다.

즉, 운전 보조 안내 제공 장치(10,230)는 중첩 영역과 비중첩 영역의 안내 객체를 구분하여 표시할 수 있다.

또한, 운전 보조 안내 제공 장치(10,230)는 내비게이션 영상의 형태로 제3 안내 정보(54)를 표시할 수도 있다. 여기서, 제3 안내 정보에는 주변 도로 상황, 교통 방송 등이 포함될 수도 있다. 이 때, 운전 보조 안내 제공 장치(10,230)는 관련 서버로부터 데이터를 수신하여 상술한 제3 안내 정보(54)를 생성할 수 있다.

도 11을 참조하면, 운전 보조 안내 제공 장치(10,230)는 운전자의 전방 시야에 표시될 후방 안내 정보(61,62)를 생성하고, 생성된 후방 안내 정보(61,62)의 표출 위치를 결정하여 운전자의 전방 시야에 표시할 수 있다.

여기서, 후방 안내 정보(61,62)는 후방 촬영 장치에서 촬영된 후방 주행 영상을 수직방향으로 플립(flip)한 영상이고, 후방 주행 영상에서 안내 객체를 아이콘으로 식별한 영상일 수 있다.

이 경우, 후방 안내 정보(61,62)는 운전자의 시야의 외측에 표시될 수 있다. 구체적으로, 후방 안내 정보(61,62)가 운전자 시야 중심의 근처에 표시되는 경우, 운전자의 운전을 방해할 수 있기에, 운전 보조 안내 제공 장치(10,230)는 플립된 후방 주행 영상을 포함하는 안내 정보(61,62)를 운전자 시야 중심의 외측(즉, HUD의 디스플레이 영역 중 운전자 시야 중심으로부터 멀어지는 위치)에 표시할 수 있다.

본 발명의 다른 실시 예에 따라, 제1 안내 정보(51, 52, 53)는 촬영 장치의 관측 시야와 착용형 헬멧의 디스플레이 관측 시야의 중첩 영역에 위치하면서, 이동체의 주행에 영향을 미치는 객체들에 대한 정보를 포함할 수 있다.

본 발명의 다른 실시 예에 따라, 제2 안내 정보(55)는 촬영 장치의 관측 시야와 착용형 헬멧의 디스플레이 관측 시야의 비중첩 영역에 위치하면서, 이동체의 주행에 영향을 미치는 객체들에 대한 정보를 포함할 수 있다.

본 발명의 다른 실시 예에 따라, 제3 안내 정보(54)는 이동체의 경로 안내를 위한 정보(예컨대, 내비게이션 정보, 목적지 정보, 이동체의 속도, 도착 시간, 경로 안내 정보 등)를 포함할 수 있다.

그리고, 본 발명의 일 실시 예에 따라, 제1 안내 정보(51, 52, 53)는, 착용형 헬멧의 디스플레이 상에 표시되는 객체들의 위치에 관련된(인접한) 위치에 표시될 수 있다.

한편, 이러한 본 발명의 다양한 실시 예에 따르면, 착용형 헬멧을 착용한 운전자 시야의 최적의 위치에 안내 정보를 표시할 수 있다.

또한, 본 발명의 다양한 실시 예에 따르면, 착용형 헬멧을 착용한 운전자의 시야에 전방의 안내 대상에 대한 안내 정보를 제공함으로써, 운전자의 안전성 및 편의성을 높일 수 있다.

또한, 본 발명의 다양한 실시 예에 따르면, 플립된 후방 영상을 통해 후방에 대한 안내 정보를 제공함으로써, 운전자가 후방에서 근접하는 차량 등을 감지하지 못하여 큰 사고로 이어지는 문제를 해결할 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.

그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 운전 보조 안내 제공 방법은 프로그램으로 구현되어 서버 또는 기기들에 제공될 수 있다. 이에 따라 각 장치들은 프로그램이 저장된 서버 또는 기기에 접속하여, 상기 프로그램을 다운로드 할 수 있다.

또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법은 프로그램으로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (24)

1. 착용형 헬멧에서의 운전 보조 안내 제공 방법에 있어서,
   운전자의 주행 과정에서 안내의 필요 여부를 판단하는 단계;
   상기 운전자가 운전하는 이동체의 주행 영상을 획득하는 단계;
   상기 안내가 필요하다고 판단된 경우, 상기 주행 영상을 기초로 상기 운전자의 운전을 보조(assist)하기 위한 안내 정보를 생성하는 단계; 및
   상기 착용형 헬멧을 통해 상기 생성된 안내 정보를 표시하는 단계;를 포함하는 운전 보조 안내 제공 방법.
2. 제 1 항에 있어서,
   상기 안내는 상기 이동체의 전방에 대한 안내 및 후방에 대한 안내를 포함하고,
   상기 안내가 필요하다고 판단하는 단계는,
   상기 이동체의 속도 정보, 상기 이동체의 방향 지시등 정보, 상기 이동체의 스티어링 조작 정보, 상기 운전자의 머리 회전 방향 정보 및 상기 이동체의 주변 객체 정보 중 적어도 하나를 기초로 상기 전방에 대한 안내 및 상기 후방에 대한 안내 중 적어도 하나의 안내의 필요 여부를 판단하는 것을 특징으로 하는 운전 보조 안내 제공 방법.
3. 제 1 항에 있어서,
   상기 안내 정보를 생성하는 단계는,
   상기 후방에 대한 안내가 필요하다고 판단된 경우, 상기 이동체의 후방 주행 영상을 수직 방향으로 플립(flip)하고, 상기 플립된 후방 주행 영상을 포함하는 안내 정보를 생성하는 것을 특징으로 하는 하는 운전 보조 안내 제공 방법.
4. 제 3 항에 있어서,
   상기 생성된 안내 정보를 표시하는 단계는,
   상기 운전자의 시야의 외측에 상기 플립된 후방 주행 영상을 포함하는 안내 정보를 표시하는 것을 특징으로 하는 운전 보조 안내 제공 방법.
5. 제 1 항에 있어서,
   상기 안내 정보를 생성하는 단계는,
   상기 전방에 대한 안내가 필요하다고 판단된 경우, 상기 착용형 헬멧의 디스플레이의 관측 시야와 상기 주행 영상을 촬영하는 촬영 장치의 관측 시야를 비교하는 단계; 및
   상기 비교 결과에 따라 상기 착용형 헬멧의 디스플레이의 관측 시야와 상기 촬영 장치의 관측 시야 사이의 중첩 영역과 비중첩 영역을 판단하는 단계;를 더 포함하는 것을 특징으로 하는 운전 보조 안내 제공 방법.
6. 제 5 항에 있어서,
   상기 안내 정보를 생성하는 단계는,
   상기 중첩 영역과 비중첩 영역을 구분하여 상기 주행 영상으로부터 안내 대상이 되는 안내 객체를 검출하는 단계;를 더 포함하는 것을 특징으로 하는 운전 보조 안내 제공 방법.
7. 제 6 항에 있어서,
   상기 안내 정보를 생성하는 단계는,
   상기 검출된 안내 객체의 타입 정보, 상기 안내 객체의 영상 위치 정보, 상기 안내 객체까지의 거리 및 관측 시야 위치 정보 중 적어도 하나를 기초로 상기 안내 정보를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 운전 보조 안내 제공 방법.
8. 제 1 항에 있어서,
   상기 생성된 안내 정보를 표시하는 단계는,
   상기 이동체의 좌표계와 상기 착용형 헬멧의 좌표계 사이의 상관 관계 값을 산출하는 단계;를 더 포함하는 것을 특징으로 하는 운전 보조 안내 제공 방법.
9. 제 8 항에 있어서,
   상기 생성된 안내 정보를 표시하는 단계는,
   상기 상관 관계 값을 기초로 상기 안내 정보의 매핑 위치를 결정하는 단계; 및
   상기 결정된 매핑 위치에 상기 안내 정보를 위치시키는 단계;를 포함하는 것을 특징으로 하는 운전 보조 안내 제공 방법.
10. 제 9 항에 있어서,
    상기 생성된 안내 정보를 표시하는 단계는,
    상기 안내 객체와 관련된 위치에 상기 생성된 안내 정보를 표시하는 것을 특징으로 하는 운전 보조 안내 제공 방법.
11. 착용형 헬멧에서의 운전 보조 안내 제공 장치에 있어서,
    운전자의 주행 과정에서 안내의 필요 여부를 판단하는 판단부;
    상기 운전자가 운전하는 이동체의 주행 영상을 획득하는 영상 획득부;
    상기 안내의 필요 시, 상기 주행 영상을 기초로 상기 운전자의 운전을 보조(assist)하기 위한 안내 정보를 생성하는 생성부; 및
    상기 착용형 헬멧을 통해 상기 생성된 안내 정보를 표시하는 표시부;를 포함하는 운전 보조 안내 제공 장치.
12. 제 11 항에 있어서,
    상기 안내는 상기 이동체의 전방에 대한 안내 및 후방에 대한 안내를 포함하고,
    상기 안내가 필요하다고 판단하는 판단부는,
    상기 이동체의 속도 정보, 상기 이동체의 방향 지시등 정보, 상기 이동체의 스티어링 조작 정보, 상기 운전자의 머리 회전 방향 정보 및 상기 이동체의 주변 객체 정보 중 적어도 하나를 기초로 상기 전방에 대한 안내 및 상기 후방에 대한 안내 중 적어도 하나의 안내의 필요 여부를 판단하는 것을 특징으로 하는 운전 보조 안내 제공 장치.
13. 제 11 항에 있어서,
    상기 안내 정보를 생성하는 생성부는,
    상기 후방에 대한 안내가 필요하다고 판단된 경우, 상기 이동체의 후방 주행 영상을 수직방향으로 플립(flip)하고, 상기 플립된 후방 주행 영상을 포함하는 안내 정보를 생성하는 것을 특징으로 하는 하는 운전 보조 안내 제공 장치.
14. 제 13 항에 있어서,
    상기 생성된 안내 정보를 표시하는 표시부는,
    상기 운전자의 시야의 외측에 상기 플립된 후방 주행 영상을 포함하는 안내 정보를 표시하는 것을 특징으로 하는 운전 보조 안내 제공 장치.
15. 제 11 항에 있어서,
    상기 안내 정보를 생성하는 생성부는,
    상기 전방에 대한 안내가 필요하다고 판단된 경우, 상기 착용형 헬멧의 디스플레이의 관측 시야와 상기 주행 영상을 촬영하는 촬영 장치의 관측 시야를 비교하고, 상기 비교 결과에 따라 상기 착용형 헬멧의 디스플레이의 관측 시야와 상기 촬영 장치의 관측 시야 사이의 중첩 영역과 비중첩 영역을 판단하는 관측 시야 비교부;를 포함하는 것을 특징으로 하는 운전 보조 안내 제공 장치.
16. 제 15 항에 있어서,
    상기 안내 정보를 생성하는 생성부는,
    상기 중첩 영역과 비중첩 영역을 구분하여 상기 주행 영상으로부터 안내 대상이 되는 안내 객체를 검출하는 검출부;를 더 포함하는 것을 특징으로 하는 운전 보조 안내 제공 장치.
17. 제 16 항에 있어서,
    상기 안내 정보를 생성하는 생성부는,
    상기 검출된 안내 객체의 타입 정보, 상기 안내 객체의 영상 위치 정보, 상기 안내 객체까지의 거리 및 관측 시야 위치 정보 중 적어도 하나를 기초로 상기 안내 정보를 생성하는 안내 정보 생성부;를 더 포함하는 것을 특징으로 하는 운전 보조 안내 제공 장치.
18. 제 11 항에 있어서,
    상기 생성된 안내 정보를 표시하는 표시부는,
    상기 이동체의 좌표계와 상기 착용형 헬멧의 좌표계 사이의 상관 관계 값을 산출하는 것을 특징으로 하는 운전 보조 안내 제공 장치.
19. 제 18 항에 있어서,
    상기 생성된 안내 정보를 표시하는 표시부는,
    상기 상관 관계 값을 기초로 상기 안내 정보의 매핑 위치를 결정하고, 상기 결정된 매핑 위치에 상기 안내 정보를 위치시키는 것을 특징으로 하는 운전 보조 안내 제공 장치.
20. 제 19 항에 있어서,
    상기 생성된 안내 정보를 표시하는 표시부는,
    상기 안내 객체와 관련된 위치에 상기 생성된 안내 정보를 표시하는 것을 특징으로 하는 운전 보조 안내 제공 장치.
21. 착용형 헬멧에 있어서,
    운전자의 시야에 위치한 글래스부;
    주행 영상을 획득하는 주행 영상 획득부;
    운전자의 주행 과정에서 안내의 필요 여부를 판단하는 판단부;
    상기 안내의 필요 시, 상기 주행 영상을 기초로 상기 운전자의 운전을 보조하는 안내 정보를 생성하는 생성부; 및
    상기 생성된 안내 정보를 상기 글래스부에 표시하는 표시부;를 포함하는 착용형 헬멧.
22. 제21항에 있어서,
    상기 주행 영상은,
    이동체에 구비된 촬영 장치에서 촬영된 영상 또는 상기 착용형 헬멧에 구비된 촬영 장치에서 촬영된 영상인 것을 특징으로 하는 착용형 헬멧.
23. 제 1 항 내지 제 10 항 중 어느 한 항에 따른 운전 보조 안내 제공 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체.
24. 제 1 항 내지 제 10 항 중 어느 한 항에 따른 운전 보조 안내 제공 방법을 실행하는 프로그램 코드를 포함하는 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램.