KR20220015462A

KR20220015462A - 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법 및 장치, 저장 매체

Info

Publication number: KR20220015462A
Application number: KR1020217043117A
Authority: KR
Inventors: 빈 쩡; 췬옌 저우; 커 리; 양핑 우; 량 쉬; 친친 쉬; 난 린
Original assignee: 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date: 2020-06-24
Filing date: 2020-12-14
Publication date: 2022-02-08
Also published as: WO2021258671A1; CN111736701A

Abstract

본 출원에서는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법 및 장치, 저장 매체를 제공하는 바, 그 중에서, 해당 방법은, 차량 외부 환경 감지 정보를 취득하는 것; 및 상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함한다.

Description

차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법 및 장치, 저장 매체

<관련 출원의 교차 인용>

본 출원은 2020년 6월 24일에 중국 특허청에 제출되고, 출원번호가 CN202010592118.3이며, 발명의 명칭이 “차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법 및 장치, 저장 매체"인 중국 특허 출원의 우선권을 요구하며, 이의 모든 내용은 인용을 통하여 본 출원에 포함된다.

본 출원은 증강현실 분야에 관한 것으로서, 특히 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법 및 장치, 저장 매체에 관한 것이다.

스마트 운전 기술의 빠른 발전에 따라, 자동 운전 기술과 보조 운전 기술도 날로 성숙되고 있다. 현재 대부분의 보조 운전 시스템의 감지 결과는 차량 탑재 장치를 통하여 문자 표시 및/또는 음성 방송을 수행하여, 차량 내 인원에게 기계와 상호작용하는 데에 딱딱함을 가져다 주고, 또한 차량 탑재 장치와 차량 내 인원의 상호작용 모드가 비교적 고정적이어서, 인간화가 결핍되어 있다.

본 출원에서 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법 및 장치, 저장 매체를 공개한다.

본 출원의 실시예의 제1 양태에 따르면, 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법을 제공하는 바, 상기 방법은, 차량 외부 환경 감지 정보를 취득하는 것; 및 상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함한다.

일부 실시예에서, 상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은, 상기 차량 외부 환경 감지 정보와 매칭되는 보조 운전을 위한 동작 정보를 결정하는 것; 및 상기 동작 정보에 기반하여 디지털 인간이 상응한 동작을 수행하는 애니메이션을 생성 및 상기 캐빈 내의 차량 탑재 디스플레이 장치 상에 디스플레이하는 것을 포함한다.

일부 실시예에서, 상기 동작 정보에 기반하여 디지털 인간이 상응한 동작을 수행하는 애니메이션을 생성 및 상기 캐빈 내의 차량 탑재 디스플레이 장치 상에 디스플레이하는 것은, 상기 차량 외부 환경 감지 정보와 매칭되는 음성 정보를 결정하는 것; 상기 음성 정보에 기반하여 대응하는 음성을 취득하는 바, 상기 음성은 타임 스탬프를 포함하는 것; 및 상기 음성을 방송할 때, 상기 동작 정보에 기반하여 상기 디지털 인간이 상기 타임 스탬프에 대응하는 시각에 상기 동작을 수행하는 애니메이션을 생성 및 디스플레이하는 것을 포함한다.

일부 실시예에서, 상기 동작은 복수의 서브 동작을 포함하고, 각 서브 동작은 상기 음성 중의 한 음소와 매칭되며, 상기 타임 스탬프는 각 음소의 타임 스탬프를 포함하며; 상기 동작 정보에 기반하여 상기 디지털 인간이 상기 타임 스탬프에 대응하는 시각에 상기 동작을 수행하는 애니메이션을 생성 및 디스플레이하는 것은, 각 음소의 타임 스탬프에 기반하여, 상기 각 음소와 매칭되는 서브 동작의 수행 시간을 결정하는 것; 및 상기 동작 정보에 기반하여 상기 디지털 인간이 각 음소의 타임 스탬프에서 해당 음소와 매칭되는 서브 동작을 수행하는 애니메이션을 생성 및 디스플레이하는 것을 포함한다.

일부 실시예에서, 상기 동작 정보에 기반하여 디지털 인간이 상응한 동작을 수행하는 애니메이션을 생성 및 상기 캐빈 내의 차량 탑재 디스플레이 장치 상에 디스플레이하는 것은, 동작 모델 베이스로부터 상기 동작 정보에 대응하는 적어도 하나의 디지털 인간의 동작 이미지 프레임을 호출하는 것; 및 상기 적어도 하나의 디지털 인간의 동작 이미지 프레임 중의 각 디지털 인간의 동작 이미지 프레임을 순차적으로 상기 디스플레이 장치 상에 디스플레이하는 것을 포함한다.

일부 실시예에서, 상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은, 상기 차량 외부 환경 감지 정보에 기반하여 제1 기설정 임무 처리를 수행하여, 제1 기설정 임무 처리 결과를 취득하는 것; 및 상기 제1 기설정 임무 처리 결과가 사전 설정된 제1 안전 운전 조기 경보 조건을 만족하는 것에 응답하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제1 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함한다.

일부 실시예에서, 상기 방법은, 차량 제어 정보를 취득하는 것을 더 포함하며; 상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은, 상기 차량 외부 환경 감지 정보와 상기 차량 제어 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함한다.

일부 실시예에서, 상기 차량 외부 환경 감지 정보와 상기 차량 제어 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은, 상기 차량 외부 환경 감지 정보와 상기 차량 제어 정보에 기반하여 제2 기설정 임무 처리를 수행하여, 제2 기설정 임무 처리 결과를 취득하는 것; 및 상기 제2 기설정 임무 처리 결과가 사전 설정된 제2 안전 운전 조기 경보 조건을 만족하는 것에 응답하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제2 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함한다.

일부 실시예에서, 상기 방법은, 차량 내 운전자 상태 분석 정보를 취득하는 것을 더 포함하며; 상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은, 상기 차량 외부 환경 감지 정보와 상기 차량 내 운전자 상태 분석 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함한다.

일부 실시예에서, 상기 차량 외부 환경 감지 정보와 상기 차량 내 운전자 상태 분석 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은, 상기 차량 외부 환경 감지 정보와 상기 차량 내 운전자 상태 분석 정보에 기반하여 제3 기설정 임무 처리를 수행하여, 제3 기설정 임무 처리 결과를 취득하는 것; 및 상기 제3 기설정 임무 처리 결과가 사전 설정된 제3 안전 운전 조기 경보 조건을 만족하는 것에 응답하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제3 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함한다.

일부 실시예에서, 상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은, 상기 차량 외부 환경 감지 정보, 취득된 차량 제어 정보 및 취득된 차량 내 운전자 상태 분석 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함한다.

일부 실시예에서, 상기 방법은, 상기 차량 외부 환경을 포함하는 지도 정보를 취득하는 것을 더 포함하며; 상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은, 상기 차량 외부 환경 감지 정보와 상기 지도 정보에 기반하여, 제1 내비게이션 정보를 생성하는 것; 및 상기 제1 내비게이션 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 내비게이션 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함한다.

일부 실시예에서, 상기 방법은, 상기 차량 외부 환경을 포함하는 지도 정보 및 교통 통제 정보를 취득하는 것을 더 포함하며; 상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은, 상기 차량 외부 환경 감지 정보, 상기 지도 정보 및 상기 교통 통제 정보에 기반하여, 제2 내비게이션 정보를 생성하는 것; 및 상기 제2 내비게이션 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 내비게이션 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함한다.

본 출원의 실시예의 제2 양태에 따르면, 보조 운전 상호작용 장치를 제공하는 바, 차량 외부 환경 감지 정보를 취득하는 제1 취득 모듈; 상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 상호작용 모듈을 포함한다.

본 출원의 실시예의 제3 양태에 따르면, 컴퓨터 판독가능 저장 매체를 제공하는 바, 상기 컴퓨터 판독가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있고, 프로세서가 상기 컴퓨터 프로그램을 수행할 때, 상기 프로세서가 상기 제1 방면의 어느 한 실시예의 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법을 수행한다.

본 출원의 실시예의 제4 양태에 따르면, 보조 운전 상호작용 장치를 제공하는 바, 프로세서; 상기 프로세서가 수행 가능한 명령을 저장하는 기억장치를 포함하며; 그 중에서, 상기 프로세서는 상기 기억장치 중의 실행 가능한 명령을 호출할 때, 제1 방면 중 어느 한 실시예의 상기 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법을 구현하도록 구성된다.

본 출원의 실시예의 제5 양태에 따르면, 차량을 제공하는 바, 차량 내 이미지 및/또는 차량 외부 이미지를 취득하는 카메라; 디지털 인간 및 상기 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 디스플레이하는 차량 탑재 디스플레이 장치; 및 상기 제2 방면 또는 제4 방면의 어느 한 상기 보조 운전 상호작용 장치를 포함한다.

본 출원의 실시예의 제6 양태에 따르면, 컴퓨터 프로그램 제품을 제공하는 바, 컴퓨터 판독가능 코드를 포함하고, 상기 컴퓨터 판독가능 코드가 프로세서 상에서 수행될 때, 상기 프로세서가 제1 방면의 어느 한 실시예의 상기 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법을 수행한다.

본 출원의 실시예에서 제공하는 기술방안은 하기 유익한 효과를 가질 수 있다.

본 출원의 실시예에서, 취득된 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하여, 인간-기계 상호작용의 방식이 더욱 사람들의 상호작용 습관에 부합되고, 상호작용 과정이 더욱 자연스럽고, 사람들로 하여금 인간-기계 상호작용의 따스함을 느끼게 하고, 운전의 재미, 쾌적함과 동반감을 향상시키며, 운전의 안전 리스크를 낮추는데 유리하다.

상기 일반적인 설명과 후문의 상세한 설명은 단지 예시적이고 해석을 위한 것이며, 본 출원을 제한할 수 없는 것을 이해해야 한다.

이곳의 도면은 명세서에 포함되고 또한 본 명세서의 일부분을 구성하며, 본 출원에 부합되는 실시예를 도시하고, 또한 명세서와 함께 본 출원의 원리를 해석한다.
도 1은 본 출원의 실시예가 도시하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법의 흐름도이다.
도 2는 본 출원의 실시예가 도시하는 차량 탑재 장치 사이의 상호작용 시나리오 도면이다.
도 3은 본 출원의 실시예가 도시하는 102 단계의 일 구현 방식의 흐름도이다.
도 4는 본 출원의 실시예가 도시하는 202 단계의 일 구현 방식의 흐름도이다.
도 5는 본 출원의 실시예가 도시하는 303 단계의 일 구현 방식의 흐름도이다.
도 6은 본 출원의 실시예가 도시하는 202 단계의 일 구현 방식의 흐름도이다.
도 7은 본 출원의 실시예가 도시하는 102 단계의 일 구현 방식의 흐름도이다.
도 8은 본 출원의 실시예가 도시하는 일 애니메이션을 생성 및 디스플레이하는 시나리오 도면이다.
도 9는 본 출원의 실시예가 도시하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법의 흐름도이다.
도 10은 본 출원의 실시예가 도시하는 1021 단계의 일 구현 방식의 흐름도이다.
도 11은 본 출원의 실시예가 도시하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법의 흐름도이다.
도 12는 본 출원의 실시예가 도시하는 1022 단계의 일 구현 방식의 흐름도이다.
도 13은 본 출원의 실시예가 도시하는 일 애니메이션을 생성 및 디스플레이하는 시나리오 도면이다.
도 14는 본 출원의 실시예가 도시하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법의 흐름도이다.
도 15는 본 출원의 실시예가 도시하는 1023 단계의 흐름도이다.
도 16은 본 출원의 실시예가 도시하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법의 흐름도이다.
도 17은 본 출원의 실시예가 도시하는 1024 단계의 일 구현 방식의 흐름도이다.
도 18은 본 출원의 실시예가 도시하는 보조 운전 상호작용 장치의 블록도이다.
도 19는 본 출원의 실시예가 도시하는 보조 운전 상호작용 장치의 하드웨어 구조 모식도이다.
도 20은 본 출원의 실시예가 도시하는 차량의 하드웨어 구조 모식도이다.

여기에서는 상세하게 예시적 실시예를 설명할 것이며, 예시는 도면에 표시되어 있다. 아래의 설명이 도면과 연관될 때, 다른 표시가 있는 외, 다른 도면 중의 같은 숫자는 같거나 유사한 요소를 표시한다. 하기 예시적 실시예에서 설명하는 실시 방식은 본 출원과 일치한 모든 실시 방식을 대표하는 것이 아니다. 반대로, 이는 단지 특허청구범위에 상세하게 기재된, 본 출원의 일부 방면과 일치한 장치와 방법의 예일 뿐이다.

본 출원에 사용된 용어는 단지 특정 실시예를 설명하기 위한 목적이고, 본 출원을 제한하는 것이 아닌 것을 이해할 것이다. 본 출원과 첨부된 특허청구범위에 사용된 단수 형식의 “일”, “상기”와 “해당”도 문맥 상에서 명확하게 기타 뜻을 표시하지 않은 한, 복수의 형식을 포함한다. 또한 본 출원에 사용된 용어 “및/또"는 하나 또는 복수의 관련된 나열 항목을 포함하는 임의의 또는 모든 가능한 조합을 가리키는 것을 이해할 것이다.

본 출원은 용어 제1, 제2, 제3 등을 사용하여 여러 가지 정보를 설명할 수 있지만, 이러한 정보는 이러한 용어의 제한을 받지 않는다. 이러한 용어는 단지 동일한 유형의 정보를 서로 구분하기 위한 것이다. 예를 들면, 본 출원의 범위를 벗어나지 않는 경우, 제1 정보는 또한 제2 정보라 칭할 수 있고, 이와 유사하게, 제2 정보도 또한 제1 정보라 칭할 수 있다. 비록 문맥에 따라, 여기서 사용되는 바와 같은 단어 "만일"은 "~할 때(when)" 또는 "~할 시(upon)" 또는 "결정에 응답하여"로 해석될 수 있다는 것을 이해해야 한다.

본 출원의 실시예에서는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법을 제공하는 바, 운전 가능한 기계 장치, 예를 들면 스마트 차량, 차량 운전을 시뮬레이션하는 스마트 카 홀드 등에 적용될 수 있다. 도 1에 도시된 바와 같이, 도 1은 본 출원이 일 예시적 실시예에 기반하여 도시하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법으로서, 하기 단계를 포함한다.

101 단계에서, 차량 외부 환경 감지 정보를 취득한다.

본 출원의 실시예에서, 차량 외부 환경 감지 정보는 도로선 검출 정보, 도로선 속성 검출 정보, 신호등 검출 정보, 교통 표지 검출 정보, 주행가능 구역 검출 정보, 장애물 검출 정보 중의 적어도 하나를 포함하나 이에 제한되지 않는다. 그 중에서, 도로선은 차선, 정지선, 전향선, U턴선, 실선, 점선, 단일선(single line), 이중선(double line) 중의 적어도 하나를 포함하나 이에 제한되지 않는다.

일부 실시예에서, 차량에 탑재된 차량 외부 보조 운전 장치가 실시간으로 상기 차량 외부 환경 감지 정보를 수집한 후, 상기 차량 외부 환경 감지 정보를 차량 탑재 중앙 제어 장치로 송신할 수 있다. 그 중에서, 차량 외부 보조 운전 장치는 첨단 보조 운전 시스템(Advanced Driving Assistance System, ADAS)을 포함할 수 있으나 이에 제한되지 않는다.

일 예시에서, 차량 탑재 중앙 제어 장치는 차량 내 통신 버스, 예를 들면 제어기 구역망(Controller Area Network, CAN) 버스를 통하여 차량에 탑재된 차량 외부 보조 운전 장치가 송신하는 상기 차량 외부 환경 감지 정보를 취득할 수 있다. 다른 일 예시에서, 차량 탑재 중앙 제어 장치는 차량사물통신 방식을 통하여 차량에 탑재된 차량 외부 보조 운전 장치가 송신하는 상기 차량 외부 환경 감지 정보를 취득할 수 있다.

102 단계에서, 상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이한다.

본 출원의 실시예에서, 상기 디지털 인간은 소프트웨어를 통하여 생성된 가상 이미지로서, 캐빈(cabin) 내의 차량 탑재 디스플레이 장치 상에 디스플레이 될 수 있고, 그 중에서 차량 탑재 디스플레이 장치는 중앙 제어 디스플레이 스크린 또는 차량 탑재 태블릿 장치 등을 포함할 수 있으나 이에 제한되지 않는다. 상호작용 정보는 표정 정보, 동작 정보, 음성 정보 중의 적어도 하나를 포함하나 이에 제한되지 않는다.

차량 탑재 중앙 제어 장치와 기타 차량 탑재 장치 사이의 구성은 예를 들면 도 2에 도시된 바와 같고, 차량 탑재 중앙 제어 장치는 차량에 탑재된 차량 외부 보조 운전 장치, 차량 탑재 카메라, 차량 탑재 디스플레이 장치 및 차량 탑재 기타 장치(예를 들면, 에어컨, 라디오, 차창 등)와 통신을 수행할 수 있고, 차량 탑재 중앙 제어 장치는 또한 기타 차량 내 장치, 예를 들면 차량 내 인원이 소지한 핸드폰 등 통신 네트워크와 연결을 수행할 수 있음은 물론이다. 차량 탑재 중앙 제어 장치는 또한 차량 탑재 오디오 수집 장치와 차량 탑재 카메라를 통하여 캐빈에 진입한 사람의 음성 입력과 동작 입력 중의 적어도 하나를 취득하고, 후속으로 디지털 인간을 제어하여 대응하는 상호작용 피드백을 수행할 수 있다.

본 출원의 실시예에서, 차량 탑재 중앙 제어 장치는 차량 외부 보조 운전 장치가 송신하는 차량 외부 환경 감지 정보를 취득한 후, 해당 차량 외부 환경 감지 정보에 기반하여 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성하고, 또한 차량 탑재 디스플레이 장치가 해당 애니메이션을 디스플레이할 수 있다.

상기 실시예에서, 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이할 수 있어, 인간-기계 상호작용의 방식이 더욱 사람들의 상호작용 습관에 부합되고, 상호작용 과정이 더욱 자연스럽게 하여, 사람들로 하여금 인간-기계 상호작용의 따스함을 느끼게 하고, 운전의 재미, 쾌적함과 동반감을 향상시키며, 운전의 안전 리스크를 낮추는데 유리하다.

일부 실시예에서, 예를 들면 도 3에 도시된 바와 같이, 102 단계는 하기 단계를 포함할 수 있다.

201 단계에서, 상기 차량 외부 환경 감지 정보와 매칭되는 보조 운전을 위한 동작 정보를 결정한다.

일 예시에서, 보조 운전을 위한 각 동작 정보와 차량 외부 환경 감지 정보의 매칭률을 결정하고, 매칭률이 가장 높은 동작 정보를 차량 외부 환경 감지 정보와 매칭되는 동작 정보를 결정할 수 있다.

차량 외부 환경 감지 정보에 여러 가지 정보가 포함되는 경우, 동일한 동작 정보와 차량 외부 환경 감지 정보 중 여러 가지 정보의 매칭률을 각각 결정하고, 그 후 여러 가지 정보에 대응하는 매칭률에 기반하여 상기 동작 정보와 차량 외부 환경 감지 정보의 매칭률을 결정할 수 있다. 예를 들면, 여러 가지 정보에 대응하는 매칭률에 대하여 가중 평균을 수행한다.

다른 일 예시에서, 사전에 서로 다른 차량 외부 환경 감지 정보와 매칭되는 동작 정보 사이의 매핑 관계를 구성하고, 또한 해당 매핑 관계에 기반하여 매칭되는 동작 정보를 결정할 수 있다.

202 단계에서, 상기 동작 정보에 기반하여 디지털 인간이 상응한 동작을 수행하는 애니메이션을 생성 및 상기 캐빈 내의 차량 탑재 디스플레이 장치 상에 디스플레이한다.

상기 실시예에서, 상호작용 정보에 동작 정보가 포함되는 경우, 차량 외부 환경 감지 정보와 매칭되는 동작 정보를 결부시켜, 디지털 인간이 보조 운전의 상응한 동작의 애니메이션을 형성하게 하여, 운전의 안전 리스크를 낮추고, 또한 디지털 인간과 사람의 상호작용 과정이 더욱 자연스럽게 하여, 사람들로 하여금 인간-기계 상호작용의 따스함을 느끼게 한다.

일부 실시예에서, 동작 정보를 결부시켜 상응한 애니메이션을 생성 및 디스플레이할 수 있는 외, 또한 음성 정보를 결부시켜 상응한 애니메이션을 생성 및 디스플레이할 수 있다. 예를 들면 도 4에 도시된 바와 같이, 202 단계는 하기 단계를 포함할 수 있다.

301 단계에서, 상기 차량 외부 환경 감지 정보와 매칭되는 음성 정보를 결정한다.

일 예시에서, 훈련된 딥러닝 신경망을 사용하여 상기 차량 외부 환경 감지 정보와 매칭되는 음성 정보를 결정할 수 있다.

다른 일 예시에서, 또한 사전에 서로 다른 차량 외부 환경 감지 정보와 매칭되는 음성 정보 사이의 매핑 관계를 구성하고, 또한 해당 매핑 관계에 기반하여 매칭되는 음성 정보를 결정할 수 있다.

302 단계에서, 상기 음성 정보에 기반하여 대응하는 음성을 취득하는 바, 상기 음성은 타임 스탬프를 포함한다.

본 출원의 실시예에서, 상기 음성은 음성 정보에 기반하여 음성 데이터베이스로부터 끌어 올(pull) 수 있고, 끌어 온 음성이 해당 음성의 타임 스탬프를 포함하여, 상기 애니메이션 중 디지털 인간이 상응한 동작을 수행하는 시간이 상기 음성과 동기화되게 한다. 끌어 온 음성의 음색은 사전 설정된 음색이거나, 또는 사용자의 선호에 따라 설정된 음색일 수 있는 바, 예를 들면 사전 설정된 음색이 아동의 음색이면, 음성을 끌어 올 때 아동의 음색에 대응하는 음성을 뽑는다.

303 단계에서, 상기 음성을 방송할 때, 상기 동작 정보에 기반하여 상기 디지털 인간이 상기 타임 스탬프에 대응하는 시각에 상기 동작을 수행하는 애니메이션을 생성 및 디스플레이한다.

본 출원의 실시예에서, 음성을 방송하는 동시에, 음성 중 서로 다른 타임 스탬프에 대응하는 시각에 디지털 인간이 대응하는 동작을 수행하게 하는 애니메이션을 생성 및 디스플레이할 수 있다.

상기 실시예에서, 차량 외부 환경 감지 정보와 매칭되는 동작 정보 및 음성 정보를 결부시켜, 디지털 인간이 음성을 방송하게 할 수 있을 뿐 아니라, 또한 음성 중의 타임 스탬프에 대응하는 시각에 디지털 인간이 보조 운전의 상응한 동작을 수행하게 하여, 운전의 안전 리스크를 낮춤과 아울러, 디지털 인간과 사람의 상호작용 과정이 더욱 풍부하게 자연스럽게 하여, 사람들로 하여금 인간-기계 상호작용의 따스함을 느끼게 한다.

일부 실시예에서, 한 마디의 음성은 언제나 복수의 음소를 포함하고, 음소는 음성의 자연 속성에 기반하여 구분한 가장 작은 음성 단위이고, 음절 중의 발음 동작에 기반하여 분석하며, 하나의 발음 동작이 하나의 음소를 구성한다. 예를 들면, "안녕"은 "안"과 "녕" 두 개의 음소를 포함한다. 음성이 복수의 음소를 포함하는 경우, 상기 타임 스탬프는 각 음소의 타임 스탬프를 포함할 수 있다. 하나의 동작은 일반적으로 복수의 서브 동작을 포함하는 바, 예를 들면, 손을 흔드는 동작은 팔을 왼쪽으로 흔드는 서브 동작과 팔을 오른쪽으로 흔드는 서브 동작을 포함할 수 있다. 디플레이되는 디지털 인간이 더욱 생동하고 생생하게 하기 위하여, 각 서브 동작을 음성 중의 하나의 음소와 각각 매칭시킬 수 있다.

예를 들면 도 5에 도시된 바와 같이, 303 단계는 하기 단계를 포함할 수 있다:

401 단계에서, 각 음소의 타임 스탬프에 기반하여, 상기 각 음소와 매칭되는 서브 동작의 수행 시간을 결정한다.

402 단계에서, 상기 동작 정보에 기반하여 상기 디지털 인간이 각 음소의 타임 스탬프에서 해당 음소와 매칭되는 서브 동작을 수행하는 애니메이션을 생성 및 디스플레이한다.

예를 들면, 음소 "안"을 방송하는 동시에, "안"과 매칭되는 입 모양 동작을 디스플레이하고, 또한 디지털 인간의 팔을 왼쪽으로 흔드는 손을 흔드는 동작을 디스플레이하며, 음소 "녕"을 방송하는 동시에, "녕"과 매칭되는 입 모양 동작을 디스플레이하고, 또한 디지털 인간의 팔을 오른쪽으로 흔드는 손을 흔드는 동작을 디스플레이한다.

상기 실시예에서, 차량 외부 환경 감지 정보와 매칭되는 동작 정보, 음성 정보 및 음성 중의 음소를 결부시켜, 각 음소의 타임 스탬프에서 디지털 인간이 해당 음소와 매칭되는 서브 동작을 수행하게 하여, 운전의 안전 리스크를 낮춤과 아울러, 디지털 인간과 사람의 상호작용 과정이 더욱 풍부하게 자연스럽게 하여, 사람들로 하여금 인간-기계 상호작용의 따스함을 느끼게 한다.

일부 실시예에서, 예를 들면 도 6에 도시된 바와 같이, 202 단계는 하기 단계를 포함할 수 있다.

501 단계에서, 동작 모델 베이스로부터 상기 동작 정보에 대응하는 적어도 하나의 디지털 인간의 동작 이미지 프레임을 호출한다.

상기 동작 정보에 대응하는 동작은 동작 모델 베이스로부터 호출할 수 있다. 구체적으로 말하면, 동작 모델 베이스로부터 상기 동작 정보에 대응하는 적어도 하나의 디지털 인간의 동작 이미지 프레임을 호출할 수 있다.

502 단계에서, 상기 적어도 하나의 디지털 인간의 동작 이미지 프레임 중의 각 디지털 인간의 동작 이미지 프레임을 순차적으로 상기 디스플레이 장치 상에 디스플레이한다.

본 출원의 실시예에서, 서로 다른 동작에 대응하는 디지털 인간의 지체 동작, 얼굴 표정 동작, 입 모양 동작, 눈 동작 등 중의 적어도 하나가 다르고, 대응하는 동작을 호출 및 순차적으로 디스플레이하여, 차량 탑재 디스플레이 장치 상에 디지털 인간이 상기 상응한 동작을 수행하는 애니메이션을 디스플레이한다.

상기 실시예에서, 동작 모델 베이스로부터 호출한 동작을 순차적으로 디스플레이하는 방식을 사용하여 상응한 애니메이션을 디스플레이할 수 있는 바, 동작 모델 베이스는 수요에 기반하여 업데이트할 수 있음으로써, 디지털 인간과 사람의 상호작용 과정이 더욱 풍부하고 자연스럽게 한다.

일부 실시예에서, 예를 들면 도 7에 도시된 바와 같이, 102 단계는 하기 단계를 포함할 수 있다:

601 단계에서, 상기 차량 외부 환경 감지 정보에 기반하여 제1 기설정 임무 처리를 수행하여, 제1 기설정 임무 처리 결과를 취득한다.

본 출원의 실시예에서, 차량 외부 환경 감지 정보를 취득한 후, 차량 외부 환경 감지 정보를 기반으로 제1 기설정 임무 처리를 수행하여 상응한 처리 결과를 취득할 수 있다. 그 중에서, 제1 기설정 임무 처리는, 차로 이탈 검출 처리, 속도 제한 검출 처리, 신호등 지시 위반 검출 처리, 교통 표지 위반 검출 처리, 주행가능 구역 검출 처리, 충돌 검출 처리, 차량 거리 검출 처리 중의 적어도 하나를 포함한다.

차로 이탈 검출 처리는 차량이 현재 주행하고 있는 경로에 대응하는 차로(driveway)로부터 이탈하였는지 여부를 표시한다. 속도 제한 검출 처리는 차량의 현재 속도가 현재 경로에 나타난 교통 표지가 나타내는 최대 시속을 초과하였는지 여부를 표시한다. 신호등 지시 위반 검출 처리는 차량이 신호등 지시를 위반하는 행동이 존재하는지 여부를 표시한다. 주행가능 구역 검출 처리는 차량이 주행가능 구역에 나타나지 않은 것을 표시한다. 충돌 검출 처리는 전방 충돌 검출 처리, 행인 충돌 검출 처리와 도시 전방 충돌 검출 처리 중의 적어도 하나를 포함한다. 전방 충돌 검출 처리는 차량과 기타 차량 사이의 거리가 충돌이 방생할 가능성이 있는지를 검출하는 것을 표시하기 위한 것이고, 행인 충돌 검출 처리는 차량과 행인 사이의 거리가 충돌이 방생할 가능성이 있는지를 검출하는 것을 표시하기 위한 것이며, 도시 전방 충돌 검출 처리는 도시의 도로가 비교적 막히는 환경 하에서, 차량과 기타 차량 사이의 거리가 충돌이 방생할 가능성이 있는지를 검출하는 것을 표시하기 위한 것이다. 차량 거리 검출 처리는 차량과 기타 차량 사이의 차량 거리를 표시하기 위한 것이다.

602 단계에서, 상기 제1 기설정 임무 처리 결과가 사전 설정된 제1 안전 운전 조기 경보 조건을 만족하는 것에 응답하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제1 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이한다.

본 출원의 실시예에서, 제1 기설정 임무 처리 결과가 사전 설정된 제1 안전 운전 조기 경보 조건을 만족하는 것은, 차로 이탈 검출 처리는 차로 이탈이 존재하는 것을 나타내는 것, 속도 제한 검출 처리가 차량이 과속하는 것을 나타내는 것, 신호등 지시 위반 검출 처리는 차량이 교통 신호등을 위반하는 것을 나타내는 것, 교통 표지 위반 검출 처리는 차량이 교통 표지에 대응하는 내용을 위반하는 것을 나타내는 것, 주행가능 구역 검출 처리는 차량이 주행 가능한 구역에 처하지 않는다고 나타내는 것, 충돌 검출 처리는 차량에 곧 충돌이 발생한다는 것을 나타내는 것, 차량 거리 검출 처리는 차량과 기타 차량 사이 차량 거리가 역치보다 작다는 것을 나타내는 것 중의 적어도 하나를 포함하나 이에 제한되지 않는다.

예를 들면, 차량 거리 검출 처리가 차량과 기타 차량 사이의 차량 거리가 역치보다 작다는 것을 나타내면, 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제1 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이할 수 있고, 해당 애니메이션의 내용은 "조심하세요, 기타 차량과 너무 가깝습니다”의 음성, 디지털 인간이 짓는 “조심하세요”의 표정, 디지털 인간이 수행하는 “머리 흔들기, 손 흔들기” 등 동작을 포함하나 이에 제한되지 않으며, 예를 들면 도8에 도시된 바와 같다.

상기 실시예에서, 차량 외부 환경 감지 정보에 기반하여, 디지털 인간이 제1 안전 운전 조기 경보의 애니메이션을 형성하여, 운전의 안전 리스크를 낮추는 동시에, 인간-기계 상호작용의 방식이 더욱 사람들의 상호작용 습관에 부합되고, 상호작용 과정이 더욱 자연스럽고, 사람들로 하여금 인간-기계 상호작용의 따스함을 느끼게 하고, 운전의 재미, 쾌적함과 동반감을 향상시킨다.

일부 실시예에서, 예를 들면 도 9에 도시된 바와 같이, 상기 방법은 또한 하기 단계를 포함할 수 있다:

103 단계에서, 차량 제어 정보를 취득한다.

본 출원의 실시예에서, 101 단계와 103 단계의 수행 순서를 제한하지 않는다. 상기 차량 제어 정보는, 차량 전향 지시 등 제어 정보, 스티어링 휠 제어 정보, 스로틀 제어 정보, 브레이크 제어 정보, 클러치 제어 정보 중의 적어도 하나를 포함하나 이에 제한되지 않는다. 차량 탑재 중앙 제어 장치를 통하여 운전자의 전향 지시 등, 스티어링 휠, 스로틀, 브레이크, 클러치 등에 대한 제어 정보를 취득할 수 있다.

상응하게, 102 단계는 1021 단계를 포함할 수 있다.

1021 단계: 상기 차량 외부 환경 감지 정보와 상기 차량 제어 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이한다.

본 출원의 실시예에서, 차량 외부 환경 감지 정보와 취득된 차량 제어 정보를 결부시켜, 공동으로 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이할 수 있다.

일부 실시예에서, 예를 들면 도 10에 도시된 바와 같이, 1021 단계는 하기 단계를 포함할 수 있다:

701 단계에서, 상기 차량 외부 환경 감지 정보와 상기 차량 제어 정보에 기반하여 제2 기설정 임무 처리를 수행하여, 제2 기설정 임무 처리 결과를 취득한다.

본 출원의 실시예에서, 제2 기설정 임무 처리 결과는, 차량 전향 지시 등 제어 매칭 검출 처리, 스티어링 휠 제어 매칭 검출 처리, 스로틀 제어 매칭 검출 처리, 브레이크 제어 매칭 검출 처리, 클러치 제어 매칭 검출 처리를 포함하나 이에 제한되지 않는다.

제2 기설정 임무 처리 결과는 취득된 차량 제어 정보와 차량 외부 환경 감지 정보에 대응하는 차량 제어 정보가 매칭되는지 여부를 포함한다.

예를 들면, 차량 외부 환경 감지 정보가 신호등이 빨간 불인 것을 포함하면, 이때 해당 차량 외부 환경 감지 정보와 매칭되는 차랑 제어 정보는 브레이크 제어 정보여야 하고, 만일 취득된 실제의 차량 제어 정보가 브레이크 제어 정보라면, 제2 기설정 임무 처리 결과가 브레이크 제어 매칭이라고 결정하고, 그렇지 않으면 브레이크 제어가 매칭되지 않는다.

702 단계에서, 상기 제2 기설정 임무 처리 결과가 사전 설정된 제2 안전 운전 조기 경보 조건을 만족하는 것에 응답하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제2 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이한다.

본 출원의 실시예에서, 만일 제2 기설정 임무 처리 결과가 취득된 차량 제어 정보와 차량 외부 환경 감지 정보가 매칭되지 않는 것이라면, 사전 설정된 제2 안전 운전 조기 경보 조건을 만족한다고 결정하고, 상응하게, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제2 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이할 수 있다.

예를 들면, 제2 기설정 임무 처리 결과가 브레이크 제어가 매칭되지 않는 것이라면, 생성된 애니메이션 내용에는 "브레이크를 밟으세요”를 방송하는 음성, "이러면 안 되요”의 표정, “브레이크 밟기”의 동작 중의 적어도 하나를 포함하나 이에 제한되지 않는다. 상기 실시예에서, 차량 외부 환경 감지 정보와 취득된 차량 제어 정보를 결부시켜, 개빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제2 안전 운전 사전 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이할 수 있다. 운전의 안전 리스크를 낮출 수 있는 외, 또한 안전 운전 사전 경보가 더욱 정확하게 할 수 있고, 운전의 재미, 쾌적함과 동반감을 향상시킨다.

일부 실시예에서, 예를 들면 도 11에 도시된 바와 같이, 상기 방법은 또한 하기 단계를 포함할 수 있다.

104 단계에서, 차량 내 운전자 상태 분석 정보를 취득한다.

본 출원의 실시예에서, 마찬가지로 104 단계와 101 단계의 수행 순서를 제한하지 않는다. 차량 내 운전자 상태 분석 정보는, 인체 상태 분석 정보, 정서 상태 분석 정보, 피로 상태 분석 정보, 주의력 분산 상태 분석 정보, 위험 동작 분석 정보, 안전벨트 착용 분석 정보, 운전자 자리 이탈 분석 정보 중의 적어도 하나를 포함하나 이에 제한되지 않는다.

상응하게, 102 단계는 1022 단계를 포함할 수 있다:

1022 단계: 상기 차량 외부 환경 감지 정보와 상기 차량 내 운전자 상태 분석 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이한다.

본 출원의 실시예에서, 차량 외부 환경 감지 정보와 취득된 차량 내 운전자 상태 분석 정보를 결부시켜, 공동으로 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이할 수 있다.

일부 실시예에서, 예를 들면 도 12에 도시된 바와 같이, 1022 단계는 하기 단계를 포함할 수 있다:

801 단계에서, 상기 차량 외부 환경 감지 정보와 상기 차량 내 운전자 상태 분석 정보에 기반하여 제3 기설정 임무 처리를 수행하여, 제3 기설정 임무 처리 결과를 취득한다.

본 출원의 실시예에서, 제3 기설정 임무 처리는, 인체 상태 검출 처리, 정서 상태 검출 처리, 피로 상태 검출 처리, 주의력 분산 상태 검출 처리, 위험 동작 검출 처리, 안전벨트 착용 검출 처리, 운전자 자리 이탈 검출 처리 중의 적어도 하나를 포함하나 이에 제한되지 않는다.

802 단계에서, 상기 제3 기설정 임무 처리 결과가 사전 설정된 제3 안전 운전 조기 경보 조건을 만족하는 것에 응답하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제3 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이한다.

본 출원의 실시예에서, 우선, 차량 내 운전자 상태 분석 정보는, 인체 상태 검출 처리가 인체의 앉은 자세가 운전에 적합하지 않다고 나타내는 것, 정서 상태 검출 결과가 상기 차량 내 인원이 소극적인 정서에 처하여 있다고 표시하는 것, 피로 상태 검출 결과가 상기 차량 내 인원이 피로 상태에 처하여 있다고 표시하는 것, 주의력 분산 상태 검출 결과가 차량 내 인원에게 주의력 분산이 존재한다는 것을 표시하는 것, 위험 동작 검출 결과가 상기 차량 내 인원에게 위험 동작이 존재한다는 것을 표시하는 것, 안전벨트 착용 검출 결과가 운전자가 안전벨트를 착용하지 않았다는 것을 표시하는 것, 운전자 자리 이탈 검출 처리가 운전자가 자리에 없다는 것을 나타내는 것 중의 적어도 하나의 경우를 포함하나 이에 제한되지 않는다. 진일보로, 상기 차량 외부 환경 감지 정보에 기반하여 제1 기설정 임무 처리를 수행하고, 제1 기설정 임무 처리 결과가 사전 설정된 제1 안전 운전 사전 경보 조건을 만족시키면, 이때, 제3 기설정 임무 처리 결과가 사전 설정된 제3 안전 운전 사전 경보 조건을 만족시킨다고 결정한다. 상응하게, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제3 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이할 수 있다.

예를 들면, 제3 기설정 임무 처리 결과가 차량 내 인원이 피로 상태에 처하여 있다는 것을 포함하고, 또한 차로 이탈이 존재하면, 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제3 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이할 수 있는 바, 해당 애니메이션 내용은, “차로 이탈입니다. 힘드셔서 그런 건 아니세요? 잠시 쉬었다가 다시 출발하세요"를 방송하는 음성, 디지털 인간이 짓는 "이러지 마세요"의 표정, 디지털 인간이 "차로 이탈입니다"를 방송할 때 손을 흔드는 동작을 하고 또한 "잠시 쉬었다가 다시 출발하세요"의 음성을 방송할 때 휴식의 동작을 하는 것 중의 적어도 하나를 포함하나 이에 제한되지 않으며, 예를 들면 도 13에 도시된 바와 같다.

상기 실시예에서, 차량 외부 환경 감지 정보와 취득된 차량 내 운전자 상태 분석 정보를 결부시켜, 개빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제3 안전 운전 사전 경보를 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이할 수 있다. 차량 내 운전자가 보조 운전을 필요로 하는 상태에 처할 때, 차량 외부 환경 감지 정보를 결부시켜 상응한 애니메이션을 생성 및 디스플레이하여, 운전의 안전 리스크를 낮추는 동시에, 또한 안전 운전 사전 경보가 더욱 정확하게 할 수 있고, 불필요한 보조 운전 주의를 피하며, 운전의 재미, 쾌적함과 동반감을 향상시킨다.

일부 실시예에서, 또한 차량 외부 환경 감지 정보와 취득된 차량 제어 정보 및 취득된 차량 내 운전자 상태 분석 정보를 모두 결부시켜, 상응한 애니메이션을 생성할 수 있다.

본 출원의 실시예에서, 차량 내 운전자 상태 분석 정보가 상기 조건을 만족하는 경우, 다시 701 단계 내지 702 단계의 방식에 따라 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이할 수 있다.

상기 실시예에서, 차량 외부 환경 감지 정보와 취득된 여러 가지 정보를 결부시켜, 공동으로 생성 및 디스플레이하는 애니메이션 내용을 최종적으로 결정하여, 운전의 안전 리스크를 낮추는 동시에, 또한 안전 운전 사전 경보가 더욱 정확하게 할 수 있고, 불필요한 보조 운전 주의를 피하며, 운전의 재미, 쾌적함과 동반감을 향상시킨다.

일부 실시예에서, 예를 들면 도 14에 도시된 바와 같이, 상기 방법은 또한 하기 단계를 포함할 수 있다.

105 단계에서, 상기 차량 외부 환경을 포함하는 지도 정보를 취득한다.

본 출원의 실시예에서, 105 단계와 101 단계의 수행 순서를 제한하지 않는다. 차량사물 망 또는 기타 통신 방식을 통하여, 고정밀도 지도 또는 내비게이션 응용프로그램으로부터 차량 외부 환경의 지도 정보를 취득할 수 있다. 지도 정보는, 차량 현재 위치 정보, 계획된 적어도 한 갈래 주행 경로 정보, 차량 주행 전방의 교통 표지 정보, 차량 주행 전방의 속도 제한 정보, 차량 주행 전방의 장애물 정보, 전방 차로 정보 중의 적어도 하나를 포함하나 이에 제한되지 않는다.

상응하게, 102 단계는 1023 단계를 포함할 수 있으며; 1023 단계는, 상기 차량 외부 환경 감지 정보와 상기 지도 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이한다.

예를 들면 도 15에 도시된 바와 같이, 1023 단계는 하기 단계를 포함할 수 있다:

901 단계에서, 상기 차량 외부 환경 감지 정보와 상기 지도 정보에 기반하여, 제1 내비게이션 정보를 생성한다.

902 단계에서, 상기 제1 내비게이션 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 내비게이션 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이한다.

예를 들면, 제1 내비게이션 정보는 전방 50미터에서 좌회전하기 위하여, 좌회전 전용 차로로 진입하여야 하는 것을 포함하고, 애니메이션 내용은, "전방 50미터에서 좌회전하기 위하여, 좌회전 전용 차로로 진입하여야 합니다"를 방송하는 음성, 디지털 인간이 짓는 "주의력 집중"의 표정, 디지털 인간이 수행하는 “왼손을 흔드는” 동작을 포함할 수 있으나 이에 제한되지 않는다.

상기 실시예에서, 상기 차량 외부 환경 감지 정보와 상기 지도 정보에 기반하여, 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 내비게이션 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하게 할 수 있고, 내비게이션 과정은 의인화 이미지인 디지털 인간이 완성하며, 내비게이션 과정이 더욱 생동적이며, 사람들로 하여금 인간-기계 상호작용의 따스함을 느끼게 하고, 운전의 재미, 쾌적함과 동반감을 향상시킨다.

일부 실시예에서, 예를 들면 도 16에 도시된 바와 같이, 상기 방법은 또한 하기 단계를 포함할 수 있다.

106 단계에서, 상기 차량 외부 환경을 포함하는 지도 정보 및 교통 통제 정보를 취득한다.

본 출원의 실시예에서, 마찬가지로 106 단계와 101 단계의 수행 순서를 제한하지 않는다. 차량 외부 환경을 포함하는 지도 정보를 취득할 수 있는 외, 또한 교통 통제 정보를 취득할 수 있다. 그 중에서, 교통 통제 정보는, 실시간 교통 통제 정보, 어느 지역에서 장기 또는 단기로 실행하는 교통 통제 정보를 포함할 수 있으나 이에 제한되지 않는다. 실시간 교통 통제 정보는 실시간 도로 상황 검출 등 방식을 통하여 취득할 수 있고, 어느 지역에서 장기 또는 단기로 실행하는 교통 통제 정보는 인터넷과 상호작용을 수행하는 것을 통하여 취득할 수 있다.

상응하게, 102 단계는 1024 단계를 포함할 수 있으며; 1024 단계는, 상기 차량 외부 환경 감지 정보, 상기 지도 정보 및 교통 통제 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이한다.

예를 들면 도 17에 도시된 바와 같이, 1024 단계는 하기 단계를 포함할 수 있다:

1001 단계에서, 상기 차량 외부 환경 감지 정보, 상기 지도 정보 및 상기 교통 통제 정보에 기반하여, 제2 내비게이션 정보를 생성한다.

1002 단계에서, 상기 제2 내비게이션 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 내비게이션 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이한다.

예를 들면, 제2 내비게이션 정보에 전방 직진, 전방 500미터에 도로 공사로 인한 임시 교통 통제 존재하는 것이 포함되면, 애니메이션 내용에는, “전방 직진” 및 “전방 500미터에 도로 공사로 인한 임시 교통 통제 존재하여, 통행 속도가 늦어지니, 조급해 마세요”의 음성을 방송하는 것, 디지털 인간이 “주의력 집중”의 표정을 짓는 것, 디지털 인간이 "조급해 마세요"의 음성을 방송하는 동시에 "손을 흔드는" 동작 중 적어도 하나를 포함할 수 있으나 이에 제한되지 않는다.

상기 실시예에서, 상기 차량 외부 환경 감지 정보, 상기 지도 정보 및 교통 통제 정보에 기반하여, 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 내비게이션 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하게 할 수 있어, 내비게이션 과정이 더욱 정확하게 하고, 사람들로 하여금 인간-기계 상호작용의 따스함을 느끼게 하고, 운전의 재미, 쾌적함과 동반감을 향상시킨다.

도 18에 도시된 바와 같이, 도 18은 본 출원의 일 예시적 실시예가 도시하는 보조 운전 상호작용 장치의 블록도로서, 장치는, 차량 외부 환경 감지 정보를 취득하는 제1 취득 모듈(1110); 상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 상호작용 모듈(1120)을 포함한다.

일부 실시예에서, 상기 상호작용 모듈은, 상기 차량 외부 환경 감지 정보와 매칭되는 보조 운전을 위한 동작 정보를 결정하는 제1 결정 서브 모듈; 상기 동작 정보에 기반하여 디지털 인간이 상응한 동작을 수행하는 애니메이션을 생성 및 상기 캐빈 내의 차량 탑재 디스플레이 장치 상에 디스플레이하는 제1 상호작용 서브 모듈을 포함한다.

일부 실시예에서, 상기 제1 상호작용 서브 모듈은, 상기 차량 외부 환경 감지 정보와 매칭되는 음성 정보를 결정하는 제1 결정 유닛; 상기 음성 정보에 기반하여 대응하는 음성을 취득하는 바, 상기 음성은 타임 스탬프를 포함하는 취득 유닛; 및 상기 음성을 방송할 때, 상기 동작 정보에 기반하여 상기 디지털 인간이 상기 타임 스탬프에 대응하는 시각에 상기 동작을 수행하는 애니메이션을 생성 및 디스플레이하는 제1 상호작용 유닛을 포함한다.

일부 실시예에서, 상기 동작은 복수의 서브 동작을 포함하고, 각 서브 동작은 상기 음성 중의 한 음소와 매칭되며, 상기 타임 스탬프는 각 음소의 타임 스탬프를 포함하며; 상기 제1 상호작용 서브 모듈은, 각 음소의 타임 스탬프에 기반하여, 상기 각 음소와 매칭되는 서브 동작의 수행 시간을 결정하는 제2 결정 유닛; 및 상기 동작 정보에 기반하여 상기 디지털 인간이 각 음소의 타임 스탬프에서 해당 음소와 매칭되는 서브 동작을 수행하는 애니메이션을 생성 및 디스플레이하는 제2 상호작용 유닛을 포함한다.

일부 실시예에서, 상기 제1 상호작용 서브 모듈은, 동작 모델 베이스로부터 상기 동작 정보에 대응하는 적어도 하나의 디지털 인간의 동작 이미지 프레임을 호출하는 호출 유닛; 및 상기 적어도 하나의 디지털 인간의 동작 이미지 프레임 중의 각 디지털 인간의 동작 이미지 프레임을 순차적으로 상기 디스플레이 장치 상에 디스플레이하는 디스플레이 유닛을 포함한다.

일부 실시예에서, 상기 상호작용 모듈은, 상기 차량 외부 환경 감지 정보에 기반하여 제1 기설정 임무 처리를 수행하여, 제1 기설정 임무 처리 결과를 취득하는 제1 처리 서브 모듈; 상기 제1 기설정 임무 처리 결과가 사전 설정된 제1 안전 운전 조기 경보 조건을 만족하는 것에 응답하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제1 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 제2 상호작용 서브 모듈을 포함한다.

일부 실시예에서, 상기 장치는, 차량 제어 정보를 취득하는 제2 취득 모듈을 더 포함하며; 상기 상호작용 모듈은, 상기 차량 외부 환경 감지 정보와 상기 차량 제어 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 제3 상호작용 서브 모듈을 포함한다.

일부 실시예에서, 상기 제3 상호작용 서브 모듈은, 상기 차량 외부 환경 감지 정보와 상기 차량 제어 정보에 기반하여 제2 기설정 임무 처리를 수행하여, 제2 기설정 임무 처리 결과를 취득하는 제1 처리 유닛; 상기 제2 기설정 임무 처리 결과가 사전 설정된 제2 안전 운전 조기 경보 조건을 만족하는 것에 응답하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제2 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 제3 상호작용 유닛을 포함한다.

일부 실시예에서, 상기 장치는, 차량 내 운전자 상태 분석 정보를 취득하는 제3 취득 모듈을 더 포함하며; 상기 상호작용 모듈은, 상기 차량 외부 환경 감지 정보와 상기 차량 내 운전자 상태 분석 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 제4 상호작용 서브 모듈을 포함한다.

일부 실시예에서, 상기 제4 상호작용 서브 모듈은, 상기 차량 외부 환경 감지 정보와 상기 차량 내 운전자 상태 분석 정보에 기반하여 제3 기설정 임무 처리를 수행하여, 제3 기설정 임무 처리 결과를 취득하는 제2 처리 유닛; 상기 제3 기설정 임무 처리 결과가 사전 설정된 제3 안전 운전 조기 경보 조건을 만족하는 것에 응답하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제3 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 제4 상호작용 유닛을 포함한다.

일부 실시예에서, 상기 상호작용 모듈은, 상기 차량 외부 환경 감지 정보, 취득된 차량 제어 정보 및 취득된 차량 내 운전자 상태 분석 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 제5 상호작용 서브 모듈을 포함한다.

일부 실시예에서, 상기 장치는, 상기 차량 외부 환경을 포함하는 지도 정보를 취득하는 제4 취득 모듈을 더 포함하며; 상기 상호작용 모듈은, 상기 차량 외부 환경 감지 정보와 상기 지도 정보에 기반하여, 제1 내비게이션 정보를 생성하는 제1 생성 서브 모듈; 상기 제1 내비게이션 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 내비게이션 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 제5 상호작용 서브 모듈을 더 포함한다.

일부 실시예에서, 상기 장치는, 상기 차량 외부 환경을 포함하는 지도 정보 및 교통 통제 정보를 취득하는 제5 취득 모듈을 더 포함하며; 상기 상호작용 모듈은, 상기 차량 외부 환경 감지 정보, 상기 지도 정보 및 상기 교통 통제 정보에 기반하여, 제2 내비게이션 정보를 생성하는 제2 생성 서브 모듈; 상기 제2 내비게이션 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 내비게이션 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 제6 상호작용 서브 모듈을 포함한다.

장치 실시예에 대하여, 이는 기본적으로 방법 실시예에 대응되기 때문에, 관련된 부분은 방법 실시예의 일부 설명을 참조하면 된다. 상기 기재된 장치 실시예는 단지 예시적일 뿐이며, 그 중에서 분리된 부품으로 설명된 유닛은 물리적으로 분리되거나 분리되지 않은 것을 수 있고, 유닛으로 표시된 부품은 물리적인 유닛이거나 아닐 수 있으며, 한 곳에 위치하거나 또는 복수의 네트워크 유닛 상에 분포될 수 있다. 실제 수요에 따라 그 중의 일부 또는 전부 모듈을 선택하여 본 출원 방안의 목적을 구현할 수 있다. 당업계 기술자들은 창조적 노력을 필요로 하지 않고, 바로 이해 및 실시할 수 있다.

본 출원에서는 또한 컴퓨터 판독가능 저장 매체를 더 제공하는 바, 컴퓨터 판독가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있고, 프로세서가 상기 컴퓨터 프로그램을 판독할 때, 상기 프로세서가 상기 어느 한 실시예의 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법을 수행한다.

일부 실시예에서, 본 출원의 실시예에서는 컴퓨터 프로그램 제품을 제공하는 바, 컴퓨터 판독가능 코드를 포함하고, 상기 컴퓨터 판독가능 코드가 장치 상에서 수행될 때, 장치 중의 프로세서는 상기 어느 한 실시예가 제공하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법 구현하기 위한 명령을 수행한다.

해당 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 그 결합의 방식을 통하여 구현될 수 있다. 일 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되고, 다른 일 실시예에서, 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 제품으로 구현되는 바, 예를 들면 소프트웨어 개발 키트(Software Development Kit, SDK) 등이다.

본 출원의 실시예에서는 보조 운전 상호작용 장치를 더 제공하는 바, 프로세서; 프로세서가 수행 가능한 명령을 저장하는 기억장치를 포함하며; 그 중에서, 프로세서는 상기 기억장치 중의 실행 가능한 명령을 호출할 때, 상기 어느 한 실시예의 상기 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법을 구현하도록 구성된다.

도 19는 본 출원의 실시예에서 제공하는 보조 운전 상호작용 장치의 하드웨어 구조도이다. 해당 보조 운전 상호작용 장치(1210)는 프로세서(1211)를 포함하고, 또한 입력 장치(1212), 출력 장치(1213) 및 기억장치(1214)를 포함할 수 있다. 해당 입력 장치(1212), 출력 장치(1213), 기억장치(1214)와 프로세서(1211) 사이는 버스를 통하여 상호 연결된다. 기억장치(1214)는 무작위 접속 메모리(Random Access Memory, RAM), 읽기전용 메모리(Read-Only Memory, ROM), 소거가능 프로그램가능 읽기전용 메모리(Erasable Programmable Read-Only Memory, EPROM) 또는 휴대식 읽기 전용 메모리(Compact Disc Read-Only Memory, CD-ROM)를 포함하나 이에 제한되지 않으며, 해당 기억장치(1214)는 관련 명령 및 데이터를 저장하기 위한 것이다.

입력 장치(1212)는 데이터 및/또는 신호를 입력하기 위한 것이고, 또한 출력 장치(1213)는 데이터 및/또는 신호를 출력하기 위한 것이다. 출력 장치(1213)와 입력 장치(1212)는 독립적인 장치일 수도 있고, 또한 하나의 전반적인 장치일 수도 있다. 본 출원의 실시예에서, 입력 장치(1212)는 카메라(01)와 기타 입력 장치(02)를 포함하고, 기타 입력 장치(02)는 오디오 수집 장치를 포함하나 이에 제한되지 않는다. 출력 장치(1213)는 디스플레이 장치(03)와 기타 출력 장치(04)를 포함하고, 기타 출력 장치(04)는 오디오 출력 장치를 포함할 수 있으나 이에 제한되지 않으며, 디지털 인간은 디스플레이 장치(03)를 통하여 디스플레이되고, 디지털 인간이 상응한 전향 동작을 수행하는 애니메이션도 마찬가지로 디스플레이 장치(03)를 통하여 디스플레이된다.

프로세서(1211)는 하나 또는 복수의 프로세서를 포함할 수 있는 바, 예를 들면 하나 또는 복수의 중앙처리장치(central processing unit, CPU)를 포함하고, 프로세서(1211)가 하나의 CPU인 경우, 해당 CPU는 싱글 코어 CPU일 수도 있고, 또한 멀티 코어 CPU일 수도 있다. 기억장치(1214)는 네트워크 장치의 프로그램 코드와 데이터를 저장하기 위한 것이다. 프로세서(1211)는 해당 기억장치(1214) 중의 프로그램 코드와 데이터를 호출하여, 상기 방법 실시예 중의 단계를 수행하기 위한 것이다. 구체적인 내용은 방법 실시예 중의 설명을 참조할 수 있으며, 여기에서는 상세한 설명을 생략하도록 한다.

도 19는 단지 일 보조 운전 상호작용 장치의 간략화 설계를 도시한 것을 이해할 수 있다. 실제 응용에서, 보조 운전 상호작용 장치에는 또한 각각 필요한 기타 부품이 포함될 수 있는 바, 임의의 수량의 입력/출력 장치, 프로세서, 제어기, 기억장치 등이 포함될 수 있으나 이에 제한되지 않으며, 본 출원의 실시예를 구현할 수 있는 모든 보조 운전 상호작용 장치는 모두 본 출원의 보호 범위 내에 속한다.

일부 실시예에서, 본 출원의 실시예에서 제공하는 장치가 구비하는 기능 또는 포함하는 모듈은 상기 방법 실시예에서 설명한 방법을 수행하기 위한 것일 수 있고, 그 구체적인 구현은 상기 방법 실시예의 설명을 참조할 수 있으며, 간략화를 위하여, 여기에서는 상세한 설명을 생략하도록 한다.

본 출원의 실시예에서는 차량을 더 제공하는 바, 차량 내 이미지 및/또는 차량 외부 이미지를 취득하는 카메라; 디지털 인간 및 상기 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 디스플레이하는 차량 탑재 디스플레이 장치; 및 상기 어느 한 실시예의 상기 보조 운전 상호작용 장치를 포함한다.

예를 들면 도 20에 도시된 바와 같이, 본 출원의 실시예는 일 차량(1300)을 더 제공하는 바, 차량 탑재 카메라(1310), 차량 탑재 디스플레이 장치(1320) 및 보조 운전 상호작용 장치(1330)를 포함한다.

그 중에서, 차량 탑재 카메라(1310)는 차량 내 이미지 및/또는 차량 외부 이미지를 취득할 수 있고, 차량 탑재 디스플레이 장치(1320)는 디지털 인간 및 상기 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 디스플레이할 수 있으며, 보조 운전 상호작용 장치(1330)는 상기 어느 한 실시예의 상기 보조 운전 상호작용 장치를 사용하여, 취득된 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이할 수 있다.

당업계의 기술자들은 명세서 및 여기에 공개된 발명을 실천한 후, 쉽게 본 출원의 기타 실시방안을 유도해낼 수 있을 것이다. 본 출원은 본 출원의 임의의 변형, 용도와 적응성 변화를 포함하고, 이러한 변형, 용도 또는 적응성 변화는 본 출원의 일반적 원리를 따르고 또한 본 출원에 공개되지 않은 본 기술분야의 통상적인 지식 또는 통상적인 기술수단을 포함한다. 명세서와 실시예는 단지 예시적일 뿐, 본 출원의 진정한 범위와 사상은 하기 청구항에 의하여 개시된다.

상술한 것은 단지 본 출원의 실시예에 뿐이고, 본 출원을 제한하는 것이 아니며, 본 출원의 사상과 원칙 내에서 수행하는 임의의 수정, 등가 교체, 개선 등은 모두 본 출원의 보호하는 범위 내에 속하여야 한다.

Claims

차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법에 있어서,
차량 외부 환경 감지 정보를 취득하는 것; 및
상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
제1항에 있어서,
상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은,
상기 차량 외부 환경 감지 정보와 매칭되는 보조 운전을 위한 동작 정보를 결정하는 것; 및
상기 동작 정보에 기반하여 디지털 인간이 상응한 동작을 수행하는 애니메이션을 생성 및 상기 캐빈 내의 차량 탑재 디스플레이 장치 상에 디스플레이하는 것을 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
제2항에 있어서,
상기 동작 정보에 기반하여 디지털 인간이 상응한 동작을 수행하는 애니메이션을 생성 및 상기 캐빈 내의 차량 탑재 디스플레이 장치 상에 디스플레이하는 것은,
상기 차량 외부 환경 감지 정보와 매칭되는 음성 정보를 결정하는 것;
상기 음성 정보에 기반하여 대응하는 음성을 취득하는 바, 상기 음성은 타임 스탬프를 포함하는 것; 및
상기 음성을 방송할 때, 상기 동작 정보에 기반하여 상기 디지털 인간이 상기 타임 스탬프에 대응하는 시각에 상기 동작을 수행하는 애니메이션을 생성 및 디스플레이하는 것을 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
제3항에 있어서,
상기 동작은 복수의 서브 동작을 포함하고, 각 서브 동작은 상기 음성 중의 한 음소와 매칭되며, 상기 타임 스탬프는 각 음소의 타임 스탬프를 포함하며;
상기 동작 정보에 기반하여 상기 디지털 인간이 상기 타임 스탬프에 대응하는 시각에 상기 동작을 수행하는 애니메이션을 생성 및 디스플레이하는 것은,
각 음소의 타임 스탬프에 기반하여, 상기 각 음소와 매칭되는 서브 동작의 수행 시간을 결정하는 것; 및
상기 동작 정보에 기반하여 상기 디지털 인간이 각 음소의 타임 스탬프에서 해당 음소와 매칭되는 서브 동작을 수행하는 애니메이션을 생성 및 디스플레이하는 것을 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
제2항 내지 제4항 중 어느 한 항에 있어서,
상기 동작 정보에 기반하여 디지털 인간이 상응한 동작을 수행하는 애니메이션을 생성 및 상기 캐빈 내의 차량 탑재 디스플레이 장치 상에 디스플레이하는 것은,
동작 모델 베이스로부터 상기 동작 정보에 대응하는 적어도 하나의 디지털 인간의 동작 이미지 프레임을 호출하는 것; 및
상기 적어도 하나의 디지털 인간의 동작 이미지 프레임 중의 각 디지털 인간의 동작 이미지 프레임을 순차적으로 상기 디스플레이 장치 상에 디스플레이하는 것을 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은,
상기 차량 외부 환경 감지 정보에 기반하여 제1 기설정 임무 처리를 수행하여, 제1 기설정 임무 처리 결과를 취득하는 것; 및
상기 제1 기설정 임무 처리 결과가 사전 설정된 제1 안전 운전 조기 경보 조건을 만족하는 것에 응답하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제1 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
차량 제어 정보를 취득하는 것을 포함하며;
상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은,
상기 차량 외부 환경 감지 정보와 상기 차량 제어 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 더 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
제7항에 있어서,
상기 차량 외부 환경 감지 정보와 상기 차량 제어 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은,
상기 차량 외부 환경 감지 정보와 상기 차량 제어 정보에 기반하여 제2 기설정 임무 처리를 수행하여, 제2 기설정 임무 처리 결과를 취득하는 것; 및
상기 제2 기설정 임무 처리 결과가 사전 설정된 제2 안전 운전 조기 경보 조건을 만족하는 것에 응답하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제2 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
차량 내 운전자 상태 분석 정보를 취득하는 것을 더 포함하며;
상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은,
상기 차량 외부 환경 감지 정보와 상기 차량 내 운전자 상태 분석 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
제9항에 있어서,
상기 차량 외부 환경 감지 정보와 상기 차량 내 운전자 상태 분석 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은,
상기 차량 외부 환경 감지 정보와 상기 차량 내 운전자 상태 분석 정보에 기반하여 제3 기설정 임무 처리를 수행하여, 제3 기설정 임무 처리 결과를 취득하는 것; 및
상기 제3 기설정 임무 처리 결과가 사전 설정된 제3 안전 운전 조기 경보 조건을 만족하는 것에 응답하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 제3 안전 운전 조기 경보의 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은,
상기 차량 외부 환경 감지 정보, 취득된 차량 제어 정보 및 취득된 차량 내 운전자 상태 분석 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 차량 외부 환경을 포함하는 지도 정보를 취득하는 것을 더 포함하며;
상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은,
상기 차량 외부 환경 감지 정보와 상기 지도 정보에 기반하여, 제1 내비게이션 정보를 생성하는 것; 및
상기 제1 내비게이션 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 내비게이션 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 차량 외부 환경을 포함하는 지도 정보 및 교통 통제 정보를 취득하는 것을 더 포함하며;
상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것은,
상기 차량 외부 환경 감지 정보, 상기 지도 정보 및 상기 교통 통제 정보에 기반하여, 제2 내비게이션 정보를 생성하는 것; 및
상기 제2 내비게이션 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 내비게이션 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 것을 포함하는
것을 특징으로 하는 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법.
보조 운전 상호작용 장치에 있어서,
차량 외부 환경 감지 정보를 취득하는 제1 취득 모듈;
상기 차량 외부 환경 감지 정보에 기반하여, 캐빈 내에 설치된 차량 탑재 디스플레이 장치 상에 디스플레이되는 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 생성 및 디스플레이하는 상호작용 모듈을 포함하는 보조 운전 상호작용 장치.
컴퓨터 판독가능 저장 매체에 있어서,
상기 컴퓨터 판독가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있고, 프로세서가 상기 컴퓨터 프로그램을 수행할 때, 상기 프로세서가 상기 제1항 내지 제13항 중 어느 한 항의 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법을 수행하는 컴퓨터 판독가능 저장 매체.
보조 운전 상호작용 장치에 있어서,
프로세서; 및
상기 프로세서가 수행 가능한 명령을 저장하는 기억장치를 포함하는 바;
상기 프로세서는 상기 기억장치 중의 실행 가능한 명령을 호출할 때, 상기 제1항 내지 제13항 중 어느 한 항의 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법을 구현하도록 구성되는 차량 탑재 디지털 인간을 기반으로 하는 상호작용 장치.
차량에 있어서,
차량 내 이미지 및/또는 차량 외부 이미지를 취득하는 카메라;
디지털 인간 및 상기 디지털 인간이 보조 운전을 위한 상호작용 정보를 형성하는 애니메이션을 디스플레이하는 차량 탑재 디스플레이 장치; 및
제14항 또는 제16항의 상기 보조 운전 상호작용 장치를 포함하는 차량.
컴퓨터 프로그램 제품에 있어서,
컴퓨터 판독가능 코드를 포함하고, 상기 컴퓨터 판독가능 코드가 프로세서 상에서 수행될 때, 상기 프로세서가 제1항 내지 제13항 중 어느 한 항의 차량 탑재 디지털 인간을 기반으로 하는 보조 운전 상호작용 방법을 수행하는 컴퓨터 프로그램 제품.