KR20220002550A - 차량의 인터랙션 방법 및 장치, 전자 기기, 기억 매체 및 차량 - Google Patents

차량의 인터랙션 방법 및 장치, 전자 기기, 기억 매체 및 차량 Download PDF

Info

Publication number
KR20220002550A
KR20220002550A KR1020217038845A KR20217038845A KR20220002550A KR 20220002550 A KR20220002550 A KR 20220002550A KR 1020217038845 A KR1020217038845 A KR 1020217038845A KR 20217038845 A KR20217038845 A KR 20217038845A KR 20220002550 A KR20220002550 A KR 20220002550A
Authority
KR
South Korea
Prior art keywords
vehicle
digital human
outside
face recognition
display device
Prior art date
Application number
KR1020217038845A
Other languages
English (en)
Inventor
춘얀 조우
빈 정
커 리
양핑 우
리앙 슈
쉬징 정
준 우
Original Assignee
상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드 filed Critical 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드
Publication of KR20220002550A publication Critical patent/KR20220002550A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G06K9/00288—
    • G06K9/00771—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00896—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 차량의 인터랙션 방법 및 장치, 전자 기기, 기억 매체 및 차량에 관한 것으로, 상기 방법은 차실 밖의 비디오 스트림을 수집하도록 차량의 차실 밖에 설치된 카메라를 제어하는 것과, 상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻는 것과, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내 설치된 표시 기기를 제어하여 상기 디지털 휴먼에 의한 휴먼 컴퓨터 인터랙션을 하는 것을 포함하는 것이다.

Description

차량의 인터랙션 방법 및 장치, 전자 기기, 기억 매체 및 차량
본원은 2020년 6월 24일에 중국 국가 지식산권국에 제출된 출원번호가 202010589901.4이고, 출원의 명칭이 「차량의 인터랙션 방법 및 장치, 전자 기기, 기억 매체 및 차량」인 중국 특허출원의 우선권을 주장하고, 그 모든 내용은 원용함으로써 본원에 포함된다.
본 발명은 차량 기술에 관한 것으로, 특히 차량의 인터랙션 방법 및 장치, 전자 기기, 기억 매체 및 차량에 관한 것이다.
차량 기술 및 컴퓨터 기술의 발전에 따라 차량의 휴먼 컴퓨터 인터랙션 기능은 사용자의 주목을 받고 있다. 휴먼 컴퓨터 인터랙션이란, 특정 태스크를 완료하기 위해 인간과 컴퓨터가 일정한 회화 언어를 사용하여 일정한 인터랙션 방식으로 정보를 교환하는 프로세스를 말한다. 차량의 휴먼 컴퓨터 인터랙션은 인간과 차량의 인터랙션을 실현하는 것을 목적으로 하고 있다. 차량의 휴먼 컴퓨터 인터랙션에서 차량의 응답 속도를 어떻게 향상시킬 것인가가 해결해야 할 긴급한 기술적 문제가 되고 있다.
본 발명은 차량의 인터랙션 기술의 제안을 제공한다.
본 발명의 일 측면에 의하면,
차실 밖의 비디오 스트림을 수집하도록 차량의 차실 밖에 설치된 카메라를 제어하는 것과,
상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻는 것과,
얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하여 상기 디지털 휴먼에 의한 휴먼 컴퓨터 인터랙션을 행하는 것을 포함하는 차량 인터랙션 방법을 제공한다.
가능한 일 실현형태에서는 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는 것은
얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어함과 동시에, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는 것을 포함한다.
가능한 일 실현형태에서는 얼굴 인식에 성공할 때까지 상기 표시 기기가 오프 상태 또는 슬립 상태에 있고, 상기 디지털 휴먼에 대응하는 프로세스가 종료 상태 또는 슬립 상태에 있고,
디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는 것은 차실 내에 설치된 표시 기기를 기동 또는 웨이크업하는 것과, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하고, 디지털 휴먼을 상기 표시 기기에 표시하도록 상기 디지털 휴먼에 대응하는 프로세스를 실행하는 것을 포함한다.
가능한 일 실현형태에서는 차실 내에 설치된 표시 기기를 기동 또는 웨이크업함과 동시에, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업한다.
가능한 일 실현형태에서는 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는 것은
상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 디지털 휴먼 이미지 정보 및/또는 인터랙션 방식 정보를 취득하는 것과,
상기 디지털 휴먼 이미지 정보 및/또는 인터랙션 방식 정보에 기초하여 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는 것을 포함한다.
가능한 일 실현형태에서는 얼굴 인식에 성공할 때까지 상기 차실 내에 설치된 카메라가 오프 상태 또는 슬립 상태에 있고,
차실 밖에 대한 얼굴 인식 결과가 얻어진 후, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 차실 내에 설치된 카메라를 기동 또는 웨이크업하고, 차실 내의 비디오 스트림을 수집하도록 상기 차실 내의 카메라를 제어하는 것과, 상기 차실 내의 비디오 스트림에 기초하여 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하는 것을 추가로 포함한다.
가능한 일 실현형태에서는 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 차실 내에 설치된 카메라를 기동 또는 웨이크업하는 것은
얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어함과 동시에, 상기 차실 내에 설치된 카메라를 기동 또는 웨이크업하는 것을 포함한다.
가능한 일 실현형태에서는 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량의 탑재자와의 인터랙션을 행하는 것은
상기 차실 내의 비디오 스트림의 이미지에 기초하여, 상기 이미지에서의 상기 탑재자의 제1 상대 위치 정보 및/또는 상기 차실 내에서의 상기 탑재자의 제2 상대 위치 정보를 포함하는 탑재자의 위치 정보를 검출하는 것과,
상기 탑재자의 위치 정보에 기초하여 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 애니메이션을 생성하여 표시하는 것을 포함한다.
가능한 일 실현형태에서는 상기 차실 내의 비디오 스트림의 이미지에 기초하여, 상기 탑재자의 위치 정보를 검출하는 것은
상기 이미지에 대응하는 이미지 좌표계에 있어서, 상기 탑재자의 하나 이상의 부위가 위치하는 이미지 좌표 에어리어를 검출하는 것과,
상기 이미지 좌표 에어리어를 상기 이미지에서의 상기 탑재자의 상기 제1 상대 위치 정보로 하고, 및/또는 상기 이미지 좌표계와 상기 차실 내의 공간 좌표계의 매핑 관계에 기초하여, 상기 이미지 좌표 에어리어에 대응하는 차실 내 공간 좌표 에어리어를 결정하고, 상기 차실 내 공간 좌표 에어리어를 상기 차실 내에서의 상기 탑재자의 상기 제2 상대 위치 정보로 하는 것을 포함한다.
가능한 일 실현형태에서는 상기 탑재자의 위치 정보에 기초하여 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 애니메이션을 생성하고 표시하는 것은
미리 확립된 위치 정보와 디지털 휴먼 방향의 매핑 관계에 기초하여 상기 탑재자의 위치 정보에 대응하는 목표 방향을 결정하는 것과,
상기 표시 기기에서 상기 디지털 휴먼이 상기 목표 방향을 향하도록 애니메이션을 생성하고 표시하는 것을 포함한다.
가능한 일 실현형태에서는 상기 탑재자의 위치 정보에 기초하여 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 애니메이션을 생성하고 표시하는 것은
검출된 탑재자의 위치 정보가 복수의 탑재자의 복수의 위치 정보인 것에 따라 상기 복수의 위치 정보 중 하나를 목표 위치 정보로서 결정하는 것과,
상기 표시 기기에서 상기 디지털 휴먼이 상기 목표 위치 정보에 대응하는 탑재자 쪽을 향하는 애니메이션을 생성하고 표시하는 것을 포함한다.
가능한 일 실현형태에서는, 상기 복수의 위치 정보 중 하나를 목표 위치 정보로서 결정하는 것은
미리 결정된 상이한 위치 정보의 우선 순위에 따라 상기 복수의 위치 정보 중 가장 우선도가 높은 것을 목표 위치 정보로서 결정하는 것을 포함하고,
상기 상이한 위치 정보의 우선 순위는
운전석 에어리어에 대응하는 위치 정보의 우선도가 부운전석 에어리어에 대응하는 위치 정보의 우선도보다 높은 것과,
앞좌석 에어리어에 대응하는 위치 정보의 우선도가 뒷좌석 에어리어에 대응하는 위치 정보의 우선도보다 높은 것과,
전용석에 대응하는 위치 정보의 우선도가 비전용석에 대응하는 위치 정보의 우선도보다 높은 것 중 하나 이상을 포함한다.
가능한 일 실현형태에서는 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하는 것은
상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 상기 차량에 대한 탑승 및/또는 착석이 검출됨에 따라 상기 디지털 휴먼에 의해 상기 탑재자에 대한 웰컴 메시지를 발하는 것을 포함한다.
가능한 일 실현형태에서는 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하는 것은
상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 웰컴 메시지를 취득하고, 상기 표시 기기에서 상기 디지털 휴먼이 상기 웰컴 메시지를 나타내는 동작을 행하는 애니메이션을 생성하고 표시하는 것을 포함한다.
가능한 일 실현형태에서는 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하는 것은
상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 하차 의도가 검출됨에 따라 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자와의 하차 인터랙션을 행하는 애니메이션을 생성하고 표시하는 것을 포함한다.
가능한 일 실현형태에서는 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하는 것은
상기 차량의 상황 정보가 미리 설립된 조건을 만족함에 따라, 상기 디지털 휴먼에 의해 상기 차량의 상황을 상기 탑재자에게 제시하는 제시 정보를 발하는 것 중 하나 이상을 포함한다.
본 발명의 일 측면에 의하면,
차실 밖의 비디오 스트림을 수집하도록 차량의 차실 밖에 설치된 카메라를 제어하기 위한 제1 제어 모듈과,
상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻기 위한 얼굴 인식 모듈과,
얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하여 상기 디지털 휴먼에 의한 휴먼 컴퓨터 인터랙션을 행하기 위한 제2 제어 모듈을 포함하는 차량 인터랙션 장치를 제공한다.
본 발명의 일 측면에 의하면, 하나 이상의 프로세서와, 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 하나 이상의 프로세서는 상기 메모리에 기억되어 있는 실행 가능한 명령을 불러내어 상기 방법을 실행하도록 구성되는 전자 기기를 제공한다.
본 발명의 일 측면에 의하면, 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 상기 방법을 실현시키는 컴퓨터 판독 가능 기억 매체를 제공한다.
본 발명의 일 측면에 의하면, 본체와, 콕피트 도메인 컨트롤러와, 상기 차량의 차실 밖에 설치되는 카메라와, 차실 내에 설치되는 표시 기기를 포함하고, 상기 콕피트 도메인 컨트롤러는 서로 접속되는 비디오 처리칩과 마이크로 컨트롤러 유닛을 포함하고, 상기 비디오 처리칩은 상기 차실 밖의 카메라 및 상기 표시 기기에도 접속되고, 상기 마이크로 컨트롤러 유닛은 상기 본체에도 접속되고,
상기 차실 밖의 카메라는 차실 밖의 비디오 스트림을 수집하는 것에 사용되고,
상기 비디오 처리칩은 상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻는 것과, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 도어록 해제 명령 및/또는 도어 개방 명령을 생성하고, 상기 도어록 해제 명령 및/또는 상기 도어 개방 명령을 상기 마이크로 컨트롤러 유닛에 송신하는 것과, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식의 결과에 따라 상기 표시 기기를 기동 또는 웨이크업하고, 상기 디지털 휴먼에 대응하는 프로세서를 작성 또는 웨이크업하고, 상기 디지털 휴먼을 상기 표시 기기에 표시하도록 상기 디지털 휴먼에 대응하는 프로세스를 실행하는 것에 사용되고,
상기 마이크로 컨트롤러 유닛은 상기 도어록 해제 명령 및/또는 상기 도어 개방 명령에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 상기 본체를 제어하는 것에 사용되는 차량을 제공한다.
가능한 일 실현형태에서는, 상기 비디오 처리칩은 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 도어록 해제 명령 및/또는 도어 개방 명령을 생성함과 동시에 상기 표시 기기를 기동 또는 웨이크업하고, 상기 디지털 휴먼에 대응하는 프로세스를 생성 또는 웨이크업하는 것에 사용된다.
가능한 일 실현형태에서는 상기 차실 내에 설치되고, 상기 비디오 처리칩에 접속되는 카메라를 추가로 포함하고,
상기 마이크로 컨트롤러 유닛은 상기 비디오 처리칩은 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 차실 내의 카메라를 기동 또는 웨이크업하고, 차실 내의 비디오 스트림을 수집하도록 상기 차실 내의 카메라를 제어하는 것에 사용된다.
가능한 한 실현형태에서는 상기 마이크로 컨트롤러 유닛에 접속되는 웨이크업 모듈을 추가로 포함하고,
상기 마이크로 컨트롤러 유닛은 추가로 상기 웨이크업 모듈의 트리거에 따라 슬립 상태에 있는 상기 비디오 처리칩을 웨이크업하는 것에 사용되고,
상기 비디오 처리칩은 추가로 웨이크업된 후, 차실 밖의 비디오 스트림을 수집하도록 상기 차실 밖의 카메라를 제어하는 것에 사용된다.
가능한 일 실현형태에서는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 상기 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램을 제공한다.
본 발명의 실시예에서는 차실 밖의 비디오 스트림을 수집하도록 차량의 차실 밖에 설치된 카메라를 제어하고, 상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻고 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하여 상기 디지털 휴먼에 의한 휴먼 컴퓨터 인터랙션을 행함으로써, 차실 밖에 대한 얼굴 인식에 성공한 직후에 디지털 휴먼을 기동하고, 차실 밖에 대한 얼굴 인식에 성공하고 나서 상기 차량의 탑재자가 차량에 탑승할 때까지의 시간을 이용하여 디지털 휴먼이 탑재자와의 인터랙션을 행하기 위한 준비를 갖추게 할 수 있고, 상기 탑재자가 차량에 탑승한 후, 디지털 휴먼이 보다 신속하게 상기 탑재자에게 서비스를 제공할 수 있고, 또한 탑재자의 승차 체험을 향상시킬 수 있다.
또한, 상술한 개략적인 설명 및 다음의 상세한 설명은 예시적 및 해석적인 것에 불과하며, 본 발명을 한정하는 것은 아니다.
이하, 도면을 참조하면서 예시적인 실시예를 상세히 설명함으로써 본 발명의 다른 특징 및 측면은 명확하다.
여기서, 본 명세서의 일부로서 포함되는 도면은 본 발명의 실시예에 적합하고, 명세서와 함께 본 발명의 기술적 해결 수단의 설명에 사용된다.
도 1은 본 발명의 실시예에 따른 차량의 인터랙션 방법의 흐름도를 나타낸다.
도 2는 만화 스타일의 디지털 휴먼의 모식도를 나타낸다.
도 3은 리얼한 스타일의 디지털 휴먼의 모식도를 나타낸다.
도 4은 이별의 동작을 실행하는 디지털 휴먼의 모식도를 나타낸다.
도 5는 본 발명의 실시예에 따른 차량의 인터랙션 장치의 블록도를 나타낸다.
도 6은 본 발명의 실시예에 따른 차량의 모식도를 나타낸다.
도 7은 본 발명의 실시예에 따른 전자 기기(800)의 블록도를 나타낸다.
이하에 도면을 참조하면서 본 발명의 다양한 예시적인 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 부호는 동일하거나 또는 유사한 기능의 요소를 나타낸다. 도면에서 실시예의 다양한 측면을 나타내지만, 특별히 언급하지 않는 한, 비례를 따라 도면을 그릴 필요가 없다.
여기서의 용어「예시적」이란 「예, 실시예로서 사용되는 것 또는 설명적인 것」을 의미한다. 여기서 「예시적」으로 설명되는 어떠한 실시예도 다른 실시예보다 바람직하거나 또는 우수한 것으로 이해해서는 안된다.
본 명세서에서의 용어 「및/또는」은 단순히 관련 대상과의 연관 관계를 기술하는 것이고, 3개의 관계가 존재 가능함을 나타내며, 예를 들면, A 및/또는 B는 A만이 존재하고, A와 B가 모두 존재하고, B만이 존재하는 3개의 경우를 나타내도 된다. 또한, 본 명세서에서의 용어 「하나 이상」은 복수 중 어느 하나, 또는 복수 중 적어도 2개의 임의의 조합을 나타내고, 예를 들면 A, B, C 중 하나 이상을 포함하는 것은 A, B 및 C로 이루어지는 집합에서 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타내도 된다.
또한, 본 발명을 보다 효과적으로 설명하기 위해 이하의 구체적인 실시형태에서 다양한 구체적인 상세를 나타낸다. 당업자라면 본 발명은 어떠한 구체적인 상세가 없어도 동일하게 실시할 수 있는 것으로 이해해야 한다. 일부 실시예에서는 본 발명의 취지를 강조하기 위해 당업자가 숙지하고 있는 방법, 수단, 요소 및 회로에 대해 상세한 설명을 행하지 않는다.
도 1은 본 발명의 실시예에 따른 차량의 인터랙션 방법의 흐름도를 나타낸다. 상기 차량의 인터랙션 방법은 차량의 인터랙션 장치에 의해 실행되어도 된다. 예를 들면, 상기 차량의 인터랙션 방법은 단말 기기나 기타 처리 기기에 의해 실행되어도 된다. 여기서, 단말 기기는 차재 장치, 사용자측 장치(User Equipment, UE), 휴대 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 휴대용 기기, 계산 기기 또는 웨어러블 장치 등이어도 된다. 몇 가지 가능한 실현형태에 있어서, 상기 차량의 인터랙션 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능한 명령을 불러냄으로써 실현되어도 된다. 가능한 일 실현형태에서는 상기 차량의 인터랙션 방법은 스마트 카, 차량 운전을 시뮬레이션하는 스마트 콕피트 등의 운전 가능한 기계 기기에 적용할 수 있다. 도 1에 나타내는 바와 같이, 상기 차량의 인터랙션 방법은 단계(S11)∼단계(S13)을 포함한다.
단계(S11)에서 차실 밖의 비디오 스트림을 수집하도록 차량의 차실 밖에 설치된 카메라를 제어한다.
본 발명의 실시예에서는 상기 차실 밖의 카메라의 수는 하나 이상이어도 된다. 가능한 일 실현형태에서는 상기 차실 밖의 카메라는 하나 이상의 B필러, 하나 이상의 차의 도어, 하나 이상의 백미러 중 하나 이상의 위치에 장착 가능하다. 예를 들면, 상기 차실 밖의 카메라는 상기 차량의 2개의 B필러 및 트렁크 도어에 장착된다.
단계(S12)에 있어서, 상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻는다.
본 발명의 실시예에서는 상기 차실 밖의 비디오 스트림 중 하나 이상의 비디오 프레임에 기초하여, 얼굴 인식을 행하여, 차실 밖의 대상물의 얼굴 인식 결과를 얻을 수 있다. 예를 들면, 상기 차실 밖의 비디오 스트림 중 하나 이상의 비디오 프레임의 얼굴 특징을 추출하고, 상기 차실 밖의 비디오 스트림 중 하나 이상의 비디오 프레임의 얼굴 특징과 미리 등록된 얼굴 특징을 조합(照合)하여 동일한 인간에 속하는 얼굴 특징인지 여부를 판정하는 것과, 차실 밖의 대상물의 얼굴 인식 결과를 얻는다. 여기서, 미리 등록된 얼굴 특징은 상기 차량 소유자의 얼굴 특징, 상기 차량을 자주 사용하는 인간들(예를 들면, 상기 차량 소유자의 가족)의 얼굴 특징, 상기 차량의 대여인(예를 들면, 공유차의 대여인)의 얼굴 특징, 상기 차량의 승객(예를 들면, 온라인 카 헤일링의 승객)의 얼굴 특징 중 하나 이상을 포함하지만, 이들에 한정되지 않는다.
단계(S13)에서 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하여 상기 디지털 휴먼에 의한 휴먼 컴퓨터 인터랙션을 행한다.
가능한 일 실현형태에서는 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 도어의 상태 정보를 취득하고, 상기 도어의 상태 정보가 록 미해제인 경우, 상기 도어의 록을 해제하거나 또는 도어의 록을 해제하여 도어를 개방하도록 제어하고, 상기 도어의 상태 정보가 록 해제 되어 있거나, 또한 미개방인 경우, 상기 도어를 개방하도록 제어함으로써 사용자가 손으로 도어를 당겨 개방하지 않고, 얼굴 인식에 기초하여 도어가 자동적으로 열리도록 할 수 있고, 차량 사용의 편리성을 향상시킬 수 있다.
본 발명의 실시예에서는 상기 차량의 탑재자는 상기 차량에 타는 임의의 인간이나 애완 동물 등이어도 된다. 예를 들면, 상기 차량의 탑재자는 상기 차량에 타는 운전자, 비운전자, 승객, 성인, 고령자, 어린이, 앞좌석의 인간, 뒷좌석의 인간 등 중 하나 이상을 포함해도 된다.
본 발명의 실시예에서는 디지털 휴먼은 소프트웨어에 의해 생성된 가상 이미지여도 된다. 예를 들면, 상기 디지털 휴먼은 3차원 가상 이미지여도 된다. 디지털 휴먼은 만화 스타일, 리얼한 스타일 등이어도 된다. 도 2는 만화 스타일의 디지털 휴먼의 모식도를 나타낸다. 도 3은 리얼한 스타일의 디지털 휴먼의 모식도를 나타낸다. 당업자는 실제 응용 장면의 요구 및/또는 개인적인 취향에 따라 디지털 휴먼의 스타일을 유연하게 설정할 수 있고, 본 발명의 실시예에서는 이것이 한정되지 않는다. 본 발명의 실시예에서는 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하여, 차량의 휴먼 컴퓨터 인터랙션에서 차량의 의인화가 실현되고 있기 때문에, 휴먼 컴퓨터 인터랙션이 보다 인간의 인터랙션의 습관에 맞는, 보다 자연스러운 것이고, 탑재자에게 휴먼 컴퓨터 인터랙션의 따뜻함을 느끼게 하고, 탑승하는 즐거움, 쾌적함, 동반감을 높여 운전의 안전 리스크의 경감에 기여한다.
본 발명의 실시예에서는 차실 내에 설치된 표시 기기, 예를 들면 중앙 제어 디스플레이, 차재 태블릿 단말 등과 같은 차실 내에 설치된 임의의 표시 기기여도 된다.
본 발명의 실시예에서는 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하고, 즉 「디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는」 타이밍이 「얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 응하는」 것이다. 통상, 디지털 휴먼이 일정 시간, 예를 들면, 15초로 기동할 필요가 있다. 본 발명의 실시예에서는 차실 밖의 비디오 스트림을 수집하도록 차량의 차실 밖에 설치된 카메라를 제어하고, 상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻고, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하여 상기 디지털 휴먼에 의한 휴먼 컴퓨터 인터랙션을 행함으로써, 차실 밖에 대한 얼굴 인식에 성공한 직후에 디지털 휴먼을 기동하고, 차실 밖에 대한 얼굴 인식에 성공하고 나서 상기 탑재자가 차량에 탑승하기까지의 시간을 이용하여 디지털 휴먼이 탑재자와의 인터랙션을 행할 준비를 갖추게 할 수 있고, 상기 탑재자가 차량에 탑승한 후, 디지털 휴먼이 보다 신속하게 상기 탑재자에게 서비스를 제공할 수 있고, 또한 탑재자의 승차 체험을 향상시킬 수 있다.
가능한 일 실현형태에서는 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는 것은 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어함과 동시에 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는 것을 포함한다. 즉, 당해 실현형태에서, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 「차량 도어록 해제 및/또는 도어 개방을 행하도록 제어하는」 프로세스와, 「디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는」 프로세스를 앞뒤 순서가 아닌 병행하여 트리거할 수 있다. 여기에서 「병행하여 트리거하는」것은 트리거의 타임 스탬프가 엄밀히 일치하는 것에 한정되지 않는다. 당해 실현형태에서, 「차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하는」 것 및 「디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는」 것은 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 동시에 실행할 수 있고, 디지털 휴먼을 가능한 빨리 기동할 수 있다.
가능한 일 실현형태에서는 얼굴 인식에 성공할 때까지 상기 표시 기기가 오프 상태 또는 슬립 상태에 있고, 상기 디지털 휴먼에 대응하는 프로세스가 종료 상태 또는 슬립 상태에 있고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는 것은 차실 내에 설치된 표시 기기를 기동 또는 웨이크업하는 것과, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하고, 디지털 휴먼을 상기 표시 기기에 표시하도록 상기 디지털 휴먼에 대응하는 프로세스를 실행하는 것을 포함한다.
당해 실현형태에서는 얼굴 인식에 성공할 때까지 차실 내에 설치된 표시 기기가 오프 상태 또는 슬립 상태에 있고, 상기 디지털 휴먼에 대응하는 프로세스가 종료 상태 또는 슬립 상태에 있음으로써, 디지털 휴먼에 의한 차량의 휴먼 컴퓨터 인터랙션에 필요한 전력을 절약할 수 있다. 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 표시 기기를 기동 또는 웨이크업하고, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하고, 디지털 휴먼을 상기 표시 기기에 표시하도록 상기 디지털 휴먼에 대응하는 프로세스를 실행함으로써 디지털 휴먼이 탑재자와의 인터랙션을 행할 준비를 사전에 갖추도록 할 수 있고, 탑재자의 승차 체험을 향상시킬 수 있다.
당해 실현형태의 일례로서, 차실 내에 설치된 표시 기기를 기동 또는 웨이크업함과 동시에, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업한다. 즉, 당해 예에서는 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 「차실 내에 설치된 표시 기기를 기동 또는 웨이크업하는」 프로세스와 「상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는」프로세스를 앞뒤 순서가 아닌 병행하여 트리거할 수 있다. 여기에서 「병행하여 트리거하는」 것은 트리거의 타임 스탬프가 엄밀히 일치하는 것에 한정되지 않는다. 당해 예에서는 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 「차실 내에 설치된 표시 기기를 기동 또는 웨이크업하는」 것 및 「상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는」 것을 병행하여 실행할 수 있고, 상기 표시 기기에 디지털 휴먼을 가능한 한 빨리 표시할 수 있다.
당해 실현형태의 일례로서, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는 것은 상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 디지털 휴먼 이미지 정보 및/또는 인터랙션 방식 정보를 취득하는 것과, 상기 디지털 휴먼 이미지 정보 및/또는 인터랙션 방식 정보에 기초하여 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는 것을 포함한다.
당해 예에서는 상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 탑재자의 얼굴 정보에 기초하여, 상기 탑재자에 대응하는 디지털 휴먼 이미지 정보를 검색할 수 있다. 상기 탑재자에 대응하는 디지털 휴먼 이미지 정보가 존재하는 경우, 적어도 상기 탑재자에 대응하는 디지털 휴먼 이미지 정보에 기초하여, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하고, 상기 표시 기기가 상기 탑재자에 대응하는 디지털 휴먼 이미지 정보에 기초하여 디지털 휴먼을 표시하도록 제어된다. 일례에서는 상기 탑재자에 대응하는 디지털 휴먼 이미지 정보가 존재하지 않는 경우, 상기 탑재자에 대응하는 디지털 휴먼 이미지 정보를 생성하고, 상기 디지털 휴먼에 대응하는 프로세스를 작성하여 새로 생성된 상기 탑재자에 대응하는 디지털 휴먼 이미지 정보에 기초하여, 디지털 휴먼을 표시하도록 상기 표시 기기를 제어할 수 있다. 다른 하나의 예에서는 상기 탑재자에 대응하는 디지털 휴먼 이미지 정보가 존재하지 않는 경우, 디폴트의 디지털 휴먼 이미지 정보에 기초하여, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하여 디폴트의 디지털 휴먼 이미지 정보에 기초하여 디지털 휴먼을 표시하도록 상기 표시 기기를 제어할 수 있다. 여기서, 상기 탑재자의 얼굴 정보는 상기 탑재자의 얼굴 이미지 및/또는 얼굴 인식에 의해 취득한 상기 탑재자의 신원 정보 등을 포함할 수 있다. 당해 예에서는 상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 디지털 휴먼 이미지 정보에 기초하여, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업함으로써, 상기 표시 기기에 의해 상이한 이미지의 디지털 휴먼을 표시할 수 있고, 즉 디지털 휴먼의 이미지가 탑재자에 의해 상이해도 되기 ‹š문에, 디지털 휴먼의 이미지를 풍부하게 하고, 탑재자의 개별 요구에 따라, 승차 체험을 향상시켜 탑재자에게 휴먼 컴퓨터 인터랙션의 따뜻함을 느끼게 할 수 있다.
당해 예에서는 상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 탑재자의 얼굴 정보에 기초하여, 상기 탑재자에 대응하는 인터랙션 방식 정보를 검색할 수 있다. 상기 탑재자에 대응하는 인터랙션 방식 정보가 존재하는 경우, 적어도 상기 탑재자에 대응하는 인터랙션 방식 정보에 기초하여 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하여 상기 디지털 휴먼이 상기 탑재자에 대응하는 인터랙션 방식 정보에 기초하여, 휴먼 컴퓨터 인터랙션을 행하도록 제어된다. 일례에서는 상기 탑재자에 대응하는 인터랙션 방식 정보가 존재하지 않는 경우, 상기 탑재자에 대응하는 인터랙션 방식 정보를 생성하고, 상기 디지털 휴먼에 대응하는 프로세스를 작성하여 상기 디지털 휴먼이 상기 탑재자에게 대응하는 인터랙션 방식 정보에 기초하여, 휴먼 컴퓨터 인터랙션을 행하도록 제어된다. 다른 하나의 예에서는 상기 탑재자에게 대응하는 인터랙션 방식 정보가 존재하지 않는 경우, 디폴트 인터랙션 방식 정보에 기초하여 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하여 상기 디지털 휴먼이 상기 탑재자에 대응하는 인터랙션 방식 정보에 기초하여 휴먼 컴퓨터 인터랙션을 행하도록 제어된다. 당해 예에서는 인터랙션 방식 정보는 인토네이션 정보, 음성 템플릿, 표정 정보, 동작 정보 등의 하나 이상을 포함해도 된다. 예를 들면, 어린이 대상 인터랙션 방식에서는 인토네이션을 높이거나, 표정이나 움직임을 풍부하게하는 등, 보다 생생한 것으로 할 수 있다. 또한 예를 들면, 고령자 대상 음성 템플릿은 보다 많은 경어를 넣을 수 있다. 당해 예에서는 상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 인터랙션 방식 정보에 기초하여 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업함으로써 상이한 인터랙션 방식으로 휴먼 컴퓨터 인터랙션을 행할 수 있고, 즉 휴먼 컴퓨터 인터랙션 방식이 탑재자에 의해 상이해도 되기 때문에, 탑재자의 개별 요구에 따라, 승차 체험을 향상시키고, 탑재자에게 휴먼 컴퓨터 인터랙션의 따뜻함을 느끼게 할 수 있다.
일례에서는 디지털 휴먼 이미지 편집 요구에 따라 상기 탑재자에 대응하는 디지털 휴먼 이미지 정보를 편집할 수 있다. 예를 들면, 상기 디지털 휴먼 이미지 편집 요구는 상기 디지털 휴먼의 헤어 스타일, 얼굴 생김새, 피부색, 복장 등 중 하나 이상을 편집하는 것에 사용되어도 된다. 당해 예에 의하면, 탑재자는 개인적인 취향에 따라 디지털 휴먼의 이미지를 커스터마이즈할 수 있다.
일례에서는 디지털 휴먼 이미지의 리셋 요구에 따라, 상기 탑재자에 대응하는 디지털 휴먼 이미지 정보를 재생성할 수 있다. 당해 예에 의하면, 탑재자는 개인적인 취향의 변화에 따라 디지털 휴먼 이미지를 다시 커스터마이즈할 수 있다.
일례에서는 인터랙션 방식 편집 요구에 따라 상기 탑재자에 대응하는 인터랙션 방식 정보를 편집할 수 있다. 당해 예에 의하면, 탑재자는 개인적인 취향에 따라 디지털 휴먼의 인터랙션 방식을 커스터마이즈할 수 있다.
일례에서는 인터랙션 방식의 리셋 요구에 따라 상기 탑재자에 대응하는 인터랙션 방식 정보를 재생성할 수 있다. 당해 예에 의하면, 탑재자는 개인적인 취향의 변화에 따라 디지털 휴먼의 인터랙션 방식을 다시 커스터마이즈할 수 있다.
본 발명의 실시예에서는 인터랙션 피드백 정보를 출력하여 탑재자와의 인터랙션을 행하도록 디지털 휴먼을 제어할 수 있다. 예를 들면, 상기 인터랙션 피드백 정보는 음성 피드백 정보, 표정 피드백 정보, 동작 피드백 정보 중 하나 이상을 포함해도 된다.
가능한 일 실현형태에서는 얼굴 인식에 성공할 때까지 상기 차실 내에 설치된 카메라가 오프 상태 또는 슬립 상태에 있고, 차실 밖에 대한 얼굴 인식 결과가 얻어진 후, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 차실 내에 설치된 카메라를 기동 또는 웨이크업하고, 차실 내의 비디오 스트림을 수집하도록 상기 차실 내의 카메라를 제어하는 것과, 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하는 것을 추가로 포함한다.
당해 실현형태에 있어서, 상기 차실 내의 카메라의 수는 1개 이상이어도 된다. 상기 차실 내의 카메라는 차실 내의 임의의 위치에 설치되어도 된다. 예를 들면, 상기 차실 내의 카메라는 센터 콘솔, 인스트루멘털 패널, 프론트 글라스, 이너 백미러 중 하나 이상의 위치에 설치되어도 된다.
당해 실현형태에서, 얼굴 인식에 성공할 때까지 상기 차량의 차실 내에 설치된 카메라가 오프 상태 또는 슬립 상태에 있도록 제어됨으로써 차량의 휴먼 컴퓨터 인터랙션에 필요한 소비 전력을 절약할 수 있다. 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 차량의 차실 내에 설치된 카메라를 기동 또는 웨이크업하고, 차실 내의 비디오 스트림을 수집하도록 상기 차실 내의 카메라를 제어하고, 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행함으로써 차실 밖에서 얼굴 인식에 성공한 직후에 상기 차량의 차실 내에 설치된 카메라를 기동 또는 웨이크업할 수 있고, 즉 차실 밖에서 얼굴 인식에 성공하고 나서 상기 탑재자가 차량에 대한 탑승할 때까지의 시간을 이용하여 상기 차실 내의 카메라를 기동 또는 웨이크업하고, 상기 차실 내의 카메라가 차실 내의 비디오 스트림을 적시에 수집할 수 있도록 하고, 상기 탑재자가 차량에 대한 탑승한 후, 탑재자와의 인터랙션을 적시에 행할 수 있다.
당해 실현형태의 일례로서 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 차실 내에 설치된 카메라를 기동 또는 웨이크업하는 것은 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어함과 동시에, 상기 차실 내에 설치된 카메라를 기동 또는 웨이크업하는 것을 포함한다. 당해 예에서는 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 「차량 도어록 해제 및/또는 도어 개방을 행하도록 제어하는 것」 및 「상기 차실 내에 설치된 카메라를 기동 또는 웨이크업하는」 것을 병행하여 실행할 수 있고, 상기 차량의 차실 내에 설치된 카메라를 최대한 빨리 기동 또는 웨이크업할 수 있다.
당해 실현형태의 일례로서, 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하는 것은 상기 차실 내의 비디오 스트림의 이미지에 기초하여, 상기 이미지에서의 상기 탑재자의 제1 상대 위치 정보 및/또는 상기 차실 내에서의 상기 탑재자의 제2 상대 위치 정보를 포함하는 탑재자의 위치 정보를 검출하는 것과, 상기 탑재자의 위치 정보에 기초하여 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 애니메이션을 생성하고 표시하는 것을 포함한다.
당해 예에서는 상기 차실 내의 비디오 스트림의 하나 이상의 이미지(즉, 비디오 프레임)에 기초하여 이미지 해석을 행함으로써, 상기 차실 내의 비디오 스트림의 시각 정보에 기초하여 상기 탑재자의 위치 정보를 결정할 수 있다. 여기서, 상기 이미지에서의 상기 탑재자의 제1 상대 위치 정보는 상기 이미지의 상기 탑재자의 위치 정보를 나타내고, 상기 차실 내에서의 상기 탑재자의 제2 상대 위치 정보는 상기 차실 내에서의 상기 탑재자의 위치 정보를 나타내도록 해도 된다. 당해 예에서는 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 것은 상기 디지털 휴먼의 신체가 상기 탑재자 쪽을 향하고 있는 것, 상기 디지털 휴먼의 머리부가 상기 탑재자 쪽을 향하고 있는것, 및 상기 디지털 휴먼의 눈이 상기 탑재자 쪽을 향하는 것 중 하나 이상을 포함해도 된다.
당해 예에서는 상기 탑재자의 위치 정보에 기초하여 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 애니메이션을 생성하고 표시함으로써, 디지털 휴먼이 상기 탑재자를 향하고 있는 상태에서 상기 탑재자와의 인터랙션을 행하도록 할 수 있고, 디지털 휴먼과 탑재자의 인터랙션이 보다 인간의 인터랙션의 습관에 맞는, 보다 자연스러운 것이 되도록 할 수 있다 .
일례에서는 상기 차실 내의 비디오 스트림의 이미지에 기초하여, 상기 탑재자의 위치 정보를 검출하는 것은 상기 이미지에 대응하는 이미지 좌표계에 있어서, 상기 탑재자의 하나 이상의 부위가 위치하는 이미지 좌표 에어리어를 검출하는 것과, 상기 이미지 좌표 에어리어를 상기 이미지에서의 상기 탑재자의 상기 제1 상대 위치 정보를 포함한다. 당해 예에서는 상기 탑재자의 하나 이상의 부위가 위치하는 이미지 좌표 에어리어는 상기 이미지 좌표계에서의 상기 탑재자의 하나 이상의 부위의 좌표 에어리어를 나타내도 된다. 당해 예에 의하면, 상기 이미지에 대응하는 이미지 좌표계에서의 상기 탑재자의 하나 이상의 부위의 위치에 기초하여, 상기 탑재자의 위치 정보를 정확하게 결정할 수 있다.
다른 하나의 예에서는 상기 차실 내의 비디오 스트림의 이미지에 기초하여, 상기 탑재자의 위치 정보를 검출하는 것은 상기 이미지에 대응하는 이미지 좌표계 에있어서, 상기 탑재자의 하나 이상의 부위가 위치하는 이미지 좌표 에어리어를 검출하는 것과, 상기 이미지 좌표계와 상기 차실 내의 공간 좌표계의 매핑 관계에 기초하여, 상기 이미지 좌표 에어리어에 대응하는 차실 내 공간 좌표 에어리어를 결정하고, 상기 차실 내 공간 좌표 에어리어를 상기 차실 내에서의 상기 탑재자의 상기 제2 상대 위치 정보로 하는 것을 포함한다. 당해 예에서는 상기 차실 내의 공간 좌표계는 상기 차실 내의 좌표계를 나타내도 된다. 상기 차실 내 공간 좌표 에어리어는 상기 차실 내의 공간 좌표계에서의 상기 탑재자의 하나 이상의 부위의 좌표 에어리어를 나타내도 된다. 여기서, 상기 이미지 좌표계와 상기 차실 내의 공간 좌표계의 매핑 관계는 카메라 보정법을 사용하여 미리 결정할 수 있다. 당해 예에 의하면, 상기 차실 내의 공간 좌표계에서의 상기 탑재자의 하나 이상의 부위의 위치에 기초하여, 상기 탑재자의 위치 정보를 정확하게 결정할 수 있다.
일례에서는 상기 탑재자의 위치 정보에 기초하여 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 애니메이션을 생성하고 표시하는 것은, 미리 확립된 위치 정보와 디지털 휴먼의 방향의 매핑 관계에 기초하여 상기 탑재자의 위치 정보에 대응하는 목표 방향을 결정하는 것과, 상기 표시 기기에서 상기 디지털 휴먼이 상기 목표 방향을 향하도록 애니메이션을 생성하고 표시하는 것을 포함한다.
여기서, 미리 확립된 위치 정보와 디지털 휴먼 방향의 매핑 관계는 미리 확립된 제1 상대 위치 정보와 디지털 휴먼 방향의 매핑 관계 및/또는 미리 확립된 제2 상대 위치 정보와 디지털 휴먼 방향의 매핑 관계를 포함해도 된다. 당해 예에서는 위치 정보와 디지털 휴먼 방향의 매핑 관계를 미리 확립하고, 미리 확립된 위치 정보와 디지털 휴먼 방향의 매핑 관계에 기초하여 상기 탑재자의 위치 정보에 대응하는 목표 방향을 결정하고, 상기 표시 기기에서 상기 디지털 휴먼이 상기 목표 방향을 향하도록 애니메이션을 생성하고 표시함으로써, 디지털 휴먼이 정확하게 탑재자를 향하고 있는 상태에서 상기 탑재자와의 인터랙션을 행하도록 할 수 있다.
일례에서는 상기 탑재자의 위치 정보에 기초하여 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 애니메이션을 생성하고 표시하는 것은 검출된 탑재자의 위치 정보가 복수의 탑재자의 복수의 위치 정보인 것에 따라 상기 복수의 위치 정보 중 하나를 목표 위치로 결정하는 것과, 상기 표시 기기에서 상기 디지털 휴먼이 상기 목표 위치 정보에 대응하는 탑재자 쪽을 향하는 애니메이션을 생성하고 표시하는 것을 포함한다. 당해 예에서는 복수의 탑재자의 복수의 위치 정보 중 목표 위치 정보에 기초하여, 디지털 휴먼의 방향을 결정함으로써, 차실 내에 복수의 탑재자가 있는 경우, 디지털 휴먼이 어느 탑재자를 향하고 있는 상태에서 휴먼 컴퓨터 인터랙션을 행하도록 할 수 있고, 디지털 휴먼과 탑재자의 인터랙션이 보다 인간의 인터랙션의 습관에 맞는, 보다 자연스러운 것이 되도록 할 수 있다.
예를 들면, 상기 복수의 위치 정보 중 하나를 목표 위치 정보로서 결정하는 것은 미리 결정된 상이한 위치 정보의 우선 순위에 따라 상기 복수의 위치 정보 중 가장 우선도가 높은 것을 목표 위치 정보로서 결정하는 것을 포함하고, 상기 상이한 위치 정보의 우선 순위는 운전석 에어리어에 대응하는 위치 정보의 우선도가 부운전석 에어리어에 대응하는 위치 정보의 우선도보다 높은 것과, 앞좌석 에어리어에 대응하는 위치 정보의 우선도가 뒷좌석 에어리어에 대응하는 위치 정보의 우선도보다 높은 것과, 전용석에 대응하는 위치 정보의 우선도가 비전용석에 대응하는 위치 정보의 우선도보다 높은 것 중 하나 이상을 포함한다. 당해 예에 의하면, 차실 내에 복수의 탑재자가 있는 경우, 디지털 휴먼이 가장 우선도가 높은 탑재자를 향하고 있는 상태에서 휴먼 컴퓨터 인터랙션을 행하도록 할 수 있다. 예를 들면, 상기 탑재자의 위치 정보에 기초하여 상기 탑재자가 운전자 및 비운전자를 포함한다고 판단된 경우, 상기 표시 기기에서 상기 디지털 휴먼이 상기 운전자 쪽을 향하는 애니메이션을 생성하여 표시함으로써 운전의 동반감을 높이고, 운전의 안전 리스크 저감에 기여한다. 당연히 다른 예에서는 상기 복수의 위치 정보 중 어느 것을 목표 위치로 해도 되지만, 여기에서는 한정되지 않는다.
일례에서는 상기 탑재자의 위치 정보에 기초하여 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 애니메이션을 생성하고 표시하는 것은 상기 차실 내의 비디오 스트림에 기초하여, 상기 차실 내에 복수의 탑재자가 있는 것으로 판단되는 경우, 승차 시간이 가장 가까운 탑재자의 위치 정보에 기초하여 상기 디지털 휴먼이 가장 가까운 승차 시간의 탑재자 쪽을 향하도록 제어되는 것을 포함한다. 당해 예에 의하면, 각 탑재자의 승차 체험을 향상시키고, 각 탑재자가 전부 승차했을 때, 차량과의 휴먼 컴퓨터 인터랙션을 행할 것 같은 따뜻함을 느끼게 할 수 있다. 당연히 다른 예에서는 상기 차실 내에 복수의 탑재자가 있는 경우, 상기 디지털 휴먼이 차례로 상기 복수의 탑재자의 각각 또는 그 적어도 일부의 탑재자 쪽을 향하도록 제어되어도 되지만, 여기에 한정되지 않는다.
당해 실현형태의 일례로서, 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 휴먼 인터랙션을 행하는 것은 상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 상기 차량에 대한 탑승 및/또는 착석이 검출됨에 따라 상기 디지털 휴먼에 의해 상기 탑재자에 대한 웰컴 메시지를 발하는 것을 포함한다.
당해 예에서는 언어, 표정, 움직임 중 하나 이상을 출력하도록 디지털 휴먼을 제어함으로써 상기 탑재자에 대한 웰컴 메시지를 발할 수 있다. 당해 예에서는 얼굴 인식에 성공하면 디지털 휴먼이 기동되기 때문에, 상기 디지털 휴먼의 응답 속도를 향상시킬 수 있다. 이 때문에, 탑재자의 상기 차량에 탑승 및/또는 착석이 검출되면, 상기 디지털 휴먼은 상기 탑재자에 대한 웰컴 메시지를 보다 신속하게 발할 수 있고, 상기 탑재자의 승차 체험을 향상시킬 수 있다.
당해 실현형태의 일례로서, 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량의 탑재자와의 휴먼 인터랙션을 행하는 것은 상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 웰컴 메시지를 취득하고, 상기 표시 기기에서 상기 디지털 휴먼이 상기 웰컴 메시지를 나타내는 동작을 행하는 애니메이션을 생성하고 표시하는 것을 포함한다. 당해 예에서는 상기 디지털 휴먼이 상기 웰컴 메시지를 나타내는 동작을 행하는 애니메이션에 있어서, 상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 디지털 휴먼의 몸의 움직임, 표정, 입 모양, 음성 콘텐츠, 제스처 등의 하나 이상의 퍼스널라이즈된 애니메이션 정보를 포함할 수 있다. 당해 예에서는 상기 차실 밖에 대한 얼굴 인식 결과에 기초하여 웰컴 메시지를 결정함으로써, 디지털 휴먼에 의해 퍼스널라이즈된 승차 서비스를 제공할 수 있다.
일례에서는 상기 차실 밖에 대한 얼굴 인식 결과에 기초하여 상기 탑재자의 호칭을 결정하고, 상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 상기 차량에 대한 탑승 및/또는 착석이 검출됨에 따라, 상기 탑재자의 호칭에 기초하여, 상기 디지털 휴먼에 의해 상기 탑재자에 대한 웰컴 메시지를 발할 수 있다. 당해 예에 의하면, 상기 탑재자가 상기 차량에 탑승 및/또는 착석하면 디지털 휴먼은 상기 탑재자의 호칭에 기초하여 탑재자와 적시에 인사할 수 있고, 탑재자의 탑승 체험을 추가로 향상시킬 수 있다.
일례에서는 상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 상기 차량에 대한 탑승 및/또는 착석이 검출됨에 따라 상기 탑재자의 호칭 및 현재 시간에 기초하여, 상기 디지털 휴먼에 의해 상기 탑재자에 대한 웰컴 메시지를 발할 수 있다. 예를 들면, 상기 탑재자의 호칭이 「XX」이고, 현재 시간이 오전인 경우, 상기 탑재자에 대한 웰컴 메시지로는 「XX, 안녕하세요」라는 음성 정보 등을 포함해도 된다. 현재 시간(예를 들면, 오전, 오후, 밤 등)에 따라 상이한 웰컴 메시지를 발할 수 있다. 당연히, 디지털 휴먼이 표정, 움직임에 맞추어 상기 탑재자에 대한 웰컴 메시지를 발하도록 제어할 수 있다.
일례에서는 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하는 것은 상기 차실 밖에 대한 얼굴 인식 결과에 기초하여 상기 탑재자의 이름 정보가 취득된 경우, 상기 탑재자의 이름 정보에 기초하여 상기 탑재자의 호칭을 결정하고 및/또는 상기 얼굴 인식 결과에 기초하여 상기 탑재자 이름 정보가 취득되지 않은 경우, 상기 탑재자의 성별 및/또는 연령을 인식하고, 상기 탑재자의 성별 및/또는 연령에 기초하여, 상기 탑재자의 호칭을 결정하는 것과, 상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 상기 차량에 대한 탑승 및/또는 착석이 검출됨에 따라 상기 탑재자의 호칭에 기초하여 상기 디지털 휴먼에 의해 상기 탑재자에 대한 웰컴 메시지를 발하는 것을 포함한다. 여기서, 상기 탑재자의 이름 정보는 상기 탑재자의 이름, 성, 닉네임 등 중 하나 이상을 포함할 수 있다. 예를 들면, 상기 탑재자의 연령이 제1 소정 연령 범위(예를 들면, 2세∼15세)에 있는 경우, 상기 탑재자의 호칭을 [자녀]로 해도 된다. 또한 예를 들면, 상기 탑재자의 성별이 여성이고, 또한 상기 탑재자의 연령이 제2 소정 연령 범위(예를 들면, 25세보다 큼)에 있는 경우, 상기 탑재자의 호칭을 [Ms.]라고 할 수 있다. 당해 예에서는 상기 차실 밖에 대한 얼굴 인식 결과에 기초하여 상기 탑재자의 호칭을 결정함으로써 디지털 휴먼에 의해 퍼스널라이즈된 승차 서비스를 제공할 수 있다.
당해 실현형태의 일례로서, 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 휴먼 인터랙션을 행하는 것은 상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 하차 의도가 검출됨에 따라 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자와의 하차 인터랙션을 행하는 애니메이션을 생성하고 표시하는 것을 포함한다.
일례에서는 상기 차실 내의 비디오 스트림에 기초하여, 상기 탑재자의 안전 벨트가 착용 상태에서 비착용 상태로 변화되었는지 여부를 판단하고, 그렇다면, 상기 탑재자의 하차 의도가 검출된 것으로 판단할 수 있다. 다른 하나의 예에서는 상기 차량이 정지 상태에 있을 때, 상기 차실 내의 비디오 스트림에 기초하여, 상기 탑재자가 일어났는지 여부를 판단하고, 그렇다면, 상기 탑재자의 하차 의도가 검출된 것으로 판단할 수 있다. 당연히, 상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 하차 의도의 유무를 판단하는 방법은 이에 한정되는 것은 아니고, 당업자는 실제 응용 장면의 요구에 따라 유연하게 설정할 수 있다.
당해 예에서는 상기 탑재자와의 하차 인터랙션을 행하기 위해, 언어, 표정, 움직임 중 하나 이상을 출력하도록 디지털 휴먼을 제어할 수 있다. 예를 들면, 「승차해 주셔서 감사합니다. 다음에 다시 만납시다」라는 음성 정보를 출력하도록 디지털 휴먼을 제어할 수 있고, 당연히 표정, 움직임에 맞추어 상기 탑재자에 대한 이별의 정보를 발하도록 디지털 휴먼을 제어할 수도 있다. 예를 들면, 이별의 동작을 실행하도록 디지털 휴먼을 제어할 수도 있다. 도 4는 이별의 움직임을 실행하는 디지털 휴먼의 모식도를 나타낸다. 일례에서는 상기 탑재자의 호칭에 기초하여, 상기 탑재자와의 하차 인터랙션을 행하도록 상기 디지털 휴먼을 제어할 수도 있다. 예를 들면, 「Ms.XX, 승차해주셔서 감사합니다. 다음에 다시 만납시다」라는 음성 정보를 출력하도록 디지털 휴먼을 제어할 수 있다.
당해 예에서는 상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 하차 의도가 검출됨에 따라 상기 탑재자와의 하차 인터랙션을 행하도록 상기 디지털 휴먼을 제어함으로써 상기 탑재자의 승차 체험을 추가로 향상시킬 수 있다.
당해 실현형태의 일례로서, 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하는 것은 상기 차실 내의 비디오 스트림 중 하나 이상의 비디오 프레임에 기초하여 소정의 태스크를 처리하고, 태스크 처리 결과를 얻는 것과, 상기 태스크 처리 결과에 기초하여, 상기 탑재자와의 인터랙션을 행하도록 상기 디지털 휴먼을 제어하는 것을 포함한다. 예를 들면, 상기 디지털 휴먼을 표시하도록 상기 차량용 표시 기기를 제어하고, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하고, 인터랙션 피드백 정보 등을 출력하도록 상기 차량 표시 기기에 표시된 디지털 휴먼을 제어할 수 있다. 당해 예에서는 소정의 태스크는 얼굴 인식, 시선 검출, 주시 영역 검출, 얼굴 인식, 인체 검출, 제스처 검출, 얼굴 속성 검출, 감정 상태 검출, 피로 상태 검출, 주의 산만 상태 검출, 위험 동작 검출 중 하나 이상을 포함하지만, 이들에 한정되지 않는다.
가능한 일 실현형태에서는 상기 방법은 추가로, 상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 착석이 검출됨에 따라 상기 탑재자에게 디지털 휴먼의 기능을 소개하도록 자기 소개가 필요한지 여부를 문의하도록 상기 디지털 휴먼을 제어하는 것을 포함한다. 예를 들면, 「제 자기 소개가 필요합니까?」라는 음성 정보를 발하도록 상기 디지털 휴먼을 제어할 수 있다. 「예/OK」등의 지시를 접수하면 음성, 표정, 움직임 중 하나 이상에 맞추어 디지털 휴먼 기능의 소개를 개시하도록 디지털 휴먼을 제어하고, 「아니오/No」 등의 지시를 접수하면 대기 상태에 들어가도록 디지털 휴먼을 제어할 수 있다. 일례에서는 대기 상태에서의 디지털 휴먼의 동작을 미리 설정해 둘 수 있다.
가능한 일 실현형태에서는 운전자가 좌석에서 멀어진 것이 검출되거나, 또는 상기 탑재자로부터의 미리 설정된 음성 정보(예를 들면, 「안녕」, 「잠시 휴식합니다」, 「바이바이」) 등이 검출됨에 따라 디지털 휴먼은 이별의 동작을 실행하도록 제어되어 오프된다.
가능한 일 실현형태에서는 상기 방법은 추가로 상기 차량의 상황 정보가 미리 설정된 조건을 만족함에 따라, 상기 디지털 휴먼에 의해 상기 차량의 상황을 상기 탑재자에게 제시하는 제시 정보를 발하는 것을 포함한다. 여기서, 상기 차량의 상태 정보는 상기 차량의 상태를 반영할 수 있는 정보를 표시해도 된다. 예를 들면, 상기 차량의 상태 정보는 상기 차량의 연료량, 차륜 상태 등을 포함해도 된다. 예를 들면, 상기 미리 설정된 조건에는 연료량이 소정의 연료량값 이하인 것이 포함되고, 상기 차량의 현재의 연료량이 상기 미리 설정된 조건을 만족하면 연료를 적시에 보급하도록 운전자를 주의시키기 위해 상기 디지털 휴먼에 의해 상기 차량의 현재의 연료량을 제시할 수 있다. 당해 실현형태에 있어서, 상기 차량의 상황 정보가 미리 설정된 조건을 만족하면 상기 디지털 휴먼에 의해 제시 정보를 발함으로써, 상기 탑재자가 상기 차량의 상황을 적시에 주의하는 것에 기여할 수 있다.
본 발명에서 언급되는 상기 각 방법의 실시예는 원리와 논리에 위반하지 않는 한 서로 조합하여 실시예를 형성할 수 있는 것으로 이해해야 하고, 분량에 한계가 있으므로 본 발명에서는 그 설명을 생략한다.
당업자라면 구체적인 실시형태의 상기 방법에서 기재된 각 단계의 순서는 실시 순서를 엄밀하게 당해 순서에 한정되는 것은 아니다. 각 단계의 구체적인 실행 순서는 각 단계의 기능과 가능한 내재적 논리에 따라 결정되는 것을 이해해야 한다.
또한, 본 발명은 차량의 인터랙션 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체, 프로그램을 추가로 제공하고, 이들 전부 본 발명에서 제공되는 차량의 인터랙션 방법 중 하나를 실현하기 위해 이용 가능하고, 대응하는 기술적 수단 및 설명에 대해서는 방법의 대응하는 기재를 참조하면 되고, 여기서 생략한다.
도 5는 본 발명의 실시예에 따른 차량의 인터랙션 장치의 블록도를 나타낸다. 도 5에 나타내는 바와 같이, 상기 차량의 인터랙션 장치는 차실 밖의 비디오 스트림을 수집하도록 차량의 차실 밖에 설치된 카메라를 제어하기 위한 제1 제어 모듈(51)과, 상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻기 위한 얼굴 인식 모듈(52)과, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하여 상기 디지털 휴먼에 의한 휴먼 컴퓨터 인터랙션을 행하기 위한 제2 제어 모듈(53)을 포함한다.
가능한 일 실현형태에서는, 상기 제2 제어 모듈(53)은 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어함과 동시에 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는 것에 사용된다.
가능한 일 실현형태에서는 얼굴 인식에 성공할 때까지 상기 표시 기기가 오프 상태 또는 슬립 상태에 있고, 상기 디지털 휴먼에 대응하는 프로세스가 종료 상태 또는 슬립 상태에 있고, 상기 제2 제어 모듈(53)은 차실 내에 설치된 표시 기기를 기동 또는 웨이크업하는 것과, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하고, 디지털 휴먼을 상기 표시 기기에 표시하도록 상기 디지털 휴먼에 대응하는 프로세스를 실행하는 것에 사용된다.
가능한 일 실현형태에서는, 상기 제2 제어 모듈(53)은 차실 내에 설치된 표시 기기를 기동 또는 웨이크업함과 동시에, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는 것에 사용된다.
가능한 일 실현형태에서는, 상기 제2 제어 모듈(53)은 상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 디지털 휴먼 이미지 정보 및/또는 인터랙션 방식 정보를 취득하는 것과, 상기 디지털 휴먼 이미지 정보 및/또는 인터랙션 방식 정보에 기초하여 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는 것에 사용된다.
가능한 일 실현형태에서는 얼굴 인식에 성공할 때까지 상기 차실 내에 설치된 카메라가 오프 상태 또는 슬립 상태에 있고, 상기 장치는 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 차실 내에 설치된 카메라를 기동 또는 웨이크업하고, 차실 내의 비디오 스트림을 수집하도록 상기 차실 내의 카메라를 제어하고, 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하기 위한 제3 제어 모듈을 추가로 포함한다.
가능한 일 실현형태에서는 상기 제3 제어 모듈은, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어함과 동시에 상기 차실 내에 설치된 카메라를 기동 또는 웨이크업하는 것에 사용된다.
가능한 일 실현형태에서는 상기 제3 제어 모듈은, 상기 차실 내의 비디오 스트림의 이미지에 기초하여, 상기 이미지에서의 상기 탑재자의 제1 상대 위치 정보 및/또는 상기 차실 내에서의 상기 탑재자 제2 상대 위치 정보를 포함하는 탑재자의 위치 정보를 검출하는 것과, 상기 탑재자의 위치 정보에 기초하여 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 애니메이션을 생성하여 표시하는 것에 사용된다.
가능한 일 실현형태에서는 상기 제3 제어 모듈은, 상기 이미지에 대응하는 이미지 좌표계에서, 상기 탑재자의 하나 이상의 부위가 위치하는 이미지 좌표 에어리어를 검출하는 것과, 상기 이미지 좌표 에어리어를 상기 이미지에서의 상기 탑재자의 제1 상대 위치 정보로 하고, 및/또는 상기 이미지 좌표계와 상기 차실 내의 공간 좌표계의 매핑 관계에 기초하여, 상기 이미지 좌표 에어리어에 대응하는 차실 내 공간 좌표 에어리어를 결정하고, 상기 차실 내 공간 좌표 에어리어를 상기 차실 내에서의 상기 탑재자의 상기 제2 상대 위치 정보로 하는 것에 사용된다.
가능한 일 실현형태에서는 상기 제3 제어 모듈은, 미리 확립된 위치 정보와 디지털 휴먼 방향의 매핑 관계에 기초하여, 상기 탑재자의 위치 정보에 대응하는 목표 방향을 결정하는 것과, 상기 표시 기기에서 상기 디지털 휴먼이 상기 목표 방향을 향하도록 애니메이션을 생성하고 표시하는 것에 사용된다.
가능한 일 실현형태에서는 상기 제3 제어 모듈은, 검출된 탑재자의 위치 정보가 복수의 탑재자의 복수의 위치 정보인 것에 따라, 상기 복수의 위치 정보 중 하나를 목표 위치 정보로서 결정하는 것과, 상기 표시 기기에서 상기 디지털 휴먼이 상기 목표 위치 정보에 대응하는 탑재자 쪽을 향하는 애니메이션을 생성하여 표시하는 것에 사용된다.
가능한 일 실현형태에서는 상기 제3 제어 모듈은, 미리 결정된 상이한 위치 정보의 우선 순위에 따라, 상기 복수의 위치 정보 중, 가장 우선도가 높은 것을 목표 위치 정보로서 결정하는 것에 사용되고, 여기서, 상기 상이한 위치 정보의 우선 순위는 운전석 에어리어에 대응하는 위치 정보의 우선도가 부운전석 에어리어에 대응하는 위치 정보의 우선도보다 높은 것과, 앞좌석 에어리어에 대응하는 위치 정보의 우선도가 뒷좌석 에어리어에 대응하는 위치 정보의 우선도보다 높은 것과, 전용석에 대응하는 위치 정보의 우선도가 비전용석에 대응하는 위치 정보의 우선도보다 높은 것 중 하나 이상을 포함한다.
가능한 일 실현형태에서는 상기 제3 제어 모듈은, 상기 차실 내의 비디오 스트림에 기초하여, 상기 탑재자의 상기 차량에 대한 탑승 및/또는 착석이 검출됨에 따라 상기 디지털 휴먼에 의해 상기 탑재자에 대한 웰컴 메시지를 발하는 것과, 상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 웰컴 메시지를 취득하고, 상기 표시 기기에서 상기 디지털 휴먼이 상기 웰컴 메시지를 나타내는 동작을 행하는 애니메이션 생성하고 표시하는 것과, 상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 하차 의도가 검출됨에 따라, 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자와의 하차 인터랙션을 행하도록 애니메이션을 생성하여 표시하는 것과, 상기 차량의 상황 정보가 미리 설정된 조건을 만족함에 따라, 상기 디지털 휴먼에 의해 상기 차량의 상황을 상기 탑재자에게 제시하는 제시 정보를 발하는 것 중 하나 이상에 사용된다.
본 발명의 실시예에서는 차실 밖의 비디오 스트림을 수집하도록 차량의 차실 밖에 설치된 카메라를 제어하고, 상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻고, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하여 상기 디지털 휴먼에 의해 휴먼 컴퓨터 인터랙션을 행함으로써, 차실 밖에 대한 얼굴 인식에 성공한 직후에 디지털 휴먼을 기동하고, 차실 밖에 대한 얼굴 인식에 성공하고 나서 상기 차량 탑재자가 차량에 대한 탑승하기까지의 시간을 이용하여 디지털 휴먼이 탑재자와의 인터랙션을 행할 준비를 갖추게 할 수 있고, 상기 탑재자가 차량에 대한 탑승한 후 디지털 휴먼이 보다 신속하게 상기 탑재자에게 서비스를 제공할 수 있고, 또한 탑재자의 승차 체험을 향상시킬 수 있다.
도 6은 본 발명의 실시예에 따른 차량의 모식도를 나타낸다. 도 6에 나타내는 바와 같이, 상기 차량은 본체(100)와 서로 접속되는 비디오 처리칩(210) 및 마이크로 컨트롤러 유닛(MicroController Unit, MCU)(220)을 포함하는 콕피트 도메인 컨트롤러(200)와, 상기 차량의 차실 밖에 설치되는 카메라(300)와, 차실 내에 설치되는 표시 기기(400)를 포함하고, 상기 비디오 처리칩(210)은 상기 차실 밖에 설치되는 카메라(300) 및 상기 표시 기기(400)에도 접속되고, 상기 마이크로 컨트롤러 유닛(220)은 상기 본체(100)에도 접속되고, 상기 차실 밖의 카메라(300)는 차실 밖의 비디오 스트림을 수집하는 것에 사용되고, 상기 비디오 처리칩(210)은 상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻고, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 도어록 해제 명령 및/또는 도어 개방 명령을 생성하고, 상기 도어록 해제 명령 및/또는 상기 도어 개방 명령을 상기 마이크로 컨트롤러 유닛(220)에 송신하고, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 표시 기기(400)를 기동 또는 웨이크업하고, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하고, 상기 디지털 휴먼을 상기 표시 기기(400)에 표시하도록 상기 디지털 휴먼에 대응하는 프로세스를 실행하는 것에 사용되고, 상기 마이크로 컨트롤러 유닛(220)은 상기 도어록 해제 명령 및/또는 상기 도어 개방 명령에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 상기 본체(100)를 제어하는 것에 사용된다.
본 발명의 실시예에서는 상기 비디오 처리칩(210)은 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 도어록 해제 명령 및/또는 도어 개방 명령을 생성하고, 상기 표시 기기(400)을 기동 또는 웨이크업하고, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하고, 상기 디지털 휴먼을 상기 표시 기기(400)에 표시하도록 상기 디지털 휴먼에 대응하는 프로세스를 실행함으로써, 얼굴 인식에 의한 도어 개방을 실현할 수 있고, 차실 밖에 대한 얼굴 인식에 성공한 직후에 디지털 휴먼을 기동하고, 차실 밖에 대한 얼굴 인식에 성공하고 나서 상기 차량의 탑재자가 차량에 탑승하기까지의 시간을 이용하여 디지털 휴먼이 탑재자와의 인터랙션을 행할 준비를 갖추게 할 수 있고, 상기 탑재자가 차량에 대한 탑승한 후, 디지털 휴먼이 보다 신속하게 상기 탑재자에게 서비스를 제공할 수 있고, 또한 탑재자의 승차 체험을 향상시킬 수 있다.
가능한 일 실현형태에서는 상기 비디오 처리칩(210)은 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 도어록 해제 명령 및/또는 도어 개방 명령을 생성함과 동시에 상기 표시 기기(400)를 기동 또는 웨이크업하고, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는 것에 사용된다. 당해 실현형태에서, 비디오 처리칩(210)은 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 「도어록 해제 명령 및/또는 도어 개방 명령을 생성하는」 것 및 「상기 표시 기기(400)를 기동 또는 웨이크업하는」 것과, 「상기 디지털 휴먼에 대응하는 프로세스를 생성 또는 웨이크업하는」 것을 병행하여 실행할 수 있고, 상기 표시 기기(400)에 디지털 휴먼을 가능한 한 빨리 표시할 수 있다.
가능한 일 실현형태에서는 상기 차량은 상기 차실 내에 설치되고, 상기 비디오 처리칩(210)에 접속되는 카메라를 추가로 포함하고, 상기 비디오 처리칩(210)은 추가로 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 차실 내의 카메라를 기동 또는 웨이크업하고, 차실 내의 비디오 스트림을 수집하도록 상기 차실 내의 카메라를 제어하는 것에 사용된다.
당해 실현형태에 있어서, 상기 비디오 처리칩(210)은 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 차량의 차실 내에 설치된 카메라를 기동 또는 웨이크업하고, 차실 내의 비디오 스트림을 수집하도록 상기 차실 내의 카메라를 제어하고, 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행함으로써 차실 밖에서 얼굴 인식에 성공한 직후에 상기 차량의 차실 내에 설치된 카메라를 기동 또는 웨이크업할 수 있고, 즉 차실 밖에서 얼굴 인식에 성공하고 나서 상기 탑재자가 차량에 탑승하기까지의 시간을 이용하여 상기 차실 내의 카메라를 기동 또는 웨이크업하고, 상기 차실 내의 카메라가 차실 내의 비디오 스트림을 적시에 수집할 수 있고, 탑재자가 차량에 탑승한 후, 탑재자와의 인터랙션을 적시에 행할 수 있다.
가능한 일 실현형태에서는 상기 차량은 상기 마이크로 컨트롤러 유닛(220)에 접속되는 웨이크업 모듈을 추가로 포함하고, 상기 마이크로 컨트롤러 유닛(220)은 추가로 상기 웨이크업 모듈의 트리거에 따라 슬립 상태에 있는 상기 비디오 처리칩(210)을 웨이크업하는 것에 사용되고, 상기 비디오 처리칩(210)은 추가로 웨이크업된 후, 차실 밖의 비디오 스트림을 수집하도록 상기 차실 밖의 카메라(300)를 제어하는 것에 사용된다.
당해 실현형태의 일례로서, 상기 웨이크업 모듈은 마이크로 스위치 등을 포함하는 접촉식 웨이크업 모듈을 포함하도록 해도 된다. 예를 들면, 상기 마이크로 스위치는 상기 마이크로 컨트롤러 유닛(220)에 접속되고, 상기 마이크로 컨트롤러 유닛(220)은 상기 마이크로 스위치의 터치에 따라 슬립 상태에 있는 상기 비디오 처리칩(210)을 웨이크업할 수 있다. 일례에서는 상기 마이크로 스위치는 하나 이상의 도어의 도어 핸들, 상기 차량의 B필러 중 하나 이상에 장착되어도 된다. 일례에서는 상기 마이크로 스위치는 터치된 것을 검출했을 경우, 트리거 동작 신호를 마이크로 컨트롤러 유닛(220)에 송신할 수 있다. 상기 마이크로 컨트롤러 유닛(220)은 상기 트리거 동작 신호에 따라 상기 비디오 처리칩(210)을 웨이크업할 수 있다.
당해 실현형태의 다른 하나의 예로서, 상기 웨이크업 모듈은 거리 센서 등을 포함하는 비접촉식 웨이크업 모듈을 포함하도록 해도 된다. 예를 들면, 상기 거리 센서는 적외선 거리 센서, 초음파 거리 센서, 블루투스 거리 센서 등의 하나 이상을 포함해도 된다. 상기 거리 센서는 상기 마이크로 컨트롤러 유닛(220)에 접속되고, 상기 마이크로 컨트롤러 유닛(220)은 차실 밖의 대상물과 상기 거리 센서의 거리를 계속하여 취득하는 상기 거리 센서를 제어하고, 상기 차량에 대한 인간의 접근이 상기 거리 센서에 의해 검출됨에 따라 슬립 상태에 있는 상기 비디오 처리칩(210)을 웨이크업할 수 있다. 일례에서는 상기 거리 센서는 상기 차량의 B필러, 하나 이상의 도어, 하나 이상의 백미러 및 상기 차량의 차실 내 중 하나 이상에 장착된다.
당해 실현형태의 다른 하나의 예로서, 상기 웨이크업 모듈은 접촉식 웨이크업 모듈 및 비접촉식 웨이크업 모듈을 포함해도 된다.
당해 실현형태에 있어서, 상기 웨이크업 모듈이 트리거되기 전에(예를 들면, 상기 마이크로 스위치 터치되기 전에, 또는 상기 차량에 대한 인간의 접근이 검출되기 전에) 비디오 처리칩(210)은 슬립 상태로서 저소비 전력 동작을 유지할 수 있음으로써, 얼굴 인식에 의한 도어 개방의 동작 소비 전력을 저감시킬 수 있다.
당해 실현형태의 일례로서, 상기 마이크로 컨트롤러 유닛(220)은 상기 차량이 슬립 상태에 있거나 또는 슬립이고, 또한 도어록이 미해제 상태에 있을 때, 차실 밖의 대상물과 상기 거리 센서의 거리를 계속하여 취득하도록 상기 거리 센서를 제어할 수 있다. 여기서, 차량의 슬립 상태는 마이크로 컨트롤러 유닛(220)과 거리 센서 및/또는 마이크로 스위치 이외의 차량 모듈이 전부 슬립하고 있는 상태를 나타내도 된다. 차량이 슬립 상태가 아닌 경우, 통상 차내에는 운전자가 있다. 이 때문에, 차량이 슬립 상태가 아닌 경우, 통상 운전자의 조작에 의해 차량의 도어록 해제를 제어할 수 있다. 당해 예에서는 상기 차량이 슬립 상태에 있거나 또는 슬립이고, 또한 도어록이 미해제 상태에 있는 경우에만, 거리 센서에 의해 차실 밖의 대상물과 상기 거리 센서의 거리를 계속하여 취득할 수 있지만, 상기 차량이 슬립 상태가 아니거나, 또는 슬립이지만 도어록이 미해제 상태가 아닌 경우, 거리 센서에 의해 측거할 필요가 없고, 이로 인해 소비 전력을 저감시킬 수 있다.
가능한 일 실현형태에서는 슬립 상태에 있는 상기 비디오 처리칩(210)이 웨이크업된 후, 상기 방법은 추가로 미리 설정된 시간 내에 얼굴 이미지가 수집되지 않은 경우, 또는 미리 설정된 시간 내에 얼굴 인식에 실패한 경우, 슬립 상태가 되도록 상기 비디오 처리칩(210)을 제어하는 것을 포함한다. 당해 실현형태에 의하면, 얼굴 인식에 의한 도어 개방의 동작 소비 전력을 저감시킬 수 있다.
일부 실시예에서는 본 발명의 실시예에서 제공된 장치 및 차량에 구비하는 기능 또는 모듈은 상기 방법 실시예에 기재된 방법을 실행하기 위해 사용할 수 있고, 그 구체적인 실시에 대해서는 상기 방법 실시예의 기재를 참조하면 되고, 설명을 간략화하기 위해, 여기에서는 중복 설명을 생략한다.
본 발명의 실시예는 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 상기 방법을 실현시키는 컴퓨터 판독 가능 기억 매체를 추가로 제공한다. 여기서, 상기 컴퓨터 판독 가능 기억 매체는 비휘발성 컴퓨터 판독 가능 기억 매체여도 되고, 또는 휘발성 컴퓨터 판독 가능 기억 매체여도 된다.
본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 동작되면, 상기 전자 기기의 프로세서에 상기 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램을 추가로 제공한다.
본 발명의 실시예는 컴퓨터 판독 가능한 명령이 기억되어 있는 컴퓨터 프로그램 제품으로서, 명령이 실행되면, 컴퓨터에 상기 실시예 중 어느 하나에 따른 차량의 인터랙션 방법의 동작을 실행시키는 컴퓨터 프로그램 제품을 추가로 제공한다.
본 발명의 실시예는 하나 이상의 프로세서와, 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 하나 이상의 프로세서는 상기 메모리에 기억되어 있는 실행 가능한 명령을 불러내어 상기 방법을 실행하도록 구성되는 전자 기기를 추가로 제공한다.
전자 기기는 단말, 서버 또는 다른 형태의 장치로서 제공되어도 된다.
도 7은 본 발명의 실시예에 따른 전자 기기(800)의 블록도를 나타낸다. 예를 들면, 전자 기기(800)는 차재 장치, 휴대 전화, 컴퓨터, 디지털 방송 단말, 메시지 송수신 기기, 게임 콘솔, 태블릿형 기기, 의료 기기, 피트니스 기기, 퍼스널 디지털 어시스턴트 등의 단말이어도 된다.
도 7을 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 이상을 포함해도 된다.
처리 컴포넌트(802)는 통상 전자 기기(800)의 전체적인 동작, 예를 들면, 표시, 전화의 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작을 제어한다. 처리 컴포넌트(802)는 상기 방법의 전부 또는 일부 단계를 실행하기 위해, 명령을 실행하는 하나 이상의 프로세서(820)를 포함해도 된다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 인터랙션을 위한 하나 이상의 모듈을 포함해도 된다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 인터랙션을 위해 멀티미디어 모듈을 포함해도 된다.
메모리(804)는 전자 기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 이들 데이터는 예로서, 전자 기기(800)에서 조작하는 모든 애플리케이션 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등의 다양한 타입의 휘발성 또는 불휘발성 기억 장치 또는 이들의 조합에 의해 실현할 수 있다.
전원 컴포넌트(806)는 전자 기기(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 이상의 전원 및 전자 기기(800)를 위한 전력 생성, 관리 및 배분에 관련된 다른 컴포넌트를 포함해도 된다.
멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서는 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함해도 된다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하는 터치 스크린으로서 실현해도 된다. 터치 패널은 터치, 슬라이드 및 터치 패널에서의 제스처를 검지하기 위해 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검지할 뿐만 아니라, 상기 터치 또는 슬라이드 조작에 관련되는 지속 시간 및 압력을 검출하도록 해도 된다. 일부 실시예에서는 멀티미디어 컴포넌트(808)는 전면 카메라 및/또는 배면 카메라를 포함한다. 전자 기기(800)가 동작 모드, 예를 들면, 촬영 모드 또는 촬상 모드가 되는 경우, 전면 카메라 및/또는 배면 카메라는 외부의 멀티미디어 데이터를 수신하도록 해도 된다. 각 전면 카메라 및 배면 카메라는 고정된 광학 렌즈계 또는 초점 거리 및 광학 줌 능력을 갖는 것이어도 된다.
오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 마이크(MIC)는 전자 기기(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드가 되는 경우, 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 기억되거나 또는 통신 컴포넌트(816)를 통해 송신되어도 된다. 일부 실시예에서는 오디오 컴포넌트(810)는 추가로 오디오 신호를 출력하기 위한 스피커를 포함한다.
I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등이어도 된다. 이들 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함해도 되지만, 이들에 한정되지 않는다.
센서 컴포넌트(814)는 전자 기기(800)의 각 측면의 상태 평가를 위해 하나 이상의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 예를 들면, 전자 기기(800)의 표시 장치 및 키패드와 같은 컴포넌트의 상대적 위치 결정을 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 기기(800) 또는 전자 기기(800)가 있는 컴포넌트의 위치 변화, 사용자와 전자 기기(800)의 접촉 유무, 전자 기기(800)의 방위 또는 가감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우에 근방의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함해도 된다. 센서 컴포넌트(814)는 추가로 CMOS 또는 CCD 이미지 센서와 같은 이미징 애플리케이션에서 사용하기 위한 광센서를 포함해도 된다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함해도 된다.
통신 컴포넌트(816)는 전자 기기(800)와 다른 기기의 유선 또는 무선 통신을 실현하도록 구성된다. 전자 기기(800)는 통신 규격에 기초하는 무선 네트워크, 예를 들면, WiFi, 2G, 3G, 4G/LTE, 5G 또는 이들 조합에 액세스할 수 있다. 일 예시적 실시예에서는 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서는 상기 통신 컴포넌트(816)는 추가로 근거리 통신을 촉진시키기 위해 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 의해 실현할 수 있다.
예시적인 실시예에서는 전자 기기(800)는 하나 이상의 특정 용도용 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 시그널 프로세서(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 요소에 의해 실현되고, 상기 방법을 실행하기 위해 사용될 수 있다.
예시적인 실시예에서는 추가로, 불휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(800)의 프로세서(820)에 의해 실행되면 상기 방법을 실행시킬 수 있다.
본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 측면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령이 갖고 있는 컴퓨터 판독 가능 기억 매체를 포함해도 된다.
컴퓨터 판독 가능 기억 매체는 명령 실행 기기에 사용되는 명령을 저장 및 기억 가능한 유형(有形)의 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치, 또는 상기의 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 보다 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내 돌기 구조와 같은 기계적 부호화 장치, 및 상기 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 순시 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 광펄스), 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.
여기서 기술한 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드되어도 되고, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크를 통해 외부의 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.
본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터 또는 Smalltalk, C＋＋ 등의 오브젝트 지향 프로그래밍 언어, 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 독립형 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 또는 완전히 리모트 컴퓨터 혹은 서버에서 실행되어도 된다. 리모트 컴퓨터의 경우, 리모트 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되어도 되고, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 맞춤 제조하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써 본 발명의 각 측면을 실현하도록 해도 된다.
여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 양태를 설명했지만, 흐름도 및/또는 블록도의 각 블록, 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능 프로그램 명령에 의해 실현할 수 있음을 이해해야 한다.
이들 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되고, 이들 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현시키도록 장치를 제조해도 된다. 이들 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억되고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 다른 기기를 특정 방식으로 동작시키도록 해도 된다. 이에 의해, 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체는 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작의 각 측면을 실현하는 명령을 갖는 제품을 포함한다.
컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 로드되고, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 다른 기기에 일련의 동작 단계를 실행시킴으로써, 컴퓨터에 의해 실시되는 프로세스를 생성하도록 해도 된다. 이렇게 하여, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에서 실행되는 명령에 의해 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작을 실현한다.
도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능한 명령을 포함한다. 일부 대체로서의 실현형태에서는 블록에 표기되는 기능은 도면에 붙인 순서와 상이하게 실현해도 된다. 예를 들면, 연속적인 2개의 블록은 실질적으로 병렬로 실행해도 되고, 또한 관련된 기능에 따라 반대 순서로 실행해도 된다. 또한, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현해도 되며, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현해도 된다는 점에도 주의해야 한다.
이 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합에 의해 실현할 수 있다. 선택 가능한 일 실시예에서는 상기 컴퓨터 프로그램 제품은 컴퓨터 기억 매체로서 구현화된다. 선택 가능한 다른 실시예에서는 컴퓨터 프로그램 제품은 소프트웨어 제품, 예를 들면, 소프트웨어 개발 키트(Software Development Kit, 약칭 SDK) 등으로 구현된다.
이상, 본 발명의 각 실시예를 기술했지만, 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며, 또한 개시된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 선택된 용어는 각 실시예의 원리, 실제 적용 또는 기존 기술에 대한 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본 명세서에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims (21)

  1. 차실 밖의 비디오 스트림을 수집하도록 차량의 차실 밖에 설치된 카메라를 제어하는 것과,
    상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻는 것과,
    얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하여 상기 디지털 휴먼에 의한 휴먼 컴퓨터 인터랙션을 행하는 것을 포함하는, 차량의 인터랙션 방법.
  2. 제 1 항에 있어서,
    얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는 것은,
    얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어함과 동시에 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는 것을 포함하는, 차량의 인터랙션 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    얼굴 인식에 성공할 때까지 상기 표시 기기가 오프 상태 또는 슬립 상태에 있고, 상기 디지털 휴먼에 대응하는 프로세스가 종료 상태 또는 슬립 상태에 있고,
    디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하는 것은 차실 내에 설치된 표시 기기를 기동 또는 웨이크업하는 것과, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하고, 디지털 휴먼을 상기 표시 기기에 표시하도록 상기 디지털 휴먼에 대응하는 프로세스를 실행하는 것을 포함하는, 차량의 인터랙션 방법.
  4. 제 3 항에 있어서,
    차실 내에 설치된 표시 기기를 기동 또는 웨이크업함과 동시에, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는, 차량의 인터랙션 방법.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는 것은,
    상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 디지털 휴먼 이미지 정보 및/또는 인터랙션 방식 정보를 취득하는 것과,
    상기 디지털 휴먼 이미지 정보 및/또는 인터랙션 방식 정보에 기초하여 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는 것을 포함하는, 차량의 인터랙션 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    얼굴 인식에 성공할 때까지 상기 차실 내에 설치된 카메라가 오프 상태 또는 슬립 상태에 있고,
    차실 밖에 대한 얼굴 인식 결과가 얻어진 후, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 차실 내에 설치된 카메라를 기동 또는 웨이크업하고, 차실 내의 비디오 스트림을 수집하도록 상기 차실 내의 카메라를 제어하는 것과, 상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하는 것을 추가로 포함하는, 차량의 인터랙션 방법.
  7. 제 6 항에 있어서,
    얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 차실 내에 설치된 카메라를 기동 또는 웨이크업하는 것은,
    얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어함과 동시에, 상기 차실 내에 설치된 카메라를 기동 또는 웨이크업하는 것을 포함하는, 차량의 인터랙션 방법.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하는 것은,
    상기 차실 내의 비디오 스트림의 이미지에 기초하여, 상기 이미지에서의 상기 탑재자의 제1 상대 위치 정보 및/또는 상기 차실 내에서의 상기 탑재자의 제2 상대 위치 정보를 포함하는 탑재자의 위치 정보를 검출하는 것과,
    상기 탑재자의 위치 정보에 기초하여 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 애니메이션을 생성하고 표시하는 것을 포함하는, 차량의 인터랙션 방법.
  9. 제 8 항에 있어서,
    상기 차실 내의 비디오 스트림의 이미지에 기초하여, 상기 탑재자의 위치 정보를 검출하는 것은,
    상기 이미지에 대응하는 이미지 좌표계에 있어서, 상기 탑재자의 하나 이상의 부위가 위치하는 이미지 좌표 에어리어를 검출하는 것과,
    상기 이미지 좌표 에어리어를 상기 이미지에서의 상기 탑재자의 상기 제1 상대 위치 정보로 하고, 및/또는 상기 이미지 좌표계와 상기 차실 내의 공간 좌표계의 매핑 관계에 기초하여, 상기 이미지 좌표 에어리어에 대응하는 차실 내 공간 좌표 에어리어를 결정하고, 상기 차실 내 공간 좌표 에어리어를 상기 차실 내에서의 상기 탑재자의 상기 제2 상대 위치 정보로 하는 것을 포함하는, 차량의 인터랙션 방법.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 탑재자의 위치 정보에 기초하여 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 애니메이션을 생성하고 표시하는 것은,
    미리 확립된 위치 정보와 디지털 휴먼 방향의 매핑 관계에 기초하여 상기 탑재자의 위치 정보에 대응하는 목표 방향을 결정하는 것과,
    상기 표시 기기에서 상기 디지털 휴먼이 상기 목표 방향을 향하도록 애니메이션을 생성하고 표시하는 것을 포함하는, 차량의 인터랙션 방법.
  11. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 탑재자의 위치 정보에 기초하여 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자 쪽을 향하는 애니메이션을 생성하고 표시하는 것은,
    검출된 탑재자의 위치 정보가 복수의 탑재자의 복수의 위치 정보인 것에 따라 상기 복수의 위치 정보 중 하나를 목표 위치 정보로서 결정하는 것과,
    상기 표시 기기에서 상기 디지털 휴먼이 상기 목표 위치 정보에 대응하는 탑재자 쪽을 향하는 애니메이션을 생성하고 표시하는 것을 포함하는, 차량의 인터랙션 방법.
  12. 제 11 항에 있어서,
    상기 복수의 위치 정보 중 하나를 목표 위치 정보로서 결정하는 것은,
    미리 결정된 상이한 위치 정보의 우선 순위에 따라 상기 복수의 위치 정보 중 가장 우선도가 높은 것을 목표 위치 정보로서 결정하는 것을 포함하고,
    상기 상이한 위치 정보의 우선 순위는,
    운전석 에어리어에 대응하는 위치 정보의 우선도가 부운전석 에어리어에 대응하는 위치 정보의 우선도보다 높은 것과,
    앞좌석 에어리어에 대응하는 위치 정보의 우선도가 뒷좌석 에어리어에 대응하는 위치 정보의 우선도보다 높은 것과,
    전용석에 대응하는 위치 정보의 우선도가 비전용석에 대응하는 위치 정보의 우선도보다 높은 것 중 하나 이상을 포함하는, 차량의 인터랙션 방법.
  13. 제 6 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 차실 내의 비디오 스트림에 기초하여, 상기 디지털 휴먼에 의해 상기 차량 탑재자와의 인터랙션을 행하는 것은,
    상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 상기 차량에 대한 탑승 및/또는 착석이 검출됨에 따라 상기 디지털 휴먼에 의해 상기 탑재자에 대한 웰컴 메시지를 발하는 것과,
    상기 차실 밖에 대한 얼굴 인식 결과에 대응하는 웰컴 메시지를 취득하고, 상기 표시 기기에서 상기 디지털 휴먼이 상기 웰컴 메시지를 나타내는 동작을 행하는 애니메이션을 생성하고 표시하는 것과,
    상기 차실 내의 비디오 스트림에 기초하여 상기 탑재자의 하차 의도가 검출됨에 따라 상기 표시 기기에서 상기 디지털 휴먼이 상기 탑재자와의 하차 인터랙션을 행하는 애니메이션을 생성하고 표시하는 것과,
    상기 차량의 상황 정보가 미리 설립된 조건을 만족함에 따라, 상기 디지털 휴먼에 의해 상기 차량의 상황을 상기 탑재자에게 제시하는 제시 정보를 발하는 것 중 하나 이상을 포함하는, 차량의 인터랙션 방법.
  14. 차실 밖의 비디오 스트림을 수집하도록 차량의 차실 밖에 설치된 카메라를 제어하기 위한 제1 제어 모듈과,
    상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻기 위한 얼굴 인식 모듈과,
    얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 제어하고, 디지털 휴먼을 표시하도록 차실 내에 설치된 표시 기기를 제어하여 상기 디지털 휴먼에 의한 휴먼 컴퓨터 인터랙션을 행하기 위한 제2 제어 모듈을 포함하는, 차량의 인터랙션 장치.
  15. 하나 이상의 프로세서와,
    실행 가능한 명령을 기억하기 위한 메모리를 포함하고,
    상기 하나 이상의 프로세서는 상기 메모리에 기억되어 있는 실행 가능한 명령을 불러내어 제 1 항 내지 제 13 항 중 어느 한 항의 방법을 실행하도록 구성되는, 전자 기기.
  16. 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 제 1 항 내지 제 13 항 중 어느 한 항의 방법을 실현시키는, 컴퓨터 판독 가능 기억 매체.
  17. 본체와, 콕피트 도메인 컨트롤러와, 상기 차량의 차실 밖에 설치되는 카메라와, 차실 내에 설치되는 표시 기기를 포함하고, 상기 콕피트 도메인 컨트롤러는 서로 접속되는 비디오 처리칩과 마이크로 컨트롤러 유닛을 포함하고, 상기 비디오 처리칩은 상기 차실 밖의 카메라 및 상기 표시 기기에도 접속되고, 상기 마이크로 컨트롤러 유닛은 상기 본체에도 접속되고,
    상기 차실 밖의 카메라는 차실 밖의 비디오 스트림을 수집하는 것에 사용되고,
    상기 비디오 처리칩은 상기 차실 밖의 비디오 스트림에 기초하여 얼굴 인식을 행하여, 차실 밖에 대한 얼굴 인식 결과를 얻는 것과, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 도어록 해제 명령 및/또는 도어 개방 명령을 생성하고, 상기 도어록 해제 명령 및/또는 상기 도어 개방 명령을 상기 마이크로 컨트롤러 유닛에 송신하는 것과, 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식의 결과에 따라 상기 표시 기기를 기동 또는 웨이크업하고, 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하고, 상기 디지털 휴먼을 상기 표시 기기에 표시하도록 상기 디지털 휴먼에 대응하는 프로세스를 실행하는 것에 사용되고,
    상기 마이크로 컨트롤러 유닛은 상기 도어록 해제 명령 및/또는 상기 도어 개방 명령에 따라 차량의 도어록 해제 및/또는 도어 개방을 행하도록 상기 본체를 제어하는 것에 사용되는, 차량.
  18. 제 17 항에 있어서,
    상기 비디오 처리칩은 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 도어록 해제 명령 및/또는 도어 개방 명령을 생성함과 동시에 상기 표시 기기를 기동 또는 웨이크업하고 상기 디지털 휴먼에 대응하는 프로세스를 작성 또는 웨이크업하는 것에 사용되는, 차량.
  19. 제 17 항 또는 제 18 항에 있어서,
    상기 차실 내에 설치되고, 상기 비디오 처리칩에 접속되는 카메라를 추가로 포함하고,
    상기 비디오 처리칩은 추가로 얼굴 인식에 성공했다는 상기 차실 밖에 대한 얼굴 인식 결과에 따라 상기 차실 내의 카메라를 기동 또는 웨이크업하고, 차실 내의 비디오 스트림을 수집하도록 상기 차실 내의 카메라를 제어하는 것에 사용되는, 차량.
  20. 제 17 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 마이크로 컨트롤러 유닛에 접속되는 웨이크업 모듈을 추가로 포함하고,
    상기 마이크로 컨트롤러 유닛은 추가로 상기 웨이크업 모듈의 트리거에 따라 슬립 상태에 있는 상기 비디오 처리칩을 웨이크업하는 것에 사용되고,
    상기 비디오 처리칩은 추가로, 웨이크업된 후, 차실 밖의 비디오 스트림을 수집하도록 상기 차실 밖의 카메라를 제어하는 것에 사용되는, 차량.
  21. 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 제 1 항 내지 제 13 항 중 어느 한 항의 방법을 실현하기 위한 명령을 실행시키는, 컴퓨터 프로그램.
KR1020217038845A 2020-06-24 2020-12-07 차량의 인터랙션 방법 및 장치, 전자 기기, 기억 매체 및 차량 KR20220002550A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010589901.4A CN111739201A (zh) 2020-06-24 2020-06-24 车辆的交互方法及装置、电子设备、存储介质和车辆
CN202010589901.4 2020-06-24
PCT/CN2020/134305 WO2021258656A1 (zh) 2020-06-24 2020-12-07 车辆的交互方法及装置、电子设备、存储介质和车辆

Publications (1)

Publication Number Publication Date
KR20220002550A true KR20220002550A (ko) 2022-01-06

Family

ID=72650973

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217038845A KR20220002550A (ko) 2020-06-24 2020-12-07 차량의 인터랙션 방법 및 장치, 전자 기기, 기억 매체 및 차량

Country Status (4)

Country Link
JP (1) JP7302005B2 (ko)
KR (1) KR20220002550A (ko)
CN (1) CN111739201A (ko)
WO (1) WO2021258656A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739201A (zh) * 2020-06-24 2020-10-02 上海商汤临港智能科技有限公司 车辆的交互方法及装置、电子设备、存储介质和车辆
CN112950819A (zh) * 2021-05-14 2021-06-11 北京旗偲智能科技有限公司 车辆解锁控制方法、装置、服务器及存储介质
CN113254909B (zh) * 2021-06-04 2021-10-15 宁波均联智行科技股份有限公司 一种车载用户账号登录方法及系统
CN113900525A (zh) * 2021-10-29 2022-01-07 深圳Tcl数字技术有限公司 数字人显示方法、装置及显示设备
CN116204253A (zh) * 2021-11-30 2023-06-02 华为技术有限公司 一种语音助手显示方法及相关装置
CN115393990A (zh) * 2022-08-30 2022-11-25 上汽通用五菱汽车股份有限公司 车辆解锁方法、装置、设备以及存储介质
CN115938018B (zh) * 2022-09-28 2024-06-14 杭州指安科技股份有限公司 一种生物识别集成设备及方法
WO2024132677A1 (de) * 2022-12-20 2024-06-27 Inventio Ag Gebäudesystem und mensch-maschine-schnittstelleneinrichtung für mimikdarstellungen
CN116001725A (zh) * 2022-12-28 2023-04-25 阿维塔科技(重庆)有限公司 一种车辆控制方法、装置、车辆及计算机可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000181500A (ja) * 1998-12-15 2000-06-30 Equos Research Co Ltd 音声認識装置及びエ―ジェント装置
JP2006154926A (ja) * 2004-11-25 2006-06-15 Denso Corp キャラクタ表示を利用した電子機器操作システム及び電子機器
JP6060829B2 (ja) * 2013-06-24 2017-01-18 マツダ株式会社 車両用情報表示装置
CN106696863B (zh) * 2016-12-28 2019-03-08 安徽江淮汽车集团股份有限公司 车载智能交互设备的控制方法及系统
CN107562195A (zh) * 2017-08-17 2018-01-09 英华达（南京）科技有限公司 人机交互方法及系统
CN107765856A (zh) * 2017-10-26 2018-03-06 北京光年无限科技有限公司 基于多模态交互的虚拟人视觉处理方法及系统
CN108664123A (zh) * 2017-12-15 2018-10-16 蔚来汽车有限公司 人车交互方法、装置、车载智能控制器及系统
US10853629B2 (en) * 2018-02-20 2020-12-01 Direct Current Capital LLC Method for identifying a user entering an autonomous vehicle
CN208157012U (zh) * 2018-05-02 2018-11-27 石家庄凤还巢科技有限公司 一种智能化的虚拟讲解员系统
CN110728256A (zh) * 2019-10-22 2020-01-24 上海商汤智能科技有限公司 基于车载数字人的交互方法及装置、存储介质
CN114937294A (zh) * 2019-10-22 2022-08-23 上海商汤智能科技有限公司 车门控制方法及装置、系统、车、电子设备和存储介质
CN110909203A (zh) * 2019-11-27 2020-03-24 上海商汤智能科技有限公司 视频分析方法及装置、电子设备和存储介质
CN111739201A (zh) * 2020-06-24 2020-10-02 上海商汤临港智能科技有限公司 车辆的交互方法及装置、电子设备、存储介质和车辆

Also Published As

Publication number Publication date
WO2021258656A1 (zh) 2021-12-30
CN111739201A (zh) 2020-10-02
JP2022551779A (ja) 2022-12-14
JP7302005B2 (ja) 2023-07-03

Similar Documents

Publication Publication Date Title
KR20220002550A (ko) 차량의 인터랙션 방법 및 장치, 전자 기기, 기억 매체 및 차량
CN112026790B (zh) 车载机器人的控制方法及装置、车辆、电子设备和介质
JP7106768B2 (ja) 車両のドアロック解除方法、装置、システム、電子機器及び記憶媒体
WO2022048119A1 (zh) 车辆控制方法及装置、电子设备、存储介质和车辆
CN109118416B (zh) 移动终端及其控制方法
JP7526897B2 (ja) 車室内乗員検出方法及び装置、電子機器並びに記憶媒体
JP7053432B2 (ja) 制御装置、エージェント装置及びプログラム
WO2023273064A1 (zh) 对象说话检测方法及装置、电子设备和存储介质
WO2022041669A1 (zh) 遗留物品的提醒方法及装置、电子设备和存储介质
US11014508B2 (en) Communication support system, communication support method, and storage medium
CN112667084B (zh) 车载显示屏的控制方法及装置、电子设备和存储介质
CN113488043B (zh) 乘员说话检测方法及装置、电子设备和存储介质
CN114944051A (zh) 一种车辆座舱的控制方法、装置、车辆及移动设备
CN114407630A (zh) 车门控制方法及装置、电子设备和存储介质
JP7165566B2 (ja) 制御装置、エージェント装置及びプログラム
WO2023071175A1 (zh) 关联车内的人和物的方法及装置、电子设备和存储介质
KR101859106B1 (ko) 이동 단말기 및 그 제어방법
KR20220004156A (ko) 디지털 휴먼에 기반한 자동차 캐빈 인터랙션 방법, 장치 및 차량
KR101916729B1 (ko) 이동 단말기 및 그 제어방법
CN111210814A (zh) 控制装置、智能体装置以及计算机可读存储介质
CN113361361B (zh) 与乘员交互的方法及装置、车辆、电子设备和存储介质
WO2024139737A1 (zh) 车机系统的消息展示方法、电子设备及车辆
KR20180033852A (ko) 이동단말기 및 그 제어방법
JP2024073109A (ja) 情報処理方法及び情報処理装置
CN117667002A (zh) 一种车辆交互方法、装置、系统及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application