KR20210087495A

KR20210087495A - 센서 데이터 처리 방법, 장치, 전자 기기 및 시스템

Info

Publication number: KR20210087495A
Application number: KR1020217016721A
Authority: KR
Inventors: 롱 뎅
Original assignee: 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date: 2019-06-25
Filing date: 2020-02-26
Publication date: 2021-07-12
Also published as: JP2022513780A; CN112214009B; CN112214009A; JP7164721B2; WO2020258901A1

Abstract

본 발명은 센서 데이터 처리 방법, 장치, 전자 기기 및 시스템을 제공하는 바, 상기 방법은, 스마트 기기의 제1 센서의 제1 시각에서의 제1 타깃 데이터를 획득하는 단계(S201); 스마트 기기의 제2 센서의 제2 시각에서의 제2 타깃 데이터를 획득하는 단계(S202) - 상기 제1 시각과 상기 제2 시각은 상기 스마트 기기의 시계에서 상이한 시각임 - ; 스마트 기기의 제1 시각에서의 제1 포즈와 제2 시각에서의 제2 포즈를 획득하는 단계(S203) - 상기 제1 포즈와 상기 제2 포즈는 상이함 - ; 및 상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터를 보상 처리하여 제1 센서의 제2 시각에서의 보상 데이터를 획득하는 단계(S204)를 포함한다.

Description

센서 데이터 처리 방법, 장치, 전자 기기 및 시스템

관련 출원의 상호 참조

본원 발명은 출원번호가 201910556258.2이고 출원일자가 2019년 6월 25일인 중국 특허 출원에 기반하여 제출하였고 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본원 발명에 인용된다.

본 발명의 실시예는 스마트 주행 기술에 관한 것으로, 특히 센서 데이터 처리 방법, 장치, 전자 기기 및 시스템에 관한 것이다.

보조 운전과 자동 운전은 스마트 운전 분야의 중요한 두가지 기술로, 보조 운전 또는 자동 운전을 통해 교통 사고 발생을 줄일 수 있어 이는 스마트 운전 분야에서 중요한 역할을 한다. 보조 운전 기술과 자동 운전 기술을 구현하려면 다양한 센서의 협력이 필요한데, 다양한 센서는 각각 차량의 상이한 위치에 설치되어 노면 이미지, 차량 작동 데이터 등을 실시간으로 수집하고, 보조 운전 시스템 또는 자동 운전 시스템은 각 센서가 수집한 데이터에 따라 경로 계획 등 제어 작업을 수행한다. 차량에 장착된 센서의 트리거 시각과 트리거 소스가 상이할 수 있으므로 다양한 센서 및 각 센서 중 복수의 센서 간에는 동기화되지 않는 문제가 발생할 수 있다.

본 발명의 실시예는 센서 데이터 처리 방법, 장치, 전자 기기 및 시스템을 제공한다.

제1 양태에 따르면, 본 발명의 실시예는, 스마트 기기의 제1 센서의 제1 시각에서의 제1 타깃 데이터를 획득하는 단계; 스마트 기기의 제2 센서의 제2 시각에서의 제2 타깃 데이터를 획득하는 단계 - 상기 제1 시각과 상기 제2 시각은 상기 스마트 기기의 시계에서 상이한 시각임 -; 상기 스마트 기기의 상기 제1 시각에서의 제1 포즈와 상기 제2 시각에서의 제2 포즈를 획득하는 단계 - 상기 제1 포즈와 상기 제2 포즈는 상이함 - ; 및 상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 단계를 포함하는 센서 데이터 처리 방법을 제공한다.

제2 양태에 따르면, 본 발명의 실시예는 또한, 스마트 기기의 제1 센서의 제1 시각에서의 제1 타깃 데이터를 획득하는 제1 획득 모듈; 스마트 기기의 제2 센서의 제2 시각에서의 제2 타깃 데이터를 획득하는 제2 획득 모듈 - 상기 제1 시각과 상기 제2 시각은 상기 스마트 기기의 시계에서 상이한 시각임 - ; 상기 스마트 기기의 상기 제1 시각에서의 제1 포즈와 상기 제2 시각에서의 제2 포즈를 획득하는 제3 획득 모듈 - 상기 제1 포즈와 상기 제2 포즈는 상이함 - ; 및 상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 보상 모듈을 포함하는 센서 데이터 처리 장치를 제공한다.

제3 양태에 따르면, 본 발명의 실시예는 또한, 스마트 기기에 설치된 센서의 검출 데이터를 각각 획득하는 단계 - 상기 검출 데이터는 상기 제1 양태에 따른 센서 데이터 처리 방법을 적용하여 획득됨 - ; 및상기 스마트 주행 제어 장치는 상기 검출 데이터에 따라 스마트 기기에 대해 스마트 주행 제어를 수행하는 단계를 포함하는 스마트 주행 제어 방법을 제공한다.

제4 양태에 따르면, 본 발명의 실시예는 또한, 스마트 기기에 설치된 센서의 검출 데이터를 획득하는 획득 모듈 - 상기 검출 데이터는 상기 제1 양태에 따른 센서 데이터 처리 방법을 적용하여 획득됨 - ; 및 상기 검출 데이터에 따라 스마트 기기에 대해 스마트 주행 제어를 수행하는 스마트 주행 제어 모듈을 포함하는 스마트 주행 제어 장치를 제공한다.

제5 양태에 따르면, 본 발명의 실시예는 또한, 컴퓨터 명령을 저장하는 메모리; 및 상기 메모리에서 컴퓨터 명령을 호출 및 실행하여 제1 양태에 따른 방법의 단계를 수행하는 프로세서를 포함하는 전자 기기를 제공한다.

제6 양태에 따르면, 본 발명의 실시예는 또한, 통신 연결되는 센서, 제5 양태에 따른 전자 기기 및 제4 양태에 따른 스마트 주행 제어 장치를 포함하는 스마트 주행 시스템을 제공한다.

제7 양태에 따르면, 본 발명의 실시예는 또한, 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 제1 양태에 따른 방법의 단계를 수행하거나; 상기 컴퓨터 프로그램은 제3 양태에 따른 방법의 단계를 수행하기 위한 것인 판독 가능 저장 매체를 제공한다.

본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법, 장치, 전자 기기 및 시스템은, 제1 센서의 제1 시각에서의 제1 타깃 데이터 및 제2 센서의 제2 시각에서의 제2 타깃 데이터를 획득한 후, 스마트 기기의 제1 시각에서의 포즈 정보 및 스마트 기기의 제2 시각에서의 포즈 정보에 따라 제1 타깃 데이터를 보상 처리하여 제1 센서의 제2 시각에서의 보상 데이터를 획득한다. 제2 센서의 제2 타깃 데이터 역시 제2 시각에서의 모니터링 데이터이므로 제1 센서의 데이터를 보상 처리하여 제1 센서의 제2 센서에 대응하는 시각에서의 데이터를 획득할 수 있는 바, 즉 획득된 제1 센서의 제1 타깃 데이터와 제2 센서의 제2 타깃 데이터는 모두 동일 시각에서의 데이터이므로, 제1 센서와 제2 센서의 동기화를 구현한다. 해당 방법은 소프트웨어 방식으로 센서의 동기화를 구현하므로 여러 센서의 동기적 트리거를 위한 전용 하드웨어를 추가로 배치할 필요가 없어 다중 센서 데이터 동기화에 필요한 하드웨어 비용을 절약한다.

본 발명의 실시예의 기술적 해결수단을 보다 명확하게 설명하기 위하여 이하에서는 실시예 설명에 사용되는 첨부 도면을 간단히 설명한다. 아래에서 설명되는 도면은 본 발명의 일부 실시예일 뿐 본 기술분야의 통상의 기술자들은 진보성 창출에 힘 쓸 필요없이 이러한 도면으로부터 다른 도면을 얻을 수 있을 것이다.
도 1은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 응용 상황의 모식도이다.
도 2는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 1이다.
도 3은 상기 과정을 통해 제1 센서와 제2 센서에 대해 데이터 동기화를 수행하는 모식도이다.
도 4는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 2이다.
도 5는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 3이다.
도 6은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 4이다.
도 7은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 5이다.
도 8은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 6이다.
도 9는 제1 타깃 데이터를 획득하기 위해 제1 원본 데이터에 대해 프레임 내 데이터 동기화를 수행하는 예시도이다.
도 10은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 7이다.
도 11은 동일한 유형의 센서에 대해 동기화를 수행하는 예시도이다.
도 12는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 장치의 모듈 구조도 1이다.
도 13은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 장치의 모듈 구조도 2이다.
도 14는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 장치의 모듈 구조도 3이다.
도 15는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 장치의 모듈 구조도 4이다.
도 16은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 장치의 모듈 구조도 5이다.
도 17은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 장치의 모듈 구조도 6이다.
도 18은 본 발명의 실시예에 의해 제공되는 전자 기기의 구조 모식도이다.
도 19는 본 발명의 실시예에 의해 제공되는 스마트 주행 제어 방법의 흐름 모식도이다.
도 20은 본 발명의 실시예에 의해 제공되는 스마트 주행 제어 장치의 구조 모식도이다.
도 21은 본 발명의 실시예에 의해 제공되는 스마트 주행 시스템의 모식도이다.

본 발명의 목적, 기술적 해결수단 및 장점을 더욱 분명하게 하기 위해, 아래 도면과 결부하여 본 발명을 더욱 상세하게 설명하도록 하며, 분명한 것은, 기술되는 실시예는 단지 본 발명의 부분적인 실시예로서, 전부의 실시예가 아니다. 본 발명 중의 실시예에 기반하여, 본 기술분야의 통상의 기술자는 진보성 창출에 힘쓰지 않은 전제하에서 획득한 모든 다른 실시예는 전부 본 발명의 보호 범위에 속한다.

도 1은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 응용 상황의 모식도이다. 도 1에 도시된 바와 같이, 상기 방법은 센서가 장착된 차량, 로봇, 블라인드 가이드 기기와 같은 스마트 기기에 적용될 수 있다. 스마트 기기에 장착된 센서의 유형에는 카메라, 레이저 레이더(Light Detection And Ranging, LiDAR), 밀리미터파 레이더(Radio Detection And Ranging, RADAR), 고정밀 관성 내비게이션, 컨트롤러 영역 네트워크 버스(Controller Area Net-work Bus, CANBUS)와 같은 적어도 하나의 센서가 포함될 수 있으며, 스마트 기기에 설치된 동일한 유형의 센서의 개수는 하나 또는 복수 개일 수 있는 바, 예를 들어, 하나 또는 복수의 카메라, 하나 또는 복수의 레이저 레이더 등을 설치할 수 있고, 상이한 센서는 스마트 기기의 상이한 위치에 설치될 수 있다. 도 1에서는 카메라와 LiDAR을 예로 들어 도시한다. 여기서, 카메라는 스마트 기기의 주변 환경 이미지를 실시간으로 촬영하고, 촬영된 이미지를 스마트 기기의 스마트 주행 시스템에 보고할 수 있다. LiDAR는 레이저 펄스를 송수신하여 스마트 기기 주변의 3차원 포인트 좌표를 얻고, 포인트 클라우드 데이터를 형성하여 이를 스마트 기기의 스마트 주행 시스템에 보고할 수 있다. RADAR은 전자파를 이용하여 스마트 기기 주변의 지면, 차량, 나무 등 물체를 탐지하고 에코를 수신함으로써 물체의 위치, 높이, 거리 등 정보를 획득하며 이를 스마트 기기의 스마트 주행 시스템에 보고한다. CANBUS는 차량의 가속기 작동 파라미터, 스티어링 휠 작동 파라미터, 휠 속도와 같은 스마트 기기의 작동 파라미터를 직렬 데이터 전송 방식을 사용하여 스마트 기기의 스마트 주행 시스템에 전송한다. 스마트 주행 시스템은 각 센서가 보고한 데이터를 기반으로 차량 위치 결정, 경로 계획, 경로 오프셋 경고 및 교통 흐름 분석과 같은 스마트 주행 제어를 수행한다.

설명의 편의를 위해, 본 발명의 아래 실시예에서는 스마트 기기의 스마트 주행 시스템을 “시스템”이라 약칭한다.

도 2는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 1이다. 도 2에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함한다.

S201에서, 스마트 기기의 제1 센서의 제1 시각에서의 제1 타깃 데이터를 획득한다.

S202에서, 스마트 기기의 제2 센서의 제2 시각에서의 제2 타깃 데이터를 획득하되, 상기 제1 시각과 상기 제2 시각은 스마트 기기의 시계에서 상이한 시각이다.

선택 가능하게, 시스템은 제1 센서와 제2 센서에 데이터 보고 명령을 송신할 수 있고, 제1 센서와 제2 센서는 데이터 보고 명령을 수신한 후 데이터를 검출하며, 검출된 데이터를 시스템에 송신한다. 또는 제1 센서와 제2 센서는 기설정된 주기에 따라 데이터를 자동 검출하고 검출된 데이터를 시스템에 송신할 수도 있다.

S203에서, 스마트 기기의 상기 제1 시각에서의 제1 포즈와 상기 제2 시각에서의 제2 포즈를 획득하되, 상기 제1 포즈와 상기 제2 포즈 상이하다.

S204에서, 상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득한다.

여기서, 상기 제1 센서와 상기 제2 센서는 스마트 기기의 임의의 두 개의 센서일 수 있다. 스마트 기기에는 하나 또는 복수의 동일한 유형의 센서가 설치될 수 있으며, 상기 제1 센서와 상기 제2 센서는 상이한 유형의 두 개의 센서이거나 동일한 유형의 두 개의 센서일 수 있다.

일 예시에서, 상기 제1 센서는 LiDAR일 수 있고, 상기 제2 센서는 카메라일 수 있다.

제1 센서는 LiDAR이고 제2 센서가 카메라인 경우, 카메라에 의해 검출된 데이터는 2차원 정보인 반면 LiDAR에 의해 검출된 데이터는 3차원 정보이므로 후속 보상 처리시 데이터에 대해 회전 및 병진 등 작업을 수행해야 한다. 따라서, 2차원 정보를 검출하는 카메라를 기준하는 제2 센서로 사용하여 3차원 정보를 검출하는 LiDAR가 검출한 3차원 데이터에 대해 회전 및 병진 등 운동 보상 작업을 수행함으로써 보상 처리시 추가적인 깊이 오차가 도입되지 않도록 보장할 수 있다.

다른 예시에서, 상기 제1 센서와 상기 제2 센서는 모두 LiDAR일 수 있다.

본 발명의 실시예에서, 스마트 기기가 차량인 경우를 예로 들면, 각 센서는 자체 독립형 시계를 사용하거나 차량의 스마트 운전 시스템과 동일한 시계를 사용할 수 있다. 본 실시예에서 설명된 제1 시각과 제2 시각은 모두 차량의 스마트 운전 시스템의 시계에서의 시각을 의미한다. 각 센서는 보고된 데이터에 시각 정보를 구비하는 등 방식으로 시스템에 센서의 시계에서 데이터의 검출 시각을 보고할 수 있다. 본 발명의 실시예에서, 각 센서가 데이터를 송신하는 시각은 시스템이 데이터를 수신하는 시각과 동일하거나 유사하다. 제1 센서의 시계와 시스템의 시계가 동일하면, 상기 제1 시각은 제1 센서가 데이터를 송신할 때 제1 센서 자체 시계에서의 시각일뿐만 아니라 시스템이 데이터를 수신할때 시스템의 시계에서의 시각이기도 하다. 제1 센서 자체의 시계와 시스템의 시계가 상이하면, 시스템은 제1 센서 자체 시계에서의 데이터 송신 시각 및 제1 센서와 시스템 간의 시계 차이에 따라 상기 제1 시각을 획득해야 하는데, 해당 과정은 하기 실시예에서 자세히 설명된다. 상기 제2 시각에서의 처리 방법은 상기 제1 시각과 유사한 바, 여기서는 더 이상 설명하지 않는다.

제1 센서와 제2 센서는 상이한 트리거 소스 및 상이한 트리거 시각과 같은 요인으로 인해 동기화되지 않는 문제점이 존재할 수 있다. 예를 들어, 제1 센서는 LiDAR이고, 제2 센서는 카메라이며, LiDAR는 한바퀴 회전할 때마다 시스템에 프레임 데이터를 보고하고, 카메라는 자체의 촬영 주기에 따라 시스템에 데이터를 보고할 수 있다. 따라서, LiDAR와 카메라가 동시에 작동하기 시작하더라도 시스템에 보고되는 데이터는 동일한 시각에서의 데이터가 아닐 수 있다. 예를 들어, LiDAR이 차량 앞 100 m에 사람 한명이 존재함을 탐지한 반면 카메라는 차량 앞 120 m에 사람 한명이 존재하는 것으로 촬영할 수 있다. 상기 문제점에 기반하여, 본 실시예에서는 제1 시각과 제2 시각 모두가 시스템의 시계에서의 시각인 전제하에 제2 센서를 제1 센서의 기준 센서로 사용하고 시스템이 수신하는 제2 센서의 제2 타깃 데이터의 제2 시각을 제1 센서가 데이터를 송신하는 제1 시각에서의 기준 시각으로 사용하여, 차량의 제1 시각에서의 제1 포즈와 차량의 제2 시각에서의 제2 포즈에 따라 제1 타깃 데이터를 보상 처리하여 제1 센서의 제2 시각에서의 보상 데이터를 획득한다. 제2 센서의 제2 타깃 데이터 역시 제2 시각에서의 검출 데이터이므로, 제1 센서의 데이터를 보상 처리하여 제1 센서의 제2 센서에 대응하는 시각에서의 데이터를 획득할 수 있는 바, 즉 획득된 제1 센서의 데이터와 제2 센서의 데이터는 모두 동일한 시각에서의 데이터이므로 제1 센서와 제2 센서의 동기화를 구현한다. 이러한 방식은 소프트웨어 방식으로 센서의 동기화를 구현하므로 여러 센서의 동기적 트리거를 위한 전용 하드웨어를 추가로 배치할 필요가 없어 다중 센서 데이터 동기화에 필요한 하드웨어 비용을 절약한다.

도 3은 상기 과정을 통해 제1 센서와 제2 센서에 대해 데이터 동기화를 수행하는 모식도이다. 도 3에 도시된 바와 같이, 제1 센서는 LiDAR이고, 제2 센서는 카메라인 경우를 예로 들면, 제1 센서와 제2 센서는 일정 주기에 따라 데이터 프레임을 보고하는데, LiDAR가 보고하는 데이터 프레임을 레이더 프레임(또는 LiDAR 프레임)으로 지칭하고, 카메라가 보고하는 데이터 프레임을 카메라 프레임(또는 데이터 프레임)으로 지칭하여도 무방하다. 하나의 주기에서, 시스템은 Tl 시각(즉, 제1 시각)에 하나의 레이더 프레임을 수신하고, Tc 시각(즉, 제2 시각)에 하나의 카메라 프레임을 수신하며, 카메라를 기준 센서로 사용하고 상기 과정을 이용하여Tl 시각의 레이더 프레임의 Tc 시각에서의 데이터를 획득할 수 있는데, 이는 Tc 시각에 레이더 데이터와 카메라 데이터를 동시에 획득하는 것에 해당되어 LiDAR과 카메라의 동기화를 구현한다.

상기 예시에서, 각 센서는 검출된 데이터를 실시간으로 시스템에 송신하고, 데이터는 이에 따라 센서 데이터의 동기화를 수행한다. 다른 상황에서, 각 센서에 의해 검출된 데이터를 미리 녹화하고, 각 센서가 녹화한 데이터에 대해 데이터 재생을 수행할 수도 있다. 데이터 재생시, 각 센서의 데이터를 동기화해야 한다.

도 4는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 2이다. 도 4에 도시된 바와 같이, 카메라의 검출 데이터를 미리 녹화하여 일련의 카메라 프레임을 획득하되, 각 프레임의 카메라 프레임에는 모두 검출시 타임 스탬프가 기록된다. CANBUS/고정밀 관성 내비게이션의 검출 데이터를 미리 녹화하여 일련의 차량 작동 데이터를 획득하고, LiDAR의 검출 데이터를 미리 녹화하여 일련의 레이더 프레임을 획득하되, 각 프레임의 레이더 프레임에는 모두 검출시 타임 스탬프가 기록된다. 데이터 재생시, 하나의 카메라 프레임과 하나의 레이더 프레임을 판독하는 동시에, 녹화된 CANBUS/고정밀 관성 내비게이션의 검출 데이터에 따라 차량의 포즈 대열을 획득하고, 나아가 상기 하나의 카메라 프레임의 타임 스탬프에 따라 상기 하나의 카메라 프레임 검출시 차량의 포즈를 획득하며, 상기 하나의 레이더 프레임의 타임 스탬프에 따라 상기 하나의 레이더 프레임 검출시 포즈를 획득하고, 나아가 획득된 두 개의 포즈에 따라 레이더 프레임을 카메라 프레임의 검출 시각에 보상함으로써 카메라 프레임과 레이더 프레임의 동기화를 구현하며, 나아가 동기화된 카메라 프레임과 레이더 프레임에 기반하여 운전 제어 등 작업을 수행할 수 있다.

구체적인 실시 과정에서, 스마트 기기의 복수의 센서의 경우, 그 중 하나를 제2 센서, 즉 기준 센서로 선택하고, 다른 센서와 상기 기준 센서를 각각 동기화하여 스마트 기기에서 각 센서의 동기화를 구현할 수 있다.

본 실시예에서, 제1 센서의 제1 시각에서의 제1 타깃 데이터 및 제2 센서의 제2 시각에서의 제2 타깃 데이터를 각각 획득한 후, 스마트 기기의 제1 시각에서의 제1 포즈와 스마트 기기의 제2 시각에서의 제2 포즈에 따라 제1 타깃 데이터를 보상 처리하여 제1 센서의 제2 시각에서의 보상 데이터를 획득한다. 제2 센서의 제2 타깃 데이터 역시 제2 시각에서의 모니터링 데이터이므로, 제1 센서의 데이터를 보상 처리하여 제1 센서의 제2 센서에 대응하는 시각에서의 데이터를 획득할 수 있는 바, 즉 획득된 제1 센서의 제1 타깃 데이터와 제2 센서의 제2 타깃 데이터는 모두 동일 시각에서의 데이터이므로 제1 센서와 제2 센서의 동기화를 구현한다. 해당 방법은 소프트웨어 방식으로 센서의 동기화를 구현하므로, 여러 센서의 동기적 트리거를 위한 전용 하드웨어를 추가로 배치할 필요가 없어 다중 센서 데이터 동기화에 필요한 하드웨어 비용을 절약한다.

도 5는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 3이다. 도 5에 도시된 바와 같이, 상기 단계 S204에서 제1 포즈와 제2 포즈에 따라 제1 타깃 데이터를 보상 처리할 경우 선택 가능한 방식은 하기와 같은 단계를 포함한다.

S501에서, 상기 제1 포즈에 따라 상기 제1 센서의 상기 제1 시각에서의 제1 좌표계를 결정한다.

S502에서, 상기 제2 포즈에 따라 상기 제1 센서의 상기 제2 시각에서의 제2 좌표계를 결정한다.

S503에서, 상기 제1 좌표계와 상기 제2 좌표계에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득한다.

선택 가능하게, 스마트 기기가 차량인 경우를 예로 들면, 차량의 운행 상태에서, 각 시각에 모두 대응하는 포즈를 갖게 되고, 상이한 시각에서의 포즈는 변환될 수 있으며, 포즈 변환에는 회전 및 병진이 포함될 수 있다. 각 시각에서의 차량의 포즈, 즉, 회전 및 병진에 기반하여 센서의 포즈를 획득할 수 있다. 센서의 각 포즈는 모두 하나의 좌표계에 대응하고, 각 포즈에서 센서가 검출한 세계 좌표계의 포인트는 모두 상기 좌표계의 포인트인 바, 즉, 검출된 포인트의 좌표값은 모두 상기 좌표계의 좌표값이다. 본 실시예에서, 차량은 제1 시각과 제2 시각에 각각 대응하는 포즈를 구비하고, 나아가 제1 포즈에 대응하는 제1 좌표계와 제2 포즈에 대응하는 제2 좌표계를 각각 구비하며, 세계 좌표계 중 하나의 포인트인 경우, 제1 좌표계와 제2 좌표계의 변환에 기반하여 제2 좌표계에서 상기 포인트의 좌표값, 즉 제2 시각에서의 좌표값을 도출할 수 있고, 제1 센서가 검출한 데이터 중 각각의 포인트 모두에 대해 상기 처리를 수행하여 제2 시각에 제1 센서가 검출한 검출 데이터를 획득할 수 있다.

아래 제1 좌표계 및 제2 좌표계에 기반하여 제1 센서의 제1 타깃 데이터를 보상 처리하는 과정을 예를 들어 설명한다.

세계 좌표계에 하나의 포인트 X가 존재하고, 제1 시각은 t0 시각이며, 제2 시각은 tn 시각이고, t0 시각에 차량의 포즈는 P0이며, 상기 P0에 대응하는 좌표계는 제1 좌표계이고, 상기 t0 시각에 상기 제1 좌표계에서 획득한 포인트 X의 좌표 데이터는 x0라고 가정하면, x0와 X의 관계는 하기와 같은 공식 (1)을 충족시킨다.

(1)

제2 시각은 tn 시각이고, 차량의 포즈는 Pn이며, 상기 Pn에 대응하는 좌표계는 제2 좌표계이고, 상기 tn 시각에 상기 제2 좌표계에서 획득한 포인트 X의 좌표 데이터는 xn라고 가정하면, xn와 X의 관계는 하기와 같은 공식 (2)를 충족시킨다.

(2)

상기 공식 (1)과 공식 (2)로부터 x0와 xn의 관계는 하기와 같은 공식 (3)을 충족시킴을 알 수 있다.

(3)

상기 공식 (3)을 변환 처리하여 xn을 얻을 수 있는데, xn은 하기와 같은 공식 (4)로 표시할 수 있다.

(4)

상기 과정에서, 세계 좌표계의 하나의 포인트인 경우, 제1 센서를 통해 제1 시각 t0 에 제1 좌표계에서 상기 포인트의 t0 시각에 대응하는 포즈에 해당하는 좌표 및 t0 시각과 tn 시각 각각에 대응하는 포즈를 검출함으로써, 제1 센서가 제2 시각 tn에 상기 포인트 검출시, 제2 좌표계에서 상기 포인트가 tn 시각에 대응하는 포즈에 해당하는 좌표를 도출할 수 있다. 제1 타깃 데이터에 대응하는 각 포인트 모두에 대해 상기 처리를 수행하여 tn 시각에 제1 센서의 검출 데이터를 획득할 수 있다.

상기 처리 과정에서, 차량의 제1 시각에서의 제1 포즈 및 차량의 제2 시각에서의 제2 포즈에 기반하여 보상 처리를 수행하므로, 보상 처리 이전에 차량의 제1 시각에서의 제1 포즈 및 차량의 제2 시각에서의 제2 포즈를 먼저 획득할 수 있다.

선택 가능한 일 실시형태에서, 스마트 기기의 포즈 대열을 먼저 생성한 후, 스마트 기기의 포즈 대열에 기반하여 스마트 기기의 제1 시각에서의 제1 포즈 및 스마트 기기의 제2 시각에서의 제2 포즈를 획득할 수 있다.

도 6은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 4이다. 도 6에 도시된 바와 같이, 스마트 기기의 포즈 대열을 생성하고 스마트 기기의 포즈 대열에 기반하여 제1 포즈와 제2 포즈를 결정하는 과정은 하기와 같은 단계를 포함한다.

S601에서, 스마트 기기에 설치된, 포즈 검출 기능을 갖는 센서가 복수의 시각에 검출한 포즈 검출 데이터를 각각 획득하되, 상기 복수의 시각 중 각 시각은 모두 스마트 기기의 시계에서의 시각이다.

S602에서, 상기 포즈 검출 데이터에 따라 스마트 기기의 포즈 대열을 생성한다.

선택 가능하게, 스마트 기기가 차량인 경우를 예로 들면, 차량에 설치된 포즈 검출 기능을 갖는 센서는 CANBUS, 고정밀 관성 내비게이션과 같은 센서를 포함할 수 있다. 시스템은 CANBUS, 고정밀 관성 내비게이션과 같은 센서가 보고한 포즈 검출 데이터, 예를 들어 차량의 휠 속도, 스티어링 휠 등 작동 데이터를 실시간으로 수신할 수 있으며, 시스템은 이러한 포즈 검출 데이터에 따라 복수의 시각에 차량의 포즈를 계산하고 나아가 포즈 대열을 구축할 수 있다.

S603에서, 스마트 기기의 포즈 대열, 상기 제1 시각과 상기 제2 시각에 따라 상기 제1 포즈와 상기 제2 포즈를 결정한다.

선택 가능하게, 스마트 기기의 포즈 대열은 매 시각에서의 포즈로 구성된다. 구체적인 실시 과정에서, 어떤 경우, 제1 시각은 포즈 대열 중 특정 포즈에 대응하는 시각일 수 있는데, 즉, 포즈 대열에는 제1 시각과 포즈 정보 간의 매핑 관계가 직접 존재할 수 있다. 이 경우, 포즈 대열에서 제1 시각에 대응하는 포즈 정보를 직접 획득할 수 있다. 제2 시각에서의 포즈 정보에 대해서도 동이한 처리가 수행되는 바, 즉, 포즈 대열에 제2 시각과 포즈 정보 간의 매핑 관계가 직접 존재하면, 포즈 대열에서 제2 시각에 대응하는 포즈 정보를 직접 획득할 수 있다.

다른 경우, 상기 포즈 대열에 상기 제1 시각의 포즈가 포함되지 않는 상황에 응답하여, 상기 제1 시각에 따라 상기 스마트 기기의 포즈 대열을 보상 처리하여 상기 제1 포즈를 획득하거나, 및/또는 상기 포즈 대열에 상기 제2 시각의 포즈가 포함되지 않는 상황에 응답하여, 상기 제2 시각에 따라 상기 스마트 기기의 포즈 대열을 보상 처리하여 상기 제2 포즈를 획득한다.

본 실시예에서, 포즈 대열에 제1 시각에 대응하는 포즈 정보가 존재하지 않을 수 있는데, 이 경우에는 제1 시각에 따라 스마트 기기의 포즈 대열을 보상 처리하여 스마트 기기의 제1 시각에서의 제1 포즈를 획득할 수 있다. 여기서, 포즈 대열에 대한 보상 처리는 예를 들어 보간 처리일 수 있다. 예시적으로, 제1 시각은 t3 시각이고, 스마트 기기의 포즈 대열에는 t3 시각에 대응하는 포즈 정보가 존재하지 않는 경우, 포즈 대열에서 t3 시각에 가장 근접되는 두 개의 인접 시각을 검색할 수 있다. 예를 들어, 서로 인접되고 또한t3 시각이 t4와 t5 사이의 시각인 t4와 t5 시각을 검색하고, t4 시각에서의 포즈 정보와 t5 시각에서의 포즈 정보를 이용하여 보간 처리함으로써 t3 시각에 대응하는 포즈 정보를 획득한다. 제2 시각인 경우에도 상기 과정을 통해 처리할 수 있으며, 여기서는 더 이상 설명하지 않는다.

상기 실시예에서, 제1 포즈와 제2 포즈에 따라 제1 센서의 제1 타깃 데이터를 보상 처리하는 과정에서 사용되는 데이터는 상기 제1 타깃 데이터이다. 상기 제1 타깃 데이터는 제1 센서가 직접 검출한 미처리 데이터이거나 제1 센서가 검출한 원본 데이터에 대해 사전 동기화 처리를 수행한 데이터일 수 있다. 일부 상황에서, 예를 들어, 제1 센서가 LiDAR인 경우, LiDAR가 한바퀴 회동하여 한바퀴 데이터를 검출한 후 시스템에 하나의 데이터를 보고한다. LiDAR이 한바퀴 회동하는데 일정한 지속 시간이 걸리므로, LiDAR이 시스템에 보고하는 하나의 LiDAR 프레임 데이터에서, 각 서브 데이터의 실제 검출 시각은 차이가 존재한다. 여기서, 하나의 LiDAR 프레임 데이터에는 복수의 데이터 패킷이 포함될 수 있고, 각 데이터 패킷은 하나의 서브 데이터이다. 이와 같은 상황에서, 기준 센서인 제2 센서의 데이터와 동기화하기 위해 제1 센서의 데이터를 보상 처리하기 이전에, 제1 센서가 송신한 데이터 중 각 서브 데이터를 먼저 동기화하여 제1 센서가 송신한 각 프레임 데이터가 프레임 내 동기화를 구현할 수 있도록 한다. 여기서, 상기 각 서브 데이터를 동기화하는 것은 각 서브 데이터 중 하나의 서브 데이터의 송신 시각을 기준 시각으로 하고, 나머지 서브 데이터를 보상 처리하여 상기 기준 시각에 나머지 서브 데이터의 서브 데이터를 획득하는 것을 의미한다.

선택 가능한 일 형태에서, 제1 센서가 상기 제1 타깃 데이터에 대응하는 제1 원본 데이터를 보고할때 구비하는 제3 시각 및 상기 제1 센서의 시계와 스마트 기기의 시계 간의 차이 정보에 따라 상기 제1 시각을 결정할 수 있다.

본 실시예에서, 제1 원본 데이터란 제1 센서가 시스템에 보고하는 프레임 내 동기화 처리를 거치지 않은 데이터를 의미하고, 제1 타깃 데이터란 프레임 내 동기화 처리를 거친 데이터를 의미한다.

제1 센서는 제1 원본 데이터를 보고할때 제1 원본 데이터에 데이터 검출 시각, 즉 상기 제3 시각을 구비할 수 있다.

상기 스마트 기기의 제1 센서의 제1 시각에서의 제1 타깃 데이터를 획득하기 전에, 시스템이 제3 시각을 구비하는 제1 원본 데이터를 수신한 후, 제1 센서의 시계와 스마트 기기의 시계 간의 차이 정보에 따라 스마트 기기의 시계에서 제3 시각의 제1 시각을 결정할 수 있으며, 상기 제3 시각은 제1 센서가 제1 타깃 데이터에 대응하는 제1 원본 데이터를 검출하는 시각을 식별하기 위한 것이고, 상기 제3 시각은 제1 센서의 시계에서의 시각이다.

선택 가능하게, 제1 센서의 시계와 스마트 기기의 시계 간의 차이 정보는 특정 수단을 통해 미리 획득할 수 있다. 예시적으로, 제1 센서는 글로벌 포지셔닝 시스템(Global Positioning System, GPS)에 기반하여 GPS 시계와 스마트 기기의 시계 간의 오차에 따라 제1 센서의 시계와 스마트 기기의 시계 간의 차이 정보를 결정할 수 있다.

이 밖에, 상기 제2 시각의 경우, 상기 스마트 기기의 제2 센서의 제2 시각에서의 제2 타깃 데이터를 획득하기 이전에, 제2 센서의 시계와 스마트 기기의 시계 간의 차이 정보에 따라 상기 스마트 기기의 시계에서 상기 제2 센서가 상기 제2 타깃 데이터를 보고할 때 구비하는 제4 시각의 상기 제2 시각을 결정할 수도 있다, 상기 제4 시각은 상기 제2 타깃 데이터의 검출 시각을 식별하기 위한 것이고, 상기 제4 시각은 상기 제2 센서의 시계에서의 시각이다.

일 예시에서, 상기 제2 센서가 카메라와 같이 비디오 프레임을 검출할 수 있는 센서인 경우, 먼저 제2 센서를 사용하여 스마트 기기의 스톱 워치의 복수의 비디오 프레임을 촬영하고, 각 비디오 프레임을 촬영한 시각 정보와 각 비디오 프레임에 대응하는 스톱 워치가 표시하는 시각 정보를 비교 분석하여 제2 센서의 시계와 스마트 기기의 시계 간의 차이 정보를 획득할 수 있다.

아래 제1 센서가 제1 원본 데이터를 보고할때 구비되는 제3 시각에 기반하여 프레임 내 데이터 동기화를 수행하는 과정을 설명한다.

도 7은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 5이다. 도 7에 도시된 바와 같이, 제1 타깃 데이터를 획득하기 위해 제1 원본 데이터에 대해 프레임 내 데이터 동기화를 수행하는 과정은 하기와 같은 단계를 포함한다.

S701에서, 제1 센서에 의해 보고된 제1 원본 데이터를 수신하되, 상기 제1 원본 데이터는 복수의 서브 데이터를 포함하고, 각 서브 데이터는 하나의 대응하는 검출 시각을 가지며, 상기 제3 시각은 상기 제1 원본 데이터에 포함된 복수의 데이터의 검출 시각의 기준 시각이다.

선택 가능하게, 제1 센서에 의해 보고된 제1 원본 데이터는 복수의 서브 데이터를 포함하는 동시에 각 서브 데이터의 검출 시각을 구비하는 바, 즉, 각 서브 데이터는 모두 대응하는 하나의 검출 시각을 구비한다. 시스템은 이러한 검출 시각 중 하나의 시각을 기준 시각으로 선택하여 제3 시각으로 사용할 수 있으며; 다른 시각에서의 서브 데이터를 각각 상기 기준 시각에 보상함으로써 상기 기준 시각에서의 모든 서브 데이터를 획득할 수 있다. 이러한 서브 데이터의 조합으로 구성된 데이터는 바로 제1 타깃 데이터이므로 이에 따라 제1 센서의 프레임 내 데이터 동기화를 구현한다. 예시적으로, 복수의 검출 시각 중 가장 늦은 시각을 상기 제3 시각으로 선택할 수 있다.

S702에서, 각 서브 데이터의 검출 시각에서의 스마트 기기의 포즈 및 각 서브 데이터에 따라 상기 제1 센서의 상기 제1 시각에서의 상기 제1 타깃 데이터를 획득한다.

본 실시예에서, 제1 센서에 의해 보고된 제1 원본 데이터를 수신한 후, 검출 시각에 상기 제1 원본 데이터를 구성하는 각 서브 데이터의 포즈에 기반하여 제1 원본 데이터 중 복수의 서브 데이터에 대한 프레임 내 동기화를 완료할 수 있으므로 센서 동기화의 정확도를 더욱 향상시킨다.

도 8은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 6이다. 도 8에 도시된 바와 같이, 상기 단계 S702의 선택 가능한 일 실시형태는 하기와 같은 단계를 포함할 수 있다.

S801에서, 각 서브 데이터의 검출 시각에서의 스마트 기기의 포즈에 따라 각 서브 데이터의 검출 시각에서의 제1 센서의 좌표계를 결정한다.

각 검출 시각에서의 좌표계를 결정하는 과정은 전술한 제1 시각에서의 제1 좌표계를 결정하는 과정과 동일하여 전술한 실시예를 참조할 수 있는 바, 여기서는 더 이상 설명하지 않는다.

S802에서, 상기 제3 시각을 제외한 각 서브 데이터의 검출 시각에서의 상기 제1 센서의 좌표계 및 상기 제3 시각에서의 상기 제1 센서의 좌표계에 따라 상기 제3 시각을 제외한 각 서브 데이터의 상기 제3 시각에 대응하는 서브 데이터를 각각 획득한다.

본 단계에서, 각 서브 데이터의 동기화를 구현하기 위해, 제3 시각을 기준 시각으로 하고 다른 검출 시각에서의 서브 데이터를 제3 시각으로 보상한다.

여기서, 서브 데이터의 검출 시각에서의 좌표계 및 제3 시각에서의 좌표계에 따라 제3 시각에 서브 데이터의 대응하는 서브 데이터를 결정하는 과정은 상기 단계 S503의 처리 과정과 일치하여 상기 단계 S503 및 공식 (1) 내지 (4)의 설명을 참조할 수 있는 바, 여기서는 더 이상 설명하지 않는다.

S803에서, 제3 시각을 제외한 각 서브 데이터의 상기 제3 시각에 대응하는 서브 데이터를 통합 처리하여 상기 제1 센서의 상기 제1 시각에서의 상기 제1 타깃 데이터를 획득한다.

선택 가능하게, 제3 시각에 각 서브 데이터의 대응하는 서브 데이터를 원래의 검출 시각에 따라 정렬 및 조합하여 상기 제1 타깃 데이터를 획득할 수 있으며, 상기 제1 타깃 데이터 중 모든 서브 데이터는 모두 제3 시각에 대응하는 좌표계의 데이터인 바, 즉, 상기 제1 타깃 데이터 내의 모든 서브 데이터는 동기화 데이터이다. 제1 센서의 시계에서, 상기 제1 타깃 데이터는 제3 시각에 대응하는 좌표계의 데이터이고, 상기에서 알 수 있는 바, 제3 시각에서의 스마트 기기의 시계에서의 시각은 제1 시각이다. 따라서, 스마트 기기의 시계에서, 상기 제1 타깃 데이터는 제1 시각에서의 검출 데이터이다.

도 9는 제1 타깃 데이터를 획득하기 위해 제1 원본 데이터에 대해 프레임 내 데이터 동기화를 수행하는 예시도이다. 도 9에 도시된 바와 같이, 제1 센서가 LiDAR인 경우를 예로 들면, LiDAR에 의해 보고된 각 프레임의 데이터에는 n+1 개의 데이터 패킷이 포함되고, 각 데이터 패킷이 하나의 검출 시각에 대응하는 경우, n 번째 데이터 패킷(데이터 패킷 n)의 검출 시각을 기준 시각으로 사용하며, 데이터 패킷 0 내지 데이터 패킷 n-1을 각각 데이터 패킷 n에 대응하는 시각에 보상함으로써 하나의 데이터의 프레임 내 동기화를 구현할 수 있다.

이상 제1 타깃 데이터를 획득하기 위해 복수의 서브 데이터로 구성된 제1 원본 데이터에 대해 프레임 내 동기화를 수행하는 과정을 설명하였다. 구체적인 실시 과정에서, 스마트 기기에 동일한 유형의 센서가 복수 개 포함되어 있고 상기 동일한 유형의 센서의 검출 데이터가 상기 복수의 서브 데이터를 포함하는 형태이며, 제1 센서는 복수의 동일한 유형의 센서 중 하나인 경우, 제1 센서와 제2 센서를 동기화하기 이전에, 먼저 상기 복수의 서브 데이터 동기화 방법에 기반하여 동일한 유형의 복수의 센서의 검출 데이터를 동기화할 수도 있다.

도 10은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법의 흐름 모식도 7이다. 도 10에 도시된 바와 같이, 동일한 유형의 복수의 센서의 검출 데이터를 동기화하는 과정은 하기와 같은 단계를 포함한다.

S1001에서, 제3 센서가 보고한 제2 원본 데이터를 수신하되, 상기 제3 센서의 유형은 상기 제1 센서의 유형과 동일하고, 상기 제2 원본 데이터는 복수의 서브 데이터를 포함하며, 각 서브 데이터는 하나의 대응하는 검출 시각을 가지고, 상기 제3 시각은 상기 제2 원본 데이터에 포함된 복수의 데이터의 검출 시각의 기준 시각이다.

S1002에서, 상기 제2 원본 데이터의 각 서브 데이터의 검출 시각에서의 스마트 기기의 포즈 및 상기 제2 원본 데이터의 각 서브 데이터에 따라 상기 제3 센서의 상기 제1 시각에서의 제3 타깃 데이터를 획득한다.

본 실시예에서, 제1 센서의 하나의 검출 시각, 즉, 제3 시각을 제3 센서의 동기화시 기준 시각으로 사용하고, 제3 센서에 의해 보고된 제2 원본 데이터 중 각 서브 데이터의 포즈에 따라 제2 원본 데이터 중 각각의 서브 데이터를 제3 시각에 보상할 수 있다. 이러한 처리를 거친 후, 제2 원본 데이터 중 모든 서브 데이터가 동기화된 제3 타깃 데이터를 획득하고, 아울러 제3 센서는 제1 센서의 제3 시각을 기준 시각으로 사용하므로, 제3 센서에 의해 동기화된 제3 타깃 데이터와 제1 센서에 의해 동기화된 제2 타깃 데이터는 동기화된다.

도 11은 동일한 유형의 센서에 대해 동기화를 수행하는 예시도이다. 도 11에 도시된 바와 같이, 제1 센서는 LiDAR이고, 제3 센서와 제4 센서 역시 LiDAR인 경우를 예로 들면, 각 LiDAR에 의해 보고된 각 프레임의 데이터에는 모두 n+1 개의 데이터 패킷이 포함되고, 각 데이터 패킷이 하나의 검출 시각에 대응하는 경우, 제1 센서의 n 번째 데이터 패킷(데이터 패킷 n)의 검출 시각을 기준 시각으로 사용하며, 제1 센서의 데이터 패킷 0 내지 데이터 패킷 n-1을 각각 데이터 패킷 n에 대응하는 시각에 보상하고, 제3 센서의 데이터 패킷 0 내지 데이터 패킷 n을 각각 제1 센서의 데이터 패킷 n에 대응하는 시각에 보상하며, 제4 센서의 데이터 패킷 0 내지 데이터 패킷 n을 각각 제1 센서의 데이터 패킷 n에 대응하는 시각에 보상함으로써 제1 센서, 제3 센서, 제4 센서 각자의 프레임 내 동기화 및 제1 센서, 제3 센서, 제4 센서 간의 프레임 간 동기화를 구현할 수 있다.

본 실시예에서, 스마트 기기에 복수의 동일한 유형의 센서가 존재하고 또한 상기 유형의 센서에 의해 보고된 검출 데이터에 복수의 서브 데이터가 포함되어 있는 경우, 하나의 센서의 검출 데이터 중 하나의 서브 데이터의 검출 시각을 기준 시각으로 사용할 수 있고, 동일한 유형의 나머지 센서 중 각각의 센서의 경우, 상기 센서의 모든 서브 데이터를 모두 상기 기준 시각에 보상하고 상기 처리를 거쳐 각 센서의 프레임 내 동기화를 구현할 수 있을뿐만 아니라 동일한 유형의 센서 간의 프레임 간 동기화도 동시에 구현할 수 있다.

일부 선택 가능한 실시예에서, 상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 단계는, 상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터와 상기 제3 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터 및 상기 제3 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 단계를 포함한다.

상기 과정을 거쳐 동일한 유형의 제3 센서와 제1 센서의 동기화를 구현한 후, 제1 포즈와 제2 포즈에 따라 제1 타깃 데이터를 보상 처리하는 동시에 제1 포즈와 제2 포즈에 따라 제3 타깃 데이터를 보상 처리하여 제1 센서의 제2 시각에서의 보상 데이터 및 제3 센서의 제2 시각에서의 보상 데이터를 획득할 수도 있다. 제1 센서와 제3 센서는 동일한 유형의 센서로서 이미 동기화가 이루어졌으므로 이를 기반으로 다시 제2 센서와 동기화를 구현함으로써 센서 동기화의 정확도를 더욱 향상시킬 수 있다.

도 12는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 장치의 모듈 구조도 1이다. 도 12에 도시된 바와 같이, 상기 장치는,

스마트 기기의 제1 센서의 제1 시각에서의 제1 타깃 데이터를 획득하는 제1 획득 모듈(1201);

스마트 기기의 제2 센서의 제2 시각에서의 제2 타깃 데이터를 획득하는 제2 획득 모듈(1202) - 상기 제1 시각과 상기 제2 시각은 상기 스마트 기기의 시계에서 상이한 시각임 - ;

상기 스마트 기기의 상기 제1 시각에서의 제1 포즈와 상기 제2 시각에서의 제2 포즈를 획득하는 제3 획득 모듈(1203) - 상기 제1 포즈와 상기 제2 포즈는 상이함 - ; 및

상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 보상 모듈(1204)을 포함한다.

상기 장치는 전술한 방법 실시예를 구현하기 위한 것으로, 그 구현 원리 및 기술적 효과는 유사한 바, 여기서는 더 이상 설명하지 않는다.

다른 실시예에서, 상기 보상 모듈(1204)은, 상기 제1 포즈에 따라 상기 제1 센서의 상기 제1 시각에서의 제1 좌표계를 결정하고; 상기 제2 포즈에 따라 상기 제1 센서의 상기 제2 시각에서의 제2 좌표계를 결정하며; 상기 제1 좌표계와 상기 제2 좌표계에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득한다.

다른 실시예에서, 상기 제3 획득 모듈(1203)은, 상기 스마트 기기에 설치된, 포즈 검출 기능을 갖는 센서에 의해 복수의 시각에 검출된 포즈 검출 데이터를 각각 획득하되, 상기 복수의 시각 중 각 시각은 모두 상기 스마트 기기의 시계에서의 시각이고; 상기 포즈 검출 데이터에 따라 상기 스마트 기기의 포즈 대열을 생성하며; 상기 스마트 기기의 포즈 대열, 상기 제1 시각 및 상기 제2 시각에 따라 상기 제1 포즈 및 상기 제2 포즈를 결정한다.

다른 실시예에서, 제3 획득 모듈(1203)은, 상기 포즈 대열에 상기 제1 시각의 포즈가 포함되지 않는 상황에 응답하여, 상기 제1 시각에 따라 상기 스마트 기기의 포즈 대열을 보상 처리하여 상기 제1 포즈를 획득하거나; 및/또는, 상기 포즈 대열에 상기 제2 시각의 포즈가 포함되지 않는 상황에 응답하여, 상기 제2 시각에 따라 상기 스마트 기기의 포즈 대열을 보상 처리하여 상기 제2 포즈를 획득한다.

도 13은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 장치의 모듈 구조도 2이다. 도 13에 도시된 바와 같이, 상기 장치는, 상기 제1 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보에 따라 상기 스마트 기기의 시계에서 제3 시각의 상기 제1 시각을 결정하는 제1 결정 모듈(1205)을 더 포함하되, 상기 제3 시각은 상기 제1 센서가 상기 제1 타깃 데이터에 대응하는 제1 원본 데이터를 검출하는 시각을 식별하기 위한 것이고, 상기 제3 시각은 상기 제1 센서의 시계에서의 시각이다.

다른 실시예에서, 제1 획득 모듈(1201) 은, 상기 제1 센서가 보고한 상기 제1 원본 데이터를 수신하되, 상기 제1 원본 데이터는 복수의 서브 데이터를 포함하고, 각 서브 데이터는 하나의 대응하는 검출 시각을 가지며, 상기 제3 시각은 상기 제1 원본 데이터에 포함된 복수의 서브 데이터의 검출 시각의 기준 시각이고; 각 서브 데이터의 검출 시각에서의 상기 스마트 기기의 포즈 및 각 서브 데이터에 따라 상기 제1 센서의 상기 제1 시각에서의 상기 제1 타깃 데이터를 획득한다.

다른 실시예에서, 제1 획득 모듈(1201)은, 각 서브 데이터의 검출 시각에서의 상기 스마트 기기의 포즈에 따라 각 서브 데이터의 검출 시각에서의 상기 제1 센서의 좌표계를 결정하고; 상기 제3 시각을 제외한 각 서브 데이터의 검출 시각에서의 상기 제1 센서의 좌표계 및 상기 제3 시각에서의 상기 제1 센서의 좌표계에 따라 상기 제3 시각을 제외한 각 서브 데이터의 상기 제3 시각에 대응하는 서브 데이터를 각각 결정하며; 상기 제3 시각을 제외한 각 서브 데이터의 상기 제3 시각에 대응하는 서브 데이터를 통합 처리하여 상기 제1 센서의 상기 제1 시각에서의 상기 제1 타깃 데이터를 획득한다.

도 14는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 장치의 모듈 구조도 3이다. 도 14에 도시된 바와 같이, 상기 장치는,

제3 센서가 보고한 제2 원본 데이터를 수신하는 수신 모듈(1206) - 상기 제3 센서의 유형은 상기 제1 센서의 유형과 동일하고, 상기 제2 원본 데이터는 복수의 서브 데이터를 포함하며, 각 서브 데이터는 하나의 대응하는 검출 시각을 가지며, 상기 제3 시각은 상기 제2 원본 데이터에 포함된 복수의 서브 데이터의 검출 시각의 기준 시각임 - ;

상기 제2 원본 데이터의 각 서브 데이터의 검출 시각에서의 상기 스마트 기기의 포즈 및 상기 제2 원본 데이터의 각 서브 데이터에 따라 상기 제3 센서의 상기 제1 시각에서의 제3 타깃 데이터를 획득하는 제4 획득 모듈(1207); 및

상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터와 상기 제3 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터 및 상기 제3 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 상기 보상 모듈(1204)을 더 포함한다.

도 15는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 장치의 모듈 구조도 4이다. 도 15에 도시된 바와 같이, 상기 장치는, 상기 제1 결정 모듈(1205)이 상기 제1 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보에 따라 상기 스마트 기기의 시계에서 제3 시각의 상기 제1 시각을 결정하기 이전에, 글로벌 포지셔닝 시스템(GPS)의 시계와 상기 스마트 기기의 시계 간의 오차에 따라 상기 제1 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보를 획득하는 제5 획득 모듈(1208)을 더 포함한다.

도 16은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 장치의 모듈 구조도 5이다. 도 16에 도시된 바와 같이, 상기 장치는, 상기 제2 획득 모듈(1202)이 스마트 기기의 제2 센서의 제2 시각에서의 제2 타깃 데이터를 획득하기 이전에, 상기 제2 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보에 따라 상기 스마트 기기의 시계에서 상기 제2 센서가 상기 제2 타깃 데이터를 보고할 때 구비하는 제4 시각의 상기 제2 시각을 결정하는 제2 결정 모듈(1209)을 더 포함하되, 상기 제4 시각은 상기 제2 타깃 데이터의 검출 시각을 식별하기 위한 것이고, 상기 제4 시각은 상기 제2 센서의 시계에서의 시각이다.

도 17은 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 장치의 모듈 구조도 6이다. 도 17에 도시된 바와 같이, 상기 장치는,

상기 제2 센서를 사용하여 상기 스마트 기기의 스톱 워치의 복수의 비디오 프레임을 촬영하는 촬영 모듈(1210); 및

각각의 상기 비디오 프레임을 촬영하는 시각 정보와 각각의 상기 비디오 프레임에 대응하는 스톱 워치가 표시하는 시각 정보를 비교 분석하여 상기 제2 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보를 획득하는 분석 모듈(1211)을 더 포함한다.

다른 실시예에서, 상기 제2 센서는 카메라이고, 상기 제1 센서는 레이저 레이더 또는 밀리미터파 레이더이다.

설명해야 할 것은, 상기 장치의 각 모듈의 분할은 논리적 기능의 분할일 뿐이며, 실제 구현에서 물리적 엔티티에 완전히 또는 부분적으로 통합되거나 물리적으로 분리될 수 있다. 또한 이러한 모듈은 모두 처리 요소에 의해 호출되는 소프트웨어의 형태로 구현 될 수 있고; 모두 하드웨어의 형태로 구현 될 수도 있으며; 모듈의 일부는 처리 요소에 의해 소프트웨어를 호출하는 형태로 구현되고 일부 모듈은 하드웨어 형태로 구현될 수 있다. 예를 들어, 결정 모듈은 별도로 구축된 처리 요소 일 수 있거나, 상기 장치의 특정 칩에 통합되어 구현될 수 있으며, 이 밖에, 프로그램 코드의 형태로 상기 장치의 메모리에 저장될 수 있고, 상기 결정 모듈의 기능은 상기 장치의 특정 처리 요소에 의해 호출 및 수행되며, 다른 모듈의 구현도 유사하다. 이 밖에, 이러한 모듈의 전체 또는 일부를 함께 통합하거나 독립적으로 구현할 수 있다. 여기에 설명된 처리 요소는 신호 처리 기능을 가진 집적 회로일 수 있다. 구현 과정에서, 상기 방법의 각 단계 또는 상기 모듈 각각은 프로세서 요소의 하드웨어의 집적 논리 회로 또는 소프트웨어 형태의 명령에 의해 완료될 수 있다.

예를 들어, 상기 모듈은 하나 또는 복수의 특정 용도 지향 집적 회로 (application specific integrated circuits, ASIC), 또는 하나 또는 복수의 마이크로 프로세서(Digital Signal Processor, DSP), 또는 현장 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA)와 같이 상기 방법을 구현하도록 구성된 하나 또는 복수의 집적 회로일 수 있다. 다른 예를 들어, 위의 모듈 중 하나가 처리 요소 스케줄링 프로그램 코드의 형태로 구현될 때, 처리 요소는 중앙 처리 장치(Central Processing Unit, CPU) 또는 프로그램 코드를 호출할 수 있는 다른 프로세서와 같은 범용 프로세서일 수 있다. 또 다른 예로, 이러한 모듈을 함께 통합하여 SOC (System-On-a-Chip) 형태로 구현할 수 있다.

상기 실시예에서, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합에 의해 전체적 또는 부분적으로 구현될 수 있다. 소프트웨어를 사용하여 구현될 경우, 컴퓨터 프로그램 제품의 형태로 전체적 또는 부분적으로 구현될 수 있고, 상기 컴퓨터 프로그램 제품은 하나 또는 복수의 컴퓨터 명령을 포함한다. 컴퓨터 프로그램 명령이 컴퓨터에 로딩되어 실행될 경우, 본 발명의 실시예에 따른 프로세스 또는 기능은 전체적 또는 부분적으로 생성되고, 상기 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크 또는 다른 프로그래밍 장치일 수 있다. 상기 컴퓨터 명령은 컴퓨터 판독 가능한 저장 매체에 저장되거나, 하나의 컴퓨터 판독 가능한 저장 매체에서 다른 컴퓨터 판독 가능한 저장 매체로 전송될 수 있으며, 예를 들어, 상기 컴퓨터 명령은 하나의 웹 사이트, 컴퓨터, 서버 또는 데이터 센터로부터 유선(예를 들어, 동축 케이블, 광섬유, 디지털 가입자 회선(Digital Subscriber Line, DSL)) 또는 무선 (예를 들어, 적외선, 무선, 전자파 등) 방식을 통해 다른 웹 사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다. 상기 컴퓨터 판독 가능한 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 사용 가능한 매체, 또는 하나 또는 복수의 사용 가능한 매체와 통합된 서버, 데이터 센터 등 데이터 저장 기기일 수 있다. 상기 사용 가능한 매체는 자기 매체(예를 들어, 플로피 디스크, 하드 디스크, 자기 테이프), 광학 매체(예를 들어, 디지털 비디오 디스크(Digital Video Disc, DVD)), 또는 반도체 매체(예를 들어, 솔리드 스테이트 디스크(Solid State Disk, SSD)) 등일 수 있다.

도 18은 본 발명의 실시예에 의해 제공되는 전자 기기의 구조 모식도이다. 도 18에 도시된 바와 같이, 상기 전자 기기(1800)는 프로세서(181) 및 메모리(182)를 포함할 수 있고; 상기 메모리(182)는 컴퓨터 명령을 저장하기 위한 것이며, 상기 프로세서(181)는 상기 컴퓨터 명령을 실행할 경우 상기 도 1 내지 도 10에 도시된 실시예의 수단을 구현한다.

선택 가능하게, 전자 기기(1800)는 다른 기기와 통신하기 위한 통신 인터페이스(183)를 더 포함할 수 있다. 전자 기기(1800)는 이러한 컴포넌트 간의 연결 및 통신을 구현하기 위한 시스템 버스(184)를 더 포함할 수 있음을 이해할 수 있다.

여기서, 시스템 버스(184)는 주변 구성 요소 상호 연결 규격(Peripheral Component Interconnect, PCI) 버스 또는 확장된 산업 표준 아키텍처(Extended Industry Standard Architecture, EISA) 버스 등일 수 있다. 상기 시스템 버스(184)은 어드레스 버스, 데이터 버스, 제어 버스 등으로 구분될 수 있고, 표현의 편의를 위해 그림은 하나의 굵은 선으로만 표시되지만 버스가 하나만 있거나 버스 유형이 하나만 있음을 의미하지는 않는다. 통신 인터페이스(183)는 데이터베이스 액세스 장치와 다른 기기(예를 들어, 클라이언트, 읽기-쓰기 라이브러리 및 읽기 전용 라이브러리) 간의 통신을 구현하기 위한 것이고, 메모리(182)는 랜덤 액세스 메모리(Random Access Memory, RAM)를 포함할 수 있으며, 적어도 하나의 디스크 메모리와 같은 비 휘발성 메모리(Non-Volatile Memory)를 더 포함할 수도 있다.

상기 프로세서(181)는 CPU, 네트워크 프로세서(Network Processor, NP) 등을 포함하는 범용 프로세서일 수 있으며; DSP, ASIC, FPGA 또는 다른 프로그래밍 가능한 논리 소자, 개별 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 컴포넌트일 수도 있다.

도 19는 본 발명의 실시예에 의해 제공되는 스마트 주행 제어 방법의 흐름 모식도이다. 상기 실시예의 기초 상에서, 본 발명의 실시예는 또한 하기와 같은 단계를 포함하는 스마트 주행 제어 방법을 제공한다.

S1901에서, 스마트 기기에 설치된 제1 센서 및 제2 센서의 검출 데이터를 각각 획득하되, 상기 검출 데이터는 본 발명의 실시예에 의해 제공되는 센서 데이터 처리 방법을 적용하여 획득된다.

S1902에서, 상기 검출 데이터에 따라 스마트 기기에 대해 스마트 주행 제어를 수행한다.

본 실시예의 실행 주체는 스마트 주행 제어 장치일 수 있으며, 본 실시예의 스마트 주행 제어 장치와 상기 실시예에서 설명한 전자 기기는 동일한 기기에 위치하거나 상이한 기기에 별도로 설치될 수 있다. 여기서 본 실시예의 스마트 주행 제어 장치와 상기 전자 기기 간에는 통신 연결된다.

여기서, 제1 센서와 제2 센서의 검출 데이터는 상기 실시예의 방법을 적용하여 획득되며, 구체적인 과정은 상기 실시예의 설명을 참조할 수 있는 바, 여기서 더 이상 설명하지 않는다.

구체적으로, 전자 기기는 상기 센서 데이터 처리 방법을 수행하여 스마트 기기에 설치된 제1 센서와 제2 센서의 검출 데이터를 획득하고, 스마트 기기에 설치된 제1 센서와 제2 센서의 검출 데이터를 출력한다. 스마트 주행 제어 장치는 상기 제1 센서와 제2 센서의 검출 데이터를 획득하고, 검출 데이터에 따라 스마트 기기에 대해 스마트 주행 제어를 수행한다.

본 실시예의 스마트 주행은 보조 주행, 자동 주행 및/또는 보조 주행과 자동 주행 간의 주행 모드 전환 등을 포함한다. 상기 스마트 주행 제어는 제동, 주행 속도 변경, 주행 방향 변경, 차선 유지, 조명 상태 변경, 주행 모드 전환 등을 포함할 수 있으며, 주행 모두 전환은 보조 주행과 자동 주행 간의 전환일 수 있다. 예를 들어, 스마트 주행 제어를 통해 보조 주행을 자동 주행으로 전환한다.

본 실시예에 의해 제공되는 스마트 주행 제어 방법에서, 스마트 주행 제어 장치는 스마트 기기에 설치된 센서의 검출 데이터를 획득하고, 스마트 기기에 설치된 센서의 검출 데이터에 따라 스마트 주행 제어를 수행하며 나아가 스마트 주행의 안전성 및 신뢰성을 향상시킨다.

도 20은 본 발명의 실시예에 의해 제공되는 스마트 주행 제어 장치의 구조 모식도이다. 도 20에 도시된 바와 같이, 상기 실시예의 기초 상에서, 본 발명의 실시예의 스마트 주행 제어 장치(2000)는,

스마트 기기에 설치된 제1 센서 및 제2 센서의 검출 데이터를 각각 획득하는 획득 모듈(2001) - 상기 검출 데이터는 상기 센서 데이터 처리 방법을 적용하여 획득됨 - ; 및

상기 검출 데이터에 따라 스마트 기기에 대해 스마트 주행 제어를 수행하는 스마트 주행 제어 모듈(2002)을 포함한다.

본 발명의 실시예의 스마트 주행 제어 장치는 상기에 도시된 방법 실시예의 기술적 해결수단을 수행할 수 있으며, 그 구현 원리 및 기술적 효과는 유사한 바, 여기서 더 이상 설명하지 않는다.

도 21은 본 발명의 실시예에 의해 제공되는 스마트 주행 시스템의 모식도이다. 도 21에 도시된 바와 같이, 본 실시예의 스마트 주행 시스템(2100)은, 통신 연결되는 센서(2101), 전자 기기(1800) 및 스마트 주행 제어 장치(2000)를 포함하되, 여기서 전자 기기(1800)는 도 18에 도시된 바와 같고, 스마트 주행 제어 장치(2000)는 도 20에 도시된 바와 같다. 여기서, 센서(2101)는 전술한 실시예에서 카메라, LiDAR, RADAR, 고정밀 관성 내비게이션 등 센서 중 적어도 하나를 포함할 수 있다.

구체적으로, 도 21에 도시된 바와 같이, 실제 사용시, 센서(2101)는 스마트 기기의 주변 환경을 검출하여 원본 검출 데이터를 획득하고, 이러한 검출 데이터를 전자 기기(1800)에 송신하며, 전자 기기(1800)는 이러한 원본 검출 데이터를 수신한 후, 상기 센서 데이터 처리 방법에 따라 데이터 동기화를 수행하여 동기화된 검출 데이터를 획득한다. 전자 기기(1800)는 동기화된 검출 데이터를 스마트 주행 제어 장치(2000)에 송신하고, 스마트 주행 제어 장치(2000)는 동기화된 검출 데이터에 따라 스마트 기기에 대해 스마트 주행 제어를 수행한다.

본 발명의 실시예는 또한 저장 매체를 제공한다. 상기 저장 매체에는 명령이 저장되고, 상기 명령이 컴퓨터에서 실행될 경우, 컴퓨터가 상기 도 1 내지 도 10 중 어느 하나에 도시된 실시예의 방법을 수행하거나, 상기 도 19에 도시된 실시예의 방법을 수행하도록 한다.

본 발명의 실시예는 또한 명령을 실행하는 칩을 제공한다. 상기 칩은 상기 도 1 내지 도 10 중 어느 하나에 도시된 실시예의 방법을 수행하거나, 상기 도 19에 도시된 실시예의 방법을 수행하기 위한 것이다.

본 발명의 실시예는 또한 프로그램 제품을 제공한다. 상기 프로그램 제품은 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램은 저장 매체에 저장되며, 적어도 하나의 프로세서는 상기 저장 매체로부터 상기 컴퓨터 프로그램을 판독할 수 있고, 상기 적어도 하나의 프로세서가 상기 컴퓨터 프로그램을 실행할 경우, 상기 도 1 내지 도 10 중 어느 하나에 도시된 실시예의 방법을 구현할 수 있거나; 상기 적어도 하나 프로세서가 상기 컴퓨터 프로그램을 실행할 경우, 상기 도 19에 도시된 실시예의 방법을 구현할 수 있다.

본 발명의 실시예에서, “적어도 하나”는 하나 또는 복수 개를 의미하고 “복수 개”는 둘 또는 둘 이상을 의미한다. “및/또는”은 연관된 객체의 연관 관계를 설명하며, 세 가지 관계가 존재할 수 있음을 의미한다. 예를 들면 A 및/또는 B는, A만 존재, A와 B가 동시에 존재, B만 존재하는 3가지 경우를 의미하고, 여기서 A, B는 단수 또는 복수 일 수 있으며; 본문에서 부호 “/”는 일반적으로 전후 연관 대상이 “또는”의 관계임을 의미하고; 공식에서 부호 "/"는 이전과 이후의 연관된 객체가 "나눗셈" 관계임을 의미한다. "다음 적어도 하나의 항목 (개)" 또는 이와 유사한 표현은 단일 항목(개) 또는 복수 항목 (개)의 임의의 조합을 포함하여 이러한 항목의 임의의 조합을 의미한다. 예를 들어, a, b 또는 c 중 적어도 하나의 항목(개)는 a, b, c, a-b, a-c, b-c 또는 a-b-c를 의미할 수 있으며, 여기서 a, b 및 c는 하나 또는 복수 개일 수 있다.

본 발명의 실시예에 언급된 다양한 숫자는 설명의 편의를 위해 구분한 것일뿐, 본 발명의 실시예의 범위를 한정하기 위해 사용된 것이 아님을 이해할 수 있다.

본 발명의 실시예에서, 본 발명의 다양한 실시예에서 각 과정의 순번의 크기는 수행 순서의 선후를 의미하는 것이 아니고, 각 과정의 수행 순서는 그 기능 및 내재적 논리에 따라 결정되어야 하며, 본 발명의 실시예에 따른 실시 과정에 대해 어떠한 한정도 아님을 이해할 수 있다.

마지막으로, 상기 각 실시예는 본 발명의 실시예의 기술적 해결수단을 설명하기 위한 것일뿐 이에 한정되지 않는다는 점에 유의해야 한다. 본 발명은 전술한 실시예를 참조하여 상세하게 설명되었으나 당업자는 전술한 실시예에 기재된 기술적 해결수단을 여전히 수정하거나 기술특징의 일부 또는 전부를 균등하게 대체할 수 있으며 이러한 수정 또는 대체에 의해 대응하는 기술적 해결수단의 본질이 본 발명의 각 실시예의 기술적 해결수단의 범위를 벗어나지 않는다.

Claims

센서 데이터 처리 방법으로서,
스마트 기기의 제1 센서의 제1 시각에서의 제1 타깃 데이터를 획득하는 단계;
스마트 기기의 제2 센서의 제2 시각에서의 제2 타깃 데이터를 획득하는 단계 - 상기 제1 시각과 상기 제2 시각은 상기 스마트 기기의 시계에서 상이한 시각임 - ;
상기 스마트 기기의 상기 제1 시각에서의 제1 포즈와 상기 제2 시각에서의 제2 포즈를 획득하는 단계 - 상기 제1 포즈와 상기 제2 포즈는 상이함 - ; 및
상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 단계를 포함하는 센서 데이터 처리 방법.
제1항에 있어서,
상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 단계는,
상기 제1 포즈에 따라 상기 제1 센서의 상기 제1 시각에서의 제1 좌표계를 결정하는 단계;
상기 제2 포즈에 따라 상기 제1 센서의 상기 제2 시각에서의 제2 좌표계를 결정하는 단계; 및
상기 제1 좌표계와 상기 제2 좌표계에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 단계를 포함하는 센서 데이터 처리 방법.
제2항에 있어서,
상기 스마트 기기의 상기 제1 시각에서의 제1 포즈와 상기 제2 시각에서의 제2 포즈를 획득하는 단계는,
상기 스마트 기기에 설치된, 포즈 검출 기능을 갖는 센서에 의해 복수의 시각에 검출된 포즈 검출 데이터를 각각 획득하는 단계 - 상기 복수의 시각 중 각 시각은 모두 상기 스마트 기기의 시계에서의 시각임 - ;
상기 포즈 검출 데이터에 따라 상기 스마트 기기의 포즈 대열을 생성하는 단계; 및
상기 스마트 기기의 포즈 대열, 상기 제1 시각 및 상기 제2 시각에 따라 상기 제1 포즈 및 상기 제2 포즈를 결정하는 단계를 포함하는 센서 데이터 처리 방법.
제3항에 있어서,
상기 스마트 기기의 포즈 대열, 상기 제1 시각 및 상기 제2 시각에 따라 상기 제1 포즈 및 상기 제2 포즈를 결정하는 단계는,
상기 포즈 대열에 상기 제1 시각의 포즈가 포함되지 않는 상황에 응답하여, 상기 제1 시각에 따라 상기 스마트 기기의 포즈 대열을 보상 처리하여 상기 제1 포즈를 획득하는 단계; 및
상기 포즈 대열에 상기 제2 시각의 포즈가 포함되지 않는 상황에 응답하여, 상기 제2 시각에 따라 상기 스마트 기기의 포즈 대열을 보상 처리하여 상기 제2 포즈를 획득하는 단계; 중 적어도 하나를 포함하는 센서 데이터 처리 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 스마트 기기의 제1 센서의 제1 시각에서의 제1 타깃 데이터를 획득하는 단계 이전에, 상기 방법은,
상기 제1 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보에 따라 상기 스마트 기기의 시계에서 제3 시각의 상기 제1 시각을 결정하는 단계를 더 포함하되, 상기 제3 시각은 상기 제1 센서가 상기 제1 타깃 데이터에 대응하는 제1 원본 데이터를 검출하는 시각을 식별하기 위한 것이고, 상기 제3 시각은 상기 제1 센서의 시계에서의 시각인 센서 데이터 처리 방법.
제5항에 있어서,
상기 스마트 기기의 제1 센서의 제1 시각에서의 제1 타깃 데이터를 획득하는 단계는,
상기 제1 센서가 보고한 상기 제1 원본 데이터를 수신하는 단계 - 상기 제1 원본 데이터는 복수의 서브 데이터를 포함하고, 각 서브 데이터는 하나의 대응하는 검출 시각을 가지며, 상기 제3 시각은 상기 제1 원본 데이터에 포함된 복수의 서브 데이터의 검출 시각의 기준 시각임 - ; 및
각 서브 데이터의 검출 시각에서의 상기 스마트 기기의 포즈 및 각 서브 데이터에 따라 상기 제1 센서의 상기 제1 시각에서의 상기 제1 타깃 데이터를 획득하는 단계를 포함하는 센서 데이터 처리 방법.
제6항에 있어서,
상기 각 서브 데이터의 검출 시각에서의 상기 스마트 기기의 포즈 및 각 서브 데이터에 따라 상기 제1 센서의 상기 제1 시각에서의 상기 제1 타깃 데이터를 획득하는 단계는,
각 서브 데이터의 검출 시각에서의 상기 스마트 기기의 포즈에 따라 각 서브 데이터의 검출 시각에서의 상기 제1 센서의 좌표계를 결정하는 단계;
상기 제3 시각을 제외한 각 서브 데이터의 검출 시각에서의 상기 제1 센서의 좌표계 및 상기 제3 시각에서의 상기 제1 센서의 좌표계에 따라 상기 제3 시각을 제외한 각 서브 데이터의 상기 제3 시각에 대응하는 서브 데이터를 각각 결정하는 단계; 및
상기 제3 시각을 제외한 각 서브 데이터의 상기 제3 시각에 대응하는 서브 데이터를 통합 처리하여 상기 제1 센서의 상기 제1 시각에서의 상기 제1 타깃 데이터를 획득하는 단계를 포함하는 센서 데이터 처리 방법.
제5항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 단계 이전에, 상기 방법은,
제3 센서가 보고한 제2 원본 데이터를 수신하는 단계 - 상기 제3 센서의 유형은 상기 제1 센서의 유형과 동일하고, 상기 제2 원본 데이터는 복수의 서브 데이터를 포함하며, 각 서브 데이터는 하나의 대응하는 검출 시각을 가지고, 상기 제3 시각은 상기 제2 원본 데이터에 포함된 복수의 서브 데이터의 검출 시각의 기준 시각임 - ; 및
상기 제2 원본 데이터의 각 서브 데이터의 검출 시각에서의 상기 스마트 기기의 포즈 및 상기 제2 원본 데이터의 각 서브 데이터에 따라 상기 제3 센서의 상기 제1 시각에서의 제3 타깃 데이터를 획득하는 단계를 더 포함하고,
상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 단계는,
상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터와 상기 제3 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터 및 상기 제3 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 단계를 포함하는 센서 데이터 처리 방법.
제5항 내지 제8항 중 어느 한 항에 있어서,
상기 제1 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보에 따라 상기 스마트 기기의 시계에서 제3 시각의 상기 제1 시각을 결정하는 단계 이전에, 상기 방법은,
글로벌 포지셔닝 시스템(GPS) 시계와 상기 스마트 기기의 시계 간의 오차에 따라 상기 제1 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보를 결정하는 단계를 더 포함하는 센서 데이터 처리 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 스마트 기기의 제2 센서의 제2 시각에서의 제2 타깃 데이터를 획득하는 단계 이전에, 상기 방법은,
상기 제2 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보에 따라 상기 스마트 기기의 시계에서 상기 제2 센서가 상기 제2 타깃 데이터를 보고할 때 구비하는 제4 시각의 상기 제2 시각을 결정하는 단계를 더 포함하되, 상기 제4 시각은 상기 제2 타깃 데이터의 검출 시각을 식별하기 위한 것이고, 상기 제4 시각은 상기 제2 센서의 시계에서의 시각인 센서 데이터 처리 방법.
제10항에 있어서,
상기 제2 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보에 따라 상기 스마트 기기의 시계에서 상기 제2 센서가 상기 제2 타깃 데이터를 보고할 때 구비하는 제4 시각의 상기 제2 시각을 결정하는 단계 이전에, 상기 방법은,
상기 제2 센서를 사용하여 상기 스마트 기기의 스톱 워치의 복수의 비디오 프레임을 촬영하는 단계; 및
각각의 상기 비디오 프레임을 촬영하는 시각 정보와 각각의 상기 비디오 프레임에 대응하는 스톱 워치가 표시하는 시각 정보를 비교 분석하여 상기 제2 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보를 획득하는 단계를 더 포함하는 센서 데이터 처리 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 제2 센서는 카메라이고, 상기 제1 센서는 레이저 레이더 또는 밀리미터파 레이더인 센서 데이터 처리 방법.
센서 데이터 처리 장치로서,
스마트 기기의 제1 센서의 제1 시각에서의 제1 타깃 데이터를 획득하는 제1 획득 모듈;
스마트 기기의 제2 센서의 제2 시각에서의 제2 타깃 데이터를 획득하는 제2 획득 모듈 - 상기 제1 시각과 상기 제2 시각은 상기 스마트 기기의 시계에서 상이한 시각임 - ;
상기 스마트 기기의 상기 제1 시각에서의 제1 포즈와 상기 제2 시각에서의 제2 포즈를 획득하는 제3 획득 모듈 - 상기 제1 포즈와 상기 제2 포즈는 상이함 - ; 및
상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 보상 모듈을 포함하는 센서 데이터 처리 장치.
제13항에 있어서,
상기 보상 모듈은, 상기 제1 포즈에 따라 상기 제1 센서의 상기 제1 시각에서의 제1 좌표계를 결정하고; 상기 제2 포즈에 따라 상기 제1 센서의 상기 제2 시각에서의 제2 좌표계를 결정하며; 상기 제1 좌표계와 상기 제2 좌표계에 따라 상기 제1 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 센서 데이터 처리 장치.
제14항에 있어서,
상기 제3 획득 모듈은, 상기 스마트 기기에 설치된, 포즈 검출 기능을 갖는 센서에 의해 복수의 시각에 검출된 포즈 검출 데이터를 각각 획득하되, 상기 복수의 시각 중 각 시각은 모두 상기 스마트 기기의 시계에서의 시각이고; 상기 포즈 검출 데이터에 따라 상기 스마트 기기의 포즈 대열을 생성하며; 상기 스마트 기기의 포즈 대열, 상기 제1 시각 및 상기 제2 시각에 따라 상기 제1 포즈 및 상기 제2 포즈를 결정하는 센서 데이터 처리 장치.
제15항에 있어서,
상기 제3 획득 모듈은, 상기 포즈 대열에 상기 제1 시각의 포즈가 포함되지 않는 상황에 응답하여, 상기 제1 시각에 따라 상기 스마트 기기의 포즈 대열을 보상 처리하여 상기 제1 포즈를 획득하는 것; 및 상기 포즈 대열에 상기 제2 시각의 포즈가 포함되지 않는 상황에 응답하여, 상기 제2 시각에 따라 상기 스마트 기기의 포즈 대열을 보상 처리하여 상기 제2 포즈를 획득하는 것; 중 적어도 하나를 실행하는 센서 데이터 처리 장치.
제13항 내지 제16항 중 어느 한 항에 있어서,
상기 장치는,
상기 제1 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보에 따라 상기 스마트 기기의 시계에서 제3 시각의 상기 제1 시각을 결정하는 제1 결정 모듈을 더 포함하되, 상기 제3 시각은 상기 제1 센서가 상기 제1 타깃 데이터에 대응하는 제1 원본 데이터를 검출하는 시각을 식별하기 위한 것이고, 상기 제3 시각은 상기 제1 센서의 시계에서의 시각인 센서 데이터 처리 장치.
제17항에 있어서,
상기 제1 획득 모듈은, 상기 제1 센서가 보고한 상기 제1 원본 데이터를 수신하되, 상기 제1 원본 데이터는 복수의 서브 데이터를 포함하고, 각 서브 데이터는 하나의 대응하는 검출 시각을 가지며, 상기 제3 시각은 상기 제1 원본 데이터에 포함된 복수의 서브 데이터의 검출 시각의 기준 시각이고; 각 서브 데이터의 검출 시각에서의 상기 스마트 기기의 포즈 및 각 서브 데이터에 따라 상기 제1 센서의 상기 제1 시각에서의 상기 제1 타깃 데이터를 획득하는 센서 데이터 처리 장치.
제18항에 있어서,
상기 제1 획득 모듈은, 각 서브 데이터의 검출 시각에서의 상기 스마트 기기의 포즈에 따라 각 서브 데이터의 검출 시각에서의 상기 제1 센서의 좌표계를 결정하고; 상기 제3 시각을 제외한 각 서브 데이터의 검출 시각에서의 상기 제1 센서의 좌표계 및 상기 제3 시각에서의 상기 제1 센서의 좌표계에 따라 상기 제3 시각을 제외한 각 서브 데이터의 상기 제3 시각에 대응하는 서브 데이터를 각각 결정하며; 상기 제3 시각을 제외한 각 서브 데이터의 상기 제3 시각에 대응하는 서브 데이터를 통합 처리하여 상기 제1 센서의 상기 제1 시각에서의 상기 제1 타깃 데이터를 획득하는 센서 데이터 처리 장치.
제17항 내지 제19항 중 어느 한 항에 있어서,
상기 장치는,
제3 센서가 보고한 제2 원본 데이터를 수신하는 수신 모듈 - 상기 제3 센서의 유형은 상기 제1 센서의 유형과 동일하고, 상기 제2 원본 데이터는 복수의 서브 데이터를 포함하며, 각 서브 데이터는 하나의 대응하는 검출 시각을 가지며, 상기 제3 시각은 상기 제2 원본 데이터에 포함된 복수의 서브 데이터의 검출 시각의 기준 시각임 - ;
상기 제2 원본 데이터의 각 서브 데이터의 검출 시각에서의 상기 스마트 기기의 포즈 및 상기 제2 원본 데이터의 각 서브 데이터에 따라 상기 제3 센서의 상기 제1 시각에서의 제3 타깃 데이터를 획득하는 제4 획득 모듈; 및
상기 제1 포즈와 상기 제2 포즈에 따라 상기 제1 타깃 데이터와 상기 제3 타깃 데이터를 보상 처리하여 상기 제1 센서의 상기 제2 시각에서의 보상 데이터 및 상기 제3 센서의 상기 제2 시각에서의 보상 데이터를 획득하는 상기 보상 모듈을 더 포함하는 센서 데이터 처리 장치.
제17항 내지 제20항 중 어느 한 항에 있어서,
상기 장치는,
상기 제1 결정 모듈이 상기 제1 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보에 따라 상기 스마트 기기의 시계에서 제3 시각의 상기 제1 시각을 결정하기 이전에, 글로벌 포지셔닝 시스템(GPS)의 시계와 상기 스마트 기기의 시계 간의 오차에 따라 상기 제1 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보를 획득하는 제5 획득 모듈을 더 포함하는 센서 데이터 처리 장치.
제13항 내지 제21항 중 어느 한 항에 있어서,
상기 장치는,
상기 제2 획득 모듈이 스마트 기기의 제2 센서의 제2 시각에서의 제2 타깃 데이터를 획득하기 이전에, 상기 제2 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보에 따라 상기 스마트 기기의 시계에서 상기 제2 센서가 상기 제2 타깃 데이터를 보고할 때 구비하는 제4 시각의 상기 제2 시각을 결정하는 제2 결정 모듈을 더 포함하되, 상기 제4 시각은 상기 제2 타깃 데이터의 검출 시각을 식별하기 위한 것이고, 상기 제4 시각은 상기 제2 센서의 시계에서의 시각인 센서 데이터 처리 장치.
제22항에 있어서,
상기 장치는,
상기 제2 센서를 사용하여 상기 스마트 기기의 스톱 워치의 복수의 비디오 프레임을 촬영하는 촬영 모듈; 및
각각의 상기 비디오 프레임을 촬영하는 시각 정보와 각각의 상기 비디오 프레임에 대응하는 스톱 워치가 표시하는 시각 정보를 비교 분석하여 상기 제2 센서의 시계와 상기 스마트 기기의 시계 간의 차이 정보를 획득하는 분석 모듈을 더 포함하는 센서 데이터 처리 장치.
제13항 내지 제23항 중 어느 한 항에 있어서,
상기 제2 센서는 카메라이고, 상기 제1 센서는 레이저 레이더 또는 밀리미터파 레이더인 센서 데이터 처리 장치.
스마트 주행 제어 방법으로서,
스마트 기기에 설치된 제1 센서 및 제2 센서의 검출 데이터를 각각 획득하는 단계 - 상기 검출 데이터는 제1항 내지 제12항 중 어느 한 항에 따른 센서 데이터 처리 방법을 적용하여 획득됨 - ; 및
상기 검출 데이터에 따라 스마트 기기에 대해 스마트 주행 제어를 수행하는 단계를 포함하는 스마트 주행 제어 방법.
스마트 주행 제어 장치로서,
스마트 기기에 설치된 제1 센서 및 제2 센서의 검출 데이터를 각각 획득하는 획득 모듈 - 상기 검출 데이터는 제1항 내지 제12항 중 어느 한 항에 따른 센서 데이터 처리 방법을 적용하여 획득됨 - ; 및
상기 검출 데이터에 따라 스마트 기기에 대해 스마트 주행 제어를 수행하는 스마트 주행 제어 모듈을 포함하는 스마트 주행 제어 장치.
전자 기기로서,
컴퓨터 명령을 저장하는 메모리; 및
상기 메모리에서 컴퓨터 명령을 호출 및 실행하여 제1항 내지 제12항 중 어느 한 항에 따른 방법의 단계를 수행하는 프로세서를 포함하는 전자 기기.
스마트 주행 시스템으로서,
통신 연결되는 센서, 제27항에 따른 전자 기기 및 제26항에 따른 스마트 주행 제어 장치를 포함하는 스마트 주행 시스템.
판독 가능 저장 매체로서,
상기 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 제1항 내지 제12항 중 어느 한 항에 따른 방법의 단계를 수행하거나; 상기 컴퓨터 프로그램은 제25항에 따른 방법의 단계를 수행하기 위한 것인 판독 가능 저장 매체.