KR20240024809A - 신호 처리 장치, 신호 처리 방법, 기록 매체 및 신호 처리 시스템 - Google Patents

Abstract

본 기술은, 제스처를 사용한 조작을 적절하게 인식할 수 있도록 하는 신호 처리 장치, 신호 처리 방법, 기록 매체 및 신호 처리 시스템에 관한 것이다. 본 기술의 신호 처리 장치는, 장래 발생할 것으로 예측되는 진동을 나타내는 제1 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법을 설정하는 설정부와, 설정부에 의해 설정된 인식 방법에 따라, 유저가 행한 제스처가 나타내는 조작을 인식하는 조작 인식부를 구비한다. 조작 인식부는, 신호 처리 장치가 탑재된 차량 내의 유저가 행한 제스처가 나타내는 조작을 인식한다. 본 기술은, 예를 들어 차량 내에 마련된 표시 디바이스를 제어하는 신호 처리 장치에 적용할 수 있다.

Description

신호 처리 장치, 신호 처리 방법, 기록 매체 및 신호 처리 시스템

본 기술은, 신호 처리 장치, 신호 처리 방법, 기록 매체 및 신호 처리 시스템에 관한 것으로, 특히, 제스처를 사용한 조작을 적절하게 인식할 수 있도록 한 신호 처리 장치, 신호 처리 방법, 기록 매체 및 신호 처리 시스템에 관한 것이다.

차량의 자동 운전이 실현된 경우, 탑승인은 운전할 필요가 없기 때문에, 차량 안에서 자유롭게 시간을 보낼 수 있다. 자유로운 시간 중에서, 예를 들어 표시 디바이스를 이용하여 영상 콘텐츠를 장시간 시청하는 것을 생각할 수 있다. 표시 디바이스로부터 어느 정도 떨어진 위치에서 영상 콘텐츠를 시청하는 경우, 물리적인 버튼에 접촉하지 않고, 제스처를 사용하여 표시 디바이스를 조작하는 것이 상정된다.

예를 들어, UI(User Interface)의 표시에 손끝을 향함으로써 디지털 기기를 조작하는 경우, 차량의 진동에 의해 UI 표시나 손끝이 흔들려 버려, 적절하게 조작할 수 없는 경우가 있다.

이에 비해, 특허문헌 1에는, 가속도 센서에 의해 차량의 진동을 검출하고, 검출한 진동에 기초하여 터치 조작의 반응 영역의 크기를 변경하는 기술이 기재되어 있다.

일본 특허 공개 제2016-126556호 공보

특허문헌 1에 기재된 기술에 있어서는, 검출된 진동 상황이 UI에 피드백된다. 그러나, 차량 내에서 행해지는 조작에 특허문헌 1의 기술을 적용한 경우, 진동이 발생한 후에 진동 상황이 UI에 피드백되기 때문에, 진동 상황이 UI에 반영될 때까지 지연이 발생하여, 반드시 효과적인 개선으로 연결되지는 않는다.

본 기술은 이러한 상황을 감안하여 이루어진 것이고, 제스처를 사용한 조작을 적절하게 인식할 수 있도록 하는 것이다.

본 기술의 제1 측면의 신호 처리 장치는, 장래 발생할 것으로 예측되는 진동을 나타내는 제1 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법을 설정하는 설정부와, 상기 설정부에 의해 설정된 상기 인식 방법에 따라, 유저가 행한 상기 제스처가 나타내는 상기 조작을 인식하는 조작 인식부를 구비한다.

본 기술의 제2 측면의 신호 처리 시스템은, 장래 발생할 것으로 예측되는 진동을 나타내는 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법을 설정하는 설정부와, 상기 설정부에 의해 설정된 상기 인식 방법에 따라, 유저가 행한 상기 제스처가 나타내는 상기 조작을 인식하는 조작 인식부를 구비하는 신호 처리 장치와, 상기 제스처를 사용한 상기 조작의 대상이 되는 화상을 표시하는 표시부를 구비하는 표시 장치를 갖는다.

본 기술의 제1 측면에 있어서는, 장래 발생할 것으로 예측되는 진동을 나타내는 제1 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법이 설정되고, 설정된 상기 인식 방법에 따라, 유저가 행한 상기 제스처가 나타내는 상기 조작이 인식된다.

본 기술의 제2 측면에 있어서는, 장래 발생할 것으로 예측되는 진동을 나타내는 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법이 설정되고, 설정된 상기 인식 방법에 따라, 유저가 행한 상기 제스처가 나타내는 상기 조작이 인식되고, 상기 제스처를 사용한 상기 조작의 대상이 되는 화상이 표시된다.

도 1은 본 기술의 일 실시 형태에 관한 진동 데이터 관리 시스템의 구성예를 나타내는 도면이다.
도 2는 진동 데이터 관리 시스템에 있어서의 데이터의 흐름을 나타내는 도면이다.
도 3은 선행 차량의 탑승인에 의한 제스처를 사용한 조작의 모습을 나타내는 도면이다.
도 4는 대상 차량과 후속 차량의 탑승인에 의한 제스처를 사용한 조작의 모습을 나타내는 도면이다.
도 5는 서버의 구성예를 나타내는 블록도이다.
도 6은 선행 차량의 구성예를 나타내는 블록도이다.
도 7은 대상 차량의 구성예를 나타내는 블록도이다.
도 8은 진동 패턴 해석부의 상세한 구성예를 나타내는 블록도이다.
도 9는 진동 패턴의 분류와 UI 보정 데이터의 예를 나타내는 도면이다.
도 10은 조작의 인식 방법을 보정하는 예를 나타내는 도면이다.
도 11은 조작의 인식 방법을 보정하는 다른 예를 나타내는 도면이다.
도 12는 UI 표시 제어부의 상세한 구성예를 나타내는 블록도이다.
도 13은 선행 차량과 서버가 행하는 처리에 대하여 설명하는 흐름도이다.
도 14는 대상 차량과 서버가 행하는 처리에 대하여 설명하는 흐름도이다.
도 15는 UI 보정 데이터 생성 처리에 대하여 설명하는 흐름도이다.
도 16은 조작 결정 처리에 대하여 설명하는 흐름도이다.
도 17은 UI 표시 제어부의 다른 구성예를 나타내는 블록도이다.
도 18은 진동 패턴 해석부의 다른 구성예를 나타내는 블록도이다.
도 19는 대상 차량과 서버가 행하는 처리에 대하여 설명하는 흐름도이다.
도 20은 성공률 산출 처리에 대하여 설명하는 흐름도이다.
도 21은 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.

이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 설명은 이하의 순서로 행한다.

1. 진동 데이터 관리 시스템

2. 각 기기의 구성

3. 각 기기의 동작

4. 변형예

<<1. 진동 데이터 관리 시스템>>

도 1은, 본 기술의 일 실시 형태에 관한 진동 데이터 관리 시스템의 구성예를 나타내는 도면이다.

도 1에 나타내는 진동 데이터 관리 시스템은, 차량(2A 내지 2C)이 서버(1)에 인터넷 등의 네트워크를 통해 접속됨으로써 구성된다.

서버(1)는, 차량(2A 내지 2C)에 있어서 검출된 진동을 나타내는 진동 데이터를 관리한다.

차량(2A 내지 2C)에는, 신호 처리 장치, 표시 디바이스, 가속도 센서 등이 탑재된다. 신호 처리 장치는, 영상 콘텐츠 등을 재생하여, 표시 디바이스에 표시시킨다. 표시 디바이스는, 신호 처리 장치에 의한 제어에 따라, 영상 콘텐츠의 표시를 행하거나, 신호 처리 장치 등을 조작하기 위한 UI의 표시를 행하거나 한다. 가속도 센서는, 차량(2A 내지 2C)의 각각의 진동을 검출한다.

차량(2A 내지 2C)의 탑승인(유저)은, 제스처를 사용하여 표시 디바이스나 신호 처리 장치를 조작할 수 있다. 또한, 이하, 차량(2A 내지 2C)을 구별할 필요가 없는 경우, 단순히 차량(2)이라고 칭한다.

도 1에 있어서는, 3대의 차량(2A 내지 2C)이 서버(1)와 접속되어 있지만, 실제로는, 임의의 대수의 차량(2)이 서버(1)에 접속되고, 각각의 차량(2)에 있어서 검출된 진동을 나타내는 진동 데이터가 서버(1)에 의해 관리된다.

도 2는, 진동 데이터 관리 시스템에 있어서의 데이터의 흐름을 나타내는 도면이다.

도 2의 예에 있어서는, 차량(2A), 차량(2B), 차량(2C)의 순으로 동일한 위치를 통과하도록 차량(2A 내지 2C)이 주행한다. 이하에는, 차량(2A)을 선행 차량(2A), 차량(2B)을 대상 차량(2B), 차량(2C)을 후속 차량(2C)이라고도 칭한다. 이하에는, 특별히 설명이 없는 한, 선행 차량(2A), 대상 차량(2B) 및 후속 차량(2C)의 차종이 동일한 차종인 경우에 대하여 설명한다.

도 3은, 선행 차량(2A)의 탑승인에 의한 제스처를 사용한 조작의 모습을 나타내는 도면이다.

도 3의 예에 있어서는, 선행 차량(2A)에 마련된 표시 디바이스(11A)에 의해 영상 콘텐츠의 표시가 행해지고 있다. 선행 차량(2A)의 탑승인 U1은, 선행 차량(2A) 내에서, 예를 들어 표시 디바이스(11A) 상의 소정의 위치에 손끝을 향함으로써, 신호 처리 장치를 제어할 수 있다.

선행 차량(2A)에 있어서는, 주행 중, 도로의 요철 등에 의해 진동이 발생한다. 선행 차량(2A)의 진동에 의해, 도 3에 나타낸 바와 같이, 표시 디바이스(11A)나 탑승인 U1의 손끝이 흔들린다. 표시 디바이스(11A)나 손끝의 흔들림에 의해, 탑승인이 영상 콘텐츠의 소정의 범위에 손끝을 향하려고 해도, 예를 들어 3개의 파선의 타원으로 나타낸 바와 같이, 손끝이 향해지는 범위가 움직인다. 따라서, 손끝이 향해졌다고 인식되는 범위가 안정되지 않아, 탑승인 U1의 의도와 다른 동작이 신호 처리 장치에 의해 행해지는 경우가 있다.

이에 대하여, 선행 차량(2A)은, 주행 중에 진동을 검출한 경우, 도 2의 화살표 A1에 나타낸 바와 같이, 검출한 진동을 나타내는 진동 데이터를, 선행 차량(2A)의 차종을 나타내는 차량 정보와, 선행 차량(2A)이 주행하고 있는 위치를 나타내는 위치 정보와 함께 서버(1)로 전송한다.

서버(1)는, 선행 차량(2A)으로부터 전송되어 온 진동 데이터를, 위치 정보에 의해 나타나는 지도 데이터의 위치에 관련지어 저장한다. 지도 데이터는, 서버(1)가 복수의 위치의 진동 데이터 등을 통합하여 관리하기 위한 데이터이다. 즉, 진동 데이터는, 선행 차량(2A)이 주행하고 있는 위치에 있어서의 주행 데이터로서 저장된다.

대상 차량(2B)은, 화살표 A2에 나타낸 바와 같이, 장래의 주행 위치를 나타내는 예측 위치에 관련지어진 진동 데이터를 서버(1)로부터 취득한다. 예를 들어, 대상 차량(2B)의 차종에 상당하는 차종의 차량(2)에 의해 취득된 진동 데이터가, 서버(1)로부터 취득된다. 대상 차량(2B)의 차종에 상당하는 차종은, 예를 들어 대상 차량(2B)의 차종과 동일한 차종, 또는 대상 차량(2B)의 차종에 가까운 차종이다. 여기서는, 선행 차량(2A)에 의해 취득된 진동 데이터가 서버(1)로부터 취득된다.

대상 차량(2B)은, 서버(1)로부터 취득한 진동 데이터에 기초하여, 예측 위치에 있어서 발생할 것으로 예측되는 진동의 패턴과 크기를 해석하여, 제스처를 사용한 조작의 인식 방법을 진동의 해석 결과에 따라 변경한다. 대상 차량(2B)은, 화살표 A3에 나타낸 바와 같이, 예측 위치에 있어서 실제로 검출한 진동을 나타내는 진동 데이터와 함께, 조작의 인식 방법을 변경하기 위해 사용되는 UI 보정 데이터를 서버(1)로 전송한다. 이 진동 데이터 및 UI 보정 데이터와 함께, 대상 차량(2B)의 차종을 나타내는 차량 정보 및 대상 차량(2B)이 주행하고 있는 위치를 나타내는 위치 정보가 서버(1)로 전송된다.

서버(1)는, 대상 차량(2B)으로부터 전송되어 온 진동 데이터 및 UI 보정 데이터를, 위치 정보에 의해 나타나는 지도 데이터의 위치에 관련지어 저장한다. 이로써, 하나의 위치에 대하여, 선행 차량(2A)에 의해 취득된 진동 데이터와, 대상 차량(2B)에 의해 취득된 진동 데이터 및 UI 보정 데이터가 관련지어진다.

후속 차량(2C)은, 화살표 A4에 나타낸 바와 같이, 예측 위치에 관련지어진 진동 데이터와 UI 보정 데이터를 서버(1)로부터 취득한다. 여기서는, 선행 차량(2A)에 의해 취득된 진동 데이터와 대상 차량(2B)에 의해 취득된 진동 데이터가 서버(1)로부터 취득된다. 또한, 대상 차량(2B)에 있어서 사용된 UI 보정 데이터가 서버(1)로부터 취득된다.

후속 차량(2C)은, 서버(1)로부터 취득한 진동 데이터에 기초하여, 예측 위치에 있어서 발생하는 진동의 패턴과 크기를 해석하여, 제스처를 사용한 조작의 인식 방법을, 진동의 해석 결과에 따라 변경한다. 또한, 후속 차량(2C)은, 서버(1)로부터 취득한 UI 보정 데이터에 기초하여, 조작의 인식 방법을 필요에 따라 수정한다.

도 4는, 대상 차량(2B)과 후속 차량(2C)의 탑승인에 의한 제스처를 사용한 조작의 모습을 나타내는 도면이다.

도 4의 A의 예에 있어서는, 대상 차량(2B)에 마련된 표시 디바이스(11B)에 의해 영상 콘텐츠의 표시가 행해지고 있다. 대상 차량(2B)의 탑승인 U2는, 선행 차량(2A)의 탑승인 U1과 마찬가지로, 대상 차량(2B) 내에서, 표시 디바이스(11B) 상의 소정의 위치에 손끝을 향함으로써, 신호 처리 장치를 제어할 수 있다.

도 4의 A에 나타낸 바와 같이, 대상 차량(2B)의 진동에 의해 표시 디바이스(11B)나 탑승인 U2의 손끝이 흔들리거나 해도, 예를 들어 조작으로서 인식되는 범위를 확대함으로써, 신호 처리 장치는, 2개의 파선의 타원으로 나타내는 범위 중 어느 범위를 손끝이 향하게 된 범위로서 인식한다. 이로써, 대상 차량(2B)은, 손끝을 표시 디바이스(11B)를 향하는 조작을 선행 차량(2A)보다도 안정적으로 인식할 수 있어, 예를 들어 진동이 돌발적으로 발생했을 때 탑승인 U2가 의도하는 조작과 다른 조작을 인식하는 것을 방지하는 것이 가능해진다.

도 4의 B의 예에 있어서는, 후속 차량(2C)에 마련된 표시 디바이스(11C)에 의해 영상 콘텐츠의 표시가 행해지고 있다. 후속 차량(2C)의 탑승인 U3은, 선행 차량(2A)의 탑승인 U1이나 대상 차량(2B)의 탑승인 U2와 마찬가지로, 후속 차량(2C) 내에서, 표시 디바이스(11C) 상의 소정의 위치에 손끝을 향함으로써, 신호 처리 장치를 제어할 수 있다.

도 4의 B에 나타낸 바와 같이, 후속 차량(2C)의 진동에 의해 표시 디바이스(11C)나 탑승인 U3의 손끝이 흔들리거나 해도, 예를 들어 진동에 의한 영향을 가미하여, 제스처를 사용한 조작의 인식 방법을 변경함으로써, 신호 처리 장치는, 1개의 파선의 타원으로 나타내는 범위를 손끝이 향하게 된 범위로서 인식한다. 후속 차량(2C)은, 진동 데이터에 더하여 UI 보정 데이터를 이용함으로써, 손끝을 표시 디바이스(11C)를 향하게 하는 조작을 선행 차량(2A)이나 대상 차량(2B)보다도 안정적으로 인식할 수 있다. 이로써, 후속 차량(2C)은, 진동이 발생했을 때 탑승인 U3의 의도하는 조작과 다른 조작을 인식하는 것을 더 확실하게 방지하는 것이 가능해진다.

이상과 같이, 대상 차량(2B)이나 후속 차량(2C)은, 진동량이 동적으로 변화되는 주행 중에, 안정된 조작 환경을 제공하는 것이 가능해진다. 진동의 패턴이나 크기에 따라, 조작의 인식 방법을 동적으로 변경함으로써, 탑승인은, 예를 들어 주행하고 있는 환경에 맞추어 조작의 인식 방법의 설정 변경을 매뉴얼로 행하지 않아도, 표시 콘텐츠를 쾌적하게 이용하는 것이 가능해진다.

<<2. 각 기기의 구성>>

<서버의 구성>

도 5는, 서버(1)의 구성예를 나타내는 블록도이다.

도 5에 나타낸 바와 같이, 서버(1)는, 데이터 수신부(21), 진동 데이터 관리부(22) 및 데이터 송신부(23)로 구성된다.

데이터 수신부(21)는, 차량(2)으로부터 전송되어 오는 진동 데이터, 차량 정보, 위치 정보 및 UI 보정 데이터를 수신하여, 진동 데이터 관리부(22)에 공급한다.

진동 데이터 관리부(22)는, 데이터 수신부(21)로부터 공급된 진동 데이터와 UI 보정 데이터를, 위치 정보에 의해 나타나는 지도 데이터의 위치에 관련지어 저장한다. 진동 데이터 관리부(22)는, 진동 데이터에 차량 정보를 라벨링한다.

데이터 송신부(23)는, 차량(2)에 의한 요구에 따라, 차량(2)의 예측 위치에 관련지어진 진동 데이터와 UI 보정 데이터를 진동 데이터 관리부(22)로부터 취득하여, 차량(2)으로 송신한다.

<선행 차량의 구성>

도 6은, 선행 차량(2A)의 구성예를 나타내는 블록도이다.

도 6에 나타낸 바와 같이, 선행 차량(2A)은, 진동 데이터 취득부(31), 가속도 센서(32), GNSS(Global Navigation Satellite System) 수신기(33) 및 데이터 송신부(34)에 의해 구성된다. 선행 차량(2A)의 구성 중 일부의 구성은, 선행 차량(2A)에 마련된 신호 처리 장치에 의해 소정의 프로그램이 실행됨으로써 실현된다.

진동 데이터 취득부(31)는, 가속도 센서(32)로부터 진동 데이터를 취득하고, GNSS 수신기(33)로부터 위치 정보를 취득한다. 진동 데이터 취득부(31)는, 진동 데이터에 위치 정보와 차량 정보를 관련지어 데이터 송신부(34)에 공급한다.

가속도 센서(32)는, 선행 차량(2A)에 발생한 진동을 검출하고, 진동의 검출 결과를 나타내는 진동 데이터를 취득하여, 진동 데이터 취득부(31)에 공급한다.

GNSS 수신기(33)는, GNSS 위성으로부터 수신한 신호에 기초하여, 선행 차량(2A)의 주행 위치를 검출하고, 주행 위치의 검출 결과를 나타내는 위치 정보를 취득하여, 진동 데이터 취득부(31)에 공급한다.

데이터 송신부(34)는, 진동 데이터 취득부(31)로부터 공급된 진동 데이터를, 위치 정보 및 차량 정보와 함께, 서버(1)로 전송한다.

또한, 도 6에 있어서는, 진동 데이터를 취득하여, 서버(1)로 전송하기 위한 구성만을 선행 차량(2A)의 구성으로서 설명했지만, 선행 차량(2A)에도 UI의 표시를 행하기 위한 구성을 마련하는 것이 가능하다. 이 경우, 후술하는 대상 차량(2B)의 구성과 마찬가지의 구성이, 선행 차량(2A)에 마련된다.

<대상 차량의 구성>

· 전체의 구성

도 7은, 대상 차량(2B)의 구성예를 나타내는 블록도이다.

도 7에 나타낸 바와 같이, 대상 차량(2B)은, 데이터 수신부(41), 진동 패턴 해석부(42), 가속도 센서(43), GNSS 수신기(44), UI 표시 제어부(45), 카메라(46), 데이터 송신부(47) 및 표시 디바이스(11B)로 구성된다. 대상 차량(2B)의 구성 중 일부의 구성은, 대상 차량(2B)에 마련된 신호 처리 장치에 의해 소정의 프로그램이 실행됨으로써 실현된다.

데이터 수신부(41)는, 대상 차량(2B)의 예측 위치에 관련지어진 진동 데이터를 서버(1)로부터 취득한다. 구체적으로는, 데이터 수신부(41)는, 대상 차량(2B)의 차종에 상당하는 차종을 나타내는 차량 정보가 라벨링된 진동 데이터를 서버(1)에 대하여 요구하고, 서버(1)로부터 취득한다. 서버(1)로부터 취득된 진동 데이터는, 진동 패턴 해석부(42)에 공급된다.

진동 패턴 해석부(42)는, 데이터 수신부(41)로부터 공급된 진동 데이터에 기초하여, 예측 위치에 있어서 발생하는 진동의 패턴과 크기를 해석한다. 진동 패턴 해석부(42)는, 해석 결과에 기초하여 UI 보정 데이터를 생성하여, UI 표시 제어부(45)에 공급한다.

또한, 진동 패턴 해석부(42)는, GNSS 수신기(44)로부터 위치 정보를 취득하여, 위치 정보에 기초하여, 대상 차량(2B)의 장래의 주행 위치를 예측 위치로서 결정하고, 예측 위치에 관련지어진 진동 데이터를 서버(1)로부터 취득하도록 데이터 수신부(41)를 제어한다.

또한, 진동 패턴 해석부(42)는, 가속도 센서(43)로부터 진동 데이터를 취득하여, 진동 데이터, UI 보정 데이터, 위치 정보 및 차량 정보를 관련지어 데이터 송신부(47)에 공급한다.

가속도 센서(43)는, 대상 차량(2B)에 발생한 진동을 검출하고, 진동의 검출 결과를 나타내는 진동 데이터를 취득하여, 진동 패턴 해석부(42)에 공급한다.

GNSS 수신기(44)는, GNSS 위성으로부터 수신한 신호에 기초하여, 대상 차량(2B)의 주행 위치를 검출하고, 주행 위치의 검출 결과를 나타내는 위치 정보를 취득하여, 진동 패턴 해석부(42)에 공급한다.

UI 표시 제어부(45)는, 카메라(46)로부터 화상 데이터를 취득하여, 화상 데이터에 기초하여, 탑승인에 의한 제스처를 사용한 조작을 인식한다. 이때, UI 표시 제어부(45)는, 조작의 인식 방법을, 진동 패턴 해석부(42)로부터 공급된 UI 보정 데이터에 기초하여 보정한다. 바꿔 말하면, UI 표시 제어부(45)는, 진동 패턴 해석부(42)에 의해 설정된 조작의 인식 방법에 따라, 탑승인에 의한 제스처를 사용한 조작을 인식한다.

UI 표시 제어부(45)는, 탑승인에 의한 제스처를 사용한 조작에 따른 동작을 실행한다. 예를 들어, UI 표시 제어부(45)는, 차내 공간에 있어서 필요한 정보나 영상 콘텐츠의 표시를 표시 디바이스(11B)에 행하게 한다.

카메라(46)는, 대상 차량(2B) 내에 마련된다. 카메라(46)는, 대상 차량(2B)의 차내 공간을 촬영하고, 탑승인을 촬영한 동화상을 나타내는 화상 데이터를 취득하여, UI 표시 제어부(45)에 공급한다.

데이터 송신부(47)는, 진동 패턴 해석부(42)로부터 공급된 진동 데이터, UI 보정 데이터, 위치 정보 및 차량 정보를 서버(1)로 전송한다.

· 진동 패턴 해석부의 구성

도 8은, 진동 패턴 해석부(42)의 상세한 구성예를 나타내는 블록도이다.

도 8에 나타낸 바와 같이, 진동 패턴 해석부(42)는, 진동 진폭 검출부(61), 진동 주파수 검출부(62), 진동 발생 빈도 검출부(63), 진동 패턴 분류부(64), 조작 방법 설정부(65), 인식 범위 설정부(66) 및 인식 판정 시간 설정부(67)를 구비한다.

진동 진폭 검출부(61), 진동 주파수 검출부(62) 및 진동 발생 빈도 검출부(63)에는, 동일한 진동 데이터가 각각 데이터 수신부(41)로부터 공급된다.

진동 진폭 검출부(61)는, 진동 데이터에 의해 나타나는 진동의 진폭을 검출한다. 예를 들어, 진폭으로서, 발생 주파수마다 발생하는 진폭의 평균값이 검출된다. 진폭을 나타내는 정보는, 진동 패턴 분류부(64)에 공급된다.

진동 주파수 검출부(62)는, 진동 데이터에 의해 나타나는 진동의 주파수를 검출한다. 예를 들어, 주파수로서, 진동의 발생 주파수가 검출된다. 주파수를 나타내는 정보는, 진동 패턴 분류부(64)에 공급된다.

진동 발생 빈도 검출부(63)는, 진동 데이터에 의해 나타나는 진동의 연속성을 검출한다. 예를 들어, 연속성으로서, 단위 시간(예를 들어, 1sec) 내에 있어서 발생 주파수마다 진동이 발생하는 비율이 검출된다. 또한, 진동 발생 빈도 검출부(63)는, 진동 데이터에 의해 나타나는 진동의 랜덤성을 검출한다. 예를 들어, 랜덤성으로서, 단위 시간 내의 평균 진폭 이상의 진폭을 갖는 펄스수 및 진폭의 분산값의 적어도 어느 것이 검출된다. 연속성과 랜덤성을 나타내는 정보는, 진동 패턴 분류부(64)에 공급된다.

이상과 같이, 진동 진폭 검출부(61), 진동 주파수 검출부(62) 및 진동 발생 빈도 검출부(63)는, 진동 데이터에 기초하여, 진동의 거동을 나타내는 4개의 특성을 수치화하여, 이하와 같은 형식의 진동 특성 데이터를 생성한다.

진동 특성 데이터=(랜덤성, 주파수, 진폭, 연속성)

진동 패턴 분류부(64)는, 진동 진폭 검출부(61), 진동 주파수 검출부(62) 및 진동 발생 빈도 검출부(63)에 의해 생성된 진동 특성 데이터에 기초하여, 예측 위치에 있어서 발생하는 진동의 패턴을 분류한다. 예측 위치에 있어서 발생하는 진동은, 도 9의 1단째에 나타내는 랜덤성, 주파수, 크기(진폭) 및 연속성에 따른 패턴으로 분류된다.

구체적으로는, 돌발적으로 발생하여, 랜덤성을 갖는 패턴, 정상적으로 발생하는 패턴 등의 어느 패턴에, 예측 위치에 있어서 발생하는 진동이 분류된다. 예측 위치에 있어서 발생하는 진동의 패턴을 나타내는 진동 분류 정보는, 조작 방법 설정부(65), 인식 범위 설정부(66) 및 인식 판정 시간 설정부(67)에 공급된다.

조작 방법 설정부(65)는, 진동 패턴 분류부(64)로부터 공급된 진동 분류 정보에 따라, 탑승인이 사용 가능한 조작 방법, 구체적으로는, 탑승인이 사용 가능한 제스처의 종류를 설정한다. 예를 들어, 조작 방법 설정부(65)는, 제스처에 사용 가능한 탑승인의 부위를 선택하고, 선택한 부위를 사용한 제스처를 인식 대상으로 설정한다. 도 9의 2단째에 나타낸 바와 같이, 예를 들어 팔, 손, 손가락, 신체, 머리, 얼굴 및 시선 중 적어도 어느 부위를 사용한 제스처가 인식 대상으로 설정된다.

조작 방법 설정부(65)는, 각 부위를 사용한 제스처가 각각 인식 대상인지 여부를 나타내는 조작 방법 파라미터를 UI 표시 제어부(45)에 공급한다. 조작 방법 파라미터는, 예를 들어 이하와 같은 형식으로 정의된다. 1의 값은 인식 대상인 것을 나타내고, 0의 값은 인식 대상이 아닌 것을 나타낸다. 이하의 예에서는, 팔, 손 및 손가락을 사용한 제스처가 인식 대상으로 설정되고, 신체, 머리, 얼굴 및 시선을 사용한 제스처는 인식 대상으로 설정되어 있지 않다.

(팔, 손, 손가락, 신체, 머리, 얼굴, 시선)=(1, 1, 1, 0, 0, 0, 0)

인식 범위 설정부(66)는, 진동 패턴 분류부(64)로부터 공급된 진동 분류 정보에 따라, 인식 범위를 설정한다. 인식 범위는, UI의 표시 범위에 대하여, 탑승인의 제스처를 조작으로서 인식하는 범위이다.

도 9의 4단째에는, 인식 범위의 설정 방법의 예가 나타나 있다. 굵은 선의 직사각형은 표시 디바이스(11B)를 나타내고, 파선의 직사각형은 인식 범위를 나타낸다. 또한, 회색으로 칠해진 직사각형은 표시 디바이스(11B) 상에 표시되는 UI의 표시 범위를 나타낸다. 버튼이나 아이콘 등의 조작의 대상이 되는 화상이 UI로서 표시된다. 예를 들어, 탑승인의 손끝이 인식 범위 내를 가리키고 있는 것이 인식된 경우, UI를 선택하는 조작이 행해졌다고 판정된다.

인식 범위는, 예를 들어 UI의 표시 범위에 대하여, 작은 범위, 표준의 범위 및 큰 범위 중 어느 하나로 설정된다. 예를 들어, 인식 범위가 작은 범위로 설정되어 있는 경우, 인식 범위는 표준의 범위보다 작은 범위로 설정되고, 표시 범위와 거의 동일한 범위로 설정된다. 인식 범위가 큰 범위로 설정되어 있는 경우, 인식 범위는 표준의 범위보다 큰 범위로 설정되고, 표시 범위를 크게 확대한 범위로 설정된다.

또한, 도 9의 3단째에 나타낸 바와 같이, UI의 표시 범위를 변경함으로써, 실질적으로 인식 범위를 변경하는 것도 가능하다. UI의 표시 범위는, 작은 범위, 표준의 범위 및 큰 범위 중 어느 것으로 설정된다. UI의 표시 범위가 작은 범위로 설정되어 있는 경우, UI의 표시 범위는 표준의 범위보다 작은 범위로 설정된다. UI의 표시 범위가 큰 범위로 설정되어 있는 경우, UI의 표시 범위는 표준의 범위보다 큰 범위로 설정된다. UI의 표시 범위의 변경도, 예를 들어 인식 범위 설정부(66)에 의해 행해진다.

또한, 인식 범위를 변경하는 경우, 인식 범위 및 표시 범위의 양쪽을 변경하도록 해도 되고, 어느 한쪽만을 변경하도록 해도 된다.

인식 범위 설정부(66)는, 인식 범위를 나타내는 인식 범위 파라미터를 UI 표시 제어부(45)에 공급한다. 인식 범위 파라미터는, 예를 들어 이하와 같은 형식으로 정의된다. (x, y)는, UI로서 표시되는 화상의 표시 좌표를 나타낸다. k는, UI의 화상의 표시 범위를 나타낸다. 예를 들어, 표시 범위가 작은 범위인 경우, k는 0으로 설정되고, 표시 범위가 표준의 범위인 경우, k는 1로 설정되고, 표시 범위가 큰 범위인 경우, k는 2로 설정된다. f는 인식 범위를 나타낸다. 예를 들어, 인식 범위가 작은 범위인 경우, f는 0으로 설정되고, 인식 범위가 표준의 범위인 경우, f는 1로 설정되고, 인식 범위가 큰 범위인 경우, f는 2로 설정된다.

(x, y, k, f)=(0, 0, 1, 1)

또한, 표시 범위의 설정이 동일해도, 표시 디바이스(11B)의 해상도에 따라 표시되는 UI의 화상의 사이즈는 변화된다.

인식 판정 시간 설정부(67)는, 진동 패턴 분류부(64)로부터 공급된 진동 분류 정보에 따라, 인식 판정 시간 및 인식 무효 기간의 적용의 유무를 설정한다. 인식 판정 시간은, 제스처를 조작으로서 인식할 때까지의 제스처의 계속 시간이다. 예를 들어, 손끝을 인식 범위 내에 인식 판정 시간분만큼 향하는 제스처가 인식된 경우, UI를 선택하는 조작이 행해졌다고 인식된다. 도 9의 5단째에 나타낸 바와 같이, 예를 들어 200ms(짧다), 500ms(표준), 1s 이상(길다)의 어느 시간이 인식 판정 시간으로서 설정된다.

인식 무효 기간이란, 제스처의 인식을 무효로 하는 기간이다. 예를 들어, 소정의 역치보다도 진폭이 큰 진동 등의 제스처의 인식 정밀도가 저하되는 사상이 발생하는 기간이, 인식 무효 기간으로 설정된다. 인식 무효 기간이 적용되는 경우, 제스처의 계속 시간은, 인식 무효 기간을 제외하고 측정된다. 한편, 인식 무효 기간이 적용되지 않는 경우, 제스처의 계속 시간은, 인식 무효 기간을 제외하지 않고 측정된다.

인식 판정 시간 설정부(67)는, 인식 판정 시간 및 인식 무효 기간의 적용의 유무를 나타내는 인식 판정 시간 파라미터를 UI 표시 제어부(45)에 공급한다.

이상과 같은, 조작의 인식 방법을 나타내는 조작 방법 파라미터, 인식 범위 파라미터 및 인식 판정 시간 파라미터가, UI 보정 데이터로서, UI 표시 제어부(45)에 의한 조작의 인식 방법을 보정하기 위해 사용된다.

도 10은, 조작의 인식 방법을 보정하는 예를 나타내는 도면이다.

도 10의 예에 있어서는, 1단째에 나타낸 바와 같이, 진동 데이터에 의해 나타나는 진동의 패턴을 분류함으로써, 예측 위치에 있어서 돌발성의 진동이 발생하는 것이 검출되어 있다. 예를 들어, 진동 데이터에 있어서 소정의 역치보다도 큰 진폭이 단발 또는 단속적으로 발생하고 있는 경우, 예측 위치에 있어서 돌발성의 진동이 발생한다고 판정된다.

이 경우, 조작 방법 설정부(65)는, 탑승인의 손가락을 사용한 제스처를 인식 대상으로 하는 조작 방법 파라미터를 생성한다. 따라서, 도 10의 2단째에 나타낸 바와 같이, 조작의 인식 방법의 보정 전에 있어서 손가락을 사용한 제스처가 인식 대상으로 설정되어 있는 경우, 조작의 인식 방법의 보정 후에 있어서도, 인식 대상은 변경되지 않는다.

또한, 인식 범위 설정부(66)는, UI의 표시 범위와 인식 범위를 작은 범위로 하는 인식 범위 파라미터를 생성한다. 따라서, 도 10의 3단째와 4단째에 나타낸 바와 같이, 조작의 인식 방법의 보정 전에 있어서 UI의 표시 범위와 인식 범위가 작은 범위로 설정되어 있는 경우, 조작의 인식 방법의 보정 후에 있어서도, UI의 표시 범위와 인식 범위는 변경되지 않는다.

인식 판정 시간 설정부(67)는, 인식 판정 시간을 포함하여, 인식 무효 기간을 적용하는 인식 판정 시간 파라미터를 생성한다. 따라서, 도 10의 5단째에 나타낸 바와 같이, 조작의 인식 방법의 보정 전에 있어서, 탑승인이 인식 범위 내에 손끝을 향한 상태의 계속 시간이 인식 판정 시간에 도달한 경우, 조작이 행해졌다고 판정(인식)된다. 한편, 조작의 인식 방법의 보정 후에 있어서는, 진동의 진폭이 크기 때문에 조작의 인식 정밀도가 저하되는 인식 무효 기간을 제외한 기간에 있어서, 탑승인이 인식 범위 내에 손끝을 향한 상태의 계속 시간이 인식 판정 기간에 도달한 경우, 조작이 행해졌다고 판정된다.

또한, 조작의 인식 방법이 보정되기 전에 있어서는, 조작이 행해졌다고 판정 될 때까지의 제스처의 관측 시간은, 인식 판정 시간과 일치한다.

한편, 조작의 인식 방법이 보정된 후에 있어서는, 조작이 행해졌다고 판정될 때까지의 제스처의 관측 시간은, 인식 판정 시간보다도 길어지는 경우가 있다. 즉, 제스처의 관측 중에, 인식 무효 기간이 발생한 경우, 조작이 행해졌다고 판정될 때까지의 제스처의 관측 시간은, 인식 판정 시간에 인식 무효 기간의 길이를 더한 시간이 된다.

예를 들어, 조작의 인식 방법을 보정하지 않는 경우, 돌발적인 진동에 의해 손끝이나 표시 디바이스(11B)가 흔들려, 손끝의 방향이 인식 범위로부터 벗어나 버리는 경우가 있다. 이로써, 탑승인이 조작을 행하고자 하더라도, 탑승인의 제스처가 조작으로서 인식되지 않는 것과 같이, 조작의 인식 결과가 불안정해져 버린다.

이에 대해, 돌발적인 진동이 발생하는 인식 무효 기간에 있어서 제스처의 인식을 무효로 함으로써, 돌발적인 진동에 의해 손끝의 방향이 인식 범위로부터 벗어나도, 인식 무효 기간 이외의 기간에 손끝의 방향이 인식 범위 내인 상태가 인식 판정 시간만큼 계속되면, 탑승인의 제스처가 조작으로서 인식된다. 따라서, 대상 차량(2B)에 진동이 발생하고 있어도, 제스처를 사용한 조작을 안정적으로 인식하는 것이 가능해진다.

도 11은, 조작의 인식 방법을 보정하는 다른 예를 나타내는 도면이다.

도 11의 예에 있어서는, 1단째에 나타낸 바와 같이, 진동 데이터에 의해 나타나는 진동의 패턴을 분류함으로써, 예측 위치에 있어서 안정적인 진동이 발생하는 것이 검출되어 있다. 예를 들어, 진동 데이터에 있어서 소정의 역치보다도 큰 진폭이 연속해서 발생하고 있는 경우, 예측 위치에 있어서 안정적인 진동이 발생한다고 판정된다.

이 경우, 조작 방법 설정부(65)는, 탑승인의 손가락을 사용한 제스처를 인식 대상으로 하지 않고, 탑승인의 팔을 사용한 제스처를 인식 대상으로 하는 조작 방법 파라미터를 생성한다. 바꿔 말하면, 예측 위치에 있어서 안정적인 진동이 발생하는 것이 검출된 경우, 조작 방법 설정부(65)는, 탑승인이 사용 가능한 제스처의 종류를 제한한다. 따라서, 도 11의 2단째에 나타낸 바와 같이, 조작의 인식 방법의 보정 전에 있어서 인식 대상이 손가락을 사용한 제스처로 설정되어 있는 경우, 조작의 인식 방법의 보정 후에 있어서는, 인식 대상이 팔을 사용한 제스처로 변경된다.

또한, 인식 범위 설정부(66)는, UI의 표시 범위를 작은 범위로 하고, 인식 범위를 표준의 범위로 하는 인식 범위 파라미터를 생성한다. 따라서, 도 11의 3단째에 나타낸 바와 같이, 조작의 인식 방법의 보정 전에 있어서 UI의 표시 범위가 작은 범위로 설정되어 있는 경우, 조작의 인식 방법의 보정 후에 있어서도, UI의 표시 범위는 변경되지 않는다. 또한, 도 11의 4단째에 나타낸 바와 같이, 조작의 인식 방법의 보정 전에 있어서 인식 범위가 작은 범위로 설정되어 있는 경우, 조작의 인식 방법의 보정 후에 있어서는, 인식 범위가 표준의 범위로 변경된다.

인식 판정 시간 설정부(67)는, 인식 판정 시간을 포함하여, 인식 무효 기간을 적용하지 않는 인식 판정 시간 파라미터를 생성한다. 따라서, 도 11의 5단째에 나타낸 바와 같이, 조작의 인식 방법의 보정 전 및 보정 후에 있어서, 탑승인이 인식 범위 내에 손끝 또는 팔을 향한 상태의 계속 시간이 인식 판정 시간에 도달한 경우, 조작이 행해졌다고 판정된다.

예를 들어, 조작의 인식 방법을 보정하지 않는 경우, 큰 진동이 계속해서 발생하면, 손끝이나 표시 디바이스(11B)가 흔들려, 소정의 크기의 인식 범위 내에 손끝을 정확하게 향하게 할 수 없는 경우가 있다.

한편, 조작의 인식 방법을 보정한 경우, 팔을 사용한 제스처에 인식 대상을 연속적으로 변경함으로써, 큰 진동이 계속해서 발생하는 기간에 있어서, 진동에 의해 손끝이 흔들려도, 진동의 영향을 받기 어려운 팔의 방향에 기초하여, 탑승인이 선택하고 싶은 UI를 정확하게 인식할 수 있다.

또한, 인식 범위를 확대함으로써, 진동에 의해 팔이 흔들려도, 탑승인이 선택하고 싶은 UI를 정확하게 인식할 수 있다. 따라서, 대상 차량(2B)에 진동이 발생하고 있어도, 탑승인이 행하는 제스처를, 탑승인이 의도한 대로의 조작으로서 인식하는 것이 가능해진다.

이상과 같이, 조작 방법 설정부(65), 인식 범위 설정부(66) 및 인식 판정 시간 설정부(67)에 의해, 제스처를 사용한 조작의 인식 방법이, 진동 데이터에 기초하여 설정된다. 조작 방법의 선택, 인식 범위의 조정 및 인식 판정 시간의 조정을 조합하여 행함으로써, 대상 차량(2B)은, 진동이 제스처에 미치는 영향을 경감시켜, 제스처를 사용한 조작 체계의 유지를 실현하는 것이 가능해진다.

· UI 표시 제어부의 구성

도 12는, UI 표시 제어부(45)의 상세한 구성예를 나타내는 블록도이다.

도 12에 나타낸 바와 같이, UI 표시 제어부(45)는, 조작 인식기(81)와 UI 명령 생성부(82)를 구비한다.

조작 인식기(81)에는, 카메라(46)로부터 취득한 화상 데이터가 공급되어, 조작 방법 파라미터가 진동 패턴 해석부(42)로부터 공급된다. 조작 인식기(81)는, 카메라(46)로부터 취득한 화상 데이터에 기초하여, 조작 방법 파라미터에 의해 인식 대상으로 설정되어 있는 제스처를 인식한다.

인식 대상으로 설정되어 있는 제스처의 인식 결과를 나타내는 데이터는, UI 명령 생성부(82)에 공급된다.

UI 명령 생성부(82)에는, 인식 범위 파라미터와 인식 판정 시간 파라미터가 진동 패턴 해석부(42)로부터 공급된다. UI 명령 생성부(82)는, 조작 인식기(81)에 의한 제스처의 인식 결과에 기초하여 조작을 인식하여, 조작의 내용을 나타내는 UI 정보를 생성한다.

예를 들어, UI 명령 생성부(82)는, 제스처가 인식 범위 내에 있어서 행해지고 있는 상태의 계속 시간이 인식 판정 시간에 도달했는지 여부과 같이, 제스처가 조작의 조건을 충족시켰는지 여부를 판정한다. 예를 들어, 제스처가 조작의 조건을 만족시키고 있는 경우, UI 명령 생성부(82)는, 당해 제스처가, 인식 범위에 대응하는 UI를 선택하는 조작이라고 판정한다. 또한, 인식 범위는 인식 범위 파라미터에 의해 나타나고, 인식 판정 시간은 인식 판정 시간 파라미터에 의해 나타난다.

UI 명령 생성부(82)는, UI 정보를 표시 디바이스(11B)에 공급함으로써, 조작의 내용에 따른 동작을 표시 디바이스(11B)에 행하게 한다.

또한, 후속 차량(2C)에는 대상 차량(2B)의 구성과 동일한 구성이 마련된다.

<<3. 각 기기의 동작>>

이상과 같은 구성을 갖는 진동 데이터 관리 시스템의 각 기기의 동작에 대하여 설명한다.

<선행 차량과 서버의 동작>

도 13의 흐름도를 참조하여, 선행 차량(2A)과 서버(1)가 행하는 처리에 대하여 설명한다.

스텝 S1에 있어서, 선행 차량(2A)의 진동 데이터 취득부(31)는, 가속도 센서(32)로부터 진동 데이터를 취득하고, GNSS 수신기(33)로부터 위치 정보를 취득하여, 데이터 송신부(34)에 공급한다.

스텝 S2에 있어서, 선행 차량(2A)의 진동 데이터 취득부(31)는, 자차(선행 차량(2A))의 차량 정보를 취득하여, 데이터 송신부(34)에 공급한다.

스텝 S3에 있어서, 선행 차량(2A)의 데이터 송신부(34)는, 진동 데이터, 차량 정보 및 위치 정보를 서버(1)로 전송한다.

진동 데이터 등의 전송 후, 선행 차량(2A)에 있어서는, 스텝 S1 이후의 처리가 반복해서 행해진다.

스텝 S11에 있어서, 서버(1)의 데이터 수신부(21)는, 선행 차량(2A)으로부터 전송되어 온 진동 데이터, 차량 정보 및 위치 정보를 수신하여, 진동 데이터 관리부(22)에 공급한다.

스텝 S12에 있어서, 서버(1)의 진동 데이터 관리부(22)는, 차량 정보가 라벨링된 진동 데이터를, 위치 정보에 기초하는 지도 데이터의 위치와 관련지어 저장한다.

서버(1)에 있어서는, 선행 차량(2A)으로부터 진동 데이터 등이 전송되어 올 때마다, 스텝 S11 이후의 처리가 행해진다.

<대상 차량과 서버의 동작>

· 전체의 동작

도 14의 흐름도를 참조하여, 대상 차량(2B)과 서버(1)가 행하는 처리에 대하여 설명한다.

스텝 S21에 있어서, 대상 차량(2B)의 진동 패턴 해석부(42)는, GNSS 수신기(44)로부터 자차(대상 차량(2B))의 위치 정보를 취득하여, 예측 위치를 결정하고, 데이터 수신부(41)에 예측 위치를 통지한다.

스텝 S22에 있어서, 대상 차량(2B)의 데이터 수신부(41)는, 자차(대상 차량(2B))의 차량 정보를 취득한다.

스텝 S23에 있어서, 대상 차량(2B)의 데이터 수신부(41)는, 서버(1)로 예측 위치에 있어서 취득된 진동 데이터를 요구한다. 여기서는, 스텝 S22에 있어서 취득된 차량 정보에 기초하여, 대상 차량(2B)의 차종에 상당하는 차종의 차량에 의해 취득된 진동 데이터가 요구된다.

스텝 S41에 있어서, 서버(1)의 데이터 송신부(23)는, 대상 차량(2B)에 의해 요구된 위치에 관련짓는 진동 데이터를 대상 차량(2B)으로 전송한다. 서버(1)에 있어서는, 진동 데이터가 대상 차량(2B)으로부터 요구될 때마다, 스텝 S41의 처리가 행해진다.

스텝 S24에 있어서, 대상 차량(2B)의 데이터 수신부(41)는, 서버(1)로부터 전송되어 온, 예측 위치의 진동 데이터를 수신하여, 진동 패턴 해석부(42)에 공급한다.

스텝 S25에 있어서, 대상 차량(2B)의 진동 패턴 해석부(42)는, UI 보정 데이터 생성 처리를 행한다. UI 보정 데이터 생성 처리에 의해, 서버(1)로부터 취득된 진동 데이터에 기초하여 UI 보정 데이터가 생성된다. UI 보정 데이터 생성 처리에 대한 상세는, 도 15를 참조하여 후술한다.

대상 차량(2B)이 예측 위치에 도달했을 때, 스텝 S26에 있어서, 대상 차량(2B)의 UI 표시 제어부(45)는, 조작 결정 처리를 행한다. 조작 결정 처리에 의해, 탑승인에 의해 행해진 제스처가 인식되고, 제스처의 인식 결과에 기초하여 UI 정보가 생성된다. 이때, 필요에 따라, 스텝 S25에 있어서 생성된 UI 보정 데이터를 사용하여 조작의 인식 방법이 보정된다. 조작 결정 처리에 대한 상세는, 도 16을 참조하여 후술한다.

스텝 S27에 있어서, 대상 차량(2B)의 진동 패턴 해석부(42)는, 가속도 센서(43)로부터 진동 데이터를 취득하고, GNSS 수신기(44)로부터 위치 정보를 취득하여, 데이터 송신부(47)에 공급한다.

스텝 S28에 있어서, 대상 차량(2B)의 데이터 송신부(47)는, UI 보정 데이터, 그리고 자차(대상 차량(2B))의 진동 데이터, 차량 정보 및 위치 정보를 서버(1)로 전송한다.

UI 보정 데이터 등의 전송 후, 대상 차량(2B)에 있어서는, 스텝 S21 이후의 처리가 반복해서 행해진다.

스텝 S42에 있어서, 서버(1)의 데이터 수신부(21)는, 대상 차량(2B)으로부터 전송되어 온 UI 보정 데이터, 진동 데이터, 차량 정보 및 위치 정보를 수신하여, 진동 데이터 관리부(22)에 공급한다.

스텝 S43에 있어서, 서버(1)의 진동 데이터 관리부(22)는, 차량 정보가 라벨링된 진동 데이터와 UI 보정 데이터를, 위치 정보에 기초하는 지도 데이터의 위치와 관련지어 저장한다.

서버(1)에 있어서는, 대상 차량(2B)으로부터 진동 데이터 등이 전송되어 올 때마다, 스텝 S42 이후의 처리가 행해진다.

· UI 보정 데이터 생성 처리

도 15의 흐름도를 참조하여, 도 14의 스텝 S25에 있어서 행해지는 UI 보정 데이터 생성 처리에 대하여 설명한다.

스텝 S51에 있어서, 진동 패턴 해석부(42)는, 데이터 수신부(41)로부터 진동 데이터를 취득한다.

스텝 S52에 있어서, 진동 패턴 해석부(42)는, 진동 데이터에 기초하여 진동 패턴을 분석한다.

구체적으로는, 진동 패턴 해석부(42)의 진동 진폭 검출부(61), 진동 주파수 검출부(62) 및 진동 발생 빈도 검출부(63)는, 진동 데이터에 기초하여 진동 특성 데이터를 생성하여, 진동 패턴 분류부(64)에 공급한다. 진동 패턴 분류부(64)는, 진동 특성 데이터에 기초하여, 진동 데이터에 의해 나타나는 진동의 패턴을 분류하여, 진동 분류 정보를 생성한다. 진동 패턴 분류부(64)는, 진동 분류 정보를 조작 방법 설정부(65), 인식 범위 설정부(66) 및 인식 판정 시간 설정부(67)에 공급한다.

스텝 S53에 있어서, 조작 방법 설정부(65)는, 진동 분류 정보에 기초하여, 조작 방법을 설정한다. 즉, 조작 방법 설정부(65)는, 인식 대상으로 하는(사용 가능하게 하는) 제스처를 설정한다. 조작 방법 설정부(65)는, 인식 대상으로 하는 제스처를 설정하기 위해 사용되는 조작 방법 파라미터를 생성한다.

스텝 S54에 있어서, 인식 범위 설정부(66)는, 진동 분류 정보에 기초하여, 인식 범위를 설정한다. 인식 범위 설정부(66)는, 인식 범위를 설정하기 위해 사용되는 인식 범위 파라미터를 생성한다.

스텝 S55에 있어서, 인식 판정 시간 설정부(67)는, 진동 분류 정보에 기초하여, 인식 판정 시간을 설정한다. 또한, 인식 판정 시간 설정부(67)는, 진동 분류 정보에 기초하여, 인식 무효 기간의 적용의 유무를 설정한다. 인식 판정 시간 설정부(67)는, 인식 판정 시간 및 인식 무효 기간의 적용의 유무의 설정에 사용되는 인식 판정 시간 파라미터를 생성한다.

스텝 S56에 있어서, 진동 패턴 해석부(42)는, 조작 방법 파라미터, 인식 범위 파라미터 및 인식 판정 시간 파라미터를 UI 보정 데이터로서 UI 표시 제어부(45)에 공급한다.

스텝 S57에 있어서, 진동 패턴 해석부(42)는, UI 보정 데이터를 데이터 송신부(47)에 공급한다.

그 후, 도 14의 스텝 S25로 복귀되어, 그 이후의 처리가 행해진다.

· 조작 결정 처리

도 16의 흐름도를 참조하여, 도 14의 스텝 S26에 있어서 행해지는 조작 결정 처리에 대하여 설명한다.

스텝 S71에 있어서, 조작 인식기(81)는, 제스처를 인식한다. 즉, 조작 인식기(81)는, 예를 들어 화상 데이터에 기초하여, 조작 방법 파라미터에 있어서 인식 대상으로 설정되어 있는 부위의 제스처를 인식한다. 예를 들어, 조작 인식기(81)는, 탑승인의 손의 제스처를 인식한다.

스텝 S72에 있어서, UI 명령 생성부(82)는, 예를 들어 조작 인식기(81)에 의해 인식된 제스처에 기초하여, 조작 종별을 인식한다. 예를 들어, 손의 손끝을 표시 디바이스(11B)를 향하는 제스처가 행해지고 있는 것이 조작 인식기(81)에 의해 인식되어 있는 경우, UI 명령 생성부(82)는, 표시 디바이스(11B)에 표시된 UI를 선택하기 위한 조작이 행해지고 있다고 인식한다.

스텝 S73에 있어서, UI 명령 생성부(82)는, 탑승인이 행한 제스처가 조작의 조건을 충족시켰는지 여부를 판정한다. 예를 들어, UI 명령 생성부(82)는, 인식 대상으로 설정되어 있는 제스처에 사용되는 부위가 인식 범위 내를 향하게 된 상태의 계속 시간과 인식 판정 시간을 비교한다. 제스처의 계속 시간이 인식 판정 시간에 도달한 경우, UI 명령 생성부(82)는, 제스처가 조작의 조건을 충족시켰다고 판정하고, 처리는 스텝 S74로 진행된다. 이때, 인식 무효 기간을 적용하도록 설정되어 있는 경우, 인식 무효 기간을 제외한 기간에 있어서, 제스처의 계속 시간이 측정된다. 또한, 인식 범위는 인식 범위 파라미터에 의해 나타나고, 인식 판정 시간 및 인식 무효 기간의 적용의 유무는 인식 판정 시간 파라미터에 의해 나타난다.

스텝 S74에 있어서, UI 명령 생성부(82)는, 조작의 인식 결과를 표시 디바이스(11B)로 전송한다. 즉, UI 명령 생성부(82)는, 인식한 조작의 내용을 나타내는 UI 정보를 생성하여, 표시 디바이스(11B)로 전송한다.

그 후, 도 14의 스텝 S26으로 복귀되어, 그 이후의 처리가 행해진다.

한편, 스텝 S73에 있어서, 탑승인이 행한 제스처가 조작의 조건을 충족시키고 있지 않다고 판정된 경우, 스텝 S74의 처리는 스킵되고, 처리는 도 14의 스텝 S26으로 복귀되어, 그 이후의 처리가 행해진다.

이상과 같이, 대상 차량(2B)은, 주행 중에 진동이 발생했다고 해도, 탑승인이 제스처를 사용하여 행하는 조작을 적절하게 인식하는 것이 가능해진다.

<<4. 변형예>>

<UI 보정 데이터의 유효성을 피드백하는 예>

예를 들어, 도로의 상태, 탑승인의 자세 등의 상태, 차량의 상태 등은 상황이나 시간 경과에 따라 변화되기 때문에, UI 보정 데이터에 의한 조작의 인식 방법의 보정이, 반드시 최적이라고는 할 수 없다. 이에 비해, UI 보정 데이터가 유효했는지 여부가 조작 인식(UI 조작)의 성공률로서 산출되어, 성공률이 낮았던 조작의 인식을 다시 행할 때, UI 보정 데이터가 수정되어, 최적화되도록 해도 된다.

도 17은, 도 7의 UI 표시 제어부(45)의 다른 구성예를 나타내는 블록도이다. 도 17에 있어서, 도 12의 구성과 동일한 구성에는 동일한 부호를 붙이고 있다. 중복되는 설명에 대해서는 적절히 생략한다.

도 17에 나타내는 UI 표시 제어부(45)의 구성은, UI 명령 생성부(82)의 후단에 성공률 판정기(101)가 마련되는 점에서, 도 12의 UI 표시 제어부(45)의 구성과 다르다.

성공률 판정기(101)는, 성공률 산출부(111)와 라벨링부(112)를 구비한다.

성공률 산출부(111)에는, UI 명령 생성부(82)에 의한 판정 결과가 공급된다. 성공률 산출부(111)는, UI 명령 생성부(82)에 의한 판정 결과에 기초하여, 조작 인식의 성공률을 산출한다. 예를 들어, 성공률 산출부(111)는, UI 명령 생성부(82)에 있어서, 제스처가 조작의 조건을 충족시켰다고 판정된 경우를 성공이라고 하고, 제스처가 조작의 조건을 충족시키고 있지 않다고 판정된 경우를 실패라고 하여, 성공률을 산출한다.

성공률 산출부(111)는, 산출한 성공률을 나타내는 정보를 라벨링부(112)에 공급한다.

라벨링부(112)에는, 진동 패턴 해석부(42)로부터 UI 보정 데이터(조작 방법 파라미터, 인식 범위 파라미터, 인식 판정 시간 파라미터)가 공급된다. 라벨링부(112)는, 성공률 산출부(111)로부터 공급된 정보를, UI 보정 데이터의 유효성을 나타내는 유효성 피드백 정보로서, UI 보정 데이터에 라벨링한다.

라벨링부(112)는, 유효성 피드백 정보를 진동 패턴 해석부(24)에 공급하고, 유효성 피드백 정보를 라벨링한 UI 보정 데이터를, 데이터 송신부(47)에 공급한다.

도 18은, 도 7의 진동 패턴 해석부(42)의 다른 구성예를 나타내는 블록도이다. 도 18에 있어서, 도 8의 구성과 동일한 구성에는 동일한 부호를 붙이고 있다. 중복되는 설명에 대해서는 적절히 생략한다.

도 18에 나타내는 진동 패턴 해석부(42)의 구성은, 조작 방법 설정부(65), 인식 범위 설정부(66) 및 인식 판정 시간 설정부(67)에 유효성 피드백 정보가 UI 표시 제어부(45)로부터 공급되는 점에서, 도 8의 진동 패턴 해석부(42)의 구성과 다르다.

조작 방법 설정부(65)는, 유효성 피드백 정보에 기초하여, 성공률이 낮은 조작 방법을 무효로 하도록 조작 방법 파라미터를 수정한다. 예를 들어, 조작 방법 설정부(65)는, 손이나 손가락 등의 진동의 영향을 받기 쉬운 부위를 사용한 제스처를 무효(인식 대상 외)로 하도록 조작 방법 파라미터를 수정한다.

인식 범위 설정부(66)는, 유효성 피드백 정보에 기초하여, 성공률이 낮은 조작의 인식 범위 또는 표시 범위를 적정화하도록 인식 범위 파라미터를 수정한다. 예를 들어, 인식 범위 설정부(66)는, 인식 범위 또는 표시 범위를 확대하도록 인식 범위 파라미터를 수정한다.

인식 판정 시간 설정부(67)는, 유효성 피드백 정보에 기초하여, 성공률이 낮은 조작의 인식 판정 시간을 적정화하도록 인식 판정 시간 파라미터를 수정한다. 예를 들어, 인식 판정 시간 설정부(67)는, 인식 판정 시간을 짧게 하도록 인식 판정 시간 파라미터를 수정한다.

도 19의 흐름도를 참조하여, 이상과 같은 구성을 갖는 대상 차량(2B)과 서버(1)가 행하는 처리에 대하여 설명한다. 서버(1)가 행하는 처리는, 도 14의 서버(1)가 행하는 처리와 동일하기 때문에 설명을 생략한다.

스텝 S101 내지 S106에 있어서는, 도 14의 스텝 S21 내지 26의 각각의 처리와 마찬가지의 처리가 행해진다. 즉, 예측 위치의 진동 데이터가 서버(1)로부터 취득되어, UI 보정 데이터가 생성된다. 또한, 탑승인이 행한 제스처에 따른 조작의 내용을 나타내는 UI 정보가 생성되어, 표시 디바이스(11B)로 전송된다.

스텝 S107에 있어서, 대상 차량(2B)의 성공률 판정기(101)는, 성공률 산출 처리를 행한다. 성공률 산출 처리에 의해, 유효성 피드백 정보가 UI 보정 데이터에 라벨링되어, UI 보정 데이터의 유효성이 UI 보정 데이터 생성 처리에 피드백된다. 성공률 산출 처리에 대해서는, 도 20을 참조하여 후술한다.

스텝 S108에 있어서, 대상 차량(2B)의 진동 패턴 해석부(42)는, 가속도 센서(43)로부터 진동 데이터를 취득하고, GNSS 수신기(44)로부터 위치 정보를 취득하여, 데이터 송신부(47)에 공급한다.

스텝 S109에 있어서, 대상 차량(2B)의 데이터 송신부(47)는, 유효성 피드백 정보가 라벨링된 UI 보정 데이터, 그리고 자차의 진동 데이터, 차량 정보 및 위치 정보를 서버(1)로 전송한다.

UI 보정 데이터 등의 전송 후, 스텝 S101 이후의 처리가 반복해서 행해진다. 반복해서 행해지는 스텝 S105의 UI 보정 데이터 생성 처리에 있어서는, 유효성 피드백 정보에 기초하여 수정된 UI 보정 데이터가 생성된다.

도 20의 흐름도를 참조하여, 도 19의 스텝 S107에 있어서 행해지는 성공률 산출 처리에 대하여 설명한다.

스텝 S121에 있어서, 성공률 산출부(111)는, 조작 인식의 성공률을 계산하여, 성공률의 계산 결과를 나타내는 정보를 라벨링부(112)에 공급한다.

스텝 S122에 있어서, 라벨링부(112)는, 성공률 산출부(111)로부터 공급된 정보를, UI 보정 데이터의 유효성을 나타내는 유효성 피드백 정보로서, UI 보정 데이터에 라벨링한다. 라벨링부(112)는, 유효성 피드백 정보를 라벨링한 UI 보정 데이터를, 데이터 송신부(47)에 공급한다.

스텝 S123에 있어서, 라벨링부(112)는, 유효성 피드백 정보를 진동 패턴 해석부(42)에 피드백한다.

그 후, 도 19의 스텝 S107로 복귀되어, 그 이후의 처리가 행해진다.

이상과 같이, UI 보정 데이터의 유효성이 피드백되는 구조를 도입함으로써, 도로의 상태, 탑승인의 자세 등의 상태, 차량의 상태 등에 관계없이, 대상 차량(2B)에 발생한 진동의 영향을 저감시킬 수 있는 UI 보정 데이터를 계속적으로 설정하는 것이 가능해진다. 또한, 동일한 제스처를 행하는 등, 이용 횟수가 증가함에 따라, 조작의 인식 정밀도를 개선할 수 있다.

대상 차량(2B)에 의해 생성되어, 유효성 피드백 정보가 라벨링된 UI 보정 데이터를 사용하여, 후속 차량(2C)은, 도로의 상태 등이 고려된, 조작의 인식 방법을 설정할 수 있다. 따라서, 더 최적의 조작 인식을 실현하는 것이 가능해진다. 또한, 동일한 도로를 통과하는 등, 이용 횟수가 증가함에 따라, 조작의 인식 정밀도를 개선할 수 있다.

<기타>

차량 정보가 라벨링된 예측 위치의 진동 데이터를 서버(1)로부터 취득하는 예에 대하여 설명했지만, 대상 차량(2B)이 선행 차량(2A)과 통신을 행하여, 진동 데이터, 위치 정보 및 차량 정보를 선행 차량(2A)으로부터 직접 취득하도록 구성하는 것이 가능하다. 대상 차량(2B)이 후속 차량(2C)과 통신을 행하여, 진동 데이터, 위치 정보, 차량 정보 및 UI 보정 데이터를 후속 차량(2C)으로 송신하도록 구성하는 것도 가능하다.

또한, 대상 차량(2B)이, 선행 차량(2A)을 촬영한 동화상에 기초하여, 예측 위치의 진동 데이터를 취득하도록 구성하는 것이 가능하다. 선행 차량(2A)을 촬영한 동화상은, 예를 들어 대상 차량(2B)에 탑재된 프론트 카메라가 촬영함으로써 취득된다.

표시 디바이스에 UI나 영상 콘텐츠가 표시되는 예에 대하여 설명했지만, 예를 들어 고휘도의 프로젝터에 의해, UI나 영상 콘텐츠가 차량 내에 투영되도록 해도 된다.

예를 들어, 대상 차량(2B)의 차종에 상당하는 차종의 선행 차량(2A)에 의해 취득된 진동 데이터가 서버(1)에 저장되어 있지 않은 경우, 대상 차량(2B)의 차종과 다른 차종의 선행 차량(2A)에 의해 취득된 진동 데이터가, 대상 차량(2B)의 차종에 따라 보정되도록 해도 된다. 이러한 보정은, 예를 들어 대상 차량(2B)의 신호 처리 장치나 서버(1)에 의해 행해진다.

가속도 센서에 의해 차량(2)의 진동이 검출되는 예에 대하여 설명했지만, 다른 진동 검출부에 의해 차량(2)의 진동이 검출되도록 해도 된다.

예를 들어, 각 차량(2)이, 탑승인의 체격 등의 특징을 나타내는 탑승인 정보를 서버(1)로 전송하고, 서버(1)가, 각 차량(2)으로부터 수신한 탑승인 정보를 UI 보정 데이터에 관련지어 저장하도록 해도 된다. 그리고, 각 차량(2)이, 탑승인의 특징을 나타내는 탑승인장을 서버(1)로 전송하고, 서버(1)가, 각 차량(2)으로부터 수신한 탑승인 정보에 유사한 탑승인 정보에 관련지어져 있는 UI 보정 데이터를 각 차량(2)으로 전송하도록 해도 된다. 이로써, 각 차량(2)은, 유사한 특징을 갖는 탑승인에 대하여 설정된 조작의 인식 방법을 나타내는 UI 보정 데이터에 기초하여, 조작의 인식 방법을 수정하는 것이 가능해진다.

본 기술은, 예를 들어 차량 이외의 이동체에 있어서 탑승인의 제스처에 의한 조작을 인식하는 경우에도 적용할 수 있다.

<컴퓨터의 구성예>

상술한 서버(1)나 신호 처리 장치가 실행하는 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.

도 21은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.

CPU(Central Processing Unit)(201), ROM(Read Only Memory)(202), RAM(Random Access Memory)(203)은, 버스(204)에 의해 서로 접속되어 있다.

버스(204)에는, 입출력 인터페이스(205)가 더 접속되어 있다. 입출력 인터페이스(205)에는, 키보드, 마우스 등이 되는 입력부(206), 디스플레이, 스피커 등이 되는 출력부(207)가 접속된다. 또한, 입출력 인터페이스(205)에는, 하드 디스크나 불휘발성의 메모리 등을 포함하는 기억부(208), 네트워크 인터페이스 등을 포함하는 통신부(209), 리무버블 미디어(211)를 구동하는 드라이브(210)가 접속된다.

이상과 같이 구성되는 컴퓨터에서는, CPU(201)가, 예를 들어 기억부(208)에 기억되어 있는 프로그램을 입출력 인터페이스(205) 및 버스(204)를 통해 RAM(203)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.

CPU(201)가 실행하는 프로그램은, 예를 들어 리무버블 미디어(211)에 기록하거나, 혹은 로컬 에어리어 네트워크, 인터넷, 디지털 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공되어, 기억부(208)에 인스톨된다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해진 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 중에 있는지 여부는 상관없다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통해 접속되어 있는 복수의 장치 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또 다른 효과가 있어도 된다.

본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들어, 본 기술은, 하나의 기능을 네트워크를 통해 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

<구성의 조합예>

본 기술은, 이하와 같은 구성을 취할 수도 있다.

(1)

장래 발생할 것으로 예측되는 진동을 나타내는 제1 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법을 설정하는 설정부와,

상기 설정부에 의해 설정된 상기 인식 방법에 따라, 유저가 행한 상기 제스처가 나타내는 상기 조작을 인식하는 조작 인식부

를 구비하는 신호 처리 장치.

(2)

상기 조작 인식부는, 상기 신호 처리 장치가 탑재된 차량 내의 상기 유저가 행한 상기 제스처가 나타내는 상기 조작을 인식하는

상기 (1)에 기재된 신호 처리 장치.

(3)

상기 제1 진동 데이터는, 상기 차량이 장래 주행할 것으로 예측되는 예측 위치를 상기 차량보다 앞서 주행한 선행 차량에 의해 검출된 진동을 나타내는

상기 (2)에 기재된 신호 처리 장치.

(4)

상기 설정부는, 상기 선행 차량에 있어서 설정된 상기 인식 방법을 나타내는 보정 데이터에 기초하여, 상기 인식 방법을 수정하는

상기 (3)에 기재된 신호 처리 장치.

(5)

상기 설정부는, 상기 차량의 차종에 상당하는 차종의 상기 선행 차량에 의해 검출된 진동을 나타내는 상기 제1 진동 데이터에 기초하여, 상기 인식 방법을 설정하는

상기 (3) 또는 (4)에 기재된 신호 처리 장치.

(6)

상기 차량의 진동을 검출하여, 상기 차량의 진동의 검출 결과를 나타내는 제2 진동 데이터를 생성하는 진동 검출부와,

상기 차량의 뒤에 상기 예측 위치를 주행하는 후속 차량, 또는 상기 제2 진동 데이터를 상기 후속 차량으로 송신하는 서버로 상기 제2 진동 데이터를 송신하는 송신부

를 더 구비하는 상기 (3) 내지 (5)의 어느 것에 기재된 신호 처리 장치.

(7)

상기 송신부는, 상기 차량의 종별을 나타내는 차량 정보를 상기 제2 진동 데이터와 함께 상기 후속 차량 또는 상기 서버로 송신하는

상기 (6)에 기재된 신호 처리 장치.

(8)

상기 송신부는, 상기 설정부에 의해 설정된 상기 인식 방법을 나타내는 보정 데이터를 상기 제2 진동 데이터와 함께 상기 후속 차량 또는 상기 서버로 송신하는

상기 (6) 또는 (7)에 기재된 신호 처리 장치.

(9)

상기 선행 차량을 촬영한 동화상에 기초하여, 상기 제1 진동 데이터를 취득하는 취득부를

더 구비하는 상기 (3) 내지 (8)의 어느 것에 기재된 신호 처리 장치.

(10)

상기 설정부는, 인식 대상으로 하는 상기 제스처의 종류, 상기 제스처를 상기 조작으로서 인식하는 범위 및 상기 제스처를 상기 조작으로서 인식할 때까지의 인식 판정 시간 중 적어도 어느 것을, 상기 인식 방법으로서 설정하는

상기 (1) 내지 (9)의 어느 것에 기재된 신호 처리 장치.

(11)

상기 설정부는, 상기 장래 발생할 것으로 예측되는 진동의 랜덤성, 주파수, 진폭 및 연속성 중 적어도 어느 것에 기초하여, 상기 인식 방법을 설정하는

상기 (10)에 기재된 신호 처리 장치.

(12)

상기 조작 인식부는, 소정의 역치보다도 큰 진폭의 진동이 발생하는 기간을 제외한 기간에 있어서의 상기 제스처의 계속 시간을 상기 인식 판정 시간과 비교함으로써, 상기 조작을 인식하는

상기 (11)에 기재된 신호 처리 장치.

(13)

상기 설정부는, 소정의 역치보다도 큰 진폭의 진동이 연속해서 발생할 것으로 예측되는 경우, 인식 대상으로 하는 상기 제스처의 종류를 제한하는

상기 (11) 또는 (12)에 기재된 신호 처리 장치.

(14)

상기 설정부는, 소정의 역치보다도 큰 진폭의 진동이 연속해서 발생할 것으로 예측되는 경우, 상기 제스처를 상기 조작으로서 인식하는 범위를 확대시키는

상기 (11) 내지 (13)의 어느 것에 기재된 신호 처리 장치.

(15)

상기 조작 인식부는, 상기 유저를 촬영한 동화상에 기초하여, 상기 유저가 행한 상기 제스처를 인식하는

상기 (1) 내지 (14)의 어느 것에 기재된 신호 처리 장치.

(16)

상기 설정부에 의해 설정된 상기 인식 방법의 유효성을 판정하는 판정부를 더 구비하고,

상기 설정부는, 상기 인식 방법의 유효성의 판정 결과에 기초하여, 상기 인식 방법을 수정하는

상기 (1) 내지 (15)의 어느 것에 기재된 신호 처리 장치.

(17)

신호 처리 장치가,

장래 발생할 것으로 예측되는 진동을 나타내는 제1 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법을 설정하고,

설정된 상기 인식 방법에 따라, 유저가 행한 상기 제스처가 나타내는 상기 조작을 인식하는

신호 처리 방법.

(18)

장래 발생할 것으로 예측되는 진동을 나타내는 제1 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법을 설정하고,

설정된 상기 인식 방법에 따라, 유저가 행한 상기 제스처가 나타내는 상기 조작을 인식하는

처리를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.

(19)

장래 발생할 것으로 예측되는 진동을 나타내는 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법을 설정하는 설정부와,

상기 설정부에 의해 설정된 상기 인식 방법에 따라, 유저가 행한 상기 제스처가 나타내는 상기 조작을 인식하는 조작 인식부

를 구비하는 신호 처리 장치와,

상기 제스처를 사용한 상기 조작의 대상이 되는 화상을 표시하는 표시부를 구비하는 표시 장치

를 갖는 신호 처리 시스템.

(20)

상기 신호 처리 시스템은,

상기 진동 데이터가 나타내는 진동이 검출된 위치에 관련지어 상기 진동 데이터를 관리하는 관리부를

구비하는 서버를 더 갖고,

상기 설정부는, 상기 서버로부터 취득한 상기 진동 데이터에 기초하여, 상기 인식 방법을 설정하는

상기 (19)에 기재된 신호 처리 시스템.

1: 서버
2A: 선행 차량
2B: 대상 차량
2C: 후속 차량
11A 내지 11C: 표시 디바이스
21: 데이터 수신부
22: 진동 데이터 관리부
23: 데이터 송신부
31: 진동 데이터 취득부
32: 가속도 센서
33: GNSS 수신기
34: 데이터 송신부
41: 데이터 수신부
42: 진동 패턴 해석부
43: 가속도 센서
44: GNSS 수신기
45: UI 표시 제어부
46: 카메라
47: 데이터 송신부
61: 진동 진폭 검출부
62: 진동 주파수 검출부
63: 진동 발생 빈도 검출부
64: 진동 패턴 분류부
65: 조작 방법 설정부
66: 인식 범위 설정부
67: 인식 판정 시간 설정부
81: 조작 인식기
82: UI 명령 생성부
101: 성공률 판정기
111: 성공률 산출부
112: 라벨링부

Claims (20)

1. 장래 발생할 것으로 예측되는 진동을 나타내는 제1 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법을 설정하는 설정부와,
   상기 설정부에 의해 설정된 상기 인식 방법에 따라, 유저가 행한 상기 제스처가 나타내는 상기 조작을 인식하는 조작 인식부
   를 구비하는, 신호 처리 장치.
2. 제1항에 있어서, 상기 조작 인식부는, 상기 신호 처리 장치가 탑재된 차량 내의 상기 유저가 행한 상기 제스처가 나타내는 상기 조작을 인식하는,
   신호 처리 장치.
3. 제2항에 있어서, 상기 제1 진동 데이터는, 상기 차량이 장래 주행할 것으로 예측되는 예측 위치를 상기 차량보다 앞서 주행한 선행 차량에 의해 검출된 진동을 나타내는,
   신호 처리 장치.
4. 제3항에 있어서, 상기 설정부는, 상기 선행 차량에 있어서 설정된 상기 인식 방법을 나타내는 보정 데이터에 기초하여, 상기 인식 방법을 수정하는,
   신호 처리 장치.
5. 제3항에 있어서, 상기 설정부는, 상기 차량의 차종에 상당하는 차종의 상기 선행 차량에 의해 검출된 진동을 나타내는 상기 제1 진동 데이터에 기초하여, 상기 인식 방법을 설정하는,
   신호 처리 장치.
6. 제3항에 있어서, 상기 차량의 진동을 검출하여, 상기 차량의 진동의 검출 결과를 나타내는 제2 진동 데이터를 생성하는 진동 검출부와,
   상기 차량의 뒤에 상기 예측 위치를 주행하는 후속 차량, 또는 상기 제2 진동 데이터를 상기 후속 차량으로 송신하는 서버로 상기 제2 진동 데이터를 송신하는 송신부
   를 더 구비하는, 신호 처리 장치.
7. 제6항에 있어서, 상기 송신부는, 상기 차량의 종별을 나타내는 차량 정보를 상기 제2 진동 데이터와 함께 상기 후속 차량 또는 상기 서버로 송신하는,
   신호 처리 장치.
8. 제6항에 있어서, 상기 송신부는, 상기 설정부에 의해 설정된 상기 인식 방법을 나타내는 보정 데이터를 상기 제2 진동 데이터와 함께 상기 후속 차량 또는 상기 서버로 송신하는,
   신호 처리 장치.
9. 제3항에 있어서, 상기 선행 차량을 촬영한 동화상에 기초하여, 상기 제1 진동 데이터를 취득하는 취득부를
   더 구비하는, 신호 처리 장치.
10. 제1항에 있어서, 상기 설정부는, 인식 대상으로 하는 상기 제스처의 종류, 상기 제스처를 상기 조작으로서 인식하는 범위 및 상기 제스처를 상기 조작으로서 인식할 때까지의 인식 판정 시간 중 적어도 어느 것을, 상기 인식 방법으로서 설정하는,
    신호 처리 장치.
11. 제10항에 있어서, 상기 설정부는, 상기 장래 발생할 것으로 예측되는 진동의 랜덤성, 주파수, 진폭 및 연속성 중 적어도 어느 것에 기초하여, 상기 인식 방법을 설정하는,
    신호 처리 장치.
12. 제11항에 있어서, 상기 조작 인식부는, 소정의 역치보다도 큰 진폭의 진동이 발생하는 기간을 제외한 기간에 있어서의 상기 제스처의 계속 시간을 상기 인식 판정 시간과 비교함으로써, 상기 조작을 인식하는,
    신호 처리 장치.
13. 제11항에 있어서, 상기 설정부는, 소정의 역치보다도 큰 진폭의 진동이 연속해서 발생할 것으로 예측되는 경우, 인식 대상으로 하는 상기 제스처의 종류를 제한하는,
    신호 처리 장치.
14. 제11항에 있어서, 상기 설정부는, 소정의 역치보다도 큰 진폭의 진동이 연속해서 발생할 것으로 예측되는 경우, 상기 제스처를 상기 조작으로서 인식하는 범위를 확대시키는,
    신호 처리 장치.
15. 제1항에 있어서, 상기 조작 인식부는, 상기 유저를 촬영한 동화상에 기초하여, 상기 유저가 행한 상기 제스처를 인식하는,
    신호 처리 장치.
16. 제1항에 있어서, 상기 설정부에 의해 설정된 상기 인식 방법의 유효성을 판정하는 판정부를 더 구비하고,
    상기 설정부는, 상기 인식 방법의 유효성의 판정 결과에 기초하여, 상기 인식 방법을 수정하는,
    신호 처리 장치.
17. 신호 처리 장치가,
    장래 발생할 것으로 예측되는 진동을 나타내는 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법을 설정하고,
    설정된 상기 인식 방법에 따라, 유저가 행한 상기 제스처가 나타내는 상기 조작을 인식하는,
    신호 처리 방법.
18. 장래 발생할 것으로 예측되는 진동을 나타내는 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법을 설정하고,
    설정된 상기 인식 방법에 따라, 유저가 행한 상기 제스처가 나타내는 상기 조작을 인식하는
    처리를 실행시키기 위한 프로그램을 기록한, 컴퓨터 판독 가능한 기록 매체.
19. 장래 발생할 것으로 예측되는 진동을 나타내는 진동 데이터에 기초하여, 제스처를 사용한 조작의 인식 방법을 설정하는 설정부와,
    상기 설정부에 의해 설정된 상기 인식 방법에 따라, 유저가 행한 상기 제스처가 나타내는 상기 조작을 인식하는 조작 인식부
    를 구비하는 신호 처리 장치와,
    상기 제스처를 사용한 상기 조작의 대상이 되는 화상을 표시하는 표시부를
    구비하는 표시 장치
    를 갖는, 신호 처리 시스템.
20. 제19항에 있어서, 상기 신호 처리 시스템은,
    상기 진동 데이터가 나타내는 진동이 검출된 위치에 관련지어 상기 진동 데이터를 관리하는 관리부를
    구비하는 서버를 더 갖고,
    상기 설정부는, 상기 서버로부터 취득한 상기 진동 데이터에 기초하여, 상기 인식 방법을 설정하는,
    신호 처리 시스템.

Images