KR20220117204A - 정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 정보 처리 프로그램 - Google Patents

Abstract

학습 데이터를 효율적으로 이용 가능하게 하는 정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 정보 처리 프로그램을 제공하는 것을 목적으로 한다. 본 개시에 따른 정보 처리 장치는, 미리 학습된 제1 인식기에 의해, 센서에 의해 취득된 센서 정보를 이용하여 물체 인식 처리를 행하는 인식부(101)와, 제1 인식기와는 다른 제2 인식기에, 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정부(22d)를 구비한다.

Description

정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 정보 처리 프로그램

본 개시는, 정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 정보 처리 프로그램에 관한 것이다.

차량에 탑재한 차량 탑재 카메라를 사용하여, 차량의 주행을 행할 때 촬상된 촬상 화상을 해석하고, 차량의 진행 방향에 사람 등 장해물이 존재하는지 여부를 판정하는 정보 처리 시스템이 제안되어 있다. 또한, 이와 같은 정보 처리 시스템에 있어서, 촬상 화상에 기초하는 장해물의 검출을, 기계 학습에 의해 학습된 인식 모델을 사용하여 실행하는 기술이 제안되어 있다. 또한, 기계 학습에 의한 인식 모델의 구축을, 네트워크상의 예를 들어 서버로 행하는 구성이 알려져 있다.

그런데, 촬상 화상에 기초하는 장해물 등의 검출을 기계 학습을 사용하여 행하는 경우, 학습 데이터를 수시로 수집해서 재학습을 행하고, 인식 모델을 갱신해 가는 것이 바람직하다. 예를 들어, 서버는, 차량에 있어서 취득된 데이터를 통신을 통해 취득해서 수집하고, 수집된 데이터를 학습 데이터로서 사용하여 재학습을 행하고, 인식 모델을 갱신한다. 갱신된 인식 모델은, 통신에 의해 차량에 송신된다. 차량측에서는, 이 갱신된 인식 모델을 사용함으로써 보다 적확하게 장해물 등의 검출을 행하는 것이 가능해진다.

일본 특허 공개 제2018-202595호 공보

그러나, 재학습을 위해서 송신되는 데이터는, 예를 들어 데이터 송신이 행하진 지역과 같은 데이터가 취득된 상황 등에 따라 다양한 속성을 갖고 있으며, 그 속성이 유효한 범위에서밖에 활용할 수 없었다.

본 개시는, 학습 데이터를 효율적으로 이용 가능하게 하는 정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 정보 처리 프로그램을 제공하는 것을 목적으로 한다.

본 개시에 따른 정보 처리 장치는, 미리 학습된 제1 인식기에 의해, 센서에 의해 취득된 센서 정보를 이용하여 물체 인식 처리를 행하는 인식부와, 제1 인식기와는 다른 제2 인식기에, 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정부를 구비한다.

도 1은 각 실시 형태에 관련된 운전 지원 시스템의 전체 상(像)을 개략적으로 나타내는 일례의 모식도이다.
도 2는 각 실시 형태에 따른 운전 지원 시스템의 일례의 구성을 나타내는 블록도이다.
도 3은 각 실시 형태에 적용 가능한 단말 장치의 하드웨어 구성의 예를 나타내는 블록도이다.
도 4는 실시 형태에 적용 가능한 서버 시스템의 하드웨어 구성의 예를 나타내는 블록도이다.
도 5는 제1 실시 형태에 따른 운전 지원 시스템의 일례의 구성을 나타내는 블록도이다.
도 6은 제1 실시 형태에 따른 서버 시스템의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 7은 제1 실시 형태에 따른 서버 시스템에 있어서의 처리를 나타내는 일례의 흐름도이다.
도 8은 제1 실시 형태의 제1 변형예에 따른 서버 시스템의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 9는 제1 실시 형태에 따른 서버 시스템에 있어서의 처리를 나타내는 일례의 흐름도이다.
도 10은 제1 실시 형태의 제2 변형예에 따른 서버 시스템의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 11은 센서 정보에 포함되는 화상 데이터에 의한 화상의 예를 나타내는 모식도이다.
도 12는 제1 실시 형태의 제2 변형예에 따른 서버 시스템에 있어서의 처리를 나타내는 일례의 흐름도이다.
도 13은 제2 실시 형태에 따른 운전 지원 시스템의 일례의 구성을 나타내는 블록도이다.
도 14는 제2 실시 형태에 따른 단말 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 15는 제2 실시 형태에 따른 단말 장치에 있어서의 처리를 나타내는 일례의 흐름도이다.
도 16은 제2 실시 형태의 제1 변형예에 따른 단말 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 17은 제2 실시 형태의 제1 변형예에 따른 단말 장치에 있어서의 처리를 나타내는 일례의 흐름도이다.
도 18은 제2 실시 형태의 제2 변형예에 따른 단말 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 19는 제2 실시 형태의 제2 변형예에 따른 단말 장치에 있어서의 처리를 나타내는 일례의 흐름도이다.
도 20은 제2 실시 형태의 제3 변형예에 따른 단말 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 21은 제2 실시 형태의 제3 변형예에 따른 단말 장치에 있어서의 처리를 나타내는 일례의 흐름도이다.
도 22는 제3 실시 형태에 따른 운전 지원 시스템의 일례의 구성을 나타내는 블록도이다.
도 23은 제3 실시 형태에 따른 단말 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 24는 제3 실시 형태에 따른 단말 장치에 있어서의 처리를 나타내는 일례의 흐름도이다.
도 25는 제3 실시 형태의 제1 변형예에 따른 단말 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 26은 제3 실시 형태의 제1 변형예에 따른 단말 장치에 있어서의 처리를 나타내는 일례의 흐름도이다.
도 27은 제3 실시 형태의 제2 변형예에 따른 단말 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 28은 제3 실시 형태의 제2 변형예에 따른 단말 장치에 있어서의 처리를 나타내는 일례의 흐름도이다.
도 29는 본 개시에 따른 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
도 30은 촬상부의 설치 위치의 예를 나타내는 도면이다.

이하, 본 개시의 실시 형태에 대하여, 도면에 기초하여 상세히 설명한다. 또한, 이하의 실시 형태에 있어서, 동일한 부위에는 동일한 번호를 부여함으로써, 중복되는 설명을 생략한다.

이하, 본 개시의 실시 형태에 대하여, 하기의 순서에 따라 설명한다.

1. 각 실시 형태에 적용 가능한 기술

1-1. 각 실시 형태에 적용 가능한 시스템의 전체 상(像)

1-2. 각 실시 형태에 따른 시스템의 개요

1-3. 하드웨어 구성예

2. 제1 실시 형태

2-1. 제1 변형예

2-2. 제2 변형예

3. 제2 실시 형태

3-1. 제1 변형예

3-2. 제2 변형예

3-3. 제3 변형예

4. 제3 실시 형태

4-1. 제1 변형예

4-2. 제2 변형예

5. 제4 실시 형태

[1. 각 실시 형태에 적용 가능한 기술]

(1-1. 각 실시 형태에 적용 가능한 시스템의 전체 상(像))

우선, 본 개시의 각 실시 형태에 적용 가능한 기술에 대하여 설명한다. 도 1은, 각 실시 형태에 관련된 운전 지원 시스템의 전체 상을 개략적으로 나타내는 일례의 모식도이다. 도 1에 있어서, 운전 지원 시스템은, 각각 네트워크(1)에 접속되는 서버 시스템(2)과, 1 이상의 차량(10)을 포함한다. 네트워크(1)는, 예를 들어 차차간·노차간(V2X) 통신을 행하기 위한 V2X 네트워크이다.

서버 시스템(2)은, 예를 들어 서로 네트워크로 접속되고 협동해서 동작하는 복수의 컴퓨터나 스토리지 장치를 포함하는 클라우드 시스템을 적용할 수 있다. 이것으로 한정하지 않고, 서버 시스템(2)은, 단독의 컴퓨터를 사용한 서버 장치에 의해 구성해도 된다. 서버 시스템(2)은, 센서 정보에 기초하여 물체 인식을 행하는 인식기를 기계 학습에 의해 생성할 수 있다.

차량(10)은, 네트워크(1)에 접속되는 단말 장치(11)가 탑재된다. 단말 장치(11)는, 예를 들어 CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory), 각종 인터페이스를 포함하는 정보 처리 장치로서 구성되고, 센서(12)의 출력에 기초하여 물체 인식 처리를 행하는 인식기가 포함된다. 센서(12)는, 예를 들어 카메라이다. 이하, 센서(12)를 카메라(12)로서 설명을 행한다. 인식기는, 예를 들어 서버 시스템(2)에 의해 생성된 인식기를 네트워크(1)를 통해 다운로드함으로써, 단말 장치(11)에 탑재된다. 이것으로 한정하지 않고, 단말 장치(11)에 미리 인식기를 탑재해 두어도 된다.

단말 장치(11)는, 카메라(12)로 취득된 촬상 화상에 기초하여, 인식기에 의해 물체 인식 처리를 행한다. 단말 장치(11)는, 이 물체 인식 처리에 의해, 차량(10)에 있어서의 운전 지원을 행할 수 있다. 여기서, 새로운 학습 데이터를 사용하여 수시로 인식기를 갱신하면, 인식 처리의 성능의 향상을 도모할 수 있어, 바람직하다. 그래서, 단말 장치(11)는, 카메라(12)에 의해 취득된 촬상 화상에 의한 화상 데이터를, 네트워크(1)를 통해 서버 시스템(2)에 송신한다(스텝 S1, 스텝 S2).

서버 시스템(2)은, 단말 장치(11)로부터 송신된 화상 데이터를 기억부(20)에 축적한다. 기억부(20)는, 예를 들어 하드디스크 드라이브나 대규모 플래시 메모리에 의한 스토리지 장치를 적용할 수 있고, 인식기, 및 물체 인식 처리를 행하는 인식기를 생성하기 위한 파라미터 정보가 더욱 축적되어 있다. 서버 시스템(2)은, 학습부(3)에 있어서, 단말 장치(11)로부터 송신된 화상 데이터를 포함해 기억부(20)에 기억되는 각 데이터를 학습 데이터로서 사용하여(스텝 S3), 인식기의 최적화 및 재학습을 실행한다(스텝 S4). 이 최적화 및 재학습에 의해, 인식기가 갱신된 재학습 후 인식기(21)가 생성된다(스텝 S5).

서버 시스템(2)은, 생성된 재학습 후 인식기(21)를, 네트워크(1)를 통해 단말 장치(11)에 송신한다(스텝 S6, 스텝 S7). 단말 장치(11)는, 네트워크(1)를 통해 송신된 재학습 후 인식기(21)에 의해, 기존의 인식기를 갱신한다. 이와 같이, 새롭게 수집한 학습 데이터를 사용하여 기존의 인식기를 재학습시킴으로써, 인식기에 의한 인식 처리의 성능을 향상시킬 수 있다.

이와 같은 운전 지원 시스템에 있어서, 기계 학습의 방법을 개선하여, 인식기의 재학습을 행하는 것도 생각되는 한편, 새로운 학습 데이터를 사용한 재학습도 효과적이다. 이, 새로운 학습 데이터를 사용한 재학습에 의해 인식기의 성능을 개선하기 위해서는, 성능 개선에 도움이 되는 학습 데이터(예를 들어 화상 데이터)를 계속해서 수집하는 것이 바람직하다.

이때, 재학습에 사용하기 위해서 단말 장치(11)로부터 서버 시스템(2)에 송신되는 시계열 데이터나 화상 데이터는, 일반적으로는, 사이즈가 크고, 그 때문에, 통신 비용이 늘어나버릴 우려가 있다. 또한, 이들 시계열 데이터나 화상 데이터는, 다양한 속성을 갖고 있으며, 이 속성은, 예를 들어 차량(10)마다, 지역마다와 같은 다양한 요인에 의해 상이할 가능성이 있다. 일례로서, 교통 도로 표지에 관한 인식 데이터는, 예를 들어 나라에 따라 다르고, A국에서 취득된 교통 도로 표지를 포함하는 화상 데이터는, B국의 교통 도로 표지를 인식하기 위한 학습 데이터로서는 이용할 수 없을 가능성이 있다.

본 개시의 각 실시 형태에서는, 재학습에 사용하기 위한 새로운 학습 데이터에 대하여, 당해 학습 데이터를 효율적으로 이용 가능하게 하는 것을 목적으로 한다.

(1-2. 각 실시 형태에 따른 시스템의 개요)

다음으로, 각 실시 형태에 따른 운전 지원 시스템의 개요에 대하여 설명한다. 도 2는, 각 실시 형태에 따른 운전 지원 시스템의 일례의 구성을 나타내는 블록도이다. 도 2에서는, 각 실시 형태 및 그 각 변형예에 관련이 깊은 부분은, 굵은 선을 사용하여 나타내고 있다.

도 2에 있어서, 서버 시스템(2)은, 상술한 학습부(3) 및 기억부(20)에 추가하여, 학습 데이터 적용 판정부(22)를 포함한다. 기억부(20)는, 학습 데이터가 축적됨과 함께, 복수의 인식기가 저장된다. 상세는 후술하지만, 학습 데이터 적용 판정부(22)는, 단말 장치(11)로부터 송신되는 센서 정보에 기초하여, 기억부(20)에 기억되는 인식기로부터, 당해 센서 정보를 이용하여 재학습시키는 인식기를 지정한다. 서버 시스템(2)은, 학습 데이터 적용 판정부(22)에 의해 지정된 인식기를 나타내는 정보를, 단말 장치(11)에 송신한다.

도 2에 있어서, 단말 장치(11)는, 인식부(101)와, 제어부(102)와, 축적 판정부(103)와, 축적부(104)와, 기억부(105)와, 축적 정보 출력부(106)와, 송신 판정부(107)와, 통신부(110)를 포함한다. 단말 장치(11)는, 학습 데이터 적용 판정부(108)를 더 포함할 수 있다.

인식부(101)는, 예를 들어 서버 시스템(2)으로부터 다운로드한 인식기를 포함하고, 카메라(12)로 촬상된 촬상 화상에 의한 화상 데이터를 포함하는 센서 정보에 기초하여 물체 인식 처리를 행한다.

이때, 인식부(101)는, 카메라(12)로 촬상된 촬상 화상으로서, RAW 데이터를 사용할 수 있다. 즉, 카메라(12)로 촬상되고, 시인에 사용하는 화상 데이터는, 일반적으로, 디모자이크 처리나, RGB 각 색의 데이터를 각각 예를 들어 8비트로 압축 처리 등의 화상 처리를 실시한다. 이에 반하여, 인식 처리에는, 이와 같은 화상 처리가 불필요한 경우가 많아，특히, 야간이나 원거리 인식에는, 카메라(12)가 갖는 이미지 센서의 출력을 대체로 그대로의 상태에서 사용하는 RAW 데이터의 쪽이, 인식율(인식 스코어)을 높게 할 수 있다. 또한, 인식 스코어는, 인식의 정도를 나타내는 값이며, 예를 들어 0 이상 1 이하의 범위를 취한다. 인식 스코어의 값이 클수록, 인식의 정도가 높음을 나타낸다.

또한, 특히 원거리 물체의 인식을 고려한 경우, 카메라(12)의 해상도(이미지 센서의 해상도)는, 높은 편이 바람직하다.

인식부(101)에 의한 물체 인식 결과는, 차량(10)의 운전 제어를 행하는 제어부(102)에 전달한다. 제어부(102)는, 인식부(101)로부터 전달된 물체 인식 결과에 기초하여, 장해물 회피 등의 자동 운전 제어를 행한다.

여기서, 센서 정보는, 당해 화상 데이터를 포함함과 함께, 카메라(12) 및 카메라(12)에 의한 촬상에 관한 속성 정보인 메타데이터를 포함한다. 메타데이터는, 예를 들어 카메라(12)의 형식 번호나 해상도, 프레임 레이트 등의 카메라의 성능 등에 관한 정보나, 카메라(12)에 있어서 실행된 화상 처리(화이트 밸런스 처리, 게인 조정 처리 등)를 나타내는 정보를 포함할 수 있다. 메타데이터는, 또한 차량(10)의 차종이나 최종 목적지를 나타내는 정보, 차량(10)의 현재 위치에 관한 정보, 차량(10)의 주행 속도 등의, 차량(10)에 관한 정보를 포함할 수 있다.

축적 판정부(103)는, 카메라(12)로부터 출력된 센서 정보를 축적부(104)에 의해 예를 들어 스토리지 장치인 기억부(105)에 축적할지 여부를 판정한다. 구체예는 후술하지만, 축적 판정부(103)는, 예를 들어 센서 정보에 포함되는 화상 데이터나 메타데이터에 기초하여, 당해 센서 정보를 축적부(104)에 의해 기억부(105)에 축적할지 여부를 판정한다. 축적 정보 출력부(106)는, 기억부(105)에 축적된 센서 정보를 외부로 출력한다. 축적 정보 출력부(106)는, 센서 정보를 유선 통신으로 외부로 출력해도 되고, Wi-Fi(등록상표)나 Bluetooth(등록상표)와 같은 무선 통신에 의해 외부로 출력할 수도 있다.

송신 판정부(107)는, 카메라(12)로부터 출력된 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정한다. 예를 들어, 송신 판정부(107)는, 인식부(101)에 의한 인식 결과와, 센서 정보에 기초하여, 당해 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정한다. 송신 판정부(107)는, 당해 센서 정보를 서버 시스템(2)에 송신한다고 판정한 경우에는, 송신하는 센서 정보에 대하여, 서버 시스템(2)에 있어서 학습 데이터 적용 판정부(22)로부터 송신된, 인식기를 나타내는 정보를 부가한다. 송신 판정부(107)에 의해 서버 시스템(2)에 송신하지 않는다고 판정된 센서 정보는, 축적부(104)에 의해 기억부(105)에 축적된다.

이 운전 지원 시스템에 의하면, 단말 장치(11)에서는, 송신 판정부(107)가 센서 정보를 송신할지 여부를 판정하기 위해서, 센서 정보의 송신에 따른 통신 비용을 억제하는 것이 가능하다. 또한, 서버 시스템(2)에서는, 학습 데이터 적용 판정부(22)에 의해, 단말 장치(11)로부터 송신된 센서 정보를 적용하는 인식기를 판정하기 위해서, 센서 정보를, 단말 장치(11)가 포함하는 인식기와는 다른 인식 처리를 행하는 인식기에 적용할 수 있어, 센서 정보를 효율적으로 이용할 수 있다.

(1-3. 하드웨어 구성예)

다음으로, 각 실시 형태에 적용 가능한 서버 시스템(2) 및 단말 장치(11)의 하드웨어 구성의 예에 대하여 설명한다. 도 3은, 각 실시 형태에 적용 가능한 단말 장치(11)의 하드웨어 구성의 예를 나타내는 블록도이다. 도 3에 있어서, 단말 장치(11)는, 각각 버스(1030)에 의해 서로 통신 가능하게 접속된, CPU(1001)와, ROM(1002)과, RAM(1003)과, 인터페이스(I/F)(1004 및 1005)와, 통신 인터페이스(1006)와, GNSS 수신기(1007)를 포함한다.

CPU(1001)는, ROM(1002)에 미리 기억된 프로그램에 따라서, RAM(1003)을 워크 메모리로서 사용하여, 이 단말 장치(11)의 전체의 동작을 제어한다. 또한, ROM(1002)은, CPU(1001)의 제어에 의해, 기억되는 데이터 및 프로그램을 재기입 가능하게 되어 있으며, 예를 들어 상술한, 서버 시스템(2)으로부터 다운로드한 인식기를 구성하는 프로그램을 기억 및 갱신할 수 있다. 이것으로 한정하지 않고, RAM(1003)이 불휘발성 영역을 포함하고, 이 RAM(1003)의 불휘발성 영역에 대하여 인식기를 구성하는 프로그램을 기억시켜도 된다.

인터페이스(1004)는, 카메라(12)와 통신을 행하기 위한 인터페이스이며, 카메라(12)로 촬상된 촬상 화상에 의한 화상 데이터나, 당해 화상 데이터를 포함하는 센서 정보는, 이 인터페이스(1004)로부터 단말 장치(11)에 입력된다. 또한, CPU(1001)는, 이 인터페이스(1004)를 통해 카메라(12)에 대하여 촬상 등의 지시를 내보낼 수 있다.

인터페이스(1005)는, 이 단말 장치(11)가 탑재되는 차량(10)의 제어 시스템에 대한 인터페이스이다. 인식기에 의한 물체 인식 결과 등의 정보는, 이 인터페이스(1005)를 통해 차량(10)의 제어 시스템에 전달한다. 인터페이스(1005)는, CPU(1001)의 지시에 따라 네트워크(1)에 대한 통신을 제어한다.

GNSS 수신기(1007)는, GNSS(Global Navigation Satellite System)에 의한 신호를 수신하고, 현재의 위치를 나타내는 위치 정보를 취득한다. 또한, GNSS 수신기(1007)는, 현재의 위치와 함께, 현재의 표고나 시각을 취득할 수 있다. 또한, 당해 단말 장치(11)가 탑재되는 차량(10)이, 별도로 위치 정보 취득 수단을 갖는 경우, 위치 정보를 이 위치 정보 취득 수단으로부터 취득함으로써, 단말 장치(11)에 있어서의 GNSS 수신기(1007)를 생략할 수 있다.

이와 같이, 단말 장치(11)는, CPU(1001), ROM(1002), RAM(1003)과, 각종 인터페이스를 구비하고, 컴퓨터(정보 처리 장치)로서 기능한다.

또한, 상술한, 단말 장치(11)에 포함되는 인식부(101), 축적 판정부(103), 축적부(104), 축적 정보 출력부(106), 송신 판정부(107) 및 통신부(110)는, CPU(1001)상에서 동작하는 정보 처리 프로그램에 의해 실현된다. 이것으로 한정하지 않고, 예를 들어 축적 판정부(103), 축적부(104), 축적 정보 출력부(106), 송신 판정부(107) 및 통신부(110) 중 일부 또는 전부를, 서로 협동해서 동작하는 하드웨어 회로에 의해 구성해도 된다.

도 4는, 실시 형태에 적용 가능한 서버 시스템(2)의 하드웨어 구성의 예를 나타내는 블록도이다. 또한, 도 4에서는, 서버 시스템(2)이 단체의 컴퓨터(정보 처리 장치)로서 구성되도록 도시되어 있다. 도 4에 있어서, 서버 시스템(2)은, 각각 버스(2010)에 의해 서로 통신 가능하게 접속된, CPU(2000)와, ROM(2001)과, RAM(2002)과, 스토리지 장치(2004)와, 통신 인터페이스(2005)를 포함한다.

CPU(2000)는, ROM(2001)이나 스토리지 장치(2004)에 미리 기억되는 프로그램에 따라서, RAM(2002)을 워크 메모리로서 사용하여, 이 서버 시스템(2)의 전체 동작을 제어한다. CPU(2000)에 의해, 프로그램에 따른 기계 학습에 의해 생성된 인식기를 구성하는 프로그램 및 각 파라미터는, 예를 들어 스토리지 장치(2004)에 기억된다.

통신 인터페이스(2005)는, 네트워크(1)에 대한 통신을 제어하는 인터페이스이다.

또한, 상술한, 서버 시스템(2)에 포함되는 학습부(3) 및 학습 데이터 적용 판정부(22)는, CPU(2000)상에서 동작하는 정보 처리 프로그램에 의해 실현된다. 이것으로 한정하지 않고, 학습부(3) 및 학습 데이터 적용 판정부(22) 중 일부 또는 전부를, 서로 협동해서 동작하는 하드웨어 회로에 의해 구성해도 된다.

[2. 제1 실시 형태]

다음으로, 본 개시의 제1 실시 형태에 대하여 설명한다. 본 개시의 각 실시 형태에서는, 단말 장치(11)에 있어서 취득된 센서 정보를 재학습을 위한 학습 데이터로서 적용하는 인식기를, 복수의 인식기로 지정할 수 있다. 제1 실시 형태에서는, 이 인식기의 지정을, 서버 시스템(2)에 있어서 행한다. 도 5는, 제1 실시 형태에 따른 운전 지원 시스템의 일례의 구성을 나타내는 블록도이다. 제1 실시 형태에서는, 도 5에 빈틈없이 칠해서 나타낸 바와 같이, 도 2에 도시한 단말 장치(11)측의 학습 데이터 적용 판정부(108)를 사용하지 않고, 서버 시스템(2)측의 학습 데이터 적용 판정부(22a)를 사용한다.

이 제1 실시 형태에서는, 단말 장치(11)로부터 송신된 센서 정보에 대하여, 당해 센서 정보에 포함되는 화상 데이터의 촬상 시의 장면(scene)을, 소정의 룰이나 학습에 기초하여 판정한다. 그리고, 예를 들어 판정된 장면마다, 당해 센서 정보를 학습 데이터로서 적용하는 인식기를 지정한다.

여기서, 장면이란, 센싱 즉 카메라(12)에 의한 촬상을 행했을 때의 상황을 나타내는 것으로, 예를 들어 촬상을 행한 장소나 환경 조건을 포함한다. 보다 구체적으로는, 장면을 나타내는 장면 정보는, 이하의 정보를 포함할 수 있다.

·GNSS 수신기(1007) 등에 의해 취득한 현재 위치, 현재의 시각을 나타내는 정보, 차량(10)에 탑재되는 차량 탑재 시스템의 시스템 스테이터스와 같은, 카메라(12)의 외부로부터 취득되는 정보.

·카메라(12)에 있어서의 촬상 시의 노광 시간이나 화이트 밸런스 처리 등의, 센서 내부 정보.

·센싱한 정보(예를 들어 촬상 화상에 의한 화상 데이터)로부터 소정의 룰에 기초하여 추정, 혹은 학습에 의해 추정한 정보.

학습 데이터 적용 판정부(22a)는, 상술한 바와 같이 하여 취득한 장면 정보에 기초하여, 룰베이스나 데이터베이스 탐색에 의해, 적용 가능한 인식기를 추정한다. 이것으로 한정하지 않고, 학습 데이터 적용 판정부(22a)는, 학습에 의해, 장면 정보에 기초하여 적용 가능한 인식기를 직접적으로 지정할 수도 있다.

도 6은, 제1 실시 형태에 따른 서버 시스템(2)의 기능을 설명하기 위한 일례의 기능 블록도이다. 도 6에 있어서, 서버 시스템(2)은, 통신부(200)와, 학습 데이터 적용 판정부(22a)와, 학습 데이터 축적부(201)와, 학습부(202)와, 학습 결과 이용부(203)를 포함한다. 또한, 학습 데이터 적용 판정부(22a)는, 메타데이터 해석부(221)와, 학습 데이터 판정부(222)를 포함한다. 이들 통신부(200), 학습 데이터 적용 판정부(22a)(메타데이터 해석부(221) 및 학습 데이터 판정부(222)), 학습 데이터 축적부(201), 학습부(202) 및 학습 결과 이용부(203)는, CPU(2000)상에서 동작하는 정보 처리 프로그램에 의해 실현된다.

여기서, 서버 시스템(2)은, 복수의 인식기(210₁, 210₂, 210₃, 210₄, …)를 갖고 있다. 또한, 이하에서는, 이들 인식기(210₁, 210₂, 210₃, 210₄, …)를 구별할 필요가 없는 경우에는, 이들을 인식기(210)로 대표시켜서 설명을 행한다. 학습 데이터 축적부(201)는, 이들 복수의 인식기(210)를 생성하기 위한 학습 데이터가, 인식기(210)마다 축적된다.

통신부(200)는, 통신 인터페이스(2005)를 제어하여, 예를 들어 단말 장치(11)로부터 송신된 센서 정보를 수신한다. 메타데이터 해석부(221)는, 센서 정보로부터 메타데이터를 추출하고, 추출된 메타데이터를 해석한다. 학습 데이터 판정부(222)는, 메타데이터의 해석 결과에 기초하여, 복수의 인식기(210) 중 당해 센서 정보를 적용 가능한 인식기(210)를 지정한다.

이때, 학습 데이터 판정부(222)는, 당해 센서 정보를 송신한 단말 장치(11)가 갖는 인식기와는 다른 인식기를, 당해 센서 정보를 적용 가능한 인식기(210)로서 지정할 수 있다. 예를 들어, 학습 데이터 판정부(222)는, 당해 센서 정보가 상술한 장면 정보의 어느 것에 대응하는지를 판정하고, 당해 센서 정보가 대응하는 장면 정보에 따라서, 당해 센서 정보를 적용 가능한 인식기(210)를 지정한다.

학습 데이터 판정부(222)는, 당해 센서 정보에 대하여 예를 들어 지정한 인식기(210)를 나타내는 정보를 부가하여 학습 데이터 축적부(201)에 축적한다.

학습부(202)는, 학습 데이터 축적부(201)에 지정된 인식기(210)마다 축적된 학습 데이터를 사용하여, 당해 인식기(210)의 재학습을 행하고, 당해 인식기(210)를 갱신한다. 학습 결과 이용부(203)는, 학습부(202)로 재학습되고 갱신된 인식기(210)의 이용 처리를 행한다. 예를 들어, 학습 결과 이용부(203)는, 갱신된 인식기(210)를, 대응하는 단말 장치(11)에 송신한다.

도 7은, 제1 실시 형태에 따른 서버 시스템(2)에 있어서의 처리를 나타내는 일례의 흐름도이다. 처음의 스텝 S100에서, 서버 시스템(2)은, 통신부(200)에 의해 통신 처리를 행하고, 단말 장치(11)로부터 네트워크(1)를 통해 송신된 센서 정보를 수신한다. 이 스텝 S100의 처리는, 복수의 단말 장치(11)의 각각으로부터 송신된 각 센서 정보를 수신하는 처리를 포함한다.

다음의 스텝 S101에서, 서버 시스템(2)은, 메타데이터 해석부(221)에 의해, 스텝 S100의 통신 처리에서 취득된 각 센서 정보로부터, 화상 데이터 및 메타데이터를 각각 취득한다. 다음의 스텝 S102에서, 서버 시스템(2)은, 메타데이터 해석부(221)에 의해, 스텝 S101에서 취득된 각 메타데이터의 해석 처리를 실행한다.

다음의 스텝 S103st는, 스텝 S103ed와의 사이에서, 스텝 S100의 통신 처리에서 취득된 모든 센서 정보에 대하여 실행하는 것을 나타내는 루프 처리의 개시를 나타내고 있다. 다음의 스텝 S104st는, 스텝 S104ed와의 사이에서, 각 센서 정보의 모든 적용처, 즉 각 인식기(210)에 대하여 실행하는 것을 나타내는 루프 처리의 개시를 나타내고 있다.

스텝 S105에서, 서버 시스템(2)은, 학습 데이터 판정부(222)에 의해, 메타데이터 적용 판정 처리가 실행된다. 즉, 스텝 S105에서, 학습 데이터 판정부(222)는, 스텝 S100의 통신 처리에서 취득된 각 센서 정보 중 하나의 센서 정보(대상의 센서 정보로 함)에 대하여, 메타데이터에 기초하여, 각 인식기(210) 중 대상의 인식기(210)에 적용 가능한지를 조사한다.

다음의 스텝 S106에서, 학습 데이터 판정부(222)는, 대상의 센서 정보를 대상의 인식기(210)에 적용 가능하다고 판정한 경우(스텝 S106, 「예」), 처리를 스텝 S107로 이행시킨다. 스텝 S107에서, 서버 시스템(2)은, 학습 데이터 축적부(201)에 의해, 적용처의 학습 데이터의 축적 처리가 실행된다. 즉, 스텝 S107에서, 학습 데이터 축적부(201)는, 대상의 센서 정보를, 스텝 S106에서 적용 가능하다고 판정된, 대상의 인식기(210)에 대한 학습 데이터로서 축적한다.

스텝 S107의 처리 후, 서버 시스템(2)은, 처리를 스텝 S104ed로부터 스텝 S104st로 되돌리고, 각 인식기(210) 중 다음의 인식기(210)를 대상의 인식기(210)로서, 스텝 S105 및 스텝 S106의 처리가 실행된다.

한편, 스텝 S106에서, 대상의 센서 정보를 대상의 인식기(210)에 적용 가능하지 않다고 판정한 경우(스텝 S106, 「아니오」), 처리를 스텝 S104ed로부터 스텝 S104st로 되돌린다.

대상의 센서 정보에 대하여, 각 인식기(210)에 대한 스텝 S104st 내지 스텝 S104ed의 처리가 종료되면, 서버 시스템(2)은, 처리를 스텝 S103ed로부터 스텝 S103st로 되돌리고, 스텝 S100의 통신 처리에서 취득된 각 센서 정보 중 다음의 센서 정보를 대상의 센서 정보로서, 스텝 S103st 내지 스텝 S103ed의 처리를 반복한다.

각 센서 정보에 대한 스텝 S103st 내지 스텝 S103ed의 처리가 종료되면, 서버 시스템(2)은, 처리를 스텝 S108로 이행시킨다. 스텝 S108에서, 서버 시스템(2)은, 학습부(202)에 의해, 상술까지의 처리에 의해 학습 데이터 축적부(201)에 축적된 각 센서 정보를 학습 데이터로서 사용하여, 각각 대응하는 인식기(210)의 재학습 처리를 행한다. 스텝 S108의 처리가 종료되면, 서버 시스템(2)은, 처리를 스텝 S109로 이행시키고, 학습 결과 이용부(203)에 의해, 스텝 S108에서 재학습된 각 인식기(210)의 이용 처리를 실행한다.

이와 같이, 제1 실시 형태에서는, 각 단말 장치(11)로부터 송신된 각 센서 정보를, 메타데이터에 기초하여 적용 가능하게 된 인식기(210)의 학습 데이터로서 적용한다. 그 때문에, 각 단말 장치(11)로부터 송신된 각 센서 정보를, 송신원의 단말 장치(11)가 당해 센서 정보에 대하여 사용하는 인식기와는 다른 인식기에 대해서도, 학습 데이터로서 적용할 수 있고, 센서 정보를 학습 데이터로서 보다 효율적으로 이용 가능하다.

(2-1. 제1 변형예)

다음으로, 제1 실시 형태의 제1 변형예에 대하여 설명한다. 제1 실시 형태의 제1 변형예는, 인식기의 지정을 서버 시스템(2)에서 행하는 경우에 있어서, 서버 시스템(2)은, 서버 시스템(2)이 갖는 복수의 인식기(210)로부터, 단말 장치(11)로부터 송신된 센서 정보를 적용 가능하게 변환할 수 있는 인식기(210)를, 당해 센서 정보를 학습 데이터로서 적용하는 인식기로 지정한다. 또한, 제1 실시 형태의 제1 변형예에서는, 도 5를 이용하여 설명한 제1 실시 형태에 따른 운전 지원 시스템의 구성을 적용할 수 있다.

도 8은, 제1 실시 형태의 제1 변형예에 따른 서버 시스템(2)의 기능을 설명하기 위한 일례의 기능 블록도이다. 제1 실시 형태의 제1 변형예에서는, 도 8에 도시한 바와 같이, 도 2에 도시한 단말 장치(11)측의 학습 데이터 적용 판정부(108)를 사용하지 않고, 서버 시스템(2)측의 학습 데이터 적용 판정부(22b)를 사용한다. 또한, 학습 데이터 적용 판정부(22b)는, 상술한 제1 실시 형태의 학습 데이터 적용 판정부(22a)의 구성과는 달리, 도메인 해석부(230), 도메인 평가부(231) 및 학습 데이터 판정부(232)를 포함한다.

이 제1 실시 형태의 제1 변형예에서는, 서버 시스템(2)은, 도메인 어댑테이션(Domain Adaptation)의 적용성을 사용하여 센서 정보의 도메인을 변환한다. 여기서, 도메인은, 지역(나라 등), 환경(낮/밤, 고속 도로/일반 도로 등)과 같은, 대상을 한정하기 위한 영역(카테고리)을 나타낸다. 도메인 어댑테이션은, 인식기의 대상이 되는 영역(대상물, 나라, 태스크, …)을 변환하는 기술이다. 일례로서, 도메인 어댑테이션에 의해, 일본의 데이터로 학습한 인식기를 미국의 데이터로 인식 가능하게 한다. 이 경우, 일본과 미국이라는 2개의 도메인을 변환하게 된다.

즉, 제1 실시 형태의 제1 변형예에 의한 학습 데이터 적용 판정부(22b)는, 인식기(210)의 대상이 되는 영역을, 도메인 어댑테이션이 가능한 도메인의 조합 룰에 맞춘다. 구체적인 예로서, N개의 도메인 #1, 도메인 #2, 도메인 #3, …, 도메인 #N을 생각한다. 이 N개의 도메인에 있어서, 유향 그래프로 표시되는 변환 가능 도메인의 조합이, 예를 들어 하기와 같이 존재하는 것으로 한다.

·도메인 #1 → 도메인 #2, 도메인 #5, 도메인 #7, …

·도메인 #2 → 도메인 #1, 도메인 #3, …

도메인 #i가 입력된 경우에, 도메인 #j로 몇단계에서 변환할 수 있는지를 나타내는 스텝 수를, S_{ij}로 한다. 또한, 홉 수당 평가값을, α(<1)로 하고, 도메인 #i로부터 도메인 #j로 변환한 경우의 평가값을, β_{ij}(<1)로 한다.

입력된 센서 정보의 도메인 #a로부터 도메인 #b로의 평가값 Ev는, 다음 식 (1)로 구해진다.

이 평가값 Ev에 대하여 임계값을 설정하고, 평가값 Ev가 임계값보다 높은 인식기(210)를, 적용 가능한 인식기(210)로서 설정한다.

도메인 해석부(230)는, 통신부(200)가 단말 장치(11)로부터 수신한 센서 정보를 해석하고, 당해 센서 정보에 관련된 도메인을 구한다. 도메인 해석부(230)는, 센서 정보에 포함되는 화상 데이터로부터 도메인을 구해도 되고, 메타데이터로부터 도메인을 구해도 된다. 도메인 평가부(231)는, 도메인 해석부(230)로 구해진 도메인에 기초하여, 예를 들어 서버 시스템(2)이 갖는 각 인식기(210)에 대하여 상술한 식 (1)에 의해 평가값 Ev를 산출한다.

학습 데이터 판정부(232)는, 도메인 평가부(231)로 산출된 각 평가값 Ev를 임계값과 비교하고, 평가값 Ev가 임계값보다 높은 인식기(210)를, 당해 센서 정보를 적용 가능한 인식기(210)로서 지정한다.

도 9는, 제1 실시 형태의 제1 변형예에 따른 서버 시스템(2)에 있어서의 처리를 나타내는 일례의 흐름도이다. 처음의 스텝 S200에서, 서버 시스템(2)은, 통신부(200)에 의해 통신 처리를 행하고, 단말 장치(11)로부터 네트워크(1)를 통해 송신된 센서 정보를 수신한다. 이 스텝 S200의 처리는, 복수의 단말 장치(11)의 각각으로부터 송신된 각 센서 정보를 수신하는 처리를 포함한다.

다음의 스텝 S201에서, 서버 시스템(2)에 있어서, 도메인 해석부(230)는, 스텝 S200의 통신 처리에서 수신된 센서 정보를 취득하고, 다음의 스텝 S202에서, 스텝 S201에서 취득된 센서 정보를 해석하여, 당해 센서 정보에 관련된 도메인을 구한다.

다음의 스텝 S203st는, 스텝 S203ed와의 사이에서, 스텝 S200의 통신 처리에서 취득된 모든 센서 정보에 대하여 실행하는 것을 나타내는 루프 처리의 개시를 나타내고 있다. 다음의 스텝 S204st는, 스텝 S204ed와의 사이에서, 각 센서 정보의 모든 적용처, 즉 각 도메인 변환처에 대하여 실행하는 것을 나타내는 루프 처리의 개시를 나타내고 있다.

스텝 S205에서, 서버 시스템(2)에 있어서, 도메인 해석부(230)는, 변환처로서 대상의 도메인에 대하여, 대상의 센서 정보로부터 구해진 도메인으로부터의 변환 경로를 산출한다. 다음의 스텝 S206에서, 서버 시스템(2)에 있어서, 도메인 평가부(231)는, 스텝 S205에서 산출된 도메인의 변환 경로에 대하여, 상술한 식 (1)에 따라 평가값 Ev를 산출한다.

다음의 스텝 S207에서, 학습 데이터 판정부(232)는, 스텝 S206에서 산출된 평가값 Ev가 임계값을 초과하였는지 여부를 판정한다.

학습 데이터 판정부(232)는, 스텝 S207에서, 평가값 Ev가 임계값을 초과하였다고 판정한 경우(스텝 S207, 「예」), 처리를 스텝 S208로 이행한다. 스텝 S208에서, 서버 시스템(2)에 있어서 학습 데이터 축적부(201)는, 적용처의 학습 데이터의 축적 처리를 실행한다. 즉, 스텝 S208에서, 학습 데이터 축적부(201)는, 대상의 센서 정보를, 스텝 S207에서 적용 가능하다고 판정된, 대상의 인식기(210)에 대한 학습 데이터로서 축적한다.

스텝 S208의 처리 후, 서버 시스템(2)은, 처리를 스텝 S204ed로부터 스텝 S204st로 되돌리고, 각 도메인 중 다음의 도메인을 변환처의 대상의 도메인으로서, 스텝 S205 내지 스텝 S207의 처리가 실행된다.

한편, 학습 데이터 판정부(232)는, 스텝 S207에서, 평가값 Ev가 임계값 이하라고 판정한 경우(스텝 S207, 「아니오」), 처리를 스텝 S204ed로부터 스텝 S204st로 되돌린다.

대상의 센서 정보에 대하여, 각 도메인에 대한 스텝 S204st 내지 스텝 S204ed의 처리가 종료되면, 서버 시스템(2)은, 처리를 스텝 S203ed로부터 스텝 S203st로 되돌리고, 스텝 S200의 통신 처리에서 취득된 각 센서 정보 중 다음의 센서 정보를 대상의 센서 정보로서, 스텝 S203st 내지 스텝 S203ed의 처리를 반복한다.

각 센서 정보에 대한 스텝 S203st 내지 스텝 S203ed의 처리가 종료되면, 서버 시스템(2)은, 처리를 스텝 S209로 이행시킨다. 스텝 S209에서, 서버 시스템(2)은, 학습부(202)에 의해, 상술까지의 처리에 의해 학습 데이터 축적부(201)에 축적된 각 센서 정보를 학습 데이터로서 사용하여, 각각 대응하는 인식기(210)의 재학습 처리를 행한다. 스텝 S209의 처리가 종료되면, 서버 시스템(2)은, 처리를 스텝 S210으로 이행시키고, 학습 결과 이용부(203)에 의해, 스텝 S209에서 재학습된 각 인식기(210)의 이용 처리를 실행한다.

이와 같이, 제1 실시 형태의 제1 변형예에 의하면, 단말 장치(11)로부터 송신된 센서 정보를, 센서 정보가 취득되었을 때의 도메인과는 다른 도메인에 적용 시킬 수 있다. 이에 의해, 당해 센서 정보의 보다 효율적인 이용이 가능해진다.

(2-2. 제2 변형예)

다음으로, 제1 실시 형태의 제2 변형예에 대하여 설명한다. 제1 실시 형태의 제2 변형예는, 인식기의 지정을 서버 시스템(2)에서 행하는 경우에 있어서, 서버 시스템(2)은, 서버 시스템(2)이 갖는 복수의 인식기(210)로부터, 단말 장치(11)로부터 송신된 센서 정보가 갖는 화상 데이터에 포함되는 오브젝트에 따라서, 당해 센서 정보를 학습 데이터로서 적용하는 인식기로 지정한다. 또한, 제1 실시 형태의 제2 변형예에서는, 도 5를 이용하여 설명한 제1 실시 형태에 따른 운전 지원 시스템의 구성을 적용할 수 있다.

도 10은, 제1 실시 형태의 제2 변형예에 따른 서버 시스템(2)의 기능을 설명하기 위한 일례의 기능 블록도이다. 제1 실시 형태의 제2 변형예에서는, 도 10에 도시한 바와 같이, 도 2에 도시한 단말 장치(11)측의 학습 데이터 적용 판정부(108)를 사용하지 않고, 서버 시스템(2)측의 학습 데이터 적용 판정부(22c)를 사용한다. 또한, 학습 데이터 적용 판정부(22c)는, 상술한 제1 실시 형태의 학습 데이터 적용 판정부(22a)의 구성과는 달리, 센싱 해석부(240) 및 학습 데이터 판정부(241)를 포함한다.

도 10에 있어서, 센싱 해석부(240)는, 통신부(200)에 의해 수신된 센서 정보에 포함되는 화상 데이터를 해석한다. 학습 데이터 판정부(241)는, 센싱 해석부(240)에 의해 해석된 정보에 기초하여, 복수의 인식기(210) 중 당해 센서 정보를 적용 가능한 인식기(210)를 지정한다.

보다 구체적으로 설명하자면, 제1 실시 형태의 제2 변형예에서는, 단말 장치(11)로부터 송신된 센서 정보에 포함되는 화상 데이터를 해석하고, 당해 화상 데이터에 포함되는 오브젝트나 물체 클래스를 구한다. 그리고, 구한 오브젝트나 물체 클래스마다, 데이터베이스를 사용하여, 당해 센서 정보를 학습 데이터로서 적용 가능한지 여부를 탐색한다. 데이터베이스의 내용으로서는, 적용 후보의 인식기와 대상물의 페어를 적용할 수 있다. 이 경우, 데이터베이스의 내용은, 적용 가능한 대상이 열거된 포지티브 리스트에 한정되지 않고, 네거티브 리스트(적용 불가의 대상물의 열거)여도 되고, 포지티브 리스트와 네거티브 리스트의 조합이어도 된다.

제1 실시 형태의 제2 변형예에 적용 가능한 인식기에 대한 데이터베이스의 예로서, 예를 들어 하기가 고려된다.

·표지 인식기: 일본 국내에서 이용하는 경우, 타국 표지의 네거티브 리스트

·보행자 검출기: 일본 국내에서 이용하는 경우, 보행자의 포지티브 리스트

도 11은, 센서 정보에 포함되는 화상 데이터에 의한 화상(50)의 예를 나타내는 모식도이다. 도 11에 도시된 화상(50)은, 오브젝트로서 보행자(51)와, 교통 도로 표지(52)와, 차량(53)을 포함하고 있다.

센싱 해석부(240)는, 이 화상(50)을 해석하여 각 오브젝트(보행자(51), 교통 도로 표지(52) 및 차량(53))를 검출한다. 여기서, 일본 국내에서 이용하는 인식기에 대하여, 검출된 보행자(51) 및 교통 도로 표지(52)가 미국의 것인 경우에 대하여 생각한다. 학습 데이터 판정부(241)는, 센싱 해석부(240)의 해석 결과에 기초하여, 화상(50)에 타국 표지가 존재하기 때문에, 표지 인식기를 당해 센서 정보에 적용하는 인식기로서 비선택으로 한다. 한편, 화상(50)에 보행자가 존재하기 때문에, 보행자 검출기를 당해 센서 정보에 적용하는 인식기로서 선택한다.

도 12는, 제1 실시 형태의 제2 변형예에 따른 서버 시스템(2)에 있어서의 처리를 나타내는 일례의 흐름도이다. 처음의 스텝 S300에서, 서버 시스템(2)은, 통신부(200)에 의해 통신 처리를 행하고, 단말 장치(11)로부터 네트워크(1)를 통해 송신된 센서 정보를 수신한다. 이 스텝 S300의 처리는, 복수의 단말 장치(11)의 각각으로부터 송신된 각 센서 정보를 수신하는 처리를 포함한다.

다음의 스텝 S301에서, 서버 시스템(2)에 있어서, 센싱 해석부(240)는, 스텝 S300의 통신 처리에서 수신된 센서 정보를 취득하고, 다음의 스텝 S302에서, 스텝 S301에서 취득된 센서 정보를 해석하여, 당해 센서 정보가 갖는 화상 데이터에 포함되는 오브젝트나 물체 클래스를 구한다. 이하, 화상 데이터로부터 해석되는 오브젝트 및 물체 클래스 중, 오브젝트를 예로 들어 설명을 행한다.

다음의 스텝 S303st는, 스텝 S303ed와의 사이에서, 스텝 S300의 통신 처리에서 취득된 모든 센서 정보에 대하여 실행하는 것을 나타내는 루프 처리의 개시를 나타내고 있다. 다음의 스텝 S304st는, 스텝 S304ed와의 사이에서, 각 센서 정보의 모든 적용처, 즉 각 인식기(210)에 대하여 실행하는 것을 나타내는 루프 처리의 개시를 나타내고 있다.

스텝 S305에서, 서버 시스템(2)에 있어서, 학습 데이터 판정부(241)는, 스텝 S302에서 대상의 센서 정보가 갖는 화상 데이터에 포함되는 각 오브젝트에 기초하여, 당해 센서 정보가, 각 인식기(210) 중 대상의 인식기(210)에 적용 가능한지를 조사한다.

학습 데이터 판정부(241)는, 스텝 S306에서, 대상의 센서 정보를 대상의 인식기(210)에 적용 가능하다고 판정한 경우(스텝 S306, 「예」), 처리를 스텝 S307로 이행시킨다. 스텝 S307에서, 서버 시스템(2)에 있어서 학습 데이터 축적부(201)는, 적용처의 학습 데이터의 축적 처리를 실행한다. 즉, 스텝 S307에서, 학습 데이터 축적부(201)는, 대상의 센서 정보를, 스텝 S306에서 적용 가능하다고 판정된, 대상의 인식기(210)에 대한 학습 데이터로서 축적한다.

스텝 S307의 처리 후, 서버 시스템(2)은, 처리를 스텝 S304ed로부터 스텝 S304st로 되돌리고, 각 인식기(210) 중 다음의 인식기(210)를 대상의 인식기(210)로서, 스텝 S305 및 스텝 S306의 처리가 실행된다.

한편, 학습 데이터 판정부(232)는, 스텝 S306에서, 대상의 센서 정보를 대상의 인식기(210)에 적용 가능하지 않다고 판정한 경우(스텝 S306, 「아니오」), 처리를 스텝 S304ed로부터 스텝 S304st로 되돌린다.

대상의 센서 정보에 대하여, 각 인식기(210)에 대한 스텝 S304st 내지 스텝 S304ed의 처리가 종료되면, 서버 시스템(2)은, 처리를 스텝 S303ed로부터 스텝 S303st로 되돌리고, 스텝 S300의 통신 처리에서 취득된 각 센서 정보 중 다음의 센서 정보를 대상의 센서 정보로서, 스텝 S303st 내지 스텝 S303ed의 처리를 반복한다.

각 센서 정보에 대한 스텝 S303st 내지 스텝 S303ed의 처리가 종료되면, 서버 시스템(2)은, 처리를 스텝 S308로 이행시킨다. 스텝 S308에서, 서버 시스템(2)은, 학습부(202)에 의해, 상술까지의 처리에 의해 학습 데이터 축적부(201)에 축적된 각 센서 정보를 학습 데이터로서 사용하여, 각각 대응하는 인식기(210)의 재학습 처리를 행한다. 스텝 S308의 처리가 종료되면, 서버 시스템(2)은, 처리를 스텝 S309로 이행시키고, 학습 결과 이용부(203)에 의해, 스텝 S308에서 재학습된 각 인식기(210)의 이용 처리를 실행한다.

이와 같이, 제1 실시 형태의 제2 변형예에서는, 단말 장치(11)로부터 송신된 센서 정보가 갖는 화상 데이터에 포함되는 오브젝트나 물체 클래스에 기초하여, 당해 센서 정보를 적용 가능한 인식기(210)를 선택하고 있다. 그 때문에, 당해 센서 정보의 보다 효율적인 이용이 가능해진다.

[3. 제2 실시 형태]

다음으로, 본 개시의 제2 실시 형태에 대하여 설명한다. 상술한 제1 실시 형태 및 그 각 변형예에서는, 단말 장치(11)로부터 송신된 센서 정보를 적용시키는 인식기(210)를, 서버 시스템(2)측에서 지정하고 있었다. 이에 반하여, 제2 실시 형태에서는, 단말 장치(11)가, 송신하는 센서 정보를 적용하는 인식기(210)를 지정한다. 또한, 제2 실시 형태에서는, 단말 장치(11)는, 취득한 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정한다.

도 13은, 제2 실시 형태에 따른 운전 지원 시스템의 일례의 구성을 나타내는 블록도이다. 도 13에 도시된 운전 지원 시스템에서는, 단말 장치(11)에 있어서 도 2에 도시한 학습 데이터 적용 판정부(108)를 사용한다. 이 경우, 예를 들어 서버 시스템(2)측의 학습 데이터 적용 판정부(22)는, 서버 시스템(2)이 갖는 인식기(210)를 나타내는 정보를, 단말 장치(11)측의 학습 데이터 적용 판정부(108)에 송신한다. 또한, 제2 실시 형태 및 후술하는 각 변형예에 있어서는, 도면 중에 빈틈없이 칠해서 나타낸 바와 같이, 송신 판정부(107a)의 중심적인 역할을 한다.

학습 데이터 적용 판정부(108)는, 예를 들어 상술한 제1 실시 형태와 마찬가지로 하여, 카메라(12)로부터 취득된 센서 정보가 갖는 메타데이터에 기초하여, 당해 센서 정보를, 서버 시스템(2)이 갖는 인식기(210) 중 어느 것에 적용시킬지를 판정한다. 송신 판정부(107a)는, 서버 시스템(2)에 송신하는 센서 정보에 대하여, 학습 데이터 적용 판정부(108)에 의해 당해 센서 정보를 적용한다고 판정된 인식기(210)를 나타내는 정보를 부가하여, 서버 시스템(2)에 송신한다. 이때, 송신 판정부(107a)는, 예를 들어 센서 정보에 포함되는 메타데이터 등에 기초하여, 당해 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정한다. 이에 의해, 센서 정보의 효율적인 이용이 가능하게 됨과 함께, 센서 정보를 송신하기 위한 통신 비용을 억제하는 것이 가능하다.

도 14는, 제2 실시 형태에 따른 단말 장치(11)의 기능을 설명하기 위한 일례의 기능 블록도이다. 도 14에 있어서, 단말 장치(11)는, 촬상부(300)와, 인식부(101)와, 인식 결과 이용부(301)와, 학습 데이터 적용 판정부(108a)와, 송신 판정부(107a)와, 통신부(110)를 포함한다. 이들 촬상부(300), 인식부(101), 학습 데이터 적용 판정부(108a), 송신 판정부(107a) 및 통신부(110)는, CPU(1001)상에서 동작하는 정보 처리 프로그램에 의해 실현된다.

촬상부(300)는, 카메라(12)를 제어하여 촬상 화상에 의한 화상 데이터와, 촬상에 관한 메타데이터를 취득한다. 촬상부(300)는, 취득한 화상 데이터 및 메타데이터를, 센서 정보로서 출력한다. 인식부(101)는, 예를 들어 서버 시스템(2)으로부터 네트워크(1)를 통해 취득한 인식기(210)를 사용하여, 촬상부(300)로부터 출력된 센서 정보에 포함되는 화상 데이터에 대하여, 물체 인식 처리를 실행한다. 인식 결과 이용부(301)는, 예를 들어 이 단말 장치(11)가 탑재되는 차량(10)의 제어 시스템이 포함되고, 물체 인식 처리의 결과에 따라서 장해물 회피 등의 제어를 행한다.

메타데이터 해석부(250) 및 학습 데이터 판정부(222)는, 예를 들어 제1 실시 형태에서 설명한 메타데이터 해석부(221) 및 학습 데이터 판정부(222)와 동등한 기능을 갖는다. 예를 들어, 메타데이터 해석부(250)는, 센서 정보로부터 메타데이터를 추출하고, 추출된 메타데이터를 해석한다. 학습 데이터 판정부(251)는, 메타데이터의 해석 결과에 기초하여, 서버 시스템(2)이 갖는 복수의 인식기(210) 중 당해 센서 정보를 적용 가능한 인식기(210)를 지정한다.

송신 판정부(107a)는, 촬상부(300)로 취득된 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정한다. 예를 들어, 송신 판정부(107a)는, 센서 정보를 송신할지 여부를, 당해 센서 정보에 기초하여 판정한다. 이것으로 한정하지 않고, 송신 판정부(107a)는, 센서 정보를 송신할지 여부를, 당해 센서 정보에 기초하는 인식부(101)의 인식 결과에 따라서 판정할 수도 있다.

통신부(110)는, 송신 판정부(107a)로 송신을 행한다고 판정된 센서 정보를, 네트워크(1)를 통해 서버 시스템(2)에 송신한다.

도 15는, 제2 실시 형태에 따른 단말 장치(11)에 있어서의 처리를 나타내는 일례의 흐름도이다. 처음의 스텝 S400에서, 단말 장치(11)는, 촬상부(300)에 의해 촬상 처리를 행하고, 카메라(12)로부터 촬상 화상에 의한 화상 데이터와, 카메라(12)에 의한 촬상에 관한 메타데이터를 포함하는 센서 정보를 수신한다.

다음의 스텝 S401에서, 단말 장치(11)는, 인식부(101)에 의해, 스텝 S400의 촬상 처리에서 취득된 센서 정보에 기초하여 물체 인식 처리를 행한다. 다음의 스텝 S402에서, 단말 장치(11)는, 인식 결과 이용부(301)에 의해, 인식부(101)의 물체 인식 처리에 의한 인식 결과를 사용한 처리를 실행한다.

다음의 스텝 S403에서, 메타데이터 해석부(250)에 의해, 스텝 S400의 촬상 처리에서 취득된 센서 정보로부터 메타데이터를 취득하고, 취득한 메타데이터의 해석 처리를 실행한다.

다음의 스텝 S404st는, 스텝 S404ed와의 사이에서, 센서 정보의 모든 적용처, 즉 서버 시스템(2)이 갖는 각 인식기(210)에 대하여 실행하는 것을 나타내는 루프 처리의 개시를 나타내고 있다.

스텝 S405에서, 단말 장치(11)는, 학습 데이터 판정부(251)에 의해, 메타데이터 적용 판정 처리가 실행된다. 즉, 스텝 S405에서, 학습 데이터 판정부(251)는, 스텝 S400의 촬상 처리에서 취득된 센서 정보에 대하여, 메타데이터에 기초하여, 각 인식기(210) 중 대상의 인식기(210)에 적용 가능한지를 조사한다. 여기서, 학습 데이터 판정부(251)는, 제1 실시 형태에서 설명한 판정 방법을 적용할 수 있다. 즉 학습 데이터 판정부(251)는, 센서 정보에 대하여, 당해 센서 정보에 포함되는 화상 데이터의 촬상 시의 장면을, 소정의 룰이나 학습에 기초하여 판정하고, 예를 들어 판정된 장면마다, 당해 센서 정보를 학습 데이터로서 적용하는 인식기(210)를 지정한다.

다음의 스텝 S406에서, 학습 데이터 판정부(251)는, 당해 센서 정보를 대상의 인식기(210)에 적용 가능하다고 판정한 경우(스텝 S406, 「예」), 처리를 스텝 S407로 이행시킨다. 스텝 S407에서, 단말 장치(11)는, 축적 판정부(103)에 의해, 적용처의 학습 데이터의 축적 처리가 실행된다. 즉, 스텝 S407에서, 축적 판정부(103)는, 당해 센서 정보를, 스텝 S406에서 적용 가능하다고 판정된, 대상의 인식기(210)에 대한 학습 데이터로서 축적하도록 판정한다. 축적부(104)는, 이 판정 에 따라서, 당해 센서 정보를, 기억부(105)에 기억, 축적한다.

스텝 S407의 처리 후, 단말 장치(11)는, 처리를 스텝 S404ed로부터 스텝 S404st로 되돌리고, 각 인식기(210) 중 다음의 인식기(210)를 대상의 인식기(210)로서, 스텝 S405 내지 스텝 S407의 처리가 실행된다.

한편, 스텝 S406에서, 대상의 센서 정보를 대상의 인식기(210)에 적용 가능하지 않다고 판정한 경우(스텝 S406, 「아니오」), 처리를 스텝 S404ed로부터 스텝 S404st로 되돌린다.

당해 센서 정보에 대하여, 각 인식기(210)에 대한 스텝 S404st 내지 스텝 S404ed의 처리가 종료되면, 단말 장치(11)는, 처리를 스텝 S408로 이행시킨다. 스텝 S408에서, 단말 장치(11)는, 송신 판정부(107a)에 의해, 스텝 S404st 내지 스텝 S404ed의 처리에서 당해 센서 정보의 적용처로서 판정된 인식기(210)의 수가 충분한지(예를 들어, 임계값을 초과하였는지) 여부를 판정한다. 송신 판정부(107a)는, 당해 센서 정보의 적용처로서 판정된 인식기(210)의 수가 충분하지 않다고 판정한 경우, 당해 센서 정보를 서버 시스템(2)에 송신하지 않고, 이 도 15의 흐름도에 의한 일련의 처리를 종료시킨다.

한편, 송신 판정부(107a)는, 스텝 S408에서, 당해 센서 정보의 적용처로서 판정된 인식기(210)의 수가 충분하다고 판정한 경우, 처리를 스텝 S409로 이행시킨다. 송신 판정부(107a)는, 스텝 S409에서, 당해 센서 정보의 송신 처리를 행한다. 송신 판정부(107a)는, 예를 들어 스텝 S407에 있어서 기억부(105)에 기억된 센서 정보에 대하여, 스텝 S404st 내지 스텝 S404ed의 처리에 의해 적용 가능하다고 판정된 각 인식기(210)를 나타내는 정보를 부가한다.

다음의 스텝 S410에서, 각 인식기(210)를 나타내는 정보가 부가된 센서 정보가 기억부(105)로부터 판독되고, 통신부(110)에 의해, 네트워크(1)를 통해 서버 시스템(2)에 송신된다. 서버 시스템(2)은, 단말 장치(11)로부터 송신된 당해 센서 정보를, 당해 센서 정보에 부가된 각 인식기(210)를 나타내는 정보에 기초하여, 이들 각 인식기(210)의 재학습을 행하는 학습 데이터로서 각 인식기(210)에 관련지어, 기억부(20)에 기억한다.

이와 같이, 제2 실시 형태에서는, 카메라(12)로부터 출력된, 촬상 화상에 의한 화상 데이터와 메타데이터를 포함하는 센서 정보에 대하여, 메타데이터에 기초하여, 서버 시스템(2)이 갖는 각 인식기(210)에 적용 가능한지 여부를 판정한다. 그 때문에, 단말 장치(11)는, 카메라(12)에 의해 취득된 센서 정보를, 단말 장치(11)가 당해 센서 정보에 대하여 사용하는 인식기와는 다른 인식기에 대해서도, 학습 데이터로서 적용할 수 있어, 센서 정보를 학습 데이터로서 보다 효율적으로 이용 가능하다. 또한, 단말 장치(11)는, 송신 판정부(107a)에 의해, 예를 들어 센서 정보에 포함되는 메타데이터 등에 기초하여, 당해 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정한다. 이에 의해, 센서 정보를 송신하기 위한 통신 비용의 억제도 가능하다.

또한, 상술에서는, 송신 판정부(107a)는, 센서 정보가 갖는 메타데이터에 기초하여, 당해 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정하였지만, 이것은 이 예에 한정되지는 않는다. 송신 판정부(107a)는, 예를 들어 인식부(101)에 의한 당해 센서 정보에 포함되는 화상 데이터에 대한 인식 결과에 포함되는 인식 스코어에 기초하여, 당해 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정해도 된다. 이 경우, 예를 들어 송신 판정부(107a)는, 인식 스코어가 소정값 이하인 경우에, 당해 센서 정보를 서버 시스템(2)에 송신하는 것이 고려된다. 서버 시스템(2)에 있어서, 이와 같은 낮은 인식 스코어의 센서 정보에 기초하여 학습을 행함으로써, 인식 성능을 보다 향상시킬 수 있다.

(3-1. 제1 변형예)

다음으로, 제2 실시 형태의 제1 변형예에 대하여 설명한다. 제2 실시 형태의 제1 변형예는, 단말 장치(11)가, 취득한 센서 정보를 서버 시스템(2)에 송신할지 여부를, 당해 센서 정보의 즉시성에 기초하여 판정하는 예이다. 또한, 제2 실시 형태의 제1 변형예에서는, 도 13을 이용하여 설명한 제1 실시 형태에 따른 운전 지원 시스템의 구성을 적용할 수 있다.

보다 구체적으로 설명한다. 카메라(12)에 의해 취득된 센서 정보에는, 시상수의 오더가 크게 다른 정보가 동시에 포함되는 경우가 있다. 일례로서, 센서 정보의 메타데이터에 포함되는 렌즈 경년 열화 보정의 정보와, 화상 데이터에 기초하여 이루어지는 보행자 인식 처리는, 그 정보가 발생하고 나서 대응이 필요하게 될 때까지의 시간이 크게 다르다. 그래서, 제2 실시 형태의 제1 변형예에서는, 대상의 센서 정보에 대하여, 사용 목적마다의 즉시 송신의 필요성을 구하고, 즉시 필요한 센서 정보를 우선시켜 서버 시스템(2)에 송신한다. 즉시성이 적은 센서 정보는 축적하고, 취득의 시점에서는 송신하지 않는다.

도 16은, 제2 실시 형태의 제1 변형예에 따른 단말 장치(11)의 기능을 설명하기 위한 일례의 기능 블록도이다. 도 16에 있어서, 단말 장치(11)는, 도 14를 이용하여 설명한 제2 실시 형태에 따른 단말 장치(11)의 구성에 대하여, 학습 데이터 적용 판정부(108a)와, 송신 판정부(107a)의 사이에, 학습 데이터 즉시성 산출부(152)와, 학습 데이터 즉시성 판정부(153)가 삽입되어 있다.

학습 데이터 즉시성 산출부(151)는, 학습 데이터 판정부(251)로 인식기(210)에 대한 적용이 지정된 센서 정보의 즉시성을 산출한다. 예를 들어, 학습 데이터 즉시성 산출부(151)는, 당해 센서 정보에 대하여 학습 데이터 판정부(251)로 적용이 지정된 인식기(210)의 사용 목적에 따라서, 당해 센서 정보의 즉시성을 산출한다. 학습 데이터 즉시성 판정부(153)는, 산출된 즉시성에 따라서, 당해 센서 정보의 즉시성을 판정한다.

상술한 예에서는, 당해 인식기(210)가 렌즈 경년 변화 보정에 관한 인식을 행하는 것이며, 인식 내용의 변화 스판이 긴 경우, 학습 데이터 즉시성 산출부(152)는, 예를 들어 당해 센서 정보의 메타데이터에 기초하여 다음 보정의 타이밍을 구하고, 이 타이밍과 현재 시각의 차분을 산출한다. 학습 데이터 즉시성 판정부(153)는, 이 산출된 차분이 임계값보다 긴 경우, 당해 센서 정보는 즉시성이 낮다고 판정한다. 상술한 다른 예에서는, 당해 인식기(210)가 보행자 인식을 행하는 것인 경우, 학습 데이터 즉시성 판정부(153)는, 당해 센서 정보의 즉시성이 높다고 판정한다.

송신 판정부(107b)는, 학습 데이터 즉시성 판정부(153)로 판정된 즉시성에 따라서, 당해 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정한다. 즉, 송신 판정부(107b)는, 즉시성이 높다고 판정된 센서 정보는, 그 시점에서 서버 시스템(2)에 송신한다고 판정한다. 한편, 송신 판정부(107b)는, 즉시성이 낮다고 판정된 센서 정보는, 그 시점에서 송신할 필요가 없는 것으로서, 예를 들어 축적부(104)에 의해 기억부(105)에 축적한다.

통신부(110)는, 송신 판정부(107b)에 의해 송신을 행한다고 판정된 센서 정보를, 즉시 서버 시스템(2)에 송신한다.

도 17은, 제2 실시 형태의 제1 변형예에 따른 단말 장치(11)에 있어서의 처리를 나타내는 일례의 흐름도이다. 처음의 스텝 S500에서, 단말 장치(11)는, 촬상부(300)에 의해 촬상 처리를 행하고, 카메라(12)로부터 촬상 화상에 의한 화상 데이터와, 카메라(12)에 의한 촬상에 관한 메타데이터를 포함하는 센서 정보를 취득한다.

다음의 스텝 S501에서, 단말 장치(11)는, 인식부(101)에 의해, 스텝 S500의 촬상 처리에서 취득된 센서 정보에 기초하여 물체 인식 처리를 행한다. 다음의 스텝 S502에서, 단말 장치(11)는, 인식 결과 이용부(301)에 의해, 인식부(101)의 물체 인식 처리에 의한 인식 결과를 사용한 처리를 실행한다.

다음의 스텝 S503에서, 메타데이터 해석부(250)에 의해, 스텝 S500의 촬상 처리에서 취득된 센서 정보로부터 메타데이터를 취득하고, 취득한 메타데이터의 해석 처리를 실행한다.

다음의 스텝 S504st는, 스텝 S504ed와의 사이에서, 센서 정보의 모든 적용처, 즉 서버 시스템(2)이 갖는 각 인식기(210)에 대하여 실행하는 것을 나타내는 루프 처리의 개시를 나타내고 있다.

스텝 S505에서, 단말 장치(11)는, 학습 데이터 판정부(251)에 의해, 메타데이터 적용 판정 처리가 실행된다. 즉, 스텝 S505에서, 학습 데이터 판정부(251)는, 스텝 S500의 촬상 처리에서 취득된 센서 정보에 대하여, 메타데이터에 기초하여, 각 인식기(210) 중 대상의 인식기(210)에 적용 가능한지를 조사한다. 여기서, 학습 데이터 판정부(251)는, 제1 실시 형태에서 설명한 판정 방법을 적용할 수 있다. 즉 학습 데이터 판정부(251)는, 센서 정보에 대하여, 당해 센서 정보에 포함되는 화상 데이터의 촬상 시의 장면을, 소정의 룰이나 학습에 기초하여 판정하고, 예를 들어 판정된 장면마다, 당해 센서 정보를 학습 데이터로서 적용하는 인식기(210)를 지정한다.

다음의 스텝 S506에서, 학습 데이터 판정부(251)는, 당해 센서 정보를 대상의 인식기(210)에 적용 가능하다고 판정한 경우(스텝 S506, 「예」), 처리를 스텝 S507로 이행시킨다. 스텝 S507에서, 단말 장치(11)는, 축적 판정부(103)에 의해, 적용처의 학습 데이터의 축적 처리가 실행된다. 즉, 스텝 S507에서, 축적 판정부(103)는, 당해 센서 정보를, 스텝 S506에서 적용 가능하다고 판정된, 대상의 인식기(210)에 대한 학습 데이터로서 축적하도록 판정한다. 축적부(104)는, 이 판정 에 따라서, 당해 센서 정보를, 기억부(105)에 기억, 축적한다.

스텝 S507의 처리 후, 단말 장치(11)는, 처리를 스텝 S504ed로부터 스텝 S504st로 되돌리고, 각 인식기(210) 중 다음의 인식기(210)를 대상의 인식기(210)로서, 스텝 S505 내지 스텝 S507의 처리가 실행된다.

한편, 스텝 S506에서, 대상의 센서 정보를 대상의 인식기(210)에 적용 가능하지 않다고 판정한 경우(스텝 S506, 「아니오」), 처리를 스텝 S504ed로부터 스텝 S504st로 되돌린다.

당해 센서 정보에 대하여, 각 인식기(210)에 대한 스텝 S504st 내지 스텝 S504ed의 처리가 종료되면, 단말 장치(11)는, 처리를 스텝 S508로 이행시킨다. 스텝 S508에서, 단말 장치(11)는, 학습 데이터 즉시성 산출부(152)에 의해 당해 센서 정보의 즉시성을 산출하고, 다음의 스텝 S509에서, 학습 데이터 즉시성 판정부(153)에 의해 당해 센서 정보의 즉시성을 판정한다.

다음의 스텝 S510에서, 단말 장치(11)는, 송신 판정부(107b)에 의해, 스텝 S509에서 판정된 즉시성에 기초하여, 당해 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정한다. 송신 판정부(107b)는, 당해 센서 정보의 즉시성이 낮다고 판정 되어 있는 경우, 당해 센서 정보를 서버 시스템(2)에 송신하지 않는다고 판정하고(스텝 S510, 「아니오」), 이 도 17의 흐름도의 일련의 처리를 종료시킨다.

한편, 스텝 S510에서, 송신 판정부(107b)는, 당해 센서 정보의 즉시성이 높다고 판정되어 있는 경우, 당해 센서 정보를 서버 시스템(2)에 송신한다고 판정하고(스텝 S510, 「예」), 처리를 스텝 S511로 이행시킨다. 송신 판정부(107b)는, 스텝 S511에서, 당해 센서 정보의 송신 처리를 행한다. 송신 판정부(107b)는, 예를 들어 당해 센서 정보에 대하여, 스텝 S504st 내지 스텝 S504ed의 처리에 의해 적용 가능하다고 판정된 인식기(210)를 나타내는 정보를 부가한다.

다음의 스텝 S512에서, 각 인식기(210)를 나타내는 정보가 부가된 센서 정보가, 통신부(110)에 의해, 네트워크(1)를 통해 서버 시스템(2)에 송신된다. 서버 시스템(2)은, 단말 장치(11)로부터 송신된 당해 센서 정보를, 당해 센서 정보에 부가된 인식기(210)를 나타내는 정보에 기초하여, 당해 인식기(210)의 재학습을 행하는 학습 데이터로서 당해 인식기(210)에 관련지어, 기억부(20)에 기억한다.

이와 같이, 제2 실시 형태의 제1 변형예에서는, 센서 정보의 즉시성에 기초하여, 당해 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정하고 있다. 그 때문에, 센서 정보를 송신하기 위한 통신 비용의 억제가 가능하다.

(3-2. 제2 변형예)

다음으로, 제2 실시 형태의 제2 변형예에 대하여 설명한다. 제2 실시 형태의 제2 변형예는, 단말 장치(11)가, 취득한 센서 정보를 서버 시스템(2)에 송신할지 여부를, 당해 센서 정보의 희소성에 기초하여 판정하는 예이다. 또한, 제2 실시 형태의 제2 변형예에서는, 도 13을 이용하여 설명한 제1 실시 형태에 따른 운전 지원 시스템의 구성을 적용할 수 있다.

보다 구체적으로 설명한다. 카메라(12)에 의해 취득된 센서 정보에는, 희소성이 있어 조기에 수집할 필요가 있는 것이 존재한다. 예를 들어, 신규로 도입된 도로나 교통 시스템에 관한 센서 정보는, 가능한 한 조기에 학습 데이터에 반영시키는 것이 바람직하다. 이와 같은 센서 정보의 수집을 위해서는, 조기에 수집해야 할 상황이 발생하는 영역을, 사전에, 혹은 V2X 등의 통신에 의해 수시로 설정하고, 당해 영역 내에서 취득된 센서 정보는, 서버 시스템(2)에 송신해야 할 정보라고 판정한다.

도 18은, 제2 실시 형태의 제2 변형예에 따른 단말 장치(11)의 기능을 설명하기 위한 일례의 기능 블록도이다. 도 18에 있어서, 단말 장치(11)는, 도 14를 이용하여 설명한 제2 실시 형태에 따른 단말 장치(11)의 구성에 대하여, 학습 데이터 적용 판정부(108a)가 생략되고, 희소성 해석부(310)와, 희소성 판정부(311)가 추가되어 있다.

촬상부(300)에 의해 취득된 센서 정보는, 인식부(101)를 통해 송신 판정부(107e)에 입력된다. 한편, 희소성 해석부(310)는, 카메라(12)에 의해 촬상되는 범위에 있어서의 사상의 희소성을 해석한다. 희소성 판정부(311)는, 희소성 해석부(310)로 해석된 사상의 희소성을 판정한다.

예를 들어, 희소성 해석부(310)는, 외부와의 통신이나, 유저 설정 등에 의해, 희소성이 있는 사상을 포함하는 영역을 설정하는 처리를 행한다. 또한, 희소성 해석부(310)는, 예를 들어 단말 장치(11)가 구비하는 GNSS 수신기(1007)로부터 현재의 위치를 나타내는 위치 정보를 취득한다. 희소성 판정부(311)는, 희소성 해석부(310)의 해석 결과에 기초하여, 카메라(12)에 의해 촬상되는 촬상 범위가 설정된 영역을 포함할지 여부를 판정한다. 예를 들어, 희소성 판정부(311)는, 희소성 해석부(310)에 취득된 현재의 위치를 나타내는 위치 정보와, 설정된 영역에 기초하여, 취득된 위치 정보가 설정된 영역에 대응하는 경우에, 카메라(12)로부터 취득되는 센서 정보에 희소성이 있다고 판정한다.

송신 판정부(107c)는, 희소성 판정부(311)의 판정 결과에 따라서, 카메라(12)로부터 취득된 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정한다. 통신부(110)는, 송신 판정부(107c)에 의해 송신한다고 판정된 센서 정보를, 네트워크(1)를 통해 서버 시스템(2)에 송신한다.

도 19는, 제2 실시 형태의 제2 변형예에 따른 단말 장치(11)에 있어서의 처리를 나타내는 일례의 흐름도이다. 처음의 스텝 S600에서, 단말 장치(11)는, 촬상부(300)에 의해 촬상 처리를 행하고, 카메라(12)로부터 촬상 화상에 의한 화상 데이터와, 카메라(12)에 의한 촬상에 관한 메타데이터를 포함하는 센서 정보를 수신한다.

다음의 스텝 S601에서, 단말 장치(11)는, 인식부(101)에 의해, 스텝 S600의 촬상 처리에서 취득된 센서 정보에 기초하여 물체 인식 처리를 행한다. 다음의 스텝 S602에서, 단말 장치(11)는, 인식 결과 이용부(301)에 의해, 인식부(101)의 물체 인식 처리에 의한 인식 결과를 사용한 처리를 실행한다.

다음의 스텝 S603에서, 희소성 해석부(310)는, 설정된 스텝 S600의 촬상 처리에서 취득된 센서 정보로부터 메타데이터를 취득하고, 취득한 메타데이터의 해석 처리를 실행한다. 다음의 스텝 S604에서, 희소성 해석부(310)는, 희소성의 해석을 행한다. 예를 들어, 희소성 해석부(310)는, 현재의 위치를 나타내는 위치 정보와, 설정된 영역의 정보를 취득한다.

다음의 스텝 S605에서, 희소성 판정부(311)는, 스텝 S604에서의 해석 결과에 기초하여, 당해 센서 정보를 희소성이 있는 센서 정보를 이용하여 학습한 인식기(210)에 적용 가능한지 여부를 판정한다. 예를 들어, 희소성 판정부(311)는, 현재의 위치를 나타내는 위치 정보와, 설정된 영역을 나타내는 정보에 기초하여, 현재의 위치가 당해 영역에 대응하는 위치인 경우에, 카메라(12)로부터 취득된 센서 정보가 희소성이 있는 센서 정보라고 판정할 수 있다.

다음의 스텝 S606에서, 희소성 판정부(311)는, 당해 센서 정보가 희소성이 있는 센서 정보를 이용하여 학습한 인식기(210)에 적용 가능하다고 판정한 경우(스텝 S606, 「예」), 처리를 스텝 S607로 이행시킨다. 스텝 S607에서, 단말 장치(11)는, 송신 판정부(107c)에 의해, 당해 센서 정보의 송신 처리를 행한다. 송신 판정부(107c)는, 예를 들어 당해 센서 정보에 대하여, 희소성이 있다는 취지를 나타내는 정보를 부가한다. 당해 정보가 부가된 센서 정보는, 통신부(110)에 의해 네트워크(1)를 통해 서버 시스템(2)에 송신된다.

한편, 스텝 S606에서, 당해 센서 정보가 희소성이 있는 센서 정보를 이용하여 학습한 인식기(210)에 적용 가능하지 않다고 판정한 경우, 당해 센서 정보를 서버 시스템(2)에 송신하지 않고, 이 도 19의 흐름도에 의한 일련의 처리를 종료시킨다.

이와 같이, 제2 실시 형태의 제2 변형예에서는, 센서 정보의 희소성에 기초하여, 당해 센서 정보를 서버 시스템(2)에 송신할지 여부를 판정하고 있다. 그 때문에, 센서 정보를 송신하기 위한 통신 비용의 억제가 가능하다.

(3-3. 제3 변형예)

다음으로, 제2 실시 형태의 제3 변형예에 대하여 설명한다. 제2 실시 형태의 제3 변형예는, 복수의 차량(10)로부터 중복되는 센서 정보가 송신되는 것을 회피 가능하게 한 예이다. 또한, 제2 실시 형태의 제3 변형예에서는, 도 13을 이용하여 설명한 제1 실시 형태에 따른 운전 지원 시스템의 구성을 적용할 수 있다.

즉, 센서 정보의 송신 기능을 갖는 복수의 차량(10)이, 예를 들어 비교적 근접해서 존재하는 경우, 이들 복수의 차량(10)으로부터, 동일한 센서 정보가 복수, 서버 시스템(2)에 대하여 송신되어버릴 우려가 있다. 그 때문에, 제2 실시 형태의 제3 변형예에서는, 근접해서 존재하는 복수의 차량(10)이 각각 다른 데이터를 서버 시스템(2)에 대하여 송신 가능하게 한다. 보다 구체적으로는, 제2 실시 형태의 제3 변형예에서는, 주목하는 차량(10)(이하, 주목 차량)은, 주위의 차량(10)과의 사이에서, 각각 송신하는 센서 정보의 메타데이터 송수신을 행하고, 이미 다른 차량(10)이 송신한 센서 정보에 유사한 센서 정보를 당해 주목 차량으로부터 송신하지 않도록 한다.

도 20은, 제2 실시 형태의 제3 변형예에 따른 단말 장치(11)의 기능을 설명하기 위한 일례의 기능 블록도이다. 도 20에 있어서, 주목 차량의 단말 장치(11)는, 촬상부(300)와, 인식부(101)와, 인식 결과 이용부(301)와, 송신 판정부(107d)와, 통신부(110a)와, 타차 데이터 축적부(320)와, 기억부(321)를 포함한다. 또한, 주목 차량에 대하여 다른 차량(10₁, 10₂, 10₃, …)은, 각각 촬상부(300)와, 인식부(101)와, 인식 결과 이용부(301)와, 송신 판정부(107)와, 통신부(110)를 포함하고 있다. 이것으로 한정하지 않고, 다른 차량(10₁, 10₂, 10₃, …) 각각도, 주목 차량과 마찬가지의 구성을 갖고 있어도 된다.

촬상부(300), 인식부(101) 및 인식 결과 이용부(301)는, 예를 들어 도 14에 도시한 촬상부(300), 인식부(101) 및 인식 결과 이용부(301)와 동등한 기능을 갖기 때문에, 여기에서의 설명을 생략한다.

도 20에 있어서, 통신부(110a)는, 다른 차량(10₁, 10₂, 10₃, …)의 통신부(110)와 통신을 행하고, 다른 차량(10₁, 10₂, 10₃, …)이 이미 서버 시스템(2)에 송신한 센서 정보를 나타내는 정보를 취득한다.

예를 들어, 주목 차량에 있어서, 인식부(101)는, 카메라(12)로부터 취득된 센서 정보에 포함되는 화상 데이터에 대하여 물체 인식 처리를 행하고, 인식 결과를 송신 판정부(107d)에 전달한다. 마찬가지로, 각 차량(10₁, 10₂, 10₃, …)에 있어서도, 인식부(101)는, 카메라(12)로부터 취득된 센서 정보에 포함되는 화상 데이터에 대하여 물체 인식 처리를 행하고, 인식 결과를 각각의 송신 판정부(107d)에 전달한다.

통신부(110a)는, 각 차량(10₁, 10₂, 10₃, …)과 통신을 행하고, 각 차량(10₁, 10₂, 10₃, …)에 대하여 송신하는 센서 정보를 나타내는 정보를 요구한다. 각 차량(10₁, 10₂, 10₃, …)의 각 송신 판정부(107)는, 이 요구에 따라서, 예를 들어 센서 정보에 포함되는 메타데이터와, 인식 결과를 주목 차량에 네트워크(1)를 통해 송신한다.

주목 차량에 탑재되는 단말 장치(11)에 있어서, 통신부(110a)는, 각 차량(10₁, 10₂, 10₃, …)으로부터 수신한 메타데이터 및 인식 결과를 타차 데이터 축적부(320)에 전달한다. 타차 데이터 축적부(320)는, 전달된 각 메타데이터 및 인식 결과를 기억부(321)에 축적한다.

송신 판정부(107d)는, 인식부(101)로부터 전달된 인식 결과와, 센서 정보에 포함되는 메타데이터에 기초하여, 기억부(321)에, 당해 인식 결과 및 메타데이터에 대응하는, 이미 송신된 데이터가 축적되어 있는지 여부를 판정한다. 송신 판정부(107d)는, 축적되어 있지 않으면, 당해 인식 결과 및 메타데이터를 통신부(110a)에 의해 서버 시스템(2)에 송신한다. 한편, 축적되어 있으면, 당해 인식 결과 및 메타데이터의 송신은 행하지 않는다.

이와 같이, 복수의 차량(10) 사이에서 중복되는 센서 정보가 송신되는 것을 회피함으로써, 통신 비용을 삭감시킬 수 있다.

도 21은, 제2 실시 형태의 제3 변형예에 따른 단말 장치(11)에 있어서의 처리를 나타내는 일례의 흐름도이다. 또한, 도 21에 있어서, 섹션 (a)에 도시된 스텝 S700 내지 스텝 S709의 처리와, 섹션 (b)에 도시된 스텝 S720 내지 스텝 S721의 처리는, 예를 들어 다른 스레드에 의해 서로 독립적으로 동작하는 처리이다. 또한, 이들 섹션 (a) 및 섹션 (b)의 처리는, 주목 차량에 탑재되는 단말 장치(11)에 의해 실행되는 처리이다.

우선, 섹션 (b)의 처리에 대하여 설명한다. 스텝 S720에서, 통신부(110a)는, 타차 송신 정보를 수신하기 위한 수신 처리를 행한다. 예를 들어, 통신부(110a)는, 다른 차량(10₁, 10₂, 10₃, …) 각각에 대하여, 송신 완료의 센서 정보의 메타데이터와, 당해 센서 정보에 기초하는 인식 결과를 요구한다. 다음의 스텝 S721에서, 통신부(110a)는, 스텝 S720에서의 요구에 따른 타차 송신 정보를 타차 데이터 축적부(320)에 의해 기억부(321)에 축적하는 축적 처리를 행한다. 예를 들어, 통신부(110a)는, 스텝 S720의 요구에 따라서 다른 차량(10₁, 10₂, 10₃, …)으로부터 송신된 메타데이터 및 인식 결과의 조를 수신하고, 수신한 메타데이터 및 인식 결과의 조를 타차 데이터 축적부(320)에 전달한다. 타차 데이터 축적부(320)는, 통신부(110a)로부터 전달된 메타데이터 및 인식 결과의 조를 기억부(321)에 기억해서 축적한다.

이 섹션 (b)의 스텝 S720 및 스텝 S721의 처리는, 수시로 실행된다.

다음으로, 섹션 (a)의 처리에 대하여 설명한다. 처음의 스텝 S700에서, 단말 장치(11)는, 촬상부(300)에 의해 촬상 처리를 행하고, 카메라(12)로부터 촬상 화상에 의한 화상 데이터와, 카메라(12)에 의한 촬상에 관한 메타데이터를 포함하는 센서 정보를 취득한다.

다음의 스텝 S701에서, 단말 장치(11)는, 인식부(101)에 의해, 스텝 S700의 촬상 처리에서 취득된 센서 정보에 기초하여 물체 인식 처리를 행한다. 다음의 스텝 S702에서, 단말 장치(11)는, 인식 결과 이용부(301)에 의해, 인식부(101)의 물체 인식 처리에 의한 인식 결과를 사용한 처리를 실행한다. 또한, 인식부(101)는, 인식 결과와, 당해 센서 정보가 갖는 메타데이터를 송신 판정부(107d)에 전달한다.

다음의 스텝 S703st는, 스텝 S703ed와의 사이에서, 섹션 (b)의 스텝 S721에 의해 기억부(321)에 축적된 모든 타차 데이터(인식 결과 및 메타데이터)에 대하여 실행하는 것을 나타내는 루프 처리의 개시를 나타내고 있다.

스텝 S704에서, 송신 판정부(107d)는, 타차 데이터 축적부(320)에 대하여 기억부(321)에 축적된 메타데이터 및 인식 결과의 조를 1개, 판독하도록 요구하고, 이 요구에 따라서 기억부(321)로부터 판독된 메타데이터 및 인식 결과의 조를 취득한다.

다음의 스텝 S705에서, 송신 판정부(107d)는, 스텝 S704에서 기억부(321)로부터 판독한 메타데이터 및 인식 결과의 조가, 스텝 S702에서 인식부(101)로부터 전달된 메타데이터 및 인식 결과의 조와 가까운 데이터인지 여부를 판정한다. 송신 판정부(107d)는, 예를 들어 각각의 인식 결과의 유사도를 구하고, 구한 유사도가 임계값 이하이면 기억부(321)로부터 판독한 메타데이터 및 인식 결과의 조와, 인식부(101)로부터 전달된 메타데이터 및 인식 결과의 조가 가까운 데이터라고 판정할 수 있다. 이것으로 한정하지 않고, 각각의 메타데이터를 비교하여, 이 판정을 행해도 된다.

송신 판정부(107d)는, 이들이 가까운 데이터라고 판정한 경우(스텝 S705, 「예」), 처리를 스텝 S706으로 이행시키고, 기억부(321)로부터 판독한 메타데이터 및 인식 결과의 조에, 미송신 플래그를 세트한다. 송신 판정부(107d)는, 스텝 S706의 처리 후, 처리를 스텝 S703ed로부터 스텝 S703st로 되돌리고, 기억부(321)에 축적된 다음의 메타데이터 및 인식 결과의 조에 대하여, 스텝 S704로부터의 처리를 실행한다.

한편, 송신 판정부(107d)는, 이들이 가까운 데이터가 아니라고 판정한 경우(스텝 S705, 「아니오」), 처리를 스텝 S703ed로부터 스텝 S703st로 되돌리고, 기억부(321)에 축적된 다음의 메타데이터 및 인식 결과의 조에 대하여, 스텝 S704로부터의 처리를 실행한다.

기억부(321)에 축적된 모든 메타데이터 및 인식 결과의 조에 대하여 스텝 S704 및 스텝 S705의 처리가 종료되면, 송신 판정부(107d)는, 처리를 스텝 S707로 이행시킨다.

스텝 S707에서, 송신 판정부(107d)는, 기억부(321)에 축적된 모든 메타데이터 및 인식 결과의 조 중, 스텝 S706에서 미송신 플래그를 세트된 메타데이터 및 인식 결과의 조의 유무를 판정한다. 송신 판정부(107d)는, 기억부(321)에 축적된 모든 메타데이터 및 인식 결과의 조에 미송신 플래그가 세트되어 있지 않다고 판정한 경우(스텝 S707, 「예」), 처리를 스텝 S708로 이행시킨다.

스텝 S708에서, 송신 판정부(107d)는, 스텝 S702에서 인식부(101)로부터 전달된 메타데이터 및 인식 결과의 조에 대응하는 센서 정보를 통신부(110a)에 전달하고, 당해 센서 정보를 서버 시스템(2)에 송신하기 위한 송신 처리를 행한다. 다음의 스텝 S709에서, 통신부(110a)는, 송신 판정부(107d)로부터 전달된 센서 정보를, 서버 시스템(2)에 네트워크(1)를 통해 송신한다.

한편, 스텝 S707에서, 송신 판정부(107d)는, 기억부(321)에 축적된 모든 메타데이터 및 인식 결과의 조 중, 스텝 S706에서 미송신 플래그가 세트된 메타데이터 및 인식 결과의 조가 1개이기도 하다고 판정한 경우(스텝 S707, 「아니오」), 센서 정보의 송신 처리를 행하지 않고, 도 21에 있어서의 섹션 (a)의 흐름도에 의한 일련의 처리를 종료시킨다.

이와 같이, 제2 실시 형태의 제3 변형예에서는, 다른 차량(10)에 의해 송신완료의 센서 정보에 가까운 센서 정보를 송신하지 않도록 하고 있기 때문에, 센서 정보를 송신하기 위한 통신 비용을 삭감시킬 수 있다.

[4. 제3 실시 형태]

다음으로, 제3 실시 형태에 대하여 설명한다. 제3 실시 형태는, 상술한 제2 실시 형태에 있어서 서버 시스템(2)에 송신하지 않은 센서 정보에 관한 것으로서, 이들 제2 실시 형태 및 그 각 변형예 중 어느 것에도 적용 가능한 것이다. 여기에서는, 설명을 위해서, 제3 실시 형태에 의한 처리를, 상술한 제2 실시 형태에 대하여 적용시킴으로써 설명을 행한다.

도 22는, 제3 실시 형태에 따른 운전 지원 시스템의 일례의 구성을 나타내는 블록도이다. 도 22에 도시된 구성은, 제2 실시 형태에 있어서 도 13을 이용하여 설명한 구성과 동등하지만, 도 22에 빈틈없이 칠해서 나타낸 바와 같이, 축적 판정부(103), 축적부(104) 및 축적 정보 출력부(106)가 주요한 역할을 한다.

즉, 상술한 제2 실시 형태 등에 있어서, 송신되지 않은 센서 정보도, 필요한 경우가 있을 수 있다. 그래서, 제3 실시 형태에서는, 송신되지 않은 센서 정보를 축적부(104)에 의해 기억부(105)에 기억해서 축적해 둔다. 그 후, 임의의 타이밍에, 축적 정보 출력부(106)로부터, 케이블 접속이나 LAN(Local Area Network) 등의, 인터넷 등을 통하지 않는 직접적인 접속에 의해 센서 정보를 출력한다.

도 23은, 제3 실시 형태에 따른 단말 장치(11)의 기능을 설명하기 위한 일례의 기능 블록도이다. 기본적인 구성은, 도 14를 이용하여 설명한, 제2 실시 형태에 따른 단말 장치(11)의 구성과 마찬가지이기 때문에, 상세한 설명은 생략한다. 제3 실시 형태에 따른 단말 장치(11)에서는, 송신 판정부(107e)는, 송신하지 않는다고 판정한 센서 정보를 축적부(104)에 전달하고, 축적부(104)는 당해 센서 정보를 기억부(105)에 기억시켜 축적한다. 축적 정보 출력부(106)는, 센서 정보를 수집 가능한 외부 장치가 접속되면, 축적부(104)에 대하여 기억부(105)에 축적된 센서 정보를 요구하고, 축적부(104)에 의해 기억부(105)로부터 판독된 센서 정보를, 당해 외부 장치로 출력한다.

도 24는, 제3 실시 형태에 따른 단말 장치(11)에 있어서의 처리를 나타내는 일례의 흐름도이다. 또한, 도 24에 있어서, 섹션 (b)에 도시된 스텝 S820 내지 스텝 S821의 처리는, 예를 들어 축적 정보 출력부(106)에 대하여 외부 장치가 접속 되었을 때 기동되는 처리이다.

우선, 섹션 (a)의 처리에 대하여 설명한다. 섹션 (a)의 처리는, 도 15를 이용하여 설명한 제2 실시 형태에 따른 처리와 대략 동일하다. 즉, 처음의 스텝 S800에서, 단말 장치(11)는, 촬상부(300)에 의해 촬상 처리를 행하고, 카메라(12)로부터 촬상 화상에 의한 화상 데이터와, 카메라(12)에 의한 촬상에 관한 메타데이터를 포함하는 센서 정보를 수신한다. 다음의 스텝 S801에서, 단말 장치(11)는, 인식부(101)에 의해, 스텝 S800의 촬상 처리에서 취득된 센서 정보에 기초하여 물체 인식 처리를 행한다. 다음의 스텝 S802에서, 단말 장치(11)는, 인식 결과 이용부(301)에 의해, 인식부(101)의 물체 인식 처리에 의한 인식 결과를 사용한 처리를 실행한다.

다음의 스텝 S803에서, 메타데이터 해석부(250)에 의해, 스텝 S800의 촬상 처리에서 취득된 센서 정보로부터 메타데이터를 취득하고, 취득한 메타데이터의 해석 처리를 실행한다.

다음의 스텝 S804st는, 스텝 S804ed와의 사이에서, 센서 정보의 모든 적용처, 즉 서버 시스템(2)이 갖는 각 인식기(210)에 대하여 실행하는 것을 나타내는 루프 처리의 개시를 나타내고 있다.

스텝 S805에서, 단말 장치(11)는, 학습 데이터 판정부(251)에 의해, 메타데이터 적용 판정 처리가 실행된다. 즉, 스텝 S805에서, 학습 데이터 판정부(251)는, 스텝 S800의 촬상 처리에서 취득된 센서 정보에 대하여, 메타데이터에 기초하여, 예를 들어 제1 실시 형태에서 설명한 판정 방법을 이용하여, 각 인식기(210) 중 대상의 인식기(210)에 적용 가능한지를 조사한다.

다음의 스텝 S806에서, 학습 데이터 판정부(251)는, 당해 센서 정보를 대상의 인식기(210)에 적용 가능하다고 판정한 경우(스텝 S806, 「예」), 처리를 스텝 S807로 이행시킨다. 스텝 S807에서, 단말 장치(11)는, 축적 판정부(103)에 의해, 적용처의 학습 데이터의 축적 처리가 실행된다. 즉, 스텝 S807에서, 축적 판정부(103)는, 당해 센서 정보를, 스텝 S806에서 적용 가능하다고 판정된, 대상의 인식기(210)에 대한 학습 데이터로서 축적하도록 판정한다. 축적부(104)는, 이 판정 에 따라서, 당해 센서 정보를, 기억부(105)에 기억, 축적한다.

스텝 S807의 처리 후, 단말 장치(11)는, 처리를 스텝 S804ed로부터 스텝 S804st로 되돌리고, 각 인식기(210) 중 다음의 인식기(210)를 대상의 인식기(210)로서, 스텝 S805 내지 스텝 S807의 처리가 실행된다.

한편, 스텝 S806에서, 대상의 센서 정보를 대상의 인식기(210)에 적용 가능하지 않다고 판정한 경우(스텝 S806, 「아니오」), 처리를 스텝 S804ed로부터 스텝 S804st로 되돌린다.

당해 센서 정보에 대하여, 각 인식기(210)에 대한 스텝 S804st 내지 스텝 S804ed의 처리가 종료되면, 단말 장치(11)는, 처리를 스텝 S808로 이행시킨다. 스텝 S808에서, 단말 장치(11)는, 송신 판정부(107e)에 의해, 스텝 S804st 내지 스텝 S804ed의 처리에서 당해 센서 정보의 적용처로서 판정된 인식기(210)의 수가 충분한지(예를 들어, 임계값을 초과하였는지) 여부를 판정한다.

송신 판정부(107e)는, 당해 센서 정보의 적용처로서 판정된 인식기(210)의 수가 충분하지 않다고 판정한 경우, 처리를 스텝 S811로 이행시킨다. 스텝 S811에서, 송신 판정부(107e)는, 센서 정보의 축적 처리를 행한다. 예를 들어, 송신 판정부(107e)는, 축적부(104)에 대하여, 스텝 S807에서 기억부(105)에 축적된 센서 정보를 그대로 유지하도록 지시한다. 축적 처리가 종료되면, 이 도 24의 섹션 (a)의 흐름도에 의한 일련의 처리를 종료시킨다.

한편, 송신 판정부(107e)는, 스텝 S808에서, 당해 센서 정보의 적용처로서 판정된 인식기(210)의 수가 충분하다고 판정한 경우, 처리를 스텝 S809로 이행시킨다. 송신 판정부(107e)는, 스텝 S809에서, 당해 센서 정보의 송신 처리를 행한다. 송신 판정부(107e)는, 예를 들어 스텝 S807에 있어서 기억부(105)에 축적된 센서 정보에 대하여, 스텝 S804st 내지 스텝 S804ed의 처리에 의해 적용 가능하다고 판정된 각 인식기(210)를 나타내는 정보를 부가한다.

다음의 스텝 S810에서, 각 인식기(210)를 나타내는 정보가 부가된 센서 정보가 기억부(105)로부터 판독되고, 통신부(110)에 의해, 네트워크(1)를 통해 서버 시스템(2)에 송신된다. 축적부(104)는, 송신된 센서 정보를, 기억부(105)로부터 삭제한다. 서버 시스템(2)은, 단말 장치(11)로부터 송신된 당해 센서 정보를, 당해 센서 정보에 부가된 각 인식기(210)를 나타내는 정보에 기초하여, 이들 각 인식기(210)의 재학습을 행하는 학습 데이터로서 각 인식기(210)에 관련지어, 기억부(20)에 기억한다.

섹션 (b)의 처리에 대하여 설명한다. 축적 정보 출력부(106)는, 외부 장치가 케이블 등으로 직접적으로 접속되면, 스텝 S820에서, 당해 외부 장치와의 접속 처리를 실행한다. 당해 외부 장치와의 접속이 확립되면, 축적 정보 출력부(106)는, 축적부(104)에 대하여, 기억부(105)로부터, 축적된 센서 정보를 판독하는 지시를 내보낸다. 축적 정보 출력부(106)는, 축적부(104)에 의해 기억부(105)로부터 판독된 각 센서 정보를, 외부 장치에 송신한다.

이와 같이, 제3 실시 형태에서는, 송신 판정부(107e)에 의해 서버 시스템(2)에 송신되지 않은 센서 정보를, 임의의 타이밍에 외부 장치로 출력할 수 있다. 이에 의해, 네트워크(1)에 의한 통신 비용을 들이지 않고, 센서 정보의 효율적인 이용이 가능해진다.

(4-1. 제1 변형예)

다음으로, 제3 실시 형태의 제1 변형예에 대하여 설명한다. 제3 실시 형태의 제1 변형예는, 상술한 제2 실시 형태 및 그 각 변형예에 있어서 서버 시스템(2)에 송신하지 않은 센서 정보에 관한 것으로서, 이들 제2 실시 형태 및 그 각 변형예 중 어느 것에도 적용 가능한 것이다. 여기에서는, 설명을 위해서, 제3 실시 형태에 의한 처리를, 상술한 제2 실시 형태에 대하여 적용시킴으로써 설명을 행한다.

단말 장치(11)로부터 네트워크(1)를 통해 서버 시스템(2)에 센서 정보를 송신할 때의 통신 비용은, 네트워크(1)에 접속하기 위해서 예를 들어 Wi-Fi(등록상표)의 핫스팟을 사용하는 경우나, 통신 부하가 낮은 타이밍에 통신을 행하는 경우 등, 변동한다. 그 때문에, 제3 실시 형태의 제1 변형예에서는, 네트워크 통신의 요금 플랜(시간마다의 통신 요금 정보)이나, 통신 플랜(시간마다의 통신량 계획)을 사전에 설정, 혹은 V2X 등의 통신에 의해 설정한다. 그리고, 통신 비용이 낮은 타이밍, 통신 부하가 높지 않은 시간대, 자차 내의 통신량이 적은 경우 등에, 축적한 센서 정보를 송신하도록 한다.

도 25는, 제3 실시 형태의 제1 변형예에 따른 단말 장치(11)의 기능을 설명하기 위한 일례의 기능 블록도이다. 기본적인 구성은, 도 14를 이용하여 설명한, 제2 실시 형태에 따른 단말 장치(11)의 구성과 마찬가지이기 때문에, 상세한 설명은 생략한다. 제3 실시 형태의 제1 변형예에 따른 단말 장치(11)에서는, 송신 판정부(107e)는, 송신하지 않는다고 판정한 센서 정보를 축적부(104)에 전달하고, 축적부(104)는 당해 센서 정보를 기억부(105)에 기억시켜 축적한다. 송신 판정부(107e)는, 상술한, 통신 비용이 낮은 타이밍, 통신 부하가 높지 않은 시간대, 자차 내의 통신량이 적은 경우 등에, 기억부(105)로부터, 축적된 센서 정보를 판독하여, 네트워크(1)를 통해 서버 시스템(2)에 송신한다.

도 26은, 제3 실시 형태의 제1 변형예에 따른 단말 장치(11)에 있어서의 처리를 나타내는 일례의 흐름도이다. 또한, 도 26에 있어서, 섹션 (a)에 도시된 스텝 S900 내지 스텝 S911의 처리와, 섹션 (b)에 도시된 스텝 S920 내지 스텝 S924의 처리는, 예를 들어 다른 스레드에 의해 서로 독립적으로 동작하는 처리이다.

우선, 섹션 (a)의 처리에 대하여 설명한다. 섹션 (a)의 처리는, 도 15를 이용하여 설명한 제2 실시 형태에 따른 처리와 대략 동일하다. 즉, 처음의 스텝 S900에서, 단말 장치(11)는, 촬상부(300)에 의해 촬상 처리를 행하고, 카메라(12)로부터 촬상 화상에 의한 화상 데이터와, 카메라(12)에 의한 촬상에 관한 메타데이터를 포함하는 센서 정보를 수신한다. 다음의 스텝 S901에서, 단말 장치(11)는, 인식부(101)에 의해, 스텝 S900의 촬상 처리에서 취득된 센서 정보에 기초하여 물체 인식 처리를 행한다. 다음의 스텝 S902에서, 단말 장치(11)는, 인식 결과 이용부(301)에 의해, 인식부(101)의 물체 인식 처리에 의한 인식 결과를 사용한 처리를 실행한다.

다음의 스텝 S903에서, 메타데이터 해석부(250)에 의해, 스텝 S900의 촬상 처리에서 취득된 센서 정보로부터 메타데이터를 취득하고, 취득한 메타데이터의 해석 처리를 실행한다.

다음의 스텝 S904st는, 스텝 S904ed와의 사이에서, 센서 정보의 모든 적용처, 즉 서버 시스템(2)이 갖는 각 인식기(210)에 대하여 실행하는 것을 나타내는 루프 처리의 개시를 나타내고 있다.

스텝 S905에서, 단말 장치(11)는, 학습 데이터 판정부(251)에 의해, 메타데이터 적용 판정 처리가 실행된다. 즉, 스텝 S905에서, 학습 데이터 판정부(251)는, 스텝 S900의 촬상 처리에서 취득된 센서 정보에 대하여, 메타데이터에 기초하여, 예를 들어 제1 실시 형태에서 설명한 판정 방법을 이용하여, 각 인식기(210) 중 대상의 인식기(210)에 적용 가능한지를 조사한다.

다음의 스텝 S906에서, 학습 데이터 판정부(251)는, 당해 센서 정보를 대상의 인식기(210)에 적용 가능하다고 판정한 경우(스텝 S906, 「예」), 처리를 스텝 S907로 이행시킨다. 스텝 S907에서, 단말 장치(11)는, 축적 판정부(103)에 의해, 적용처의 학습 데이터의 축적 처리가 실행된다. 즉, 스텝 S907에서, 축적 판정부(103)는, 당해 센서 정보를, 스텝 S906에서 적용 가능하다고 판정된, 대상의 인식기(210)에 대한 학습 데이터로서 축적하도록 판정한다. 축적부(104)는, 이 판정 에 따라서, 당해 센서 정보를, 기억부(105)에 기억, 축적한다.

스텝 S907의 처리 후, 단말 장치(11)는, 처리를 스텝 S904ed로부터 스텝 S904st로 되돌리고, 각 인식기(210) 중 다음의 인식기(210)를 대상의 인식기(210)로서, 스텝 S905 내지 스텝 S907의 처리가 실행된다.

한편, 스텝 S906에서, 대상의 센서 정보를 대상의 인식기(210)에 적용 가능하지 않다고 판정한 경우(스텝 S906, 「아니오」), 처리를 스텝 S904ed로부터 스텝 S904st로 되돌린다.

당해 센서 정보에 대하여, 각 인식기(210)에 대한 스텝 S904st 내지 스텝 S904ed의 처리가 종료되면, 단말 장치(11)는, 처리를 스텝 S908로 이행시킨다. 스텝 S908에서, 단말 장치(11)는, 송신 판정부(107e)에 의해, 스텝 S904st 내지 스텝 S904ed의 처리에서 당해 센서 정보의 적용처로서 판정된 인식기(210)의 수가 충분한지(예를 들어, 임계값을 초과하였는지) 여부를 판정한다.

송신 판정부(107e)는, 스텝 S908에서, 당해 센서 정보의 적용처로서 판정된 인식기(210)의 수가 충분하지 않다고 판정한 경우(스텝 S908, 「아니오」), 처리를 스텝 S911로 이행시킨다. 스텝 S911에서, 송신 판정부(107e)는, 센서 정보의 축적 처리를 행한다. 예를 들어, 송신 판정부(107e)는, 축적부(104)에 대하여, 스텝 S907에서 기억부(105)에 축적된 센서 정보를 그대로 유지하도록 지시한다. 축적 처리가 종료되면, 이 도 26의 섹션 (a)의 흐름도에 의한 일련의 처리를 종료시킨다.

한편, 송신 판정부(107e)는, 스텝 S908에서, 당해 센서 정보의 적용처로서 판정된 인식기(210)의 수가 충분하다고 판정한 경우(스텝 S908, 「예」), 처리를 스텝 S909로 이행시킨다. 송신 판정부(107e)는, 스텝 S909에서, 당해 센서 정보의 송신 처리를 행한다. 송신 판정부(107e)는, 예를 들어 스텝 S907에 있어서 기억부(105)에 축적된 센서 정보에 대하여, 스텝 S904st 내지 스텝 S904ed의 처리에 의해 적용 가능하다고 판정된 각 인식기(210)를 나타내는 정보를 부가한다.

다음의 스텝 S910에서, 각 인식기(210)를 나타내는 정보가 부가된 센서 정보가 기억부(105)로부터 판독되고, 통신부(110)에 의해, 네트워크(1)를 통해 서버 시스템(2)에 송신된다. 축적부(104)는, 송신된 센서 정보를, 기억부(105)로부터 삭제한다. 서버 시스템(2)은, 단말 장치(11)로부터 송신된 당해 센서 정보를, 당해 센서 정보에 부가된 각 인식기(210)를 나타내는 정보에 기초하여, 이들 각 인식기(210)의 재학습을 행하는 학습 데이터로서 각 인식기(210)에 관련지어, 기억부(20)에 기억한다.

다음으로, 섹션 (b)의 처리에 대하여 설명한다. 스텝 S920에서, 송신 판정부(107e)는, 통신부(110)에 의해 네트워크(1)에 접속하는 접속 처리를 행한다. 다음의 스텝 S921에서, 송신 판정부(107e)는, 네트워크(1)에 있어서의 통신 비용의 추정 처리를 행한다. 예를 들어, 송신 판정부(107e)는, 네트워크(1)에 대한 접속에 관한 통신 플랜, 요금 플랜, 시간대, 네트워크(1)의 트래픽량 등에 기초하여, 통신 비용을 추정한다.

다음의 스텝 S922에서, 송신 판정부(107e)는, 스텝 S921에서 추정된 통신 비용이 낮은지 여부, 예를 들어 통신 비용이 소정 미만인지 여부를 판정한다. 송신 판정부(107e)는, 추정된 통신 비용이 높다고 판정한 경우(스텝 S922, 「아니오」), 기억부(105)에 축적된 센서 정보의 송신을 행하지 않고, 이 섹션 (b)의 흐름도에 의한 일련의 처리를 종료시킨다.

한편, 스텝 S922에서, 송신 판정부(107e)는, 스텝 S921에서 추정된 통신 비용이 낮다고 판정한 경우(스텝 S922, 「예」), 처리를 스텝 S923으로 이행시킨다. 스텝 S923에서, 송신 판정부(107e)는, 기억부(105)에 축적된 센서 정보의 송신 처리를 행한다. 예를 들어, 송신 판정부(107e)는, 축적부(104)에 대하여, 기억부(105)에 축적된 센서 정보의 판독을 지시한다.

다음의 스텝 S924에서, 송신 판정부(107e)는, 스텝 S923에서의 지시에 따라서 축적부(104)에 의해 기억부(105)로부터 판독된 센서 정보를, 통신부(110)에 의해, 네트워크(1)를 통해 서버 시스템(2)에 송신한다. 축적부(104)는, 송신된 센서 정보를, 기억부(105)로부터 삭제한다.

이와 같이, 제3 실시 형태의 제1 변형예에서는, 취득 시에 서버 시스템(2)에 송신되지 않고 기억부(105)에 축적된 센서 정보를, 통신 비용에 따라서, 네트워크(1)를 통해 서버 시스템(2)에 송신하도록 하고 있다. 그 때문에, 센서 정보의 송신에 따른 통신 비용을 삭감시킬 수 있다.

(4-2. 제2 변형예)

다음으로, 제3 실시 형태의 제2 변형예에 대하여 설명한다. 제3 실시 형태의 제2 변형예는, 상술한 제2 실시 형태 및 그 각 변형예에 있어서 서버 시스템(2)에 송신하지 않은 센서 정보에 관한 것으로서, 이들 제2 실시 형태 및 그 각 변형예 중 어느 것에도 적용 가능한 것이다. 여기에서는, 설명을 위해서, 제3 실시 형태의 제2 변형예에 의한 처리를, 상술한 제2 실시 형태에 대하여 적용시킴으로써 설명을 행한다.

제3 실시 형태의 제2 변형예에서는, 취득 시에 서버 시스템(2)에 송신되지 않은 센서 정보에 우선도를 부여하고, 우선도에 따라서 센서 정보의 축적을 제어한다. 즉, 센서 정보는, 포함되는 내용이나 취득 시의 상황 등에 따라서 우선도가 다른 경우가 있다. 그래서, 축적 판정부(103)는, 서버 시스템(2)에 송신되지 않은 센서 정보의 축적 시에, 당해 센서 정보에 우선도를 부여하여 기억부(105)에 축적한다. 축적 판정부(103)는, 축적부(104)(기억부(105))의 축적 가능한 정보량을 초과하는 양의 센서 정보를 축적하는 경우, 축적 완료의 센서 정보 중 가장 우선도가 낮은 센서 정보로부터 순차 삭제해 가서, 우선도가 높은 센서 정보를 축적한다.

도 27은, 제3 실시 형태의 제2 변형예에 따른 단말 장치(11)의 기능을 설명하기 위한 일례의 기능 블록도이다. 기본적인 구성은, 도 14를 이용하여 설명한, 제2 실시 형태에 따른 단말 장치(11)의 구성과 마찬가지이기 때문에, 상세한 설명은 생략한다. 제3 실시 형태의 제2 변형예에 따른 단말 장치(11)에서는, 송신하지 않는다고 판정한 센서 정보를 축적 판정부(103)에 전달하고, 축적 판정부(103)는 당해 센서 정보에 우선도를 부여한다. 축적부(104)는, 우선도가 부여된 센서 정보를 기억부(105)에 기억시켜 축적한다. 이때, 축적 판정부(103)는, 기억부(105)에 빈 용량이 없는 경우에, 기억부(105)에 기억되는 각 센서 정보 중 가장 낮은 우선도가 부여된 센서 정보를 삭제한다.

또한, 송신 판정부(107e)는, 상술한, 통신 비용이 낮은 타이밍, 통신 부하가 높지 않은 시간대, 자차 내의 통신량이 적은 경우 등에, 기억부(105)로부터, 축적된 센서 정보를 판독하고, 네트워크(1)를 통해 서버 시스템(2)에 송신한다.

도 28은, 제3 실시 형태의 제2 변형예에 따른 단말 장치(11)에 있어서의 처리를 나타내는 일례의 흐름도이다. 또한, 도 28에 있어서, 섹션 (a)에 도시된 스텝 S1000 내지 스텝 S1017의 처리와, 섹션 (b)에 도시된 스텝 S1030 내지 스텝 S1034의 처리는, 다른 스레드에 의해 서로 독립적으로 동작하는 처리이다.

우선, 섹션 (a)의 처리에 대하여 설명한다. 섹션 (a)의 처리는, 스텝 S1000 내지 스텝 S1010의 처리가, 도 15의 흐름도에 있어서의 스텝 S400 내지 스텝 S410의 처리와 대략 동일하다. 즉, 처음의 스텝 S1000에서, 단말 장치(11)는, 촬상부(300)에 의해 촬상 처리를 행하고, 카메라(12)로부터 촬상 화상에 의한 화상 데이터와, 카메라(12)에 의한 촬상에 관한 메타데이터를 포함하는 센서 정보를 수신한다. 다음의 스텝 S1001에서, 단말 장치(11)는, 인식부(101)에 의해, 스텝 S1000의 촬상 처리에서 취득된 센서 정보에 기초하여 물체 인식 처리를 행한다. 다음의 스텝 S1002에서, 단말 장치(11)는, 인식 결과 이용부(301)에 의해, 인식부(101)의 물체 인식 처리에 의한 인식 결과를 사용한 처리를 실행한다.

다음의 스텝 S1003에서, 메타데이터 해석부(250)에 의해, 스텝 S1000의 촬상 처리에서 취득된 센서 정보로부터 메타데이터를 취득하고, 취득한 메타데이터의 해석 처리를 실행한다.

다음의 스텝 S1004st는, 스텝 S1004ed와의 사이에서, 센서 정보의 모든 적용처, 즉 서버 시스템(2)이 갖는 각 인식기(210)에 대하여 실행하는 것을 나타내는 루프 처리의 개시를 나타내고 있다.

스텝 S1005에서, 단말 장치(11)는, 학습 데이터 판정부(251)에 의해, 메타데이터 적용 판정 처리가 실행된다. 즉, 스텝 S1005에서, 학습 데이터 판정부(251)는, 스텝 S1000의 촬상 처리에서 취득된 센서 정보에 대하여, 메타데이터에 기초하여, 예를 들어 제1 실시 형태에서 설명한 판정 방법을 이용하여, 각 인식기(210) 중 대상의 인식기(210)에 적용 가능한지를 조사한다.

다음의 스텝 S1006에서, 학습 데이터 판정부(251)는, 당해 센서 정보를 대상의 인식기(210)에 적용 가능하다고 판정한 경우(스텝 S1006, 「예」), 처리를 스텝 S1007로 이행시킨다. 스텝 S1007에서, 단말 장치(11)는, 축적 판정부(103)에 의해, 적용처의 학습 데이터의 축적 처리가 실행된다. 즉, 스텝 S1007에서, 축적 판정부(103)는, 당해 센서 정보를, 스텝 S1006에서 적용 가능하다고 판정된, 대상의 인식기(210)에 대한 학습 데이터로서 축적하도록 판정한다. 축적부(104)는, 이 판정에 따라서, 당해 센서 정보를, 기억부(105)에 기억, 축적한다.

스텝 S1007의 처리 후, 단말 장치(11)는, 처리를 스텝 S1004ed로부터 스텝 S1004st로 되돌리고, 각 인식기(210) 중 다음의 인식기(210)를 대상의 인식기(210)로서, 스텝 S1005 내지 스텝 S1007의 처리가 실행된다.

한편, 스텝 S1006에서, 대상의 센서 정보를 대상의 인식기(210)에 적용 가능하지 않다고 판정한 경우(스텝 S1006, 「아니오」), 처리를 스텝 S1004ed로부터 스텝 S1004st로 되돌린다.

당해 센서 정보에 대하여, 각 인식기(210)에 대한 스텝 S1004st 내지 스텝 S1004ed의 처리가 종료되면, 단말 장치(11)는, 처리를 스텝 S1008로 이행시킨다. 스텝 S1008에서, 단말 장치(11)는, 송신 판정부(107e)에 의해, 스텝 S1004st 내지 스텝 S1004ed의 처리에서 당해 센서 정보의 적용처로서 판정된 인식기(210)의 수가 충분한지(예를 들어, 임계값을 초과하였는지) 여부를 판정한다.

한편, 송신 판정부(107e)는, 스텝 S1008에서, 당해 센서 정보의 적용처로서 판정된 인식기(210)의 수가 충분하다고 판정한 경우(스텝 S1008, 「예」), 처리를 스텝 S1009로 이행시킨다. 송신 판정부(107e)는, 스텝 S1009에서, 당해 센서 정보의 송신 처리를 행한다. 송신 판정부(107e)는, 예를 들어 스텝 S1007에 있어서 기억부(105)에 축적된 센서 정보에 대하여, 스텝 S1004st 내지 스텝 S1004ed의 처리에 의해 적용 가능하다고 판정된 각 인식기(210)를 나타내는 정보를 부가한다.

다음의 스텝 S1010에서, 각 인식기(210)를 나타내는 정보가 부가된 센서 정보가 기억부(105)로부터 판독되고, 통신부(110)에 의해, 네트워크(1)를 통해 서버 시스템(2)에 송신된다. 축적부(104)는, 송신된 센서 정보를, 기억부(105)로부터 삭제한다. 서버 시스템(2)은, 단말 장치(11)로부터 송신된 당해 센서 정보를, 당해 센서 정보에 부가된 각 인식기(210)를 나타내는 정보에 기초하여, 이들 각 인식기(210)의 재학습을 행하는 학습 데이터로서 각 인식기(210)에 관련지어, 기억부(20)에 기억한다.

송신 판정부(107e)는, 스텝 S1008에서, 당해 센서 정보의 적용처로서 판정된 인식기(210)의 수가 충분하지 않다고 판정한 경우(스텝 S1008, 「아니오」), 처리를 스텝 S1011로 이행시킨다.

스텝 S1011에서, 축적 판정부(103)는, 당해 센서 정보(신규 센서 정보로 함)에 대하여 우선도를 설정한다. 예를 들어, 축적 판정부(103)는, 신규 센서 정보가 갖는 메타데이터에 기초하여 우선도를 설정할 수 있다. 또한, 축적 판정부(103)는, 인식부(101)의 인식 결과에 기초하여 신규 센서 정보에 우선도를 설정할 수 있다. 예를 들어, 축적 판정부(103)는, 신규 센서 정보에 대하여, 인식 결과가 나타내는 인식율이 높을수록, 높은 우선도를 설정하도록 할 수 있다.

다음의 스텝 S1012에서, 축적 판정부(103)는, 기억부(105)에 신규 센서 정보를 기억 가능한 만큼의 빈 용량이 있는지 여부를 판정한다. 예를 들어, 축적 판정부(103)는, 축적부(104)에 대하여 기억부(105)의 빈 용량을 문의한다.

축적 판정부(103)는, 스텝 S1012에서, 기억부(105)에 신규 센서 정보를 기억 가능한 만큼의 빈 용량이 있다고 판정된 경우(스텝 S1012, 「아니오」), 처리를 스텝 S1017로 이행시킨다. 스텝 S1017에서, 축적 판정부(103)는, 축적부(104)에 대하여, 신규 센서 정보의 기억부(105)에의 기억을 지시한다. 기억부(105)는, 이 지시에 따라서, 신규 센서 정보를 기억부(105)에 기억시켜 축적한다. 센서 정보의 기억부(105)에 대한 기억이 완료되면, 이 섹션 (a)의 흐름도에 의한 일련의 처리가 종료된다.

한편, 축적 판정부(103)는, 스텝 S1012에서, 기억부(105)에 신규 센서 정보를 기억 가능한 만큼의 빈 용량이 없다고 판정된 경우(스텝 S1012, 「예」), 처리를 스텝 S1013으로 이행시킨다. 스텝 S1013에서, 축적 판정부(103)는, 축적부(104)에 대하여, 기억부(105)에 축적되어 있는 각 센서 정보 중, 최저의 우선도가 설정되어 있는 센서 정보의 탐색을 지시한다.

다음의 스텝 S1014에서, 축적 판정부(103)는, 스텝 S1013에서 탐색된 센서 정보의 우선도와, 신규 센서 정보의 우선도를 비교한다. 비교의 결과, 스텝 S1013에서 탐색된 센서 정보(최저 우선도 센서 정보로 함)의 우선도의 쪽이, 신규 센서 정보의 우선도보다도 높다고 판정한 경우(스텝 S1014, 「최저 우선도 데이터의 우선도가 높음」), 이 섹션 (a)의 흐름도에 의한 일련의 처리를 종료시킨다. 이 경우, 신규 센서 정보는, 예를 들어 파기된다.

한편, 축적 판정부(103)는, 스텝 S1014에서, 신규 센서 정보의 우선도의 쪽이, 최저 우선도 센서 정보의 우선도보다도 높다고 판정한 경우, (스텝 S1014, 「신규 우선도 데이터의 우선도가 높음」), 처리를 스텝 S1015로 이행시킨다. 스텝 S1015에서, 축적 판정부(103)는, 축적부(104)에 대하여, 기억부(105)로부터 최저 우선도 센서 정보를 삭제하도록 지시한다. 축적부(104)는, 이 지시에 따라서, 당해 최저 우선도 센서 정보를 기억부(105)로부터 삭제한다.

다음의 스텝 S1016에서, 축적 판정부(103)는, 축적부(104)에 대하여, 신규 센서 정보의 기억부(105)에의 기억을 지시한다. 기억부(105)는, 이 지시에 따라서, 신규 센서 정보를 기억부(105)에 기억시켜 축적한다. 센서 정보의 기억부(105)에 대한 기억이 완료되면, 이 섹션 (a)의 흐름도에 의한 일련의 처리가 종료된다.

섹션 (b)의 처리에 대하여 설명한다. 도 28의 섹션 (b)에 의한 처리는, 도 26의 섹션 (b)의 처리와 대략 동일하다. 즉, 스텝 S1030에서, 송신 판정부(107e)는, 통신부(110)에 의해 네트워크(1)에 접속하는 접속 처리를 행한다. 다음의 스텝 S1031에서, 송신 판정부(107e)는, 네트워크(1)에 있어서의 통신 비용의 추정 처리를 행한다. 예를 들어, 송신 판정부(107e)는, 네트워크(1)에 대한 접속에 관한 통신 플랜, 요금 플랜, 시간대, 네트워크(1)의 트래픽량 등에 기초하여, 통신 비용을 추정한다.

다음의 스텝 S1032에서, 송신 판정부(107e)는, 스텝 S1031에서 추정된 통신 비용이 낮은지 여부, 예를 들어 통신 비용이 소정 미만인지 여부를 판정한다. 송신 판정부(107e)는, 추정된 통신 비용이 높다고 판정한 경우(스텝 S1032, 「아니오」), 기억부(105)에 축적된 센서 정보의 송신을 행하지 않고, 이 섹션 (b)의 흐름도에 의한 일련의 처리를 종료시킨다.

한편, 스텝 S1032에서, 송신 판정부(107e)는, 스텝 S1031에서 추정된 통신 비용이 낮다고 판정한 경우(스텝 S1032, 「예」), 처리를 스텝 S1033으로 이행시킨다. 스텝 S1033에서, 송신 판정부(107e)는, 기억부(105)에 축적된 센서 정보의 송신 처리를 행한다. 예를 들어, 송신 판정부(107e)는, 축적부(104)에 대하여, 기억부(105)에 축적된 센서 정보의 판독을 지시한다.

다음의 스텝 S1034에서, 송신 판정부(107e)는, 스텝 S1033에서의 지시에 따라서 축적부(104)에 의해 기억부(105)로부터 판독된 센서 정보를, 통신부(110)에 의해, 네트워크(1)를 통해 서버 시스템(2)에 송신한다. 축적부(104)는, 송신된 센서 정보를, 기억부(105)로부터 삭제한다.

이와 같이, 제3 실시 형태의 제2 변형예에서는, 서버 시스템(2)에 송신되지 않은 센서 정보에 우선도를 설정하고, 기억부(105)에 센서 정보를 기억 가능한 만큼의 빈 용량이 없는 경우에, 우선도가 낮은 센서 정보를 삭제하도록 하고 있다. 이에 의해, 기억부(105)의 기억 용량을 절약할 수 있다. 또한, 우선도가 높은 센서 정보는 기억부(105)에 축적되기 때문에, 기억부(105)에 기억되는 센서 정보를 소정의 타이밍에 판독하여 서버 시스템(2)에 송신함으로써, 센서 정보의 효율적인 이용도 가능하며, 또한 통신 비용도 삭감시킬 수 있다.

[5. 제4 실시 형태]

본 개시에 따른 기술(본 기술)은, 다양한 제품에 응용할 수 있다. 예를 들어, 본 개시에 따른 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.

도 29는, 본 개시에 따른 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.

차량 제어 시스템(12000)은, 통신 네트워크(12001)를 통해 접속된 복수의 전자 제어 유닛을 구비한다. 도 29에 도시한 예에서는, 차량 제어 시스템(12000)은, 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040) 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로컴퓨터(12051), 음성 화상 출력부(12052) 및 차량 탑재 네트워크 I/F(interface)(12053)가 도시되어 있다.

구동계 제어 유닛(12010)은, 각종 프로그램에 따라서 차량의 구동계에 관련된 장치의 동작을 제어한다. 예를 들어, 구동계 제어 유닛(12010)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.

보디계 제어 유닛(12020)은, 각종 프로그램에 따라서 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들어, 보디계 제어 유닛(12020)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 혹은 전조등, 후진등, 브레이크등, 방향지시등 또는 안개등 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은, 이들의 전파 또는 신호의 입력을 접수하고, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.

차외 정보 검출 유닛(12030)은, 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들어, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은, 촬상부(12031)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차량, 장해물, 표지 또는 노면상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.

촬상부(12031)는, 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은, 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.

차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들어 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들어 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있는지 여부를 판별해도 된다.

마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)으로 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하고, 구동계 제어 유닛(12010)에 대하여 제어 지령을 출력할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는, 차량의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.

또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)으로 취득되는 차량의 주위 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.

또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)로 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대하여 제어 지령을 출력 할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라서 전조등를 제어하고, 상향등을 하향등으로 전환하는 등의 방현을 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.

음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대하여, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중 적어도 한쪽의 출력 신호를 송신한다. 도 29의 예에서는, 출력 장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되어 있다. 표시부(12062)는, 예를 들어 온보드 디스플레이 및 헤드업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.

도 30은, 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.

도 30에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.

촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들어 차량(12100)의 프론트 노즈, 사이드 미러, 리어 범퍼, 백 도어 및 차 실내의 프론트 글래스의 상부 등의 위치에 마련된다. 프론트 노즈에 구비되는 촬상부(12101) 및 차 실내의 프론트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방 화상을 취득한다. 촬상부(12101 및 12105)로 취득되는 전방의 화상은, 주로 선행 차량 또는, 보행자, 장해물, 신호기, 교통 표지 또는 차선 등의 검출에 사용된다

또한, 도 30에는, 촬상부(12101 내지 12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는, 프론트 노즈에 마련된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는, 각각 사이드 미러에 마련된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어 범퍼 또는 백 도어에 마련된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들어, 촬상부(12101 내지 12104)로 촬상된 화상 데이터를 중첩할 수 있음으로써, 차량(12100)을 상방에서 본 부감 화상이 얻어진다.

촬상부(12101 내지 12104)의 적어도 하나는, 거리 정보를 취득하는 기능을 갖고 있어도 된다. 예를 들어, 촬상부(12101 내지 12104)의 적어도 하나는, 복수의 촬상 소자를 포함하는 스테레오 카메라여도 되고, 위상차 검출용 화소를 갖는 촬상 소자여도 된다.

예를 들어, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대 속도)를 구함으로써, 특히 차량(12100)의 진행로상에 있는 가장 가까운 입체물이고, 차량(12100)과 대략 동일한 방향으로 소정의 속도(예를 들어, 0㎞/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로컴퓨터(12051)는, 선행차의 앞쪽에 미리 확보해야 할 차간 거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.

예를 들어, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형 차량, 보행자, 전주 등 그 밖의 입체물로 분류하여 추출하고, 장해물의 자동 회피에 사용할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는, 차량(12100)의 주변 장해물을, 차량(12100)의 드라이버가 시인 가능한 장해물과 시인 곤란한 장해물로 식별한다. 그리고, 마이크로컴퓨터(12051)는, 각 장해물과의 충돌의 위험도를 나타내는 충돌 리스크를 판단하고, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에 경보를 출력하는 것이나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.

촬상부(12101 내지 12104)의 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들어, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 여부를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들어 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 수순과, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 여부를 판별하는 수순에 의해 행해진다. 마이크로컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.

이상, 본 개시에 따른 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대하여 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 카메라(12)를 촬상부(12031)에 적용 가능하며, 단말 장치(11)를 차외 정보 검출 유닛(12030)에 적용 가능하다. 본 개시의 기술을 차외 정보 검출 유닛(12030)에 적용함으로써, 카메라(12)로 취득된 센서 정보를 보다 효율적으로 이용할 수 있어, 결과적으로, 보행자 등의 인식율을 높이는 것이 가능해진다. 또한, 제2 실시 형태 및 그 각 변형예나, 제3 실시 형태 및 그 각 변형예를 차외 정보 검출 유닛(12030)에 적용함으로써, 센서 정보를 송신하기 위한 통신 비용을 삭감하는 것도 가능해진다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1)

미리 학습된 제1 인식기에 의해, 센서에 의해 취득된 센서 정보를 이용하여 물체 인식 처리를 행하는 인식부와,

상기 제1 인식기와는 다른 제2 인식기에, 상기 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정부

를 구비하는 정보 처리 장치.

(2)

상기 학습 데이터로서 상기 제2 인식기에 적용하기 위해서 상기 센서 정보를 상기 서버에 송신할지 여부를, 해당 센서 정보에 기초하여 판정하는 송신 판정부

를 더 구비하는 상기 (1)에 기재된 정보 처리 장치.

(3)

상기 송신 판정부는,

상기 센서 정보 중, 상기 학습 데이터 적용 판정부에 의해 상기 제2 인식기로부터 지정된 인식 처리가 가능한 인식기의 수가 소정수 이상의 센서 정보를, 상기 서버에 송신하는, 상기 (2)에 기재된 정보 처리 장치.

(4)

상기 송신 판정부는,

다음에 갱신될 때까지의 시간이 소정 시간 미만의 상기 센서 정보를 상기 서버에 송신하는, 상기 (2) 또는 (3)에 기재된 정보 처리 장치.

(5)

상기 송신 판정부는,

출현의 빈도가 소정 미만의 상기 센서 정보를 상기 서버에 송신하는, 상기 (2) 내지 (4) 중 어느 것에 기재된 정보 처리 장치.

(6)

다른 정보 처리 장치와 통신 가능한 통신부를 더 구비하고,

상기 송신 판정부는,

상기 통신부에 의해 상기 다른 정보 처리 장치와 통신을 행하고 해당 다른 정보 처리 장치가 상기 서버에 송신하는 센서 정보를 나타내는 정보를 취득하고, 취득한 해당 정보에 기초하여, 상기 센서에 의해 취득된 센서 정보를 상기 서버에 송신할지 여부를 판정하는, 상기 (2) 내지 (5) 중 어느 것에 기재된 정보 처리 장치.

(7)

상기 센서 정보를 축적부에 축적할지 여부를 판정하는 축적 판정부를 더 구비하고,

상기 축적 판정부는,

상기 송신 판정부에 의해 상기 서버에 송신하지 않는다고 판정된 상기 센서 정보를 상기 축적부에 축적하는, 상기 (2) 내지 (6) 중 어느 것에 기재된 정보 처리 장치.

(8)

상기 송신 판정부는,

상기 축적부에 축적된 상기 센서 정보를, 통신 비용이 낮은 타이밍에 상기 서버에 송신하는, 상기 (7)에 기재된 정보 처리 장치.

(9)

상기 축적 판정부는,

상기 서버에 송신하지 않는다고 판정된 상기 센서 정보의 우선도를 구하고, 해당 우선도에 기초하여 해당 센서 정보를 상기 축적부에 축적할지 여부를 판정하는, 상기 (7) 또는 (8)에 기재된 정보 처리 장치.

(10)

서버와,

상기 서버와 통신 가능한 정보 처리 장치

를 포함하고,

상기 서버는,

학습 데이터에 기초하는 기계 학습에 의해 제1 인식부와, 해당 제1 인식부와 다른 제2 인식부를 생성하는 학습부를 구비하고,

상기 정보 처리 장치는,

상기 제1 인식기에 의해, 센서에 의해 취득된 센서 정보를 이용하여 물체 인식 처리를 행하는 인식부와,

상기 제1 인식기와는 다른 제2 인식기에, 상기 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정부

를 구비하는, 정보 처리 시스템.

(11)

프로세서에 의해 실행되는,

미리 학습된 제1 인식기에 의해, 센서에 의해 취득된 센서 정보를 이용하여 물체 인식 처리를 행하는 인식 스텝과,

상기 제1 인식기와는 다른 제2 인식기로부터, 상기 센서 정보를 이용한 인식 처리가 가능한 인식기를, 상기 센서 정보에 기초하여 지정하는 인식기 판정 스텝과,

상기 제1 인식기와는 다른 제2 인식기에, 상기 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정 스텝

을 포함하는 정보 처리 방법.

(12)

미리 학습된 제1 인식기에 의해, 센서에 의해 취득된 센서 정보를 이용하여 물체 인식 처리를 행하는 인식 스텝과,

상기 제1 인식기와는 다른 제2 인식기로부터, 상기 센서 정보를 이용한 인식 처리가 가능한 인식기를, 상기 센서 정보에 기초하여 지정하는 인식기 판정 스텝과,

상기 제1 인식기와는 다른 제2 인식기에, 상기 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정 스텝

을 컴퓨터에 실행시키기 위한 정보 처리 프로그램.

(13)

학습 데이터에 기초하는 기계 학습에 의해 제1 인식부와, 해당 제1 인식부와 다른 제2 인식부를 생성하는 학습부와,

상기 제1 인식부를 포함하는 단말 장치로부터 송신된 센서 정보에 기초하여, 상기 제2 인식기에, 해당 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정부

를 구비하고,

상기 학습부는,

상기 학습 데이터 적용 판정부에 의해, 상기 제2 인식기에 상기 센서 정보를 학습 데이터로서 적용 가능하다고 판정된 경우에, 해당 제2 인식기를, 상기 센서 정보에 기초하여 재학습하고, 해당 제2 인식기를 갱신하는, 정보 처리 장치.

(14)

상기 학습 데이터 적용 판정부는,

상기 센서 정보가 나타내는 장면에 기초하여, 상기 제2 인식기에 해당 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는, 상기 (13)에 기재된 정보 처리 장치.

(15)

상기 학습 데이터 적용 판정부는,

상기 센서 정보를 변환함으로써, 해당 센서 정보를 상기 제2 인식기에 학습 데이터로서 적용 가능하게 되는지 여부를 판정하는, 상기 (13) 또는 (14)에 기재된 정보 처리 장치.

(16)

상기 학습 데이터 적용 판정부는,

상기 센서 정보가 나타내는, 상기 센서에 의해 검출된 오브젝트에 따라서, 상기 제2 인식기에 해당 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는, 상기 (13) 내지 (15) 중 어느 것에 기재된 정보 처리 장치.

(17)

정보 처리 장치와,

센서에 의해 취득된 센서 정보를 이용하여 물체 인식 처리를 행하는 제1 인식부를 갖고, 상기 정보 처리 장치와 통신 가능한 단말 장치

를 포함하고,

상기 정보 처리 장치는,

학습 데이터에 기초하는 기계 학습에 의해 상기 제1 인식부와, 해당 제1 인식부와 다른 제2 인식부를 생성하는 학습부와,

상기 제1 인식부를 포함하는 단말 장치로부터 송신된 센서 정보에 기초하여, 상기 제2 인식기에, 해당 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정부

를 구비하고,

상기 학습부는,

상기 학습 데이터 적용 판정부에 의해, 상기 제2 인식기에 상기 센서 정보를 학습 데이터로서 적용 가능하다고 판정된 경우에, 해당 제2 인식기를, 상기 센서 정보에 기초하여 재학습하고, 해당 제2 인식기를 갱신하는, 정보 처리 시스템.

(18)

프로세서에 의해 실행되는,

학습 데이터에 기초하는 기계 학습에 의해 제1 인식부와, 해당 제1 인식부와 다른 제2 인식부를 생성하는 학습 스텝과,

상기 제1 인식부를 포함하는 단말 장치로부터 송신된 센서 정보에 기초하여, 상기 제2 인식기에, 해당 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정 스텝

을 포함하고,

상기 학습 스텝은,

상기 학습 데이터 적용 판정 스텝에 의해, 상기 제2 인식기에 상기 센서 정보를 학습 데이터로서 적용 가능하다고 판정된 경우에, 해당 제2 인식기를, 상기 센서 정보에 기초하여 재학습하고, 해당 제2 인식기를 갱신하는, 정보 처리 방법.

(19)

학습 데이터에 기초하는 기계 학습에 의해 제1 인식부와, 해당 제1 인식부와 다른 제2 인식부를 생성하는 학습 스텝과,

상기 제1 인식부를 포함하는 단말 장치로부터 송신된 센서 정보에 기초하여, 상기 제2 인식기에, 해당 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정 스텝

을 컴퓨터에 실행시키고,

상기 학습 스텝은,

상기 학습 데이터 적용 판정 스텝에 의해, 상기 제2 인식기에 상기 센서 정보를 학습 데이터로서 적용 가능하다고 판정된 경우에, 해당 제2 인식기를, 상기 센서 정보에 기초하여 재학습하고, 해당 제2 인식기를 갱신하기

위한 정보 처리 프로그램.

1: 네트워크
2: 서버 시스템
3, 202: 학습부
10, 10₁, 10₂, 10₃: 차량
11: 단말 장치
12: 카메라
20, 105: 기억부
22, 22a, 22b, 22c, 22d, 108, 108a: 학습 데이터 적용 판정부
101: 인식부
103: 축적 판정부
104: 축적부
106: 축적 정보 출력부
107, 107a, 107b, 107c, 107d, 107e: 송신 판정부
110, 110a, 200: 통신부
152: 학습 데이터 즉시성 산출부
153: 학습 데이터 즉시성 판정부
201: 학습 데이터 축적부
210, 210₁, 210₂, 210₃, 210₄: 인식기
221, 250: 메타데이터 해석부
230: 도메인 해석부
231: 도메인 평가부
232, 241, 251: 학습 데이터 판정부
240: 센싱 해석부
300: 촬상부
310: 희소성 해석부
311: 희소성 판정부
320: 타차 데이터 축적부

Claims (19)

1. 미리 학습된 제1 인식기에 의해, 센서에 의해 취득된 센서 정보를 이용하여 물체 인식 처리를 행하는 인식부와,
   상기 제1 인식기와는 다른 제2 인식기에, 상기 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정부
   를 구비하는 정보 처리 장치.
2. 제1항에 있어서,
   상기 학습 데이터로서 상기 제2 인식기에 적용하기 위해서 상기 센서 정보를 상기 제1 인식기를 생성 가능한 서버에 송신할지 여부를, 해당 센서 정보에 기초하여 판정하는 송신 판정부
   를 더 구비하는 정보 처리 장치.
3. 제2항에 있어서,
   상기 송신 판정부는,
   상기 센서 정보 중, 상기 학습 데이터 적용 판정부에 의해 상기 제2 인식기로부터 지정된 인식 처리가 가능한 인식기의 수가 소정수 이상의 센서 정보를, 상기 서버에 송신하는, 정보 처리 장치.
4. 제2항에 있어서,
   상기 송신 판정부는,
   다음에 갱신될 때까지의 시간이 소정 시간 미만의 상기 센서 정보를 상기 서버에 송신하는, 정보 처리 장치.
5. 제2항에 있어서,
   상기 송신 판정부는,
   출현의 빈도가 소정 미만의 상기 센서 정보를 상기 서버에 송신하는, 정보 처리 장치.
6. 제2항에 있어서,
   다른 정보 처리 장치와 통신 가능한 통신부를 더 구비하고,
   상기 송신 판정부는,
   상기 통신부에 의해 상기 다른 정보 처리 장치와 통신을 행하고 해당 다른 정보 처리 장치가 상기 서버에 송신하는 센서 정보를 나타내는 정보를 취득하고, 취득한 해당 정보에 기초하여, 상기 센서에 의해 취득된 센서 정보를 상기 서버에 송신할지 여부를 판정하는, 정보 처리 장치.
7. 제2항에 있어서,
   상기 센서 정보를 축적부에 축적할지 여부를 판정하는 축적 판정부를 더 구비하고,
   상기 축적 판정부는,
   상기 송신 판정부에 의해 상기 서버에 송신하지 않는다고 판정된 상기 센서 정보를 상기 축적부에 축적하는, 정보 처리 장치.
8. 제7항에 있어서,
   상기 송신 판정부는,
   상기 축적부에 축적된 상기 센서 정보를, 통신 비용이 낮은 타이밍에 상기 서버에 송신하는, 정보 처리 장치.
9. 제7항에 있어서,
   상기 축적 판정부는,
   상기 서버에 송신하지 않는다고 판정된 상기 센서 정보의 우선도를 구하고, 해당 우선도에 기초하여 해당 센서 정보를 상기 축적부에 축적할지 여부를 판정하는, 정보 처리 장치.
10. 서버와,
    상기 서버와 통신 가능한 정보 처리 장치
    를 포함하고,
    상기 서버는,
    학습 데이터에 기초하는 기계 학습에 의해 제1 인식기와, 해당 제1 인식기와 다른 제2 인식부를 생성하는 학습부를 구비하고,
    상기 정보 처리 장치는,
    상기 제1 인식기에 의해, 센서에 의해 취득된 센서 정보를 이용하여 물체 인식 처리를 행하는 인식부와,
    상기 제1 인식기와는 다른 제2 인식기에, 상기 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정부
    를 구비하는, 정보 처리 시스템.
11. 프로세서에 의해 실행되는,
    미리 학습된 제1 인식기에 의해, 센서에 의해 취득된 센서 정보를 이용하여 물체 인식 처리를 행하는 인식 스텝과,
    상기 제1 인식기와는 다른 제2 인식기로부터, 상기 센서 정보를 이용한 인식 처리가 가능한 인식기를, 상기 센서 정보에 기초하여 지정하는 인식기 판정 스텝과,
    상기 제1 인식기와는 다른 제2 인식기에, 상기 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정 스텝
    을 포함하는 정보 처리 방법.
12. 미리 학습된 제1 인식기에 의해, 센서에 의해 취득된 센서 정보를 이용하여 물체 인식 처리를 행하는 인식 스텝과,
    상기 제1 인식기와는 다른 제2 인식기로부터, 상기 센서 정보를 이용한 인식 처리가 가능한 인식기를, 상기 센서 정보에 기초하여 지정하는 인식기 판정 스텝과,
    상기 제1 인식기와는 다른 제2 인식기에, 상기 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정 스텝
    을 컴퓨터에 실행시키기 위한 정보 처리 프로그램.
13. 학습 데이터에 기초하는 기계 학습에 의해 제1 인식기와, 해당 제1 인식기와 다른 제2 인식기를 생성하는 학습부와,
    상기 제1 인식기를 포함하는 단말 장치로부터 송신된 센서 정보에 기초하여, 상기 제2 인식기에, 해당 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정부
    를 구비하고,
    상기 학습부는,
    상기 학습 데이터 적용 판정부에 의해, 상기 제2 인식기에 상기 센서 정보를 학습 데이터로서 적용 가능하다고 판정된 경우에, 해당 제2 인식기를, 상기 센서 정보에 기초하여 재학습하고, 해당 제2 인식기를 갱신하는,
    정보 처리 장치.
14. 제13항에 있어서,
    상기 학습 데이터 적용 판정부는,
    상기 센서 정보가 나타내는 장면에 기초하여, 상기 제2 인식기에 해당 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는, 정보 처리 장치.
15. 제13항에 있어서,
    상기 학습 데이터 적용 판정부는,
    상기 센서 정보를 변환함으로써, 해당 센서 정보를 상기 제2 인식기에 학습 데이터로서 적용 가능하게 되는지 여부를 판정하는, 정보 처리 장치.
16. 제13항에 있어서,
    상기 학습 데이터 적용 판정부는,
    상기 센서 정보가 나타내는, 센서에 의해 검출된 오브젝트에 따라서, 상기 제2 인식기에 해당 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는, 정보 처리 장치.
17. 정보 처리 장치와,
    센서에 의해 취득된 센서 정보를 이용하여 물체 인식 처리를 행하는 제1 인식기를 갖고, 상기 정보 처리 장치와 통신 가능한 단말 장치
    를 포함하고,
    상기 정보 처리 장치는,
    학습 데이터에 기초하는 기계 학습에 의해 상기 제1 인식기와, 해당 제1 인식기와 다른 제2 인식기를 생성하는 학습부와,
    상기 제1 인식기를 포함하는 단말 장치로부터 송신된 센서 정보에 기초하여, 상기 제2 인식기에, 해당 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정부
    를 구비하고,
    상기 학습부는,
    상기 학습 데이터 적용 판정부에 의해, 상기 제2 인식기에 상기 센서 정보를 학습 데이터로서 적용 가능하다고 판정된 경우에, 해당 제2 인식기를, 상기 센서 정보에 기초하여 재학습하여, 해당 제2 인식기를 갱신하는,
    정보 처리 시스템.
18. 프로세서에 의해 실행되는,
    학습 데이터에 기초하는 기계 학습에 의해 제1 인식기와, 해당 제1 인식기와 다른 제2 인식기를 생성하는 학습 스텝과,
    상기 제1 인식기를 포함하는 단말 장치로부터 송신된 센서 정보에 기초하여, 상기 제2 인식기에, 해당 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정 스텝
    을 포함하고,
    상기 학습 스텝은,
    상기 학습 데이터 적용 판정 스텝에 의해, 상기 제2 인식기에 상기 센서 정보를 학습 데이터로서 적용 가능하다고 판정된 경우에, 해당 제2 인식기를, 상기 센서 정보에 기초하여 재학습하여, 해당 제2 인식기를 갱신하는,
    정보 처리 방법.
19. 학습 데이터에 기초하는 기계 학습에 의해 제1 인식기와, 해당 제1 인식기와 다른 제2 인식기를 생성하는 학습 스텝과,
    상기 제1 인식기를 포함하는 단말 장치로부터 송신된 센서 정보에 기초하여, 상기 제2 인식기에, 해당 센서 정보를 학습 데이터로서 적용 가능한지 여부를 판정하는 학습 데이터 적용 판정 스텝
    을 컴퓨터에 실행시키고,
    상기 학습 스텝은,
    상기 학습 데이터 적용 판정 스텝에 의해, 상기 제2 인식기에 상기 센서 정보를 학습 데이터로서 적용 가능하다고 판정된 경우에, 해당 제2 인식기를, 상기 센서 정보에 기초하여 재학습하고, 해당 제2 인식기를 갱신하기
    위한 정보 처리 프로그램.

Images