KR20210146891A - 정보 처리 장치 및 정보 처리 방법 - Google Patents

정보 처리 장치 및 정보 처리 방법 Download PDF

Info

Publication number
KR20210146891A
KR20210146891A KR1020217026864A KR20217026864A KR20210146891A KR 20210146891 A KR20210146891 A KR 20210146891A KR 1020217026864 A KR1020217026864 A KR 1020217026864A KR 20217026864 A KR20217026864 A KR 20217026864A KR 20210146891 A KR20210146891 A KR 20210146891A
Authority
KR
South Korea
Prior art keywords
recognition
unit
predetermined number
learning
image
Prior art date
Application number
KR1020217026864A
Other languages
English (en)
Inventor
유키 야마모토
류타 사토
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20210146891A publication Critical patent/KR20210146891A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures

Abstract

본 개시는, 보다 인식 성능의 향상을 도모할 수 있도록 하는 정보 처리 장치 및 정보 처리 방법에 관한 것이다. 서버측의 정보 처리 장치는, 소정 개수의 차량에 있어서 화상 인식을 행하여, 비교사 학습을 실행함으로써 갱신되는 모델이 각각 설정되고, 소정 개수의 차량에 있어서 화상 인식이 행하여진 화상을 대상으로 해서 화상 인식을 행하는 소정 개수의 인식부와, 소정 개수의 인식부에서의 인식 결과를 평가하여, 인식부마다의 평가값을 산출하는 평가값 산출부를 구비한다. 차량측의 정보 처리 장치는, 비교사 학습을 실행하는 실행부와, 실행부에서 갱신된 모델에 대해서, 서버측에서 구해지는 평가값에 기초하여 정확하게 학습이 행해졌는지 여부를 판정하는 판정부를 구비한다. 본 기술은, 예를 들어 자동 운전을 행하는 차량에 적용할 수 있다.

Description

정보 처리 장치 및 정보 처리 방법
본 개시는, 정보 처리 장치 및 정보 처리 방법에 관한 것으로, 특히 보다 인식 성능의 향상을 도모할 수 있도록 한 정보 처리 장치 및 정보 처리 방법에 관한 것이다.
종래, 예를 들어 Deep Learning(심층 학습)에 있어서의 CNN(Convolutional Neural Network: 컨벌루션 뉴럴 네트워크)에 의한 화상 인식에서는, 일반적으로 교사 데이터를 사용한 학습이 행하여진다.
또한, 특허문헌 1에는, 예를 들어 복수의 단말 장치에 있어서 학습함으로써 얻어진 가중치 파라미터를 관리 장치가 수신하여, 최적의 가중치 파라미터가 선택되는 뉴럴 네트워크 시스템이 개시되어 있다.
일본 특허 공개 제2017-174298호 공보
그런데, 종래의 화상 인식을 행하는 학습에서는, 교사 데이터를 준비하는데 비용을 요할 뿐만 아니라, 교사 데이터와 분포가 다른 데이터가 입력된 경우에는, 그 데이터에 대한 인식 성능이 저하되어버리고 있었다.
본 개시는, 이러한 상황을 감안하여 이루어진 것이며, 보다 인식 성능의 향상을 도모할 수 있도록 하는 것이다.
본 개시의 제1 측면의 정보 처리 장치는, 소정 개수의 단말기에서 화상 인식을 행하여, 비교사 학습을 실행함으로써 갱신되는 모델이 각각 설정되고, 소정 개수의 상기 단말기에서 화상 인식이 행하여진 화상을 대상으로 해서 화상 인식을 행하는 소정 개수의 인식부와, 소정 개수의 상기 인식부에서의 인식 결과를 평가하여, 상기 인식부마다의 평가값을 산출하는 평가값 산출부를 구비한다.
본 개시의 제1 측면의 정보 처리 방법은, 정보 처리 장치가, 소정 개수의 단말기에서 화상 인식을 행하여, 비교사 학습을 실행함으로써 갱신되는 모델이 각각 설정되는 소정 개수의 인식부에서, 소정 개수의 상기 단말기에서 화상 인식이 행하여진 화상을 대상으로 해서 화상 인식을 행하는 것과, 소정 개수의 상기 인식부에서의 인식 결과를 평가하여, 상기 인식부마다의 평가값을 산출하는 것을 포함한다.
본 개시의 제1 측면에서는, 소정 개수의 단말기에서 화상 인식을 행하여, 비교사 학습을 실행함으로써 갱신되는 모델이 각각 설정되는 소정 개수의 인식부에서, 소정 개수의 단말기에서 화상 인식이 행하여진 화상을 대상으로 해서 화상 인식이 행하여지고, 소정 개수의 인식부에서의 인식 결과를 평가하여, 인식부마다의 평가값이 산출된다.
본 개시의 제2 측면의 정보 처리 장치는, 화상에 대한 화상 인식을 행하는 인식기의 모델에 대한 비교사 학습을 실행하는 실행부와, 상기 실행부에서의 학습에 의해 갱신된 상기 모델에 대해서, 각각 다른 소정 개수의 모델에 있어서 화상 인식이 행하여진 인식 결과를 사용해서 구해지는 평가값에 기초하여, 정확하게 학습이 행해졌는지 여부를 판정하는 판정부를 구비하고, 상기 실행부는, 상기 판정부에서 정확하게 학습이 행하여지지 않았다고 판정된 경우, 그 학습이 행하여지기 전의 모델로 되돌린다.
본 개시의 제2 측면의 정보 처리 방법은, 정보 처리 장치가, 화상에 대한 화상 인식을 행하는 인식기의 모델에 대한 비교사 학습을 실행하는 것과, 그 학습에 의해 갱신된 상기 모델에 대해서 각각 다른 소정 개수의 모델에 있어서 화상 인식이 행하여진 인식 결과를 사용해서 구해지는 평가값에 기초하여, 정확하게 학습이 행해졌는지 여부를 판정하는 것을 포함하고, 정확하게 학습이 행하여지지 않았다고 판정된 경우, 그 학습이 행하여지기 전의 모델로 되돌린다.
본 개시의 제2 측면에서는, 화상에 대한 화상 인식을 행하는 인식기의 모델에 대한 비교사 학습이 실행되고, 그 학습에 의해 갱신된 모델에 대해서 각각 다른 소정 개수의 모델에 있어서 화상 인식이 행하여진 인식 결과를 사용해서 구해지는 평가값에 기초하여, 정확하게 학습이 행해졌는지 여부가 판정된다. 그리고, 정확하게 학습이 행하여지지 않았다고 판정된 경우, 그 학습이 행하여지기 전의 모델로 되돌려진다.
도 1은 종래의 학습 처리에 대해서 설명하는 도면이다.
도 2는 본 기술을 적용한 학습 처리에 대해서 설명하는 도면이다.
도 3은 본 기술을 적용한 학습 처리에 대해서 설명하는 도면이다.
도 4는 본 기술을 적용한 학습 시스템의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 5는 차량측 정보 처리 장치의 구성예를 도시하는 블록도이다.
도 6은 도메인 적응 처리 실행부의 구성예를 도시하는 블록도이다.
도 7은 서버측 정보 처리 장치의 구성예를 도시하는 블록도이다.
도 8은 차량측에서 실행되는 정보 처리를 설명하는 흐름도이다.
도 9는 도메인 적응 처리를 설명하는 흐름도이다.
도 10은 서버측에서 실행되는 정보 처리를 설명하는 흐름도이다.
도 11은 본 기술을 적용한 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 12는 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 13은 차밖 정보 검출부 및 촬상부의 설치 위치의 일례를 도시하는 설명도이다.
이하, 본 기술을 적용한 구체적인 실시 형태에 대해서, 도면을 참조하면서 상세하게 설명한다.
<학습 처리에 대해서>
먼저, 도 1 내지 도 3을 참조하여 학습 처리에 대해서 설명한다.
도 1은, 종래의 학습 처리에서의 처리의 흐름을 모식적으로 도시하는 도면이다.
도 1에 도시하는 바와 같이, 종래의 학습 처리에서는, 심층 학습을 이용해서 화상 인식을 행하는 인식기(CNN)가 사용되고, 인식기(CNN)에는, 화상에 찍혀 있는 복수의 피사체를 분류하는 라벨이 미리 작성되어 있는 유라벨 화상이 입력된다.
예를 들어, 인식기(CNN)는, 유라벨 화상에 대한 화상 인식을 행하고, 그 유라벨 화상에 찍혀 있는 복수의 피사체를 인식하여, 각각의 피사체를 분류한 인식 결과를 출력한다. 그리고, 인식기(CNN)로부터 출력되는 인식 결과와, 유라벨 화상에 대한 정답 라벨의 비교가 행하여져, 인식 결과를 정답 라벨에 가깝게 하도록 인식기(CNN)에 대한 피드백이 행하여진다.
이와 같이, 종래의 학습 처리에서는, 정답 라벨을 사용하여, 인식기(CNN)가 보다 정확한 화상 인식을 행할 수 있도록 하는 학습이 행하여진다.
그래서, 도 2 및 도 3을 참조하여 설명한 바와 같이, 정답 라벨을 사용하지 않고 정확한 화상 인식을 행할 수 있도록 한다.
도 2 및 도 3은, 본 기술을 적용한 학습 처리에서의 처리의 흐름을 모식적으로 도시하는 도면이다. 이하에서는, 설명을 이해하기 쉽게 하기 위해서, 먼저, 정답 라벨이 준비되어 있는 화상(이하, 유라벨 화상이라고 칭함)과, 정답 라벨이 반드시 준비되어 있는 것은 아닌 화상(이하, 무라벨 화상이라고 칭함)의 2종류의 화상을 예시하지만, 도 2 및 도 3에 도시한 바와 같이, 본 기술을 적용한 학습 처리에서는, 정답 라벨은 불필요하다. 즉, 본 기술을 적용한 학습 처리에서 사용되는 2종류의 입력 화상에는, 일절 정답 라벨이 준비되어 있지 않으며, 그러한 화상을 사용해서 학습 처리가 행하여진다.
도 2 및 도 3에 도시한 바와 같이, 본 기술을 적용한 학습 처리에서는, 2대의 인식기(CNN1 및 CNN2)가 사용되고, 인식기(CNN1)에 입력되는 화상에 대응하는 정답 라벨은 존재하지 않아도 된다.
예를 들어, 도 2에 도시하는 학습 처리에서는, 인식기(CNN1)는, 무라벨 화상에 대한 화상 인식을 행하여, 그 무라벨 화상에 찍혀 있는 복수의 피사체를 분류한 인식 결과(라벨없음)를 출력한다. 또한, 이 인식 결과가 인식기(CNN2)에 입력되어, 인식기(CNN2)가, 인식 결과(라벨있음)와 인식 결과(라벨없음)를 분별할 수 있도록 하는 학습이, 정답값(라벨있음/라벨없음)을 사용해서 행하여진다.
그리고, 인식기(CNN2)에서의 학습의 결과를 인식기(CNN1)에 피드백함으로써, 무라벨 화상에 대한 인식기(CNN1)의 인식 결과를, 라벨있음의 인식 결과에 가깝게 할 수 있게 된다. 이에 의해, 인식기(CNN1)는, 무라벨 화상의 피사체를 정확하게 분류할 수 없었던 개소에 대해서, 도 2에 도시하는 예에서는, 인식 결과의 우측의 차도와 보도의 경계에 대해서 정확하게 분류를 행할 수 있게 된다.
또한, 도 3에 도시하는 학습 처리에서는, 각각 다른 환경에서 촬상된 2매의 화상(제1 환경의 화상 및 제2 환경의 화상)이 사용된다.
즉, 인식기(CNN1)는, 제2 환경의 화상에 대한 화상 인식을 행하여, 그 제2 환경의 화상에 찍혀 있는 복수의 피사체를 분류한 인식 결과(제2 환경)를 출력한다. 또한, 이 인식 결과가 인식기(CNN2)에 입력되어, 인식기(CNN2)가, 인식 결과(제1 환경)와 인식 결과(제2 환경)를 분별할 수 있도록 하는 학습이, 정답값(제1 환경/제2 환경)을 사용해서 행하여진다.
그리고, 인식기(CNN2)에서의 학습의 결과를 인식기(CNN1)에 피드백함으로써, 제2 환경의 화상에 대한 인식기(CNN1)의 인식 결과를, 제1 환경의 인식 결과에 가깝게 할 수 있게 된다. 이에 의해, 인식기(CNN1)는, 제2 환경의 화상의 피사체를 정확하게 분류할 수 없었던 개소에 대해서, 도 2에 도시하는 예와 마찬가지로, 정확하게 분류를 행할 수 있게 된다. 따라서, 정답 라벨이 존재하지 않는 제1 환경의 화상 및 제2 환경의 화상을 사용하여, 화상 인식을 정확하게 행할 수 있는 학습 처리가 행하여진다.
이와 같이, 본 기술을 적용한 학습 처리에서는, 정답 라벨을 준비하지 않아도, 인식기(CNN1)가 정확하게 화상 인식을 행하는 것을 가능하게 하여, 무라벨 화상에 대하여 정확한 화상 인식을 행하는 것, 즉, 인식 성능의 향상을 도모할 수 있다.
또한, 도 2 및 도 3을 참조하여 설명한 바와 같이, 정답 라벨이 반드시 준비되어 있지는 않은 화상을 사용하여, 교사없이 행하여지는 학습 처리를, 이하, 도메인 적응 처리라고 칭한다.
<학습 시스템의 구성예>
도 4는, 본 기술을 적용한 학습 시스템의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 4에 도시하는 학습 시스템(11)은, 네트워크(12)를 통해서, N대의 차량(13-1 내지 13-N)과 서버(14)가 접속되어 구성되고, 차량(13-1 내지 13-N) 각각이 인식기를 갖고 있다. 또한, 차량(13-1 내지 13-N)은 마찬가지로 구성되어 있고, 이하, 각각을 구별할 필요가 없을 경우, 단순히 차량(13)이라고도 칭한다.
학습 시스템(11)에서는, 차량(13-1 내지 13-N)에서 촬상된 화상에 대하여, 차량(13-1 내지 13-N) 각각의 내부에서 실시간(예를 들어, 프레임 레이트 레벨)으로 도메인 적응 처리의 학습이 행하여진다. 그리고, 학습 시스템(11)에서는, 네트워크(12)를 통해서, 차량(13-1 내지 13-N)에서 촬상된 N매의 화상과, N개의 인식기의 모델이 서버(14)에 업로드된다.
이에 의해, 학습 시스템(11)에서는, 서버(14)에 있어서, 차량(13-1 내지 13-N)으로부터 집적된 N매의 화상이, 차량(13-1 내지 13-N) 각각의 모델에 의해 구성되는 N개의 인식기 모두에 입력된다. 그리고, 서버(14)에 있어서, N개의 인식기에 의한 인식 결과가 통합된 통합 인식 결과를 산출하고, 그 통합 인식 결과와, N개의 인식기 각각의 인식 결과를 사용하여, 개개의 인식 결과가 평가된다. 예를 들어, 이 인식 결과를 평가하는 평가값의 산출은, 차량(13)에서 화상이 촬상되는 프레임 레이트보다도 긴 일정 기간마다 행하여진다.
그 후, 학습 시스템(11)에서는, 그것들의 인식 결과에 대한 평가를 나타내는 평가값이 일정 값 이하인 경우, 그 인식 결과가 얻어진 모델의 인식기를 갖는 차량(13)에 대하여 서버(14)로부터 피드백이 행하여진다. 이것에 따라, 그 차량(13)에서는, 그 시점에서의 모델로부터 학습 전의 상태로 롤 백함과 함께, 그 학습에 사용하고 있었던 입력 데이터의 파기가 행하여진다.
여기서, 학습 시스템(11)에서는, 차량(13-1 내지 13-N)이 갖는 인식기는, 각각 마찬가지로 구성되어 있고, 그 인식기에는, 각각의 차량(13)에서 촬상된 화상이 입력되어, 그 화상에 대한 화상 인식을 행한 인식 결과가 출력된다. 또한, 서버(14)에 있어서, 평가 및 피드백이 항상 동작하는 것이 아니고, 예를 들어 수시간에 1회 정도, 차량(13-1 내지 13-N)에서의 도메인 적응 처리에 대한 검증을 행할 때만 동작한다. 즉, 학습 시스템(11)에 있어서, 차량(13-1 내지 13-N)에서는, 높은 빈도로 학습 처리가 행하여지고, 서버(14)에서는, 낮은 빈도로 평가 및 피드백이 행하여진다.
도 5는, 차량(13)이 구비하는 정보 처리 장치(21)의 구성예를 도시하는 블록도이다.
도 5에 도시한 바와 같이, 정보 처리 장치(21)는, 화상 취득부(31), 기억부(32), 도메인 적응 처리 실행부(33), 송신부(34), 수신부(35), 판정부(36) 및 인식 처리부(37)를 구비해서 구성된다.
화상 취득부(31)는, 차량(13)에 탑재되어 있는 촬상 장치(도시하지 않음)에서 촬상된 화상을 취득하여, 도메인 적응 처리 실행부(33) 및 인식 처리부(37)에 공급한다.
기억부(32)는, 정보 처리 장치(21)에 있어서 화상 인식을 행하는 인식기의 모델을 기억한다. 예를 들어, 기억부(32)는, 초기 상태로서 설정되어 있는 모델인 초기 모델이나, 도메인 적응 처리 실행부(33)에서 갱신된 최신의 모델, 그 갱신되기 직전의 모델 등을 기억한다.
도메인 적응 처리 실행부(33)는, 기억부(32)로부터 로드한 모델을 인식기에 설정하고, 화상 취득부(31)로부터 공급되는 화상을 대상으로 해서 도메인 적응 처리를 실행한다. 그리고, 도메인 적응 처리 실행부(33)는, 예를 들어 서버(14)에 있어서 평가 및 피드백이 행하여지는 타이밍에, 인식기에 설정되어 있는 모델과, 화상 인식에 사용한 화상을 송신부(34)에 공급한다. 또한, 도메인 적응 처리 실행부(33)는, 인식기의 모델이 정확하게 학습되어 있는 경우, 그 모델을 기억부(32)에 공급해서 모델의 갱신을 행할 수 있다. 또한, 도메인 적응 처리 실행부(33)의 상세한 구성에 대해서는, 도 6을 참조하여 후술한다.
송신부(34)는 도메인 적응 처리 실행부(33)로부터 공급되는 화상 및 모델과 함께, 도시하지 않은 상위의 제어 장치로부터 부가 정보(예를 들어, 차량(13)의 위치 정보나, 차종 정보, 촬상 기재 정보, 촬상 조건 정보 등)를 취득하여, 도 1의 네트워크(12)를 통해서 서버(14)에 송신한다.
수신부(35)는, 서버(14)로부터 네트워크(12)를 통해서 송신되어 오는 평가값을 수신하여, 판정부(36)에 공급한다.
판정부(36)는, 서버(14)에 있어서 구해진 평가값을 소정의 평가값 역치와 비교하여, 도메인 적응 처리 실행부(33)에서 정확하게 학습이 행해졌는지 여부를 판정하고, 그 판정 결과를 도메인 적응 처리 실행부(33)에 통지한다.
인식 처리부(37)는, 기억부(32)로부터 최신의 모델을 판독하고, 그 모델을 설정한 인식기를 사용하여, 화상 취득부(31)로부터 공급되는 화상에 대한 인식 처리를 행하고, 그 인식 처리에 의해 얻어지는 인식 결과를 출력한다. 예를 들어, 인식 처리부(37)에 의한 인식 결과는, 차량(13)의 자동 운전 시스템에 입력되어, 인식 결과를 사용해서 차량(13)의 자동 운전이 제어된다. 따라서, 인식 처리부(37)가, 도메인 적응 처리 실행부(33)에서 정확하게 학습된 모델을 사용함으로써, 인식 처리부(37)의 인식 성능이 향상되어, 보다 안전한 자동 운전을 실현할 수 있다.
도 6은, 도 5의 도메인 적응 처리 실행부(33)의 구성예를 도시하는 블록도이다.
도 6에 도시하는 바와 같이, 도메인 적응 처리 실행부(33)는, 환경 특징량 계산부(41), 도메인 판별부(42) 및 갱신값 계산부(43)를 구비해서 구성되고, 예를 들어 환경 특징량 계산부(41) 및 도메인 판별부(42)에 의해 인식기가 구성된다.
환경 특징량 계산부(41)는, 도 5의 화상 취득부(31)로부터 공급되는 화상으로부터, 그 화상의 1화소마다의 특징을 나타내는 환경 특징량을 소정의 계수를 사용해서 계산하여, 도메인 판별부(42)에 공급한다.
도메인 판별부(42)는, 환경 특징량 계산부(41)로부터 공급되는 환경 특징량을 소정의 역치에 따라서 분류하고, 그 역치로 분류되는 환경 특징량을 나타내는 화소를 포함하는 영역을 1개의 도메인으로서 판별하는 도메인 판별을 행한다. 그리고, 도메인 판별부(42)는, 도메인 판별을 행한 결과 얻어지는 도메인 판별 결과를, 예를 들어 도 2 및 도 3에 도시한 바와 같이 화상에 찍혀 있는 피사체마다 분류를 행한 인식 결과를, 갱신값 계산부(43)에 공급한다.
갱신값 계산부(43)는, 도메인 판별부(42)로부터 공급되는 도메인 판별 결과에 따라서, 환경 특징량 계산부(41)에서의 환경 특징량의 계산에 사용되는 계수를 갱신하는 환경 특징량 계산 갱신값, 및 도메인 판별부(42)에서의 도메인 판별에 사용되는 역치를 갱신하는 도메인 판별 갱신값을 계산한다. 그리고, 갱신값 계산부(43)는, 환경 특징량 계산 갱신값을 환경 특징량 계산부(41)에 피드백함과 함께, 도메인 판별 갱신값을 도메인 판별부(42)에 피드백한다.
또한, 갱신값 계산부(43)는, 환경 특징량 계산부(41)에서의 환경 특징량의 계산에 사용되는 계수, 및 도메인 판별부(42)에서의 도메인 판별에 사용되는 역치를, 인식기의 모델로서 도 5의 송신부(34)에 공급한다.
도 7은, 서버(14)가 구비하는 정보 처리 장치(22)의 구성예를 도시하는 블록도이다.
도 7에 도시하는 바와 같이, 정보 처리 장치(22)는, 수신부(51), N개의 인식부(52-1 내지 52-N), 통합부(53), 평가 산출부(54) 및 송신부(55)를 구비해서 구성된다.
수신부(51)는, N대의 차량(13-1 내지 13-N)으로부터 송신되어 오는 화상, 모델, 및 부가 정보를 수신한다. 그리고, 수신부(51)는, N대의 차량(13-1 내지 13-N)에서의 인식기의 모델을, 각각 대응하는 인식부(52-1 내지 52-N)에 공급한다. 그 후, 수신부(51)는, N매의 화상 및 N개의 부가 정보 각각을, 인식부(52-1 내지 52-N) 모두에 공급한다.
인식부(52-1 내지 52-N)는, 각각 N대의 차량(13-1 내지 13-N)의 모델을 설정한다. 그리고, 인식부(52-1 내지 52-N)는, 모델에 대하여 부가 정보에 의해 가중치 부여된 화상을 입력하고, 화상 인식을 행한 인식 결과를 통합부(53) 및 평가 산출부(54)에 공급한다.
통합부(53)는, 인식부(52-1 내지 52-N)로부터 공급되는 N개의 인식 결과를 집계하고, 예를 들어 그것들의 가중 평균을 산출함으로써 통합 인식 결과를 구하여, 평가 산출부(54)에 공급한다.
평가 산출부(54)는, 통합부(53)로부터 공급되는 통합 인식 결과와, 인식부(52-1 내지 52-N)로부터 공급되는 인식 결과를 사용하여, 인식부(52-1 내지 52-N) 각각에 설정되어 있는 모델을 개별로 평가하는 평가값을 산출하여, 송신부(55)에 공급한다.
송신부(55)는, 평가 산출부(54)로부터 공급되는 개개의 인식기의 모델에 대한 평가값을, N대의 차량(13-1 내지 13-N) 중, 각각 대응하는 차량(13)에 송신한다.
여기서, 통합부(53) 및 평가 산출부(54)에 의한 모델의 평가에 대해서 설명한다. 예를 들어, 거리를 사용한 하중 평균값을 사용해서 역치 처리가 행하여진다.
즉, 통합부(53) 및 평가 산출부(54)는, 평가 대상의 화상 인식 결과의 화소값(In, ij), 참조하는 화상 인식 결과의 화소값(Rij), 차량(13)의 인덱스 집합(N), 화상의 폭의 인덱스 집합(W), 화상의 높이의 인덱스 집합(H), 부가 정보를 사용해서 산출한 도메인간 거리(dn)를 사용하여, 다음의 식 (1)을 연산함으로써, 통합 인식 결과(Rij) 및 평가값(Dn)을 산출할 수 있다.
Figure pct00001
또한, 도메인간 거리(dn)의 계산에는, 룰베이스에 기초해서 구하거나, 부가 정보로 클러스터링한 후에 있어서의 중심과의 거리 등을 사용하거나 할 수 있다.
예를 들어, 룰베이스에 기초한 도메인간 거리(dn)는, 상수(a)(>0), 개시 지점으로부터의 직선 거리(d), 및 미리 차종마다 정의되어 있는 차분(bcar)을 사용하여, 다음의 식 (2)를 연산함으로써 구할 수 있다. 여기서, 차분(bcar)으로서는, 차체의 높이나, 촬상 장치의 설치 위치 및 자세, 촬상 장치의 종류(해상도 및 화각) 등으로부터 종합적으로 설정할 수 있다.
Figure pct00002
그 밖에, 룰베이스에 기초한 도메인간 거리(dn)는, 상수(a)(>0), 경계의 수(k), 및 미리 차종마다 정의되어 있는 차분(bcar)을 사용하여, 다음의 식 (3)을 연산함으로써 구할 수 있다. 여기서, 경계의 수(k)에서의 경계란, 예를 들어 걸쳐진 시나 현, 주 등과 같이 독자적인 분류를 마련할 수 있다.
Figure pct00003
또한, 식 (2) 및 식 (3)의 우변은, 모두 n에 의존하지만, 설명을 간략화하기 위해서 생략하였다.
또한, 부가 정보로 클러스터링한 후에 있어서의 중심과의 거리는, 예를 들어 k-means법 등에 의해, 과거에 취득한 다양한 차량(13)이나 환경 등에서의 부가 정보를 클러스터링하여, 그 클러스터의 중심(centroid)을 계산해 둔다. 그리고, 입력 화상에 대응하는 부가 정보(ai), 및 각 인식기에 대응하는 부가 정보가 속하는 클러스터의 중심(cn)을 사용하여, 다음의 식 (4)를 연산함으로써 구해진다.
Figure pct00004
그리고, 이렇게 구해진 도메인간 거리(dn)가, 상술한 식 (1)에 사용되어, 통합 인식 결과(Rij) 및 평가값(Dn)이 산출된다.
또한, 평가값(Dn)이, 서버(14)로부터 차량(13-1 내지 13-N) 각각에 송신되어, 상술한 바와 같이 판정부(36)에서, 평가값(Dn)과 평가값 역치(Dthresh, n)가 비교된다. 그리고, 평가값(Dn)이 평가값 역치(Dthresh, n) 이상이면, 정확하게 학습이 행하여졌다고 판정된다.
<정보 처리>
도 8은, 정보 처리 장치(21)가 실행하는 차량(13)측의 정보 처리를 설명하는 흐름도이다.
예를 들어, 차량(13)의 운전이 개시되고, 차량(13)이 구비하는 촬상 장치(도시하지 않음)에 의한 촬상이 시작되면 처리가 개시되어, 스텝 S11에서, 도메인 적응 처리 실행부(33)는, 기억부(32)로부터 초기 모델을 로드하여, 인식기에 설정한다.
스텝 S12에서, 화상 취득부(31)는, 촬상 장치에 의해 촬상된 화상을 취득하여, 도메인 적응 처리 실행부(33)에 공급한다.
스텝 S13에서, 도메인 적응 처리 실행부(33)는, 스텝 S12에서 화상 취득부(31)로부터 공급되는 화상을 대상으로 해서 도메인 적응 처리(도 9의 흐름도 참조)를 실행하고, 인식기에 설정되어 있는 모델을 갱신한다.
스텝 S14에서, 서버(14)에서 평가 및 피드백이 행하여지는 타이밍이 되면, 도메인 적응 처리 실행부(33)는, 화상 및 모델을 송신부(34)에 공급하고, 송신부(34)는, 화상, 모델 및 부가 정보를 서버(14)에 송신한다.
스텝 S15에서, 수신부(35)는, 서버(14)에 있어서 정보 처리(도 10의 흐름도 참조)가 행하여진 결과로서 송신되어 오는 평가값(Dn)을 수신하여, 판정부(36)에 공급한다.
스텝 S16에서, 판정부(36)는, 스텝 S15에서 수신부(35)로부터 공급된 평가값(Dn)을 평가값 역치(Dthresh, n)와 비교하여, 도메인 적응 처리 실행부(33)에서 정확하게 학습이 행해졌는지 여부를 판정한다. 예를 들어, 판정부(36)는, 평가값(Dn)이 평가값 역치(Dthresh, n) 이상(Dn≥Dthresh, n)이면 정확하게 학습이 행하여졌다고 판정하고, 평가값(Dn)이 평가값 역치(Dthresh, n) 미만(Dn <Dthresh, n)이면 정확하게 학습이 행하여지지 않았다고 판정한다.
스텝 S16에서, 판정부(36)가, 도메인 적응 처리 실행부(33)에서 정확하게 학습이 행하여지지 않았다고 판정한 경우, 처리는 스텝 S17로 진행된다.
스텝 S17에서, 판정부(36)는, 그 판정 결과를 도메인 적응 처리 실행부(33)에 통지하고, 도메인 적응 처리 실행부(33)는, 인식기에 설정되어 있는 모델을, 갱신되기 전의 원래의 모델로 되돌린다. 그 후, 처리는 스텝 S12로 돌아가서, 이하, 마찬가지의 처리가 반복해서 행하여진다.
한편, 스텝 S16에서, 판정부(36)가, 도메인 적응 처리 실행부(33)에서 정확하게 학습이 행하여졌다고 판정한 경우, 처리는 스텝 S18로 진행된다.
스텝 S18에서, 도메인 적응 처리 실행부(33)는, 인식기의 모델을 갱신하는 정보 처리를 계속할지 여부를 판정한다.
스텝 S18에서, 도메인 적응 처리 실행부(33)가, 인식기의 모델을 갱신하는 정보 처리를 계속한다고 판정한 경우, 처리는 스텝 S12로 돌아가서, 이하, 마찬가지의 처리가 반복해서 행하여진다. 한편, 스텝 S18에서, 도메인 적응 처리 실행부(33)가, 인식기의 모델을 갱신하는 정보 처리를 계속하지 않는다고 판정한 경우, 처리는 종료된다.
이상과 같이, 정보 처리 장치(21)에서는, 도메인 적응 처리가 행해짐으로써 갱신된 인식기의 모델이 정확하게 학습되어 있는지 여부를, 서버(14)로부터의 평가값에 기초하여 판정할 수 있다. 이에 의해, 정보 처리 장치(21)가 단독으로 정확하게 학습이 행하여지고 있는지 여부를 판정하는 것보다도, 보다 정확한 판정을 행할 수 있어, 인식 성능을 향상시킬 수 있다.
도 9는, 도 8의 스텝 S13에서 행하여지는 도메인 적응 처리를 설명하는 흐름도이다.
스텝 S21에서, 도메인 적응 처리 실행부(33)는, 화상 취득부(31)로부터의 화상을 취득할 수 있었는지 여부를 판정하고, 화상을 취득할 수 없었다고 판정한 경우에는, 처리를 종료한다. 그리고, 스텝 S21에서, 화상을 취득할 수 있었다고 판정된 경우, 처리는 스텝 S22로 진행된다.
스텝 S22에서, 환경 특징량 계산부(41)는, 그 취득한 화상으로부터, 1화소마다의 특징을 나타내는 환경 특징량을 소정의 계수를 사용해서 계산하여, 도메인 판별부(42)에 공급한다.
스텝 S23에서, 도메인 판별부(42)는, 스텝 S22에서 환경 특징량 계산부(41)로부터 공급되는 환경 특징량을 소정의 역치에 따라서 분류하고, 그 역치로 분류되는 환경 특징량을 나타내는 화소를 포함하는 영역을 1개의 도메인으로서 판별하는 도메인 판별을 행하고, 그 결과 얻어지는 도메인 판별 결과를, 갱신값 계산부(43)에 공급한다.
스텝 S24에서, 갱신값 계산부(43)는, 스텝 S23에서 도메인 판별부(42)로부터 공급되는 도메인 판별 결과에 따라서, 환경 특징량 계산부(41)에서의 환경 특징량의 계산에 사용되는 계수를 갱신하는 환경 특징량 계산 갱신값, 및 도메인 판별부(42)에서의 도메인 판별에 사용되는 역치를 갱신하는 도메인 판별 갱신값을 계산한다.
스텝 S25에서, 갱신값 계산부(43)는, 환경 특징량 계산 갱신값을 환경 특징량 계산부(41)에 피드백함과 함께, 도메인 판별 갱신값을 도메인 판별부(42)에 피드백한다. 이에 의해, 환경 특징량 계산부(41) 및 도메인 판별부(42)에 의해 구성되는 인식기의 모델이 갱신된 후, 처리는 종료된다.
도 10은, 정보 처리 장치(22)가 실행하는 서버(14)측의 정보 처리를 설명하는 흐름도이다.
스텝 S31에서, 수신부(51)는, N대의 차량(13-1 내지 13-N)에 있어서 도 8의 스텝 S14에서 송신해 오는 화상, 모델 및 부가 정보를 수신한다. 그리고, 수신부(51)는, N대의 차량(13-1 내지 13-N)에서의 인식기의 모델을, 각각 대응하는 인식부(52-1 내지 52-N)에 공급하고, N매의 화상 및 N개의 부가 정보 각각을, 인식부(52-1 내지 52-N) 모두에 공급한다.
스텝 S32에서, 인식부(52-1 내지 52-N)는, 각각 N대의 차량(13-1 내지 13-N)의 모델을 설정하고, 부가 정보에 의해 가중치 부여된 화상을 대상으로 해서 화상 인식을 행한다. 그리고, 인식부(52-1 내지 52-N)는, 화상 인식을 행한 인식 결과를, 통합부(53) 및 평가 산출부(54)에 공급한다.
스텝 S33에서, 통합부(53)는, 스텝 S32에서 인식부(52-1 내지 52-N)로부터 공급되는 N개의 인식 결과로부터 통합 인식 결과(Rij)를 구하여, 평가 산출부(54)에 공급한다.
스텝 S34에서, 평가 산출부(54)는, 스텝 S33에서 통합부(53)로부터 공급되는 통합 인식 결과(Rij)와, 스텝 S32에서 인식부(52-1 내지 52-N)로부터 공급되는 인식 결과를 사용하여, 인식부(52-1 내지 52-N) 각각에 설정되어 있는 모델을 개별로 평가하는 평가값(Dn)을 산출한다. 그리고, 평가 산출부(54)는, 평가값(Dn)을 송신부(55)에 공급한다.
스텝 S35에서, 송신부(55)는, 스텝 S34에서 평가 산출부(54)로부터 공급되는 평가값(Dn)을, N대의 차량(13-1 내지 13-N) 중 대응하는 차량(13-n)에 송신한다. 그리고, 송신부(55)가, N대의 차량(13-1 내지 13-N) 각각에 평가값(Dn)을 송신한 후, 처리는 종료된다.
이상과 같이, 정보 처리 장치(22)에서는, 인식부(52-1 내지 52-N)에서의 인식 결과를 통합한 통합 인식 결과를 사용함으로써, 인식부(52-1 내지 52-N) 각각에 설정되어 있는 모델을 종합적으로 평가할 수 있다.
<컴퓨터의 구성예>
이어서, 상술한 일련의 처리(정보 처리 방법)는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 인스톨된다.
도 11은, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도이다.
프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드 디스크(105)나 ROM(103)에 미리 기록해 둘 수 있다.
혹은 또한, 프로그램은, 드라이브(109)에 의해 구동되는 리무버블 기록 매체(111)에 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체(111)는, 소위 패키지 소프트웨어로서 제공할 수 있다. 여기서, 리무버블 기록 매체(111)로서는, 예를 들어 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.
또한, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(111)로부터 컴퓨터에 인스톨하는 것 외에, 통신망이나 방송망을 통해서 컴퓨터에 다운로드하여, 내장하는 하드 디스크(105)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들어 다운로드 사이트로부터, 디지털 위성 방송용 인공위성을 통해서, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 통해서 컴퓨터에 유선으로 전송할 수 있다.
컴퓨터는, CPU(Central Processing Unit)(102)를 내장하고 있고, CPU(102)에는, 버스(101)를 통해서 입출력 인터페이스(110)가 접속되어 있다.
CPU(102)는, 입출력 인터페이스(110)를 통해서, 유저에 의해 입력부(107)가 조작되거나 함으로써 지령이 입력되면, 그것에 따라서, ROM(Read Only Memory)(103)에 저장되어 있는 프로그램을 실행한다. 또는, CPU(102)는, 하드 디스크(105)에 저장된 프로그램을, RAM(Random Access Memory)(104)에 로드해서 실행한다.
이에 의해, CPU(102)는, 상술한 흐름도에 따른 처리, 혹은 상술한 블록도의 구성에 의해 행하여지는 처리를 행한다. 그리고, CPU(102)는, 그 처리 결과를, 필요에 따라, 예를 들어 입출력 인터페이스(110)를 통해서 출력부(106)로부터 출력, 혹은, 통신부(108)로부터 송신, 나아가 하드 디스크(105)에 기록 등을 시킨다.
또한, 입력부(107)는, 키보드나, 마우스, 마이크 등으로 구성된다. 또한, 출력부(106)는, LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.
여기서, 본 명세서에서, 컴퓨터가 프로그램에 따라서 행하는 처리는, 반드시 흐름도로서 기재된 순서를 따라 시계열로 행하여질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라서 행하는 처리는, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함한다.
또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은, 먼 곳의 컴퓨터에 전송되어 실행되는 것이어도 된다.
또한, 본 명세서에서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 상관없다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통해서 접속되어 있는 복수의 장치, 및 1개의 하우징 내에 복수의 모듈이 수납되어 있는 1개의 장치는, 모두 시스템이다.
또한, 예를 들어 1개의 장치(또는 처리부)로서 설명한 구성을 분할하여, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합해서 1개의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함하도록 해도 된다.
또한, 예를 들어 본 기술은, 하나의 기능을, 네트워크를 통해서 복수의 장치에서 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 예를 들어 상술한 프로그램은, 임의의 장치에서 실행할 수 있다. 그 경우, 그 장치가, 필요한 기능(기능 블록 등)을 갖고, 필요한 정보를 얻을 수 있도록 하면 된다.
또한, 예를 들어 상술한 흐름도에서 설명한 각 스텝은, 1개의 장치에서 실행하는 것 외에, 복수의 장치에서 분담해서 실행할 수 있다. 또한, 1개의 스텝에 복수의 처리가 포함되는 경우에는, 그 1개의 스텝에 포함되는 복수의 처리는, 1개의 장치에서 실행하는 것 외에, 복수의 장치에서 분담해서 실행할 수 있다. 환언하면, 1개의 스텝에 포함되는 복수의 처리를, 복수의 스텝의 처리로서 실행할 수도 있다. 반대로, 복수의 스텝으로서 설명한 처리를 1개의 스텝으로서 통합해서 실행할 수도 있다.
또한, 컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서를 따라 시계열로 실행되도록 해도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 타이밍에 개별로 실행되도록 해도 된다. 즉, 모순이 생기지 않는 한, 각 스텝의 처리가 상술한 순서와 다른 순서로 실행되도록 해도 된다. 또한, 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합해서 실행되도록 해도 된다.
또한, 본 명세서에서 복수 설명한 본 기술은, 모순이 생기지 않는 한, 각각 독립적으로 단체로 실시할 수 있다. 물론, 임의의 복수의 본 기술을 병용해서 실시할 수도 있다. 예를 들어, 어느 것의 실시 형태에서 설명한 본 기술의 일부 또는 전부를, 다른 실시 형태에서 설명한 본 기술의 일부 또는 전부와 조합해서 실시할 수도 있다. 또한, 상술한 임의의 본 기술의 일부 또는 전부를, 상술하지 않은 다른 기술과 병용해서 실시할 수도 있다.
<응용예>
본 개시에 관한 기술은, 다양한 제품에 응용할 수 있다. 예를 들어, 본 개시에 관한 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇, 건설 기계, 농업 기계(트랙터) 등의 어느 것의 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 12는, 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(7000)의 개략적인 구성예를 도시하는 블록도이다. 차량 제어 시스템(7000)은, 통신 네트워크(7010)를 통해서 접속된 복수의 전자 제어 유닛을 구비한다. 도 12에 도시한 예에서는, 차량 제어 시스템(7000)은, 구동계 제어 유닛(7100), 바디계 제어 유닛(7200), 배터리 제어 유닛(7300), 차밖 정보 검출 유닛(7400), 차내 정보 검출 유닛(7500) 및 통합 제어 유닛(7600)을 구비한다. 이들 복수의 제어 유닛을 접속하는 통신 네트워크(7010)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network) 또는 FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크이면 된다.
각 제어 유닛은, 각종 프로그램에 따라서 연산 처리를 행하는 마이크로컴퓨터와, 마이크로컴퓨터에 의해 실행되는 프로그램 또는 각종 연산에 사용되는 파라미터 등을 기억하는 기억부와, 각종 제어 대상의 장치를 구동하는 구동 회로를 구비한다. 각 제어 유닛은, 통신 네트워크(7010)를 통해서 다른 제어 유닛과의 사이에서 통신을 행하기 위한 네트워크 I/F를 구비함과 함께, 차 내외의 장치 또는 센서 등과의 사이에서, 유선 통신 또는 무선 통신에 의해 통신을 행하기 위한 통신 I/F를 구비한다. 도 12에서는, 통합 제어 유닛(7600)의 기능 구성으로서, 마이크로컴퓨터(7610), 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660), 음성 화상 출력부(7670), 차량 탑재 네트워크 I/F(7680) 및 기억부(7690)가 도시되어 있다. 다른 제어 유닛도 마찬가지로, 마이크로컴퓨터, 통신 I/F 및 기억부 등을 구비한다.
구동계 제어 유닛(7100)은, 각종 프로그램에 따라서 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들어, 구동계 제어 유닛(7100)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다. 구동계 제어 유닛(7100)은, ABS(Antilock Brake System) 또는 ESC(Electronic Stability Control) 등의 제어 장치로서의 기능을 가져도 된다.
구동계 제어 유닛(7100)에는, 차량 상태 검출부(7110)가 접속된다. 차량 상태 검출부(7110)에는, 예를 들어 차체의 축 회전 운동의 각속도를 검출하는 자이로 센서, 차량의 가속도를 검출하는 가속도 센서, 혹은, 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수 또는 차륜의 회전 속도 등을 검출하기 위한 센서 중 적어도 1개가 포함된다. 구동계 제어 유닛(7100)은, 차량 상태 검출부(7110)로부터 입력되는 신호를 사용해서 연산 처리를 행하여, 내연 기관, 구동용 모터, 전동 파워스티어링 장치 또는 브레이크 장치 등을 제어한다.
바디계 제어 유닛(7200)은, 각종 프로그램에 따라서 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들어, 바디계 제어 유닛(7200)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 혹은, 헤드 램프, 백 램프, 브레이크 램프, 방향 지시등 또는 안개등 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 바디계 제어 유닛(7200)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 바디계 제어 유닛(7200)은, 이들의 전파 또는 신호의 입력을 접수하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
배터리 제어 유닛(7300)은, 각종 프로그램에 따라서 구동용 모터의 전력 공급원인 이차 전지(7310)를 제어한다. 예를 들어, 배터리 제어 유닛(7300)에는, 이차 전지(7310)를 구비한 배터리 장치로부터, 배터리 온도, 배터리 출력 전압 또는 배터리의 잔존 용량 등의 정보가 입력된다. 배터리 제어 유닛(7300)은, 이들의 신호를 사용해서 연산 처리를 행하여, 이차 전지(7310)의 온도 조절 제어 또는 배터리 장치에 구비된 냉각 장치 등의 제어를 행한다.
차밖 정보 검출 유닛(7400)은, 차량 제어 시스템(7000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들어, 차밖 정보 검출 유닛(7400)에는, 촬상부(7410) 및 차밖 정보 검출부(7420) 중 적어도 한쪽이 접속된다. 촬상부(7410)에는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 그 밖의 카메라 중 적어도 1개가 포함된다. 차밖 정보 검출부(7420)에는, 예를 들어 현재의 날씨 또는 기상을 검출하기 위한 환경 센서, 혹은, 차량 제어 시스템(7000)을 탑재한 차량의 주위의 다른 차량, 장해물 또는 보행자 등을 검출하기 위한 주위 정보 검출 센서 중 적어도 1개가 포함된다.
환경 센서는, 예를 들어 우천을 검출하는 빗방울 센서, 안개를 검출하는 안개 센서, 일조 정도를 검출하는 일조 센서 및 강설을 검출하는 눈 센서 중 적어도 1개이면 된다. 주위 정보 검출 센서는, 초음파 센서, 레이더 장치 및 LIDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging) 장치 중 적어도 1개이면 된다. 이들 촬상부(7410) 및 차밖 정보 검출부(7420)는, 각각 독립된 센서 내지 장치로서 구비되어도 되고, 복수의 센서 내지 장치가 통합된 장치로서 구비되어도 된다.
여기서, 도 13은, 촬상부(7410) 및 차밖 정보 검출부(7420)의 설치 위치의 예를 나타낸다. 촬상부(7910, 7912, 7914, 7916, 7918)는, 예를 들어 차량(7900)의 프론트 노즈, 사이드 미러, 리어 범퍼, 백 도어 및 차실 내의 프론트 글래스의 상부 중 적어도 하나의 위치에 마련된다. 프론트 노즈에 구비되는 촬상부(7910) 및 차실 내의 프론트 글래스의 상부에 구비되는 촬상부(7918)는, 주로 차량(7900)의 전방 화상을 취득한다. 사이드 미러에 구비되는 촬상부(7912, 7914)는, 주로 차량(7900)의 측방 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(7916)는, 주로 차량(7900)의 후방 화상을 취득한다. 차실 내의 프론트 글래스의 상부에 구비되는 촬상부(7918)는, 주로 선행 차량, 또는 보행자, 장해물, 신호기, 교통 표지 또는 차선 등의 검출에 사용된다.
또한, 도 13에는, 각각의 촬상부(7910, 7912, 7914, 7916)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(a)는, 프론트 노즈에 마련된 촬상부(7910)의 촬상 범위를 나타내고, 촬상 범위(b, c)는, 각각 사이드 미러에 마련된 촬상부(7912, 7914)의 촬상 범위를 나타내고, 촬상 범위(d)는, 리어 범퍼 또는 백 도어에 마련된 촬상부(7916)의 촬상 범위를 나타낸다. 예를 들어, 촬상부(7910, 7912, 7914, 7916)에서 촬상된 화상 데이터가 중첩됨으로써, 차량(7900)을 상방에서 본 부감 화상이 얻어진다.
차량(7900)의 프론트, 리어, 사이드, 코너 및 차실 내의 프론트 글래스의 상부에 마련되는 차밖 정보 검출부(7920, 7922, 7924, 7926, 7928, 7930)는, 예를 들어 초음파 센서 또는 레이더 장치이면 된다. 차량(7900)의 프론트 노즈, 리어 범퍼, 백 도어 및 차실 내의 프론트 글래스의 상부에 마련되는 차밖 정보 검출부(7920, 7926, 7930)는, 예를 들어 LIDAR 장치이면 된다. 이들 차밖 정보 검출부(7920 내지 7930)는, 주로 선행 차량, 보행자 또는 장해물 등의 검출에 사용된다.
도 12로 돌아가서 설명을 계속한다. 차밖 정보 검출 유닛(7400)은, 촬상부(7410)에 차밖의 화상을 촬상시킴과 함께, 촬상된 화상 데이터를 수신한다. 또한, 차밖 정보 검출 유닛(7400)은, 접속되어 있는 차밖 정보 검출부(7420)로부터 검출 정보를 수신한다. 차밖 정보 검출부(7420)가 초음파 센서, 레이더 장치 또는 LIDAR 장치인 경우에는, 차밖 정보 검출 유닛(7400)은, 초음파 또는 전자파 등을 발신시킴과 함께, 수신된 반사파의 정보를 수신한다. 차밖 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 사람, 차, 장해물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다. 차밖 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 강우, 안개 또는 노면 상황 등을 인식하는 환경 인식 처리를 행해도 된다. 차밖 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 차밖의 물체까지의 거리를 산출해도 된다.
또한, 차밖 정보 검출 유닛(7400)은, 수신한 화상 데이터에 기초하여, 사람, 차, 장해물, 표지 또는 노면 상의 문자 등을 인식하는 화상 인식 처리 또는 거리 검출 처리를 행해도 된다. 차밖 정보 검출 유닛(7400)은, 수신한 화상 데이터에 대하여 왜곡 보정 또는 위치 정렬 등의 처리를 행함과 함께, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상을 생성해도 된다. 차밖 정보 검출 유닛(7400)은, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 사용하여 시점 변환 처리를 행해도 된다.
차내 정보 검출 유닛(7500)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(7500)에는, 예를 들어 운전자의 상태를 검출하는 운전자 상태 검출부(7510)가 접속된다. 운전자 상태 검출부(7510)는, 운전자를 촬상하는 카메라, 운전자의 생체 정보를 검출하는 생체 센서 또는 차실 내의 음성을 집음하는 마이크 등을 포함해도 된다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되어, 좌석에 앉은 탑승자 또는 스티어링 휠을 잡는 운전자의 생체 정보를 검출한다. 차내 정보 검출 유닛(7500)은, 운전자 상태 검출부(7510)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다. 차내 정보 검출 유닛(7500)은, 집음된 음성 신호에 대하여 노이즈 캔슬링 처리 등의 처리를 행해도 된다.
통합 제어 유닛(7600)은, 각종 프로그램에 따라서 차량 제어 시스템(7000) 내의 동작 전반을 제어한다. 통합 제어 유닛(7600)에는, 입력부(7800)가 접속되어 있다. 입력부(7800)는, 예를 들어 터치 패널, 버튼, 마이크로폰, 스위치 또는 레버 등, 탑승자에 의해 입력 조작될 수 있는 장치에 의해 실현된다. 통합 제어 유닛(7600)에는, 마이크로폰에 의해 입력되는 음성을 음성 인식함으로써 얻은 데이터가 입력되어도 된다. 입력부(7800)는, 예를 들어 적외선 또는 그 밖의 전파를 이용한 리모트 컨트롤 장치이어도 되고, 차량 제어 시스템(7000)의 조작에 대응한 휴대 전화 또는 PDA(Personal Digital Assistant) 등의 외부 접속 기기이어도 된다. 입력부(7800)는, 예를 들어 카메라이어도 되고, 그 경우 탑승자는 제스처에 의해 정보를 입력할 수 있다. 혹은, 탑승자가 장착한 웨어러블 장치의 움직임을 검출함으로써 얻어진 데이터가 입력되어도 된다. 또한, 입력부(7800)는, 예를 들어 상기 입력부(7800)를 사용해서 탑승자 등에 의해 입력된 정보에 기초하여 입력 신호를 생성하고, 통합 제어 유닛(7600)에 출력하는 입력 제어 회로 등을 포함해도 된다. 탑승자 등은, 이 입력부(7800)를 조작함으로써, 차량 제어 시스템(7000)에 대하여 각종 데이터를 입력하거나 처리 동작을 지시하거나 한다.
기억부(7690)는, 마이크로컴퓨터에 의해 실행되는 각종 프로그램을 기억하는 ROM(Read Only Memory), 및 각종 파라미터, 연산 결과 또는 센서값 등을 기억하는 RAM(Random Access Memory)을 포함하고 있어도 된다. 또한, 기억부(7690)는, HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 또는 광자기 기억 디바이스 등에 의해 실현해도 된다.
범용 통신 I/F(7620)는, 외부 환경(7750)에 존재하는 다양한 기기와의 사이의 통신을 중개하는 범용적인 통신 I/F이다. 범용 통신 I/F(7620)는, GSM(등록 상표)(Global System of Mobile communications), WiMAX(등록 상표), LTE(등록 상표)(Long Term Evolution) 혹은 LTE-A(LTE-Advanced) 등의 셀룰러 통신 프로토콜, 또는 무선 LAN(Wi-Fi(등록 상표)라고도 함), Bluetooth(등록 상표) 등의 그 밖의 무선 통신 프로토콜을 실장해도 된다. 범용 통신 I/F(7620)는, 예를 들어 기지국 또는 액세스 포인트를 통해서, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)에 접속해도 된다. 또한, 범용 통신 I/F(7620)는, 예를 들어 P2P(Peer To Peer) 기술을 사용하여, 차량의 근방에 존재하는 단말기(예를 들어, 운전자, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와 접속해도 된다.
전용 통신 I/F(7630)는, 차량에서의 사용을 목적으로 책정된 통신 프로토콜을 서포트하는 통신 I/F이다. 전용 통신 I/F(7630)는, 예를 들어 하위 레이어의 IEEE 802.11p와 상위 레이어의 IEEE 1609의 조합인 WAVE(Wireless Access in Vehicle Environment), DSRC(Dedicated Short Range Communications), 또는 셀룰러 통신 프로토콜과 같은 표준 프로토콜을 실장해도 된다. 전용 통신 I/F(7630)는, 전형적으로는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 차량과 집의 사이(Vehicle to Home)의 통신 및 보차간(Vehicle to Pedestrian) 통신 중 하나 이상을 포함하는 개념인 V2X 통신을 수행한다.
측위부(7640)는, 예를 들어 GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호(예를 들어, GPS(Global Positioning System) 위성으로부터의 GPS 신호)를 수신해서 측위를 실행하여, 차량의 위도, 경도 및 고도를 포함하는 위치 정보를 생성한다. 또한, 측위부(7640)는, 무선 액세스 포인트와의 신호의 교환에 의해 현재 위치를 특정해도 되고, 또는 측위 기능을 갖는 휴대 전화, PHS 혹은 스마트폰과 같은 단말기로부터 위치 정보를 취득해도 된다.
비콘 수신부(7650)는, 예를 들어 도로 상에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하여, 현재 위치, 정체, 통행 금지 또는 소요 시간 등의 정보를 취득한다. 또한, 비콘 수신부(7650)의 기능은, 상술한 전용 통신 I/F(7630)에 포함되어도 된다.
차내 기기 I/F(7660)는, 마이크로컴퓨터(7610)와 차내에 존재하는 다양한 차내 기기(7760)의 사이의 접속을 중개하는 통신 인터페이스이다. 차내 기기 I/F(7660)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication) 또는 WUSB(Wireless USB)와 같은 무선 통신 프로토콜을 사용해서 무선 접속을 확립해도 된다. 또한, 차내 기기 I/F(7660)는, 도시하지 않은 접속 단자(및 필요하면 케이블)를 통해서, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등의 유선 접속을 확립해도 된다. 차내 기기(7760)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 또는 차량에 반입되는 혹은 설치되는 정보 기기 중 적어도 하나를 포함하고 있어도 된다. 또한, 차내 기기(7760)는, 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치를 포함하고 있어도 된다. 차내 기기 I/F(7660)는, 이들 차내 기기(7760)와의 사이에서, 제어 신호 또는 데이터 신호를 교환한다.
차량 탑재 네트워크 I/F(7680)는, 마이크로컴퓨터(7610)와 통신 네트워크(7010)의 사이의 통신을 중개하는 인터페이스이다. 차량 탑재 네트워크 I/F(7680)는, 통신 네트워크(7010)에 의해 서포트되는 소정의 프로토콜에 의거하여 신호 등을 송수신한다.
통합 제어 유닛(7600)의 마이크로컴퓨터(7610)는, 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660) 및 차량 탑재 네트워크 I/F(7680) 중 적어도 하나를 통해서 취득되는 정보에 기초하여, 각종 프로그램에 따라서 차량 제어 시스템(7000)을 제어한다. 예를 들어, 마이크로컴퓨터(7610)는, 취득되는 차 내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(7100)에 대하여 제어 지령을 출력해도 된다. 예를 들어, 마이크로컴퓨터(7610)는, 차량의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행해도 된다. 또한, 마이크로컴퓨터(7610)는, 취득되는 차량의 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행해도 된다.
마이크로컴퓨터(7610)는, 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660) 및 차량 탑재 네트워크 I/F(7680) 중 적어도 하나를 통해서 취득되는 정보에 기초하여, 차량과 주변의 구조물이나 인물 등의 물체와의 사이의 3차원 거리 정보를 생성하여, 차량의 현재 위치의 주변 정보를 포함하는 로컬 지도 정보를 작성해도 된다. 또한, 마이크로컴퓨터(7610)는, 취득되는 정보에 기초하여, 차량의 충돌, 보행자 등의 근접 또는 통행 금지 도로에의 진입 등의 위험을 예측하여, 경고용 신호를 생성해도 된다. 경고용 신호는, 예를 들어 경고음을 발생시키거나, 경고 램프를 점등시키거나 하기 위한 신호이면 된다.
음성 화상 출력부(7670)는, 차량의 탑승자 또는 차밖에 대하여, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중 적어도 한쪽의 출력 신호를 송신한다. 도 12의 예에서는, 출력 장치로서, 오디오 스피커(7710), 표시부(7720) 및 인스트루먼트 패널(7730)이 예시되어 있다. 표시부(7720)는, 예를 들어 온보드 디스플레이 및 헤드업 디스플레이의 적어도 하나를 포함하고 있어도 된다. 표시부(7720)는, AR(Augmented Reality) 표시 기능을 갖고 있어도 된다. 출력 장치는, 이들 장치 이외의, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터 또는 램프 등의 다른 장치이어도 된다. 출력 장치가 표시 장치인 경우, 표시 장치는, 마이크로컴퓨터(7610)가 행한 각종 처리에 의해 얻어진 결과 또는 다른 제어 유닛으로부터 수신된 정보를, 텍스트, 이미지, 표, 그래프 등, 다양한 형식으로 시각적으로 표시한다. 또한, 출력 장치가 음성 출력 장치인 경우, 음성 출력 장치는, 재생된 음성 데이터 또는 음향 데이터 등을 포함하는 오디오 신호를 아날로그 신호로 변환해서 청각적으로 출력한다.
또한, 도 12에 도시한 예에서, 통신 네트워크(7010)를 통해서 접속된 적어도 2개의 제어 유닛이 1개의 제어 유닛으로서 일체화되어도 된다. 혹은, 개개의 제어 유닛이, 복수의 제어 유닛에 의해 구성되어도 된다. 또한, 차량 제어 시스템(7000)이, 도시되지 않은 별도의 제어 유닛을 구비해도 된다. 또한, 상기 설명에 있어서, 어느 것의 제어 유닛이 담당하는 기능의 일부 또는 전부를, 다른 제어 유닛에 부여해도 된다. 즉, 통신 네트워크(7010)를 통해서 정보의 송수신이 이루어지도록 되어 있으면, 소정의 연산 처리가 어느 것의 제어 유닛에서 행하여지도록 되어도 된다. 마찬가지로, 어느 것의 제어 유닛에 접속되어 있는 센서 또는 장치가, 다른 제어 유닛에 접속됨과 함께, 복수의 제어 유닛이, 통신 네트워크(7010)를 통해서 서로 검출 정보를 송수신해도 된다.
또한, 도 5를 사용해서 설명한 본 실시 형태에 따른 정보 처리 장치(21)의 각 기능을 실현하기 위한 컴퓨터 프로그램을, 어느 것의 제어 유닛 등에 실장할 수 있다. 또한, 이러한 컴퓨터 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체를 제공할 수도 있다. 기록 매체는, 예를 들어 자기 디스크, 광 디스크, 광자기 디스크, 플래시 메모리 등이다. 또한, 상기 컴퓨터 프로그램은, 기록 매체를 사용하지 않고, 예를 들어 네트워크를 통해서 배신되어도 된다.
이상 설명한 차량 제어 시스템(7000)에 있어서, 도 5를 사용해서 설명한 본 실시 형태에 따른 정보 처리 장치(21)는, 도 12에 도시한 응용예의 통합 제어 유닛(7600)에 적용할 수 있다. 예를 들어, 정보 처리 장치(21)의 화상 취득부(31), 도메인 적응 처리 실행부(33), 판정부(36) 및 인식 처리부(37)는, 통합 제어 유닛(7600)의 마이크로컴퓨터(7610)에 상당한다. 또한, 예를 들어 정보 처리 장치(21)의 기억부(32)는, 통합 제어 유닛(7600)의 기억부(7690)에 상당하고, 정보 처리 장치(21)의 송신부(34) 및 수신부(35)는, 통합 제어 유닛(7600)의 차량 탑재 네트워크 I/F(7680)에 상당한다. 예를 들어, 통합 제어 유닛(7600)이 도메인 적응 처리를 실행함으로써, 인식기의 모델을 갱신할 수 있다.
또한, 도 5를 사용해서 설명한 정보 처리 장치(21)의 적어도 일부의 구성 요소는, 도 12에 도시한 통합 제어 유닛(7600)을 위한 모듈(예를 들어, 1개의 다이로 구성되는 집적 회로 모듈)에서 실현되어도 된다. 혹은, 도 5를 사용해서 설명한 정보 처리 장치(21)는, 도 12에 도시한 차량 제어 시스템(7000)의 복수의 제어 유닛에 의해 실현되어도 된다.
<구성의 조합 예>
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 소정 개수의 단말기에서 화상 인식을 행하여, 비교사 학습을 실행함으로써 갱신되는 모델이 각각 설정되고, 소정 개수의 상기 단말기에서 화상 인식이 행하여진 화상을 대상으로 해서 화상 인식을 행하는 소정 개수의 인식부와,
소정 개수의 상기 인식부에서의 인식 결과를 평가하여, 상기 인식부마다의 평가값을 산출하는 평가값 산출부
를 구비하는 정보 처리 장치.
(2) 상기 학습은, 소정 개수의 단말기에서 상기 화상이 취득되는 소정 간격의 타이밍마다 행하여지고,
상기 평가값 산출부는, 상기 소정 간격보다도 긴 일정 기간마다 상기 평가값을 산출하는, 상기 (1)에 기재된 정보 처리 장치.
(3) 소정 개수의 상기 인식부에서의 인식 결과가 통합된 통합 인식 결과를 구하는 통합부를 더 구비하고,
상기 평가값 산출부는, 소정 개수의 상기 인식부에서의 인식 결과와, 상기 통합 인식 결과를 사용하여, 개개의 상기 인식부의 평가값을 산출하는, 상기 (1) 또는 (2)에 기재된 정보 처리 장치.
(4) 소정 개수의 상기 인식부는, 소정 개수의 상기 단말기에서 화상 인식이 행하여진 모든 화상을 대상으로 해서 화상 인식을 행하는, 상기 (1) 내지 (3) 중 어느 것에 기재된 정보 처리 장치.
(5) 소정 개수의 상기 인식부는, 소정의 상기 단말기의 상기 화상을, 그 단말기로부터 송신되어 오는 부가 정보에 의해 가중치 부여한 화상에 대한 화상 인식을 행하는, 상기 (4)에 기재된 정보 처리 장치.
(6) 소정 개수의 상기 단말기로부터 송신되어 오는 상기 화상, 상기 모델, 및 상기 부가 정보를 수신하는 수신부를 더 구비하고,
상기 수신부는, 소정 개수의 상기 단말기의 상기 모델을, 각각 대응하는 소정 개수의 상기 인식부에 설정하고, 소정 매수의 상기 화상 및 소정 개수의 상기 부가 정보를 소정 개수의 상기 인식부 모두에 공급하는, 상기 (5)에 기재된 정보 처리 장치.
(7) 상기 평가값 산출부에 의해 산출된 소정 개수의 상기 인식부에 설정된 상기 모델에 대한 평가값을, 각각 대응하는 소정 개수의 상기 단말기에 송신하는 송신부를 더 구비하는, 상기 (1) 내지 (6) 중 어느 것에 기재된 정보 처리 장치.
(8) 정보 처리 장치가,
소정 개수의 단말기에서 화상 인식을 행하여, 비교사 학습을 실행함으로써 갱신되는 모델이 각각 설정되는 소정 개수의 인식부에 있어서, 소정 개수의 상기 단말기에서 화상 인식이 행하여진 화상을 대상으로 해서 화상 인식을 행하는 것과,
소정 개수의 상기 인식부에서의 인식 결과를 평가하여, 상기 인식부마다의 평가값을 산출하는 것
을 포함하는 정보 처리 방법.
(9) 화상에 대한 화상 인식을 행하는 인식기의 모델에 대한 비교사 학습을 실행하는 실행부와,
상기 실행부에서의 학습에 의해 갱신된 상기 모델에 대해서, 각각 다른 소정 개수의 모델에 있어서 화상 인식이 행하여진 인식 결과를 사용해서 구해지는 평가값에 기초하여, 정확하게 학습이 행해졌는지 여부를 판정하는 판정부
를 구비하고,
상기 실행부는, 상기 판정부에서 정확하게 학습이 행하여지지 않았다고 판정된 경우, 그 학습이 행하여지기 전의 모델로 되돌리는,
정보 처리 장치.
(10) 상기 실행부는, 상기 화상이 취득되는 소정 간격의 타이밍마다 상기 학습을 실행하고,
상기 평가값은, 상기 소정 간격보다도 긴 일정 기간마다 구해지는, 상기 (9)에 기재된 정보 처리 장치.
(11) 상기 평가값이 구해지는 타이밍에, 상기 모델 및 상기 화상과 함께, 소정의 부가 정보를 송신하는 송신부를 더 구비하는, 상기 (9) 또는 (10)에 기재된 정보 처리 장치.
(12) 상기 실행부에 의해 갱신된 최신의 상기 모델을 인식기에 설정하고, 상기 화상에 대한 인식 처리를 행하여, 그 인식 결과를 사용한 소정의 처리를 행하는 처리부에 인식 결과를 출력하는 인식 처리부를 더 구비하는, 상기 (9) 내지 (11) 중 어느 것에 기재된 정보 처리 장치.
(13) 정보 처리 장치가,
화상에 대한 화상 인식을 행하는 인식기의 모델에 대한 비교사 학습을 실행하는 것과,
그 학습에 의해 갱신된 상기 모델에 대해서, 각각 다른 소정 개수의 모델에 있어서 화상 인식이 행하여진 인식 결과를 사용해서 구해지는 평가값에 기초하여, 정확하게 학습이 행해졌는지 여부를 판정하는 것
을 포함하고,
정확하게 학습이 행하여지지 않았다고 판정된 경우, 그 학습이 행하여지기 전의 모델로 되돌리는,
정보 처리 방법.
(14) 소정 개수의 단말기에서 화상 인식을 행하여, 비교사 학습을 실행함으로써 갱신되는 모델이 각각 설정되고, 소정 개수의 상기 단말기에서 화상 인식이 행하여진 화상을 대상으로 해서 화상 인식을 행하는 소정 개수의 인식부와,
소정 개수의 상기 인식부에서의 인식 결과를 평가하여, 상기 인식부마다의 평가값을 산출하는 평가값 산출부
를 갖는 제1 정보 처리 장치와,
화상에 대한 화상 인식을 행하는 인식기의 모델에 대한 비교사 학습을 실행하는 실행부와,
상기 실행부에서의 학습에 의해 갱신된 상기 모델에 대해서, 각각 다른 소정 개수의 모델에 있어서 화상 인식이 행하여진 인식 결과를 사용해서 구해지는 평가값에 기초하여, 정확하게 학습이 행해졌는지 여부를 판정하는 판정부
를 갖고,
상기 실행부는, 상기 판정부에서 정확하게 학습이 행하여지지 않았다고 판정된 경우, 그 학습이 행하여지기 전의 모델로 되돌리는
제2 정보 처리 장치
를 구비하는 시스템.
또한, 본 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 개시의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다. 또한, 본 명세서에 기재된 효과는 어디까지나 예시로서 한정되는 것은 아니며, 다른 효과가 있어도 된다.
11: 학습 시스템 12: 네트워크
13: 차량 14: 서버
21 및 22: 정보 처리 장치 31: 화상 취득부
32: 기억부 33: 도메인 적응 처리 실행부
34: 송신부 35: 수신부
36: 판정부 37: 인식 처리부
41: 환경 특징량 계산부 42: 도메인 판별부
43: 갱신값 계산부 51: 수신부
52: 인식부 53: 통합부
54: 평가 산출부 55: 송신부

Claims (13)

  1. 소정 개수의 단말기에서 화상 인식을 행하여, 비교사 학습을 실행함으로써 갱신되는 모델이 각각 설정되고, 소정 개수의 상기 단말기에서 화상 인식이 행하여진 화상을 대상으로 해서 화상 인식을 행하는 소정 개수의 인식부와,
    소정 개수의 상기 인식부에서의 인식 결과를 평가하여, 상기 인식부마다의 평가값을 산출하는 평가값 산출부
    를 구비하는 정보 처리 장치.
  2. 제1항에 있어서, 상기 학습은, 소정 개수의 단말기에서 상기 화상이 취득되는 소정 간격의 타이밍마다 행하여지고,
    상기 평가값 산출부는, 상기 소정 간격보다도 긴 일정 기간마다 상기 평가값을 산출하는, 정보 처리 장치.
  3. 제1항에 있어서, 소정 개수의 상기 인식부에서의 인식 결과가 통합된 통합 인식 결과를 구하는 통합부를 더 구비하고,
    상기 평가값 산출부는, 소정 개수의 상기 인식부에서의 인식 결과와, 상기 통합 인식 결과를 사용하여, 개개의 상기 인식부의 평가값을 산출하는, 정보 처리 장치.
  4. 제1항에 있어서, 소정 개수의 상기 인식부는, 소정 개수의 상기 단말기에서 화상 인식이 행하여진 모든 화상을 대상으로 해서 화상 인식을 행하는, 정보 처리 장치.
  5. 제4항에 있어서, 소정 개수의 상기 인식부는, 소정의 상기 단말기의 상기 화상을, 그 단말기로부터 송신되어 오는 부가 정보에 의해 가중치 부여한 화상에 대한 화상 인식을 행하는, 정보 처리 장치.
  6. 제5항에 있어서, 소정 개수의 상기 단말기로부터 송신되어 오는 상기 화상, 상기 모델, 및 상기 부가 정보를 수신하는 수신부를 더 구비하고,
    상기 수신부는, 소정 개수의 상기 단말기의 상기 모델을, 각각 대응하는 소정 개수의 상기 인식부에 설정하고, 소정 매수의 상기 화상 및 소정 개수의 상기 부가 정보를 소정 개수의 상기 인식부 모두에 공급하는, 정보 처리 장치.
  7. 제1항에 있어서, 상기 평가값 산출부에 의해 산출된 소정 개수의 상기 인식부에 설정된 상기 모델에 대한 평가값을, 각각 대응하는 소정 개수의 상기 단말기에 송신하는 송신부를 더 구비하는, 정보 처리 장치.
  8. 정보 처리 장치가,
    소정 개수의 단말기에서 화상 인식을 행하여, 비교사 학습을 실행함으로써 갱신되는 모델이 각각 설정되는 소정 개수의 인식부에 있어서, 소정 개수의 상기 단말기에서 화상 인식이 행하여진 화상을 대상으로 해서 화상 인식을 행하는 것과,
    소정 개수의 상기 인식부에서의 인식 결과를 평가하여, 상기 인식부마다의 평가값을 산출하는 것
    을 포함하는 정보 처리 방법.
  9. 화상에 대한 화상 인식을 행하는 인식기의 모델에 대한 비교사 학습을 실행하는 실행부와,
    상기 실행부에서의 학습에 의해 갱신된 상기 모델에 대해서, 각각 다른 소정 개수의 모델에 있어서 화상 인식이 행하여진 인식 결과를 사용해서 구해지는 평가값에 기초하여, 정확하게 학습이 행해졌는지 여부를 판정하는 판정부
    를 구비하고,
    상기 실행부는, 상기 판정부에서 정확하게 학습이 행하여지지 않았다고 판정된 경우, 그 학습이 행하여지기 전의 모델로 되돌리는,
    정보 처리 장치.
  10. 제9항에 있어서, 상기 실행부는, 상기 화상이 취득되는 소정 간격의 타이밍마다 상기 학습을 실행하고,
    상기 평가값은, 상기 소정 간격보다도 긴 일정 기간마다 구해지는, 정보 처리 장치.
  11. 제9항에 있어서, 상기 평가값이 구해지는 타이밍에, 상기 모델 및 상기 화상과 함께, 소정의 부가 정보를 송신하는 송신부를 더 구비하는, 정보 처리 장치.
  12. 제9항에 있어서, 상기 실행부에 의해 갱신된 최신의 상기 모델을 인식기에 설정하고, 상기 화상에 대한 인식 처리를 행하여, 그 인식 결과를 사용한 소정의 처리를 행하는 처리부에 인식 결과를 출력하는 인식 처리부를 더 구비하는, 정보 처리 장치.
  13. 정보 처리 장치가,
    화상에 대한 화상 인식을 행하는 인식기의 모델에 대한 비교사 학습을 실행하는 것과,
    그 학습에 의해 갱신된 상기 모델에 대해서, 각각 다른 소정 개수의 모델에 있어서 화상 인식이 행하여진 인식 결과를 사용해서 구해지는 평가값에 기초하여, 정확하게 학습이 행해졌는지 여부를 판정하는 것
    을 포함하고,
    정확하게 학습이 행하여지지 않았다고 판정된 경우, 그 학습이 행하여지기 전의 모델로 되돌리는,
    정보 처리 방법.
KR1020217026864A 2019-03-29 2020-03-17 정보 처리 장치 및 정보 처리 방법 KR20210146891A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-068492 2019-03-29
JP2019068492 2019-03-29
PCT/JP2020/011600 WO2020203240A1 (ja) 2019-03-29 2020-03-17 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
KR20210146891A true KR20210146891A (ko) 2021-12-06

Family

ID=72668655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217026864A KR20210146891A (ko) 2019-03-29 2020-03-17 정보 처리 장치 및 정보 처리 방법

Country Status (6)

Country Link
US (1) US20220012552A1 (ko)
EP (1) EP3951709A4 (ko)
JP (1) JPWO2020203240A1 (ko)
KR (1) KR20210146891A (ko)
CN (1) CN113614732A (ko)
WO (1) WO2020203240A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020182139A (ja) * 2019-04-26 2020-11-05 ソニー株式会社 撮像システム及び撮像素子

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017174298A (ja) 2016-03-25 2017-09-28 株式会社デンソーアイティーラボラトリ ニューラルネットワークシステム、端末装置、管理装置およびニューラルネットワークにおける重みパラメータの学習方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6361387B2 (ja) * 2014-09-05 2018-07-25 オムロン株式会社 識別装置および識別装置の制御方法
JP2016173682A (ja) * 2015-03-16 2016-09-29 シャープ株式会社 異常判定装置および異常判定方法
JP2018207222A (ja) * 2017-05-31 2018-12-27 パナソニックＩｐマネジメント株式会社 カメラ及びパラメータ登録方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017174298A (ja) 2016-03-25 2017-09-28 株式会社デンソーアイティーラボラトリ ニューラルネットワークシステム、端末装置、管理装置およびニューラルネットワークにおける重みパラメータの学習方法

Also Published As

Publication number Publication date
EP3951709A4 (en) 2022-09-07
US20220012552A1 (en) 2022-01-13
JPWO2020203240A1 (ko) 2020-10-08
WO2020203240A1 (ja) 2020-10-08
CN113614732A (zh) 2021-11-05
EP3951709A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
CN108139202B (zh) 图像处理装置、图像处理方法和程序
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
CN108028883B (zh) 图像处理装置和图像处理方法
JP7294148B2 (ja) キャリブレーション装置とキャリブレーション方法およびプログラム
US20220306130A1 (en) System, method and computer program to suppress vibrations in a vehicle
JPWO2018180121A1 (ja) 情報処理装置と情報処理方法
US11585898B2 (en) Signal processing device, signal processing method, and program
EP3669358B1 (en) Server, method, non-transitory computer-readable medium, and system
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
WO2020203240A1 (ja) 情報処理装置および情報処理方法
US11436706B2 (en) Image processing apparatus and image processing method for improving quality of images by removing weather elements
CN113614782A (zh) 信息处理装置、信息处理方法和程序
US20240127042A1 (en) Information processing device, information processing system, information processing method, and recording medium
WO2022059489A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20230410486A1 (en) Information processing apparatus, information processing method, and program
EP3863282A1 (en) Image processing device, and image processing method and program