KR20190054944A - 서버 장치 및 차량 탑재 장치 - Google Patents

서버 장치 및 차량 탑재 장치 Download PDF

Info

Publication number
KR20190054944A
KR20190054944A KR1020180136984A KR20180136984A KR20190054944A KR 20190054944 A KR20190054944 A KR 20190054944A KR 1020180136984 A KR1020180136984 A KR 1020180136984A KR 20180136984 A KR20180136984 A KR 20180136984A KR 20190054944 A KR20190054944 A KR 20190054944A
Authority
KR
South Korea
Prior art keywords
image recognition
vehicle
unit
recognition logic
information
Prior art date
Application number
KR1020180136984A
Other languages
English (en)
Inventor
치히로 이나바
Original Assignee
도요타지도샤가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도요타지도샤가부시키가이샤 filed Critical 도요타지도샤가부시키가이샤
Publication of KR20190054944A publication Critical patent/KR20190054944A/ko

Links

Images

Classifications

    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

서버 장치(12)에 있어서, 특정부(74)는, 복수의 차량으로부터 취득된 정보에 기초하여, 복수의 차량 중에서 소정의 대상물을 화상 인식하기 위한 화상 인식 로직을 배신할 배신 대상 차량을 특정한다. 배신부(76)는, 특정부(74)에서 특정된 배신 대상 차량에 화상 인식 로직을 배신한다. 취득부는, 화상 인식 로직이 배신된 배신 대상 차량으로부터, 당해 차량의 차밖의 촬상 화상에 있어서 당해 화상 인식 로직을 실행함으로써 인식된 대상물에 관한 정보를 취득한다.

Description

서버 장치 및 차량 탑재 장치{SERVER DEVICE AND IN-VEHICLE DEVICE}
본 발명은 차량의 탑승원에게 정보를 통지하는 서버 장치 및 차량 탑재 장치에 관한 것이다.
화상 인식용 알고리즘은, 인식 대상물에 따라 상이하다. 그래서, 인식 대상물에 따른 최적의 알고리즘을 보다 용이하게 결정할 수 있도록 하기 위한 기술이 알려져 있다(예를 들어, 일본 특허 공개 제2015-130093 참조).
화상 인식을 이용하여, 다양한 장소에서의 다양한 대상물의 정보를 저비용으로 수집할 것이 요구되고 있다.
본 발명은 이러한 상황을 감안하여 이루어진 것이며, 그 목적은, 다양한 장소에서의 다양한 대상물의 정보를 저비용으로 수집할 수 있는 서버 장치 및 차량 탑재 장치를 제공하는 데 있다.
본 발명의 제1 양태의 서버 장치는, 복수의 차량으로부터 취득된 정보에 기초하여, 상기 복수의 차량 중에서 소정의 대상물을 화상 인식하기 위한 화상 인식 로직을 배신할 배신 대상 차량을 특정하는 특정부와, 상기 특정부에서 특정된 상기 배신 대상 차량에 상기 화상 인식 로직을 배신하는 배신부와, 상기 화상 인식 로직이 배신된 배신 대상 차량으로부터, 당해 차량의 차밖의 촬상 화상에 있어서 당해 화상 인식 로직을 실행함으로써 인식된 상기 대상물에 관한 정보를 취득하는 취득부를 구비한다.
이 양태에 의하면, 특정된 배신 대상 차량에 화상 인식 로직을 배신하고, 배신 대상 차량으로부터, 촬상 화상에 있어서 화상 인식 로직을 실행함으로써 인식된 대상물에 관한 정보를 취득하므로, 복수의 대상물 각각에 특화된 화상 인식 로직을 차량에 미리 내장하지 않고, 다양한 장소에서의 다양한 대상물의 정보를 저비용으로 수집할 수 있다.
상기 특정부는, 상기 화상 인식 로직에 관련된 지역을 주행할 가능성이 있는 상기 차량 중에서 배신 대상 차량을 특정해도 된다.
상기 특정부는, 상기 화상 인식 로직에 관련된 기간에 상기 지역을 주행할 가능성이 있는 상기 차량 중에서 배신 대상 차량을 특정해도 된다.
상기 대상물의 정보는, 상기 대상물이 촬상되었을 때의 상기 배신 대상 차량의 위치 정보를 포함해도 된다. 상기 서버 장치는, 상기 대상물이 촬상되었을 때의 상기 배신 대상 차량의 위치 정보에 기초해서 상기 대상물의 위치 정보를 도출하는 도출부를 더 구비해도 된다. 상기 배신부는, 도출된 상기 대상물의 위치 정보를 상기 복수의 차량에 배신해도 된다.
상기 배신부는, 상기 대상물에 관한 정보의 취득 종료 조건이 만족되었을 경우, 상기 화상 인식 로직을 배신한 상기 배신 대상 차량에, 상기 화상 인식 로직의 삭제 지시를 배신해도 된다.
상기 화상 인식 로직은 학습 완료 네트워크 모델에 의해 구성되어도 된다.
본 발명의 제2 양태는, 서버 장치이다. 이 장치는, 복수의 차량으로부터 취득된 정보에 기초하여, 상기 복수의 차량 중에서 공통 또는 동일한 소정의 대상물을 화상 인식하기 위한 화상 인식 로직을 배신할 복수의 배신 대상 차량을 특정하는 특정부와, 상기 특정부에서 특정된 상기 각 배신 대상 차량에 상기 화상 인식 로직을 배신하는 배신부와, 상기 화상 인식 로직이 배신된 각 배신 대상 차량으로부터, 당해 차량의 차밖의 촬상 화상에 있어서 당해 화상 인식 로직을 실행함으로써 인식된 상기 대상물에 관한 정보를 취득하는 취득부를 구비한다.
각 차량은, 상기 화상 인식 로직을 실행하는 화상 인식부를 구비해도 된다. 상기 서버 장치는, 각각 상이한 타입의 상기 화상 인식부에서 실행 가능한, 공통 또는 동일한 상기 대상물을 화상 인식하기 위한 복수의 화상 인식 로직을 기억하는 기억부를 더 구비해도 된다. 상기 배신부는, 상기 특정부에서 특정된 각 배신 대상 차량에, 상기 기억부에 기억된 상기 복수의 화상 인식 로직 중 각 배신 대상 차량의 상기 화상 인식부에서 실행 가능한 상기 화상 인식 로직을 배신해도 된다.
본 발명의 제3 양태는, 차량 탑재 장치이다. 이 장치는, 서버 장치로부터, 소정의 대상물을 화상 인식하기 위한 화상 인식 로직을 취득하는 취득부와, 상기 취득부에서 취득된 상기 화상 인식 로직을 실행함으로써 상기 차량 탑재 장치가 탑재된 차량의 차밖의 촬상 화상에 있어서 상기 대상물을 화상 인식하는 화상 인식부와, 상기 화상 인식부에서의 화상 인식 결과에 기초하여 상기 대상물의 정보를 도출하는 도출부와, 상기 도출부에서 도출된 상기 대상물의 정보를, 상기 서버 장치에 통지하는 통지부를 구비한다.
이 양태에 의하면, 서버 장치로부터 화상 인식 로직을 취득하고, 화상 인식 로직을 실행함으로 인한 화상 인식 결과에 기초하여 대상물의 정보를 도출하여, 대상물의 정보를 서버 장치에 통지하므로, 복수의 대상물 각각에 특화된 화상 인식 로직을 차량에 미리 내장하지 않고, 다양한 장소에서의 다양한 대상물의 정보를 저비용으로 수집할 수 있다.
본 발명의 각 양태에 따르면, 다양한 장소에서의 다양한 대상물의 정보를 저비용으로 수집할 수 있다.
본 발명의 구체적인 실시예의 특징, 이점과 기술적 및 산업적 주요 사항은, 유사한 요소에 대해서 유사한 부호로 표시한 첨부 도면을 참조로 하여 이하에 기술하기로 한다.
도 1은 제1 실시 형태에 관한 차량 시스템의 구성을 도시하는 블록도이다.
도 2는 도 1의 차량 탑재 장치와 서버 장치의 구성을 도시하는 블록도이다.
도 3은 도 1의 차량 탑재 장치를 탑재한 차량이 대상물을 화상 인식하는 상황을 설명하기 위한 도면이다.
도 4는 도 1의 서버 장치에서의 화상 인식 로직의 배신 처리를 나타내는 흐름도이다.
도 5는 도 1의 차량 탑재 장치에서의 화상 인식 처리를 나타내는 흐름도이다.
도 6은 도 1의 서버 장치에서의 대상물의 정보의 취득 처리를 나타내는 흐름도이다.
도 7의 (a)는 제2 실시 형태에 관한 서버 장치의 기억부에 기억된 제1 테이블의 데이터 구조를 도시하는 도면이며, 도 7의 (b)는 기억부에 기억된 제2 테이블의 데이터 구조를 도시하는 도면이며, 도 7의 (c)는 기억부에 기억된 제3 테이블의 데이터 구조를 도시하는 도면이다.
(제1 실시 형태)
도 1은, 제1 실시 형태에 관한 차량 시스템(1)의 구성을 도시하는 블록도이다. 차량 시스템(1)은, 복수의 차량 탑재 장치(10)와, 서버 장치(12)를 구비한다. 도 1에서는, 복수의 차량 탑재 장치(10) 중 3대의 차량 탑재 장치(10)를 도시하고 있다.
차량 탑재 장치(10)는, 자동차인 차량(14)에 탑재되어 있다. 차량 탑재 장치(10)는, 서버 장치(12)와 무선 통신을 행한다. 무선 통신의 규격은 특별히 한정되지 않지만, 예를 들어 3G(제3 세대 이동 통신 시스템, 4G(제4 세대 이동 통신 시스템) 또는 5G(제5 세대 이동 통신 시스템), Wi-Fi(IEEE802.11 규격)를 포함한다. 차량 탑재 장치(10)는, 도시하지 않은 기지국을 통해서 서버 장치(12)와 무선 통신을 행해도 된다. 서버 장치(12)는, 예를 들어 데이터 센터에 설치되어, 복수의 차량 탑재 장치(10)로부터 송신된 정보를 처리하는 정보 처리 장치로서 기능한다.
도 2는, 도 1의 차량 탑재 장치(10)와 서버 장치(12)의 구성을 도시하는 블록도이다. 차량 탑재 장치(10)는, 통신부(20)와, 처리부(22)와, 기억부(24)와, 촬상부(26)와, 방위 센서(28)와, GPS 수신부(30)와, 내비게이션부(32)를 구비한다. 처리부(22)는, 차량 정보 취득부(40)와, 화상 인식 로직 취득부(42)와, 화상 인식부(44)와, 도출부(46)와, 통지부(48)를 구비한다.
서버 장치(12)는, 통신부(60)와, 처리부(62)와, 기억부(64)를 구비한다. 처리부(62)는, 제휴 데이터 취득부(70)와, 설정부(72)와, 특정부(74)와, 배신부(76)와, 대상물 정보 취득부(78)와, 도출부(80)를 구비한다.
여기에서는, (1) 화상 인식 로직의 배신 처리, (2) 화상 인식 처리, (3) 대상물의 정보 취득 처리의 순서대로 설명한다.
(1) 화상 인식 로직의 배신 처리
먼저 차량 탑재 장치(10)에 대해서 설명한다. 차량 정보 취득부(40)는, 자차량의 정보를 정기적으로 취득한다. 자차량의 정보는, 예를 들어 자차량의 위치 정보, 자차량의 주행 방향을 나타내는 방위 정보를 포함한다.
차량 정보 취득부(40)는, 위치 정보를, 예를 들어 GPS 수신부(30)로부터 취득한다. 차량 정보 취득부(40)는, 방위 정보를, 예를 들어 GPS 수신부(30) 또는 방위 센서(28)로부터 취득한다. 위치 정보와 방위 정보에는, 취득된 시각이 첨부되어 있어도 되고, 서버 장치(12)가 위치 정보와 방위 정보를 수신한 시각을 취득된 시각으로 간주해도 된다. 차량 정보 취득부(40)가 자차량의 정보를 취득하는 빈도는, 실험 등에 의해 적절히 정할 수 있다. 차량 정보 취득부(40)가 자차량의 정보를 취득하는 빈도는, 정보의 종류마다 상이해도 된다.
차량 정보 취득부(40)는, 위치 정보와 설정 루트 정보를 통신부(20)에 출력한다. 차량 정보 취득부(40)는, 위치 정보와 방위 정보를 도출부(46)에 출력한다. 도출부(46)에 출력된 위치 정보와 방위 정보는, 후술하는 (2) 화상 인식 처리에서 사용된다.
통신부(20)는, 서버 장치(12)와 통신을 행한다. 통신부(20)는 휴대 전화에서 사용되는 공중 통신망(3G, 4G, 5G, Wi-Fi 등)을 통해서 서버 장치(12)와 통신하도록 구성되어 있어도 된다. 통신부(20)는, 차량 정보 취득부(40)에서 취득된 위치 정보와 설정 루트 정보를 정기적으로 서버 장치(12)에 송신한다. 이 정보에는, 송신원이 되는 차량(14)을 식별하기 위한 식별 정보가 첨부된다. 정보를 송신하는 빈도는, 실험 등에 의해 적절히 정할 수 있다.
서버 장치(12)에 대해서 설명한다. 기억부(64)는, 복수의 화상 인식 로직을 기억하고 있다. 각 화상 인식 로직은, 소정의 대상물을 화상 인식하기 위한 것이며, 당해 대상물의 인식 정밀도가 높아지도록 최적화되어 있다. 화상 인식 로직은, 주지의 기술을 사용해서 구성할 수 있다. 화상 인식 로직의 일례는 뉴트럴 네트워크 모델이다. 그 일례는, 다층 뉴트럴 네트워크의 입력, 출력, 네트워크 구조, 및 네트워크 가중치(웨이트)를 포함하는 데이터 구조이다. 이 경우, 원하는 대상물을 적합하게 인식할 수 있도록 네트워크 가중치가 적절하게 근사되어 있다. 촬상 화상은, 특징량 추출 스텝을 거쳐서 뉴트럴 네트워크에 입력된다. 화상 인식 로직의 다른 예는, 범용 프로세서에 의해 실행되는 프로그램이며, 화상 인식 알고리즘이 실장된 것이다.
대상물은, 차량(14)에 탑재된 촬상부(26)에 의해 촬상 가능한 것 중, 화상 인식 로직을 사용해서 화상 인식부(44)가 인식할 것이 기대되는 것이다. 대상물은, 예를 들어 민들레 꽃이나 해바라기 꽃 등의 각종 꽃, 고장차, 도로 상의 낙하물, 도로의 함몰, 침수된 도로, 동결로, 제설된 도로, 사람, 우산을 쓴 사람 등이지만, 특별히 한정되지 않는다. 대상물이 꽃일 경우, 화상 인식 로직은, 복수의 꽃이 피어 있는 것을 인식하도록 구성되어 있어도 된다.
각 화상 인식 로직에는, 지역(서해안, 동해안, 동해 지방 등의 넓은 영역이나, 주나 시 등의 자치 단체나, 국도 1호선 등의 소정의 도로 등을 포함하는 개념)이 관련지어져 있다. 각 화상 인식 로직에는, 기간(개시 일시, 종료 일시 등을 포함하는 개념)이 관련지어져도 된다. 각 화상 인식 로직에는, 유효 기한(유효 시간, 유효 일수)이 관련지어져 있어도 된다. 각 화상 인식 로직에는, 우선도(처리 속도나 처리 정밀도에 관한 우선도를 포함하는 개념)가 관련지어져 있어도 된다.
예를 들어, 민들레 꽃용의 화상 인식 로직에는, 민들레 꽃이 광범위하게 피어 있을 가능성이 있는 복수 조의 지역과 기간이 관련지어져 있다. 지역과 기간은, 예를 들어 지역 A1 및 3월 1일 내지 3월 20일의 기간, 지역 A2 및 3월 10일 내지 3월 30일의 기간, 지역 A3 및 3월 20일 내지 4월 10일의 기간 등이다. 다른 꽃용의 화상 인식 로직에도, 마찬가지로 복수 조의 지역과 기간이 관련지어져 있다.
고장차용의 화상 인식 로직에는, 고속 도로나 국도 등을 따른 지역이 관련지어져 있다. 도로 상의 낙하물용의 화상 인식 로직에는, 고속 도로나 국도 등을 따른 지역이 관련지어져 있다. 도로의 함몰용의 화상 인식 로직에는, 도로에 함몰이 발생하기 쉬운 지역이 관련지어져 있다.
동결로용의 화상 인식 로직에는, 도로가 동결되기 쉬운 지역 및 기간이 관련지어져 있다. 제설된 도로용의 화상 인식 로직에는, 적설이 발생하기 쉬운 지역 및 기간이 관련지어져 있다.
통신부(60)는, 복수의 차량 탑재 장치(10)의 통신부(20)와 무선 통신을 행한다. 통신부(60)는, 복수의 차량 탑재 장치(10)의 통신부(20)로부터 복수의 차량(14)의 위치 정보와 설정 루트 정보를 수신한다. 통신부(60)는, 복수의 차량(14)의 위치 정보와 설정 루트 정보를 특정부(74)에 출력한다.
특정부(74)는, 복수의 차량(14)으로부터 취득된 정보에 기초하여, 기억부(64)에 기억된 각 화상 인식 로직에 대해서, 화상 인식 로직을 배신할 하나 이상의 차량(14)을 정기적으로 특정한다. 화상 인식 로직을 배신할 차량(14)의 최대수가 미리 정해져 있어도 된다.
특정부(74)는, 화상 인식 로직에 관련된 정보에 기초하여 차량(14)을 특정한다. 구체적으로는, 특정부(74)는, 화상 인식 로직에 관련된 지역이나 화상 인식 로직에 관련된 기간을 사용해서 차량(14)을 특정한다.
화상 인식 로직에 관련된 지역을 사용한 차량(14)의 특정에 대해서 설명한다. 특정부(74)는, 일례로서, 복수의 차량(14)의 설정 루트 정보에 기초하여, 화상 인식 로직에 관련된 지역을 주행할 가능성이 있는 하나 이상의 차량(14)을 특정한다. 특정부(74)는, 설정 루트가 화상 인식 로직에 관련된 지역을 통과하는 차량(14)을, 당해 지역을 주행할 가능성이 있는 차량(14)으로서 특정한다.
특정부(74)는, 다른 예로서, 설정 루트 정보를 사용하지 않고 차량을 특정할 수도 있다. 구체적으로는, 특정부(74)는, 각 차량(14)의 위치 정보의 이력으로부터, 각 차량(14)이 빈번하게 주행하고 있는 지역을 특정하고, 빈번하게 주행하고 있는 지역이 화상 인식 로직에 관련된 지역에 겹치는 차량(14)을, 화상 인식 로직에 관련된 지역을 주행할 가능성이 있는 차량(14)으로서 특정한다. 각 차량(14)이 빈번하게 주행하고 있는 지역은, 자택 주변이나 생활권 또는 출퇴근 경로 등일 것으로 예상되며, 앞으로도 주행할 가능성이 높기 때문이다. 대상 지역을 빈번하게 주행하고 있는 차량의 특정의 구체적 방법은, 예를 들어 과거 N(N은 자연수)일간 화상 인식 로직에 관련된 지역을 주행한 횟수가 소정의 역치 이상(N에 대하여 80％ 이상 등)인 차량을 특정하도록 구성해도 된다.
특정부(74)는, 또한 그 밖의 예로서 화상 인식 로직에 관련된 지역에 대응하는 차량을 미리 기억해 두어도 된다. 예를 들어 화상 인식 로직에 관련된 지역이 「도쿄 23구」라면, 시나가와, 네리마, 스기나미, 세타가야, 아다치 넘버의 차량을, 화상 인식 로직에 관련된 지역을 주행할 가능성이 있는 차량으로서 특정해도 된다.
특정부(74)는, 설정 루트 정보를 사용한 차량 특정과, 설정 루트 정보를 사용하지 않는 차량 특정 중 어느 것을 채용해도 되고, 그 양쪽을 채용해서 차량을 특정해도 된다. 또한, 상술한 방법에 의해 특정되는 차량(14)의 세트를 씨닝해서 줄인 세트를 최종적으로 특정한 차량(14)으로 해도 된다.
특정부(74)는, 화상 인식 로직에 기간이 관련지어져 있을 경우, 당해 기간에, 당해 화상 인식 로직에 관련된 지역을 주행할 가능성이 있는 하나 이상의 차량(14)을 특정한다. 특정부(74)는, 화상 인식 로직에 관련된 지역을 주행할 가능성이 있고, 또한 당해 지역을 주행할 예상 일시가 당해 화상 인식 로직에 관련된 기간에 포함되는 차량(14)을, 당해 기간에 당해 지역을 주행할 가능성이 있는 차량(14)으로서 특정한다.
특정부(74)는, 특정한 차량(14)을 식별하기 위한 정보를, 화상 인식 로직의 정보에 대응지어 기억부(64)에 기억시킨다. 특정부(74)는, 기억부(64)에 기억된 정보에 기초하여, 차량(14)의 처리 능력을 초과해서 화상 인식 로직이 차량(14)에 대하여 배신되지 않도록, 화상 인식 로직을 배신할 차량(14)을 특정해도 된다. 차량(14)의 처리 능력의 상한은 예를 들어, 차량(14)에 배신되어 동작하고 있는 화상 인식 로직의 수(상한수)여도 된다. 상한수는, 예를 들어 1이지만, 화상 인식부(44)의 처리 능력에 따라서 2 이상이어도 된다. 또는 처리 능력의 상한은 예를 들어, 화상 인식 로직의 화상 인식부(44)에의 처리 요구량이어도 되고, 구체적으로는 뉴트럴 네트워크의 크기여도 된다. 특정부(74)는, 처리 요구량이 차량(14)이 갖는 화상 인식부(44)의 처리 능력의 상한을 초과하는 차량(14)을, 미리 특정하지 않도록 해도 된다.
제휴 데이터 취득부(70)는, 도시하지 않은 다른 서버 장치로부터 인터넷 등을 통하여 제휴 데이터를 정기적으로 취득하고, 취득한 제휴 데이터를 특정부(74)에 출력한다. 제휴 데이터에는, 교통 정보, 이벤트 정보, 재해 정보, 공사 정보, 날씨 데이터 중 어느 것을 포함하고 있어도 된다. 제휴 데이터는, 어떤 지역의 어떤 기간이나 일시에 있어서 앞으로 발생할/현재 발생하고 있는 사상을 나타내는 데이터이다. 예를 들어 날씨 데이터는, 현재 일시의 복수의 지역의 날씨의 정보, 및 현재 일시보다 후의 복수의 지역의 일기 예보의 정보를 포함한다.
특정부(74)는, 제휴 데이터에 관련지어진 사상에 기초하여 선택된 화상 인식 로직을, 제휴 데이터에 관련지어진 지역 및 기간에 기초하여 선택된 차량(14)에 배신하도록 해도 된다. 예를 들어 제휴 데이터가 날씨 데이터인 경우, 특정부(74)는, 기간 A에 지역 B에서 호우가 발생한다는 날씨 데이터에 기초하여, 관수된 도로용의 화상 인식 로직을, 기간 A에 지역 B를 주행하는 차량을 포함해서 화상 인식 로직을 배신하도록, 차량(14)을 특정해도 된다. 특정부(74)는, 기간 C에 지역 D에서 빙점 하가 된다는 날씨 데이터에 기초하여, 동결로용의 화상 인식 로직을, 기간 C에 지역 D를 주행하는 차량을 포함해서 화상 인식 로직을 배신하도록, 차량(14)을 특정해도 된다.
배신부(76)는, 특정부(74)에서 특정된 하나 이상의 차량(14)을 식별하기 위한 정보와 화상 인식 로직을 기억부(64)로부터 판독하고, 통신부(60)에 출력한다. 통신부(60)는, 특정부(74)에서 특정된 하나 이상의 차량(14)에 화상 인식 로직을 송신한다. 이것은, 배신부(76)가, 특정부(74)에서 특정된 하나 이상의 차량(14)에 화상 인식 로직을 배신하는 것에 상당한다. 이러한 배신은, 각 화상 인식 로직에 대해서 행하여진다. 화상 인식 로직에는, 송신처가 되는 차량(14)을 식별하기 위한 식별 정보가 첨부된다.
(2) 화상 인식 처리
차량 탑재 장치(10)에 대해서 설명한다. 통신부(20)는, 서버 장치(12)로부터 자차량 앞으로 송신된 화상 인식 로직을 수신한다. 화상 인식 로직 취득부(42)는, 통신부(20)로부터 화상 인식 로직을 취득한다. 이것은, 화상 인식 로직 취득부(42)가, 서버 장치(12)로부터, 소정의 대상물을 화상 인식하기 위한 화상 인식 로직을 취득하는 것에 상당한다. 화상 인식 로직 취득부(42)는, 취득한 화상 인식 로직을 기억부(24)에 기억시킨다.
기억부(24)는, 화상 인식 로직 취득부(42)에서 취득된 화상 인식 로직 이외에, 선행 차량 및 보행자용의 화상 인식 로직을 미리 기억하고 있어도 된다. 기억부(24)는, 신호기, 도로의 차선, 교통 표지 등을 인식하는 화상 인식 로직을 미리 기억하고 있어도 된다. 후술하는 바와 같이, 기억부(24)는, 화상 인식 로직 취득부(42)에서 취득된 화상 인식 로직을 일정 기간만 기억한다.
화상 인식부(44)는, 선행 차량과 보행자의 화상 인식과 함께, 화상 인식 로직 취득부(42)에서 취득된 화상 인식 로직을 로드하여, 화상 인식 로직을 실행함으로써, 촬상 화상에 있어서 대상물을 화상 인식한다. 화상 인식부(44)는, 로드된 화상 인식 로직에 의해, 촬상 화상 내에서의 대상물의 존재 유무, 촬상 화상 내에서의 대상물의 수, 촬상 화상 내에서의 대상물의 면적 등을 인식하는 능력을 갖는다. 이들을 총칭해서 화상 인식 결과라고 칭한다. 화상 인식부(44)는, 화상 인식 로직의 타입에 따라, 뉴트럴 네트워크를 실행하는 전용 프로세서여도 되고, RISC 명령이나 CISC 명령을 로드해서 실행하는 범용 프로세서여도 된다.
화상 인식부(44)에는, 차량 탑재 카메라 등을 포함하는 촬상부(26)에 의해 촬상된 차량(14)의 차밖의 촬상 화상의 데이터가 공급된다. 촬상 화상은, 예를 들어 차량(14)의 전방의 화상이다. 촬상 화상의 각 프레임에는, 촬상 시각이 첨부된다.
화상 인식부(44)는, 기억부(24)에 기억되어 있는 선행 차량 및 보행자 인식용의 화상 인식 로직에 의해, 촬상 화상에 있어서 선행 차량과 보행자를 화상 인식한다. 화상 인식에는, 주지의 기술을 사용할 수 있다. 선행 차량과 보행자의 화상 인식 결과는, 예를 들어 주지의 충돌 방지 기능이나 자동 운전 등에 사용된다.
화상 인식부(44)는, 화상 인식 로직을 복수 병렬로 실행할 수 있다. 또한, 복수 병렬로 실행되는 화상 인식 로직의 처리 우선도는 동일해도 되고, 상이해도 된다. 화상 인식 로직에 관련지어진 우선도에 기초한 처리가 이루어져도 된다. 예를 들어 선행 차량 및/또는 보행자를 인식하기 위한 화상 인식 로직의 단위 시간당 화상 인식의 빈도는, 다른 화상 인식 로직에 의한 단위 시간당 화상 인식의 빈도보다도 높아지도록 해도 된다. 로드되어 있는 화상 인식 로직보다 우선도가 높은 화상 인식 로직이 취득된 경우, 화상 인식부(44)는 로드되어 있는 화상 인식부(44)를 밀어내고, 취득된 우선도가 높은 화상 인식부(44)를 대신에 로드하도록 해도 된다.
도출부(46)는, 화상 인식부(44)에서 대상물이 화상 인식되었을 경우, 차량 정보 취득부(40)에서 취득된 위치 정보와 방위 정보, 및 화상 인식부(44)에서의 화상 인식 결과에 기초하여, 대상물의 정보를 도출한다. 대상물의 정보는, 예를 들어 촬상 지점, 촬상 지점에서의 대상물의 방향, 및 대상물의 면적을 포함한다. 촬상 지점은, 위도 및 경도를 포함한다. 촬상 지점은, 대상물이 촬상되었을 때의 차량(14)의 위치이다. 즉, 대상물의 정보는, 대상물이 촬상되었을 때의 차량(14)의 위치 정보를 포함한다고 할 수 있다. 대상물이 촬상되었을 때의 차량(14)의 위치는, 촬상 화상에서의 대상물이 화상 인식된 프레임의 촬상 시각에 대응하는 위치 정보로부터 대략 특정할 수 있다. 촬상 지점에서의 대상물의 방향은, 예를 들어 방각으로 표현되어, 대상물이 촬상되었을 때의 차량(14)의 주행 방향, 및 촬상 화상 내의 대상물의 위치로부터 특정할 수 있다. 대상물의 면적은, 주지의 기술을 사용해서 화상 인식 결과로부터 도출할 수 있다.
통지부(48)는, 도출부(46)에서 도출된 대상물의 정보를 통신부(20)에 출력한다. 통신부(20)는, 대상물의 정보를 서버 장치(12)에 송신한다. 이것은, 통지부(48)가, 대상물의 정보를, 통신부(20)를 통해서 서버 장치(12)에 통지하는 것에 상당한다. 통지부(48)가 대상물의 정보를 통지하는 타이밍은, 특별히 한정되지 않지만, 예를 들어 차량(14)의 액세서리 스위치가 오프로 되었을 때이다. 통지부(48)가 대상물의 정보를 통지하는 타이밍은, 대상물에 따라서 상이해도 된다. 예를 들어, 대상물이 꽃 등일 경우, 통지를 서두르지 않아도 되기 때문에, 통지 타이밍은, 차량(14)의 액세서리 스위치가 오프로 되었을 때이다. 또한, 대상물이 고장차, 도로 상의 낙하물, 도로의 함몰, 침수된 도로 등일 경우, 통지가 이른 것이 바람직하기 때문에, 통지 타이밍은, 대상물의 정보가 도출되었을 때여도 된다.
도 3은, 도 1의 차량 탑재 장치(10)를 탑재한 차량(14)이 대상물을 화상 인식하는 상황을 설명하기 위한 도면이다. 도 3에서는, 차량(14a)은, 도로(R1)를 북쪽에서부터 남쪽을 향해서 주행하고 있고, 차량(14b)은, 도로(R1)를 남쪽에서부터 북쪽을 향해서 주행하고 있다. 도로(R1)의 서측에는, 꽃을 피운 민들레가 무리지어 있는 영역(100)이 존재한다. 차량(14a)과 차량(14b)에는, 각각 민들레 꽃용의 화상 인식 로직이 배신되어 있어, 정기적으로 민들레 꽃의 화상 인식을 행하면서 주행하고 있다.
영역(100)의 민들레 꽃이 화상 인식되었을 때의 차량(14a)의 위치는, 위치 P1이다. 차량(14a)의 차량 탑재 장치(10)의 도출부(46)는, 촬상 지점을 위치 P1로 도출하고, 촬상 지점에서의 민들레 꽃의 방향을, 남서라고 도출한다.
영역(100)의 민들레 꽃이 화상 인식되었을 때의 차량(14b)의 위치는, 위치 P2이다. 차량(14b)의 차량 탑재 장치(10)의 도출부(46)는, 촬상 지점을 위치 P2로 도출하고, 촬상 지점에서의 민들레 꽃의 방향을, 북서라고 도출한다.
(3) 대상물의 정보 취득 처리
도 2로 돌아간다. 서버 장치(12)의 통신부(60)는, 화상 인식 로직이 배신된 각 차량(14)으로부터, 대상물의 정보를 수신한다. 대상물 정보 취득부(78)는, 통신부(60)에서 수신된 대상물의 정보를 취득한다. 이것은, 대상물 정보 취득부(78)가, 화상 인식 로직이 배신된 각 차량(14)으로부터, 당해 차량(14)의 차밖의 촬상 화상에 있어서 당해 화상 인식 로직을 실행함으로써 인식된 대상물에 관한 정보를 취득하는 것에 상당한다.
도출부(80)는, 취득된 대상물의 정보에 포함되는 촬상 지점 및 촬상 지점에서의 대상물의 방향에 기초하여, 대상물의 위치 정보를 도출한다. 대상물의 위치 정보는, 위도 및 경도를 포함한다. 또한, 도출부(80)는, 취득된 대상물의 정보에 포함되는 대상물의 면적에 기초하여, 대상물의 존재 범위를 도출한다.
도 3의 예에서는, 대상물의 위치는, 위치 P1의 남서, 위치 P2의 북서이므로, 대략 위치 P1과 위치 P2의 사이의 위치인 서측인 것이 도출된다.
배신부(76)는, 통신부(60)를 통해서, 도출된 대상물의 위치 정보, 대상물의 명칭, 및 대상물의 존재 범위를, 복수의 차량(14)에 배신한다.
화상 인식 로직의 삭제에 대해서 설명한다. 삭제는 배신부(76)로부터의 지시 또는 차량(14)의 판단에 기초하여 실행된다. 또는 이들을 병용해도 된다. 배신부(76)로부터의 지시에 의한 삭제에 대해서 설명한다. 배신부(76)는, 대상물에 관한 정보의 취득 종료 조건이 만족되었을 경우, 화상 인식 로직을 배신한 차량(14)에, 화상 인식 로직의 삭제 지시를 배신한다. 처리부(62)는, 취득 종료 조건이 만족되었을 경우, 기억부(64)에 기억된, 특정한 차량(14)을 식별하기 위한 정보를 삭제한다. 차량(14)의 판단에 기초한 삭제에 대해서 설명한다. 화상 인식 로직에 관련지어진 유효 기한이 있으면, 현재 시각이 유효 기한을 초과하였을 경우에 화상 인식 로직을 삭제한다. 화상 인식 로직에 관련지어진 기간이 있으면, 현재 시각이 기간을 초과하였을 경우에 화상 인식 로직을 삭제한다.
화상 인식 로직의 삭제가 실행된 결과, 당해 차량(14)에 화상 인식 로직을 새롭게 배신 가능한 상태가 된다. 취득 종료 조건은, 예를 들어 현재 일시가 화상 인식 로직에 관련된 기간을 지났을 것, 또는 화상 인식 로직을 배신하고 나서 일정 기간이 경과했을 것이다. 꽃용의 화상 인식 로직의 경우, 취득 종료 조건은, 화상 인식된 단위 면적 내의 꽃의 비율이 소정의 비율을 초과하였을 것이어도 된다. 일정 기간과 소정의 비율은, 실험 등에 의해 적절히 정할 수 있다. 또한, 화상 인식 로직은 데이터로서 삭제하지 않고 실행을 휴지시키도록 하는 것이기만 해도 된다. 휴지된 화상 인식 로직은 예를 들어 화상 인식부(44)로부터 언로드되고, 화상 인식부(44)의 리소스가 그만큼 해방된다. 휴지된 화상 인식 로직은 다시 활성화되어 화상 인식부(44)에 로드될 수도 있다.
차량 탑재 장치(10)에 대해서 설명한다. 통신부(20)는, 배신된 대상물의 위치 정보, 대상물의 명칭, 및 대상물의 존재 범위를 수신한다. 내비게이션부(32)는, 통신부(20)에서 수신된 정보에 기초하여, 대상물의 정보를 지도에 겹쳐서 표시 하고, 대상물의 위치, 명칭 및 존재 범위를 탑승원에게 통지한다. 대상물의 정보는, 아이콘을 사용해서 표시해도 되고, 아이콘과 문자를 사용해서 표시해도 된다. 내비게이션부(32)는, 지도 상의 대상물의 존재 범위를 빈틈없이 칠해도 된다. 또한, 내비게이션부(32)는, 자차량의 위치가 대상물의 위치에 가까워졌을 경우, 대상물의 위치, 명칭 및 존재 범위를 음성으로 탑승원에게 통지해도 된다.
또한, 통신부(20)는, 서버 장치(12)로부터 배신된 화상 인식 로직의 삭제 지시를 수신한다. 화상 인식 로직 취득부(42)는, 통신부(20)에서 수신된 화상 인식 로직의 삭제 지시를 취득한다. 화상 인식 로직 취득부(42)가 화상 인식 로직의 삭제 지시를 취득한 경우, 처리부(22)는, 기억부(24)에 기억된 화상 인식 로직을 삭제한다. 그 결과, 화상 인식부(44)는, 이 화상 인식 로직에 의한 화상 인식을 종료한다.
또한, 서버 장치(12)에 있어서, 대상물 정보 취득부(78)가, 화상 인식 로직이 배신된 각 차량(14)으로부터 대상물의 정보를 취득한 후, 소정 기간, 각 차량(14)으로부터 대상물의 정보를 취득하지 않는 경우, 배신부(76)는, 통신부(60)를 통해서, 대상물의 정보의 통지 종료 지시를 복수의 차량(14)에 배신한다. 소정 기간은, 실험 등에 의해 적절히 정할 수 있다. 차량 탑재 장치(10)의 내비게이션부(32)는, 통신부(20)가 대상물의 정보의 통지 종료 지시를 수신하면, 탑승원에의 대상물의 정보의 통지를 종료한다.
이 구성은, 하드웨어적으로는, 임의의 컴퓨터의 CPU, 메모리, 그 밖의 LSI로 실현할 수 있고, 소프트웨어적으로는 메모리에 로드된 프로그램 등에 의해 실현되지만, 여기에서는 그것들의 제휴에 의해 실현되는 기능 블록을 도시하고 있다. 따라서, 이들 기능 블록을 하드웨어만, 소프트웨어만, 또는 그것들의 조합에 의해 다양한 형태로 실현할 수 있음은, 당업자에게는 이해되는 바이다.
이어서, 이상의 구성에 의한 차량 시스템(1)의 전체적인 동작을 설명한다. 도 4는, 도 1의 서버 장치(12)에서의 화상 인식 로직의 배신 처리를 나타내는 흐름도이다. 도 4의 처리는, 서버 장치(12)가 유지하는 각 화상 인식 로직에 대해서 행하여진다. 특정부(74)는, 복수의 차량(14)으로부터 정보를 취득하고(S10), 취득된 정보에 기초하여 화상 인식 로직을 배신할 차량(14)을 특정하고(S12), 배신부(76)는, 특정된 차량(14)에 화상 인식 로직을 배신한다(S14).
도 5는, 도 1의 차량 탑재 장치(10)에서의 화상 인식 처리를 나타내는 흐름도이다. 화상 인식 로직 취득부(42)는, 서버 장치(12)로부터 화상 인식 로직을 취득하고(S20), 화상 인식부(44)는, 취득된 화상 인식 로직에 의해 촬상 화상에 있어서 대상물을 화상 인식한다(S22). 대상물이 화상 인식되지 않는 경우(S24의 N), 스텝 22로 돌아간다. 대상물이 화상 인식되었을 경우(S24의 Y), 도출부(46)는, 화상 인식 결과에 기초하여 대상물의 정보를 도출하고(S26), 통지부(48)는, 도출된 대상물의 정보를 서버 장치(12)에 통지한다(S28).
도 6은, 도 1의 서버 장치(12)에서의 대상물의 정보의 취득 처리를 나타내는 흐름도이다. 도 6의 처리는, 도 4의 처리 후에 행하여진다. 대상물 정보 취득부(78)는, 화상 인식 로직이 배신된 각 차량(14)으로부터 대상물의 정보를 취득하고(S40), 도출부(80)는, 대상물의 위치 정보를 도출하고(S42), 배신부(76)는, 도출된 대상물의 위치 정보를 복수의 차량(14)에 배신한다(S44).
이렇게 본 실시 형태에 의하면, 특정된 차량(14)에 화상 인식 로직을 배신하고, 각 차량(14)으로부터, 촬상 화상에 있어서 화상 인식 로직을 실행함으로써 인식된 대상물에 관한 정보를 취득하므로, 복수의 대상물 각각에 특화된 화상 인식 로직을 차량(14)에 미리 내장하지 않고, 다양한 장소에서의 다양한 대상물의 정보를 저비용으로 수집할 수 있다.
또한, 특정부(74)는, 화상 인식 로직에 관련된 지역을 주행할 가능성이 있는 차량(14)을 특정하므로, 대상물을 화상 인식할 가능성이 있는 차량(14)에 선택적으로 화상 인식 로직을 배신할 수 있다. 그 때문에, 대상물을 화상 인식할 가능성이 없는 차량(14)의 화상 인식 리소스를 낭비하지 않고, 대상물의 정보를 효율적으로 수집할 수 있다.
또한, 특정부(74)는, 화상 인식 로직에 관련된 기간에, 당해 화상 인식 로직에 관련된 지역을 주행할 가능성이 있는 차량(14)을 특정하므로, 대상물을 화상 인식할 가능성이 보다 높은 차량(14)에 선택적으로 화상 인식 로직을 배신할 수 있다. 그 때문에, 대상물이 존재하는 기간이 정해져 있는 경우에도, 대상물을 화상 인식할 가능성이 없는 차량(14)의 화상 인식 리소스를 낭비하지 않고, 대상물의 정보를 효율적으로 수집할 수 있다.
또한, 대상물이 촬상되었을 때의 차량(14)의 위치 정보에 기초하여 대상물의 위치 정보를 도출하고, 도출된 대상물의 위치 정보를 복수의 차량(14)에 배신하므로, 복수의 차량(14)의 탑승원에게, 다양한 장소에서의 다양한 대상물의 정보를 알릴 수 있다. 따라서, 차량(14)의 탑승원의 편리성을 향상시킬 수 있다.
또한, 대상물에 관한 정보의 취득의 종료 조건이 만족되었을 경우, 화상 인식 로직을 배신한 차량(14)에, 화상 인식 로직의 삭제 지시를 배신하므로, 차량(14)의 화상 인식의 리소스를 유효 활용할 수 있다.
(제2 실시 형태)
제2 실시 형태에서는, 서버 장치(12)는, 차량 탑재 장치(10)의 화상 인식부(44)를 구성하는 프로세서의 타입에 대응한 화상 인식 로직을 배신하는 것이, 제1 실시 형태와 상이하다. 이하에서는, 제1 실시 형태와의 상위점을 중심으로 설명한다.
복수의 차량(14)의 차량 탑재 장치(10)의 화상 인식부(44)를 구성하는 프로세서의 타입은, 2종류 이상이다. 그 때문에, 특정부(74)가 특정한 복수의 차량(14)의 화상 인식부(44)의 프로세서의 타입은, 2종류 이상인 경우가 있다. 서버 장치(12)의 기억부(64)는, 각각 상이한 타입의 프로세서의 화상 인식부(44)에서 실행 가능한, 공통의 대상물을 화상 인식하기 위한 복수의 화상 인식 로직을 기억하고 있다. 기억부(64)는, 각 대상물에 관해서, 이러한 복수의 타입의 프로세서에 대응한 복수의 화상 인식 로직을 기억하고 있다. 또한, 기억부(64)는, 이하에 설명하는 제1 테이블과 제2 테이블을 미리 기억하고 있다.
도 7의 (a)는 제2 실시 형태에 관한 서버 장치(12)의 기억부(64)에 기억된 제1 테이블의 데이터 구조를 도시하는 도면이다. 제1 테이블은, 차량(14)의 식별 정보와, 당해 차량(14)의 화상 인식부(44)의 프로세서의 타입의 관계를 나타낸다.
차량(14)의 식별 정보 「Vehicle001」에는, 당해 차량(14)의 화상 인식부(44)의 프로세서 타입 「A」가 대응지어져 있다. 차량(14)의 식별 정보 「Vehicle002」에는, 당해 차량(14)의 화상 인식부(44)의 프로세서 타입 「B」가 대응지어져 있다.
도시는 생략하지만, 제1 테이블에는, 차량 시스템(1)의 모든 차량(14)의 식별 정보와, 각 차량(14)의 프로세서 타입이 등록되어 있다. 새로운 차량(14)이 차량 시스템(1)에 더해지면, 새로운 차량(14)의 식별 정보 등이 제1 테이블에 등록된다.
도 7의 (b)는 제2 실시 형태에 관한 기억부(64)에 기억된 제2 테이블의 데이터 구조를 도시하는 도면이다. 제2 테이블은, 화상 인식 로직의 식별 정보와, 당해 화상 인식 로직을 실행 가능한 프로세서의 타입의 관계를 나타낸다.
화상 인식 로직의 식별 정보 「Data001-A」에는, 당해 화상 인식 로직을 실행 가능한 프로세서의 타입 「A」가 대응지어져 있다. 화상 인식 로직의 식별 정보 「Data001-B」에는, 당해 화상 인식 로직을 실행 가능한 프로세서의 타입 「B」가 대응지어져 있다. 「Data001-A」의 화상 인식 로직과 「Data001-B」의 화상 인식 로직은, 공통의 대상물을 화상 인식하기 위한 것이다.
화상 인식 로직의 식별 정보 「Data002-A」에는, 당해 화상 인식 로직을 실행 가능한 프로세서의 타입 「A」가 대응지어져 있다. 화상 인식 로직의 식별 정보 「Data002-B」에는, 당해 화상 인식 로직을 실행 가능한 프로세서의 타입 「B」가 대응지어져 있다. 「Data002-A」의 화상 인식 로직과 「Data002-B」의 화상 인식 로직은, 「Data001-A」의 화상 인식 로직이 인식하는 대상물과는 상이한 공통의 대상물을 화상 인식하기 위한 것이다.
이 예에서는, 식별 정보의 전반 부분의 「Data001」 등이 공통인 화상 인식 로직은, 공통의 대상물을 화상 인식하기 위한 것이다. 식별 정보의 전반 부분이 상이한 화상 인식 로직은, 각각 상이한 대상물을 화상 인식하기 위한 것이다.
도시는 생략하지만, 제2 테이블에는, 기억부(64)에 기억된 모든 화상 인식 로직의 식별 정보와, 각 화상 인식 로직을 실행 가능한 프로세서의 타입이 등록되어 있다.
도 7의 (c)는, 제2 실시 형태에 관한 기억부(64)에 기억된 제3 테이블의 데이터 구조를 도시하는 도면이다. 제3 테이블은, 특정부(74)가 특정한 차량(14)의 식별 정보와, 배신부(76)가 당해 차량(14)에 배신할 화상 인식 로직의 식별 정보의 관계를 나타낸다.
특정부(74)는, 제1 실시 형태와 마찬가지로, 소정의 대상물을 화상 인식하기 위한 화상 인식 로직을 배신할 하나 이상의 차량(14)을 특정한다. 여기에서는, 특정부(74)는, 식별 정보의 전반 부분이 「Data001」인 화상 인식 로직을 배신할 차량(14)으로서, 식별 정보 「Vehicle001」과 「Vehicle002」의 차량(14)을 특정하고 있는 일례에 대해서 설명한다.
특정부(74)는, 기억부(64)의 제1 테이블과 제2 테이블에 기초하여, 특정한 각 차량(14)의 식별 정보에, 기억부(64)에 기억된 복수의 화상 인식 로직 중 각 차량(14)의 화상 인식부(44)에서 실행 가능한 화상 인식 로직의 식별 정보를 대응지어, 제3 테이블로서 기억부(64)에 기억시킨다.
도 7의 (c)의 예에서는, 차량(14)의 식별 정보 「Vehicle001」에는, 당해 차량(14)의 프로세서의 타입 「A」에서 실행 가능한 식별 정보 「Data001-A」의 화상 인식 로직이 대응지어져 있다. 차량(14)의 식별 정보 「Vehicle002」에는, 당해 차량(14)의 프로세서의 타입 「B」에서 실행 가능한 식별 정보 「Data001-B」의 화상 인식 로직이 대응지어져 있다.
배신부(76)는, 기억부(64)의 제3 테이블에 기초하여, 특정부(74)에서 특정된 각 차량(14)에, 각 차량(14)의 화상 인식부(44)에서 실행 가능한 화상 인식 로직을 배신한다. 이 예에서는, 배신부(76)는, 식별 정보 「Vehicle001」의 차량(14)에, 식별 정보 「Data001-A」의 화상 인식 로직을 배신한다. 배신부(76)는, 식별 정보 「Vehicle002」의 차량(14)에, 식별 정보 「Data001-B」의 화상 인식 로직을 배신한다. 그 결과, 식별 정보 「Vehicle001」의 차량(14)과, 식별 정보 「Vehicle002」의 차량(14)은, 각각 공통의 대상물을 화상 인식한다.
또한, 도시는 생략하지만, 동일한 타입의 프로세서의 복수의 차량(14)이 특정되었을 경우, 배신부(76)는, 특정된 복수의 차량(14)에, 각 차량(14)의 화상 인식부(44)에서 실행 가능한 동일한 화상 인식 로직을 배신한다.
본 실시 형태에 의하면, 특정부(74)에서 특정된 각 차량(14)에, 각 차량(14)의 화상 인식부(44)에서 실행 가능한 화상 인식 로직을 배신하므로, 복수의 차량(14)의 화상 인식부(44)의 프로세서의 타입이 2종류 이상이어도, 각 차량(14)으로부터 대상물에 관한 정보를 취득할 수 있다.
이상, 실시 형태를 바탕으로 본 발명을 설명하였다. 실시 형태는 어디까지나 예시이며, 각 구성 요소나 각 처리 프로세스의 조합에 다양한 변형예가 가능한 것, 또한 그러한 변형예도 본 발명의 범위에 있는 것은 당업자에게 이해되는 바이다.

Claims (9)

  1. 서버 장치(12)에 있어서,
    복수의 차량(14)으로부터 취득된 정보에 기초하여, 상기 복수의 차량(14) 중에서 소정의 대상물을 화상 인식하기 위한 화상 인식 로직을 배신할 배신 대상 차량을 특정하는 특정부(74)와,
    상기 특정부(74)에서 특정된 상기 배신 대상 차량에 상기 화상 인식 로직을 배신하는 배신부와,
    상기 화상 인식 로직이 배신된 배신 대상 차량으로부터, 당해 차량의 차밖의 촬상 화상에 있어서 당해 화상 인식 로직을 실행함으로써 인식된 상기 대상물에 관한 정보를 취득하는 취득부(78)를 구비하는, 서버 장치.
  2. 제1항에 있어서,
    상기 특정부(74)는, 상기 화상 인식 로직에 관련된 지역을 주행할 가능성이 있는 상기 차량 중에서 배신 대상 차량을 특정하는, 서버 장치.
  3. 제2항에 있어서,
    상기 특정부(74)는, 상기 화상 인식 로직에 관련된 기간에 상기 지역을 주행할 가능성이 있는 상기 차량 중에서 배신 대상 차량을 특정하는, 서버 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 대상물의 정보는, 상기 대상물이 촬상되었을 때의 상기 배신 대상 차량의 위치 정보를 포함하고,
    상기 서버 장치(12)는, 상기 대상물이 촬상되었을 때의 상기 배신 대상 차량의 위치 정보에 기초해서 상기 대상물의 위치 정보를 도출하는 도출부(80)를 더 구비하고,
    상기 배신부(76)는, 도출된 상기 대상물의 위치 정보를 상기 복수의 차량에 배신하는, 서버 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 배신부는, 상기 대상물에 관한 정보의 취득 종료 조건이 만족되었을 경우, 상기 화상 인식 로직을 배신한 상기 배신 대상 차량에, 상기 화상 인식 로직의 삭제 지시를 배신하는, 서버 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 화상 인식 로직은 학습 완료 네트워크 모델에 의해 구성되는, 서버 장치.
  7. 서버 장치에 있어서,
    복수의 차량으(14)로부터 취득된 정보에 기초하여, 상기 복수의 차량(14) 중에서 공통 또는 동일한 소정의 대상물을 화상 인식하기 위한 화상 인식 로직을 배신할 복수의 배신 대상 차량을 특정하는 특정부(74)와,
    상기 특정부(74)에서 특정된 상기 각 배신 대상 차량에 상기 화상 인식 로직을 배신하는 배신부(76)와,
    상기 화상 인식 로직이 배신된 각 배신 대상 차량으로부터, 당해 차량의 차밖의 촬상 화상에 있어서 당해 화상 인식 로직을 실행함으로써 인식된 상기 대상물에 관한 정보를 취득하는 취득부(78)를 구비하는, 서버 장치.
  8. 제1항 내지 제5항 중 어느 한 항에 있어서,
    각 차량(14)은, 상기 화상 인식 로직을 실행하는 화상 인식부(44)를 구비하고,
    상기 서버 장치(12)는, 각각 상이한 타입의 상기 화상 인식부(44)에서 실행 가능한, 공통 또는 동일의 상기 대상물을 화상 인식하기 위한 복수의 화상 인식 로직을 기억하는 기억부(64)를 더 구비하고,
    상기 배신부(76)는, 상기 특정부(74)에서 특정된 각 배신 대상 차량에, 상기 기억부(64)에 기억된 상기 복수의 화상 인식 로직 중 각 배신 대상 차량의 상기 화상 인식부(44)에서 실행 가능한 상기 화상 인식 로직을 배신하는, 서버 장치.
  9. 차량 탑재 장치에 있어서,
    서버 장치(12)로부터, 소정의 대상물을 화상 인식하기 위한 화상 인식 로직을 취득하는 취득부(42)와,
    상기 취득부(42)에서 취득된 상기 화상 인식 로직을 실행함으로써 상기 차량 탑재 장치(10)가 탑재된 차량의 차밖의 촬상 화상에 있어서 상기 대상물을 화상 인식하는 화상 인식부(44)와,
    상기 화상 인식부(44)에서의 화상 인식 결과에 기초하여 상기 대상물의 정보를 도출하는 도출부(46)와,
    상기 도출부(46)에서 도출된 상기 대상물의 정보를, 상기 서버 장치에 통지하는 통지부(48)를 구비하는, 차량 탑재 장치.
KR1020180136984A 2017-11-14 2018-11-09 서버 장치 및 차량 탑재 장치 KR20190054944A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017219387A JP7006159B2 (ja) 2017-11-14 2017-11-14 サーバ装置
JPJP-P-2017-219387 2017-11-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210007841A Division KR20210010606A (ko) 2017-11-14 2021-01-20 서버 장치 및 차량 탑재 장치

Publications (1)

Publication Number Publication Date
KR20190054944A true KR20190054944A (ko) 2019-05-22

Family

ID=64277607

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180136984A KR20190054944A (ko) 2017-11-14 2018-11-09 서버 장치 및 차량 탑재 장치
KR1020210007841A KR20210010606A (ko) 2017-11-14 2021-01-20 서버 장치 및 차량 탑재 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210007841A KR20210010606A (ko) 2017-11-14 2021-01-20 서버 장치 및 차량 탑재 장치

Country Status (7)

Country Link
US (1) US11030467B2 (ko)
EP (1) EP3483788B1 (ko)
JP (1) JP7006159B2 (ko)
KR (2) KR20190054944A (ko)
CN (1) CN110033056B (ko)
BR (1) BR102018072856A2 (ko)
RU (1) RU2707153C1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7110966B2 (ja) * 2018-12-13 2022-08-02 トヨタ自動車株式会社 表示制御装置及び表示制御プログラム
KR20190091419A (ko) 2019-07-17 2019-08-06 엘지전자 주식회사 자율주행 차량의 제어방법 및 이를 위한 제어장치
JP7074166B2 (ja) * 2020-08-07 2022-05-24 トヨタ自動車株式会社 サーバ、車両の制御装置、および車両の機械学習システム
US11976940B2 (en) 2021-09-30 2024-05-07 Woven By Toyota, Inc. Vehicle data collection system and method of using

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005259031A (ja) * 2004-03-15 2005-09-22 Sumitomo Electric Ind Ltd 人間認識システム、人間認識装置、記憶装置及び人間認識方法
KR101451768B1 (ko) 2011-03-21 2014-10-17 팅크웨어(주) 주행 영상 획득을 위한 전자 기기 및 전자 기기의 주행 영상 획득 방법 및 주행 영상 제공을 위한 서버 및 서버의 주행 영상 제공 방법
KR101870284B1 (ko) 2011-04-29 2018-07-24 팅크웨어(주) 전자기기, 그 제어방법 및 전자기기와 통신하는 서버
JP5704239B2 (ja) * 2011-08-10 2015-04-22 トヨタ自動車株式会社 運転支援装置
JP5408240B2 (ja) * 2011-12-12 2014-02-05 株式会社デンソー 警告システム、車両装置、及びサーバ
JP5708689B2 (ja) * 2013-03-13 2015-04-30 株式会社デンソー 物体検出装置
JP6208018B2 (ja) 2014-01-08 2017-10-04 株式会社東芝 画像認識アルゴリズム組合せ選択装置
JP6044556B2 (ja) * 2014-01-16 2016-12-14 株式会社デンソー 学習システム、車載装置、及び、サーバ
CA2976344A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US9740951B2 (en) * 2015-09-11 2017-08-22 Intel Corporation Technologies for object recognition for internet-of-things edge devices
US10478973B2 (en) * 2016-02-09 2019-11-19 Cobalt Robotics Inc. Mobile robot security enforcement
US9754510B1 (en) * 2016-03-03 2017-09-05 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices for providing information to a user through thermal feedback and methods
US10838426B2 (en) * 2016-07-21 2020-11-17 Mobileye Vision Technologies Ltd. Distributing a crowdsourced sparse map for autonomous vehicle navigation
CN106379319B (zh) * 2016-10-13 2019-11-19 上汽大众汽车有限公司 一种汽车辅助驾驶系统及控制方法

Also Published As

Publication number Publication date
US11030467B2 (en) 2021-06-08
BR102018072856A2 (pt) 2019-06-11
JP2019091235A (ja) 2019-06-13
RU2707153C1 (ru) 2019-11-22
JP7006159B2 (ja) 2022-01-24
KR20210010606A (ko) 2021-01-27
EP3483788A1 (en) 2019-05-15
CN110033056B (zh) 2023-08-01
US20190147256A1 (en) 2019-05-16
CN110033056A (zh) 2019-07-19
EP3483788B1 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
KR20190054944A (ko) 서버 장치 및 차량 탑재 장치
US11030802B2 (en) Dynamic map update device, dynamic map update method, and non-transitory computer readable medium recording dynamic map update program
US9501929B2 (en) Movement assistance device and movement assistance method
US11631326B2 (en) Information providing system, server, onboard device, vehicle, storage medium, and information providing method
CN105793669A (zh) 车辆位置推定系统、装置、方法以及照相机装置
JP2016095831A (ja) 運転支援システム及びセンタ
US11062154B2 (en) Non-transitory storage medium storing image transmission program, image transmission device, and image transmission method
JP7298285B2 (ja) 情報処理装置及び情報処理プログラム
JP2022538097A (ja) ナビゲート可能なネットワークに関するユーザ提供データの収集
JP2018010535A (ja) 固定カメラ、サーバ、道路情報更新システム、および情報処理プログラム
WO2019131075A1 (ja) 送信装置、点群データ収集システムおよびコンピュータプログラム
US20230392943A1 (en) Server apparatus and information processing method
JP2020205110A (ja) 予測装置および予測システム
JP6547788B2 (ja) 情報処理システム、情報処理装置及びプログラム
JP6866821B2 (ja) サーバ装置および車両システム
JP6998237B2 (ja) サーバ装置、画像収集方法、及び画像取得システム
JP2022010903A (ja) 路車協調システム、車載装置、路車協調サーバ、路車協調システムの動作方法及びコンピュータプログラム
JP7203907B1 (ja) 制御装置、移動体、制御方法、及び端末
US20230266133A1 (en) Information processing apparatus, moving object, server, and method
JP7494231B2 (ja) 情報処理装置、移動体、サーバ、プログラム、及び方法
CN114556456B (zh) 管理系统、管理方法、以及管理程序
JP7147791B2 (ja) タグ付与システム、キャッシュサーバ、およびキャッシュサーバの制御方法
CN118038659A (zh) 信息处理装置以及信息处理方法
JP2024047160A (ja) 情報登録支援装置、方法及びプログラム
CN117396933A (zh) 外界识别系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2021101000142; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20210120

Effective date: 20210723