JP6820533B2 - 推定装置、学習装置、推定方法、及び推定プログラム - Google Patents

推定装置、学習装置、推定方法、及び推定プログラム Download PDF

Info

Publication number
JP6820533B2
JP6820533B2 JP2017027224A JP2017027224A JP6820533B2 JP 6820533 B2 JP6820533 B2 JP 6820533B2 JP 2017027224 A JP2017027224 A JP 2017027224A JP 2017027224 A JP2017027224 A JP 2017027224A JP 6820533 B2 JP6820533 B2 JP 6820533B2
Authority
JP
Japan
Prior art keywords
equipment
occupant
image
state
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017027224A
Other languages
English (en)
Other versions
JP2018132996A (ja
Inventor
川口　京子
京子 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017027224A priority Critical patent/JP6820533B2/ja
Priority to US15/830,239 priority patent/US11995536B2/en
Publication of JP2018132996A publication Critical patent/JP2018132996A/ja
Application granted granted Critical
Publication of JP6820533B2 publication Critical patent/JP6820533B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)

Description

本発明は、車両等の車室内における装備に対する乗員の状態（姿勢及び行動）を推定する推定装置、学習装置、推定方法、及び推定プログラムに関する。
近年、移動体（例えば、自動車等の車両）内における乗員の状態（動作やジェスチャー）を検知し、検知結果に基づいて乗員にとって有用な情報を提供する技術が開発されている（例えば、特許文献１、２）。
乗員の状態を検知する技術としては、例えば、車室内に設置された車載カメラから得られる画像に基づいて、乗員の状態を推定する推定装置がある。推定装置では、画像から乗員の特定部位を示す骨格位置が推定され、この骨格位置に基づいて、装備に対する乗員の状態が推定される。例えば、乗員の特定部位である「手」の骨格位置に基づいて、「ハンドルを握っている」や、「ナビゲーションシステムを操作している」という乗員の状態が推定される。装備に対する乗員の状態は、装備と特定部位との位置関係で表すことができる。
骨格位置は、例えば、機械学習により構築されたモデル（アルゴリズム）を利用して、推定される。特に、ディープラーニングにより構築されたモデルは、骨格位置の推定精度が高く、好適である。ディープラーニングとは、ニューラルネットワークを利用した機械学習である。
図１は、従来の推定装置５の一例を示す図である。ここでは、推定装置５が、運転者によるハンドルの把持状態を推定する場合について説明する。図１に示すように、従来の推定装置５は、骨格位置推定部５１及び状態推定部５３を備える。
骨格位置推定部５１は、推定モデルＭを用いて、車載カメラ２０から入力された画像ＤＩに含まれる乗員の特定部位（手）の骨格位置を推定し、骨格位置情報ＤＯ１を出力する。推定モデルＭは、入力（問題）となる画像に、出力（解答）となる骨格位置が関連付けられた訓練データ（または、教師データともいう）を用いた機械学習により構築されるモデルである。骨格位置情報は、入力画像ＤＩにおける特定部位の骨格位置を示す座標（ｘ，ｙ）で与えられる。
動作推定部５３は、骨格位置推定部５１からの骨格位置情報ＤＯ１と車両の装備情報５４とに基づいて、運転者によるハンドルの把持状態を推定し、ハンドルの把持状態を示す位置関係情報ＤＯ２を出力する。装備情報５４は、例えば、骨格位置と当該装備に対する状態（ここでは、ハンドルを把持しているか否か）とが関連付けられた判断テーブルである。図１に示す装備情報では、運転者の手がハンドルを把持していると判断する場合が「ＯＮ」、運転者の手がハンドルから離れていると判断する場合が「ＯＦＦ」として設定されている。つまり、動作推定部５３は、骨格位置情報に含まれる骨格位置座標（ｘ，ｙ）が、５０＜ｘ＜１００及び８０＜ｙ＜９０を満たす場合は、運転者がハンドルを把持していると推定し、骨格位置座標（ｘ、ｙ）が前記条件を満たさない場合は、運転者がハンドルを把持していないと推定する。
特開２０１４−２２１６３６号公報 特開２０１４−１７９０９７号公報
しかしながら、従来の推定装置において、装備に対する運転者の状態を正確に推定するためには、推定装置が搭載される車両の仕様に応じて装備情報（判断テーブル）を用意する必要がある。全メーカーの全車種に対応するためには、膨大な装備情報が必要となり、今後新たな車種が投入されることも考えると、実用的でない。また、ユーザーによって車両の装備に変更が加えられると、推定精度が低下してしまう。
本発明の目的は、車両の仕様にかかわらず適用できるとともに、装備に対する乗員の状態を精度よく推定できる推定装置、学習装置、推定方法、及び推定プログラムを提供することである。
本発明に係る推定装置は、
車両の装備に対する乗員の状態を推定する推定装置であって、
機械学習により構築されたモデルを記憶する記憶部と、
前記装備を含む画像を入力し、前記モデルを用いて前記乗員の状態を推定し、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、を出力する処理部と、を備え、
前記モデルは、前記装備を含む画像に、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、が関連付けられた訓練データを用いて、前記画像を入力したときに、当該画像に関連付けられた前記第１の情報及び前記第２の情報が出力されるように学習されている。
本発明に係る学習装置は、
車両の装備に対する乗員の状態を推定するために用いられるモデルを構築する学習装置であって、
前記装備を含む画像に、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、が関連付けられた訓練データを取得する入力部と、
前記画像を推定装置に入力したときに、当該画像に関連付けられた前記第１の情報及び前記第２の情報が出力されるように、前記モデルを構築する学習部と、を備える。
本発明に係る推定方法は、
車両の装備に対する乗員の状態を推定する推定方法であって、
前記装備を含む画像を取得する第１工程と、
前記第１工程で取得した画像を入力し、機械学習により構築されたモデルを用いて前記装備に対する乗員の状態を推定する第２工程と、
前記第２工程による推定結果として、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、を出力する第３工程と、を備え、
前記モデルは、前記装備を含む画像に、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、が関連付けられた訓練データを用いて、前記画像を入力したときに、当該画像に関連付けられた前記第１の情報及び前記第２の情報が出力されるように学習されている。
本発明に係る推定プログラムは、
車両の装備に対する乗員の状態を推定する推定装置のコンピューターに、
前記装備を含む画像を取得する第１処理と、
前記第１処理で取得した画像を入力し、機械学習により構築されたモデルを用いて前記装備に対する乗員の状態を推定する第２処理と、
前記第２処理による推定結果として、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、を出力する第３処理と、を実行させ、
前記モデルは、前記装備を含む画像に、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、が関連付けられた訓練データを用いて、前記画像を入力したときに、当該画像に関連付けられた前記第１の情報及び前記第２の情報が出力されるように学習されている。
本発明によれば、車両の仕様にかかわらず適用できるとともに、装備に対する乗員の状態を精度よく推定することができる。
従来の推定装置の一例を示す図である。 本発明の一実施の形態に係る推定装置を示す図である。 推定モデルを構築するための学習装置の一例を示す図である。 図４Ａ〜図４Ｉは、運転者によるハンドルの把持状態を推定する推定モデルを構築する場合の訓練データの一例を示す図である。 学習装置の処理部が実行する学習処理の一例を示すフローチャートである。 推定装置の処理部が実行する推定処理の一例を示すフローチャートである。
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図２は、本発明の一実施の形態に係る推定装置１を示す図である。
推定装置１は、車両に搭載され、車載カメラ２０によって撮像された画像ＤＩに基づいて、当該画像ＤＩに含まれる車両の装備に対する乗員の状態（姿勢や行動）を推定する。
車載カメラ２０は、例えば、車室内に設置された赤外線カメラである。車載カメラ２０は、乗員の状態を推定する対象となる装備を含む領域を撮像する。車載カメラ２０は、例えば、推定装置１がハンドルに対する乗員の把持状態を推定する場合、撮像領域にハンドルが収まるように設置される。
車両の装備は、例えば、ハンドル、カーナビゲーションシステムのタッチパネル、窓、ドアノブ、エアコンのコントロールパネル、バックミラー、ダッシュボード、シート、アームレスト、センターボックス、グローブボックスなどであり、車種によって詳細なサイズや位置は異なるが、各装置の設置位置は車種にかかわらずある程度の領域に決まっているものである。
図２に示すように、推定装置１は、処理部１１及び記憶部１２等を備える。
処理部１１は、演算／制御装置としてのＣＰＵ１１１（Central Processing Unit）、主記憶装置としてのＲＯＭ１１２（Read Only Memory）及びＲＡＭ１１３（Random Access Memory）等を備える（いずれも図示略）。ＲＯＭ１１２には、ＢＩＯＳ（Basic Input Output System）と呼ばれる基本プログラムや基本的な設定データが記憶される。ＣＰＵ１１１は、ＲＯＭ１１２又は記憶部１２から処理内容に応じたプログラムを読み出してＲＡＭ１１３に展開し、展開したプログラムを実行することにより、所定の処理を実行する。
処理部１１は、例えば、推定プログラムを実行することにより、画像入力部１１Ａ、推定部１１Ｂ及び推定結果出力部１１Ｃとして機能する。具体的には、処理部１１は、車両の装備（例えば、ハンドル）を含む画像を入力として、推定モデルＭを用いて装備に対する乗員の状態（ハンドルを把持状態）を推定し、推定結果を出力する。画像入力部１１Ａ、推定部１１及び推定結果出力部１１Ｃの機能については、図６のフローチャートに従って詳述する。
記憶部１２は、例えばＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等の補助記憶装置である。記憶部１２は、ＣＤ（Compact Disc）、ＤＶＤ（Digital versatile Disc）等の光ディスク、ＭＯ（（Magneto-Optical disk）等の光磁気ディスクを駆動して情報を読み書きするディスクドライブであってもよい。また例えば、記憶部１２は、ＵＳＢメモリ、ＳＤカード等のメモリカードであってもよい。
記憶部１２は、例えば、オペーレーティングシステム（ＯＳ）、推定プログラム及び推定モデルＭを記憶する。推定プログラムは、ＲＯＭ１１２に記憶されてもよい。推定プログラムは、例えば、当該プログラムが格納されたコンピューター読取可能な可搬型記憶媒体（光ディスク、光磁気ディスク、及びメモリカードを含む）を介して提供される。また例えば、推定プログラムは、当該推定プログラムを保有するサーバ装置から、ネットワークを介してダウンロードにより提供されてもよい。推定モデルＭも同様に、ＲＯＭ１１２に記憶されてもよいし、可搬型記憶媒体又はネットワークを介して提供されてもよい。
推定モデルＭは、機械学習により構築されたアルゴリズムであり、装備を含む画像の入力に対して、乗員の特定部位の骨格位置を示す骨格位置情報と、装備と特定部位との位置関係を示す位置関係情報と、を出力する。推定モデルＭは、ニューラルネットワークを利用したディープラーニングにより構築されることが好ましい。ディープラーニングにより構築された推定モデルＭは、画像認識性能が高く、装備と特定部位との位置関係を高精度で推定することができる。推定モデルＭは、例えば、図３に示す学習装置２によって構築される。
図３は、推定モデルＭを構築するための学習装置２の一例を示す図である。
図３に示すように、学習装置２は、処理部２１及び記憶部２２を備える。これらの具体的な構成のうち、推定装置１の処理部１１及び記憶部１２と共通する部分については、ここでの説明を省略する。
処理部２１は、例えば、学習プログラムを実行することにより、訓練データ入力部２１Ａ及び学習部２１Ｂとして機能する。具体的には、処理部２１は、訓練データＴによる教師あり学習を行い、推定モデルＭの構築を行う。
訓練データＴは、車両の装備（例えば、ハンドル）と乗員の特定部位（例えば、手）とを含む画像Ｔ１、画像Ｔ１における乗員の特定部位（例えば、手）の骨格位置情報Ｔ２、及び、装備と特定部位の位置関係を示す位置関係情報Ｔ３を有する。画像Ｔ１に、骨格位置情報Ｔ２及び位置関係情報Ｔ３が関連付けられており、これらが１セットで訓練データＴを構成する。画像Ｔ１が推定モデルＭの入力であり、骨格位置情報Ｔ２及び位置関係情報Ｔ３が推定モデルＭの出力である。なお、画像Ｔ１は、装備だけの画像（乗員の特定部位を含まない画像）を含んでもよい。また、画像Ｔ１は、乗員の特定部位だけの画像（車両の特定の装備を含まない画像）を含んでもよい。
骨格位置情報Ｔ２は、画像Ｔ１における特定部位の骨格位置を示す座標（ｘ，ｙ）で与えられる。位置関係情報Ｔ３は、ＯＮ／ＯＦＦで与えられる。具体的には、位置関係情報Ｔ３が「ＯＮ」である場合、装備と手が重なっている（触れている）ことを示し、位置関係情報Ｔ３が「ＯＦＦ」である場合、装備と手が離れていることを示す。
なお、訓練データＴの画像Ｔ１は、車載カメラ２０による撮像画像の全体に対応する全体画像であってもよいし、全体画像から切り出した一部に対応する部分画像であってもよい。
推定装置１において、車載カメラ２０の撮像画像をそのまま推定モデルＭの入力として用いる場合、訓練データＴの画像Ｔ１として全体画像が準備され、骨格位置情報Ｔ２は全体画像上の座標で与えられる。また、推定装置１において、車載カメラ２０の撮像画像を切り出して推定モデルＭの入力として用いる場合、訓練データＴの画像Ｔ１として部分画像が準備され、骨格位置情報Ｔ２は部分画像上の座標で与えられる。つまり、学習時の訓練データＴの画像Ｔ１と推定時の推定モデルＭの入力としての画像とは、処理対象範囲（画像サイズと位置）が同じであることが望ましい。
図４Ａ〜図４Ｉは、運転者によるハンドルの把持状態を推定する推定モデルＭを構築する場合の訓練データＴの一例を示す図である。図４Ａ〜図４Ｉは、ハンドルの大きさの違いにより、手の骨格位置が同じであっても、手とハンドルの位置関係が異なることを示している。なお、図４Ａ〜図４Ｉは、ハンドル近傍の領域を示す部分画像を訓練データＴの画像Ｔ１とした場合を示している。
図４Ｃ、図４Ｅ及び図４Ｇに示す画像Ｔ１では、手がハンドルと重なっている（触れている）。したがって、図４Ｃ、図４Ｅ及び図４Ｇに示す画像Ｔ１には、位置関係情報Ｔ３として「ＯＮ」が関連付けられる。また、骨格位置情報Ｔ２としては、それぞれの手の骨格位置を示す座標（ｘ３，ｙ３）、（ｘ２，ｙ２）、（ｘ１，ｙ１）が関連付けられる。一方、図４Ｃ、図４Ｅ及び図４Ｇ以外の画像Ｔ１では、手がハンドルと離れている。したがって、これらの画像Ｔ１には、位置関係情報Ｔ３として「ＯＦＦ」が関連付けられる。また、骨格位置情報Ｔ２としては、それぞれの手の骨格位置を示す座標が関連付けられる。
訓練データＴの画像Ｔ１は、装備のサイズや位置が違う最低２車種の車両に設置された車載カメラ２０によって撮像されると想定される様々なパターンの画像を含む。すなわち、訓練データＴの画像Ｔ１として、ハンドルの形態（位置、サイズ、模様等を含む）及び／又は手の位置が異なる膨大な画像が用意され、それぞれに対して、骨格位置情報Ｔ２と位置関係情報Ｔ３が関連付けられる。画像Ｔ１として、できるだけ多くのパターンを用意することで、推定モデルＭによる推定精度を高めることができる。
図５は、学習装置２の処理部２１が実行する学習処理の一例を示すフローチャートである。この処理は、ＣＰＵ２１１が学習プログラムを実行することにより実現される。
ステップＳ１０１において、処理部２１は、１セットの訓練データＴを取得する（訓練データ入力部２１Ａとしての処理）。訓練データＴは、画像Ｔ１、骨格位置情報Ｔ２及び位置関係情報Ｔ３を含む。
ステップＳ１０２において、処理部２１は、取得した訓練データＴに基づいて、推定モデルＭを最適化する（学習部２１Ｂとしての処理）。具体的には、処理部２１は、記憶部２２から現在の推定モデルＭを読み出して、画像Ｔ１を推定モデルＭに入力したときの出力と、当該画像Ｔ１に関連付けられた骨格位置情報Ｔ２及び位置関係情報Ｔ３の値が等しくなるように、推定モデルＭを修正（再構築）する。例えば、ニューラルネットワークを利用したディープラーニングにおいては、ニューラルネットワークを構成するノード間の結合強度（パラメーター）が修正される。
ステップＳ１０３において、処理部２１は、未学習の訓練データＴがあるか否かを判定する。未学習の訓練データＴがある場合（ステップＳ１０３で“ＹＥＳ”）、ステップＳ１０１の処理に移行する。これにより、推定モデルＭの学習が繰り返し行われることになり、乗員の状態を推定するための推定モデルＭとしての確度が向上する。一方、未学習の訓練データＴがない場合（ステップＳ１０３で“ＮＯ”）、ステップＳ１０４の処理に移行する。
ステップＳ１０４において、処理部２１は、学習が十分に行われたか否かを判定する。例えば、処理部２１は、損失関数として、二乗誤差の平均値を用い、この値があらかじめ設定した閾値以下である場合に十分に学習が行われたと判断する。具体的には、処理部２１は、ステップＳ１０２で用いた、画像Ｔ１を推定モデルＭに入力したときの出力と、当該画像Ｔ１に関連付けられた骨格位置情報Ｔ２及び位置関係情報Ｔ３の二乗誤差の平均値を算出し、これが、あらかじめ設定した閾値以下かを判断する。
学習が十分であると判断された場合（ステップＳ１０４で“ＹＥＳ”）、ステップＳ１０５の処理に移行する。一方、学習が十分でないと判断された場合（ステップＳ１０４で“ＮＯ”）には、ステップＳＳ１０１以降の処理を繰り返す。
ステップＳ１０５において、処理部２１は、学習結果に基づいて、記憶部２２に記憶されている推定モデルＭを更新する。
このように、学習装置２は、車両の装備（例えば、ハンドル）に対する乗員の状態（例えば、ハンドルの把持状態）を推定するために用いられる推定モデルＭ（モデル）を構築する学習装置であって、装備を含む画像Ｔ１に、乗員の特定部位の骨格位置を示す骨格位置情報Ｔ２（第１の情報）と、装備に対する乗員の状態を示す位置関係情報Ｔ３（第２の情報）と、が関連付けられた訓練データＴを取得する訓練データ入力部２１Ａ（入力部）と、画像Ｔ１を推定装置１に入力したときに、当該画像Ｔ１に関連付けられた骨格位置情報Ｔ２及び位置関係情報Ｔ３が出力されるように、推定モデルＭを構築する学習部２１Ｂと、を備える。
学習装置２によって構築された推定モデルＭを用いることで、推定装置１は、車載カメラ２０からの画像に基づいて、装備（例えば、ハンドル）と特定部位（例えば、手）の位置関係、すなわち装備に対する乗員の状態を精度よく推定することができる。ハンドルなどの車の装備は、車種によって軽微な違いはあるものの、設置位置を含めて類似性は高い。したがって、学習装置２は、車の装備と乗員の特定部位との位置関係を一般化して学習することができる。
例えば、車載カメラ２０からの画像において、手からハンドルのような円弧状の物体が延びており、かつ、ハンドルの設置位置として想定しうる領域に手の骨格位置がある場合に、「ＯＮ」という位置関係情報が出力される。一方、車載カメラ２０からの画像において、手からハンドルのような円弧状の物体が延びているが、ハンドルの設置位置として想定しうる領域に手の骨格位置がない場合は、「ＯＦＦ」という位置関係情報が出力される。
ここで、推定装置１からの出力として要求されるのは、装備に対する乗員の状態を示す情報、すなわち装備と特定部位との位置関係を示す位置関係情報である。そのため、画像に位置関係情報だけを関連付けた訓練データを用いた機械学習により構築される推定モデルを用いて、装備に対する乗員の状態を推定することも考えられる。しかし、この場合、車載カメラ２０からの画像において、実際にはハンドルを把持していないにもかかわらず、手からハンドルのような円弧状の物体が延びていれば、「ＯＮ」という位置関係情報が出力され、誤推定となる虞がある。これに対して、本実施の形態の推定モデルＭは、ハンドルと手の位置関係だけでなく、手の骨格位置も合わせて学習しているので、運転者によるハンドルの把持状態を正確に推定することができる。
図６は、推定装置１の処理部１１が実行する推定処理の一例を示すフローチャートである。この処理は、ＣＰＵ１１１が推定プログラムを実行することにより実現される。なお、車載カメラ２０は、処理部１１に対して、１フレーム単位で画像ＤＩを連続的に送出している。
ステップＳ２０１において、処理部１１は、車載カメラ２０から画像ＤＩを取得する（画像入力部１１Ａとしての処理）。
ステップＳ２０２において、処理部１２は、画像ＤＩを入力として、推定モデルＭを用いて乗員の状態の推定を実行する（推定部１１Ｂとしての処理）。処理部１２は、推定結果として、骨格位置情報ＤＯ１及び／または位置関係情報ＤＯ２を出力する。
ステップＳ２０３において、処理部１１は、装備に対する乗員の状態を示す推定結果として、位置関係情報ＤＯ２を出力する（推定結果出力部１１Ｃとしての処理）。以上の処理が、１フレームの画像ＤＩごとに行われる。推定装置１から推定結果として出力される位置関係情報ＤＯ２は、例えば、推定装置１の後段に設けられる状態検知装置（アプリケーションプログラムを含む）で用いられる。状態検知装置は、装備に対する乗員の状態に応じて適当な処理を行う。例えば、ハンドルを把持していないという推定結果が得られた場合に、ハンドルを把持するように警告を行うことが考えられる。
このように、推定装置１は、車両の装備に対する乗員の状態を推定する推定装置であって、機械学習により構築された推定モデルＭ（モデル）を記憶する記憶部１２と、装備を含む画像ＤＩを入力し、推定モデルＭを用いて乗員の状態を推定し、乗員の特定部位の骨格位置を示す骨格位置情報ＤＯ１（第１の情報）と、装備に対する乗員の状態を示す位置関係情報ＤＯ２（第２の情報）と、を出力する処理部１１と、を備える。
また、推定装置１において行われる推定方法は、車両の装備に対する乗員の状態を推定する推定方法であって、装備を含む画像ＤＩを取得する第１工程（図６のステップＳ２０１）と、第１工程で取得した画像ＤＩを入力し、機械学習により構築された推定モデルＭ（モデル）を用いて装備に対する乗員の状態を推定する第２工程（図６のステップＳ２０２）と、第２工程による推定結果として、乗員の特定部位の骨格位置を示す骨格位置情報ＤＯ１（第１の情報）と、装備に対する乗員の状態を示す位置関係情報ＤＯ２（第２の情報）と、を出力する第３工程（図６のステップＳ２０３）と、を備える。
また、推定装置１において実行されるプログラムは、車両の装備に対する乗員の状態を推定する推定装置１の処理部１１（コンピューター）に、装備を含む画像ＤＩを取得する第１処理（図６のステップＳ２０１）と、第１処理で取得した画像ＤＩを入力し、機械学習により構築された推定モデルＭ（モデル）を用いて装備に対する乗員の状態を推定する第２処理（図６のステップＳ２０２）と、第２処理による推定結果として、乗員の特定部位の骨格位置を示す骨格位置情報ＤＯ１（第１の情報）と、装備に対する乗員の状態を示す位置関係情報ＤＯ２（第２の情報）と、を出力する第３処理（図６のステップＳ２０３）と、を実行させる。
推定装置１によれば、車両の仕様にかかわらず適用できるとともに、装備に対する乗員の状態を精度よく推定することができる。具体的には、推定装置１によれば、従来の装備情報のように、車種ごとに専用のデータを準備しなくてもよい。つまり、推定モデルＭは、特定部位の骨格位置と、特定部位と装備との位置関係を独立して学習しているので、車の装備のサイズや位置が異なる車種にも容易に対応することができる。また、従来の装備情報に比較して、推定モデルＭのデータ量は小さいので、推定処理を高速で行うことができる。
以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、本発明の推定装置は、運転者によるハンドルの把持状態だけでなく、その他の装備に対する乗員の状態を推定することもできる。例えば、推定装置は、乗員によるナビゲーションシステムの操作、窓の開閉動作、ドアの開閉動作などを推定することができる。この場合、画像の入力に対して、各装備に対する乗員の状態が出力として得られる推定モデルが必要となる。
また例えば、推定装置は、装備と特定部位との位置関係を示す位置関係情報に、方向を含めるようにし、装備に対して特定部位がどの方向に離れているかを推定できるようにしてもよい。
また、推定モデルＭは、ディープラーニング以外の機械学習（例えば、ランダムフォレスト）によって構築されてもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明は、車両等の車室内における装備のみならず、特定の箇所に対する人員の状態（姿勢及び行動）を推定する推定装置、学習装置、推定方法、及び推定プログラムに好適である。
１ 推定装置
１１ 処理部
１１Ａ 画像入力部
１１Ｂ 推定部
１１Ｃ 推定結果出力部
１２ 記憶部
２ 学習装置
２１ 処理部
２１Ａ 訓練データ入力部
２１Ｂ 学習部
２２ 記憶部
Ｍ 推定モデル
Ｔ 訓練データ

Claims (7)

  1. 車両の装備に対する乗員の状態を推定する推定装置であって、
    機械学習により構築されたモデルを記憶する記憶部と、
    前記装備を含む画像を入力し、前記モデルを用いて前記乗員の状態を推定し、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、を出力する処理部と、
    を備え、
    前記モデルは、前記装備を含む画像に、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、が関連付けられた訓練データを用いて、前記画像を入力したときに、当該画像に関連付けられた前記第１の情報及び前記第２の情報が出力されるように学習されている、
    推定装置。
  2. 前記モデルは、ニューラルネットワークを利用したディープラーニングにより構築される、請求項１に記載の推定装置。
  3. 前記装備は、車種にかかわらず、車室内における所定領域内に設置される、請求項１又は２に記載の推定装置。
  4. 前記装備は、少なくともハンドル、カーナビゲーションシステムのタッチパネル、窓、ドアノブ、エアコンのコントロールパネル、バックミラー、ダッシュボード、シート、アームレスト、センターボックス、グローブボックスのいずれかを含む、請求項１乃至３のいずれか一項に記載の推定装置。
  5. 車両の装備に対する乗員の状態を推定するために用いられるモデルを構築する学習装置であって、
    前記装備を含む画像に、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、が関連付けられた訓練データを取得する入力部と、
    前記画像を推定装置に入力したときに、当該画像に関連付けられた前記第１の情報及び前記第２の情報が出力されるように、前記モデルを構築する学習部と、
    を含む学習装置。
  6. 車両の装備に対する乗員の状態を推定する推定方法であって、
    前記装備を含む画像を取得する第１工程と、
    前記第１工程で取得した画像を入力し、機械学習により構築されたモデルを用いて前記装備に対する乗員の状態を推定する第２工程と、
    前記第２工程による推定結果として、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、を出力する第３工程と、
    を備え、
    前記モデルは、前記装備を含む画像に、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、が関連付けられた訓練データを用いて、前記画像を入力したときに、当該画像に関連付けられた前記第１の情報及び前記第２の情報が出力されるように学習されている、
    推定方法。
  7. 車両の装備に対する乗員の状態を推定する推定装置のコンピューターに、
    前記装備を含む画像を取得する第１処理と、
    前記第１処理で取得した画像を入力し、機械学習により構築されたモデルを用いて前記装備に対する乗員の状態を推定する第２処理と、
    前記第２処理による推定結果として、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、を出力する第３処理と、
    を実行させ、
    前記モデルは、前記装備を含む画像に、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、が関連付けられた訓練データを用いて、前記画像を入力したときに、当該画像に関連付けられた前記第１の情報及び前記第２の情報が出力されるように学習されている、
    推定プログラム。
JP2017027224A 2017-02-16 2017-02-16 推定装置、学習装置、推定方法、及び推定プログラム Active JP6820533B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017027224A JP6820533B2 (ja) 2017-02-16 2017-02-16 推定装置、学習装置、推定方法、及び推定プログラム
US15/830,239 US11995536B2 (en) 2017-02-16 2017-12-04 Learning device, estimating device, estimating system, learning method, estimating method, and storage medium to estimate a state of vehicle-occupant with respect to vehicle equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017027224A JP6820533B2 (ja) 2017-02-16 2017-02-16 推定装置、学習装置、推定方法、及び推定プログラム

Publications (2)

Publication Number Publication Date
JP2018132996A JP2018132996A (ja) 2018-08-23
JP6820533B2 true JP6820533B2 (ja) 2021-01-27

Family

ID=63105861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017027224A Active JP6820533B2 (ja) 2017-02-16 2017-02-16 推定装置、学習装置、推定方法、及び推定プログラム

Country Status (2)

Country Link
US (1) US11995536B2 (ja)
JP (1) JP6820533B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034111A (zh) * 2018-08-17 2018-12-18 北京航空航天大学 一种基于深度学习的驾驶员手离方向盘检测方法及系统
JP7091983B2 (ja) * 2018-10-01 2022-06-28 トヨタ自動車株式会社 機器制御装置
WO2020105751A1 (ko) * 2018-11-21 2020-05-28 엘지전자 주식회사 탑승자 모니터링 방법 및 이를 위한 장치
JP7230596B2 (ja) 2019-03-08 2023-03-01 マツダ株式会社 自動車用演算システム
CN113498391B (zh) 2019-03-08 2023-05-16 马自达汽车株式会社 汽车用运算装置
JP7131441B2 (ja) 2019-03-08 2022-09-06 マツダ株式会社 自動車用演算システム
CN111753589B (zh) * 2019-03-28 2022-05-03 虹软科技股份有限公司 手握方向盘状态的检测方法及装置
KR20210070117A (ko) * 2019-12-04 2021-06-14 현대자동차주식회사 모션 인식 기반 핸즈 온 판단 장치, 그를 포함한 시스템 및 그 차량 제어 방법
WO2021149593A1 (ja) * 2020-01-21 2021-07-29 パイオニア株式会社 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090278915A1 (en) 2006-02-08 2009-11-12 Oblong Industries, Inc. Gesture-Based Control System For Vehicle Interfaces
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9477315B2 (en) 2013-03-13 2016-10-25 Honda Motor Co., Ltd. Information query by pointing
MX2018003613A (es) * 2015-09-30 2018-04-30 Sony Corp Dispositivo de control, metodo de control y programa.
JP6575818B2 (ja) * 2016-03-25 2019-09-18 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム
US11423671B1 (en) * 2016-06-14 2022-08-23 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for detecting vehicle occupant actions

Also Published As

Publication number Publication date
JP2018132996A (ja) 2018-08-23
US20180232636A1 (en) 2018-08-16
US11995536B2 (en) 2024-05-28

Similar Documents

Publication Publication Date Title
JP6820533B2 (ja) 推定装置、学習装置、推定方法、及び推定プログラム
US10528804B2 (en) Detection device, detection method, and storage medium
CN112590794B (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
JP6576578B2 (ja) 車両を制御する方法、システム、及び非一時的コンピューター可読メモリ
CN105365707B (zh) 车辆驾驶员识别
CN112241204B (zh) 一种车载ar-hud的手势交互方法和系统
US8055020B2 (en) Method for object tracking
US20150116200A1 (en) System and method for gestural control of vehicle systems
CN108327724B (zh) 通过无监督学习的对象跟踪
CN108327723B (zh) 通过无监督学习的对象跟踪
JP6507015B2 (ja) 運転者状態判定装置
CN110765807A (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
JP7301245B2 (ja) モデル幾何学学習を用いて移動物体の拡大状態を追跡するためのシステムおよび方法
WO2013128291A2 (en) Method of fusing multiple information sources in image-based gesture recognition system
US20180095462A1 (en) Method for Determining Road Surface Based on Vehicle Data
JP2018131110A (ja) 推定装置、推定方法、及び推定プログラム
US20150003669A1 (en) 3d object shape and pose estimation and tracking method and apparatus
US9349044B2 (en) Gesture recognition apparatus and method
EP3623950B1 (en) System and method for verifying vehicle controller based on virtual machine
US20140294241A1 (en) Vehicle having gesture detection system and method
CN109895711A (zh) 车辆维护操作
US10884614B1 (en) Actuation interface
US10890981B2 (en) Gesture-based vehicle control
US20230038337A1 (en) Method and device for evaluating an image classifier
CN107134191A (zh) 交通工具操作者培训系统

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190829

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R151 Written notification of patent or utility model registration

Ref document number: 6820533

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151