JP6982767B2 - 検知装置、学習装置、検知方法、学習方法、およびプログラム - Google Patents
検知装置、学習装置、検知方法、学習方法、およびプログラム Download PDFInfo
- Publication number
- JP6982767B2 JP6982767B2 JP2017070739A JP2017070739A JP6982767B2 JP 6982767 B2 JP6982767 B2 JP 6982767B2 JP 2017070739 A JP2017070739 A JP 2017070739A JP 2017070739 A JP2017070739 A JP 2017070739A JP 6982767 B2 JP6982767 B2 JP 6982767B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- orientation
- feature amount
- region image
- occupant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Description
また、本開示の一態様に係る検知方法は、検知装置に実行させる検知方法であって、撮像装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記第1の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第2の領域画像とを切り出すステップと、前記第1の領域画像の特徴量と前記第2の領域画像の特徴量とに基づき、前記乗員の身体の第1の部位の向きを検知するステップと、を備え、前記第1の部位は、顔または頭部であり、前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも1つであり、前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である構成を採る。
また、本開示の一態様に係る学習方法は、学習装置に実行させる学習方法であって、第1のデータ提供装置から取得した車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記第1の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第2の領域画像とを切り出すステップと、第2のデータ提供装置から取得した前記乗員の前記身体の、前記第1の部位を含まない第2の部位の向きと、前記第1の領域画像の特徴量との相関関係、および、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第2の領域画像の特徴量との相関関係を学習させた学習モデルを生成するステップと、を備え、前記第1の部位は、顔または頭部であり、前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも1つであり、前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である構成を採る。
また、本開示の一態様に係るプログラムは、検知装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、撮像装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記第1の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第2の領域画像とを切り出す処理と、前記第1の領域画像の特徴量と前記第2の領域画像の特徴量とに基づき、前記乗員の身体の第1の部位の向きを検知する処理と、を実行させ、前記第1の部位は、顔または頭部であり、前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも1つであり、前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である構成を採る。
また、本開示の一態様に係るプログラムは、学習装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、第1のデータ提供装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記第1の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第2の領域画像とを切り出す処理と、第2のデータ提供装置から取得した前記乗員の前記身体の、前記第1の部位を含まない第2の部位の向きと、前記第1の領域画像の特徴量との相関関係、および、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第2の領域画像の特徴量との相関関係を学習させた学習モデルを生成する処理と、を実行させ、前記第1の部位は、顔または頭部であり、前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも1つであり、前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である構成を採る。
また、本開示の一態様に係る検知装置は、撮像装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記乗員の前記身体の、前記第1の部位を含まない第2の部位の少なくとも一部が映りこんだ第2の領域画像とを切り出す画像切り出し部と、前記第1の領域画像の特徴量と前記第2の領域画像の特徴量とに基づき、前記乗員の前記身体の前記第1の部位の向きを検知する検知部と、を備え、前記第1の部位は、顔または頭部であり、前記第2の部位は、肩、胸、または上半身であり、前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記第2の領域画像における前記第2の部位の面積である構成を採る。
また、本開示の一態様に係る学習装置は、第1のデータ提供装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記乗員の前記身体の、前記第1の部位を含まない第2の部位の少なくとも一部が映りこんだ第2の領域画像とを切り出す画像切り出し部と、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第1の領域画像の特徴量との相関関係、および、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第2の領域画像の特徴量との相関関係を学習させた学習モデルを生成する学習モデル生成部と、を備え、前記第1の部位は、顔または頭部であり、前記第2の部位は、肩、胸、または上半身であり、前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記第2の領域画像における前記第2の部位の面積である構成を採る。
また、本開示の一態様に係る検知方法は、検知装置に実行させる検知方法であって、撮像装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記乗員の前記身体の、前記第1の部位を含まない第2の部位の少なくとも一部が映りこんだ第2の領域画像とを切り出すステップと、前記第1の領域画像の特徴量と前記第2の領域画像の特徴量とに基づき、前記乗員の身体の第1の部位の向きを検知するステップと、を備え、前記第1の部位は、顔または頭部であり、前記第2の部位は、肩、胸、または上半身であり、前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記第2の領域画像における前記第2の部位の面積である構成を採る。
また、本開示の一態様に係る学習方法は、学習装置に実行させる学習方法であって、第1のデータ提供装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記乗員の前記身体の、前記第1の部位を含まない第2の部位の少なくとも一部が映りこんだ第2の領域画像とを切り出すステップと、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第1の領域画像の特徴量との相関関係、および、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第2の領域画像の特徴量との相関関係を学習させた学習モデルを生成するステップと、を備え、前記第1の部位は、顔または頭部であり、前記第2の部位は、肩、胸、または上半身であり、前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記第2の領域画像における前記第2の部位の面積である構成を採る。
また、本開示の一態様に係るプログラムは、検知装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、撮像装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記乗員の前記身体の、前記第1の部位を含まない第2の部位の少なくとも一部が映りこんだ第2の領域画像とを切り出す処理と、前記第1の領域画像の特徴量と前記第2の領域画像の特徴量とに基づき、前記乗員の身体の第1の部位の向きを検知する処理と、を実行させ、前記第1の部位は、顔または頭部であり、前記第2の部位は、肩、胸、または上半身であり、前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記第2の領域画像における前記第2の部位の面積である構成を採る。
また、本開示の一態様に係るプログラムは、学習装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、第1のデータ提供装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記乗員の前記身体の、前記第1の部位を含まない第2の部位の少なくとも一部が映りこんだ第2の領域画像とを切り出す処理と、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第1の領域画像の特徴量との相関関係、および、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第2の領域画像の特徴量との相関関係を学習させた学習モデルを生成する処理と、を実行させ、前記第1の部位は、顔または頭部であり、前記第2の部位は、肩、胸、または上半身であり、前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記第2の領域画像における前記第2の部位の面積である構成を採る。
図1は、本開示に係る向き検知システム100の構成図である。向き検知システム100は、撮像装置110、向き検知装置(検知装置)120、および向き出力装置130を備える。
図7は、本開示に係る向き学習システム200の構成図である。向き学習システム200は、車室内画像データ提供装置(第1のデータ提供装置)210、向きデータ提供装置(第2のデータ提供装置)220、向き学習装置(学習装置)230、および学習モデル記憶装置240を備える。
上述された向き学習システム200においては、車室内画像データ提供装置210および向きデータ提供装置220が別体の構成要素である。これに代えて、車室内画像データ提供装置210および向きデータ提供装置220を一体の構成要素とする実施の形態も考えられる。この場合、第1のデータ提供装置および第2のデータ提供装置は、同一のデータ提供装置である。
110 撮像装置
120 向き検知装置
121 画像取得部
122 切り出し位置決定部
123 画像切り出し部
124 学習モデル記憶部
125 向き検知部
130 向き出力装置
200 向き学習システム
210 車室内画像データ提供装置
220 向きデータ提供装置
230 向き学習装置
231 向き取得部
232 学習モデル生成部
240 学習モデル記憶装置
Claims (12)
- 撮像装置から取得した車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記第1の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第2の領域画像とを切り出す画像切り出し部と、
前記第1の領域画像の特徴量と前記第2の領域画像の特徴量とに基づき、前記乗員の身体の第1の部位の向きを検知する検知部と、
を備え、
前記第1の部位は、顔または頭部であり、
前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも1つであり、
前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である検知装置。 - 第1のデータ提供装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記第1の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第2の領域画像とを切り出す画像切り出し部と、
第2のデータ提供装置から取得した前記乗員の前記身体の、前記第1の部位を含まない第2の部位の向きと、前記第1の領域画像の特徴量との相関関係、および、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第2の領域画像の特徴量との相関関係を学習させた学習モデルを生成する学習モデル生成部と、
を備え、
前記第1の部位は、顔または頭部であり、
前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも1つであり、
前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である学習装置。 - 検知装置に実行させる検知方法であって、
撮像装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記第1の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第2の領域画像とを切り出すステップと、
前記第1の領域画像の特徴量と前記第2の領域画像の特徴量とに基づき、前記乗員の身体の第1の部位の向きを検知するステップと、
を備え、
前記第1の部位は、顔または頭部であり、
前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも1つであり、
前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である検知方法。 - 学習装置に実行させる学習方法であって、
第1のデータ提供装置から取得した車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記第1の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第2の領域画像とを切り出すステップと、
第2のデータ提供装置から取得した前記乗員の前記身体の、前記第1の部位を含まない第2の部位の向きと、前記第1の領域画像の特徴量との相関関係、および、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第2の領域画像の特徴量との相関関係を学習させた学習モデルを生成するステップと、
を備え、
前記第1の部位は、顔または頭部であり、
前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも1つであり、
前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である、学習方法。 - 検知装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、
撮像装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記第1の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第2の領域画像とを切り出す処理と、
前記第1の領域画像の特徴量と前記第2の領域画像の特徴量とに基づき、前記乗員の身体の第1の部位の向きを検知する処理と、
を実行させ、
前記第1の部位は、顔または頭部であり、
前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも1つであり、
前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である、プログラム。 - 学習装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、
第1のデータ提供装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記第1の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第2の領域画像とを切り出す処理と、
第2のデータ提供装置から取得した前記乗員の前記身体の、前記第1の部位を含まない第2の部位の向きと、前記第1の領域画像の特徴量との相関関係、および、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第2の領域画像の特徴量との相関関係を学習させた学習モデルを生成する処理と、
を実行させ、
前記第1の部位は、顔または頭部であり、
前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも1つであり、
前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である、プログラム。 - 撮像装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記乗員の前記身体の、前記第1の部位を含まない第2の部位の少なくとも一部が映りこんだ第2の領域画像とを切り出す画像切り出し部と、
前記第1の領域画像の特徴量と前記第2の領域画像の特徴量とに基づき、前記乗員の前記身体の前記第1の部位の向きを検知する検知部と、
を備え、
前記第1の部位は、顔または頭部であり、
前記第2の部位は、肩、胸、または上半身であり、
前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記第2の領域画像における前記第2の部位の面積である、検知装置。 - 第1のデータ提供装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記乗員の前記身体の、前記第1の部位を含まない第2の部位の少なくとも一部が映りこんだ第2の領域画像とを切り出す画像切り出し部と、
第2のデータ提供装置から取得した前記第2の部位の向きと、前記第1の領域画像の特徴量との相関関係、および、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第2の領域画像の特徴量との相関関係を学習させた学習モデルを生成する学習モデル生成部と、
を備え、
前記第1の部位は、顔または頭部であり、
前記第2の部位は、肩、胸、または上半身であり、
前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記第2の領域画像における前記第2の部位の面積である、学習装置。 - 検知装置に実行させる検知方法であって、
撮像装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記乗員の前記身体の、前記第1の部位を含まない第2の部位の少なくとも一部が映りこんだ第2の領域画像とを切り出すステップと、
前記第1の領域画像の特徴量と前記第2の領域画像の特徴量とに基づき、前記乗員の身体の第1の部位の向きを検知するステップと、
を備え、
前記第1の部位は、顔または頭部であり、
前記第2の部位は、肩、胸、または上半身であり、
前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記第2の領域画像における前記第2の部位の面積である、検知方法。 - 学習装置に実行させる学習方法であって、
第1のデータ提供装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記乗員の前記身体の、前記第1の部位を含まない第2の部位の少なくとも一部が映りこんだ第2の領域画像とを切り出すステップと、
第2のデータ提供装置から取得した前記第2の部位の向きと、前記第1の領域画像の特徴量との相関関係、および、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第2の領域画像の特徴量との相関関係を学習させた学習モデルを生成するステップと、
を備え、
前記第1の部位は、顔または頭部であり、
前記第2の部位は、肩、胸、または上半身であり、
前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記第2の領域画像における前記第2の部位の面積である、学習方法。 - 検知装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、
撮像装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記乗員の前記身体の、前記第1の部位を含まない第2の部位の少なくとも一部が映りこんだ第2の領域画像とを切り出す処理と、
前記第1の領域画像の特徴量と前記第2の領域画像の特徴量とに基づき、前記乗員の身体の第1の部位の向きを検知する処理と、
を実行させ、
前記第1の部位は、顔または頭部であり、
前記第2の部位は、肩、胸、または上半身であり、
前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記第2の領域画像における前記第2の部位の面積である、プログラム。 - 学習装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、
第1のデータ提供装置から取得した1つの車室内画像から、乗員の身体の第1の部位の少なくとも一部が映りこんだ第1の領域画像と、前記乗員の前記身体の、前記第1の部位を含まない第2の部位の少なくとも一部が映りこんだ第2の領域画像とを切り出す処理と、
第2のデータ提供装置から取得した前記第2の部位の向きと、前記第1の領域画像の特徴量との相関関係、および、第2のデータ提供装置から取得した前記第2の部位の向きと、前記第2の領域画像の特徴量との相関関係を学習させた学習モデルを生成する処理と、
を実行させ、
前記第1の部位は、顔または頭部であり、
前記第2の部位は、肩、胸、または上半身であり、
前記第1の領域画像の前記特徴量は、前記第1の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記第1の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さと、前記第2の領域画像の前記特徴量と前記第1の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第2の領域画像の前記特徴量は、前記第2の領域画像における前記第2の部位の面積である、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017070739A JP6982767B2 (ja) | 2017-03-31 | 2017-03-31 | 検知装置、学習装置、検知方法、学習方法、およびプログラム |
US15/911,241 US10706301B2 (en) | 2017-03-31 | 2018-03-05 | Detection device, learning device, detection method, learning method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017070739A JP6982767B2 (ja) | 2017-03-31 | 2017-03-31 | 検知装置、学習装置、検知方法、学習方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018173757A JP2018173757A (ja) | 2018-11-08 |
JP6982767B2 true JP6982767B2 (ja) | 2021-12-17 |
Family
ID=63670710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017070739A Active JP6982767B2 (ja) | 2017-03-31 | 2017-03-31 | 検知装置、学習装置、検知方法、学習方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10706301B2 (ja) |
JP (1) | JP6982767B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7297633B2 (ja) * | 2019-10-07 | 2023-06-26 | 株式会社東海理化電機製作所 | 画像処理装置、およびコンピュータプログラム |
CN112115790A (zh) * | 2020-08-18 | 2020-12-22 | 北京嘀嘀无限科技发展有限公司 | 人脸识别方法、装置、可读存储介质和电子设备 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3943367B2 (ja) * | 2001-10-31 | 2007-07-11 | 株式会社デンソー | 車両用乗員頭部検出装置 |
WO2004004320A1 (en) * | 2002-07-01 | 2004-01-08 | The Regents Of The University Of California | Digital processing of video images |
JP4858516B2 (ja) * | 2008-09-11 | 2012-01-18 | トヨタ自動車株式会社 | 顔向き検出装置 |
JP2013149205A (ja) * | 2012-01-23 | 2013-08-01 | Nikon Corp | 電子機器 |
JP6350145B2 (ja) | 2014-09-09 | 2018-07-04 | 株式会社デンソーアイティーラボラトリ | 顔向き検出装置及び車両用警告システム |
CN107428302B (zh) * | 2015-04-10 | 2022-05-03 | 罗伯特·博世有限公司 | 利用车辆内部相机的占用者尺寸和姿势的检测 |
DE102015214116A1 (de) * | 2015-07-27 | 2017-02-02 | Robert Bosch Gmbh | Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen |
EP3481661A4 (en) * | 2016-07-05 | 2020-03-11 | Nauto, Inc. | AUTOMATIC DRIVER IDENTIFICATION SYSTEM AND METHOD |
US10318831B2 (en) * | 2016-07-21 | 2019-06-11 | Gestigon Gmbh | Method and system for monitoring the status of the driver of a vehicle |
US10246014B2 (en) * | 2016-11-07 | 2019-04-02 | Nauto, Inc. | System and method for driver distraction determination |
US10467488B2 (en) * | 2016-11-21 | 2019-11-05 | TeleLingo | Method to analyze attention margin and to prevent inattentive and unsafe driving |
-
2017
- 2017-03-31 JP JP2017070739A patent/JP6982767B2/ja active Active
-
2018
- 2018-03-05 US US15/911,241 patent/US10706301B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180285667A1 (en) | 2018-10-04 |
US10706301B2 (en) | 2020-07-07 |
JP2018173757A (ja) | 2018-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6695503B2 (ja) | 車両の運転者の状態を監視するための方法及びシステム | |
US9822576B2 (en) | Method for operating an activatable locking device for a door and/or a window, securing device for a vehicle, vehicle | |
JP6573193B2 (ja) | 判定装置、判定方法、および判定プログラム | |
JP7118136B2 (ja) | 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 | |
JP6584717B2 (ja) | 顔向き推定装置および顔向き推定方法 | |
JP6982767B2 (ja) | 検知装置、学習装置、検知方法、学習方法、およびプログラム | |
JP6814977B2 (ja) | 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム | |
EP3857442A1 (en) | Driver attention state estimation | |
JP2016115120A (ja) | 開閉眼判定装置および開閉眼判定方法 | |
JP2018151930A (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
JP7134364B2 (ja) | 体格判定装置および体格判定方法 | |
WO2018168038A1 (ja) | 運転者の着座判定装置 | |
US11161470B2 (en) | Occupant observation device | |
JP7267467B2 (ja) | 注意方向判定装置および注意方向判定方法 | |
JP2016115118A (ja) | 下方視判定装置および下方視判定方法 | |
JP6432702B1 (ja) | 算出システム、指標算出方法、およびコンピュータプログラム | |
KR101976498B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
US11915495B2 (en) | Information processing apparatus, and recording medium | |
KR102486161B1 (ko) | 차량, 차량의 제어 방법 및 영상 탐색 장치 | |
JP6770488B2 (ja) | 注視対象物推定装置、注視対象物推定方法、およびプログラム | |
JP7374373B2 (ja) | 体格判定装置および体格判定方法 | |
US11077814B2 (en) | Occupant eye(s) observation device | |
WO2023242888A1 (ja) | 車室内モニタリング装置、車室内モニタリングシステム、および、車室内モニタリング方法 | |
US11501561B2 (en) | Occupant monitoring device, occupant monitoring method, and occupant monitoring program | |
JP7348005B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190625 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191018 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210611 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210928 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210928 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211006 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211102 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6982767 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |