JP4683123B2 - 行動推定装置、プログラム - Google Patents
行動推定装置、プログラム Download PDFInfo
- Publication number
- JP4683123B2 JP4683123B2 JP2008327607A JP2008327607A JP4683123B2 JP 4683123 B2 JP4683123 B2 JP 4683123B2 JP 2008327607 A JP2008327607 A JP 2008327607A JP 2008327607 A JP2008327607 A JP 2008327607A JP 4683123 B2 JP4683123 B2 JP 4683123B2
- Authority
- JP
- Japan
- Prior art keywords
- behavior
- model
- action
- feature point
- deterministic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000009471 action Effects 0.000 title claims description 225
- 238000001514 detection method Methods 0.000 claims description 61
- 230000007704 transition Effects 0.000 claims description 20
- 230000003542 behavioural effect Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 3
- 230000002411 adverse Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 329
- 238000000034 method Methods 0.000 description 109
- 230000008569 process Effects 0.000 description 103
- 230000006870 function Effects 0.000 description 11
- 238000012790 confirmation Methods 0.000 description 8
- 238000004378 air conditioning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 241000746998 Tragus Species 0.000 description 2
- 230000004590 drinking behavior Effects 0.000 description 2
- 230000020595 eating behavior Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
なお、移動体として自動車を想定した場合、ステアリングや、シフトレバー、グローブボックス、コンソールボックス、ナビゲーション装置、空調装置などが操作機器として考えられる。
〈全体構成〉
図1に示すように、行動推定システム1は、少なくとも運転者を被写体とした画像を撮影する撮影装置15と、撮影装置15からの画像を画像処理することで、運転者が実施している行動を推定する画像処理プロセッサ10とを備えている。さらに、行動推定システム1では、画像処理プロセッサ10に、自車両に搭載された複数の装置からなる制御対象装置群20が接続されている。
次に、画像処理プロセッサについて説明する。
〈行動推定モデルについて〉
次に、行動推定モデルについて説明する。
〈検知センサ群について〉
ところで、図1に示すように、画像処理プロセッサ10には、操作機器群の中で予め規定された機器(以下、規定操作機器と称す)それぞれが操作されていることを検出するための検知センサ群30が接続されている。
〈確定行動情報生成処理について〉
次に、画像処理プロセッサ10(より正確には、演算装置10c)が実行する確定情報生成処理について説明する。
〈行動推定処理〉
次に、画像処理プロセッサ10(より正確には、演算装置10c)が実行する行動推定処理について説明する。
〈モデル生成処理〉
次に、行動推定処理のS140にて実行されるモデル生成処理について説明する。
〈推定行動検出処理〉
次に、行動推定処理のS150にて実行される推定行動検出処理について説明する。
〈モデル更新処理について〉
次に、行動推定処理のS160にて実行されるモデル更新処理について説明する。
[実施形態の効果]
以上説明したように、行動推定システム1では、撮影画像から検出した特徴点データに基づいて、予め生成された行動推定モデルを形成している帰着点,開始位置,終了位置,中間点,特定点を変更しているため、乗員一人一人に適合した新たな行動推定モデル(即ち、新確定行動モデル、及び新非確定行動モデル)が生成されることになる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限るものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
[本発明と実施形態との対応関係]
上記実施形態の行動推定処理におけるS110を実行することで得られる機能が、本発明の画像取得手段に相当し、行動推定処理におけるS120を実行することで得られる機能が、本発明の特徴点検出手段に相当する。また、上記実施形態の記憶装置10aが、本発明のモデル格納手段に相当し、行動推定処理におけるS150(即ち、推定行動検出処理)を実行することで得られる機能が、本発明の行動推定手段に相当する。
Claims (4)
- 移動体の乗員が撮影された撮影画像を繰り返し取得する画像取得手段と、
人物の身体上に予め設定された少なくとも1つのポイントを特徴点とし、前記画像取得手段が撮影画像を取得する毎に、その撮影画像に写り込んだ乗員の特徴点の位置を表す特徴点データを検出する特徴点検出手段と、
前記乗員が実施する可能性のある行動を特定行動とし、前記特定行動を実施している時の特徴点の位置または軌跡を各特定行動毎に表した行動推定モデルを格納しているモデル格納手段と、
前記特徴点検出手段で検出された特徴点データを、前記モデル格納手段に格納されている行動推定モデルそれぞれと照合し、一致度合いが最も大きな前記行動推定モデルに対応付けられた特定行動を推定行動として検出する行動推定手段と
を備えた行動推定装置であって、
移動体内に搭載され予め規定された操作機器が操作されたことを表す操作信号を取得する操作信号取得手段と、
前記操作信号取得手段で取得された操作信号から、該操作信号それぞれに対応する操作機器を操作する特定行動を、前記特定行動の中で前記乗員が実施した前記特定行動である確定行動として検出すると共に、その検出した確定行動に対応する操作信号の入力が開始された開始時刻と該操作信号の入力が終了した終了時刻とを検出すること、
及び前記操作信号取得手段で取得された操作信号から、第一の操作信号に対応する操作機器から第二の操作信号に対応する操作機器へと手が遷移する特定行動を、前記確定行動として検出すると共に、前記第一の操作信号の入力が終了した時刻を前記開始時刻として、前記第二の操作信号の入力が開始した時刻を前記終了時刻として検出すること
の少なくとも一方を実行する確定行動検出手段と、
前記確定行動検出手段にて検出された開始時刻から終了時刻までの期間それぞれに前記特徴点検出手段にて検出された特徴点データそれぞれを行動時特徴点とし、前記確定行動検出手段にて検出された確定行動それぞれに対応する行動推定モデルである確定行動推定モデルを形成する前記特徴点の位置または軌跡を、前記確定行動検出手段にて検出された個々の確定行動に対応する前記行動時特徴点に従って変更することにより、新たな確定行動推定モデルを生成する確定行動モデル生成手段と、
前記特定行動の中で前記確定行動として検出不可能な特定行動を非確定行動とし、前記非確定行動に対応する行動推定モデルを非確定行動推定モデルとし、前記モデル格納手段に格納されている非確定行動推定モデル各々に対し、前記非確定行動推定モデルを形成する前記特徴点の位置または軌跡と前記確定行動を実施している時の特徴点の位置または軌跡との予め規定された対応関係に基づいて、前記行動時特徴点を用いて、新たな非確定行動推定モデルを生成する非確定行動モデル生成手段と、
前記モデル格納手段に格納されている行動推定モデルのうち、前記確定行動モデル生成手段にて生成された確定行動推定モデル、及び前記非確定行動モデル生成手段にて生成された非確定行動推定モデルに対応するものそれぞれを、該新たに生成された確定行動推定モデル及び非確定行動推定モデルへと更新するモデル更新を実行するモデル更新手段と
を備えることを特徴とする行動推定装置。 - 前記モデル更新手段は、
前記モデル格納手段に格納されている確定行動推定モデルを旧確定行動モデルとし、前記確定行動検出手段にて確定行動が次に検出されると、その確定行動についての前記行動時特徴点である次行動時特徴点を、その確定行動についての前記旧確定行動モデルに照合し、一致度合いを旧モデル一致度として導出する旧モデル照合手段と、
前記確定行動モデル生成手段で生成された新たな確定行動推定モデルに、前記次行動時特徴点を照合し、一致度合いを新モデル一致度として導出する新モデル照合手段と、
を備え、
前記新モデル照合手段で導出された新モデル一致度が前記旧モデル照合手段で導出された旧モデル一致度よりも高い場合、前記モデル更新を実行することを特徴とする請求項1に記載の行動推定装置。 - 前記特定行動のうち、乗員が実施すると前記移動体の操縦に悪影響を及ぼす可能性のある行動を危険行動とし、
前記推定行動検出手段で検出された推定行動が前記危険行動であれば、前記移動体を安全に操縦させるための安全制御を実行する安全制御手段
を備えることを特徴とする請求項1または請求項2に記載の行動推定装置。 - コンピュータを、請求項1ないし請求項3のいずれかに記載の行動推定装置を構成する各手段として機能させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008327607A JP4683123B2 (ja) | 2008-12-24 | 2008-12-24 | 行動推定装置、プログラム |
US12/654,476 US8260000B2 (en) | 2008-12-24 | 2009-12-22 | Action estimating apparatus, method for updating estimation model, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008327607A JP4683123B2 (ja) | 2008-12-24 | 2008-12-24 | 行動推定装置、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010152487A JP2010152487A (ja) | 2010-07-08 |
JP4683123B2 true JP4683123B2 (ja) | 2011-05-11 |
Family
ID=42266171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008327607A Expired - Fee Related JP4683123B2 (ja) | 2008-12-24 | 2008-12-24 | 行動推定装置、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8260000B2 (ja) |
JP (1) | JP4683123B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5604256B2 (ja) * | 2010-10-19 | 2014-10-08 | 日本放送協会 | 人物動作検出装置およびそのプログラム |
US10417486B2 (en) * | 2013-12-30 | 2019-09-17 | Alcatel Lucent | Driver behavior monitoring systems and methods for driver behavior monitoring |
JP6465458B2 (ja) * | 2015-08-05 | 2019-02-06 | 株式会社デンソー | ドライバ判定システム |
CN109858553B (zh) * | 2019-01-31 | 2023-12-12 | 锦图计算技术(深圳)有限公司 | 驾驶状态的监测模型更新方法、更新装置及存储介质 |
US11699239B2 (en) | 2020-04-21 | 2023-07-11 | The Board of Trustees of the University of Illinois (Urbana, IL) | Image processing method and apparatus |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008140268A (ja) * | 2006-12-04 | 2008-06-19 | Denso Corp | 操作推定装置およびプログラム |
JP2008146356A (ja) * | 2006-12-11 | 2008-06-26 | Nissan Motor Co Ltd | 視線方向推定装置及び視線方向推定方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003109015A (ja) | 2001-10-01 | 2003-04-11 | Masanobu Yamamoto | 身体動作測定方式 |
JP2005063090A (ja) | 2003-08-11 | 2005-03-10 | Keio Gijuku | ハンドパターンスイッチ装置 |
JP4367624B2 (ja) | 2004-01-20 | 2009-11-18 | オムロン株式会社 | 運転中における電話使用時の車輌制御装置とその方法 |
JP4841462B2 (ja) | 2007-02-27 | 2011-12-21 | パラマウントベッド株式会社 | 寝台装置 |
JP4420081B2 (ja) * | 2007-08-03 | 2010-02-24 | 株式会社デンソー | 行動推定装置 |
JP4882930B2 (ja) | 2007-09-11 | 2012-02-22 | 株式会社デンソー | 行動推定装置 |
-
2008
- 2008-12-24 JP JP2008327607A patent/JP4683123B2/ja not_active Expired - Fee Related
-
2009
- 2009-12-22 US US12/654,476 patent/US8260000B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008140268A (ja) * | 2006-12-04 | 2008-06-19 | Denso Corp | 操作推定装置およびプログラム |
JP2008146356A (ja) * | 2006-12-11 | 2008-06-26 | Nissan Motor Co Ltd | 視線方向推定装置及び視線方向推定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20100158316A1 (en) | 2010-06-24 |
JP2010152487A (ja) | 2010-07-08 |
US8260000B2 (en) | 2012-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7091983B2 (ja) | 機器制御装置 | |
JP6688990B2 (ja) | 識別装置、識別方法、識別プログラムおよび記録媒体 | |
JP5217754B2 (ja) | 行動推定装置、プログラム | |
JP2018534187A (ja) | 自律走行車両へのアクセス及び運転制御 | |
JP4683123B2 (ja) | 行動推定装置、プログラム | |
CN108327722A (zh) | 用于通过移动模式来识别车辆驾驶员的系统和方法 | |
JP7101815B2 (ja) | 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法 | |
JP4613999B2 (ja) | 行動推定装置、プログラム | |
CN108688593A (zh) | 用于通过移动模式来识别车辆的至少一个乘客的系统和方法 | |
JP2009101773A (ja) | 身体部位検出装置 | |
JP5687889B2 (ja) | 車室内監視装置 | |
JP2008120289A (ja) | 服装対応サービス提供装置 | |
JP4882930B2 (ja) | 行動推定装置 | |
JP7111156B2 (ja) | 車載機器の制御装置及び制御方法 | |
KR101976498B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
JP2010044493A (ja) | 行動推定装置、プログラム | |
JP6962878B2 (ja) | 操作補助システムおよび操作補助方法 | |
WO2017017938A1 (ja) | ジェスチャ操作システム、方法およびプログラム | |
JP2001097070A (ja) | 乗物用人物認識装置 | |
US11423669B2 (en) | Emotion prediction device, method, program, and vehicle | |
JP7483160B2 (ja) | 乗員監視装置及び乗員監視方法 | |
JP6909986B2 (ja) | 識別装置 | |
JP2018180424A (ja) | 音声認識装置および音声認識方法 | |
CN118270001A (zh) | 车辆的控制方法及其装置、车辆的驾驶系统和车辆 | |
JP4973667B2 (ja) | 操作推定装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110111 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110124 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4683123 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |