JP4849303B2 - 行動指針決定装置及びコンピュータプログラム - Google Patents
行動指針決定装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP4849303B2 JP4849303B2 JP2005243656A JP2005243656A JP4849303B2 JP 4849303 B2 JP4849303 B2 JP 4849303B2 JP 2005243656 A JP2005243656 A JP 2005243656A JP 2005243656 A JP2005243656 A JP 2005243656A JP 4849303 B2 JP4849303 B2 JP 4849303B2
- Authority
- JP
- Japan
- Prior art keywords
- action
- model
- skin color
- guideline
- feature information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Description
図1に、本実施の形態に係る自動制御テレビジョン受像機に搭載された行動指針決定装置42と自動制御テレビジョン受像機システムとについての機能ブロック図を示す。
図1を参照して、まずユーザが、図には示さないテレビジョン受像機本体に取付けられたスイッチ又はリモートコントロールパネルを用いて、ある番組を見るためにテレビジョン受像機の電源を入れたりチャンネルを変えたりする。
62 肌色検出部
64 肌色部位区別部
66 肌色部位トラッキング部
68 動き予測モデル格納部
74 音声−動作統合部
76 モデル参照部
78 マッチング用モデル格納部
Claims (5)
- 人間が存在する可能性のある場において、周囲の状況から、とるべき行動の指針を決定するための行動指針決定装置であって、
周囲の画像から抽出される人間の動きに関する所定の特徴情報の時系列と、とるべき行動の指針との関係を予め学習した行動指針決定モデルを格納するためのモデル格納手段と、
周囲の動画像から前記所定の特徴情報の時系列を作成し、前記モデル格納手段に格納された行動指針決定モデルを参照する事により、とるべき行動の指針を決定するためのモデル参照手段とを含み、
前記モデル参照手段は、
前記動画像の各フレームから肌色の部分を検出するための肌色検出手段と、
前記動画像に対し、前記肌色検出手段によって検出された肌色の部分の中で、同一人物の顔と手との組合せを識別し、各組合せについて、顔と手とをトラッキングするためのトラッキング手段と、
前記トラッキング手段によりトラッキングされた各人物の顔及び手の動きから、前記所定の特徴情報をフレームごとに作成し、複数フレームに対する前記所定の特徴情報を用い、前記モデル格納手段に格納された前記行動指針決定モデルを参照する事により、行動の指針を決定するための手段とを含む、行動指針決定装置。 - 前記行動指針決定装置は、人間の顔と手との動きに関する動き予測モデルを格納するための動き予測モデル格納手段をさらに含み、
前記トラッキング手段は、
前記動画像に対し、前記肌色検出手段によって検出された肌色の部分の中で、同一人物の顔と手との組合せを識別するための手段と、
前記識別するための手段により識別された各組合せについて、前記動き予測モデル格納手段に格納された動作モデルに基づいて予測される、当該組合せに含まれる顔と手との動きに基づいて顔と手とをトラッキングするための手段とを含む、請求項1に記載の行動指針決定装置。 - 人間が存在する可能性のある場において、周囲の状況から、とるべき行動の指針を決定するための行動指針決定装置であって、
周囲の画像から抽出される人間の動きに関する所定の特徴情報の時系列と、とるべき行動の指針との関係を予め学習した行動指針決定モデルを格納するためのモデル格納手段と、
周囲の動画像から前記所定の特徴情報の時系列を作成し、前記モデル格納手段に格納された行動指針決定モデルを参照する事により、とるべき行動の指針を決定するためのモデル参照手段とを含み、
前記行動指針決定モデルは、周囲の画像から抽出される人間の動作に関する前記所定の特徴情報と、周囲の音声から得られる非言語的音声情報に基づいて作成される所定の音響特徴情報とを統合した画像・音声統合型の特徴情報の時系列と、とるべき行動の指針との関係を予め学習した音声統合型の行動指針決定モデルを含み、
前記モデル参照手段は、
前記動画像の各フレームから肌色の部分を検出するための肌色検出手段と、
前記動画像に対し、前記肌色検出手段によって検出された肌色の部分の中で、同一人物の顔と手との組合せを識別し、各組合せについて、顔と手とをトラッキングするためのトラッキング手段と、
前記トラッキング手段によりトラッキングされた各人物の顔及び手の動き、並びに、前記音声から、前記所定の特徴情報をフレームごとに作成し、複数フレームに対する前記所定の特徴情報を用い、前記モデル格納手段に格納された前記音声統合型の行動指針決定モデルを参照する事により、行動の指針を決定するための画像・音声統合型モデル参照手段を含む、行動指針決定装置。 - 前記周囲の音声は、マイクロフォンで受音され、音声信号に変換され、
前記所定の音響特徴情報は、
前記音声信号に基づいて推定される、発話の有無を示す情報、及び
前記音声信号に基づいて推定される発話の持続時間、
の任意の組合せを含む、請求項3に記載の行動指針決定装置。 - コンピュータにより実行されると、当該コンピュータを請求項1〜請求項4のいずれかに記載の行動指針決定装置として動作させる、コンピュータプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005243656A JP4849303B2 (ja) | 2005-08-25 | 2005-08-25 | 行動指針決定装置及びコンピュータプログラム |
US11/990,191 US7984010B2 (en) | 2005-08-25 | 2005-10-18 | Action agenda determining apparatus |
PCT/JP2005/019080 WO2007023576A1 (ja) | 2005-08-25 | 2005-10-18 | 行動指針決定装置 |
EP05795653A EP1936545A1 (en) | 2005-08-25 | 2005-10-18 | Action guideline decision device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005243656A JP4849303B2 (ja) | 2005-08-25 | 2005-08-25 | 行動指針決定装置及びコンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007058615A JP2007058615A (ja) | 2007-03-08 |
JP2007058615A5 JP2007058615A5 (ja) | 2008-05-15 |
JP4849303B2 true JP4849303B2 (ja) | 2012-01-11 |
Family
ID=37771334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005243656A Expired - Fee Related JP4849303B2 (ja) | 2005-08-25 | 2005-08-25 | 行動指針決定装置及びコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US7984010B2 (ja) |
EP (1) | EP1936545A1 (ja) |
JP (1) | JP4849303B2 (ja) |
WO (1) | WO2007023576A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5072714B2 (ja) * | 2008-05-28 | 2012-11-14 | 三洋電機株式会社 | 音声記録装置及び音声再生装置 |
US8218033B2 (en) | 2007-09-10 | 2012-07-10 | Sanyo Electric Co., Ltd. | Sound corrector, sound recording device, sound reproducing device, and sound correcting method |
KR20120072009A (ko) * | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | 다중 사용자의 인터렉션 인식 장치 및 방법 |
US8837796B1 (en) * | 2013-06-27 | 2014-09-16 | Healthcare Content Solutions, Inc. | Systems and methods for monitoring a dermatologic condition |
KR102487669B1 (ko) * | 2017-09-29 | 2023-01-13 | 현대자동차주식회사 | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 |
JP6937659B2 (ja) * | 2017-10-19 | 2021-09-22 | 株式会社日立製作所 | ソフトウェアテスト装置および方法 |
CN109919087B (zh) * | 2019-03-06 | 2022-03-08 | 腾讯科技(深圳)有限公司 | 一种视频分类的方法、模型训练的方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001154681A (ja) * | 1999-11-30 | 2001-06-08 | Sony Corp | 音声処理装置および音声処理方法、並びに記録媒体 |
US20030033266A1 (en) | 2001-08-10 | 2003-02-13 | Schott Wade F. | Apparatus and method for problem solving using intelligent agents |
JP2005039681A (ja) | 2003-07-18 | 2005-02-10 | Sharp Corp | テレビジョン受像機 |
JP4479194B2 (ja) * | 2003-08-29 | 2010-06-09 | 富士ゼロックス株式会社 | 動作識別装置、及び対象物の姿勢識別装置 |
JP4214227B2 (ja) * | 2004-01-28 | 2009-01-28 | 独立行政法人産業技術総合研究所 | ユーザモデリング方法、ユーザモデリング装置、ユーザモデリングプログラムおよびユーザモデリングプログラムを記録したコンピュータ読取可能な記憶媒体 |
-
2005
- 2005-08-25 JP JP2005243656A patent/JP4849303B2/ja not_active Expired - Fee Related
- 2005-10-18 EP EP05795653A patent/EP1936545A1/en not_active Withdrawn
- 2005-10-18 WO PCT/JP2005/019080 patent/WO2007023576A1/ja active Application Filing
- 2005-10-18 US US11/990,191 patent/US7984010B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20100138380A1 (en) | 2010-06-03 |
JP2007058615A (ja) | 2007-03-08 |
US7984010B2 (en) | 2011-07-19 |
WO2007023576A1 (ja) | 2007-03-01 |
EP1936545A1 (en) | 2008-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220377467A1 (en) | Hearing aid systems and mehods | |
US11979716B2 (en) | Selectively conditioning audio signals based on an audioprint of an object | |
JP4849303B2 (ja) | 行動指針決定装置及びコンピュータプログラム | |
US20230045237A1 (en) | Wearable apparatus for active substitution | |
US20070120966A1 (en) | Speaker predicting apparatus, speaker predicting method, and program product for predicting speaker | |
EP1277342A1 (en) | Method and apparatus for tracking moving objects using combined video and audio information in video conferencing and other applications | |
US11875571B2 (en) | Smart hearing assistance in monitored property | |
JP7342928B2 (ja) | 会議支援装置、会議支援方法、会議支援システム、および会議支援プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080327 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110913 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111005 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141028 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |