JP3627468B2 - 動作検出装置 - Google Patents

動作検出装置 Download PDF

Info

Publication number
JP3627468B2
JP3627468B2 JP26093297A JP26093297A JP3627468B2 JP 3627468 B2 JP3627468 B2 JP 3627468B2 JP 26093297 A JP26093297 A JP 26093297A JP 26093297 A JP26093297 A JP 26093297A JP 3627468 B2 JP3627468 B2 JP 3627468B2
Authority
JP
Japan
Prior art keywords
feature point
detection
facial feature
swing
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26093297A
Other languages
English (en)
Other versions
JPH1186005A (ja
Inventor
浩 斉藤
則政 岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP26093297A priority Critical patent/JP3627468B2/ja
Publication of JPH1186005A publication Critical patent/JPH1186005A/ja
Application granted granted Critical
Publication of JP3627468B2 publication Critical patent/JP3627468B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、機器の操作における操作指示を操作者の首振りで行なう場合の動作検出装置に関する。
【0002】
【従来の技術】
首の縦振りと横振りは、対話において意志を表現する1つの手段となっている。そのため、操作者の首の縦振りと横振りをマン・マシンインタフェースに適用しようという考えは古くからある。
例えば特開平7−117593号公報に開示されている車両用警報装置では、、2段階に行なう車両距離警報に最初の警報に対する運転者の反応を見て、警報に気づかない時、2次的な警報を行なう。ここでは、運転者の反応として、顔の動きが利用できるものとしている。
この他にも多くの事例では、操作負担の軽減を図り首振り動作を操作指示に取り入れるようにしている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記のいずれも首振り動作の利用は指摘されているものの、具体的な首振りの検出方法については言及されておらず、実用に供するものとしては明確でないのが現状である。
本発明は、首の縦振りと横振りを画像認識により検出し、装置の入力情報として装置を作動させ得る動作検出装置を提供することを目的としている。
【0004】
【課題を解決するための手段】
このため、被験者の顔面を撮像する画像入力手段と、
所定のタイミング内で被験者の顔面特徴点を画像処理によって検出する顔面特徴点検出手段と、
前記顔面特徴点検出手段が出力する時間的に異なる画像の顔面特徴点の位置を比較する比較手段と、
この比較手段が比較した前記顔面特徴点の位置が上下または左右方向に往復変位したかを判定する判定手段と、
この判定手段の判定結果に基づいて、前記タイミング内に前記顔面特徴点の往復変位があったときを首振り動作として検出する動作検出手段とを有し、
該動作検出手段は一回の首振りに要した時間を算出し、その時間に基づいて次回の前記タイミングが決定されるものとした。
【0005】
前記動作検出手段は首振り動作を検出したのち、所定の時間間隔をあけて、次回の前記顔面特徴点検出手段による検出を行なうことが望ましい。そしてとくに、前記算出した一回の首振りに要した時間を前記所定の時間間隔とすることが望ましい。
前記動作検出手段は前記判定手段により判定された前記特徴点の変位方向から首振りが縦振りか横振りかを判断することが可能である。
前記顔面特徴点検出手段は前回の顔面特徴点の検出位置を参照し次回の前記顔面特徴点検出手段による検出範囲を決定することが望ましい。
前記顔面特徴点は瞳孔であることが望ましい。
【0006】
【作用】
首振りすれば、顔面が連動して特徴点が変位する。その特徴点の変位方向は首振り方向と一致するので、特徴点の往復変位を検知することで、首振りを認識することが可能である。
そして、首振りに要した時間を実際に検出し、その時間を基づいて次回の検出時間を決定するので、学習効果が働き、検出時間を正確に設定することが可能で、誤検出を防ぐ効果が得られる。
前記動作検出手段は首振り動作を検出したのち、所定の時間間隔をあけて、次回の検出を行なうようにすると、不用意に首振りが複数回往復されたときの誤検出が防止される。
【0007】
特徴点の変位方向は首の振り方と一致するので、変位方向から首振りが縦振りか横振りかを判断することが可能である。
前記顔面特徴点検出手段は前回の特徴点の検出結果を参照し次回の検出範囲を決定することにより、特徴点を探索する区域が小さくなり、処理するデータ量が減少される。
前記特徴点は瞳孔とすることにより、網膜の反射と不反射を利用することが可能となり、その両画像から差分演算することによって瞳孔画像が簡単に抜き出される。また瞳孔画像は円形か楕円形となるので、不定形状をとるノイズと区別され易く、重心演算で瞳孔位置を示すデータが簡単に求められ変位演算に精度の高い検出対象となる。
【0008】
【発明の実施の形態】
次に本発明を車載ナビゲーション装置の情報検出に適用した実施例について図面を参照して説明する。
図1は実施例の構成を示すブロック図である。
画像入力手段としてのCCDカメラ3は運転者14の顔面を撮像できるように配置されているとともに顔面を照明する第1照明1はCCDカメラの光軸線上から、第2照明2は第1照明1の横の所定位置で運転者を斜め方向から照明するように設置される。第1照明および第2照明は同じ近赤外線光を発するLEDで構成され、顔面を同じ強度で照明するように照射強度が調整されている。
【0009】
CCDカメラ3は運転者14の顔面を連続撮像するが、全体制御部13はA/D変換器5を制御し、照明発光制御部4の制御によって第1照明1と第2照明2が個別に照明を行なったときの顔面画像をA/D変換させる。A/D変換した顔面画像信号は画像メモリ6に格納される。第1照明1と第2照明2の点灯は短い時間間隔で行なわれ、それぞれの画像にはほぼ同時の顔面が映されている。以下第1照明1が点灯時の画像を画像A、第2照明2が点灯した画像を画像Bとし、説明を進める。
【0010】
画像メモリ6には顔面特徴点検出手段としての瞳孔抽出部7が接続されている。
瞳孔抽出部7は画像Aと画像Bの差分演算を行なう。その差分画像をさらにしきい値で二値化処理して、濃度の高い領域を検出する。各領域についてはラベリング処理を施し、番号付けを行なう。
画像Aでは第1照明1はCCDカメラのレンズ方向から光を投射するので、網膜からの反射光により瞳孔が明かるく光って観測される。画像Bでは第2照明による光投射が斜め方向から行なわれて瞳孔が暗く観測される。したがって、画像Aと画像Bの差分結果は瞳孔領域が強調されたこととなり、上記の二値化処理で抜き出される。
【0011】
差分画像の中には網膜反射像の他、例えば眼鏡をかけた人からは眼鏡レンズ反射像、眼鏡フレーム反射像、さらには外部照明の変動で顔の一部が現われるなどなど様々なノイズが含まれる可能性がある。これらのノイズは一般的に不定形状、かつ面積も不定であるため、形状と面積の処理によって識別することができる。
瞳孔抽出部7では、ラベリング処理された各領域に対して、領域の面積Riを演算し、予め決めておいたしきい値S1、S2と比較して、S1<Ri<S2を満足する領域を抽出する。ここで、S1、S2は、CCDカメラの撮影倍率から推定した瞳孔面積の上下限に対応した値である。例えば直径2〜8mmの瞳孔が、画像上で何画素の領域として観測されるかに合わせて設定される。
【0012】
上記抽出された領域をその外接長方形に対する領域面積の比率Fを計算し比率Fがある一定値以上の場合瞳孔として抽出する。
すなわち網膜反射像は円または楕円形状で観測されるため、比率Fが大であるのに対し、眼鏡フレームの反射は、フレームに沿った細長い領域になるため、F値が小さくなって、F値の判別によって検出対象から振り落とされる。そのほかのノイズについても円形ほどの比率Fが得られないので、検出対象とならず、除去される。
【0013】
次に、瞳孔領域の重心について演算を行なう。この重心は瞳孔を代表することができるので、その位置変動で運転者の首振り動作を検知することが可能である。
ここで、瞳孔の重心(Xg、Yg)を次式に基づいて算出する。なお、2値化画像をC(x、y)とし、C(x、y)=1は抽出された瞳孔領域である。
Xg=Σx/〔C(x、y)=1の画素総数〕
但し、xはC(x、y)=1の画素のx座標
Yg=Σy/〔C(x、y)=1の画素総数〕
但し、yはC(x、y)=1の画素のy座標
瞳孔抽出部7に動作検出手段として接続されるうなずき検知部8は、瞳孔の重心の変位を検出し、その変位方向からうなずきを検出する。うなずき検出方法は後述のフローチャートにしたがって詳細に説明する。
【0014】
ナビゲーション表示制御部9は全体制御部13と接続され、全体制御部には情報検索開始スイッチ12が接続される。ナビゲーション表示制御部9は全体制御部13を介して情報検索開始スイッチ12が操作されたことを検知し、情報検索を行なうとともにうなずき検知結果を入力して所定の検索制御を行なう。ナビ情報データベース10には情報検索に必要な情報内容が格納されており、ナビ表示部11は情報検索ためのアイコンと検索された情報内容を表示する。
【0015】
情報検索が必要なとき、運転者14は情報探索開始スイッチ12を押す。このスイッチ情報をナビゲーション表示制御部9は全体制御部13を介して検知すると、画面表示中の地図情報に例えば駐車場、ガソリンスタンド、コンビニエンスストア、レストランなどの施設情報を検索する。それにはまず施設内容を示すアイコンがナビ表示部11に画面表示される。各アイコンは例えば図4、図5のように同時に画面表示されるとともにタイマー制御によって一定時間T(例えばT=2s)毎に着色を順番に変えて表現される。
【0016】
運転者は選びたい情報を示すアイコンが着色されている間にうなずきによって、意志を伝達する。うなずきはCCDカメラ3で撮像された画像からうなずき検出部8での処理によって検出される。運転者は例えば着色された駐車場のアイコンに対しうなずきを行なった場合ナビゲーション表示制御部9は駐車場の情報をナビ情報データベース10から読み出しナビ表示部11に表示させる。駐車場アイコンが図6のように駐車場情報の表示とともに着色パターンを変えて情報が選択されていることを表現する。これによりうなずきを受け付けたと確認することができる。
そして再度のうなずきが検出されると、ナビ情報の探索を終了するものとしてナビゲーション表示制御部9は画面表示を終了する。表示画面は図7のように探索された情報が消え元の地図画面となる。
【0017】
図2は、運転者とかかわりのあるCCDカメラ、照明、情報検索開始スイッチの設置レイアウトを表示する。すなわち車両のウインドシールドの下方の計器盤に、ナビ表示部11としてのモニタが設置されている。モニタの右下方に情報検索開始スイッチ12が設けられる。モニタのすぐ下方にCCDカメラ3と第1照明1は同軸系をなすように設置される。第2照明2は第1照明1の隣で一定の間隔をもって設置される。CCDカメラ3は運転者の両眼を含めた顔面を撮影できるようになっている。
【0018】
次に、画面表示の流れおよび制御を図3のフローチャートにしたがって説明する。
すなわち、ステップ101において、全体制御部13を介して情報検索開始スイッチ12が押されたことを検知すると、ステップ102で情報内容を示すアイコン表示が行なわれる。本実施例では、情報内容としては走行路情報にレストラン、駐車場、ガソリンスタンド、コンビニエンスストアといった走行路上の情報を呼び出すもので、走行路情報の表示画面に重ねて表示することになる。アイコンはタイマーに制御されて、一定時間毎に順次に着色を更新して表示する。図4、図5はその表示画面を示し、それぞれの(a)、(b)には地図情報と着色が変化していくアイコンが表示されている。
【0019】
ステップ103において、ナビゲーション表示制御部9はうなずき検知部8からうなずき(首の縦振り)の検出結果が入力されたかをチェックし、ステップ104で、うなずきされた着色中のアイコン情報をナビ情報データベースから読み出してモニタに表示させる。なお、この際うなずきのチェックは継続されている。図6は例えば所要の情報が駐車場の場合の表示画面を示す。画面には駐車場アイコンが着色パターンを変えて同時に表示されて選択されている内容を表現している。
そしてステップ105で、再度のうなずきがあったことがチェックされると、ステップ106で情報検索を終了する。モニタ表示画面は図7に示すように探索された情報とアイコンが消えた地図のみの画面となる。
【0020】
次に、うなずき検知部8におけるうなずきの検知について図8のフローチャートにしたがって説明する。
ステップ201で、処理の時間経過を監視するタイマーの初期化が行なわれる(t=0)と、首振りの検知を始める。
まずステップ202で、瞳孔抽出部7から瞳孔検出結果を入力する。その入力をステップ203で前回の入力結果との演算で首が縦方向に振れ始めたかを判定する。振れ始めていない場合、ステップ204で単位時間経過のカウントを経て、次の瞳孔検出結果を入力するようにステップ202に戻り、振れ始めたと判定する場合はステップ205へ進む。
すなわちステップ203で時間的に連続して入力した瞳孔の重心位置を比較し、時刻tで得た重心位置(Xgt、Ygt)と時刻t+1で得た重心位置(Xgt+1、Ygt+1)についてその下向きの垂直方向変位(Ygt+1−Ygt)は一定値Th1より大きく、水平方向の変位(Xgt+1−Xgt)が一定値Th2内に収まった場合、首が縦方向に振れ始めたとして判断する。
【0021】
ステップ205で首が縦方向に振れた時刻tsをうなずき開始時刻として記憶したのち、うなずきの後半に現われる上向きの動きを検出するよう次のフローが実行される。このフローでは前記フローと区別するよう時間tの代わりに時間taを用い、時刻tsを初期値とする。
すなわちステップ206で〜ステップ209を通じて時間経過を監視しながら、次の瞳孔検出結果を入力する。時刻ta+1と時刻taで得た瞳孔重心の位置比較で、上向きの垂直方向変位|Ygta+1−Ygta|が一定値Th1を越え、水平方向変位|Xgta+1−Xgta|が一定値Th2内に収まっているとき、首が上向きに移動したとして検知する。
この際、ステップ206で、首が縦方向に振れ始めた時間tsからの時間経過(ta−ts)がある一定時間tmaxになるまでに上向きの移動が発生しない場合、ステップ203で検知された首の縦方向振れはうなずきによるものでないとして棄却する。うなずきの速度は人によって異なるが、時間tmaxは考えられるうなずきの最長時間として、例えば2秒として設定しておけばよい。上記処理の間には瞳孔の検出結果入力は続けられている。
【0022】
首の上向きの振れが検知されると、首の動きが停止したかをチェックするフローが実行される。これは車が凸凹道を走るときの車の振動によるものあるいは居眠りによるものなど自覚したうなずき以外の首振りをうなずきとして検知するのを防ぐための処理である。
ステップ210において上記上向きが検出された時刻taを下記の処理を行なう時間tbの初期値として設定する。
ステップ211〜ステップ215では時間の経過を監視しながら、瞳孔検出結果を続けて入力する。その入力結果から首が2回の検出で振れないと判定した場合、自覚したうなずきが行なわれたとして検出する。
すなわち、時刻tb+1と時刻tbで得た瞳孔重心の垂直方向変位(Ygtb+1−Ygtb)を演算し、演算値が一定値Dth内、かつ時刻tb+2、時刻tb+3での瞳孔重心位置の垂直変位(Ygt+3−Ygt+2)も一定値Dth内に収まっている場合、うなずきを検出する。
ステップ211で首が振れ始めてからの時間経過(tb−ts)がある一定時間tmaxになるまでに首振れが停止しない場合、うなずきが発生していないとして上記検出結果が棄却される。
ステップ203、ステップ207、ステップ208は比較手段と判定手段を構成している。
【0023】
本実施例は以上のように構成され、瞳孔を顔面特徴点として検出し、その動きを追跡して変位特徴を認識しうなずきを検知するので、情報の検索に手を介さずに操作することができる。操作が複雑で、従来停車中にしか行なえない機能も人間の自然な動作で制御することにより走行中にも扱えるようになり、高度な走行制御が可能となる。
また、特徴点としての瞳孔は所定の大きさをもつため、画像がぼけていても計測が可能である。これにより、運転者の奥行き方向の移動が許される。さらにはCCDカメラの画角を広く設定することもでき、運転者の上下左右方向の移動可能範囲も拡大される。
顔面の特徴としては実施例では瞳孔を利用したが、これに限らず例えば鼻の穴や睫毛などを用いてもよい。
なお、本実施例では、うなずき検出について説明したが、否定的表現としての横振りも同様の検出手法で検出できることがいうまでもない。
【0024】
次に第2の実施例について説明する。
図9は第2の実施例の構成を示すブロック図である。
この実施例は、図1における第1の実施例のうなずき検知部8の代わりにうなずき検知およびうなずき時間算出部19とうなずき時間予測部20を用い、画像メモリ6と瞳孔抽出部7の間には瞳孔位置予測部17を追加した構成となっている。その他は第1の実施例と同様である。
【0025】
瞳孔位置予測部17は前回の瞳孔位置の近傍に新たな瞳孔探索領域を設定する。すなわち、1回目は、入力画像全体を探索領域として前記第1実施例と同じように差分画像を2値化処理して濃度の高い領域を検出し、ラベリング処理によって瞳孔の検出対象を決定する。2回目からは、前回の瞳孔重心を含む小領域を探索領域として設定する。すなわち前回の瞳孔重心(Xgt、Ygt)に対して、点(Xgt−Xo、Ygt−Yo)、(Xgt+Xo、Ygt+Yo)をそれぞれ左上、右下とする四角形を探索領域とする。
探索領域のサイズxo、yoは、CCDカメラの撮影倍率にうなずきによる眼球の移動量を勘案して設定される。
瞳孔抽出部7は、上記瞳孔位置予測部17で設定された探索領域を探索し、瞳孔領域を抽出する。
【0026】
うなずき検知およびうなずき時間算出部19は第1の実施例と同じようにうなずきを検出し、うなずき開始から検出終了までの時間trを演算し、うなずきに要した時間trをうなずき時間予測部20に送る。うなずき時間予測部20には過去のうなずき時間trが記憶されており、新たに計測されたうなずき時間trを加えて、それらの平均値toと標準偏差tstdが算出される。その結果、うなずきに要する時間の最大値の予測値をto+3×tstdに更新し、うなずき検知およびうなずき時間算出部19に送り、うなずき検知およびうなずき時間算出部19で用いられるうなずきの最大時間tmaxを上記値に更新する。
予測を行なう際、過去にうなずきに要した実際値trを用いるので、意味のない往復変位が統計処理に使用されることなく、信頼性の高いデータとなる。
うなずき検知およびうなずき時間算出部19は、さらにうなずきを検出するとともに、上記演算されたうなずきに要した時間trだけ、うなずき検知処理を中断して次回のうなずき検知を開始する。
【0027】
図10は検知処理を中断するフローチャートである。
すなわち、前記図8のフローチャートにしたがってうなずき検出が行なわれると、
ステップ301で首振り始めと瞳孔移動が停止するまでの時間を計算してうなずきに要した時間trとして求める。
ステップ302ではタイマーの初期化が行なわれる。
ステップ303においては単位時間のウエイトを入れる。
ステップ304では時間経過のカウントが行なわれる。
ステップ305では時間経過tがtrになったかをチェックする。時間経過tがtrになっていない場合ステップ303に戻り上記処理が繰り返される。ステップ305で時間経過tが時間trを越えたら次のうなずきを検出するように図8のフローチャートが実行される。
このように時間trの間、うなずき検知が中断されるから、一回のつもりで連続して行なわれるうなずきが複数回のうなずきとして検知されることなく、不用意な連続うなずきによってナビゲーションの制御に支障を来たすのが防止される。
【0028】
本実施例は以上のように構成され、瞳孔の探索範囲を限定するようにしたため、扱うデータ量が減少され、瞳孔の抽出処理の高速化が図られるともに、ノイズによる影響が低減され、信頼性の高い抽出効果が得られる。
またうなずきに要する時間を累積記憶し、その平均と分散によってうなずきに要する時間を次回の検出の最大時間とするから、個人差によってうなずき時間が異なっても、学習効果が働き、安定した検出効果が得られる。
【0029】
【発明の効果】
顔面特徴点の往復変位を検知し首振りを認識するようにしたので、被験者の顔面画像以外のデータ採集が不要で被験者の動きを拘束することなく検出ができる。これによって被験者が自然な状態で機器に操作指令を発することな可能となる。例えば自動車の運転では、運転者の顔面画像をとるだけで走行中でもナビゲーション等の操作が可能となり、高度な走行制御が行なえる。
そして、首振りに要した時間を実際に検出し、その時間を基づいて次回の検出時間を決定するので、学習効果が働き、検出時間を正確に設定することが可能で、誤検出を防ぐ効果が得られる。
【0030】
前記動作検出手段は首振り動作を検出したのち、所定の時間間隔をあけて、次回の検出を行なうようにすると、首の動作回数の違いによる誤検出が防止される。
前記動作検出手段は前記特徴点の変位方向から首振りが縦振りか横振りかを判断するようにすると、肯定、否定両方の操作命令を出すことが可能である。
【0031】
前記顔面特徴点検出手段は前回の特徴点の検出結果を参照し次回の検出範囲を決定するようにすると、検出範囲を小範囲に限定することが可能となり、扱うデータ量が減少され、ノイズの影響が軽減されるとともに演算負担が軽くなる。
前記特徴点は瞳孔であると、光の反射画像を利用することが可能となり、照明の照射角度を変え光の反射画像と不反射画像を作り、差分演算によって瞳孔画像が簡単に抜き出され、質の高い抽出効果が得られる。
【図面の簡単な説明】
【図1】発明の実施例を示すブロック図である。
【図2】CCDカメラなどの設置レイアウ示す図である。
【図3】フローチャートである。
【図4】アイコンの着色を表示するナビ表示画面である。
【図5】アイコンの着色を表示するナビ表示画面である。
【図6】駐車場情報を表示するナビ表示画面である。
【図7】ナビ表示画面である。
【図8】うなずきを検出するためのフローチャートである。
【図9】第2の実施例を示すブロック図である。
【図10】ウイエトと入れるためのフローチャート。
【符号の説明】
1 第1照明
2 第2照明
3 CCDカメラ
4 照明発光制御部
5 A/D変換器
6 画像メモリ
7 瞳孔抽出部
8 うなずき検知部
9 ナビゲーション表示制御部
10 ナビゲーション情報データベース
11 ナビ表示部
12 情報検索開始スイッチ
13 全体制御部
14 運転者(被験者)
17 瞳孔位置予測部
18 瞳孔抽出部
19 うなずき検知およびうなずき時間算出部
20 うなずき時間予測部

Claims (6)

  1. 被験者の顔面を撮像する画像入力手段と、
    所定のタイミング内で被験者の顔面特徴点を画像処理によって検出する顔面特徴点検出手段と、
    前記顔面特徴点検出手段が出力する時間的に異なる画像の顔面特徴点の位置を比較する比較手段と、
    この比較手段が比較した前記顔面特徴点の位置が上下または左右方向に往復変位したかを判定する判定手段と、
    この判定手段の判定結果に基づいて、前記タイミング内に前記顔面特徴点の往復変位があったときを首振り動作として検出する動作検出手段とを有し、
    該動作検出手段は一回の首振りに要した時間を算出し、その時間に基づいて次回の前記タイミングが決定されることを特徴とする動作検出装置。
  2. 前記動作検出手段は首振り動作を検出したのち、所定の時間間隔をあけて、次回の前記顔面特徴点検出手段による検出を行なうことを特徴とする請求項1記載の動作検出装置。
  3. 前記所定の時間間隔は、前記動作検出手段が算出した一回の首振りに要した時間とすることを特徴とする請求項2記載の動作検出装置。
  4. 前記動作検出手段は前記判定手段により判定された前記特徴点の変位方向から首振りが縦振りか横振りかを判断することを特徴とする請求項1または2記載の動作検出装置。
  5. 前記顔面特徴点検出手段は前回の顔面特徴点の検出位置を参照し次回の前記顔面特徴点検出手段による検出範囲を決定することを特徴とする請求項1から3のいずれか1に記載の動作検出装置
  6. 前記顔面特徴点は瞳孔であることを特徴とする請求項1から4のいずれか1に記載の動作検出装置。
JP26093297A 1997-09-08 1997-09-08 動作検出装置 Expired - Fee Related JP3627468B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26093297A JP3627468B2 (ja) 1997-09-08 1997-09-08 動作検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26093297A JP3627468B2 (ja) 1997-09-08 1997-09-08 動作検出装置

Publications (2)

Publication Number Publication Date
JPH1186005A JPH1186005A (ja) 1999-03-30
JP3627468B2 true JP3627468B2 (ja) 2005-03-09

Family

ID=17354780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26093297A Expired - Fee Related JP3627468B2 (ja) 1997-09-08 1997-09-08 動作検出装置

Country Status (1)

Country Link
JP (1) JP3627468B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013132371A (ja) * 2011-12-26 2013-07-08 Denso Corp 動作検出装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000315259A (ja) * 1999-05-06 2000-11-14 Sharp Corp データベース作成装置及びデータベース作成プログラムを記録した記録媒体
AU2002221662A1 (en) 2000-10-07 2002-04-29 Physoptics Opto-Electronic Gmbh Information system and method for providing information using a holographic element
JP2002329300A (ja) * 2001-04-27 2002-11-15 Honda Motor Co Ltd 車両の走行安全装置
JP4765008B2 (ja) * 2004-03-16 2011-09-07 国立大学法人静岡大学 瞳孔と鼻孔を用いた頭部の方向を検出する方法
JP4380412B2 (ja) * 2004-05-10 2009-12-09 株式会社デンソー 撮像制御装置及びプログラム
JP4704174B2 (ja) * 2005-09-30 2011-06-15 富士フイルム株式会社 状態識別装置、プログラムおよび方法
JP6841097B2 (ja) * 2017-03-09 2021-03-10 富士通株式会社 動き量算出プログラム、動き量算出方法、動き量算出装置及び業務支援システム
KR20210024859A (ko) 2019-08-26 2021-03-08 삼성전자주식회사 영상 처리 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013132371A (ja) * 2011-12-26 2013-07-08 Denso Corp 動作検出装置

Also Published As

Publication number Publication date
JPH1186005A (ja) 1999-03-30

Similar Documents

Publication Publication Date Title
JP3324295B2 (ja) 車両用視線方向計測装置
Bergasa et al. Real-time system for monitoring driver vigilance
CN105009032B (zh) 信息处理装置和姿势检测方法
JP2988178B2 (ja) 視線方向計測装置
JP4879189B2 (ja) 安全走行支援装置
CN101269635B (zh) 视场监视设备
EP2338416B1 (en) Line-of-sight direction determination device and line-of-sight direction determination method
JP5974915B2 (ja) 覚醒度検出装置、および覚醒度検出方法
US20180025240A1 (en) Method and system for monitoring the status of the driver of a vehicle
JP4410292B1 (ja) 車両の周辺監視装置
JP3143819B2 (ja) まぶたの開度検出装置
JPH09251342A (ja) 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法
JP2016057839A (ja) 顔向き検出装置及び車両用警告システム
JP3627468B2 (ja) 動作検出装置
JP3395344B2 (ja) 画像処理装置およびそれを用いた居眠り警報装置
JP4770218B2 (ja) 視認行動判定装置
KR101835363B1 (ko) 시선의 이동에 따라 변하는 오브젝트의 정보를 연속적으로 표시하는 장치 및 방법
EP2642463A1 (en) Peripheral monitoring device for vehicle
JPH09167049A (ja) コンソール用視線入力装置
Bergasa et al. Visual monitoring of driver inattention
JP3796840B2 (ja) 身振り入力装置及びそれを含む入力装置
US20210153794A1 (en) Evaluation apparatus, evaluation method, and evaluation program
CN112752003A (zh) 一种补光方法、装置、补光设备和监控设备
JP3036319B2 (ja) 運転者状態監視装置
US11807264B2 (en) Driving assistance apparatus, driving assistance method, and medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071217

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081217

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091217

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101217

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees