JPH1163927A

JPH1163927A - 頭部位置・姿勢の計測装置および作業監視装置

Info

Publication number: JPH1163927A
Application number: JP9230853A
Authority: JP
Inventors: Kazumichi Miyawaki; 一路宮脇; Hiroyuki Nakayama; 博之中山; Keiichi Kenmochi; 圭一見持
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 1997-08-27
Filing date: 1997-08-27
Publication date: 1999-03-05

Abstract

(57)【要約】【課題】本発明は、被験者にセンサ類やマーク等をいっ
さい取付けることなく人間の頭部の位置・姿勢を求める
ことができる装置を提供することを目的とする。【解決手段】人間の頭部の動きを計測する位置・姿勢計
測装置において、被験者を撮像する２台のカメラ１３、
１４と、前記２台のカメラから入力された画像から特徴
点を抽出・追跡し、２枚の画像で対応する特徴点を３角
測量の原理で計測する画像処理装置１２と、モニタ１
６、１７を有し、被験者の顔の眉２２と目２７と鼻２８
とほくろ２９と口３１の特徴点の内少なくとも３点を選
択し、それぞれの特徴点に専用の抽出・追跡手法により
正確にその画像上の位置を検出してその３次元位置を２
眼ステレオ計測により計測し、その特徴点の相対的な位
置変化からその位置・姿勢変化を計測することにより、
被験者に特別なセンサやマーク等を取付けることなく頭
部の位置・姿勢変化を計測することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像を用いた３次元
の頭部位置・姿勢の計測装置、およびその計測装置を用
いた作業監視装置に関する。

【０００２】

【従来の技術】従来の技術を図１４〜図１７に示す。

【０００３】図１４は、従来の頭部姿勢計測におけるメ
カニカルリンク方式の説明図、図１５は、従来の頭部姿
勢計測における磁気センサ方式の説明図、図１６は、従
来の頭部姿勢計測における２眼ステレオ方式の説明図
（１）、図１７は、従来の頭部姿勢計測における２眼ス
テレオ方式の説明図（２）である。

【０００４】近年、人間の視線を装置とのインターフエ
ースに用いようとする研究が盛んになってきており、視
線を検出するための様々な研究が行われている。

【０００５】視線は眼球運動によって決定されるが、眼
球運動は頭部に対する相対的な位置で表されるため、直
接絶対座標系で求めることはできない。

【０００６】したがって、絶対座標系で視線を求めるに
は、頭部の絶対座標系における位置・姿勢と、頭部に対
する眼球運動を求め、頭部に対する眼球運動を絶対座標
系に変換する必要がある。

【０００７】また、人間が立ち入ることのできない環境
では、マニピュレータ等を用いた遠隔操作によって作業
を行っている。このとき、作業監視用には、カメラ装置
と、それを駆動する回転台が用いられる。

【０００８】このカメラの制御は、従来ジョイスティッ
クスやスイッチを用いて行っていたが、近年では、頭部
の姿勢を計測して、その動きにカメラを追従させること
により制御を行う研究が行われている。

【０００９】したがって、いずれの研究においても、頭
部の位置・姿勢の検出が根本的な技術課題となる。

【００１０】従来、この頭部位置・姿勢計測には、メカ
ニカルリンク方式、磁気センサ方式、２眼ステレオ方式
がある。

【００１１】（１）メカニカルリンク方式について、図
１４を用いて説明する。

【００１２】ヘルメット１にメカニカルリンク２を取付
け、このメカニカルリンク２を頭部姿勢計測器３に取付
ける。

【００１３】メカニカルリンク２には、各関節にエンコ
ーダ４が取付けられ、頭部の動きによって、各エンコー
ダ値が変化する。

【００１４】したがって、頭部の位置・姿勢をそのエン
コーダ値から計算することができる。

【００１５】関節の数により、１自由度から６自由度ま
で計測できる。

【００１６】（２）次に、磁気センサ方式について、図
１５を用いて説明する。

【００１７】ヘルメット１に磁気センサ５を取付け、基
準座標となる位置に磁気コイル６を設置する。

【００１８】この磁気コイル６が発生する磁界８中に磁
気センサ５を置くとセンサに電流が誘起される。

【００１９】この電流の大きさを計算器７で処理するこ
とにより、へルメット１の位置・姿勢を計測する。

【００２０】（３）次に、２眼ステレオ方式について、
図１６を用いて説明する。

【００２１】被験者にマーク９を取付けた眼鏡１０をか
けさせ、そのマーク９を計測用カメラ１１で撮像し、画
像処理装置１２に入力する。

【００２２】この画像処理装置１２において、２眼ステ
レオ視によってそのマーク９の３次元位置を計測する。

【００２３】このマーク９のそれぞれの相対的な３次元
空間位置関係は変わらないので、そのマーク９が形成す
る平面の位置・姿勢が求まる。

【００２４】又、眼鏡１０の代わりに図１７に示すよう
にマーク９を貼ったヘルメット１をかぶることにより、
そのヘルメット１の位置・姿勢、即ち頭部の位置・姿勢
を計測することが出来る。

【００２５】

【発明が解決しようとする課題】しかし、従来の技術に
は、次のような問題がある。

【００２６】（１）メカニカルリンク方式では、被験者
がへルメットを装着しなければならず、長時間の計測に
は苦痛を伴う。

【００２７】また、ヘルメットがずれると計測誤差が大
きくなる。

【００２８】さらに、頭部の移動範囲がメカニカルリン
クの作動範囲に限定され、頭部の動きを妨げることにな
る。

【００２９】（２）磁気センサ方式では、へルメット等
を装着して頭部に磁気センサを取付ける必要があり、同
様に長時間の計測には苦痛を伴う。

【００３０】また、鉄板の近くや、映像モニタの近くで
は、磁界が歪むなどの影響を受け、計測誤差が大きくな
る。

【００３１】（３）２眼ステレオ方式では、やはりメガ
ネやヘルメット等を装着しなければならず、被験者の苦
痛を伴う。

【００３２】また、メガネがずれやすいことから、計測
誤差が大きくなる。

【００３３】このように、いずれの方式においても、被
験者になんらかのセンサやマークを取付ける必要があ
り、被験者に苦痛を伴う。

【００３４】また、頭部に取付けるセンサやマーク等が
ずれることにより計測誤差が増大するおそれがある、等
の課題があった。

【００３５】本発明は、これらの問題を解決することが
できる装置を提供することを目的とする。

【００３６】

【課題を解決するための手段】

（第１の手段）本発明に係る頭部位置・姿勢の計測装置
は、人間の頭部の動きを計測する位置・姿勢計測装置に
おいて、（Ａ）被験者を撮像する２台のカメラ１３、１
４と、（Ｂ）前記２台のカメラから入力された画像から
特徴点を抽出・追跡し、２枚の画像で対応する特徴点を
３角測量の原理で計測する画像処理装置１２と、（Ｃ）
モニタ１６、１７を有し、（Ｄ）被験者の顔の眉２２と
目２７と鼻２８とほくろ２９と口３１の特徴点の内少な
くとも３点を選択し、それぞれの特徴点に専用の抽出・
追跡手法により正確にその画像上の位置を検出してその
３次元位置を２眼ステレオ計測により計測し、（Ｅ）そ
の特徴点の相対的な位置変化からその位置・姿勢変化を
計測することにより、被験者に特別なセンサやマーク等
を取付けることなく頭部の位置・姿勢変化を計測するこ
とを特徴とする。

【００３７】（第２の手段）本発明に係る作業監視装置
は、（Ａ）第１の手段に記載した装置１００と、作業監
視用カメラ５１と、パン・チルト回転台５２と、作業監
視用モニタ５３と、制御装置５４を具備し、（Ｂ）前記
制御装置５４は、第１の手段に記載した装置１００で計
測した計測値に基づき、パン・チルト回転台５２を介し
て、作業監視用カメラ５１および複数の作業監視用モニ
タ５３を制御することを特徴とする。

【００３８】

【発明の実施の形態】

（第１の実施の形態）本発明を図１〜図１１に示す。

【００３９】図１は、第１の実施の形態に係る頭部位置
・姿勢計測装置の構成図、図２は、特徴点の登録方法の
説明図。

【００４０】図３は、眉の位置決定法の説明図。

【００４１】図４は、目の位置決定法の説明図。

【００４２】図５は、鼻とほくろの位置決定法の説明
図。

【００４３】図６は、口の位置決定法の説明図。

【００４４】図７は、２眼ステレオ法の原理を示す図、
図８は、正規相関による特徴点抽出法の説明図。

【００４５】図９は、登録画像を更新する正規相関法の
説明図。

【００４６】図１０は、座標変換の説明図。

【００４７】図１１は、顔座標系の説明図。

【００４８】図１２は、遠隔操作型回転台付き作業監視
用カメラに適用する場合の配置図、図１３は、作業監視
用モニタの表示方法の説明図。

【００４９】本発明装置を用いた計測の手順を以下に示
す。

【００５０】（１）カメラの設置（図１）右カメラ１３と左カメラ１４の光軸が同一平面上に存在
し、被験者の頭部１５の計測範囲が左右のカメラの撮像
範囲に入るようにカメラを設置する。

【００５１】（２）頭部基準位置における特徴点の登録
（図２）左右のカメラに正対するように被験者の顔面の位置を定
める。

【００５２】カメラの画像は右モニタ１６と左モニタ１
７に表示される。

【００５３】特徴点として目、鼻、口等を選定し、その
特徴点が存在する領域をマウス１８やぺン１９で指示す
る。

【００５４】（３）特徴点の位置決定（図３〜図６）前記（２）で指示した領域から特徴点の画像上での座標
を求める。

【００５５】（４）基準座標の生成（図７）左右のカメラ画像において、対応する特徴点の座標を求
め、２眼ステレオ視によってその特徴点の３次元空間座
標を求める。

【００５６】そして、頭部の位置・姿勢の計測に用いる
全ての特徴点の３次元空間位置を求め、基準座標を生成
する。

【００５７】（５）頭部の姿勢が変化すると、画像上で
の特徴点の位置が変化する。この移動した後の特徴点の
画像上での座標を求め、（４）と同様に２眼ステレオ視
によって全ての特徴点の３次元空間座標を求める。そし
て、参照座標を生成する。

【００５８】（６）頭部の位置・姿勢の検出（図１０）前記（４）で求めた基準座標と、（５）で求めた参照座
標から、参照座標の基準座標に対する座標変換を最小自
乗法によって求める。

【００５９】以上の処理により、基準位置に対する頭部
の位置・姿勢の変化分が検出される。

【００６０】次に、前記（２）の頭部基準位置における
特徴点の登録について述べる。

【００６１】特徴点の登録の例を図２に示す。

【００６２】特徴点は、左右のモニタに表示された画像
を人間が指示することにより行う。例えば、口を登録す
る場合、マウス１８により画面に映った被験者の口を含
む矩形領域の左上と右下（指示位置はこれに限らない）
にカーソル２１を持っていき、マウス１８をクリックす
る。

【００６３】これにより口の特徴領域２０を指定する。

【００６４】また、マウス１８に限らず、モニタの座標
を指示するぺン１９を用いて直接モニタ上で矩形領域を
指示することにより、口の特徴領域２０を指定してもよ
い。また、特徴点の指定領域は矩形に限らず、楕円な
ど、特徴点を包括するものであればよい。

【００６５】右モニタ１６と左モニタ１７のそれぞれの
画像において対応する特徴点の特徴領域２０を指定し、
その特徴点は何であるかを（ここでは口）教示する。

【００６６】次に、前記（３）の特徴点の位置決定につ
いて述べる。

【００６７】人間の顔の特徴点は、眉、目、鼻、口、ほ
くろであり、それぞれ性質が違う。例えば、眉と鼻の形
状ははとんど変化しないが、目と口は開いたり閉じたり
する。特に目は、見にくい場合は目を細めたりする。

【００６８】したがって、それぞれの特徴点によって、
その位置を決定する方法を変え、専用の方法を用いるこ
とにより位置検出精度を向上する。

【００６９】（ａ）眉について（図３）眉２２は、ほぼ上に凸の形状をしている。したがって、
図３に示すように、指定した特徴領域２０の中で、眉２
２の輪郭を抽出し、その上部のピーク２３の位置と、右
端２４、左端２５を検出する。

【００７０】このピークと左右端で成す三角形の重心２
６を、眉２２の代表的な位置とする。

【００７１】（ｂ）目について（図４）目２７は、細まったり、大きくなったりする。

【００７２】しかし、瞼は目の上部が主に変位し、下の
瞼はほとんど動かない。

【００７３】したがって、図４に示すように、指定した
特徴領域２０の中で、目２７の輪郭を抽出し、その下部
のピーク２３の位置と、右端２４、左端２５を検出す
る。

【００７４】この２７ピークと左右端で成す三角形の重
心２６を、目の代表的な位置とする。

【００７５】（ｃ）鼻・ほくろ、について（図５）形状が変化しないので、図５に示すように、特徴領域２
０において水平方向に画像の明るさを加算して得られる
水平方向投影分布３０と、垂直方向に画像の明るさを加
算して得られる垂直方向投影分布４０を求める。

【００７６】それぞれの分布の極大値または極小値をピ
ーク２３として、２つのピークを結んだその交点を鼻２
８、もしくは、ほくろ２９の位置とする。

【００７７】（ｄ）口について（図６）口３１は目とは逆に、開けた時は下顎が動くので、上唇
はほとんど動かない。したがって、図６に示すように、
指定した特徴領域２０の中で、口の輪郭を抽出し、その
下部のピーク２３の位置と、右端２４、左端２５を検出
する。

【００７８】ただし、上唇は中央が凹んでいるので、２
つのピークの中央をピーク２３とする。

【００７９】このピーク２３と左右端で成す三角形の重
心２６を、口３１の代表的な位置とする。

【００８０】次に、前記（４）の基準座標の生成につい
て図７を用いて述べる。

【００８１】まず、２眼ステレオ法について述べる。

【００８２】右カメラ１３と左カメラ１４が距離Ｌだけ
離れて、それぞれの光軸３４が平行、かつ、同一平面上
に存在するように設置されている。

【００８３】２つの右カメラ１３、左カメラ１４から撮
像される右画像３２、左画像３３は、いずれも光軸３４
に垂直な同一平面上にあり、走査線方向（Ｘ_L軸方向、
Ｘ_R軸方向）はＸ軸に平行になるように正規化されてい
る。

【００８４】点Ｐの像Ｐ_Lの座標（ｘ_L、ｙ_L）と像Ｐ
_Rの座標（ｘ_R、ｙ_R）求めると、点Ｐの３次元位置
は、式（１）により決定される。

【００８５】

【数１】

【００８６】ここに、Ｌはカメラ間距離、ｆは焦点距離
である。

【００８７】像のｘ軸方向のずれ（ｘ_L−ｘ_R）が３次
元情報を担い、視差と呼ばれる。

【００８８】このステレオ計測により、全ての特徴点の
３次元座標が左右２枚の画像から得られる。

【００８９】この特徴点の全ての３次元座標をあわせて
基準座標を形成する。

【００９０】次に、前記（５）の頭部の姿勢変更後の特
徴点探索について説明する。

【００９１】まず、おおまかな特徴領域２０の位置は正
規相関によるパターンマッチングを用いて求める。

【００９２】正規相関の手法を図８に示す。

【００９３】探索を行う特徴を登録画像３５として記憶
する。

【００９４】探索範囲３６内において登録画像３５と同
じ大きさを持つ領域を、参照画像３８とする。

【００９５】登録画像３５と参照画像３８の大きさを
（ｍ×ｎ）画素とし、その各点の明るさを、それぞれｌ
₁（ｉ、ｊ）とｌ₂（ｉ、ｊ）とする。

【００９６】それぞれの明るさの平均を（μ₁、
μ₂）、分散を（σ₁ ²、σ₂ ²）とする。

【００９７】最も良く用いられる評価関数Ｃを式（２）
に示す。

【００９８】

【数２】

【００９９】Ｃは、類似度が高いほど大きくなる。

【０１００】また、最も簡単な評価関数Ｄを式（３）に
示す。

【０１０１】

【数３】

【０１０２】Ｄは、類似度が高いほど小さくなる。

【０１０３】探索範囲３６内の全ての参照画像３８にお
いて評価関数の値を求め、その値が最大もしくは最小と
なる参照画像３８が求める特徴領域２０の位置となる。

【０１０４】登録画像３５は、図９に示すように、位置
検出後にその特徴領域２０に更新されるため、頭の姿勢
が変化し、参照画像の形が変化しても（図９で左から右
に画像が変化しても）、登録画像との形の違いは大きく
ならず、１つ前で求めた特徴点の位置を基に、その登録
画像領域内で前記（３）の特徴点の位置決定と同様のア
ルゴリズムを用い、目や鼻などの特徴点の正確な座標を
求める。

【０１０５】次に前記（６）の頭部の位置・姿勢の検出
について図１０を用いて述べる。

【０１０６】頭部が回転Ｒ、並進Ｔで表される移動を行
ったとし、各特徴点の初期位置をｒ_i（ｉ＝１〜
ｎ）、移動後の座標をｎ_i（ｉ＝１〜ｎ）とす
る。

【０１０７】この時、ｎ_iは式（４）で表される。

【０１０８】

【数４】

【０１０９】式（４）を解いて、回転Ｒ、並進Ｔを求め
れば、頭部の位置・姿勢は求まる。しかし、計測誤差が
あるために、全ての観測点で式（４）を満たす回転Ｒ、
並進Ｔは求まらない。

【０１１０】そこで、式（５）に示すように、ｒ_iを変
換した後の座標と、ｎ_iの残差をｅ_iとし、このｅ_iの
自乗誤差を最小にする回転Ｒ、並進Ｔを求める。

【０１１１】

【数５】

【０１１２】

【数６】

【０１１３】このＲをｘ、ｙ、ｚの各軸に対する回転に
分離すれば、頭部の初期値に対する姿勢が求まる。

【０１１４】Ｒを式（８）に示す行列におく。

【０１１５】

【数７】

【０１１６】そして、Ｘ軸回りの回転角をｒｏｔ
（Ｘ）、Ｙ軸回りの回転角をｒｏｔ（Ｙ）、Ｚ軸回りの
回転角をｒｏｔ（Ｚ）とおくと、

【数８】

【０１１７】

【数９】

【０１１８】

【数１０】

【０１１９】となる。

【０１２０】頭部の位置は、並進Ｔの（ｘ、ｙ、ｚ）座
標がそのまま頭部の初期値に対する位置となる。

【０１２１】並進Ｔを式（９）に示す行列におく。

【０１２２】Ｔ＝（ｂ₁、ｂ₂、ｂ₃）式（９）そして、Ｘ軸の位置をｔｒ（Ｘ）、Ｙ軸の位置をｔｒ
（Ｙ）、Ｚ軸の位置をｔｒ（Ｚ）とおくと、ｔｒ（Ｘ）＝ｂ₁ ｔｒ（Ｙ）＝ｂ₂ ｔｒ（Ｚ）＝ｂ₃ このｒｏｔ（Ｘ）、ｒｏｔ（Ｙ）、ｒｏｔ（Ｚ）ｔｒ（Ｘ）、ｔｒ（Ｙ）、ｔｒ（Ｚ）が図１１に示す座標系における基準位置に対する頭部の
位置・姿勢変化である。もしも、絶対的な世界座標系に
対する頭部の位置・姿勢の情報が必要ならば、世界座標
系における頭部の基準位置・姿勢が求められれば、簡単
な座標変換によって世界座標系に対する頭部の位置・姿
勢の情報が得られる。

【０１２３】遠隔操作型回転台付き作業監視用カメラに
適用する場合には、図１２のように配置する。

【０１２４】頭部を動かした場合、作業者の視野から作
業監視用モニタ５３がそれてしまうのを防止する為に
は、図１３に示すような、作業監視用モニタの表示方法
を採用する。

【０１２５】図１３（Ａ）に示す分割スクリーン法で
は、カメラの光軸に合わせて表示する画面の位置を変更
し、２つのモニタ面にまたがっても表示出来るようにし
ておく。

【０１２６】図１３（Ｂ）に示すワイドスクリーン法で
は、大画面のモニタの視線方向にある部分の視野にＴＶ
画像を表示させる。

【０１２７】したがって、次のように作用する。

【０１２８】２台の計測用カメラの共通撮像範囲内で、
被験者の頭部（顔面）をカメラに正対するように位置す
る。

【０１２９】これが頭部の基準位置となり、この位置に
対する頭部の位置・姿勢が計測される。

【０１３０】２台の計測用カメラでは、基準位置の被験
者の顔面を撮像し、それぞれの画像を画像処理装置に入
力する。

【０１３１】画像処理装置では、まず、入力された２枚
の画像において、少なくとも３点の抽出すべき特徴点を
マウスなどで指示し、登録する。

【０１３２】このとき、２枚の画像で対応する同じ特徴
点を記憶しておく。

【０１３３】それぞれの特徴点に対して専用の抽出手法
を取り、その画像上の位置を求める。

【０１３４】２枚の画像における特徴点の画像上の位置
から、三角測量の原理でステレオ計測を行い、各特徴点
の３次元位置を求める。

【０１３５】この各特徴点の３次元位置を基準座標とし
て記憶しておく。

【０１３６】被験者の頭部が移動したとき、それぞれの
特徴点の近傍で抽出手法を繰り返し、その画像上の位置
を求め、同様にステレオ計測により各特徴点の３次元位
置を求める。

【０１３７】この各特徴点の３次元位置を参照座標とし
て記憶する。

【０１３８】先に記憶した基準座標と参照座標を用い、
参照座標の基準座標に対する座標変換を求める。

【０１３９】座標変換は、並進変換と回転変換に分けら
れ、これがそれぞれ頭部の位置と姿勢に対応する。

【０１４０】これにより、頭部の位置・姿勢が求まる。

【０１４１】

【発明の効果】本発明は前述のように構成されているの
で、以下に記載するような効果を奏する。

【０１４２】（１）本発明を用いることにより、被験者
にセンサ類やマーク等をいっさい取付けることなく人間
の頭部の位置・姿勢を求めることができる。

【０１４３】（２）また、人間の目や口などの特徴点は
それぞれ固有の特質を持つため、各特徴点に専用の抽出
・追跡手法を用いることにより、正確にその画像上の位
置を検出することができる。

【０１４４】これにより、遠隔目視装置においては、作
業監視用カメラを見たい方向に向ける時にジヨイスティ
ックなど特殊なスイッチを操作することなく、操作員が
被験者撮像用カメラの前に座り、見たい方向に頭を向け
るだけで作業監視用カメラがその方向に向く。

【０１４５】（３）したがって、両手がふさがっていて
も見たい方向にカメラを向けることができ、作業効率が
上がる。

【０１４６】（４）また、操作員はなにも装着する必要
がなく、ただカメラの前に座るだけでよいので、長時間
の操作にも苦痛を伴わず、作業者の負担軽減につなが
る。

【０１４７】（５）また、視線検出を行う際にも、頭部
の動きは得られるので、頭部の動きに対する眼球の動き
を検出することができれば、完全に非接触で視線を求め
ることができ、様々な装置のインターフェースに視線を
用いることができ、操作員の意志を簡単かつ、速やかに
装置に伝えることが出来る。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る頭部位置・姿
勢計測装置の構成図。

【図２】第１の実施の形態に係る装置の特徴点の登録方
法の説明図。

【図３】第１の実施の形態に係る装置の眉の位置決定法
の説明図。

【図４】第１の実施の形態に係る装置の目の位置決定法
の説明図。

【図５】第１の実施の形態に係る装置の鼻とほくろの位
置決定法の説明図。

【図６】第１の実施の形態に係る装置の口の位置決定法
の説明図。

【図７】第１の実施の形態に係る装置の２眼ステレオ法
の原理を示す図。

【図８】第１の実施の形態に係る装置の正規相関による
特徴点抽出法の説明図。

【図９】第１の実施の形態に係る装置の登録画像を更新
する正規相関法の説明図。

【図１０】第１の実施の形態に係る装置の座標変換の説
明図。

【図１１】第１の実施の形態に係る装置の顔座標系の説
明図。

【図１２】遠隔操作型回転台付き作業監視用カメラに適
用する場合の配置図。

【図１３】作業監視用モニタの表示方法の説明図。

【図１４】従来の頭部姿勢計測におけるメカニカルリン
ク方式の説明図。

【図１５】従来の頭部姿勢計測における磁気センサ方式
の説明図。

【図１６】従来の頭部姿勢計測における２眼ステレオ方
式の説明図（１）。

【図１７】従来の頭部姿勢計測における２眼ステレオ方
式の説明図（２）。

【符号の説明】

１ …ヘルメット、２ …メカニカルリンク３ …頭部姿勢計測器、４ …エンコーダ、５ …磁気センサ、６ …磁気コイル、７ …計算器、８ …磁界、９ …マーク、１０…メガネ、１１…計測用カメラ、１２…画像処理装置、１３…右カメラ、１４…左カメラ、１５…頭部、１６…右モニタ、１７…左モニタ、１８…マウス、１９…ペン、２０…特徴領域、２１…カーソル、２２…眉、２３…ピーク、２４…右端、２５…左端、２６…重心、２７…目、２８…鼻、２９…ほくろ、３０…水平方向撮影分布、３１…口、３２…右画像、３３…左画像、３４…光軸、３５…登録画像、３６…探索範囲、３７…入力画像、３８…参照画像、４０…垂直方向撮影分布５１…作業監視用カメラ、５２…パン・チルト回転台、５３…作業監視用モニタ、５４…制御装置、５５…カメラ光軸、１００…頭部位置、姿勢計測装置

Claims

【特許請求の範囲】

【請求項１】人間の頭部の動きを計測する位置・姿勢計
測装置において、（Ａ）被験者を撮像する２台のカメラ
（１３、１４）と、（Ｂ）前記２台のカメラから入力さ
れた画像から特徴点を抽出・追跡し、２枚の画像で対応
する特徴点を３角測量の原理で計測する画像処理装置
（１２）と、（Ｃ）モニタ（１６、１７）を有し、
（Ｄ）被験者の顔の眉（２２）と目（２７）と鼻（２
８）とほくろ（２９）と口（３１）の特徴点の内、少な
くとも３点を選択し、それぞれの特徴点に専用の抽出・
追跡手法により正確にその画像上の位置を検出してその
３次元位置を２眼ステレオ計測により計測し、（Ｅ）そ
の特徴点の相対的な位置変化からその位置・姿勢変化を
計測することにより、被験者に特別なセンサやマーク等
を取付けることなく頭部の位置・姿勢変化を計測するこ
とを特徴とする頭部位置・姿勢の計測装置（１００）。
【請求項２】（Ａ）請求項１に記載した装置（１００）
と、作業監視用カメラ（５１）と、パン・チルト回転台
（５２）と、作業監視用モニタ（５３）と、制御装置
（５４）を具備し、（Ｂ）前記制御装置（５４）は、請
求項１に記載した装置（１００）で計測した計測値に基
づき、パン・チルト回転台（５２）を介して、作業監視
用カメラ（５１）および複数の作業監視用モニタ（５
３）を制御することを特徴とする作業監視装置。