JP2988933B1 - 頭部運動測定装置 - Google Patents
頭部運動測定装置Info
- Publication number
- JP2988933B1 JP2988933B1 JP11012317A JP1231799A JP2988933B1 JP 2988933 B1 JP2988933 B1 JP 2988933B1 JP 11012317 A JP11012317 A JP 11012317A JP 1231799 A JP1231799 A JP 1231799A JP 2988933 B1 JP2988933 B1 JP 2988933B1
- Authority
- JP
- Japan
- Prior art keywords
- rotation angle
- head
- feature point
- unit
- measuring device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Abstract
【要約】
【課題】 高精度かつ実時間で頭部の運動を測定するこ
とができる頭部運動測定装置を提供する。 【解決手段】 本発明の頭部運動測定装置１は、頭部検
出部３、特徴点追跡部４、および回転角推定部５を備え
る。頭部検出部３は、顔画像のなかから測定対象とする
頭部領域を検出する。特徴点追跡部４は、頭部領域にお
ける特徴点を選択し、連続する各フレームごとに特徴点
を追跡する。回転角推定部５は、各フレーム間における
特徴点の位置の変化に基づき、頭部の回転角を推定す
る。
とができる頭部運動測定装置を提供する。 【解決手段】 本発明の頭部運動測定装置１は、頭部検
出部３、特徴点追跡部４、および回転角推定部５を備え
る。頭部検出部３は、顔画像のなかから測定対象とする
頭部領域を検出する。特徴点追跡部４は、頭部領域にお
ける特徴点を選択し、連続する各フレームごとに特徴点
を追跡する。回転角推定部５は、各フレーム間における
特徴点の位置の変化に基づき、頭部の回転角を推定す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理装置に関
し、さらに詳しくは、顔の動画像を画像処理することに
より頭部の運動パラメータを測定する装置に関するもの
である。
し、さらに詳しくは、顔の動画像を画像処理することに
より頭部の運動パラメータを測定する装置に関するもの
である。
【０００２】
【従来の技術】人物間のコミュニケーションにおいて、
人間の頭部は非言語情報の伝達手段として重要な役割を
果たしている。したがって、計算機等とのコミュニケー
ションにおいても、キーボード・マウス等の入力機器を
補完する入力手段として表情および頭部の動きを活用す
ることは有効であると考えられる。
人間の頭部は非言語情報の伝達手段として重要な役割を
果たしている。したがって、計算機等とのコミュニケー
ションにおいても、キーボード・マウス等の入力機器を
補完する入力手段として表情および頭部の動きを活用す
ることは有効であると考えられる。
【０００３】このような頭部の動きや回転角を推定する
代表的な方法として、オプティカルフローを用いた手法
およびカルマンフィルタを用いた手法がある。
代表的な方法として、オプティカルフローを用いた手法
およびカルマンフィルタを用いた手法がある。
【０００４】
【発明が解決しようとする課題】しかしながら、オプテ
ィカルフローを用いた手法により推定した場合、オプテ
ィカルフローの２次元分布を２次の多項式で近似して係
数に基づき推定を行なうため、精度が悪いという問題が
あった。
ィカルフローを用いた手法により推定した場合、オプテ
ィカルフローの２次元分布を２次の多項式で近似して係
数に基づき推定を行なうため、精度が悪いという問題が
あった。
【０００５】また、カルマンフィルタを用いた手法によ
り推定した場合、頭部の回転角が大きくなると予測の精
度が落ちるという問題があった。
り推定した場合、頭部の回転角が大きくなると予測の精
度が落ちるという問題があった。
【０００６】そこで、本発明はこのような問題を解決す
るためになされたものであり、高精度かつ実時間で頭部
の運動を測定することができる頭部運動測定装置を提供
することを目的とする。
るためになされたものであり、高精度かつ実時間で頭部
の運動を測定することができる頭部運動測定装置を提供
することを目的とする。
【０００７】
【課題を解決するための手段】請求項１に係る頭部運動
測定装置は、顔動画像から、頭部の運動パラメータを測
定する頭部運動測定装置であって、第１フレームの画像
から頭部領域を検出する検出手段と、頭部領域における
特徴点を選択する選択手段と、連続する各フレームごと
に特徴点を追跡する追跡手段と、各フレーム間における
特徴点の位置の変化に基づき、頭部の回転角を測定する
回転角推定手段とを備える。
測定装置は、顔動画像から、頭部の運動パラメータを測
定する頭部運動測定装置であって、第１フレームの画像
から頭部領域を検出する検出手段と、頭部領域における
特徴点を選択する選択手段と、連続する各フレームごと
に特徴点を追跡する追跡手段と、各フレーム間における
特徴点の位置の変化に基づき、頭部の回転角を測定する
回転角推定手段とを備える。
【０００８】請求項２に係る頭部運動測定装置は、請求
項１に係る頭部運動測定装置であって、選択手段は、画
像を構成する各ピクセルごとに、濃度分布の相関行列を
算出する手段と、各相関行列における第１固有値と第１
固有値より小さい第２固有値とを算出する手段と、第２
固有値の大きい順に、所定数のピクセルを特徴点として
選択する手段とを含む。
項１に係る頭部運動測定装置であって、選択手段は、画
像を構成する各ピクセルごとに、濃度分布の相関行列を
算出する手段と、各相関行列における第１固有値と第１
固有値より小さい第２固有値とを算出する手段と、第２
固有値の大きい順に、所定数のピクセルを特徴点として
選択する手段とを含む。
【０００９】請求項３に係る頭部運動測定装置は、請求
項１に係る頭部運動測定装置であって、回転角推定手段
は、特徴点を弱透視変換する変換手段と、弱透視変換の
エピポーラ拘束条件に従い、隣接するフレーム間におけ
る特徴点の座標値から、３次元空間における第１の回転
角および第２の回転角を算出する第１の算出手段と、頭
部を円柱で近似し、隣接するフレーム間における特徴点
の座標値と円柱の回転軸との関係から３次元空間におけ
る第３の回転角を算出する第２の算出手段とを含む。
項１に係る頭部運動測定装置であって、回転角推定手段
は、特徴点を弱透視変換する変換手段と、弱透視変換の
エピポーラ拘束条件に従い、隣接するフレーム間におけ
る特徴点の座標値から、３次元空間における第１の回転
角および第２の回転角を算出する第１の算出手段と、頭
部を円柱で近似し、隣接するフレーム間における特徴点
の座標値と円柱の回転軸との関係から３次元空間におけ
る第３の回転角を算出する第２の算出手段とを含む。
【００１０】請求項４に係る頭部運動測定装置は、請求
項３に係る頭部運動測定装置であって、第１の算出手段
は、弱透視変換した特徴点間の相関行列の最小固有値に
対応する固有ベクトルを求める手段と、求めた固有ベク
トルに基づき、３次元空間における第１の回転角および
第２の回転角を算出する手段とを含む。
項３に係る頭部運動測定装置であって、第１の算出手段
は、弱透視変換した特徴点間の相関行列の最小固有値に
対応する固有ベクトルを求める手段と、求めた固有ベク
トルに基づき、３次元空間における第１の回転角および
第２の回転角を算出する手段とを含む。
【００１１】
【発明の実施の形態】［実施の形態１］本発明の実施の
形態１に係る頭部運動測定装置について図１を用いて説
明する。図１は、本発明の実施の形態１における頭部測
定装置１の全体構成を示す概略ブロック図である。図１
を参照して、頭部運動測定装置１は、画像入力部２、頭
部検出部３、特徴点追跡部４、回転角推定部５、出力部
６、ビデオカメラ７および表示装置８を備える。頭部運
動測定装置１は、ビデオカメラ７から受ける顔動画像に
基づき頭部の運動パラメータ（移動ベクトル、回転角）
を測定する。
形態１に係る頭部運動測定装置について図１を用いて説
明する。図１は、本発明の実施の形態１における頭部測
定装置１の全体構成を示す概略ブロック図である。図１
を参照して、頭部運動測定装置１は、画像入力部２、頭
部検出部３、特徴点追跡部４、回転角推定部５、出力部
６、ビデオカメラ７および表示装置８を備える。頭部運
動測定装置１は、ビデオカメラ７から受ける顔動画像に
基づき頭部の運動パラメータ（移動ベクトル、回転角）
を測定する。
【００１２】図１における頭部運動測定装置１の処理の
概要を、図２を用いて説明する。図２は、図１に示す頭
部運動測定装置１の処理の概要を説明するためのフロー
チャートである。図２を参照して、ステップＳ１−１で
は、画像入力部２により、ビデオカメラ７から動画像を
取込む。ステップＳ１−２では、頭部検出部３により、
運動パラメータの算出の対象となる頭部領域を第１フレ
ームの画像から検出する。ステップＳ１−３では、検出
した頭部領域に含まれる特徴点を検出し、さらに各フレ
ームごとに特徴点の位置を追跡する。ステップＳ１−４
では、回転角推定部５により、頭部の回転角を算出す
る。ステップＳ１−５では、出力部６により、測定した
運動パラメータ（移動ベクトル、回転角）を外部（たと
えば、表示装置８）に出力する。
概要を、図２を用いて説明する。図２は、図１に示す頭
部運動測定装置１の処理の概要を説明するためのフロー
チャートである。図２を参照して、ステップＳ１−１で
は、画像入力部２により、ビデオカメラ７から動画像を
取込む。ステップＳ１−２では、頭部検出部３により、
運動パラメータの算出の対象となる頭部領域を第１フレ
ームの画像から検出する。ステップＳ１−３では、検出
した頭部領域に含まれる特徴点を検出し、さらに各フレ
ームごとに特徴点の位置を追跡する。ステップＳ１−４
では、回転角推定部５により、頭部の回転角を算出す
る。ステップＳ１−５では、出力部６により、測定した
運動パラメータ（移動ベクトル、回転角）を外部（たと
えば、表示装置８）に出力する。
【００１３】次に、図１に示す頭部検出部３について説
明する。頭部検出部３では、頭部の輪郭を円でフィッテ
ィングし、フィッティングされた円に含まれる領域を頭
部領域として検出する。頭部の輪郭を円で近似し、円の
中心座標と半径とを変化させたときに濃淡の勾配ベクト
ルの法線方向成分を円周上で線積分して得られる積分値
が最大となる円を選択する。
明する。頭部検出部３では、頭部の輪郭を円でフィッテ
ィングし、フィッティングされた円に含まれる領域を頭
部領域として検出する。頭部の輪郭を円で近似し、円の
中心座標と半径とを変化させたときに濃淡の勾配ベクト
ルの法線方向成分を円周上で線積分して得られる積分値
が最大となる円を選択する。
【００１４】より具体的には、図３に示すフローに基づ
き頭部の輪郭を近似する円を求める。図３は、図１に示
す頭部検出部３の処理を説明するためのフローチャート
である。図３を参照して、ステップＳ２−１において、
入力画像（第１フレーム）の濃度勾配ベクトルをピクセ
ルごとに算出する。ステップＳ２−２では、円の半径と
中心座標とを変数とする３次元配列を初期化する。ステ
ップＳ２−３では、ピクセルごとに、ピクセル座標から
濃度勾配ベクトルの方向に中心があり、かつ距離が半径
と一致する配列の要素に濃度勾配ベクトルの絶対値を加
算する。ステップＳ２−４では、配列の最大値に対応す
る変数を求める円の半径および中心座標とする。
き頭部の輪郭を近似する円を求める。図３は、図１に示
す頭部検出部３の処理を説明するためのフローチャート
である。図３を参照して、ステップＳ２−１において、
入力画像（第１フレーム）の濃度勾配ベクトルをピクセ
ルごとに算出する。ステップＳ２−２では、円の半径と
中心座標とを変数とする３次元配列を初期化する。ステ
ップＳ２−３では、ピクセルごとに、ピクセル座標から
濃度勾配ベクトルの方向に中心があり、かつ距離が半径
と一致する配列の要素に濃度勾配ベクトルの絶対値を加
算する。ステップＳ２−４では、配列の最大値に対応す
る変数を求める円の半径および中心座標とする。
【００１５】濃度勾配と円とを照合する際に円周上の線
積分を行なうと重複計算が起き効率が悪い。そこで図３
に示す手法においては、配列を用いるＨｏｕｇｈ変換を
利用している。
積分を行なうと重複計算が起き効率が悪い。そこで図３
に示す手法においては、配列を用いるＨｏｕｇｈ変換を
利用している。
【００１６】図４は、頭部検出部３における検出結果を
説明するための図である。図４に示すように、頭部の上
部は頭部の回転にかかわらずほぼ円形に近いため、頭部
の上部における輪郭を円で近似することが可能となる。
説明するための図である。図４に示すように、頭部の上
部は頭部の回転にかかわらずほぼ円形に近いため、頭部
の上部における輪郭を円で近似することが可能となる。
【００１７】続いて、図１における特徴点追跡部４につ
いて説明する。特徴点追跡部４では、検出した頭部領域
の中から特徴点を選択する処理、およびフレームごとに
特徴点を追跡して移動ベクトルを求める処理を行なう。
いて説明する。特徴点追跡部４では、検出した頭部領域
の中から特徴点を選択する処理、およびフレームごとに
特徴点を追跡して移動ベクトルを求める処理を行なう。
【００１８】特徴点追跡部４における特徴点の選択処理
を、図５を用いて説明する。図５は、図１に示す特徴点
追跡部４における特徴点の選択処理について説明するた
めのフローチャートである。図５を参照して、ステップ
Ｓ３−１において、ピクセルごとに勾配ベクトルを算出
する。ステップＳ３−２では、ピクセルごとに勾配の相
関行列を計算する。相関行列は式（１）で表現される。
ここで、ｇx 、ｇy はそれぞれ正方形の画面上でのｘ、
ｙ方向の濃度勾配の平均値を示している。
を、図５を用いて説明する。図５は、図１に示す特徴点
追跡部４における特徴点の選択処理について説明するた
めのフローチャートである。図５を参照して、ステップ
Ｓ３−１において、ピクセルごとに勾配ベクトルを算出
する。ステップＳ３−２では、ピクセルごとに勾配の相
関行列を計算する。相関行列は式（１）で表現される。
ここで、ｇx 、ｇy はそれぞれ正方形の画面上でのｘ、
ｙ方向の濃度勾配の平均値を示している。
【００１９】
【数１】
【００２０】ステップＳ３−４では、ピクセルを相関行
列の第２固有値の大きさ順に並べる。ここで相関行列の
第２固有値とは、式（１）の相関行列における固有値の
うち小さい方の値に相当する。この第２固有値を追跡の
容易さの尺度として用いる。ステップＳ３−５では、第
２固有値の一番大きいピクセルから所定数のピクセルま
でを特徴点として選択する。
列の第２固有値の大きさ順に並べる。ここで相関行列の
第２固有値とは、式（１）の相関行列における固有値の
うち小さい方の値に相当する。この第２固有値を追跡の
容易さの尺度として用いる。ステップＳ３−５では、第
２固有値の一番大きいピクセルから所定数のピクセルま
でを特徴点として選択する。
【００２１】特徴点追跡部４における特徴点の追跡処理
を、図６を用いて説明する。図６は、図１に示す特徴点
追跡部４における特徴点の追跡処理について説明するた
めのフローチャートである。図５の手法により特徴点を
第１フレームから選択した後、各フレームに対して図６
に示す手法を用いて特徴点を追跡する。図６を参照し
て、ステップＳ４−１において、特徴点ごとに勾配ベク
トルを算出する。ステップＳ４−２では、特徴点ごとに
式（１）を用いて勾配の相関行列を計算する。
を、図６を用いて説明する。図６は、図１に示す特徴点
追跡部４における特徴点の追跡処理について説明するた
めのフローチャートである。図５の手法により特徴点を
第１フレームから選択した後、各フレームに対して図６
に示す手法を用いて特徴点を追跡する。図６を参照し
て、ステップＳ４−１において、特徴点ごとに勾配ベク
トルを算出する。ステップＳ４−２では、特徴点ごとに
式（１）を用いて勾配の相関行列を計算する。
【００２２】ステップＳ４−３において相関行列の第２
固有値を求め、第２固有値（特徴点の追跡の容易さの尺
度）が所定のしきい値よりも大きいか否かを判定する。
第２固有値が所定のしきい値（たとえば、”０”）より
も大きい場合（追跡成功）、ステップＳ４−４に移る。
ステップＳ４−４では、式（２）および式（３）を用い
て特徴点の移動ベクトルｄ＝［ｄx 、ｄy ］を求める。
固有値を求め、第２固有値（特徴点の追跡の容易さの尺
度）が所定のしきい値よりも大きいか否かを判定する。
第２固有値が所定のしきい値（たとえば、”０”）より
も大きい場合（追跡成功）、ステップＳ４−４に移る。
ステップＳ４−４では、式（２）および式（３）を用い
て特徴点の移動ベクトルｄ＝［ｄx 、ｄy ］を求める。
【００２３】
【数２】
【００２４】ここで、記号Ｉ（Ｘ）、記号Ｊ（Ｘ）は、
隣接するフレーム間での画像の濃度分布を表わしてい
る。このようにして求めた移動ベクトルｄに基づき特徴
点の位置座標を更新する。
隣接するフレーム間での画像の濃度分布を表わしてい
る。このようにして求めた移動ベクトルｄに基づき特徴
点の位置座標を更新する。
【００２５】一方、第２固有値が所定のしきい値よりも
小さい場合（追跡失敗）、ステップＳ４−５に移る。こ
の場合、特徴点でないピクセルの中から、追跡の容易さ
の尺度が大きいピクセルを新たに特徴点として加える。
小さい場合（追跡失敗）、ステップＳ４−５に移る。こ
の場合、特徴点でないピクセルの中から、追跡の容易さ
の尺度が大きいピクセルを新たに特徴点として加える。
【００２６】続いて、図１に示す回転角推定部５につい
て説明する。回転角推定部５では、頭部が固定されてお
りカメラが相対的に移動するものと解釈して、弱透視変
換のエピポーラ拘束条件に従い、第（ｎ−１）番目のフ
レームと第ｎ番目のフレームとにおける特徴点の座標値
から回転角を算出する。
て説明する。回転角推定部５では、頭部が固定されてお
りカメラが相対的に移動するものと解釈して、弱透視変
換のエピポーラ拘束条件に従い、第（ｎ−１）番目のフ
レームと第ｎ番目のフレームとにおける特徴点の座標値
から回転角を算出する。
【００２７】弱透視射影モデルについて図７を用いて説
明する。図７は、弱透視射影モデルについて説明するた
めの図である。図７を参照して、物体Ｓの弱透視射影モ
デルＳ０は、物体Ｓの近傍に置かれた平行面Ｘに光軸と
平行に射影された画像Ｓ１を透視射影により画像面ｘに
射影することによって得られる。なお、弱透視変換のエ
ピポーラ拘束条件とは、同一の物体を２台のカメラで撮
影したステレオ画像において、一方の画像の任意の一点
に対応する他方の画像上での点は、ある直線（エピポー
ラ線）上に位置することをいう。
明する。図７は、弱透視射影モデルについて説明するた
めの図である。図７を参照して、物体Ｓの弱透視射影モ
デルＳ０は、物体Ｓの近傍に置かれた平行面Ｘに光軸と
平行に射影された画像Ｓ１を透視射影により画像面ｘに
射影することによって得られる。なお、弱透視変換のエ
ピポーラ拘束条件とは、同一の物体を２台のカメラで撮
影したステレオ画像において、一方の画像の任意の一点
に対応する他方の画像上での点は、ある直線（エピポー
ラ線）上に位置することをいう。
【００２８】次に、回転角推定部５における処理の概要
をフローチャートである図８を用いて説明する。図８
は、図１に示す回転角推定部５の処理の概要を説明する
ためのフローチャートである。図８を参照して、ステッ
プＳ５−１において、前後のフレームに関して特徴点の
重心間の相対ベクトルを計算する。２つのフレーム間で
の顔の動きをＲ（回転行列）およびＴ（移動ベクトル）
で表現すると、顔の特徴点の３次元空間における座標Ｘ
の移動および回転後の座標Ｘ′は式（４）の関係にある
（なお、以下、移動および回転後の座標値は、各記号
に”′”を付けて、移動および回転前の座標値と区別す
る）。特徴点間の相対ベクトルΔＸが式（５）で表わさ
れるため、特徴点間の相対ベクトルΔＸ′は式（６）に
より求められる。
をフローチャートである図８を用いて説明する。図８
は、図１に示す回転角推定部５の処理の概要を説明する
ためのフローチャートである。図８を参照して、ステッ
プＳ５−１において、前後のフレームに関して特徴点の
重心間の相対ベクトルを計算する。２つのフレーム間で
の顔の動きをＲ（回転行列）およびＴ（移動ベクトル）
で表現すると、顔の特徴点の３次元空間における座標Ｘ
の移動および回転後の座標Ｘ′は式（４）の関係にある
（なお、以下、移動および回転後の座標値は、各記号
に”′”を付けて、移動および回転前の座標値と区別す
る）。特徴点間の相対ベクトルΔＸが式（５）で表わさ
れるため、特徴点間の相対ベクトルΔＸ′は式（６）に
より求められる。
【００２９】 Ｘ′＝ＲΔＸ＋Ｔ …（４） ΔＸ′≡Ｘ−Ｘ0 …（５） ΔＸ′＝Ｘ′−Ｘ0 ′＝ＲΔＸ …（６） 続くステップＳ５−２では、前後のフレームの相対ベク
トルを結合した４次元ベクトルの相関行列を計算する。
この際上述した弱透視射影モデルを用いる。
トルを結合した４次元ベクトルの相関行列を計算する。
この際上述した弱透視射影モデルを用いる。
【００３０】弱透視射影モデルを用いた場合、３次元空
間での座標Ｘと画像面に射影された座標ｘとは、式
（７）の関係を有するため、式（４）〜式（６）により
画像面上の特徴点の相対ベクトル間の関係は式（８）の
形となる。
間での座標Ｘと画像面に射影された座標ｘとは、式
（７）の関係を有するため、式（４）〜式（６）により
画像面上の特徴点の相対ベクトル間の関係は式（８）の
形となる。
【００３１】
【数３】
【００３２】ここで、記号ｆは、カメラの焦点距離を表
わしている。記号Ｚave は、カメラと物体の近傍に置か
れた平行面との距離を表わしているが、ここではカメラ
から物体の中心までの距離を使用する。記号Ｒｉｊ（た
だしｉ＝１〜２、ｊ＝１〜３）は回転行列Ｒの（ｉ、
ｊ）成分を、記号Ｓは伸縮率（≡Ｚ′ave ／Ｚave ）を
それぞれ表わしている。［Ｒ１１、Ｒ２１、Ｒ３１］、
［Ｒ１２、Ｒ２２、Ｒ３２］、［Ｒ１３、Ｒ２３、Ｒ３
３］は、直交規定である。したがって、式（８）よりΔ
ｚを消去すると、式（９）が得られる。
わしている。記号Ｚave は、カメラと物体の近傍に置か
れた平行面との距離を表わしているが、ここではカメラ
から物体の中心までの距離を使用する。記号Ｒｉｊ（た
だしｉ＝１〜２、ｊ＝１〜３）は回転行列Ｒの（ｉ、
ｊ）成分を、記号Ｓは伸縮率（≡Ｚ′ave ／Ｚave ）を
それぞれ表わしている。［Ｒ１１、Ｒ２１、Ｒ３１］、
［Ｒ１２、Ｒ２２、Ｒ３２］、［Ｒ１３、Ｒ２３、Ｒ３
３］は、直交規定である。したがって、式（８）よりΔ
ｚを消去すると、式（９）が得られる。
【００３３】
【数４】
【００３４】ステップＳ５−３では、相関行列の最小固
有値に対応する固有ベクトルｎ＝［ａｂｃｄ］を求め
る。ここで、ａ≡Ｒ23、（−ｂ）≡Ｒ13、（ｃ／ｓ）≡
Ｒ32、（−ｄ／ｓ）≡Ｒ31の関係にある。具体的には、
式（１０）〜（１１）に基づき、式（１２）を満たす最
小の固有値に対応する固有ベクトルを求める。なお、エ
ピポーラ拘束条件により、ａ、ｂ、ｃ、ｄは特徴点に依
存しない値となる。
有値に対応する固有ベクトルｎ＝［ａｂｃｄ］を求め
る。ここで、ａ≡Ｒ23、（−ｂ）≡Ｒ13、（ｃ／ｓ）≡
Ｒ32、（−ｄ／ｓ）≡Ｒ31の関係にある。具体的には、
式（１０）〜（１１）に基づき、式（１２）を満たす最
小の固有値に対応する固有ベクトルを求める。なお、エ
ピポーラ拘束条件により、ａ、ｂ、ｃ、ｄは特徴点に依
存しない値となる。
【００３５】 Ｗ≡Σi ｒi ｒi T …（１０） ｒi ≡［ｘi ′ｙi ′ｘi ｙi ］ …（１１） Ｗｎ＝λ1 ｎ …（１２） ステップＳ５−４では、求めた固有ベクトルｎにより、
３次元空間における第１の回転角（θ）および第２の回
転角（φ）を計算する。さらにステップＳ５−５では、
後述する手法により第３の回転角（ρ）を計算する。
３次元空間における第１の回転角（θ）および第２の回
転角（φ）を計算する。さらにステップＳ５−５では、
後述する手法により第３の回転角（ρ）を計算する。
【００３６】３次元空間における回転角の表現として、
ＫｖＤ法を用いる。ここで、ＫｖＤ法について図９を用
いて説明する。図９は、ＫｖＤ法について説明するため
の概念図である。図９を参照して、まずｚ軸を軸として
第１の回転角θだけ回転し、次にＸＹ平面内にありＸ軸
から第２の回転角φだけ回転した直線を軸（図中記号
Φ）に第３の回転角ρだけ回転させる。
ＫｖＤ法を用いる。ここで、ＫｖＤ法について図９を用
いて説明する。図９は、ＫｖＤ法について説明するため
の概念図である。図９を参照して、まずｚ軸を軸として
第１の回転角θだけ回転し、次にＸＹ平面内にありＸ軸
から第２の回転角φだけ回転した直線を軸（図中記号
Φ）に第３の回転角ρだけ回転させる。
【００３７】この場合、式（９）は、式（１３）のよう
に書替えられる。したがって、固有ベクトルｎに基づ
き、式（１４）〜（１６）によりＫｖＤ法のパラメータ
である回転角θ、φを求める。
に書替えられる。したがって、固有ベクトルｎに基づ
き、式（１４）〜（１６）によりＫｖＤ法のパラメータ
である回転角θ、φを求める。
【００３８】
【数５】
【００３９】続いて、画像面と平行な面内の回転軸Φに
関する第３の回転角ρを算出する手法について説明す
る。第３の回転角ρを求める手法として、オフライン手
法およびオンライン手法がある。
関する第３の回転角ρを算出する手法について説明す
る。第３の回転角ρを求める手法として、オフライン手
法およびオンライン手法がある。
【００４０】まず、第３の回転角ρを求めるためのオフ
ライン手法について説明する。図１０は、第３の回転角
ρを求めるための測定装置３０（オフライン手法）の構
成を説明するための図であり、図１１は、図１０に示す
測定装置３０における処理の概要を示すフローチャート
である。
ライン手法について説明する。図１０は、第３の回転角
ρを求めるための測定装置３０（オフライン手法）の構
成を説明するための図であり、図１１は、図１０に示す
測定装置３０における処理の概要を示すフローチャート
である。
【００４１】図１０を参照して、測定装置３０は、特徴
点座標入力部１０、座標変換部１１、特異値分解部１
２、列選択部１３および回転角出力部１４を備える。測
定装置３０（オフライン手法）では、第１フレームに対
する回転角を算出する。特徴点座標入力部１０は、特徴
点追跡部４において自動で追跡した特徴点を、または手
動で追跡した特徴点を入力に受ける。
点座標入力部１０、座標変換部１１、特異値分解部１
２、列選択部１３および回転角出力部１４を備える。測
定装置３０（オフライン手法）では、第１フレームに対
する回転角を算出する。特徴点座標入力部１０は、特徴
点追跡部４において自動で追跡した特徴点を、または手
動で追跡した特徴点を入力に受ける。
【００４２】図１０および図１１を参照して、ステップ
Ｓ５−１では、座標変換部１１により、特徴点座標入力
部１０から受ける各特徴点について座標変換を行なう。
具体的には、第ｎフレームの特徴点ｉの回転軸Φへの垂
線の脚の長さを（ｊ、ｉ）要素とする行列Ｍを構成す
る。行列Ｍは、列数が特異点の個数ｎであり、行数がフ
レーム数ｆのｎ行ｆ列で構成される。
Ｓ５−１では、座標変換部１１により、特徴点座標入力
部１０から受ける各特徴点について座標変換を行なう。
具体的には、第ｎフレームの特徴点ｉの回転軸Φへの垂
線の脚の長さを（ｊ、ｉ）要素とする行列Ｍを構成す
る。行列Ｍは、列数が特異点の個数ｎであり、行数がフ
レーム数ｆのｎ行ｆ列で構成される。
【００４３】次に、ステップＳ５−２では、特異点分解
部１２により、行列Ｍを特異値分解する。具体的には、
ｆ行ｎ列の行列Ａとｎ行ｎ列の行列Ｂとに分解する。こ
こで、行列Ｍの要素ｍijが式（１７）に示すように記述
されたとする。
部１２により、行列Ｍを特異値分解する。具体的には、
ｆ行ｎ列の行列Ａとｎ行ｎ列の行列Ｂとに分解する。こ
こで、行列Ｍの要素ｍijが式（１７）に示すように記述
されたとする。
【００４４】 ｍij＝ρi ×ｚj …（１７） 記号ｚj はｊ番目の特異点から回転軸Φを含む面へ降ろ
した垂線の脚の長さである。このように仮定すると、行
列Ａはある１列のみが、行列Ｂはある１行のみが０でな
い値を持つ行列となり、各要素はρi およびｚj に比例
した値となる。ステップＳ５−３では、列選択部１３に
より、行列Ａから適当な列を選んで、その第ｊ要素を第
ｊフレームの第３の回転角ρとする。回転角出力部１４
は、求めた第３の回転角ρを出力する。
した垂線の脚の長さである。このように仮定すると、行
列Ａはある１列のみが、行列Ｂはある１行のみが０でな
い値を持つ行列となり、各要素はρi およびｚj に比例
した値となる。ステップＳ５−３では、列選択部１３に
より、行列Ａから適当な列を選んで、その第ｊ要素を第
ｊフレームの第３の回転角ρとする。回転角出力部１４
は、求めた第３の回転角ρを出力する。
【００４５】続いて、オンライン手法による第３の回転
角の算出について説明する。オンライン手法では、頭部
を図１２に示すように円柱と仮定し、各特徴点の移動量
から第３の回転角ρを算出する。図１２において記号Ｖ
は、特徴点を表わしている。
角の算出について説明する。オンライン手法では、頭部
を図１２に示すように円柱と仮定し、各特徴点の移動量
から第３の回転角ρを算出する。図１２において記号Ｖ
は、特徴点を表わしている。
【００４６】図１３は、第３の回転角ρを求めるための
測定装置３５（オンライン手法）の構成を説明するため
の図であり、図１４は、図１３に示す測定装置３５にお
ける処理の概要を説明するためのフローチャートであ
る。
測定装置３５（オンライン手法）の構成を説明するため
の図であり、図１４は、図１３に示す測定装置３５にお
ける処理の概要を説明するためのフローチャートであ
る。
【００４７】図１３を参照して、測定装置３５は、特徴
点座標入力部２０、座標変換部２１、回転角算出部２２
および回転角出力部２４を備える。測定装置３５（オン
ライン手法）では、隣接するフレーム間の回転角を算出
する。この場合、上述したように、人間の頭部を円柱で
近似し、自動的に追跡される特徴点は円柱の表面に分布
しているものと仮定する。円柱の動径は、頭部領域の抽
出においてフィッティングした円の半径を用いる。特徴
点座標入力部２０は、特徴点追跡部４において自動で追
跡した特徴点を入力に受け、座標変換部２１に出力す
る。
点座標入力部２０、座標変換部２１、回転角算出部２２
および回転角出力部２４を備える。測定装置３５（オン
ライン手法）では、隣接するフレーム間の回転角を算出
する。この場合、上述したように、人間の頭部を円柱で
近似し、自動的に追跡される特徴点は円柱の表面に分布
しているものと仮定する。円柱の動径は、頭部領域の抽
出においてフィッティングした円の半径を用いる。特徴
点座標入力部２０は、特徴点追跡部４において自動で追
跡した特徴点を入力に受け、座標変換部２１に出力す
る。
【００４８】図１３および図１４を参照して、ステップ
Ｓ６−１では、座標変換部２１により、特徴点ごとに隣
接するフレーム間の移動ベクトルの回転軸Φに垂直な成
分ΔＶT を計算する。ステップＳ６−２では、特徴点ご
とに頭部の回転軸の交点を原点とする座標系でのＺ座標
値Ｖz を計算する。
Ｓ６−１では、座標変換部２１により、特徴点ごとに隣
接するフレーム間の移動ベクトルの回転軸Φに垂直な成
分ΔＶT を計算する。ステップＳ６−２では、特徴点ご
とに頭部の回転軸の交点を原点とする座標系でのＺ座標
値Ｖz を計算する。
【００４９】ステップＳ６−３では、回転角算出部２２
により、次式（１８）に従い第３の回転角ρを算出す
る。回転角出力部２４は、求めた第３の回転角ρを出力
する。
により、次式（１８）に従い第３の回転角ρを算出す
る。回転角出力部２４は、求めた第３の回転角ρを出力
する。
【００５０】
【数６】
【００５１】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【００５２】
【発明の効果】以上のように、本願発明に係る頭部運動
測定装置によれば、頭部の運動パラメータを実時間で画
像処理のみにより求めることが可能となる。
測定装置によれば、頭部の運動パラメータを実時間で画
像処理のみにより求めることが可能となる。
【００５３】また、高い精度で運動パラメータを求める
ことができるため、目や口などの特徴点を精度よく追跡
することができ認識精度を向上させることができる。
ことができるため、目や口などの特徴点を精度よく追跡
することができ認識精度を向上させることができる。
【００５４】さらに、うなづきなどの動作を認識するこ
とができるため、マンマシンインターフェイスとして利
用することが可能となる。
とができるため、マンマシンインターフェイスとして利
用することが可能となる。
【図１】本発明の実施の形態１における頭部運動測定装
置１の全体構成を示す概略ブロック図である。
置１の全体構成を示す概略ブロック図である。
【図２】図１に示す頭部運動測定装置１の処理の概要を
説明するためのフローチャートである。
説明するためのフローチャートである。
【図３】図１に示す頭部検出部３の処理を説明するため
のフローチャートである。
のフローチャートである。
【図４】頭部検出部３における頭部領域の検出状況を説
明するための図である。
明するための図である。
【図５】図１に示す特徴点追跡部４における特徴点の選
択処理について説明するためのフローチャートである。
択処理について説明するためのフローチャートである。
【図６】図１に示す特徴点追跡部４における特徴点の追
跡処理について説明するためのフローチャートである。
跡処理について説明するためのフローチャートである。
【図７】弱透視射影モデルについて説明するための図で
ある。
ある。
【図８】図１に示す回転角推定部５の処理の概要を説明
するためのフローチャートである。
するためのフローチャートである。
【図９】ＫｖＤ法による回転角の表現を説明するための
図である。
図である。
【図１０】オフライン手法における測定装置３０の構成
を説明するためのブロック図である。
を説明するためのブロック図である。
【図１１】図１０に示す測定装置３０の処理を説明する
ためのフローチャートである。
ためのフローチャートである。
【図１２】オンライン手法における処理を説明するため
の図である。
の図である。
【図１３】オンライン手法における測定装置３５の構成
を説明するためのブロック図である。
を説明するためのブロック図である。
【図１４】図１３に示す測定装置３５の処理を説明する
ためのフローチャートである。
ためのフローチャートである。
１ 頭部運動測定装置 ２ 画像入力部 ３ 頭部検出部 ４ 特徴点追跡部 ５ 回転角推定部 ６ 出力部 ７ ビデオカメラ ８ 表示装置 １０、２０ 特徴点座標入力部 １１、２１ 座標変換部 １２ 特異点分析部 １３ 列選択部 ２２ 回転角算出部 １４、２４ 回転角出力部 ３０、３５ 測定装置
フロントページの続き (56)参考文献 特開 平３−85685（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) A61B 5/11 G06T 7/60
Claims (4)
- 【請求項１】 顔動画像から、頭部の運動パラメータを
測定する頭部運動測定装置であって、 第１フレームの画像から頭部領域を検出する検出手段
と、 前記頭部領域における特徴点を選択する選択手段と、 連続する各フレームごとに前記特徴点を追跡する追跡手
段と、 前記各フレーム間における前記特徴点の位置の変化に基
づき、前記頭部の回転角を測定する回転角推定手段とを
備える、頭部運動測定装置。 - 【請求項２】 前記選択手段は、 前記画像を構成する各ピクセルごとに、濃度分布の相関
行列を算出する手段と、 各前記相関行列における第１固有値と前記第１固有値よ
り小さい第２固有値とを算出する手段と、 前記第２固有値の大きい順に、所定数のピクセルを前記
特徴点として選択する手段とを含む、請求項１記載の頭
部運動測定装置。 - 【請求項３】 前記回転角推定手段は、 前記特徴点を弱透視変換する変換手段と、 前記弱透視変換のエピポーラ拘束条件に従い、隣接する
フレーム間における前記特徴点の座標値から、３次元空
間における第１の回転角および第２の回転角を算出する
第１の算出手段と、 前記頭部を円柱で近似し、隣接するフレーム間における
前記特徴点の座標値と前記円柱の回転軸との関係から前
記３次元空間における第３の回転角を算出する第２の算
出手段とを含む、請求項１記載の頭部運動測定装置。 - 【請求項４】 前記第１の算出手段は、 前記弱透視変換した前記特徴点間の相関行列の最小固有
値に対応する固有ベクトルを求める手段と、 前記求めた固有ベクトルに基づき、３次元空間における
前記第１の回転角および前記第２の回転角を算出する手
段とを含む、請求項３記載の頭部運動測定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11012317A JP2988933B1 (ja) | 1999-01-20 | 1999-01-20 | 頭部運動測定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11012317A JP2988933B1 (ja) | 1999-01-20 | 1999-01-20 | 頭部運動測定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2988933B1 true JP2988933B1 (ja) | 1999-12-13 |
| JP2000210270A JP2000210270A (ja) | 2000-08-02 |
Family
ID=11801947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11012317A Expired - Lifetime JP2988933B1 (ja) | 1999-01-20 | 1999-01-20 | 頭部運動測定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2988933B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112998693A (zh) * | 2021-02-01 | 2021-06-22 | 上海联影医疗科技股份有限公司 | 头部运动的测量方法、装置和设备 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4281405B2 (ja) * | 2003-05-12 | 2009-06-17 | 日産自動車株式会社 | 確認動作検出装置及び警報システム |
| JP4501003B2 (ja) * | 2005-07-15 | 2010-07-14 | 国立大学法人静岡大学 | 顔姿勢検出システム |
| JP5705016B2 (ja) * | 2011-05-06 | 2015-04-22 | 三菱電機株式会社 | 信号処理装置 |
-
1999
- 1999-01-20 JP JP11012317A patent/JP2988933B1/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112998693A (zh) * | 2021-02-01 | 2021-06-22 | 上海联影医疗科技股份有限公司 | 头部运动的测量方法、装置和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000210270A (ja) | 2000-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210190497A1 (en) | Simultaneous location and mapping (slam) using dual event cameras | |
| Han | A low-cost visual motion data glove as an input device to interpret human hand gestures | |
| EP0974128B1 (en) | Three-dimensional imaging method and device | |
| WO2005043466A1 (ja) | 物体の状態を推定する推定システム、推定方法および推定プログラム | |
| WO2013112749A1 (en) | 3d body modeling, from a single or multiple 3d cameras, in the presence of motion | |
| WO2008106725A1 (en) | Efficient and accurate 3d object tracking | |
| JPH11259660A (ja) | 三次元動作復元システム | |
| KR20080029080A (ko) | 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법 | |
| KR20040037152A (ko) | 4개의 특징점들로부터 머리 움직임 추정 | |
| US8599278B2 (en) | Method for estimating a plane in a range image and range image camera | |
| Kato et al. | Identifying and localizing robots in a multi-robot system environment | |
| JP5463584B2 (ja) | 変位計測方法、変位計測装置及び変位計測プログラム | |
| Fayman et al. | Zoom tracking and its applications | |
| EP3185212B1 (en) | Dynamic particle filter parameterization | |
| Oka et al. | Head Pose Estimation System Based on Particle Filtering with Adaptive Diffusion Control. | |
| JP2017036970A (ja) | 情報処理装置、情報処理方法、プログラム | |
| Wang et al. | Three-dimensional hand reconstruction by single-shot structured light line pattern | |
| Wang et al. | Pose determination of human faces by using vanishing points | |
| JP2988933B1 (ja) | 頭部運動測定装置 | |
| JP5267100B2 (ja) | 運動推定装置及びプログラム | |
| Kim et al. | Absolute motion and structure from stereo image sequences without stereo correspondence and analysis of degenerate cases | |
| JPH07244735A (ja) | ３次元形状復元方法および装置 | |
| Sengupta et al. | Scanning face models with desktop cameras | |
| Middleton et al. | A smart environment for biometric capture | |
| Benamar et al. | Gradient-Based time to contact on paracatadioptric camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990921 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |