JPS61199178A - 情報入力装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、人間の頭の動きなどを表情の変化として直接
映像でとらえ、画像処理によって人間の意図としてコン
ピュータに伝えるための安価にして簡便な情報入力方式
に関するものである。

〔従来の技術〕

キーボード付きディスプレイ、ライトペン、タブレフト
、マウス、ジョイスティック等は、従来より広く使用さ
れているコンピュータへの情報入力機器である。

一方、人間の身振り手振りは最も基本的な意志伝達手段
として重要な役割をはたしてきている。

特に頭の動作は、人間が赤ん坊から幼児へと成長してい
く過程で、言葉よりも先に使うようになる情報伝達手段
である。人間の頭の動作を直接コンピュータで理解でき
るようになれば、それは、キーボード等の機器による入
力を補い、より自然なマンマシンインタフェースを実現
するものとして大きな意味をもつようになると考えられ
る。また、身体の不自由な人々にも機械に対する命令伝
達手段を提供できることになる。

特許第１１４４０１１号（末永、山岸：“情報入力方式
”、特公昭５７−１００９　、特願昭５ｌ−１０４０８
）などは、手の映像を使い上記問題点を一部解決し、Ｔ
Ｖカメラから入力された映像から指先もしくは指示器の
位置を検出するものであるが、あくまで対象はひとコマ
の静止画像であり、その動きを認識するというものでは
ないという欠点があった。

また鈴木、関ロ、東海林：“運動視差を利用した３次元
表示手法”、昭和５９年度電子通信学会総合全国大会予
稿集１５４１、は本発明と偵た主旨の手法の具体例を開
示しているが、それは、該論文にも述べられているよう
に、心ンピュータグラフイクスなどで立体表示を行うと
き、表示装置自体がＴＶカメラなどで観察者の頭部の３
次元位置の動きを常時監視し、その動きに従って表示像
を変化させるという３次元画像表示手法を提案するもの
であり、その際、頭部の動きの検出には、頭部に付けた
３個の発光ダイオードを利用するという方法によってお
り、頭部画像の利用による方法について、具体的方法を
開示したものではなかった。

〔発明が解決しようとする問題点〕

そこで本発明は、人間の頭の動きなどを表情の変化とし
て直接映像でとらえ、画像処理して人間の意図（命令）
として計算機へ入力可能にすることを、解決すべき問題
点としている。

従って本発明は、上述のことを可能にする情報人力方式
を提供することを目的としている。

〔問題点を解決するための手段および作用〕上記目的を
達成するため、本発明による情報入力方式は、人物を対
象として撮像するテレビカメラと、該カメラからの揚傷
信号を入力され処理し、特徴量を抽出することによって
前記人物の表情の変化を検出する情報入力装置とから成
り、検出された表情の変化を前記人物の意図を表わす命
令信号として計算機へ入力するようにしたことを特徴と
している。

以下、具体例を説明すれば次の如くである。

画像データを表示しているディスプレイＣＲＴの正面に
座った人物の上半身をＣＲＴ上のＴＶカメラから撮り、
表示に対する命令を取り込むことを想定する。

顔画像の動きから８種類の命令を抽出することを想定し
、命令と頭の動作の関係を表１のように定める。動作は
いずれも１〜３秒間継続すると考えることができる。

表１ また、現実の処理を可能とするため、以下の仮定を置く
。

仮定ｌ「背景は変化しない」。

仮定２「頭の基準位置が画像の中心付近にあり、常に肩
から上の部分が画面内にある」。

動きの認識は、（１）原画像からの特徴量抽出、（２）
特徴量による動きの判定、の２段階からなる。

表１の８種類の命令の検出を行なうため、（ｉ）頭の大
きさ、（ｉｉ　）頭の位置、（ｉｉｉ　）頭に対する顔
の相対位置、を表わす特徴量を以下の手順により求める
。

（１）　　各フレーム毎に原画像と背景画像の差分をと
り、人物像のシルエットをつくる。

（２）シルエットから頭（首から上）の領域を検出し、
頭の面積と重心を求める。

（３）　　顔の領域を検出し、顔の面積と重心を求める
。

上記特徴量に基づき、下記ルールにより動きを分類する
。

ルールｌ：頭が大きく　（小さく）′なった。

→顔が近づいた（遠のいた）。

ルール２：顔が頭に対して相対的に上・下・左・右にあ
る。

一顔が上・下・左・右を向いている。

ルール３：顔の向きが連続して上下（左右）に変化した
。

→「はい」（「いいえ」）の意味で ある。

このようにして本発明は、例えば頭の動きを撮像し、そ
の画像を簡単な方法で処理して認識し、計算機へ入力す
ることを可能にしている。

〔実施例〕

次に図を参照して本発明の詳細な説明する。

第１図は本発明の一実施例を示す説明図である。

同図において、ｌは人物の上半身映像を取り込むＴＶカ
メラ、２は取り込んだ映像を処理して頭の位置情報、動
作情報を出力する情報入力装置、３は動作情報から前記
の命令などを判定して、該命令を利用する情報処理装置
である。また図中、４から９は動作を説明するためのも
のであり、４はＴＶカメラで捉える人物の上半身、５は
背景、６は該人物が例えば本発明による方式を使って画
面上のメニューを選択するとしたときにメニューを表示
するＣＲＴ、７．８はそれぞれメニューの例、９は画面
上のカーソルである。

次に動作を説明する。先ず第１図に示すような配置にお
かれたＴＶカメラ１から上半身４の動画像を連続入力し
、該動画像を情報入力装置２において画像処理し、頭の
面積Ｓ、頭の重心位置ＰＩ”　（”ｌ　＋　　３’ｌ　
）　、および顔の重心位置Ｐ２＝（ｘｔ、ｙ２）をｘ、
　　ｙ座標に従って計算して、結果を次々と情報処理装
置３に出力する。

情報処理装置３は、上記のデータ（面積や重心位置）の
変化などから、まず人物４の頭がＴＶカメラｌに近ずい
ているかあるいは遠のいているか、さらに頭が上下左右
のどの方向に動いているか、また頭（頗）が上下左右の
どの方向をむいているかを検出する。さらにこれらの動
きの速さく単位時間あたりの向きの変化の回数など）か
ら、頭が振られているかどうかなどを検出する。その後
、以上の信号から前記の頭の動きによって表わされる約
束された命令に変換する。このとき、動きに対する意味
付けは任意の方法があり変換手順は限定されない。

情報処理装置２にはあらかじめ背景の画像を取り込み該
装置内に格納しておく。また、人物の上半身４の定位置
を決めるため、人物がＴＶカメラｌの正面に座ったとき
に、情報入力装置２および情報処理装置３に信号を送り
、その時の前記データすなわち頭の面積Ｓ、頭の重心位
置Ｐ１、顔の重心位置Ｐ２を定位置データとして記憶し
ておく。

本方式では、これらの背景と定位置データを使って、頭
の動きを判定する。これらの背景と定位置に関するデー
タは基本的な使用では固定的で良いが、場合によって、
背景が変化したり、頭の位置が変わることもあるのでこ
のときは、随時、背景の画像と定位置データの平均値を
調べて平均値を使うとか、大きな差が生じた場合には更
新して新しいデータを使用する。

情報入力装置２は次のように動作して、頭の面積データ
Ｓと、重心データＰ１．Ｐ２を計算し出力する。第２図
を用いて説明する。

まず、ＴＶカメラ１から入力した（イ）に示す上半身像
（原画像１０）から、前記記憶しておいた背景画像１１
　（（ロ）に示す）を差し引いて絶対値をとる。この演
算は、画像の各画素ごとにそれぞれ行う。ここで得られ
た（ハ）に示す画像（差分画像１２）は、背景部の画素
は０に近く、その他の画素は比較的大きな値となる。但
し、上半身像部分は、そこから対応した位置にある背景
画検分を差し引かれるので、−律的な画像にはならない
ことがある。

次いで背景画像をある、あらかじめ与えておいたしきい
値で２値化すると、（ニ）に示す如く人物の部分１３が
抽出できる（しきい値以上を値１その他を値Ｏとする）
。頭の部分だけを処理対象とするために、肩から下の部
分を削除する。これには、首のところで値１の図形（人
物部分）の横幅が小さくなることをつかって首の位置を
検出する。この時点での処理画像１４は第３図に示すよ
うになっている。

次に、情報入力装置２はまずこの処理画像１４から値１
の図形の面積を計算する。これが頭の面積データＳとな
る。さらに、接値１の図形の重心位置を既知の手法によ
り計算する。これが頭の重心１５のデータ（Ｐ　１　＝
ＸＩ＊　　３’Ｉ　）となる。次に処理画像１４と原画
像１０を使って顔の部分を抽出する。これには、原画像
１０の画素のうち、処理画像１４の値１に対応する部分
、すなわち頭の部分だけに対して原画像１０を走査し、
しきい値処理によって抽出する。該しきい値処理は、例
えば人物４の頭が黒く、顔が白っぽいという性質を使っ
て、あるしきい値より明るい画素を顔（値２）として判
定する。第４図の１６が顔として判定された部分である
。そこで、接顔の部分１６の重心１７のデータ（Ｐ２＝
Ｘｚ　、）’Ｚ　）を計算する。

情報入力装置２は上記の計算をＴＶカメラがとらえた映
像ごとに行い、得られる頭の面積、頭の重心位置座標、
顔の重心位置座標を逐次出力する。

情報処理装置３は、情報入力装置２から逐次光は取る前
記のデータと、最初に受けとっている定位置データを処
理する。まず頭の面積データＳを常時調べて増加してい
るか、減少しているかをチェックし、それぞれのとき、
頭が近づいている、あるいは遠のいていると判定する。

画像を表示しているときは、これらの判定結果をたとえ
ばズームアツプ、ズームダウンの命令として使う。

次に、頭の重心位置データｐｉ（ｘ＋、ｙ、）を頭の重
心の定位置データと比較して、頭の定位置からのずれを
調べる。ずれがあれば、その量だけ頭が動いたと判定す
る。ずれの量が映像ごとに違えば、頭が動いていると判
定する。

さらに、顔の重心位置データＰ２　（Ｘ２　、　　）’
２）を顔の重心の定位置データと比較して、頭の回転を
調べる。このとき、頭のずれの量を使って補正すること
によって、頭が移動していても正しい回転量を計算でき
る。頭の回転量は、各映像から得られる頭の重心位置を
基準にした顔の重心位置の相対位置の変化をつかうこと
もできる。頭の回転が、上下あるいは左右に連続して繰
りかえされるとき、例えば「はい」、「いいえ」と解釈
する。

また、頭の向きを回転量から求めて、これと頭の位置を
使うと、大まかであるが視線の方向を知ることが出来、
情報処理装置３は画面の中の注視点を知ることができる
。すなわち、例えば、人間が上を向いて注視点が上と認
識すれば、情報処理装置３はそれを上方カーソル移動と
解釈して、第１図のＣＲＴ６に表示しているカーソル９
を上方に動かして表示図形７のところへもっていったり
、画像のさらに上方を見たいのだと解釈して、画像を下
方にスクロールするという処理ができる。またさらに人
間が頭を右に向けたのを認識して、カーソルを表示図形
８に移動して、そこで、人間が縦に頭を振れば、そのメ
ニューを実行する処理にはいる、といったようなマンマ
シンインタフェースを実現できる。

上記の方式を、人物の上半身像ではなく人物の顔の中に
ある、眉、目、ロ、鼻或いは耳に対して適用しても同等
の効果を得ることができる。これらの成分図形の抽出、
および動きの認識は、現在の画像処理技術の範囲で得ら
れるデータを用いて十分行なうことができる。これらの
成分の動きを利用すると、前記情報処理装置３は位置情
報に限らず顔の表情を認識して、マンマシンインタフェ
ースの向上に利用できる。

〔発明の効果〕

以上説明したように、本発明によればＴＶカメラと情報
入力装置を備えることにより、３次元空間内の仮想的指
示棒、ワイヤレスリモコンスイッチ等を実現できる。し
かも、本来、人間の頭の動きは種々の意味に使用される
ものであり、本発明方式で入力された頭の動きに対する
種々の識別法を開発することにより、数値の入力、コマ
ンドの入力、人間の自然なボディランゲージの通訳器等
本発明による情報入力方式は広い用途に使用できると考
えられる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す説明図、第２図は画像
処理の過程を示す説明図、第３図は得られた処理画像の
一例を示す説明図、第４図は同じく他の処理画像例を示
す説明図、である。 符号説明 ■・・・ＴＶカメラ、２・・・情報入力装置、３・・・
情報処理装置、４・・・上半身、５・・・背景、６・・
・ＣＲＴ、７．８・・・メニューの例、９・・・カーソ
ル、１ｏ・・・原画像、１１・・・背景画像、１２・・
・差分画像、１３・・・人物の部分、１４・・・処理画
像、１５・・・頭の重心、１６・・・顔の部分、１７・
・・顔の重心代理人　弁理士　並　木　昭　夫 代理人　弁理士　松　崎　　　清 １６（Ｕレー舒１ｔ）

Claims (1)

1. 【特許請求の範囲】 １）人物を対象として撮像するテレビカメラと、該カメ
   ラからの撮像信号を入力され処理し、特徴量を抽出する
   ことによつて前記人物の表情の変化を検出する情報入力
   装置とから成り、検出された表情の変化を前記人物の意
   図を表わす命令信号として計算機へ入力するようにした
   ことを特徴とする情報入力方式。 ２）特許請求の範囲第１項記載の情報入力方式において
   、前記表情の変化が、頭、顔、眉、目、口、鼻または耳
   の位置や向きの変化、或いは動きから成ることを特徴と
   する情報入力方式。