JPH11219421A - 画像認識装置及び画像認識装置方法 - Google Patents

Abstract

(57)【要約】 【課題】 人間の口唇の形状や動きを高速かつ高精度に
認識可能な画像認識装置を提供すること。 【解決手段】 対象物体に対する距離画像ストリームを
取得するための画像取得部と、前記画像取得部により取
得された距離画像ストリームから口腔部分を抽出する口
腔部抽出部と、前記口腔部抽出部により抽出された口腔
部分の距離画像ストリームに基づいて、口唇の形状およ
び口唇の動きの少なくとも一方を認識するための画像認
識部とを具備したことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、取得した距離画像
に基づいて画像の形状および／または動きを認識する画
像認識装置及び画像認識方法に関する。

【０００２】

【従来の技術】従来、人間の口唇の形状や動きを認識し
て読唇したり、顔の向き、表情などを判別するような画
像処理を行う場合、まず、ＣＣＤカメラなどの撮像装置
を用いて、人間の口唇周辺や顔部などを撮影し、その画
像から背景などの余計な部分を取り除き、口唇部のみ、
顔のみなど認識したい対象のみを切り出すという前処理
を行う。そして、その処理後の画像を用いることで、形
状や動きなどの認識を行っていた。

【０００３】まず、この認識対象の切り出しという前処
理部分について説明する。

【０００４】従来の手法では、カメラで撮影した画像か
ら取得したい対象物の部分のみを切り出す処理におい
て、対象物とそれ以外の部分との間の何らかの相違点を
手掛かりとして対象物の切り出しが行われていた。この
手掛かりとして、色相の変化を利用する方法、差分画像
を利用する方法、マーカーなどを利用する方法、クロマ
キーを利用する方法などが用いられていた。これらにつ
いて、人物の映っている画像から、口唇部分のみを切り
出す場合を例として説明する。

【０００５】色相の変化を利用する方法では、口唇の部
分はほぼ均一に赤色をしており、周りの肌の部分はほぼ
均一に肌色をしている、という色相（画素値）の急激な
変化を利用することで、口唇部のみを判別し、切り出し
を行っていた。

【０００６】しかしこの方法では、照明の状況によっ
て、肌や口唇の部分に影ができるなどして、色相が変化
してしまうなど、通常と異なる色相を示す環境下では、
巧く、確実に抽出することが出来なくなるといったよう
な問題点があった。また、口唇の形状を安定的に得るた
めに、特定の色の口紅を用いることで、色相変化を強調
したりしなければならない場合もあった。

【０００７】差分画像を利用する方法では、話者が会話
をしている際には、顔の中で、口唇の部分のみが動いて
いるということを利用して、現在のフレームと、次のフ
レームとの差分画像を取ることによって、動いている部
分を取得し、それを口唇の部分とする、ということが行
われていた。

【０００８】しかしこの方法では、背景で何かが動いて
いるような環境下では、口唇以外の不必要な部分も抽出
してしまう、口唇が動いていないときには抽出できな
い、というように、環境や条件に著しく依存してしま
い、常に、確実に口唇の部分のみを抽出するのは大変困
難であった。

【０００９】マーカーを利用する方法では、口唇の周り
に幾つかのマーカーを貼って特徴点とし、その特徴点の
動きをもとに、口唇部を抽出していた。

【００１０】しかしこの方法では、顔に、マーカーなど
を貼らなくてはならないため、使える環境が限られてい
るなどの問題があった。

【００１１】クロマキーを利用する方法では、例えば、
青色など、人物の顔にあまり現れないような色のスクリ
ーンの前に人物が配置し、カメラなどで得た画像から青
色を取り除くことで、顔の部分のみを抽出していた。

【００１２】しかしこの方法では、背景の色を強要され
るため、特定の状況でのみしか用いることができない、
口唇のような顔の内部の一部分のみの抽出ができない、
などというような問題があった。

【００１３】このように従来の手法では、カメラで撮影
した画像から取得したい対象物の部分のみを確実に切り
出す処理は、大変困難なものであった。

【００１４】次に、対象物が切り出された画像から、対
象物の形状、動きなどの認識を行う部分について説明す
る。

【００１５】従来、切り出された対象物の画像は、２次
元情報しか含んでいない。これは、従来の撮像装置では
３次元形状を取得することは困難であり、３次元形状を
取得するような撮像装置があっても、それらは、動きの
様なリアルタイムの認識に適していなかったからであ
る。また、そのような３次元形状の撮像装置は、大変高
価で、気軽に用いることができないという問題もあっ
た。そのため、従来の画像処理では、２次元情報のみを
用いて、人間の顔や口唇の形状、動きといった、本来は
３次元的ものを、なんとか認識しようと努力していた。

【００１６】しかし、本来３次元的な形状や動きを２次
元情報として用いていたため、必要な情報が欠落してし
まい、様々な工夫はしているものの、簡単な形状や動き
の認識のみしか行えないといったように、どうしても無
理があった。

【００１７】また、上述したとおり、画像から対象物の
みを切り出すという作業を確実に行うことは大変困難で
あるため、この切り出しの不確実さも、認識率を下げる
要因に大きく関わっていた。

【００１８】以上のように、従来方法では、画像からの
対象物の抽出方法にも、画像の認識方法にも、様々な問
題点があった。

【００１９】

【発明が解決しようとする課題】以上のように、従来、
カメラで撮影した画像から取得したい対象物の部分のみ
を確実に切り出す処理は大変困難なものであり、それが
画像認識の認識率の低下の要因となっていた。

【００２０】また、様々な制約から、カメラなどを用い
て画像を２次元情報として取得していたため、３次元形
状や３次元的動きの認識を２次元情報のみから行うしか
なく、簡単な形状、動きの認識しか行うことができない
という問題があった。

【００２１】本発明は、上記事情を考慮してなされたも
のであり、人間の顔や口唇の形状や動きを高速かつ高精
度に認識可能な画像認識装置及び画像認識装置方法を提
供することを目的とする。

【００２２】

【課題を解決するための手段】本発明１（請求項１）に
係る画像認識装置は、対象物体に対する距離画像を取得
するための画像取得手段と、前記画像取得手段により取
得された距離画像から口腔部分を抽出する口腔部抽出手
段と、前記口腔部抽出手段により抽出された口腔部分の
距離画像に基づいて、口唇の形状を認識するための画像
認識手段とを具備したことを特徴とする。

【００２３】本発明２（請求項２）に係る画像認識装置
は、対象物体に対する距離画像ストリーム（距離画像の
動画像）を取得するための画像取得手段と、前記画像取
得手段により取得された距離画像ストリーム（距離画像
の動画像）から口腔部分を抽出する口腔部抽出手段と、
前記口腔部抽出手段により抽出された口腔部分の距離画
像ストリームに基づいて、口唇の形状および口唇の動き
の少なくとも一方を認識するための画像認識手段とを具
備したことを特徴とする。

【００２４】本発明によれば、対象物体に対する距離画
像から必要とする部分を抽出し、抽出した部分の距離画
像に基づいて認識処理を行うので、話者の口唇認識（例
えば、口腔部の形状、動きや、発言内容の認識など）等
を高速かつ高精度に行うことができる。

【００２５】本発明３（請求項３）に係る画像認識装置
は、対象物体に対する距離画像を取得するための画像取
得手段と、前記画像取得手段により取得された距離画像
から顔部分を抽出する顔部抽出手段と、前記顔部抽出手
段により抽出された顔部分の距離画像に基づいて、顔の
形状を認識するための画像認識手段とを具備したことを
特徴とする。

【００２６】本発明４（請求項４）に係る画像認識装置
は、対象物体に対する距離画像ストリーム（距離画像の
動画像）を取得するための画像取得手段と、前記画像取
得手段により取得された距離画像ストリーム（距離画像
の動画像）から顔部分を抽出する顔部抽出手段と、前記
顔部抽出手段により抽出された顔部分の距離画像ストリ
ームに基づいて、顔の形状および顔の動きの少なくとも
一方を認識するための画像認識手段とを具備したことを
特徴とする。

【００２７】本発明によれば、対象物体に対する距離画
像から必要とする部分を抽出し、抽出した部分の距離画
像に基づいて認識処理を行うので、話者の顔部認識（例
えば、顔部の形状、動きの認識など）等を高速かつ高精
度に行うことができる。

【００２８】本発明５（請求項５）は、請求項１ないし
４のいずれか１項に係る画像認識装置において、前記画
像認識手段により得られた前記形状の情報または前記動
きの情報に基づいて、話者の顔の向きを識別するための
方向識別手段をさらに具備したことを特徴とする。

【００２９】本発明６は、請求項１または２に係る画像
認識装置において、前記画像認識手段により認識された
口唇の形状もしくは口唇の動きに基づいて、話者の顔の
向きを識別するための方向識別手段をさらに具備したこ
とを特徴とする。

【００３０】本発明７は、請求項３または４に係る画像
認識装置において、前記画像取得手段により取得された
顔の形状もしくは顔の動きに基づいて、話者の顔の向き
を識別するための方向識別手段をさらに具備したことを
特徴とする。

【００３１】本発明８（請求項６）は、請求項１または
２に係る画像認識装置において、前記画像取得手段によ
り取得された距離画像から顔部分を抽出する顔部抽出手
段と、前記顔部抽出手段により抽出された顔部分の距離
画像に基づいて、話者の顔の向きを識別するための方向
識別手段とをさらに具備したことを特徴とする。

【００３２】本発明によれば、話者の口唇認識あるいは
顔部認識等と伴に、話者の向いている方向の識別をする
ことができる。

【００３３】本発明９（請求項７）は、請求項１、２ま
たは６に係る画像認識装置において、入力された音声を
認識するための音声認識手段と、前記画像認識手段によ
る認識結果に基づいて話者の会話の開始が検出された場
合に前記音声認識手段による音声認識を開始させる制御
と前記画像認識手段による認識結果に基づいて話者の会
話の終了が検出された場合に前記音声認識手段による音
声認識を終了させる制御の少なくとも一方の制御を行う
制御手段とをさらに具備したことを特徴とする。

【００３４】本発明１０（請求項８）は、請求項５また
は６に係る画像認識装置において、入力された音声を認
識するための音声認識手段と、前記方向識別手段による
識別結果が正面である場合に前記音声認識手段による音
声認識を開始させる制御と前記方向識別手段による識別
結果が正面でない場合に前記音声認識手段による音声認
識を終了させる制御の少なくとも一方の制御を行う制御
手段とをさらに具備したことを特徴とする。

【００３５】本発明によれば、話者の口唇認識あるいは
顔部認識等と伴に、口唇認識結果あるいは話者の向いて
いる方向に応じた音声認識の制御を行うことができる。

【００３６】本発明１１（請求項９）は、請求項１、
２、６または７に係る画像認識装置において、所定の出
力形態（音声、画像、あるいは他の形態、あるいは複数
の形態を組み合わせたもの）により所定の情報を呈示す
るための情報呈示手段と、前記画像認識手段による認識
結果に基づいて話者の会話の開始と終了の少なくとも一
方の検出を行い、該検出結果に応じて、前記情報呈示手
段による情報呈示を開始させる制御と前記情報呈示手段
による情報呈示を終了させる制御と前記情報呈示手段に
より行われている情報呈示に用られている出力形態の少
なくとも一部の変更を行う制御のうち少なくとも１つの
制御を行う制御手段とをさらに具備したことを特徴とす
る。

【００３７】本発明１２（請求項１０）は、請求項５、
６または８に係る画像認識装置において、所定の出力形
態（音声、画像、あるいは他の形態、あるいは複数の形
態を組み合わせたもの）により所定の情報を呈示するた
めの情報呈示手段と、前記方向識別手段による識別結果
に係る向きと正面方向との関係に応じて、前記情報呈示
手段による情報呈示を開始させる制御と前記情報呈示手
段による情報呈示を終了させる制御と前記情報呈示手段
により行われている情報呈示に用られている出力形態の
少なくとも一部の変更を行う制御のうち少なくとも１つ
の制御を行う制御手段とをさらに具備したことを特徴と
する。

【００３８】本発明によれば、話者の口唇認識あるいは
顔部認識等と伴に、口唇認識結果や話者の向いている方
向に応じた情報呈示の制御を行うことができる。

【００３９】本発明１３は、請求項１、請求項２、発明
６または請求項６に係る画像認識装置において、入力さ
れた音声を認識するための音声認識手段と、前記画像認
識手段による認識結果に基づいて話者の会話（話者の行
為実施）の開始を検出し、該会話の開始が検出された場
合に前記音声認識手段による音声認識を開始させる音声
認識開始手段とをさらに具備したことを特徴とする。

【００４０】本発明１４は、請求項１、請求項２、発明
６、請求項６または発明１３に係る画像認識装置におい
て、入力された音声を認識するための音声認識手段と、
前記画像認識手段による認識結果に基づいて話者の会話
（話者の行為実施）の終了を検出し、該会話の終了が検
出された場合に前記音声認識手段による音声認識を終了
させる音声認識終了手段とをさらに具備したことを特徴
とする。

【００４１】本発明１５は、請求項５、発明６、発明７
または請求項６に係る画像認識装置において、入力され
た音声を認識するための音声認識手段と、前記方向識別
手段による識別結果が正面（話者の行為実施）である場
合に、前記音声認識手段による音声認識を開始させる音
声認識開始手段とをさらに具備したことを特徴とする。

【００４２】本発明１６は、請求項５、発明６、発明
７、請求項６または発明１５に係る画像認識装置におい
て、入力された音声を認識するための音声認識手段と、
前記方向識別手段による識別結果が正面（話者の行為実
施）でない場合に、前記音声認識手段による音声認識を
終了させる音声認識終了手段とをさらに具備したことを
特徴とする。

【００４３】本発明１７は、請求項１、請求項２、発明
６、請求項６、発明１３または発明１４に係る画像認識
装置において、所定の出力形態（音声、画像、あるいは
他の形態、あるいは複数の形態を組み合わせたもの）に
より所定の情報を呈示するための情報呈示手段と、前記
画像認識手段による認識結果に基づいて話者の会話（話
者の行為実施）の開始を検出し、該会話の開始が検出さ
れた場合に前記情報呈示手段による情報呈示を開始させ
る情報呈示開始手段とをさらに具備したことを特徴とす
る。

【００４４】本発明１８は、請求項１、請求項２、発明
６、請求項６、発明１３、発明１４または発明１８に係
る画像認識装置において、所定の出力形態（音声、画
像、あるいは他の形態、あるいは複数の形態を組み合わ
せたもの）により所定の情報を呈示するための情報呈示
手段と、前記画像認識手段による認識結果に基づいて話
者の会話（話者の行為実施）の終了を検出し、該終了が
検出された場合に前記情報呈示手段による情報呈示を終
了させる情報呈示終了手段とをさらに具備したことを特
徴とする。

【００４５】本発明１９は、請求項５、発明６、発明
７、請求項６、発明１５または発明１６に係る画像認識
装置において、所定の出力形態（音声、画像、あるいは
他の形態、あるいは複数の形態を組み合わせたもの）に
より所定の情報を呈示するための情報呈示手段と、前記
方向識別手段による識別結果が正面（話者の行為実施）
である場合に、前記情報呈示手段による情報呈示を開始
させる情報呈示開始手段とをさらに具備したことを特徴
とする。

【００４６】本発明２０は、請求項５、発明６、発明
７、請求項６、発明１５、発明１６または発明２０に係
る画像認識装置において、所定の出力形態（音声、画
像、あるいは他の形態、あるいは複数の形態を組み合わ
せたもの）により所定の情報を呈示するための情報呈示
手段と、前記方向識別手段による識別結果が正面（話者
の行為実施）でない場合に、前記情報呈示手段による情
報呈示を終了させる情報呈示終了手段とをさらに具備し
たことを特徴とする。

【００４７】本発明２１は、請求項１、請求項２、発明
６、請求項６、発明１３、発明１４、発明１７または発
明１８に係る画像認識装置において、所定の出力形態
（音声、画像、あるいは他の形態、あるいは複数の形態
を組み合わせたもの）により所定の情報を呈示するため
の情報呈示手段と、前記画像認識手段による認識結果に
基づいて話者の会話（話者の行為実施）の開始を検出
し、該会話の開始が検出された場合に、前記情報呈示手
段による情報呈示をそれまでとは異なる出力形態による
情報呈示に切り替える情報呈示切り替え手段とをさらに
具備したことを特徴とする。

【００４８】本発明２２は、請求項１、請求項２、発明
６、請求項６、発明１３、発明１４、発明１７、発明１
８または発明２１に係る画像認識装置において、所定の
出力形態（音声、画像、あるいは他の形態、あるいは複
数の形態を組み合わせたもの）により所定の情報を呈示
するための情報呈示手段と、前記画像認識手段による認
識結果に基づいて話者の会話（話者の行為実施）の終了
を検出し、該会話の終了が検出された場合に、前記情報
呈示手段による情報呈示をそれまでとは異なる出力形態
による情報呈示に切り替える情報呈示切り替え手段とを
さらに具備したことを特徴とする。

【００４９】本発明２３は、請求項５、発明６、発明
７、請求項６、発明１５、発明１６、発明１９または発
明２０に係る画像認識装置において、所定の出力形態
（音声、画像、あるいは他の形態、あるいは複数の形態
を組み合わせたもの）により所定の情報を呈示するため
の情報呈示手段と、前記方向識別手段による識別結果が
正面（話者の行為実施）となった場合に、前記情報呈示
手段による情報呈示をそれまでとは異なる出力形態によ
る情報呈示に切り替える情報呈示切り替え手段とをさら
に具備したことを特徴とする。

【００５０】本発明２４は、請求項５、発明６、発明
７、請求項６、発明１５、発明１６、発明１９、発明２
０または発明２３に係る画像認識装置において、所定の
出力形態（音声、画像、あるいは他の形態、あるいは複
数の形態を組み合わせたもの）により所定の情報を呈示
するための情報呈示手段と、前記情報呈示手段による情
報呈示中に前記方向識別手段による識別結果が正面（話
者の行為実施）でなくなった場合に、前記情報呈示手段
による情報呈示をそれまでとは異なる出力形態による情
報呈示のみに切り替える情報呈示切り替え手段とをさら
に具備したことを特徴とする。

【００５１】本発明２５（請求項１１）は、請求項１な
いし１０のいずれか１項に係る画像認識装置において、
得られた所定の情報を通信するための通信手段をさらに
具備したことを特徴とする。

【００５２】本発明によれば、認識結果等の所望の情報
を外部の装置に与えることができる。

【００５３】本発明２６は、請求項１または２に係る画
像認識装置において、前記画像認識手段により認識され
た口唇の形状の情報もしくは口唇の動きの情報を通信す
るための通信手段をさらに具備したことを特徴とする。

【００５４】本発明２７は、請求項３または４に係る画
像認識装置において、前記画像認識手段により認識され
た顔の形状の情報もしくは顔の動きの情報を通信するた
めの通信手段をさらに具備したことを特徴とする。

【００５５】本発明２８は、請求項５、発明６、発明７
または請求項６に係る画像認識装置において、前記方向
識別手段により識別された話者の顔の向きの情報を通信
するための通信手段をさらに具備したことを特徴とす
る。

【００５６】本発明２９は、請求項７、請求項８、発明
８、発明９、発明１０または発明１１に係る画像認識装
置において、前記音声認識手段による認識結果を通信す
るための通信手段をさらに具備したことを特徴とする。

【００５７】本発明３０は、請求項９、請求項１０、発
明１２、発明１３、発明１４、発明１５、発明１６、発
明１７、発明１８または発明１９に係る画像認識装置に
おいて、前記情報呈示手段により呈示された情報を通信
するための通信手段をさらに具備したことを特徴とす
る。

【００５８】なお、以上の各本発明において、画像取得
手段を省き、対象物体に対する距離画像を外部から与え
るようにした構成も成立する。

【００５９】本発明３１（請求項１２）に係る画像認識
方法は、与えられた、対象物体に対する距離画像から、
口腔部分を抽出し、抽出された口腔部分の距離画像に基
づいて、口唇の形状を認識することを特徴とする。

【００６０】本発明３２（請求項１３）に係る画像認識
方法は、与えられた、対象物体に対する距離画像ストリ
ームから、口腔部分を抽出し、抽出された口腔部分の距
離画像ストリームに基づいて、口唇の形状および口唇の
動きの少なくとも一方を認識することを特徴とする。

【００６１】本発明３３（請求項１４）は、コンピュー
タに、与えられた対象物体に対する距離画像から口腔部
分を抽出させ、抽出された口腔部分の距離画像に基づい
て口唇の形状を認識させるための手順を含むプログラム
を記録したコンピュータ読取り可能な記録媒体を要旨と
する。

【００６２】本発明３４（請求項１５）は、コンピュー
タに、与えられた対象物体に対する距離画像ストリーム
から口腔部分を抽出させ、抽出された口腔部分の距離画
像ストリームに基づいて口唇の形状および口唇の動きの
少なくとも一方を認識させるための手順を含むプログラ
ムを記録したコンピュータ読取り可能な記録媒体を要旨
とする。

【００６３】なお、装置に係る本発明は方法に係る発明
としても成立し、方法に係る本発明は装置に係る発明と
しても成立する。

【００６４】また、装置または方法に係る本発明は、コ
ンピュータに当該発明に相当する手順を実行させるため
の（あるいはコンピュータを当該発明に相当する手段と
して機能させるための、あるいはコンピュータに当該発
明に相当する機能を実現させるための）プログラムを記
録したコンピュータ読取り可能な記録媒体としても成立
する。

【００６５】

【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。

【００６６】（第１の実施形態）まず、本発明の第１の
実施形態について説明する。

【００６７】図１は、本発明の第１の実施形態に係る画
像認識装置の全体構成図である。

【００６８】本実施形態の画像認識装置は、距離画像ス
トリームを取得するための画像取得部１と、画像取得部
１で取得された顔の全部または一部の距離画像ストリー
ムから、口腔部分のみを抽出する口腔部抽出部２と、抽
出された口腔部の距離画像ストリームから、口唇の形状
および／または口唇の動きを認識する画像認識部３とか
ら構成される。

【００６９】画像取得部１は、画像認識対象物体となる
人間の顔の全部または一部を、その３次元形状を反映し
た奥行き値を持つ画像（以下、距離画像と呼ぶ）として
所定時間毎（例えば１／６０秒毎など）に取得するもの
である（例えば特願平９−２９９６４８の画像取得方法
を用いて実現することができる）。画像取得部１は概略
的には、例えば、対象物体に光を照射し、対象物体から
の反射光の空間的な強度分布を抽出し、その各画素の強
度値を奥行きあるいは距離を示す値に変換することによ
り、距離画像を生成する。この画像取得部１を用いて顔
を撮像することで、顔の全部または一部分の、距離画像
による動画像（以下、距離画像ストリームと呼ぶ）を得
ることができる。なお、画像取得部１の詳細については
後述する。

【００７０】図２に、画像取得部１により取得された顔
の距離画像（距離画像ストリーム中の１フレーム分）の
例を示す。距離画像は、奥行き情報を有する３次元画像
で、例えば、ｘ軸（横）方向６４画素、ｙ軸（縦）方向
６４画素、ｚ軸（奥行き）方向２５６階調の画像になっ
ている。図２は、距離画像の距離値すなわちｚ軸方向の
階調をグレースケールで表現したものである。距離画像
においては、色が白に近いほど距離が近く、黒に近くな
るほど距離が遠い。また、色が完全に黒のところは、画
像がない、あるいはあっても遠方でないのと同じである
ことを示している。例えば、図２は、口唇部が白く、そ
の内側の口腔部が黒くなっている様子を示すものであ
る。

【００７１】なお、画像取得部１における受光面もしく
はこれを収容した筐体は、本画像認識装置の目的等に応
じて適宜設置するばよい。例えば本画像認識装置が表示
装置を持つものである場合、この表示装置に対して対象
物体となる人間の顔が正面を向いたときに、当該受光面
に対しても正面を向いた形になるように当該画像認識装
置の筐体に設ける。

【００７２】次に、口腔部抽出部２について説明する。

【００７３】口腔部抽出部２は、画像取得部１によって
取得された顔の全部または一部の距離画像ストリームか
ら、口腔部のみを抽出するものである。

【００７４】人間の口唇の周辺部分を３次元的に見た場
合、その局所的な形状は人によって様々であるし、同じ
人でも状況によって様々な形状をしている。しかし、大
局的には、「口唇部が少し凸形状をしており、その内側
の口腔部が大きく凹形状をしている」という、人や状況
に依らず一意に定まる特徴がある。

【００７５】図３は口唇を閉じている場合の顔の距離画
像を、図４は口唇を開いている場合の顔の距離画像を、
それぞれ、立体的に示したものである。図３および図４
を見ると、上述したような口腔部の３次元的特徴がはっ
きりと見て取れることが分かる。

【００７６】この口腔部の３次元形状の特徴を積極的に
利用すれば、顔の距離画像ストリームから、口腔部のみ
を抽出した距離画像ストリームを構成することは容易で
ある。

【００７７】以下では、口腔部抽出部２でどのように口
腔部を抽出するのかを具体的に説明する。

【００７８】画像取得部１によって取得された距離画像
（以下、原画像とも呼ぶ）は、顔の３次元的形状を表し
ている。この距離画像の２階微分画像を求めることで、
原画像における傾き変化の様子を知ることができる。こ
れを用いれば、原画像のエッジ部分を抽出することがで
きる。なお、ここでエッジと言うのは、顔と背景との境
界や、口唇と肌との境界のように、傾きの変化がある部
分のことである。

【００７９】図５にエッジ抽出の具体的な処理の流れの
一例を示す。

【００８０】まず、Ｍａｒｒ−Ｈｉｌｄｒｅｔｈが提案
したガウスラプラシアンフィルタを原画像に施す（ステ
ップＳ１００）。

【００８１】次に、そのゼロクロス点を求める（ステッ
プＳ１０１）。このとき、例えば、注目画素の４近傍の
画素値が正である点をゼロクロス点とすればよい。

【００８２】そして、ゼロクロス点ならば、図６に示す
ようなＳｏｂｅｌオペレータ（図中（ａ）がＸ方向に対
応し、（ｂ）がＹ方向に対応する）を施し、その画素の
強度を求める（ステップＳ１０２）。

【００８３】この強度がある閾値以上ならば、エッジの
構成点であるとみなす（ステップＳ１０３）。

【００８４】以上の処理により、原画像から、エッジ部
分のみを抽出することができる。

【００８５】なお、ここでは、エッジ抽出の一手法とし
て、ガウスラプラシアンフィルタ、Ｓｏｂｅｌオペレー
タを用いる方法について説明したが、これに限定される
ものではなく、ハフ変換を用いる方法など、別の手法を
用いて実現しても良い。

【００８６】以上で説明した処理を距離画像に施すこと
で、顔の距離画像から、エッジ部分のみを抽出すること
ができる。さらに、このエッジ情報と、口唇の形状（ル
ープ状（穴）のエッジを持つもののなかで、一番大きな
ものなど）の情報を用いることで、口唇部のエッジのみ
を抽出することができる。

【００８７】この方法では、実際の顔の３次元形状をも
とに、エッジの抽出を行っているため、従来の２次元画
像から色相の変化などを利用してエッジを抽出する方法
と比べて、エッジの誤認識（余分なエッジの抽出）をす
ることがなく、確実に口腔部のみを切り出すことが可能
である。これは、３次元形状は実際のエッジに深く関係
しているのに対し、色相変化を用いる方法は色相が異な
る部分をエッジと見なして判断する一手段ではあるが、
決定的なものではないからである。

【００８８】以上の処理で、顔の距離画像ストリームか
ら、口唇部のみの距離画像ストリームを取得することが
できる。

【００８９】なお、ここでは、顔の距離画像から、口腔
部を抽出する方法として、傾きの変化を利用する方法に
ついて説明したが、これに限定されるものではない。例
えば、口腔部の「窪み」という幾何学的な形状（奥行き
Ｚ値が一定値以下）を利用して、閾値を設けることで
「窪み」部分を抽出してもよいし、幾何学的推論を行う
ことによって抽出しても良い。また、口腔部の「窪み」
状のテンプレートをあらかじめ用意しておいて、それと
のパターンマッチングを取ることで求めてもよい。ま
た、距離情報を用いてバンドパスフィルタによるフィル
タリング処理を行うことでもエッジを取ることができ
る。他の３次元形状を利用して抽出する方法でも構わな
い。

【００９０】次に、画像認識部３について説明する。

【００９１】画像認識部３は、口腔部抽出部２によって
抽出された口腔部の距離画像ストリームをもとに、口唇
の形状および／または動きを認識するものである。

【００９２】まず、口唇の形状の認識について説明す
る。

【００９３】画像認識部３では、「あ」、「い」、…、
といった様々なテンプレートを予め用意しておき、それ
らと口腔部抽出部２で得られた口唇の形状とを比較し
て、類似度を計算し、類似度の最も高いものを認識結果
として採用するという、テンプレートマッチングなどを
用いて、認識を行う。

【００９４】図７に画像認識部３におけるテンプレート
マッチングの処理の流れの一例を示す。

【００９５】まず、抽出された口腔部の距離画像（原画
像）を、テンプレートの方向、サイズに合わせて正規化
する（ステップＳ２００）。

【００９６】次に、用意した様々なテンプレートの中か
ら、原画像と比較すべきテンプレートｋを選択する（ス
テップＳ２０１）。

【００９７】次に、原画像とテンプレートとのハミング
距離を計算する（ステップＳ２０２）。ハミング距離
（Ｈ）は、例えば、Ｈ＝Σ_i Σ_j ｜ｄ（ｉ，ｊ）−ｔ_k
（ｉ，ｊ）｜により計算する。ここで、ｉ、ｊはそれぞ
れ各画素のｘ、ｙ座標、ｄ（ｉ，ｊ）は原画像の座標
（ｉ，ｊ）での距離値、ｔ_k （ｉ，ｊ）はテンプレート
ｋの座標（ｉ，ｊ）での距離値である。

【００９８】なお、ここでは、ハミング距離の導出の一
方法を説明したが、ハミング距離の導出は、これに限定
されるものではなく、他の計算式を用いても良い。

【００９９】これらの処理を全てのテンプレートについ
て行うため、全てのテンプレートについて、上述のハミ
ング距離の計算が終了しているか判定する（ステップＳ
２０３）。

【０１００】未だハミング距離の計算が終わっていない
テンプレートがあれば、ステップＳ２０１に戻る。

【０１０１】全てのテンプレートについて、原画像との
ハミング距離の計算が終了したら、それらを比較し、最
も値の小さなテンプレートを見つける。そして、このテ
ンプレートの表現している内容を認識結果とする（ステ
ップＳ２０４）。例えば、この選ばれたテンプレート
が、「た」を発音している際の口唇形状であったなら
ば、原画像の距離画像の発音（口唇形状）は「た」であ
ったと認識する。

【０１０２】以上の処理を距離画像ストリームに含まれ
る、全ての距離画像に対して、順次行うことによって、
話者の発話内容の認識が行われる。

【０１０３】なお、以下では、音声認識と区別するため
に、口唇形状から話者の発話内容を認識すること（認識
対象となった者が現実には音声を出さず、実際に話すと
きと同じように口唇を動した場合に得られた距離画像に
基づく認識を含む）を口唇認識と呼ぶ。

【０１０４】次に、口唇の動きの認識について説明す
る。

【０１０５】口唇の動きの認識を行う場合、例えば、
「口を開け閉めしている」、「あくびをしている」とい
ったような、動きを表すテンプレートの列（動きを各フ
レームに分割し、それぞれを１つのテンプレートとし
て、一連の動きのテンプレートをまとめたもの）を用意
しておき、上述したものと同様に、距離画像ストリーム
に含まれる全ての距離画像に対して、前記テンプレート
の列と順次テンプレートマッチングを行うことで、動き
に対する口唇認識を行うこともできる。

【０１０６】以上のような方法で得られた口唇認識の結
果は、従来の画像認識と異なり、実際の口唇の３次元形
状を利用することによって、認識を行った結果である。
従来は、通常のビデオカメラの画像などから抽出した２
次元的な口唇形状を用いて認識していたため、口唇の平
面的な動きのみから認識を行うしかなかったが、この方
法では、上述の通り、３次元の情報を用いることが可能
であるため、従来よりも、より多くの情報を用いて認識
することが可能である。そこで、正面から見たときの口
唇形状がほぼ同じで、口唇の奥行き方向の形状が異なっ
ているというような、従来なら認識が不可能であった場
合も、本実施形態の画像認識装置を用いることで認識す
ることが可能となっている。また、識別する手掛かりが
増えているため、従来よりも、認識率も高くなり、誤認
識し難いという利点もある。

【０１０７】なお、ここでは、原画像とテンプレートと
のハミング距離を求めることで、原画像とテンプレート
の類似度を計算する方法について説明したが、類似度の
計算は、これに限定されるものではない。ＤＰマッチン
グ法、ＫＬ変換法などを用いて求める方法、原画像をフ
ーリエ変換し、フーリエ変換後の画像について相関関係
を求めることで、類似度を計算する方法など、あらゆる
方法を用いることができる。

【０１０８】また、ここでは、口腔部の距離画像ストリ
ームから、口唇の形状、動きを認識する方法として、テ
ンプレートマッチングを行う方法について説明したが、
これに限定されるものではなく、例えば、口唇の形状か
ら、筋肉の動きを求めて、その形状変化を手掛かりとし
て、筋肉モデルから発音内容を類推する、などのように
他の方法で認識を行ってもよい。

【０１０９】以上のように本実施形態によれば、口唇の
距離画像を用いることで、あまり計算コストをかけず
に、容易に、口唇部を抽出することが可能となる。さら
に、口唇認識に関しても、抽出した口唇部の３次元形状
の情報を用いることにより、従来方法では、判別に難し
かった（誤認識が多かった）ような形状に関する認識
や、従来では不可能であったような形状に関する認識が
可能になる。

【０１１０】以上のようにして得た口唇の形状の認識結
果、口唇の動きの認識結果、あるいは口唇の形状の認識
結果と口唇の動きの認識結果を組み合わせたものは、そ
の後の種々の処理に供することができる。なお、画像認
識部３に、口唇の形状と動きの認識の両方の機能を設け
るか、いずれか一方を設けるかは、システムの目的等に
応じて適宜設計することが可能である。

【０１１１】本実施形態は、上記した構成に限定され
ず、種々変形して実施することができる。以下では、本
実施形態のいくつかの変形例を示す。

【０１１２】（第１の実施形態の変形例１）口唇部抽出
部２の代わりに、画像取得部１で所得された距離画像ス
トリームから顔部分のみを抽出するための顔部抽出部を
具備してもよい。

【０１１３】そして、画像認識部３で、予めＡ氏、Ｂ
氏、というように人物の顔形状のテンプレートを用意し
ておき、それらを用いて顔部抽出部５で抽出された顔部
の距離画像とのマッチングを行うことで、本実施形態の
画像認識装置で撮像された人物が誰であるのかを認識す
ることができる。

【０１１４】これにより、例えば、本実施形態の画像認
識装置（または少なくとも画像取得部１の発光素子と受
光素子の部分）を、自動ドアの近くなどに置き、そこを
通る人物の顔を認識することで、特定の人物と認識した
ときのみドアを開ける、といったような、簡単なセキュ
リティチェックに使うことが可能である。

【０１１５】（第１の実施形態の変形例２）本実施形態
は、医療面でも重病者の看護に有効である。従来、病室
や在宅看護者の家庭などにいる患者が何か異常をきたし
た場合には、枕元にある押しボタン式のブザーで、看護
婦や医者に知らせていた。しかし、押しボタン式のブザ
ーでは、患者が弱っていた場合に、ボタンを押す余裕が
無いことが多く、危険であった。このような場所に第１
の実施形態の画像認識装置を置くことで、病気で弱って
いて、あまり声を出せないような場合でも、病人のわず
かな声と、微妙な口唇の動きから、病人が何か伝えたい
ということを判別することが可能である。

【０１１６】これを押し進めて、普段口唇を動かすこと
がない病人が口唇を動かしたら、病状が急変した可能性
がある。このような場合には、口唇の動きを何らかの音
に変換して、警報音代わりに用いることができ、それに
より医者や看護婦が病室や在宅看護者の家庭に駆け付け
るような方策をとることができる。

【０１１７】このような場合、図８に例示するように、
口唇認識の結果をそのまま音声に変換し呈示する、また
は、結果に応じて何らかの音を呈示するを音呈示部４を
設ける。

【０１１８】（第１の実施形態の変形例３）図９に例示
するように、上記の第１の実施形態の変形例２の構成
（図８）に、さらに顔部のみの距離画像ストリームを抽
出するための顔部抽出部５を付加して、顔の３次元形状
情報を用いることで、例えば、顔を上下に振っているな
どというように、顔のゼスチャーの認識を行ったり、笑
っている、怒っている、困っているなどというように、
表情の認識を行うことが可能である。

【０１１９】その際、画像認識部３では、例えば、頷
く：顔を上下に数回振る、拒む：顔を左右に数回振る、
喜ぶ：大きく口があく、目が細くなる、驚く：目を見開
く、などというようにゼスチャーや表情などを得るため
のテンプレートを用意しておき、それらを用いてテンプ
レートマッチングを行うことで、顔のゼスチャーや表情
の認識を行う。

【０１２０】そして、この認識した表情に応じて、口唇
の動きを音声変換する際に、変換する音声の種類やピッ
チなどを変えることも可能である。

【０１２１】また、例えば、同じ口唇の動きでも、肯定
の場合は犬のなき声、否定の場合はニワトリの鳴き声、
喜んでいる場合は猫のなき声というように変化させるこ
ともできる。このようにすることで、例えば、子供に、
英語の単語発生などを楽しく飽きないように勉強できる
ようにすることが可能となる。

【０１２２】（第２の実施形態）次に、本発明の第２の
実施形態について説明する。本実施形態では、第１の実
施形態と相違する部分を中心に説明する。

【０１２３】図１０は、本発明の第２の実施形態に係る
画像認識装置の全体構成図である。

【０１２４】図１０に示されるように、本実施形態の画
像認識装置は、第１の実施形態の画像認識装置の構成に
対して、画像認識部３で得られた口唇の形状もしくは動
きの認識結果をもとに、話者の顔の向いている方向を識
別するための方向識別部６が追加された構成になってい
る。

【０１２５】これにより話者の発言内容だけでなく、同
時に、話者がどちらの方向を向いて話しているかを認識
することができる。

【０１２６】次に、方向識別部６について説明する。

【０１２７】方向識別部６では、画像認識部３で得られ
た口唇の形状もしくは動きの認識結果をもとに、話者の
顔の向いている方向を識別する。その際、口唇の３次元
形状を利用することで、話者の顔の向きを計算する。

【０１２８】以下では、話者の顔の向いている方向を求
める具体的な方法の一例について、図１１に示す処理の
流れ図を用いて説明する。

【０１２９】まず、口唇の距離画像中のある画素Ｘ（例
えば座標値（ｉ、ｊ））を選択する（ステップＳ３０
０）。

【０１３０】次に、画素Ｘと隣接している画素Ｙ（例え
ば座標値（ｉ−１、ｊ））を選択する（ステップＳ３０
１）。

【０１３１】次に、図１２（（ａ）は隣接８画素を示す
図、（ｂ）は傾きベクトルｇとこれに直交する法線ベク
トルｐを説明するための図）のように、選択した画素Ｙ
（例えば座標値（ｉ−１、ｊ））との距離値の差ｄ
（ｉ、ｊ）−ｄ（ｉ−１、ｊ）をもとに、この２画素間
の傾きベクトルｇを求める（ステップ３０２）。

【０１３２】この２画素Ｘ、Ｙと同一平面上にあり、ス
テップＳ３０２で得られた傾きベクトルｇと直行する法
線ベクトルｐを求める（ステップＳ３０３）。

【０１３３】画素Ｘと隣接する全ての画素Ｙについて法
線ベクトルの計算が終了したか判別する（ステップＳ３
０４）。

【０１３４】全ての隣接画素について終了していなかっ
たら、ステップＳ３０１に戻る。全てについて終了して
いたら、この法線ベクトルの平均Ｐ＝Σｐを計算し、画
素Ｘの法線ベクトルＰとする（ステップＳ３０５）。

【０１３５】以上の処理を距離画像中の全ての画素につ
いて行ったかどうか判定する（ステップＳ３０６）。行
っていなかったら、ステップＳ３００に戻る。

【０１３６】全ての画素について、法線ベクトルＰの計
算が終了したら、各画素の法線ベクトルの平均Ｐ_lip ＝
Σｐを計算し、これを口唇の法線ベクトルとする（ステ
ップＳ３０７）。

【０１３７】口唇は、顔のほぼ中央にあり、ほぼ左右上
下対称形状であるため、口唇の法線ベクトルと顔の法線
ベクトルの方向は、おおむね一致する。そのため、ステ
ップＳ３０７で得られたＰ_lip が顔の法線ベクトルとな
る。つまり、法線ベクトルＰ_lip を顔の向きとして話者
の向いている方向を識別することができる。

【０１３８】なお、ここでは、口唇の向いている方向を
得る一手段として、距離画像から口唇の法線ベクトルを
計算する方法について説明したが、これに限定されるも
のではなく、口唇の大きさの比率や形状の変化から口唇
の向いている方向を類推するなど、他の方法を用いても
構わない。

【０１３９】以上のように本実施形態によれば、話者が
どちらの方向を向いて、どのような話をしているのかも
しくはどのような口唇の動きをしているのかなどを、同
時に認識することが可能である。

【０１４０】本実施形態は、上記した構成に限定され
ず、種々変形して実施することができる。以下では、本
実施形態のいくつかの変形例を示す。

【０１４１】（第２の実施形態の変形例１）図１３のよ
うに、口腔部抽出部２の代わりに、画像取得部１で取得
された顔の全部または一部の距離画像ストリームから顔
部のみを抽出するための顔部抽出部５を置いても良い。
この場合、画像認識部３には、顔部抽出部５で抽出され
た顔部の距離画像ストリームが入力される。

【０１４２】そして、画像認識部３では、例えば、頷
く：顔を上下に数回振る、拒む：顔を左右に数回振る、
喜ぶ：大きく口があく、目が細くなる、驚く：目を見開
く、などというようにゼスチャーや表情などを得るため
のテンプレートを用意しておき、それらを用いて、入力
された顔部の距離画像ストリームとのテンプレートマッ
チングを行うことで、頷いているなどのゼスチャーや、
喜んでいる、驚いている、困っているなどの表情変化な
どを認識することが可能である。

【０１４３】方向識別部６では、画像認識部３で得られ
た顔部の形状、動きの認識結果をもとに、話者の顔の向
いている方向を識別する。

【０１４４】このように変形することにより、対象人物
が、どちらの方向を向いて、どのような顔の動作（ゼス
チャー、表情変化など）をしているのかを認識すること
ができる。

【０１４５】（第２の実施形態の変形例２）なお、第２
の実施形態では、画像認識部３の認識結果をもとに、前
記方向識別部６で話者の向いている方向を識別したが、
図１４のように、画像取得部１で取得された顔の距離画
像ストリーム（これには、背景などが含まれる）から顔
の部分のみを抽出するための顔部抽出部５を新たに追加
し、顔部抽出部５で抽出された顔の距離画像ストリーム
をもとに、方向識別部６で話者の向いている方向を識別
するようにしても良い。この場合、方向識別部６では、
顔部抽出部５で抽出された顔の距離画像ストリームか
ら、顔の法線方向（例えば、顔を構成する画素の法線方
向の平均）を計算することにより、話者の向いている方
向を得る。

【０１４６】このようにすることで、第２の実施形態で
は、口唇の向いている方向から、顔の向いている方向を
得ていたが、直接、顔の向いている方向を得ることがで
きるため、より細かく、微妙な顔の向きを得ることが可
能である。

【０１４７】（第３の実施形態）次に、本発明の第３の
実施形態について説明する。本実施形態では、第２の実
施形態と相違する部分を中心に説明する。

【０１４８】図１５は、本発明の第３の実施形態に係る
画像認識装置の全体構成図である。

【０１４９】図１５に示されるように、本実施形態の画
像認識装置は、第２の実施形態の画像認識装置の構成も
しくはその変形例の構成に対して、話者の発言内容を認
識する音声認識部７と、方向識別部６で得られた話者の
顔の向いている方向をもとに、音声認識部７に、音声認
識の開始を指示するための音声認識開始部８が追加され
た構成になっている。

【０１５０】これにより話者の顔の向いている方向に応
じて、音声認識を行うことができる。

【０１５１】次に、音声認識部７について説明する。

【０１５２】音声認識部７は、マイクなどの音声の入力
装置を用いて入力された音声の内容を認識するものであ
る。音声認識部７では、種々の認識手法を用いることが
可能である。例えば、隠れマルコフモデルなどを用いて
実現してもよい。音声認識を行うことで、話者の会話の
内容を認識することができる。

【０１５３】次に、音声認識開始部８について説明す
る。

【０１５４】音声認識開始部８は、方向識別部６で得ら
れた結果をもとに、音声認識部７に、音声認識を開始す
るように指示を出すものである。ここでは、例えば、話
者が（本実施形態の画像認識装置に対して（すなわち画
像取得部１の受光素子の部分に対して；以下、同様））
正面を向いたとき、話者の行為が開始されたとみなし、
この時点で、音声認識の開始の指示を音声認識部７に送
る。

【０１５５】以上のように本実施形態によれば、話者の
動作に応じて、音声認識を開始することが可能である。
例えば、話者が（本実施形態の画像認識装置に対して）
正面を向いたときに音声認識を開始することができる。

【０１５６】また、本実施形態によれば、画像認識部３
による口唇認識（読唇）の結果も得られるため、音声認
識と口唇認識（読唇）を同時に行うことが可能となり、
これら２つの認識の結果を総合的に用いることにより、
話者の会話内容について、より高い認識率を持つ認識結
果を得ることができる。

【０１５７】これは、以下の様な状況において大変有効
である。例えば、工事現場などの雑音が多く声を聞き取
りにくいような場所では、音声認識だけの場合、認識率
が低下するし、場合によっては全然認識できなくなった
りするが、第３の実施形態のように、口唇認識も同時に
行えば、口唇認識は雑音に影響されないので、認識率は
低下することはなく、全体的に高い認識率を維持するこ
とができる。また、図書館のような静寂で大きな声を出
せない場所でも、音声認識だけでは、微少の音声で認識
を行なわねばならないため、認識率の低下が考えられる
が、同様の理由で、口唇認識も同時に行えば、全体的に
高い認識率を維持することができる。

【０１５８】また、２人が話をしているような場合、従
来の音声認識では、複数の音声が同時に入力されてしま
い、認識対象を判別することが困難だったが、本実施形
態の場合、２人のうち、例えば、本実施形態の画像認識
装置に対して正面を向いている人の方のみを認識すると
いうように、認識対象を判別することも容易であるし、
口唇認識も同時に行っているので、その情報を用いて認
識対象を判別することもできる。

【０１５９】本実施形態は、上記した構成に限定され
ず、種々変形して実施することができる。以下では、本
実施形態のいくつかの変形例を示す。

【０１６０】（第３の実施形態の変形例１）第３の実施
形態では、音声認識部７、音声認識開始部８を置き、方
向識別部６で得られた結果をもとに、音声認識を開始す
る例について説明したが、これに限定されるものではな
く、音声認識に限らず、他のどのような認識手段でも良
い。

【０１６１】（第３の実施形態の変形例２）第３の実施
形態では、話者の顔の向いている向きに応じて、音声認
識の開始の指示に用いる例を示したが、図１６に示すよ
うに、音声認識開始部８の代わりに、音声認識部７に音
声認識の終了を指示するための音声認識終了部９を置
き、音声認識の終了の指示に用いても良い。

【０１６２】こうした場合、話者の動作に応じて、音声
認識を終了することが可能である。例えば、話者が（本
実施形態の画像認識装置に対して）顔を背けたときに音
声認識を終了することができる。

【０１６３】もちろん、図１５にさらに音声認識終了部
９を設け、音声認識の開始と終了の両方の指示に用いて
もよい。

【０１６４】（第３の実施形態の変形例３）方向識別部
６で話者の顔の向いている方向を得て、それを音声認識
の開始の指示に用いるのではなく、図１７に示すよう
に、画像認識部３で得られた認識結果から、会話の始ま
りにおける口唇の動き出しを検出し、それをもとに音声
認識部７に音声認識の開始を指示するための新たな音声
認識開始部８を置いても良い。

【０１６５】この場合、音声認識開始部８は、画像認識
部３で得られた口唇認識の結果から、口唇の動作が始ま
る点（言葉を話し始める際、口唇が微妙に動き始める点
で、この時点では、まだ発音は始まっていない）を求
め、その時点で、音声認識部７に音声認識の開始を指示
する。

【０１６６】また、同様に、本変形例３の音声認識開始
部８の代わりに、口唇の動作が終了する点を検出する音
声認識終了部９を置き、音声認識の終了の指示に用いて
も良い。

【０１６７】もちろん、同様に、本変形例３の音声認識
開始部８に加えて、口唇の動作が終了する点を検出する
音声認識終了部９を置き、音声認識の開始と終了の両方
の指示に用いても良い。

【０１６８】なお、従来方法では、口唇の動きだしの検
出をおこなうための計算に時間がかかるため、このよう
なリアルタイム処理に口唇の動きだしの検出を用いるこ
とは困難であったが、本実施形態の画像認識装置では、
第１の実施形態で説明したように、あまり計算コストを
必要とせずに口唇部の抽出が可能であるため、このよう
な口唇の動きだしの検出を十分にリアルタイムに行うこ
とができる。

【０１６９】（第４の実施形態）次に、本発明の第４の
実施形態について説明する。本実施形態では、第１の実
施形態と相違する部分を中心に説明する。

【０１７０】図１８は、本発明の第４の実施形態に係る
画像認識装置の全体構成図である。

【０１７１】図１８に示されるように、本実施形態の画
像認識装置は、第２の実施形態の画像認識装置の構成に
対して、各種の情報の提示を行う情報呈示部１０と、方
向識別部６で得られた話者の顔の向いている方向をもと
に情報呈示の開始を情報呈示部１０に指示するための情
報呈示開始部１１が追加された構成になっている。

【０１７２】これにより話者の顔の向いている方向に応
じて、各種の情報呈示を行うことができる。

【０１７３】次に、情報呈示部１０について説明する。

【０１７４】情報呈示部１０は、対象者（話者）に何ら
かの情報を提示するものである。情報呈示部１０は、デ
ィスプレー（画像、文字などを呈示）、スピーカー（音
を呈示）、フォースフィードバック装置（感触を呈示）
などの少なくとも１つの情報呈示装置を具備しており、
それを通して対象者に情報を提示することができる。

【０１７５】次に、情報呈示開始部１１について説明す
る。

【０１７６】情報呈示開始部１１は、前述した第３の実
施形態における音声認識開始部８と同様の役割をするも
ので、方向識別部６で得られた結果をもとに、情報呈示
部１０に、情報呈示の開始の指示を出すものである。

【０１７７】本実施形態によれば、話者の動作に応じ
て、情報呈示を開始することが可能である。例えば、話
者が（本実施形態の画像認識装置に対して）正面を向い
たときに、それを話者の行為開始とみなし、情報呈示を
開始することができる。

【０１７８】また、画像認識部３による口唇認識（読
唇）の結果も得られているため、話者の会話の内容に応
じて、情報呈示を開始することも可能である。

【０１７９】本実施形態は、上記した構成に限定され
ず、種々変形して実施することができる。以下では、本
実施形態のいくつかの変形例を示す。

【０１８０】（第４の実施形態の変形例１）第３の実施
形態の変形例２の場合と同様に、情報呈示開始部１１に
代えてあるいは情報呈示開始部１１に加えて、情報呈示
終了部を置き、呈示終了の指示をしても良い。

【０１８１】（第４の実施形態の変形例２）第３の実施
形態の変形例３の場合と同様に、画像認識部３で得られ
た認識結果から、会話の始まりにおける口唇の動き出し
を検出し、それをもとに情報呈示部１０に情報呈示の開
始を指示するための新たな情報呈示開始部１１を置いて
も良い。

【０１８２】このようにすることにより、例えば、情報
呈示の方法として音声合成を用いて、口唇の形状、動き
の認識結果をもとに、その認識内容を音声合成で提供す
ることで、喉の病気などで言葉が話せない場合でも、口
パク（音声は出さずに、実際話しているように口唇を動
かす）をするだけで、音声合成により、本実施形態の画
像認識装置に代わりに話させるなどというような、いわ
ゆる、音声同期（リップシンク）が可能である。

【０１８３】もちろん、第３の実施形態の変形例３の場
合と同様に、本変形例の情報呈示開始部１１に代えてあ
るいは情報呈示開始部１１に加えて、情報呈示終了部を
置き、呈示終了の指示をしても良い。

【０１８４】（第４の実施形態の変形例３）図１９に示
すように、情報呈示開始部１１の代わりに、呈示する情
報の種類を切り替えるための情報呈示切り替え部１２を
置き、話者の向いている方向によって、情報呈示の形態
を切り替えるようにしても良い。

【０１８５】この情報呈示の形態の切り替えとしては、
（１）異なる情報呈示の形態を追加する、（２）複数の
情報呈示の形態を提供している場合に、少なくとも１つ
の情報呈示の形態を中止する、（３）１または複数の情
報呈示の形態を提供している場合に、一部または全てを
異なる情報呈示の形態に変更する（情報呈示の形態数が
変化する場合を含む）、などが考えられる。

【０１８６】こうすることで、話者の顔が（本実施形態
の画像認識装置の方を）向いていないときには、音声の
みの情報呈示を行っていて、話者の顔が向いたときに
は、情報呈示切り替え部１２を用いて、音声のみの呈示
から、音声に加えて、画像などの複合メディアを用いた
情報呈示に切り替える、などということが可能である。

【０１８７】これは、例えば、博物館、美術館などの展
示物の説明を行うのに、通常は音声で説明文を読み上げ
ておいて、見学者が展示物の方を見て（あるいは、さら
に何か話すと）、展示物の横に置いておいたディスプレ
ーで説明ビデオの上映が始まる、といったように用いる
ことができる。

【０１８８】（第４の実施形態の変形例４）第４の実施
形態に、第３の実施形態で説明した音声認識部、音声認
識開始部、音声認識終了部などを組み合わせることによ
り、話者の生の音声と情報呈示部１０で生成した画像情
報を組み合わせて呈示することが可能となる。

【０１８９】例えば、口腔部抽出部２で抽出した口腔部
の距離画像ストリームを用いて、情報呈示部１０でその
形状を３次元ＣＧ合成を行い、それに、音声認識部で取
得した話者の生の音声を組み合わせることで、話者の生
の声と音声同期（リップシンク）して口唇が動く３次元
ＣＧを提供することができる。

【０１９０】（第５の実施形態）次に、本発明の第５の
実施形態について説明する。

【０１９１】第５の実施形態の画像認識装置は、第１、
第２、第３、あるいは第４の実施形態の画像認識装置や
それらの種々の変形例の構成それぞれにおいて、外部と
の通信を行う通信部（図示せず）を追加したものであ
る。

【０１９２】これにより第１、第２、第３、あるいは第
４の実施形態やその変形例で得られた所望の情報を外部
に通信することができる。

【０１９３】通信部は、入力されたデータを、電話回線
などの通信路を用いて外部に通信するもので、これが加
えられることで、例えば、第１の実施形態では、口唇認
識の結果を、第２の実施形態では、口唇認識の結果およ
び話者の向いている方向を、第３の実施形態では、口唇
認識および音声認識の結果を、第４の実施形態では、口
唇認識の結果および呈示された情報を、それぞれ通信す
ることが可能である。

【０１９４】以上のように本実施形態によれば、当該画
像認識装置で得られた結果（第１の実施形態を基にした
ものでは、口唇認識結果、第２の実施形態を基にしたも
のでは、話者方向と口唇認識結果、第３の実施形態を基
にしたものでは、口唇および音声認識結果、第４の実施
形態を基にしたものでは、口唇認識結果および呈示情
報）を、インターネットなどを通して通信することが可
能である。

【０１９５】例えば、第４の実施形態の変形例４の場
合、話者の生の声と音声同期（リップシンク）して口唇
が動く３次元ＣＧが得られるが、先に顔の口唇部以外の
部分を通信先の相手に送っておき、話者の発言ととも
に、上記３次元ＣＧの口唇部だけを通信部を用いてリア
ルタイムに送り、通信先で、あらかじめ送っておいた顔
と合成することで、通信路に負荷をかけずに（つまり通
信路をボトルネックとせずに）、３次元ＣＧの音声同期
（リップシンク）を行うことができる。これは、通信路
に速度のボトルネックが生じやすいインターネットなど
で、音声とＣＧといった比較的大きなデータを用いてリ
アルタイム処理する際に大変有効である。

【０１９６】以下では、以上の各実施形態における画像
取得部１の構成について詳しく説明する。

【０１９７】図２０に、画像取得部１の一構成例を示
す。この画像取得部１は、対象物体に光を照射するため
の発光部１０１、対象物体からの反射光を画像として抽
出するための反射光抽出部１０２、画像化された反射光
の情報をもとに距離画像を生成するための距離画像生成
部１０３、これらの各部の動作タイミングを制御するタ
イミング制御部１０４を用いて構成される。

【０１９８】発光部１０１は、発光素子を持ち、タイミ
ング制御部１０４によって生成されるタイミング信号に
従って時間的に強度変動する光を発光する。発光部１０
１が発した光は、発光部１０１の発光素子の前方にある
対象物体により反射された後に、反射光抽出部１０２の
受光面に入射する。

【０１９９】物体からの反射光は、物体の距離が大きく
なるにつれ大幅に減少する。物体の表面が一様に光を散
乱する場合、反射光画像１画素あたりの受光量は物体ま
での距離の２乗に反比例して小さくなる。従って、当該
受光面の前に物体が存在する場合、背景からの反射光は
ほぼ無視できるくらいに小さくなり、物体のみからの反
射光画像を得ることができる。

【０２００】例えば、当該受光面の前に人間の顔の部分
が存在する場合、その顔からの反射光画像が得られる。
このとき、反射光画像の各画素値は、その画素に対応す
る単位受光部で受光した反射光の量を表す。反射光量
は、物体の性質（光を鏡面反射する、散乱する、吸収す
る、など）、物体の向き、物体の距離、などに影響され
るが、物体全体が一様に光を散乱する物体である場合、
その反射光量は物体までの距離と密接な関係を持つ。顔
などはこのような性質を持つため、顔を対象物体とした
場合の反射光画像は、顔の３次元形状、顔の距離、顔の
傾き（部分的に距離が異なる）、などを反映する。

【０２０１】反射光抽出部１０２は、マトリクス状に配
列した、光の量を検出する受光素子を持ち、発光部１０
１が発した光の対象物体による反射光の空間的な強度分
布を抽出する。この反射光の空間的な強度分布は、画像
として捉えることができるので、以下では反射光画像と
呼ぶ。

【０２０２】ここで、反射光抽出部１０２の受光素子に
おいては、一般的に、発光部１０１の光の対象物体によ
る反射光だけでなく、照明光や太陽光などの外光も同時
に受光することが想定される。そこで、本構成例の反射
光抽出部１０２では、発光部１０１が発光しているとき
に受光した光の量と、発光部１０１が発光していないと
きに受光した光の量の差を取ることによって、発光部１
０１からの光の対象物体による反射光の成分だけを取り
出すようにしている。この受光のタイミングも、タイミ
ング制御部１０４によって制御される。

【０２０３】そして、反射光抽出部１０２により得られ
た外光補正後の反射光画像の各画素に対応する反射光量
（アナログ信号）が必要に応じて増幅された後にＡ／Ｄ
変換され、これによってデジタル化された反射光画像が
得られる。

【０２０４】距離画像生成部１０３は、反射光抽出部１
０２によって得られた反射光画像の各画素の受光量の値
（デジタルデータ）を距離の値に変換することによっ
て、距離画像（例えば、６４画素×６４画素、２５６階
調の画像）を生成する。

【０２０５】次に、図２１に、画像取得部１のより詳し
い一構成例を示す。

【０２０６】発光部１０１より発光された光は、対象物
体１０６に反射して、レンズ等の受光光学系１０７によ
り、反射光抽出部１０２の受光面上に結像する。

【０２０７】反射光抽出部１０２は、この反射光の強度
分布、すなわち反射光画像を検出する。反射光抽出部１
０２は、各画素（単位受光部）ごとに設けられた第１の
受光部１２１および第２の受光部１２２、ならびに全画
素について１つ（または一纏まりの複数画素ごとにまた
は各画素ごとに）設けられた差分演算部１２３を用いて
構成される。

【０２０８】第１の受光部１２１と第２の受光部１２２
は、異なるタイミングで受光を行う。そして、第１の受
光部１２１が受光しているときに発光部１０１が発光
し、第２の受光部１２２が受光しているときには発光部
１０１は発光しないように、タイミング制御部１０４が
これらの動作タイミングを制御する。これにより、第１
の受光部１２１が発光部１０１からの光の物体による反
射光とそれ以外の太陽光、照明光などの外光を受光す
る。一方、第２の受光部１２２は外光のみを受光する。
両者が受光するタイミングは異なっているが近いので、
この間における外光の変動や対象物体の変位は無視でき
る。

【０２０９】従って、差分演算部１２３により第１の受
光部１２１で受光した像と第２の受光部１２２で受光し
た像の差分をとれば、対象物体による反射光の成分だけ
が抽出される。１つの差分演算部１２３が複数の画素で
共用される場合には、シーケンシャルに差分が演算され
る。

【０２１０】なお、単位受光部の第１の受光部１２１お
よび第２の受光部１２２の実際の構成については種々の
ものが考えられる。例えば、第１の受光部１２１および
第２の受光部１２２のそれぞれに受光素子を設けるので
はなく、単位受光部ごとに、光電変換素子（例えばフォ
トダイオード）を１つ設けて第１の受光部１２１と第２
の受光部１２２で兼用するとともに、受光量に対応する
電荷量を蓄積する電荷蓄積素子（例えばコンデンサ）を
第１の受光部１２１および第２の受光部１２２のそれぞ
れのために２つ設ける方法が考えられる。

【０２１１】さて、上記のようにして、反射光抽出部１
０２は、反射光画像の各画素の反射光量を外光補正を行
った後に出力する。なお、ここでは、各画素の反射光量
をシーケンシャルに出力するものとする。

【０２１２】反射抽出部１０２からの出力はアンプ１３
１によって増幅され、Ａ／Ｄ変換器１３２によってデジ
タルデータに変換された後、メモリ１３３に画像データ
として蓄えられる。そして、しかるべきタイミングでこ
のメモリより蓄積されたデータが読み出され、距離画像
生成部１０３に与えられる。

【０２１３】距離画像生成部１０３では、反射光抽出部
１０２により得られた反射光画像をもとに距離画像を生
成する。例えば、反射光画像の各画素の反射光量を、そ
れぞれ、所定の階調（例えば、２５６階調）のデジタル
データに変換する。なお、この変換にあたっては、例え
ば、（１）受光素子における受光量が対象物体までの距
離に対して非線形性を持つ（対象物体までの距離の２乗
に反比例する）という非線形要因に対する補正を行う処
理、あるいは（２）各画素に対応する受光素子の特性の
ばらつきや非線形性を補正する処理、あるいは（３）背
景やノイズを除去する処理（例えば、基準値以下の受光
量を持つ画素の階調を０にする）、などといった処理を
適宜行ってもよい。

【０２１４】なお、顔の３次元形状を抽出する場合、距
離情報を高い分解能で求められることが望ましい。この
場合、アンプ１３１として対数アンプを用いると望まし
い。受光面での受光量は対象物体までの距離の２乗に反
比例するが、対数アンプを用いると、その出力は距離に
反比例するようになる。このようにすることで、ダイナ
ミックレンジを有効に使うことができる。

【０２１５】さて、上記のような構成において、１回の
発光によって全画素について反射光が得られるものとす
ると、タイミング制御部１０４の制御によって、発光→
第１の受光部による受光→発光なしに第２の受光部によ
る受光→差分演算→デジタル化→距離画像の生成（もし
くは発光なしに第２の受光部による受光→発光→第１の
受光部による受光→差分演算→デジタル化→距離画像の
生成）といった一連の処理が進められ、これによって１
枚の距離画像が得られる。また、この一連の処理を繰り
返し行う（例えば、１／６０秒ごとに行う）ことによっ
て、距離画像ストリームを得ることができる。

【０２１６】なお、発光部１０１は、人間の目に見えな
い、近赤外光を発光するようにするのが好ましい。この
ようにすれば、光が照射されても人間には光が見えない
ため、眩しさを感じさせないようにすることができる。
また、この場合に、受光光学系には、近赤外光通過フィ
ルタを設けると好ましい。このフィルタは、発光波長で
ある近赤外光を通過し、可視光、遠赤外光を遮断するの
で、外光の多くをカットすることができる。ただし、人
間の目に眩しくない条件であれば（例えば、発光量がそ
れほど大きくない、人間の目には直接入射しないような
光学系となっている、など）、可視光を用いても構わな
い。また、電磁波や超音波などを用いる方法も考えられ
る。

【０２１７】また、上記では外光補正として発光部１０
１の発光の有無の相違による２種類の受光量の差分をア
ナログ信号の状態で取ったが、２種類の受光量をそれぞ
れデジタル化した後に差分を取るようにする方法もあ
る。

【０２１８】なお、上記した受光面もしくはこれを収容
した筐体は、本画像認識装置の目的等に応じて適宜設置
するばよい。例えば本画像認識装置が表示装置を持つも
のである場合、この表示装置に対して対象物体となる人
間の顔が正面を向いたときに、当該受光面に対しても正
面を向いた形になるように当該画像認識装置の筐体に設
ける。

【０２１９】なお、以上の各実施形態やその変形例は、
適宜組み合わせて実施することが可能である。

【０２２０】また、以上の各実施形態やその変形例ある
いはそれらを適宜組み合わせたものでは、距離画像スト
リームから形状および／または動きを認識し、あるいは
さらにその認識結果をもとに種々の処理を行うものであ
ったが、距離画像から形状を認識し、あるいはさらにそ
の認識結果をもとに種々の処理を行うように構成した実
施形態も可能である。

【０２２１】また、以上の各実施形態やその変形例ある
いはそれらを適宜組み合わせたものは、画像取得部１も
しくはそのうちの反射光画像を抽出する部分を省き、与
えられた距離画像もしくはそのストリームに基づいて、
もしくは与えられた反射光画像もしくはそのストリーム
から距離画像もしくはそのストリームを生成し、生成し
た距離画像もしくはそのストリームに基づいて、形状お
よび／または動きを認識し、あるいはさらにその認識結
果をもとに種々の処理を行うような装置として構成する
ことも可能である。

【０２２２】以上の各機能は、素子部分を除いて、ソフ
トウェアとしても実現可能である。また、上記した各手
順あるいは手段をコンピュータに実行させるためのプロ
グラムを記録した機械読取り可能な媒体として実施する
こともできる。

【０２２３】本発明は、上述した実施の形態に限定され
るものではなく、その技術的範囲において種々変形して
実施することができる。

【０２２４】

【発明の効果】本発明によれば、対象物体に対する距離
画像から必要とする部分を抽出し、抽出した部分の距離
画像に基づいて認識処理を行うので、人間の顔や口唇の
形状や動きを高速かつ高精度に認識することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る画像認識装置の
構成例を概略的に示す図

【図２】距離画像について説明するための図

【図３】距離画像について説明するための図

【図４】距離画像について説明するための図

【図５】エッジ抽出の処理の流れを示すフローチャート

【図６】Ｓｏｂｅｌオペレータを説明するための図

【図７】テンプレートマッチングの処理の流れを示すフ
ローチャート

【図８】本発明の第１の実施形態の変形例２に係る画像
認識装置の構成例を概略的に示す図

【図９】本発明の第１の実施形態の変形例３に係る画像
認識装置の構成例を概略的に示す図

【図１０】本発明の第２の実施形態に係る画像認識装置
の構成例を概略的に示す図

【図１１】話者の顔の向いている方向を求める処理の流
れを示すフローチャート

【図１２】画素の法線方向を説明するための図

【図１３】本発明の第２の実施形態の変形例１に係る画
像認識装置の構成例を概略的に示す図

【図１４】本発明の第２の実施形態の変形例２に係る画
像認識装置の構成例を概略的に示す図

【図１５】本発明の第３の実施形態に係る画像認識装置
の構成例を概略的に示す図

【図１６】本発明の第３の実施形態の変形例２に係る画
像認識装置の構成例を概略的に示す図

【図１７】本発明の第３の実施形態の変形例３に係る画
像認識装置の構成例を概略的に示す図

【図１８】本発明の第４の実施形態に係る画像認識装置
の構成例を概略的に示す図

【図１９】本発明の第４の実施形態の変形例３に係る画
像認識装置の構成例を概略的に示す図

【図２０】画像取得部の構成例を示す図

【図２１】画像取得部のより詳しい構成例を示す図

【符号の説明】

１…画像取得部 ２…口腔部抽出部 ３…画像認識部 ４…音呈示部 ５…顔部抽出部 ６…方向識別部 ７…音声認識部 ８…音声認識開始部 ９…音声認識終了部 １０…情報呈示部 １１…情報呈示開始部 １２…情報呈示切り替え部 １０１…発光部 １０２…反射光抽出部 １０３…距離画像生成部 １０４…タイミング信号生成部 １０７…受光光学系 １２１…第１の受光部 １２２…第２の受光部 １２３…差分演算部 １３１…アンプ１３１ １３２…Ａ／Ｄ変換器 １３３…メモリ

Claims (15)

【特許請求の範囲】
1. 【請求項１】対象物体に対する距離画像を取得するため
   の画像取得手段と、 前記画像取得手段により取得された距離画像から口腔部
   分を抽出する口腔部抽出手段と、 前記口腔部抽出手段により抽出された口腔部分の距離画
   像に基づいて、口唇の形状を認識するための画像認識手
   段とを具備したことを特徴とする画像認識装置。
2. 【請求項２】対象物体に対する距離画像ストリームを取
   得するための画像取得手段と、 前記画像取得手段により取得された距離画像ストリーム
   から口腔部分を抽出する口腔部抽出手段と、 前記口腔部抽出手段により抽出された口腔部分の距離画
   像ストリームに基づいて、口唇の形状および口唇の動き
   の少なくとも一方を認識するための画像認識手段とを具
   備したことを特徴とする画像認識装置。
3. 【請求項３】対象物体に対する距離画像を取得するため
   の画像取得手段と、 前記画像取得手段により取得された距離画像から顔部分
   を抽出する顔部抽出手段と、 前記顔部抽出手段により抽出された顔部分の距離画像に
   基づいて、顔の形状を認識するための画像認識手段とを
   具備したことを特徴とする画像認識装置。
4. 【請求項４】対象物体に対する距離画像ストリームを取
   得するための画像取得手段と、 前記画像取得手段により取得された距離画像ストリーム
   から顔部分を抽出する顔部抽出手段と、 前記顔部抽出手段により抽出された顔部分の距離画像ス
   トリームに基づいて、顔の形状および顔の動きの少なく
   とも一方を認識するための画像認識手段とを具備したこ
   とを特徴とする画像認識装置。
5. 【請求項５】前記画像認識手段により得られた前記形状
   の情報または前記動きの情報に基づいて、話者の顔の向
   きを識別するための方向識別手段をさらに具備したこと
   を特徴とする請求項１ないし４のいずれか１項に記載の
   画像認識装置。
6. 【請求項６】前記画像取得手段により取得された距離画
   像から顔部分を抽出する顔部抽出手段と、 前記顔部抽出手段により抽出された顔部分の距離画像に
   基づいて、話者の顔の向きを識別するための方向識別手
   段とをさらに具備したことを特徴とする請求項１または
   ２に記載の画像認識装置。
7. 【請求項７】入力された音声を認識するための音声認識
   手段と、 前記画像認識手段による認識結果に基づいて話者の会話
   の開始が検出された場合に前記音声認識手段による音声
   認識を開始させる制御と前記画像認識手段による認識結
   果に基づいて話者の会話の終了が検出された場合に前記
   音声認識手段による音声認識を終了させる制御の少なく
   とも一方の制御を行う制御手段とをさらに具備したこと
   を特徴とする請求項１、２または６に記載の画像認識装
   置。
8. 【請求項８】入力された音声を認識するための音声認識
   手段と、 前記方向識別手段による識別結果が正面である場合に前
   記音声認識手段による音声認識を開始させる制御と前記
   方向識別手段による識別結果が正面でない場合に前記音
   声認識手段による音声認識を終了させる制御の少なくと
   も一方の制御を行う制御手段とをさらに具備したことを
   特徴とする請求項５または６に記載の画像認識装置。
9. 【請求項９】所定の出力形態により所定の情報を呈示す
   るための情報呈示手段と、 前記画像認識手段による認識結果に基づいて話者の会話
   の開始と終了の少なくとも一方の検出を行い、該検出結
   果に応じて、前記情報呈示手段による情報呈示を開始さ
   せる制御と前記情報呈示手段による情報呈示を終了させ
   る制御と前記情報呈示手段により行われている情報呈示
   に用られている出力形態の少なくとも一部の変更を行う
   制御のうち少なくとも１つの制御を行う制御手段とをさ
   らに具備したことを特徴とする請求項１、２、６または
   ７に記載の画像認識装置。
10. 【請求項１０】所定の出力形態により所定の情報を呈示
    するための情報呈示手段と、 前記方向識別手段による識別結果に係る向きと正面方向
    との関係に応じて、前記情報呈示手段による情報呈示を
    開始させる制御と前記情報呈示手段による情報呈示を終
    了させる制御と前記情報呈示手段により行われている情
    報呈示に用られている出力形態の少なくとも一部の変更
    を行う制御のうち少なくとも１つの制御を行う制御手段
    とをさらに具備したことを特徴とする請求項５、６また
    は８に記載の画像認識装置。
11. 【請求項１１】得られた所定の情報を通信するための通
    信手段をさらに具備したことを特徴とする請求項１ない
    し１０のいずれか１項に記載の画像認識装置。
12. 【請求項１２】与えられた、対象物体に対する距離画像
    から、口腔部分を抽出し、 抽出された口腔部分の距離画像に基づいて、口唇の形状
    を認識することを特徴とする画像認識方法。
13. 【請求項１３】与えられた、対象物体に対する距離画像
    ストリームから、口腔部分を抽出し、 抽出された口腔部分の距離画像ストリームに基づいて、
    口唇の形状および口唇の動きの少なくとも一方を認識す
    ることを特徴とする画像認識方法。
14. 【請求項１４】コンピュータに、与えられた対象物体に
    対する距離画像から口腔部分を抽出させ、抽出された口
    腔部分の距離画像に基づいて口唇の形状を認識させるた
    めの手順を含むプログラムを記録したコンピュータ読取
    り可能な記録媒体。
15. 【請求項１５】コンピュータに、与えられた対象物体に
    対する距離画像ストリームから口腔部分を抽出させ、抽
    出された口腔部分の距離画像ストリームに基づいて口唇
    の形状および口唇の動きの少なくとも一方を認識させる
    ための手順を含むプログラムを記録したコンピュータ読
    取り可能な記録媒体。