JPH07296154A - 画像データ認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 認識対象の画像データを動画像にまで拡張す
る。 【構成】 受光部１３により入力された画像データは、
画像データ記憶部１６に一時的に格納された後、分割処
理部１７により各コマ単位に分割され、Ａ／Ｄ変換部１
８によりディジタルデータに変換されてビデオメモリ部
１９に格納される。この画像データから画像データ切出
し部２１により特定の部分が切り出される。そして、こ
れらの画像データの変化の特徴は、画像データ集計部２
２により数値データとして表わされる。登録データ格納
部２３には、各数値データに対応した登録データ及び音
声が格納されており、とらえられた動画像の動作に対応
した音声が音声出力部２５から出力される。この結果、
音声認識によらずに人間の口の動きから発音を認識する
ことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像を認識できるよ
うにした画像データ認識装置に関するものである。

【０００２】

【従来の技術】従来、画像データを認識する装置の典型
的な例として、ＯＣＲ（光学式文字読取装置）がある。
この種の装置の特徴は、用紙に描かれた文字を位相構造
化法、パターンマッチング法等により、認識するところ
にあり、認識の対象は静止画に限られていた。即ち、ホ
ッパ部に蓄積されている用紙を１枚ずつローラにより搬
送し、ＣＣＤ等により用紙に描かれた文字等を読み取っ
て認識部により、例えばパターンマッチングの場合は基
本パターンとの比較により、最も一致度の高い基本パタ
ーンを出力する。そして、各基本パターンに対応して文
字コードが格納されており、文字コードへの変換が行な
われる。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た従来の技術には、次のような課題があった。即ち、認
識の対象は用紙に描かれた文字や図形に限られ、人間の
口の動きや体の動き等の動画像を認識することはできな
かった。従って、人間の発声や運動の際のフォーム等を
認識することができなかった。このように、認識の対象
が非常に限定され、認識の対象を広範囲に拡張しにくい
という課題があった。

【０００４】

【課題を解決するための手段】本発明の画像データ認識
装置は、上述した課題を解決するため、以下の点を特徴
とするものである。 （１） 読取対象物からの反射光を受光する受光部を備える。 当該受光部により入力された画像データを一時的に記
憶する画像データ記憶部を備える。 当該画像データ記憶部に記憶された画像データを各コ
マ単位に分割する分割処理部を備える。

【０００５】当該分割処理部によりコマ単位に分割さ
れた画像データの特定の部分を切り出す画像データ切出
し部を備える。 当該画像データ切出し部により切り出された画像デー
タの特徴を数値データとして表わす画像データ集計部を
備える。 当該画像データ集計部により出力される各数値データ
に対応する音声データを格納した登録データ格納部を備
える。 当該登録データ格納部に格納された音声データのう
ち、画像データ集計部で集計された数値データに対応し
たものを出力する音声出力部を備える。

【０００６】（２） 読取対象物からの反射光を受光する受光部を備える。
当該受光部により入力された画像データを一時的に記憶
する画像データ記憶部を備える。 当該画像データ記憶部に記憶された画像データを各コ
マ単位に分割する分割処理部を備える。 当該分割処理部によりコマ単位に分割された画像デー
タの特定の部分を切り出す画像データ切出し部を備え
る。 当該画像データ切出し部により切り出される画像デー
タと比較するための基本画像データを格納した登録デー
タ格納部を備える。 当該登録データ格納部に格納された基本画像データと
画像データ切出し部により切り出された画像データとを
比較し、両者の相異点を解析する知的解析部を備える。

【０００７】

【作用】受光部により入力された画像データは、分割処
理部により各コマ単位に分割され、特定の部分が切り出
される。この結果、動画像の動作がサンプリングされ、
一連の複数の静止画としてとらえられる。そして、これ
らの画像データの変化の特徴は、数値データとして表わ
される。この数値データは、例えば、文字コードのコー
ド番号のようなものである。登録データ格納部には、各
数値データに対応した音声が格納されており、とらえら
れた動画像の動作に対応した音声が音声出力部から出力
される。この結果、音声認識によらずに人間の口の動き
から発音を認識することができる。

【０００８】受光部により入力された画像データは、分
割処理部により各コマ単位に分割され、特定の部分が切
り出され、動画像の動作がサンプリングされ、一連の複
数の静止画としてとらえられる。そして、これらの各静
止画の画像データは、基本画像データと比較され、相異
点が検出される。この結果、人間の体の動きを認識し、
例えば、スポーツのフォームの改善等に利用することが
できる。

【０００９】

【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。図１は、本発明の画像データ認識装置の一
実施例のブロック図である。図示の装置は、受光部１
３、画像データ記憶部１６、分割処理部１７、画像デー
タ切出し部２１、画像データ集計部２２、登録データ格
納部２３、音声出力部２５等を備えている。図１におい
て、撮影開始部１０は、スイッチや電源回路等から成
り、装置全体の電源のオン又はオフの制御を行なう。モ
ード切替スイッチ１１は、本装置の動作モードを切り替
えるものであり、登録モードと運用モードとを切り替え
る。

【００１０】投光部１２は、赤外線等を発生する発生装
置（例えば、赤外線ランプ等）から構成され、読取対象
物に投光し、その読取対象物の映像を明確にする。受光
部１３は、ＣＣＤ等の受光素子により構成され、読取対
象物の赤外線による反射光を取り込む。音声入力部１４
は、マイクロフォン等から成り、登録データ格納部２３
に格納される音声を入力するためのものである。画像高
速処理部１５は、高速のプロセッサ等から成り、連続す
る画像データの分割、Ａ／Ｄ変換、切り出し、照合等を
高速で処理する。画像データ記憶部１６は、例えば、ビ
デオテープのようなアナログデータ記録装置により構成
され、読取対象物の動作画像を記憶する。

【００１１】分割処理部１７は、画像データ記憶部１６
に格納されている動画データを、動作の判別が可能な程
度に各こま単位に分割し、Ａ／Ｄ変換部１８に１画面の
データとして送信する。Ａ／Ｄ変換部１８は、入力デー
タのアナログディジタル変換を行なう。ビデオメモリ部
１９は、Ａ／Ｄ変換部１８によりディジタル変換された
画像データを一時保管する。登録音声発生器２０は、音
声出力部２５から出力される標準音声を登録している。
画像データ切出し部２１は、ビデオメモリ部１９に格納
されている画像データのうち、赤外線が投射されている
部分のみを切り出し、その部分を画像データ集計部２２
に送信する。

【００１２】画像データ集計部２２は、後述する図５に
おいて説明するように画像データを数値データに変換す
る。登録データ格納部２３は、画像データ切出し部２１
からの画像データのサンプリングデータと出力音声デー
タが格納されている。データ数分布特性格納部２４は、
登録数値データを格納しており、入力データとの比較照
合を行なう。音声出力部２５は、登録データ格納部２３
又は登録音声発生器２０から出力された音声データを、
上位装置に出力する。主制御部２６は、本装置全体の制
御を行なう。

【００１３】次に、上述した装置の動作を説明する。本
装置には、運用モードと画像データ登録モードの２種類
のモードが装備されている。本装置を運用する前には、
本装置を使用する人の口の動作と、認識結果後に発生さ
れる音声を登録しておく必要がある。従って、まず、画
像データ登録モードについて説明する。

【００１４】（画像データ登録モード）まず、モード切
替スイッチ１１を登録モードにする。そして、撮影開始
部１０をオンにする。すると、投光部１２から赤外線が
発光される。オペレータはその赤外線により、入力の対
象となる口の動作を映し出す。即ち、装置内では、投光
部１２から赤外線を投光し、反射光を受光部１３により
動画像データとして取り入れ、画像データ記憶部１６に
格納する。受光部１３には、読取対象物の反射光を、明
確にするため、対象物の焦点合せに関しては、オートフ
ォーカス機構を用いる。これにより、焦点が合うと発信
音を発生し、オペレータに知らせ、同時に動画像データ
を取り込む。受光部１３により受光した動画像データ
は、分割処理部１７により、認識対象物の動作が分かる
レベルに分割され、Ａ／Ｄ変換部１８でディジタル変換
され、ビデオメモリ部１９に格納される。

【００１５】ビデオメモリ部１９は、画像データを高速
で処理するため、複数画面分のメモリを有している。こ
のビデオメモリ部１９に格納されたデータは、画像デー
タ切出し部２１に送られる。画像データ切出し部２１で
は、認識の対象である人間の口の動作を鮮明にするた
め、余分な画像データを削除する。削除の方法として
は、赤外線を投光した反射光のみを取り込み、それ以外
の画像データは切り捨てる方式を用いる。鮮明に切り出
された画像データは、画像データ集計部２２に渡され、
Ｘ軸、Ｙ軸方向に走査され、数値化される。この数値デ
ータは、登録データ格納部２３に出力音声とともに格納
される。人間の口の１つの動作は、数十個の画像データ
として扱われる。このため、高速に処理する必要があ
り、その制御を画像高速処理部１５で行なう。

【００１６】登録音声を入力する際は、１つの画像デー
タを入力した後、登録キーを押下し、その後オペレータ
が登録音声データを入力する。また、登録音声キーを押
下すると、既に登録されている５０音の文言が順次出力
される。これにより、目的の言葉を選定し、登録するこ
とができる。以上の操作を繰り返し行ない、目的の動作
画面及び出力音声の登録を行なう。

【００１７】次に、運用モードの動作について説明す
る。 （運用モード）まず、モード切替スイッチ１１を運用モ
ードに切り替える。そして、撮影開始部１０をオンにす
る。本装置からは、赤外線が発光されるので、投光部１
２の前で予め登録している口の動作と同一の動作を行な
う。本装置では、焦点調整のため、オートフォーカス機
構を働かせて焦点を合せ、画像情報を取り込む。取り込
んだ画像情報は、画像データ記憶部１６に格納される。
分割処理部１７では、口の動作の形状を数画面に分割
し、Ａ／Ｄ変換部１８に送る。Ａ／Ｄ変換部１８でディ
ジタル変換されたデータは、ビデオメモリ部１９に送ら
れ、一時格納される。ビデオメモリ部１９のデータは、
画像データ切出し部２１に送られ、赤外線の照射されて
いる口の形状部分のみを切り出す。

【００１８】切り出された画像データは、画像データ集
計部２２に送られ、認識データのサンプリングを行な
い、数値データに変換する。サンプリングされた数値デ
ータは、データ数分布特性格納部２４に格納された数値
データと比較される。そして、この数値データは、目的
の音声を割り出し、終結信号が来るまで、登録データ格
納部２３に格納される。以上の方法で、順次データ解析
を行ない、終結信号が来た時点で、まとめて音声を出力
する。

【００１９】図２に、画像データ切出し部２１、画像デ
ータ集計部２２、データ数分布特性格納部２４の詳細構
造のブロック図を示す。画像データ切出し部２１は、ビ
デオメモリ部１９に格納されている画像データを取り出
し、水平方向及び垂直方向の枠内に読取対象物をとらえ
る。Ｘ軸ライン集計部２２−１は、枠内に囲んだ読取対
象物に対し、Ｘ軸方向に走査し、反射率の高い赤外線の
照射されている部分を“１”その他を“０”として読み
込み、データサンプリングを行なう。Ｘ軸データ格納部
２２−３は、Ｘ軸ラインデータ値を一時格納する。

【００２０】Ｙ軸ライン集計部２２−２は、枠内に囲ん
だ読取対象物に対し、Ｙ軸方向に走査し、反射率の高い
赤外線の照射されている部分を“１”その他を“０”と
して読み込み、データサンプリングを行なう。Ｙ軸デー
タ格納部２２−４は、Ｙ軸ラインデータ値を一時格納す
る。Ｘ軸データ区分管理部２４−１は、画像データの認
識サンプルデータのうち、Ｘ軸方向のデータ管理を行な
う。Ｙ軸データ区分管理部２４−２は、画像データの認
識サンプルデータのうち、Ｙ軸方向のデータ管理を行な
う。Ｘ軸データ分布特性比較部２４−３は、入力された
数値データのＸ軸方向の値が、登録されているどのデー
タ区分に当てはまるかを比較し、適合区分を出力する。

【００２１】Ｙ軸データ分布特性比較部２４−４は、入
力された数値データのＹ軸方向の値が、登録されている
どのデータ区分に当てはまるかを比較し、適合区分を出
力する。画像データ拡大縮小制御部３１は、読取画像デ
ータのサンプルエリアを一定にするため、画像データの
加工を行なう。

【００２２】次に、データのサンプリング方法を図３及
び図４に基づいて説明する。ビデオメモリ部１９から受
信した画像データ（図３（ａ））は、画像データ切出し
部２１で赤外線の投射された部分の反射光を基にＸ軸、
Ｙ軸方向のみを切り出し、唇の輪郭を明確にする（図３
（ｂ））。この画像データを、数値データに変換する前
に、読取対象画像データのサンプルエリアを一定にする
ため、画像データ拡大縮小制御部３１に送信し、画像デ
ータを加工する。加工された画像データは、Ｘ軸ライン
集計部２２−１に送信され、まず始めに一画面単位でＸ
軸ライン走査を行ない、画像データのＸ軸方向のデータ
をサンプリングし、反射光の投射されている部分を
“１”としてカウントする（図３（ｃ））。

【００２３】同様に、Ｙ軸においてもデータのサンプリ
ングを行なう。そして、Ｘ軸データ格納部２２−３及び
Ｙ軸データ格納部２２−４にこれらのサンプリングデー
タを一時格納する（図３（ｄ））。更に一画面分の画像
データを４分割し（図４（ａ））、分割した４つの画像
データ（図４（ｂ））について拡大加工を行ない（図４
（ｃ））、Ｘ軸、Ｙ軸方向に詳細にライン走査する（図
４（ｄ））。そして、４つのデータサンプリングを行な
い、Ｘ軸データ格納部２２−３及びＹ軸データ格納部２
２−４に格納する。これらに格納されたデータは、Ｘ軸
データ分布特性比較部２４−３、Ｙ軸データ分布特性比
較部２４−４と、Ｘ軸データ区分管理部２４−１、Ｙ軸
データ区分管理部２４−２に送信される。

【００２４】Ｘ軸データ区分管理部２４−１、Ｙ軸デー
タ区分管理部２４−２では、登録時に登録したデータを
基に、認識適合区分を保持し、最新の区分データをＸ軸
データ分布特性比較部２４−３、Ｙ軸データ分布特性比
較部２４−４に常に情報として通知している。Ｘ軸デー
タ分布特性比較部２４−３、Ｙ軸データ分布特性比較部
２４−４では、分布特性の最新情報をＸ軸データ区分管
理部２４−１、Ｙ軸データ区分管理部２４−２より引き
出し、入力されたデータと比較し、適合区分の比較照合
を行なう。データサンプリングの方法の例を以下に示
す。

【００２５】図５及び図６は、画像データ拡大縮小制御
部３１で加工された一画面分の走査方式を示したもので
あり、反射光の照射されている部分を“１”とすると、
Ｘ＝３０，Ｙ＝４５とカウントされる。更に一画面の画
像データを４分割した区分を、各々更に詳細にデータサ
ンプリングを行なう。すると、 ｘ１＝２０，ｙ１＝２６ ｘ２＝３１，ｙ２＝４３ ｘ３＝２９，ｙ３＝３６ ｘ４＝１９，ｙ４＝６１ とカウントされる。

【００２６】これらのサンプリングデータは、Ｘ軸デー
タ格納部２２−３及びＹ軸データ格納部２２−４に格納
され、Ｘ軸データ分布特性比較部２４−３及びＹ軸デー
タ分布特性比較部２４−４と、Ｘ軸データ区分管理部２
４−１及びＹ軸データ区分管理部２４−２に送られる。
Ｘ軸データ区分管理部２４−１及びＹ軸データ区分管理
部２４−２では、図５に示すようなデータ分布表を有
し、Ｘ軸データ分布特性比較部２４−３及びＹ軸データ
分布特性比較部２４−４に最新のデータ分布表を提供す
る。図６は、図５のＡ区及びＢ区の大分類を示す。登録
モード時にある範囲でのデータ分布は確立されている
が、それを基に運用時においても、バージョンアップさ
れ、認識率向上のため、データを管理している。

【００２７】Ｘ軸データ分布特性比較部２４−３及びＹ
軸データ分布特性比較部２４−４では、入力データの分
類振り分けを行なう。即ち、Ｘ軸データ区分管理部２４
−１及びＹ軸データ区分管理部２４−２から、最初に大
分類データ部のみを引き出し、適合区分の選定を行な
う。大分類だけであると、数値データが重なる場合があ
り、認識率が上がらないため、更に詳細なデータである
小分類データを引き出し、各々詳細なデータの解析を行
ない、適合区分の選定を行なう。適合区分が選定される
と、それに割り付けられている音声が出力される。

【００２８】次に、画像データ切出し部２１、画像デー
タ集計部２２、データ数分布特性格納部２４の回路構成
を説明する。図７は、画像データ切出し部２１、画像デ
ータ集計部２２、データ数分布特性格納部２４の回路構
成を示すブロック図である。図示の回路は、ＤＭＡＣ
（ＤＭＡコントローラ）５１、ＶＲＡＭ５２、Ｘ軸集計
用メモリ５３、Ｙ軸集計用メモリ５４、Ｘ軸Ｙ軸集計用
メモリ５５、集合体分布特性用ＲＯＭ５６、音声変換用
メモリ５７から構成されている。ＤＭＡＣ５１は、画像
データ切出し部２１から、１ライン分のイメージデータ
をＶＲＡＭ５２に直接格納するように制御する。ＶＲＡ
Ｍ５２は、画像データ切出し部２１からのイメージデー
タを、１文字分格納できるメモリ容量を有する。

【００２９】主制御部２６の命令により、読取対象物の
１キャラクタの領域に分割され、その分割された領域に
対し、メモリ上のＸ軸方向の数値データ（イメージデー
タありの場合、“１”、なしの場合“０”）が集計され
る。集計されたデータは、Ｘ軸集計用メモリ５３に格納
される。次に、Ｙ軸方向のデータサンプリングを行な
い、Ｙ軸方向の集計を行なう。この結果は、Ｙ軸集計用
メモリ５４に格納される。そして、これらのＸ軸、Ｙ軸
のデータを、Ｘ軸Ｙ軸集計用メモリ５５に同時に格納
し、予めデータ数分布特性用ＲＯＭ５６に格納している
数値データと照合する。音声変換用メモリ５７は、集合
体分布特性用ＲＯＭからの認識データを、音声データに
変換する変換テーブルから構成されている。以上のよう
にして、口の形状のみにより、例えば電話番号等を入力
できる。入力のし方としては、「いち」、「に」、「さ
ん」と区切って入力するやり方があるが、その他にも
「いちにさん」とつなげて発声した場合も検出できるよ
うにしてそのような入力を可能とする入力方法もある。

【００３０】（第２実施例）図８は、本発明の画像デー
タ認識装置の第２実施例のブロック図である。図示の装
置は、図１の装置と共通する部分が多いため、同一部分
には同一の符号を付し、重複する説明を省略する。相違
する部分は、以下の通りである。知的解析部２７は、登
録データ格納部２３に格納された登録データと、新たに
入力された入力データとの比較照合を行なう。そして、
入力データを登録データに近づけるためにどのような処
置を行なえばよいかを解析する。その結果、例えば、ス
ポーツのフォームのチェックの際に、チェックを受ける
人の動作をどのようにすれば基本動作に近づけることが
できるかを解析できる。

【００３１】基本データ入力部２８は、ビデオテープレ
コーダ等から成り、知的解析部２７で使用する基本デー
タの入力を所定時に行なう。照合結果表示部２９は、Ｃ
ＲＴ又は液晶表示装置等から成り、登録データと入力デ
ータを対比させつつ、知的解析部２７の照合結果を表示
する。次に、上述した装置の動作を説明する。本装置に
も、図１の装置と同様に登録モードと運用モードがあ
る。 （登録モード）本装置の場合は、登録モードに２種類の
方法がある。１つの方法は、実写体を入力する方法であ
る。即ち、スポーツ等の動作の解析のためには、模範者
の動作を入力する。この場合、入力手順は、図１の装置
と全く同様となる。ただ、図１の装置の場合は、人の口
の動きを登録したが、本装置の場合は、人の体の全体の
動きを登録するところが異なる。

【００３２】もう１つの方法は、ビデオテープによる入
力方法である。即ち、人の体の動作がビデオテープに予
め撮影されており、そのビデオテープを基本データ入力
部２８で読み取らせることにより登録を行なう。この場
合、画像データとして登録したい部分だけを指定して入
力することができる。入力されたデータは、分割処理部
１７に送信され、動作が分かるレベルに分割される。そ
して、Ａ／Ｄ変換部１８でディジタル変換され、ビデオ
メモリ部１９に格納される。以後の動作は、実写体入力
の場合と全く同様となる。

【００３３】（運用モード）運用モードにおいては、図
１の装置の動作と全く同様となり、図２〜図７に示す手
順と全く同様に動作する。その結果得られたデータは、
知的解析部２７に送られ、例えば腕の曲げ角度や頭の動
きなどの動作の改善点が解析される。その解析結果は、
照合結果表示部２９に表示されるとともに、音声出力部
２５により音声で出力される。尚、本発明は、上述した
実施例に限定されるものではなく、種々の変形が可能で
あることはもちろんである。例えば、第１実施例におい
て、音声入力部を設けるようにしたが、出力音声を予め
登録されているもののみ使用する場合は、音声入力部を
省略してもよい。

【００３４】

【発明の効果】以上説明したように、本発明の画像デー
タ認識装置によれば、人間の口の動作を撮影し、コマご
との画像データを取り出してその変化の特徴を数値化
し、予め用意された数値と比較するようにしたので、人
間の口の動きを認識することができ、そこから発せられ
た音声を認識することが可能となる。また、人間の体の
動きを撮影し、コマごとの画像データを取り出して基本
画像データと比較するようにしたので、人間の体の動き
を認識することができ、運動の際のフォーム等を認識す
ることが可能となる。以上のようにして、認識の対象が
静止画に限定されることなく、動画を含む広範囲なもの
に拡張される。

【図面の簡単な説明】

【図１】本発明の画像データ認識装置の第１実施例のブ
ロック図である。

【図２】図１の装置の所定箇所の詳細な構成（その１）
のブロック図である。

【図３】データサンプリング方法（その１）の説明図で
ある。

【図４】データサンプリング方法（その２）の説明図で
ある。

【図５】Ｘ軸、Ｙ軸データ分布（その１）の説明図であ
る。

【図６】Ｘ軸、Ｙ軸データ分布（その２）の説明図であ
る。

【図７】図１の装置の所定箇所の詳細な構成（その２）
のブロック図である。

【図８】本発明の画像データ認識装置の第２実施例のブ
ロック図である。

【符号の説明】

１３ 受光部 １７ 分割処理部 ２１ 画像データ切出し部 ２２ 画像データ集計部 ２３ 登録データ格納部 ２５ 音声出力部 ２７ 知的解析部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 読取対象物からの反射光を受光する受光
   部と、 当該受光部により入力された画像データを一時的に記憶
   する画像データ記憶部と、 当該画像データ記憶部に記憶された画像データを各コマ
   単位に分割する分割処理部と、 当該分割処理部によりコマ単位に分割された画像データ
   の特定の部分を切り出す画像データ切出し部と、 当該画像データ切出し部により切り出された画像データ
   の特徴を数値データとして表わす画像データ集計部と、 当該画像データ集計部により出力される各数値データに
   対応する音声データを格納した登録データ格納部と、 当該登録データ格納部に格納された音声データのうち、
   前記画像データ集計部で集計された数値データに対応し
   たものを出力する音声出力部とから成ることを特徴とす
   る画像データ認識装置。
2. 【請求項２】 読取対象物からの反射光を受光する受光
   部と、 当該受光部により入力された画像データを一時的に記憶
   する画像データ記憶部と、 当該画像データ記憶部に記憶された画像データを各コマ
   単位に分割する分割処理部と、 当該分割処理部によりコマ単位に分割された画像データ
   の特定の部分を切り出す画像データ切出し部と、 当該画像データ切出し部により切り出される画像データ
   と比較するための基本画像データを格納した登録データ
   格納部と、 当該登録データ格納部に格納された基本画像データと前
   記画像データ切出し部により切り出された画像データと
   を比較し、両者の相異点を解析する知的解析部とから成
   ることを特徴とする画像データ認識装置。