JPH05317521A

JPH05317521A - イメージ入出力装置

Info

Publication number: JPH05317521A
Application number: JP4123065A
Authority: JP
Inventors: Hatsuo Hoshino; 肇夫星野; Tetsuo Iijima; 哲生飯島
Original assignee: N T T ADO KK; Nippon Telegraph and Telephone Corp
Current assignee: N T T ADO KK; Nippon Telegraph and Telephone Corp
Priority date: 1992-05-15
Filing date: 1992-05-15
Publication date: 1993-12-03

Abstract

(57)【要約】【目的】イメージを入力し、これに変形処理を施した
イメージを音声情報と共に出力するイメージ入出力装置
を提供する。【構成】イメージ入力部５１を具備し、入力したイメ
ージを蓄積するイメージ蓄積部６０を具備し、入力した
イメージを前処理するイメージ前処理部５３を具備し、
前処理されたイメージを変形処理する変形処理部５４を
具備し、処理の種類を選択する処理種類選択部６を具備
し、変形処理されたイメージを出力するイメージ出力部
５５を具備し、イメージ出力に同期して当該イメージに
対応する音声情報を出力する音声情報出力部５９を具備
するイメージ入出力装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、イメージ入出力装置
に関し、特にイメージを入力し、これに変形処理を施し
たイメージを音声情報と共に出力するイメージ入出力装
置に関する。

【０００２】

【従来の技術】イメージを入力し、これに変形処理を施
したイメージを音声情報と共に出力するイメージ入出力
装置は、遊園地、遊技場その他人の多数集まるところに
設置され、遊びに供されている。このイメージ入出力装
置における変形処理は、ガラス或は金属を変形させてこ
れらに鏡面処理を施したものに依ることが多く、当然の
ことながら、客の要求に対応して鏡の特性を即時に変更
することはできない。

【０００３】そして、コンピュータ・グラフィックス
（ＣＧ）を使用してイメージを変形する手法は古くから
採用されている（例えば、電子情報通信学会編、中前栄
八郎著「コンピュータグラフィックス」ｐ．２０−２１
に記載される多変量解析の手法を利用したグラフィック
スの例、を参照）。また、最近においては、ＣＧツール
の一種として変形機能を有するのが開発されている。こ
れには各種のものがあり、例えば、イメージに対応して
比較的粗い格子（画素をＮｐ、格子点数をＮ_Iとする
と、Ｎｐ＞Ｎ_I）を張り付け、デザイナがこれら格子点
を希望する変形に設定した後、各格子点間の変形量を補
間計算してＣＲＴ上に表示することに依るものがある。
この一連の作業には変形の与え方に熟練を要する上に、
補間計算と２次元の各画素の計算（マッピング）に高速
コンピュータを使用してもなを時間がかかると言う問題
がある。ＣＧツールを採用したイメージ入出力装置は、
従って、研究所或は開発室その他高速コンピュータを設
置使用している特殊な環境下においてしか採用し得なか
った。

【０００４】更に、上述のイメージ入出力装置は、何れ
も音声、音楽その他イメージの印象を高める効果音を採
用するものではなかった。一方、ゲーム機において、標
的である主人公に弾が当たって変形しながら倒れる場
合、これに同期して例えば「ビィヨヨン」という音を発
生する手法がある。これは主人公の変形パターンを予め
作成しておき、標的に弾が当たったことを検出して画面
を切り替えると同時に効果音を発生する出している。し
かし、これはいわば、読みだし専用のイメージ処理にし
か過ぎない。

【０００５】

【発明が解決しようとする課題】この発明は、イメージ
を入力してこれに前処理を施し、前処理の施されたイメ
ージを変形するという入力イメージに合わせたイメージ
処理を実施し、効果音も付随するイメージ入出力装置を
提供するものである。

【０００６】

【課題を解決するための手段】イメージ入力部５１を具
備し、入力したイメージを蓄積するイメージ蓄積部６０
を具備し、入力したイメージを前処理するイメージ前処
理部５３を具備し、前処理されたイメージを変形処理す
る変形処理部５４を具備し、処理の種類を選択する処理
種類選択部６を具備し、変形処理されたイメージを出力
するイメージ出力部５５を具備し、イメージ出力に同期
して当該イメージに対応する音声情報を出力する音声情
報出力部５９を具備するイメージ入出力装置を構成し、
ここで、イメージ前処理部５３および変形処理部５４
は、イメージの全体および／または部分を圧縮、伸張、
回転、捩り、湾曲、振動、およびこれらを組み合わせた
処理を実施するものであり、そして、イメージ前処理部
５３は入力したイメージ２１と予め設定されているモデ
ル２２との間の比較を行ない、相互の輪郭情報を一致さ
せるものであり、また、イメージの出力に同期してイメ
ージに対応する音声情報を出力する音声情報出力部５９
は、音および人間の声を録音したもの、テキストから音
声に変換する音声合成装置により合成したもの、イメー
ジに合わせた擬声或は擬体を表現する音、シンセサイザ
音の内の少なくとも１種をイメージの表示の時間の内の
一部および／または全部に亘って発音するものであるイ
メージ入出力装置を構成した。

【０００７】

【実施例】この発明の実施例を先ず図１を参照して説明
する。図１はこの発明のイメージ入出力装置の概念を説
明する斜視図である。５１は例えばカメラより成るイメ
ージ入力部、２はイメージ入出力装置の筐体であり、こ
の中には入力したイメージを蓄積するイメージ蓄積部６
０を具備し、入力したイメージを前処理するイメージ前
処理部５３を具備し、前処理されたイメージを変形処理
する変形処理部５４を具備している。６は処理の種類を
選択する処理種類選択部であり、ケーブル７を介して筐
体２内の各部に接続している。８はＣＲＴその他のイメ
ージ出力部であり、プリンタ出力部９を具備することが
できる。１０はプリンタ用紙が出る方向を示している。
１１−１、１１−２はその他の音声情報出力部の出力装
置である。

【０００８】変形処理部５４は１２により示される複数
のボタン、タッチパネル或はジョイスティックその他の
処理種類選択部６により処理の種類を選択される構成と
されており、この選択によりイメージの全体および／ま
たは部分の圧縮、伸張、回転、捩り、湾曲、振動、およ
びこれらを組み合わせた処理が実行される。この処理は
筐体２内のイメージ蓄積部６０と、イメージ前処理部５
３と変形処理部５４とがセットになって実施するもので
ある。これらの処理は専用のプロセッサを使用すること
から、処理速度を大きくすることができる。

【０００９】図２を参照して、カメラ１によりイメージ
入出力装置内に入力したイメージを前処理する手法の一
例を説明する。ここで、この発明によるイメージの前処
理にはモデル２２を使用する。２１は処理種類選択部６
のボタン１２によりスイッチを操作して入力した顔のイ
メージの例を示す。２３は入力されたイメージの輪郭を
モデルの輪郭に合わせる方法の概略を示しており、入力
は単純に輪郭線に従うという照合の基準に従ってなされ
たものである。この照合の基準には、ａ単純に輪郭線
に従う、ｂ輪郭線を最小２乗誤差が最小になるように
合わせる、ｃ入力された顔のイメージの目とモデルの目
の位置が一致する様に横の基準線をあわせて縦は単純な
輪郭情報を使う、ｄ目或は鼻に着目した仮想線を利用
する、という様な基準があるが、これらの何れをも採用
することができる。方法２３において、２４は入力イメ
ージ情報（２１と全く同一の輪郭線情報）を示し、２５
はモデルの輪郭線情報を示し、２６および２６′は入力
イメージの輪郭線情報２４をモデルの輪郭線情報２５に
合わせるための操作線を示す。なお、２７はイメージに
前処理を施したものに変形処理を施した結果を模式的に
表現したものであるが、このことについては後で説明す
る。

【００１０】上述の通りの前処理を実施するに際して、
イメージ入出力装置を操作して遊ぶ人とカメラ１との間
の距離は、ケーブル７の長さにより略一定に規制される
こととなるので、入力したイメージの大きさは予め用意
したモデル２２の大きさと大きく異なることはない。こ
の両者間の距離を変更する場合は、モデルもこの変更に
対応して変更しておく。照明も、イメージ入力がスムー
スに実施できるように或る一定基準以上の照度を保持す
る様にしておく。イメージ前処理部５３においては、入
力されたイメージの特徴情報を例えば輪郭、目の位置に
ついて抽出し、これらイメージの特徴情報とモデルの特
徴情報とを一致させるようにイメージ前処理変形を行な
う。この時、入力されたイメージの特徴情報をモデルの
特徴情報に合わせる方法と、入力されたイメージの特徴
情報にモデルの特徴情報を合わせる方法とがあるが、そ
の何れを採用しても差し支えない。この実施例において
は入力されたイメージの特徴情報をモデルの特徴情報に
に合わせる例について説明している。

【００１１】上述の前処理の後、予め用意されているモ
デルについての変形処理を経て出力イメージ２７が得ら
れるのであるが、図４はこの前処理の後に変形処理を施
された結果を示す図である。図４は、出力画面の出力例
であり、人物の顔のイメージを入力した場合を示してい
る。カメラ５１により入力した正視像３１を中心に、３
２は笑いを示し、３３は怒りを示し、３４は泣きを示
し、３５は叫びを示し、そして３６は変形を示すパター
ンである。これら変形のパターンは予め設定しておき、
専用のプロセッサにより処理したものである。これら変
形のパターンは、また、或る程度変形することができる
様に予め設定しておき、これをＲＯＭその他の蓄積装置
に蓄積しておくと好適である。

【００１２】次ぎに、図３を参照してイメージの処理お
よび音声の処理の手順を説明するに、５１はイメージ入
力部、５２はモデル参照部、５３はイメージ前処理部、
５４は変形処理部、５５は表示部である。５６は音声モ
ニタ部、５７は音声処理部である。５８は応答文作成
部、５９は音声合成して音声情報を出力する音声情報出
力部であり、イメージ出力と同期して出力する。６０は
知識ベース部である。

【００１３】ここで、先ず音声モニタ部５６についてで
あるが、これは悪戯電話を撃退するために設けられてい
る公知の「おうむ返し」機能、或はイメージ入出力装置
で遊んでいる被験者の「笑い」、「叫び」その他単純な
発声を検知して応答する音声認識機能を有するものであ
る。音声処理部５７は音声モニタ部５６および変形処理
部５４の入力に応答し、知識ベース部６０の記憶内容を
参照しながら適切な応答文を選択するものである。音声
処理部５７は、音声モニタ部５６からの入力には依ら
ず、必要な音声パターンを選択発声する構成を具備する
ことができる。音声モニタ部５６は、被験者との間のイ
ンタラクティブな環境を形成することを目的として、被
験者の意志により起動される処理種類選択部６のイメー
ジ選択ボタン１２と発声とによりイメージに相応しい、
或は意外な音声を出力すものとすることができる。被験
者の発声をそのまま繰り返す所謂「オウム返し」或はイ
メージに対応した様々なレベルの音声を選択する。応答
文作成部５８としては通常、所謂「あなうめ」方式を採
用する。単語のみの単純な構成により「笑い」ならば
「うふふ」から「あはは」、「わっはっは」という様な
出力する。発声は音声合成して音声情報を出力する音声
情報出力部５９が出力するが、発声の高低、男声／女声
の区別、イントネーションを選択することできるように
する。この選択は変形処理部５４、音声処理部５７およ
びルールとテーブルからなる知識ベース部６０により決
定される。音声モニタ部５６によらず音声を出力する場
合は６１のルーチンでイメージおよび音声を出力する表
示部５５に出力される。

【００１４】イメージとほぼ同時に出力される効果音も
パターン化しておき、例えばＲＯＭに蓄積してくと好適
である。例えば「笑い」のパターンについては、このパ
ターンに対応して「わっはっは」、「うふふふふ」その
他の音を出力する様にしておく。また、キーボードから
キャラクタを入力することができるようにしておけば、
例えば音声合成ボードを利用して自由にパターンを変更
することができる。

【００１５】これら効果音のパターンは、また、或る程
度変形することができる様に予め設定しておき、これを
ＲＯＭその他の蓄積装置に蓄積しておくと好適である。
以下に、被験者の操作手順を記述する。１）被験者が入出力装置の前に座る。２）被験者が入出力装置を起動して、顔のイメージを入
力する。

【００１６】３）入出力装置において前処理が実施さ
れ、これに基づいて各種の顔パターンが計算され、知識
ベース部６０に蓄積される。４）被験者は選択部６を操作する。例えば「笑い＃１」
のボタンを押す。５）入出力装置は、知識ベース部６０をアクセスして
「笑い＃１」の自画イメージを出力する。

【００１７】６）自画イメージの出力に同期して「笑い
＃１」の声「うふふ」が知識ベース部６０から選択され
る。７）応答文作成部５８において、男声／女声、標準語／
地方の言葉、声の高低、イントネーションを選択をし
て、例えば女声／大阪弁／高い声で「○○はおかしいわ
ね。ほんまに／うふふふふ」の応答文を作成する。「う
ふふふふ」および「ほんまに」部が穴埋め式になってい
る。また、この文も知識ベース部６０に分類されて蓄積
されている。

【００１８】８）この文を音声合成部５９に出力する。９）被験者は処理種類選択部６の選択ボタン１２を繰り
返し押すことによりイメージと音声の出力を楽しむ。１０）「おうむ返し」の選択もボタン１２により起動
し、音声モニタ部５６により発声を検出してこれを出力
する。

【００１９】以上において、イメージは顔についてのも
のであったが、顔のイメージに限らず全身のイメージ或
は物体のイメージを入力することができることは言うま
でもない。この様な場合の効果音は「ボディーランゲー
ジ」或はパントマイムに付される音楽の如きイメージ音
楽とされる。

【００２０】

【発明の効果】この発明のイメージ入出力装置はイメー
ジを入力し、これを前処理、変形処理し、出力する装置
であって、これらの処理を専用プロセッサにより実施す
る様に構成したことから、小型、簡便、使用の容易なイ
メージ入出力装置とすることができた。このイメージ入
出力装置は入力手段のない単なるゲーム機とは異質のも
のである。そして、入力されたイメージを前処理して、
モデルとの間のみについて変形処理を施すものであるの
で、背景までをも共に変形させてしまう従来の鏡を使用
したものとは本質的に異なる効果を奏するものとするこ
とができた。

【００２１】また、音の情報をイメージ出力とほぼ同時
に出力するようにしたことにより、被験者とイメージ入
出力装置との間にインタラクティブな環境を形成するこ
とができるようになった。このイメージ入出力装置は、
操作者がボタンを選択するとイメージと効果音とがほぼ
同時に出力され、操作者の感情に直接訴えかける楽しい
ものである。

【００２２】更に、機能を娯楽用のみに限定したことに
より高い遊びの要素を加えることができ、そして、誰に
でも手軽に直ちに結果を楽しむことができるようになっ
た。

【図面の簡単な説明】

【図１】この発明のイメージ入出力装置の概念を説明す
る斜視図。

【図２】イメージの前処理のプロセスを示す図。

【図３】この発明のイメージ入出力装置のブロック図。

【図４】イメージの出力例を示す図。

【符号の説明】

６処理種類選択部２１イメージ２２モデル５１イメージ入力部５２モデル参照部５３イメージ前処理部５４変形処理部５５表示部５６音声モニタ部５７音声処理部５８応答文作成部５９音声合成部６０知識ベース部

Claims

【特許請求の範囲】

【請求項１】イメージ入力部を具備し、入力したイメ
ージを蓄積するイメージ蓄積部を具備し、入力したイメ
ージを前処理するイメージ前処理部を具備し、前処理さ
れたイメージを変形処理する変形処理部を具備し、処理
の種類を選択する処理種類選択部を具備し、変形処理さ
れたイメージを出力するイメージ出力部を具備し、イメ
ージ出力に同期して当該イメージに対応する音声情報を
出力する音声情報出力部を具備することを特徴とするイ
メージ入出力装置。
【請求項２】請求項１に記載されるイメージ入出力装
置において、イメージ前処理部および変形処理部は、イ
メージの全体および／または部分を圧縮、伸張、回転、
捩り、湾曲、振動、およびこれらを組み合わせた処理を
実施するものであることを特徴とするイメージ入出力装
置。
【請求項３】請求項１および２に記載されるイメージ
入出力装置において、イメージ前処理部は入力したイメ
ージと予め設定されているモデルとの間の比較を行なっ
て、相互の輪郭情報を一致させることを特徴とするイメ
ージ入出力装置。
【請求項４】請求項１および２に記載されるイメージ
入出力装置において、イメージ前処理部は入力したイメ
ージと予め設定されているモデルとの間の比較を行な
い、イメージの輪郭情報をモデルの輪郭情報に一致させ
ることを特徴とするイメージ入出力装置。
【請求項５】請求項１ないし４に記載されるイメージ
入出力装置において、イメージの出力に同期してイメー
ジに対応する音声情報を出力する音声情報出力部は、音
および人間の声を録音したもの、テキストから音声に変
換する音声合成装置により合成したもの、イメージに合
わせた擬声或は擬体を表現する音、シンセサイザ音の内
の少なくとも１種をイメージの表示の時間の内の一部お
よび／または全部に亘り発音するものであることを特徴
とするイメージ入出力装置。