JPH1166272A - 画像または音声の処理装置および処理方法ならびに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ビデオゲーム装置などの、娯楽性や遊技性を
高める。 【解決手段】 外部映像系５０の映像アニメーション化
処理部５４において、ＣＣＤカメラ５から入力した使用
者の顔画像の輪郭情報を抽出し、この輪郭情報をベース
にして、アニメーション化画像を生成し、画像処理部３
２を通じてフレームバッファ３３に転送して、フレーム
バッファ３３に予め格納されている、ビデオゲームの登
場キャラクタと置換する。さらに、ゲームプレイ中に、
温度検知部７１や、音声信号解析回路６３により、使用
者の顔画像の色や温度、あるいは、使用者の音声の変化
を検知して、アニメーション化画像の表情を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えば、データ
記録媒体から所定のデータを読み込んでゲーム動作を行
うビデオゲーム装置などに好適な、画像または音声の処
理装置および処理方法ならびに記録媒体に関する。

【０００２】

【従来の技術】従来、例えば、ＣＤ−ＲＯＭや半導体メ
モリなどのデータ記録媒体から所定のデータを読み込ん
でゲーム動作を行うビデオゲーム装置が広く普及してい
る。

【０００３】このようなビデオゲーム装置では、ゲーム
プレイ中、予め設定されたキャラクタのアニメーション
画像によりゲームプレイを進行させるように動作してい
る。

【０００４】また、ゲームプレイ中に出力される音声に
ついても、予め決められた音声によってゲームプレイを
進行させるようになっている。

【０００５】一方、最近では、ビデオカメラなどにより
撮影した、使用者自身の顔写真をプリントシール化する
画像プリント装置もある。

【０００６】

【発明が解決しようとする課題】ところが、従来のビデ
オゲーム装置では、前述のように、キャラクタのアニメ
ーション画像や音声は予め用意されていて、使用者が自
由に改変することができない。

【０００７】また、前述のような画像プリント装置で
も、使用者が画像を自由に改変することができない。

【０００８】したがって、従来のビデオゲーム装置や画
像プリント装置では、より娯楽的でユーモアがあり、変
化に富んだ表情の画像を出力して、使用者がより楽しめ
るようにすることはできない。

【０００９】この発明は、以上のような点に鑑みてなさ
れたもので、例えば、ビデオゲーム装置に適用した場
合、使用者自身の似顔をキャラクタのアニメーション化
画像にして、ゲームプレイ画像として登場させたり、ゲ
ームプレイ中のプレイ音声を使用者自身の音声を用いて
出力させることで、ビデオゲーム装置を、より楽しく面
白味があり娯楽性に富んだものとすると共に、画像プリ
ント装置に適用した場合には、使用者自身の似顔をアニ
メーション化し、所望の表情にしてプリント出力させる
など、画像プリント装置を、より変化に富んだ娯楽性が
あり、様々に楽しむことができるものとするための、画
像または音声の処理装置および処理方法ならびに記録媒
体を提供するところにある。

【００１０】

【課題を解決するための手段】前記課題を解決するた
め、請求項１の発明による画像処理装置は、入力された
第１の画像から所望の特徴を抽出する画像特徴抽出手段
と、この特徴抽出手段からの信号に基づいて第２の画像
を生成する画像生成手段と、上記第２の画像を、予め用
意された第３の画像の所定の部分と置換し、もしくは上
記第３の画像の所定の部分に付加する画像処理手段とを
備えるものである。

【００１１】かかる構成の請求項１の発明による画像処
理装置においては、入力された使用者の顔画像から、そ
の輪郭や各部位の形などの特徴が抽出され、抽出された
特徴に基づいて、使用者の似顔のアニメーション化画像
が生成され、予め用意されたビデオゲームのキャラクタ
のアニメーション画像と置換されて、ビデオゲームに登
場する。

【００１２】また、請求項２の発明による画像音声処理
装置は、入力された第１の画像から所望の特徴を抽出す
る画像特徴抽出手段と、この特徴抽出手段からの信号に
基づいて第２の画像を生成する画像生成手段と、上記第
２の画像を、予め用意された第３の画像の所定の部分と
置換し、もしくは上記第３の画像の所定の部分に付加す
る画像処理手段と、入力された第１の音声を、予め用意
されて、所定のタイミングで出力される第２の音声と置
換する音声処理手段とを備えるものである。

【００１３】かかる構成の請求項２の発明による画像音
声処理装置においては、入力された使用者の顔画像か
ら、その輪郭や各部位の形などの特徴が抽出され、抽出
された特徴に基づいて、使用者の似顔のアニメーション
化画像が生成され、予め用意されたビデオゲームのキャ
ラクタのアニメーション画像と置換されて、ビデオゲー
ムに登場すると共に、ビデオゲームの進行に応じて、使
用者自身の音声により、所定のメッセージが出力され
る。

【００１４】また、請求項３の発明による画像処理方法
は、入力された第１の画像から所望の特徴を抽出し、こ
の所望の特徴に基づいて第２の画像を生成し、この第２
の画像を、予め用意された第３の画像の所定の部分と置
換し、もしくは上記第３の画像の所定の部分に付加する
ようにしたものである。

【００１５】かかる構成の請求項３の発明による画像処
理方法においても、請求項１の発明と同様に、入力され
た使用者の顔画像から、その輪郭や各部位の形などの特
徴が抽出され、抽出された特徴に基づいて、使用者の似
顔のアニメーション化画像が生成され、予め用意された
ビデオゲームのキャラクタのアニメーション画像と置換
されて、ビデオゲームに登場する。

【００１６】また、請求項４の発明による画像音声処理
方法は、入力された第１の画像から所望の特徴を抽出
し、この所望の特徴に基づいて第２の画像を生成し、こ
の第２の画像を、予め用意された第３の画像の所定の部
分と置換し、もしくは上記第３の画像の所定の部分に付
加すると共に、入力された第１の音声を、予め用意され
た第２の音声と置換して、所定のタイミングで出力する
ようにしたものである。

【００１７】かかる構成の請求項４の発明による画像音
声処理方法においても、請求項２の発明と同様に、入力
された使用者の顔画像から、その輪郭や各部位の形など
の特徴が抽出され、抽出された特徴に基づいて、使用者
の似顔のアニメーション化画像が生成され、予め用意さ
れたビデオゲームのキャラクタのアニメーション画像と
置換されて、ビデオゲームに登場すると共に、ビデオゲ
ームの進行に応じて、使用者自身の音声により、所定の
メッセージが出力される。

【００１８】また、請求項５の発明による記録媒体は、
入力された第１の画像から所望の特徴を抽出し、この所
望の特徴に基づいて第２の画像を生成し、この第２の画
像を、予め用意された第３の画像の所定の部分と置換
し、もしくは上記第３の画像の所定の部分に付加するよ
うに制御する画像処理プログラムが記録されたものであ
る。

【００１９】かかる構成の請求項５の発明による記録媒
体においては、記録されたプログラムを実行することに
より、入力された使用者の顔画像から、その輪郭や各部
位の形などの特徴が抽出され、抽出された特徴に基づい
て、使用者の似顔のアニメーション化画像が生成され、
予め用意されたビデオゲームのキャラクタのアニメーシ
ョン画像と置換されて、ビデオゲームに登場する。

【００２０】また、請求項６の発明による記録媒体は、
入力された第１の画像から所望の特徴を抽出し、この所
望の特徴に基づいて第２の画像を生成し、この第２の画
像を、予め用意された第３の画像の所定の部分と置換
し、もしくは上記第３の画像の所定の部分に付加すると
共に、入力された第１の音声を、予め用意された第２の
音声と置換して、所定のタイミングで出力するように制
御する画像音声処理プログラムが記録されたものであ
る。

【００２１】かかる構成の請求項６の発明による記録媒
体においては、記録されたプログラムを実行することに
より、入力された使用者の顔画像から、その輪郭や各部
位の形などの特徴が抽出され、抽出された特徴に基づい
て、使用者の似顔のアニメーション化画像が生成され、
予め用意されたビデオゲームのキャラクタのアニメーシ
ョン画像と置換されて、ビデオゲームに登場すると共
に、ビデオゲームの進行に応じて、使用者自身の音声に
より、所定のメッセージが出力される。

【００２２】また、請求項７の発明による画像処理装置
は、請求項１に記載の画像処理装置において、所定の入
力情報から所望の特徴を抽出する第２の特徴抽出手段を
設けると共に、この第２の特徴抽出手段の出力により、
上記第２の画像または上記第３の画像の所定の部分を制
御する画像制御手段を設けたことを特徴とするものであ
る。

【００２３】かかる構成の請求項７の発明による画像処
理装置においては、入力された使用者の顔画像から、そ
の輪郭や各部位の形などの特徴が抽出され、抽出された
特徴に基づいて、使用者の似顔のアニメーション化画像
が生成され、予め用意されたビデオゲームのキャラクタ
のアニメーション画像と置換されて、ビデオゲームに登
場すると共に、アニメーション化された使用者の似顔の
表情が、ビデオゲームの状況に関連する入力情報に応じ
て変化する。

【００２４】また、請求項８の発明による画像処理装置
は、請求項７に記載の画像処理装置において、上記第２
の特徴抽出手段がサーモグラフィ温度検知手段または上
記第１の画像の色信号解析手段であるものである。

【００２５】かかる構成の請求項８の発明による画像処
理装置においては、アニメーション化された使用者の似
顔の表情が、ビデオゲームの状況に関連する使用者の顔
の表面温度や顔色に応じて変化する。

【００２６】また、請求項９の発明による画像処理装置
は、請求項７に記載の画像処理装置において、上記第２
の特徴抽出手段が音声振幅または音声周波数の解析手段
であるものである。

【００２７】かかる構成の請求項９の発明による画像処
理装置においては、アニメーション化された使用者の似
顔の表情が、ビデオゲームの状況に関連する使用者の音
声に応じて変化する。

【００２８】また、請求項１０の発明による画像処理方
法は、請求項３に記載の画像処理方法において、所定の
入力情報から所望の特徴を抽出し、この抽出した特徴に
基づいて、上記第２の画像または上記第３の画像の所定
の部分を制御するようにしたことを特徴とするものであ
る。

【００２９】かかる構成の請求項１０の発明による画像
処理方法においても、請求項７の発明と同様に、入力さ
れた使用者の顔画像から、その輪郭や各部位の形などの
特徴が抽出され、抽出された特徴に基づいて、使用者の
似顔のアニメーション化画像が生成され、予め用意され
たビデオゲームのキャラクタのアニメーション画像と置
換されて、ビデオゲームに登場すると共に、アニメーシ
ョン化された使用者の似顔の表情が、ビデオゲームの状
況に関連する入力情報に応じて変化する。

【００３０】また、請求項１１の発明による画像処理方
法は、請求項１０に記載の画像処理方法において、上記
所定の入力情報が上記第１の画像に関する温度情報また
は色信号であるものである。

【００３１】かかる構成の請求項１１の発明による画像
処理方法においても、請求項８の発明と同様に、アニメ
ーション化された使用者の似顔の表情が、ビデオゲーム
の状況に関連する使用者の顔の表面温度や顔色に応じて
変化する。

【００３２】また、請求項１２の発明による画像処理方
法は、請求項１０に記載の画像処理方法において、上記
所定の入力情報が音声振幅または音声周波数の解析情報
であるものである。

【００３３】かかる構成の請求項１２の発明による画像
処理方法においても、請求項９の発明と同様に、アニメ
ーション化された使用者の似顔の表情が、ビデオゲーム
の状況に関連する使用者の音声に応じて変化する。

【００３４】また、請求項１３の発明による画像処理装
置は、入力された第１の画像から所望の特徴を抽出する
画像特徴抽出手段と、この特徴抽出手段からの信号に基
づいて第２の画像を生成する画像生成手段と、上記第２
の画像を出力する画像出力手段とを備えるものである。

【００３５】かかる構成の請求項１３の発明による画像
処理装置においては、入力された使用者の顔画像から、
その輪郭や各部位の形などの特徴が抽出され、抽出され
た特徴に基づいて、使用者の似顔のアニメーション化画
像が生成され、所望の表情に変化されてプリントなどの
画像出力が得られる。

【００３６】また、請求項１４の発明による画像処理装
置は、請求項１３に記載の画像処理装置において、入力
された音声信号を所定形式のデータに変換する信号変換
手段を設け、上記所定形式のデータを上記画像出力手段
により上記第２の画像と共に出力するようにしたことを
特徴とするものである。

【００３７】かかる構成の請求項１４の発明による画像
処理装置においては、入力された使用者の顔画像から、
その輪郭や各部位の形などの特徴が抽出され、抽出され
た特徴に基づいて、使用者の似顔のアニメーション化画
像が生成され、所望の表情に変化されてプリントなどの
画像出力が得られると共に、使用者の音声が所定の形式
でプリント出力される。

【００３８】

【発明の実施の形態】以下、図１〜図６を参照しなが
ら、請求項１の発明による画像処理装置をビデオゲーム
装置に適用した実施の形態について説明する。

【００３９】［実施の形態の全体の構成］請求項１の発
明の実施の形態の全体の構成を図１に示し、その要部の
構成を図２に示す。

【００４０】図１のビデオゲーム装置は、光ディスクＤ
から、所定のゲームプログラムを読み出して実行し、使
用者の指示に応じてゲーム動作を行うものであって、光
ディスク再生系１０と、ＣＰＵ（中央演算処理装置）２
１を含む制御系２０と、グラフィックシステム３０と、
サウンドシステム４０とを備えており、両システム３
０，４０の出力が、外部のディスプレイ１とスピーカ２
とに供給される。

【００４１】そして、この実施の形態では、外部のＣＣ
Ｄカメラ５や、マイクロホン６からの、映像信号および
音声信号を処理するために、外部映像系５０と外部音声
系６０とを設ける。外部映像系５０の映像アニメーショ
ン化処理部５４は、図２に示すように構成する。

【００４２】更に、図１に点線で示すように、外部音声
系６０に音声信号解析回路６３を追加することができる
と共に、温度制御系７０を増設することもできる。

【００４３】上述のグラフィックシステム３０、サウン
ドシステム４０、外部映像系５０、外部音声系６０およ
び温度制御系７０は、光ディスク再生系１０と共に、制
御系２０のバス２５に接続される。なお、図１では、簡
単のために、Ｉ／Ｏポートの記載は省略する。

【００４４】光ディスク再生系１０は、光ディスクＤに
対抗する光学ヘッド１１と、デコーダ１２およびバッフ
ァ１３と、サブＣＰＵ１４とを備え、このサブＣＰＵ１
４の制御の下に、デコーダ１２では、光学ヘッド１１か
らの再生データが映像データと音声データとに復号され
る。映像データがバッファ１３に供給されると共に、音
声データは、Ｄ−Ａ変換器１５を介して、スピーカ２に
供給される。また、デコーダ１２とバッファ１３とは、
バス２５に接続される。

【００４５】制御系２０は、ＣＰＵ２１と、メインメモ
リ２２、ＲＯＭ２３および周辺制御部２４と、これらを
接続するバス２５を備えると共に、バス２５を介してＣ
ＰＵ２１との通信制御を行う通信制御部２６と、複数の
メモリカード２７と、使用者の指示を入力するコントロ
ーラ２８とを備える。

【００４６】ＲＯＭ２３には、メインメモリ２２、グラ
フィックシステム３０、サウンドシステム４０などの管
理を行う、いわゆるオペレーティングシステムなどのプ
ログラムが格納される。また、周辺制御部２４は、割り
込み制御やＤＭＡ転送（ダイレクトメモリアクセス）な
どの制御を行う。

【００４７】メモリカード２７には、ゲームの設定デー
タなどが記憶され、カードコネクタ（図示は省略）を介
して、通信制御部２６に接続される。

【００４８】また、コントローラ２８は、使用者の指示
を入力する指示キー入力系を有し、スロット（図示は省
略）を介して、通信制御部２６に接続される。コントロ
ーラ２８の指示キーの状態は、通信制御部２６を介し
て、ＣＰＵ２１に転送される。

【００４９】これにより、使用者の指示がＣＰＵ２１に
入力され、ＣＰＵ２１は実行しているゲームプログラム
などに基づいて使用者の指示に従った処理を行う。

【００５０】図１のビデオゲーム装置は、電源が投入さ
れると、制御系２０のＣＰＵ２１がＲＯＭ２３に記憶さ
れているオペレーティングシステムを実行することによ
り、グラフィックシステム３０、サウンドシステム４０
などの制御を行うようになっている。

【００５１】また、オペレーティングシステムが実行さ
れると、ＣＰＵ２１は動作確認などの装置全体の初期化
を行った後、光ディスク再生系１０を制御して、光ディ
スクＤに記録されているビデオゲームなどのプログラム
を実行する。

【００５２】このプログラムの実行により、ＣＰＵ２１
は、使用者からの入力に応じて、グラフィックシステム
３０、サウンドシステム４０などの制御を行い、画像の
表示、効果音や楽音の発生を制御する。

【００５３】グラフィックシステム３０は、ビデオゲー
ムのキャラクタ画像を速やかに動かすため、座標変換な
どの処理を行うジオミトリック・トランスファ・エンジ
ン（ＧＴＥ）３１と、ＣＰＵ２１からの描画指示に従っ
て描画を行う画像処理部（グラフィック・プロセッサ・
ユニット、以下ＧＰＵと略称する）３２と、このＧＰＵ
３２により描画された画像を記憶するフレームバッファ
３３と、ＤＣＴ（離散コサイン変換）などにより圧縮符
号化された画像データを復号する画像デコーダ３４とを
備える。

【００５４】この画像デコーダ３４と、ＧＴＥ３１およ
びＧＰＵ３２とがバス２５に接続されると共に、ＧＴＥ
３１はＣＰＵ２１と直接に接続される。

【００５５】ＧＴＥ３１は、例えば、ビデオゲームのキ
ャラクタ画像を速やかに動かすなどのために、複数の演
算を並列に実行する並列演算系を備え、ＣＰＵ２１から
の演算要求に応じて、座標変換やベクトル演算などを高
速に行う。

【００５６】また、ＧＰＵ３２は、ＣＰＵ２１の制御の
下に、周辺制御部２４内のＤＭＡコントローラ（図示は
省略）を介して、メインメモリ２２から転送された描画
命令に従って、フレームバッファ３３に対して、ポリゴ
ン（多角形）など、１画面分の画像の描画を行う。

【００５７】なお、ＤＭＡコントローラは、１つの描画
命令を転送すると、それに組み込まれたアドレスを辿っ
て次の命令を実行する。

【００５８】フレームバッファ３３は、いわゆるデュア
ルポートＲＡＭからなり、上述のような、ＧＰＵ３２か
らの描画、あるいは、メインメモリからの転送と表示の
ための読み出しとを同時に行う。

【００５９】フレームバッファ３３には、その記憶内容
がビデオ出力としてディスプレイ１に出力されて画面１
ｓに表示される表示領域の他に、カラールックアップテ
ーブル（ＣＬＵＴ）が記憶されるＣＬＵＴ領域と、テク
スチャ（素材）が記憶されるテクスチャ領域が設けられ
る。ＣＬＵＴは、ＧＰＵ３２がポリゴンなどの描画を行
う際に参照され、テクスチャはＧＰＵ３２により描画さ
れるポリゴンなどの中にマッピング（挿入）される。

【００６０】画像デコーダ３４は、ＣＰＵ２１からの制
御により、メインメモリ２２に記憶されている静止画ま
たは動画の画像データを復号してメインメモリ２２に記
憶する。

【００６１】この復号された画像データは、ＧＰＵ３２
を介して、フレームバッファ３３に記憶され、ＧＰＵ３
２によって描画される画像の背景として使用される。

【００６２】一般に、ビデオゲームでは、ゲームに登場
するキャラクタの漫画化された画像、いわゆる、アニメ
ーション画像が動画像の基になり、ビデオゲーム中にお
ける、種々の画像処理によって、登場キャラクタの動画
像が得られる。

【００６３】このような動画像の基になる一つのキャラ
クタ画像データや、そのキャラクタ画像の目や口などの
顔の各部位の場所となるデータは、フレームバッファ３
３においてアドレス管理され、このような画像処理は、
ゲームプレイの進行状況により、ＣＰＵ２１の制御によ
りＧＰＵ３２を介して行われる。

【００６４】サウンドシステム４０は、ＣＰＵ２１から
の指示に基づき、楽音や効果音などを発生する音声処理
部（サウンド・プロセッサ・ユニット、以下ＳＰＵと略
称する）４１と、このＳＰＵ４１による音声データが記
憶されるサウンドバッファ４２とを備え、それぞれバス
２５に接続されると共に、ＳＰＵ４１により発生される
楽音や効果音は、例えば、スピーカ２から出力される。

【００６５】そして、図１の実施の形態の外部映像系５
０では、外部のＣＣＤカメラ５からの映像信号が映像信
号処理回路５１において所定の処理を施されて、この映
像信号処理回路５１の出力信号や、映像ライン入力端子
５２からの映像信号が、セレクタ５３により切り換えら
れて、映像アニメーション化処理部５４に供給され、後
述のような画像処理がなされる。このアニメーション化
処理部５４からの映像信号が、バス２５に導出される。

【００６６】この実施の形態では、映像アニメーション
化処理部５４におけるアニメーション化処理が、例え
ば、ＣＣＤカメラ５からの使用者の顔画像を対象とし
て、ビデオゲームのプレイ開始前に、予め、コントロー
ラ２８による使用者の指示により行われ、ＣＰＵ２１に
命令転送され、ＧＰＵ３２が制御され、フレームバッフ
ァ３３に描画される所定のアニメーション画像の部分と
置換、挿入、もしくは付加処理される。

【００６７】また、外部音声系６０では、マイクロホン
６からの音声信号が、Ａ−Ｄ変換器６１において、所定
のサンプリング周波数とビット数とでＡ−Ｄ変換処理さ
れ、音声信号処理回路６２では、必要に応じてＡＤＰＣ
Ｍなどのビット圧縮処理がなされて、バス２５を介し
て、サウンドバッファ７２に記憶される。

【００６８】この実施の形態では、音声処理も使用者の
音声を対象として、ビデオゲームのプレイ開始前に、予
め、コントローラ２８による使用者の指示により行われ
る。

【００６９】音声信号解析回路６３が追加された場合
は、高速フーリエ変換（ＦＦＴ）、離散コサイン変換
（ＤＣＴ）あるいはウェーブレット解析などの手法によ
り、ビデオゲームのプレイ中に、使用者自身の音声信号
の振幅変化や周波数解析がなされる。

【００７０】音声解析の結果は、バス２５を介して、Ｃ
ＰＵ２１に取り込まれる。そして、ビデオゲームの進行
状況に応じて、後述のような、映像アニメーション化処
理に利用される。

【００７１】更に、温度制御系７０が増設された場合
は、例えば、サーモグラフィのような温度検知装置７１
により、ビデオゲームのプレイ中に、使用者の顔表面温
度が検知され、そのデータは、バッファ増幅回路７２と
バス２５とを介して、ＣＰＵ２１に取り込まれる。そし
て、ビデオゲームの進行状況に応じて、後述のような、
映像アニメーション化処理に利用される。

【００７２】［実施の形態の要部の構成］図１の実施の
形態の映像アニメーション化処理部５４は、図２に示す
ように構成される。即ち、図２の映像アニメーション化
処理部５４においては、ＣＣＤカメラ５などからの入力
映像信号が、Ｙ／Ｃ分離回路５５により、輝度信号Ｙと
色差信号Ｃとに分離されて、双方とも映像信号解析回路
５６に供給される。

【００７３】映像信号解析回路５６は、例えば、ウェー
ブレット解析系であり、マザーウェーブレットとして、
ハールウェーブレットを用いることにより、所定の解析
処理がなされる。また、映像信号解析回路５６は、その
他に、ＤＣＴやＦＦＴなどにより信号解析を行い、高周
波信号成分を信号解析するなどしても同様の信号処理を
行うことができる。

【００７４】映像信号解析回路５６の輝度信号成分がエ
ッジ輪郭処理回路５７ｙに供給されると共に、映像信号
解析回路５６の色差信号成分はクロマ信号処理回路５７
ｃに供給される。

【００７５】そして、エッジ輪郭処理回路５７ｙにおい
ては、顔画像全体の輪郭や、上述のような各部位の輪郭
が抽出処理されて、映像データ処理回路５８に供給され
る。

【００７６】映像データ処理回路５８のパーツＲＯＭ５
８ｍには、図３に示すような、顔の輪郭や、髪形、眉・
目、口など、顔の各部位のアニメーション化に適したデ
ータが予め用意されており、パターンマッチングなどの
演算手法により、エッジ輪郭処理回路５７ｙで輪郭抽出
されたデータと最も近いパターンのデータが選択され
る。

【００７７】また、クロマ信号処理回路５７ｃでは、顔
画像の髪形、眉・目、口など、各部位の色データが、予
め用意された所定の色データテーブルと比較演算処理さ
れ、アニメーション化に適するように、最も近い色デー
タテーブルのデータが選択される。

【００７８】そして、このクロマ信号処理回路５７ｃの
出力と、映像データ処理回路５８の出力とが、Ｙ／Ｃ合
成回路５９において合成される。

【００７９】なお、この明細書では、画像の輪郭とは、
例えば、顔画像の場合、その人物の顔の輪郭の他、髪
形、眉・目、口など、顔の各部位における形を意味する
ものとする。

【００８０】［実施の形態の画像アニメーション化処
理］次に、図４〜図６をも参照しながら、図１の実施の
形態の画像アニメーション化処理について説明する。

【００８１】前述のように、この実施の形態では、ゲー
ムプレイの開始前に図４に示すような、画像アニメーシ
ョン化処理ルーチン１００が実行される。

【００８２】図４のルーチン１００がスタートすると、
最初のステップ１０１で、外部のＣＣＤカメラ５から、
図５Ａに示すような、ビデオゲーム使用者の顔映像が入
力され、次のステップ１０２では、輝度信号と色差信号
の分離処理がなされる。

【００８３】ステップ１０３で、前述のようなウェーブ
レット解析などによる、データ解析がなされ、次のステ
ップ１０４では、図５Ｂに示すように、顔の各部位の輪
郭抽出が行われる。

【００８４】そして、ステップ１０５では、このような
顔各部ごとに、特徴抽出データに対して、アニメーショ
ン化に適するように、データ重み付けが行われる。また
は、前出図３に示すような、顔の各部位のアニメーショ
ン化に適したデータが選択される。

【００８５】重み付け処理の場合、例えば、目の瞳、
眉、唇などは輪郭がはっきりするようにデータに重み付
けする。また、顔の輪郭で、あごの部分を少し丸みを持
たせたり、目に丸みを持たせたりして、使用者の所望の
表情にすることもできる。

【００８６】ここで、データの重み付けの一つの方法と
して、例えば、ある場所、ｘ１でのデータを、ｄ（ｘ
１）とし、次の場所でのデータを、ｄ（ｘ１＋１）とし
たときに、そのデータ変化量Δｄ Δｄ＝ｄ（ｘ１＋１）− ｄ（ｘ１） を逐次求めて、所定の重み付けになるように各データを
制御することも考えられる。

【００８７】上述のような重み付けされた処理データと
共に、前述の色データテーブルから選択された、アニメ
ーション化に適した、各部位の色データが、このアニメ
ーション化処理データとなる。

【００８８】なお、色データについては、顔の色を、や
や桃色に近くしたり、目の色を、やや明るくして、マン
ガの登場人物のようにすることも考えられる。

【００８９】このようにして、ステップ１０６で、図５
Ｃに示すように、アニメーション化の基本になる、一つ
の顔の表情のキャラクタ化（漫画化）された、使用者の
似顔データが生成される。

【００９０】次のステップ１０７では、この似顔データ
がメモリ（フレームバッファ３３）に転送されて、ステ
ップ１０８で、前述のように、フレームバッファ３３に
予め用意されている、ゲーム登場キャラクタの画像デー
タと置換処理される。

【００９１】例えば、ビデオゲームに登場する所定のキ
ャラクタがボーリングゲームを行い、得点を競うような
ゲームプレイの場合、上述のような置換処理により、デ
ィスプレイの画面１ｓ上では、図６Ａに示すような、登
場キャラクタの顔画像の部分が、図６Ｂに示すように、
使用者のキャラクタ化された顔画像と置換される。

【００９２】そして、ステップ１０９では、ゲームプレ
イの進行状況に合わせて、置換処理された使用者の似顔
データが、図５Ｄや図５Ｅに示すように制御される。

【００９３】例えば、上述のようなボーリングゲームの
場合で、登場キャラクタが高い得点を取ったときに、そ
のキャラクタの顔と置換処理された、使用者の似顔の表
情を笑ったように見せるため、図５Ｃのような、基本に
なる顔の表情に対して、図５Ｄに示すように、口を開く
ように画像処理を行う。

【００９４】また、得点が低いときには、図５Ｅに示す
ように、目を閉じ気味にして悲しそうな表情に見せるな
どの処理を行う。

【００９５】上述のように、この実施の形態では、アニ
メーション化画像として、使用者自身の似顔絵をゲーム
プレイに登場させると共に、ゲームの進行状況によっ
て、使用者自身の似顔の表情を変化させることができ
て、より娯楽的で、より臨場感があり、より楽しく面白
味のあるゲームを行うことができる。

【００９６】また、この実施の形態では、前述のよう
に、使用者の音声がサウンドバッファ４２に記憶されて
おり、ゲームプレイの進行状況により、ＣＰＵ２１に制
御されて、所定の音声データが、読み出される。

【００９７】上述のようなボーリングゲームの場合、例
えば、「やった！」、「残念！」といった音声データ
を、予めサウンドバッファ４２に記憶させておき、ゲー
ムプレイ中に得点の高い進行状況になったときに、「や
った！」という音声データを読み出し、得点が低いとき
には、「残念！」という音声データを読み出す。

【００９８】このような音声信号処理を行うことによ
り、ゲームの進行状況に応じて、使用者自身の声が出力
されるので、ゲーム動作がより臨場感があり、楽しむこ
とができる。

【００９９】更に、図１に点線で示すように、音声信号
解析回路６３が追加された場合は、ゲームプレイ中の、
使用者自身の音声の解析結果に応じて、ゲームに登場し
ているアニメーション画、この実施の形態では使用者自
身の似顔絵の表情が制御される。

【０１００】例えば、上述のようなボーリングゲーム中
に高い得点を取り、使用者が興奮して大きな声を発した
り、声の音質が変化したようなときは、使用者自身の似
顔絵の表情が、例えば、図５Ｄに示すように変化する。

【０１０１】このようにして、音声信号解析回路６３が
追加された場合にも、より臨場感のある楽しいゲームプ
レイができる。

【０１０２】また、図１に点線で示すように、温度制御
系７０が増設された場合には、ゲームプレイ中の、使用
者の顔表面温度が検知され、そのデータに応じて、ゲー
ムに登場しているアニメーション画、この実施の形態で
は使用者自身の似顔絵の顔色が制御される。この顔色の
制御は、前述のような、カラールックアップテーブルを
制御することで行われ、ゲームをより楽しく、臨場感の
あるものにすることができる。

【０１０３】なお、ゲームプレイに登場するアニメーシ
ョン画像の顔色は、上述のような温度制御系７０を用い
なくとも、ゲームプレイ中に、カメラ５から入力される
使用者の顔画像の色信号を、外部映像系５０において解
析することにより、制御することもできる。

【０１０４】即ち、図２のＹ／Ｃ分離回路５５からの色
信号Ｃの変化を検知することにより、ゲームプレイに登
場するアニメーション画像の顔色を制御することができ
て、ゲームをより楽しく、臨場感のあるものにすること
ができる。

【０１０５】上述の画像アニメーション化処理では、対
象が使用者自身の顔画像である場合について説明した
が、映像ライン入力端子５２を介して、テレビジョン受
信機などから取り込んだ、所望の顔画像をアニメーショ
ン化処理の対象とすることもできる。

【０１０６】［他の実施の形態］次に、図７〜図９を参
照しながら、請求項１３の発明による画像処理装置を画
像プリント装置に適用した他の実施の形態について説明
する。

【０１０７】請求項１３の発明の実施の形態の構成を図
７に示す。この図７において、前出図１に対応する部分
には同一の符号を付して一部説明を省略する。

【０１０８】図７の画像プリント装置は、光ディスクＤ
から、所定のプログラムを読み出して実行し、使用者の
指示に応じて、アニメーション化されたユーザの顔画像
などを、プリントとして出力するものであって、前出図
１の実施の形態と同様の、光ディスク再生系１０と、Ｃ
ＰＵ（中央演算処理装置）２１を含む制御系２０とを備
える。

【０１０９】そして、図７の実施の形態では、前出図１
の実施の形態と同様に、外部のＣＣＤカメラ５や、マイ
クロホン６からの、映像信号および音声信号を処理する
ために、外部映像系５０と外部音声系６０とを設けると
共に、前出図１の実施の形態のグラフィックシステム３
０とサウンドシステム４０とに代えて、外部映像系５０
によるアニメーション化処理映像などを外部のプリンタ
８に出力するための、プリント処理系８０を設ける。

【０１１０】このプリント処理系８０は、映像音声信号
処理回路８１と、プリンタバッファ８２と、音声信号コ
ード化処理回路８３とから構成される。

【０１１１】外部映像系５０の映像アニメーション化処
理部５４は、前出図２に示すように構成され、この映像
アニメーション化処理部５４において、前述のようにし
て処理されて、使用者の所望の表情にされたアニメーシ
ョン化映像が、バス２５を通じて、映像音声信号処理回
路８１に供給され、プリンタバッファ８２に記憶され
る。

【０１１２】また、外部音声系６０からの音声信号は、
バス２５を通じて、音声信号コード化処理回路８３に供
給されて、例えば、バーコードや、あるいはＭＩＤＩに
準拠した、所定の方式によりコード化処理され、このコ
ード化された音声信号が、再びバス２５を通じて、映像
音声信号処理回路８１に供給され、プリンタバッファ８
２に記憶される。

【０１１３】そして、プリンタバッファ８２から読み出
された、アニメーション化映像信号とコード化音声信号
とが、プリンタ８に供給されて、プリント９が出力され
る。

【０１１４】例えば、はがきサイズのプリント９には、
図８に示すように、使用者のアニメーション化画像９ａ
が、適宜の位置にプリントされると共に、使用者の音声
をコード化したパターン９ｓが、適宜の位置にプリント
される。そして、このプリント９を、ボイスメールとし
て、郵送することができる。

【０１１５】コード化パターン９ｓは、例えば、所定波
長の光に反応する塗料を用いてプリントすることによ
り、例えば、図９に示すような、ボイスメール読み取り
装置９０のスキャナ９１により読み取ることができる。

【０１１６】読み取られたコード化音声データは、映像
信号処理回路９２で所定の信号処理がなされた後、クロ
マ信号認識回路９３において、コード化音声信号が認識
される。

【０１１７】次のコード化音声信号解析回路９４で、音
声データがデコードされ、音声信号処理回路９５では、
増幅などの所定の信号処理がなされて、スピーカ９６か
ら再生音声が出力される。

【０１１８】これにより、郵送されたプリント９の受取
人は、メール郵便の送り手の似顔絵を見ることができる
と共に、送り手自身の声による、ボイスメールのメッセ
ージを聞くことができる。

【０１１９】上述の画像アニメーション化処理では、対
象が使用者自身の顔画像である場合について説明した
が、前出図１の実施の形態の場合と同様に、映像ライン
入力端子５２を介して、テレビジョン受信機などから取
り込んだ、所望の顔画像をアニメーション化処理の対象
とすることもできる。

【０１２０】

【発明の効果】以上説明したように、請求項１および請
求項３の発明によれば、使用者自身のアニメーション化
された似顔絵をビデオゲームに登場させることができ
て、ビデオゲームを、より楽しく面白味のあるものとす
ることができる。

【０１２１】また、請求項２および請求項４の発明によ
れば、使用者自身のアニメーション化された似顔絵をビ
デオゲームに登場させることができると共に、ビデオゲ
ームの進行に応じて、使用者自身の音声により、所定の
メッセージを出力させることができて、ビデオゲーム
を、より臨場感があるものとすることができる。

【０１２２】そして、請求項７〜請求項１２の発明によ
れば、使用者自身のアニメーション化された似顔絵をビ
デオゲームに登場させることができると共に、ビデオゲ
ームの状況に応じて、アニメーション化された使用者の
似顔の表情を変化させることができて、ビデオゲーム
を、より娯楽的で、より臨場感があり、より楽しく面白
味のあるものとすることができる。

【０１２３】更に、請求項１３の発明によれば、使用者
自身のアニメーション化された似顔絵を、所望の表情に
変化させてプリント出力して楽しむことができる。

【０１２４】また、請求項１４の発明によれば、ボイス
メールなどに適用して、より楽しい郵便手段とすること
ができる。

【図面の簡単な説明】

【図１】請求項１の発明による画像処理装置をビデオゲ
ーム装置に適用した実施の形態の全体の構成を示すブロ
ック図である。

【図２】図１の実施の形態の要部の構成を示すブロック
図である。

【図３】図１の実施の形態の要部を説明するための概念
図である。

【図４】図１の実施の形態の画像処理過程の全体を説明
するための流れ図である。

【図５】図１の実施の形態の画像処理過程の全体を説明
するための概念図である。

【図６】図１の実施の形態の画像処理過程の要部を説明
するための概念図である。

【図７】請求項１３の発明による画像処理装置を画像プ
リント装置に適用した他の実施の形態の構成を示すブロ
ック図である。

【図８】図７の実施の形態を説明するための概念図であ
る。

【図９】図７の実施の形態を説明するためのブロック図
である。

【符号の説明】

１…ディスプレイ、２…スピーカ、５…ＣＣＤカメラ、
６…マイクロホン、８…プリンタ、９…プリント、９ｓ
…コード化音声信号、１０…ディスク再生系、１１…光
学ヘッド、１２…デコーダ、２０…制御系、２１…ＣＰ
Ｕ、２２…メインメモリ、２３…ＲＯＭ、２６…、２８
…、３０…グラフィック系、３１…ジオミトリック・ト
ランスファ・エンジン（ＧＴＥ）、３２…画像処理部
（ＧＰＵ）、３３…フレームバッファ、３４…画像デコ
ーダ、４０…音声系、４１…音声処理部（ＳＰＵ）、５
０…外部映像系、５１…映像信号処理部、５２…映像ラ
イン入力端子、５４…映像アニメーション化処理部、５
５…Ｙ／Ｃ分離回路、５６…映像信号解析回路、５７ｙ
…エッジ輪郭処理回路、５７ｃ…クロマ信号処理回路、
５８…映像データ処理回路、５８ｍ…パーツＲＯＭ、５
９…Ｙ／Ｃ合成回路、６０…外部音声系、６２…音声信
号処理部、６３…音声信号解析回路、７０…温度制御
系、７１…温度検知部、８０…プリント処理系、８１…
映像音声信号処理回路、８２…プリンタバッファ、８３
…音声信号コード化処理回路、９０…ボイスメイル読み
取り装置、９１…スキャナ、９２…映像信号処理回路、
９３…クロマ信号認識回路、９４…コード化音声信号解
析回路、９５…音声信号処理回路、１００…画像アニメ
ーション化処理ルーチン、Ｄ…光ディスク

Claims (14)

【特許請求の範囲】
1. 【請求項１】入力された第１の画像から所望の特徴を抽
   出する画像特徴抽出手段と、 この特徴抽出手段からの信号に基づいて第２の画像を生
   成する画像生成手段と、 上記第２の画像を、予め用意された第３の画像の所定の
   部分と置換し、もしくは上記第３の画像の所定の部分に
   付加する画像処理手段とを備える画像処理装置。
2. 【請求項２】入力された第１の画像から所望の特徴を抽
   出する画像特徴抽出手段と、 この特徴抽出手段からの信号に基づいて第２の画像を生
   成する画像生成手段と、 上記第２の画像を、予め用意された第３の画像の所定の
   部分と置換し、もしくは上記第３の画像の所定の部分に
   付加する画像処理手段と、 入力された第１の音声を、予め用意されて、所定のタイ
   ミングで出力される第２の音声と置換する音声処理手段
   とを備える画像音声処理装置。
3. 【請求項３】入力された第１の画像から所望の特徴を抽
   出し、 この所望の特徴に基づいて第２の画像を生成し、 この第２の画像を、予め用意された第３の画像の所定の
   部分と置換し、もしくは上記第３の画像の所定の部分に
   付加するようにした画像処理方法。
4. 【請求項４】入力された第１の画像から所望の特徴を抽
   出し、 この所望の特徴に基づいて第２の画像を生成し、 この第２の画像を、予め用意された第３の画像の所定の
   部分と置換し、もしくは上記第３の画像の所定の部分に
   付加すると共に、 入力された第１の音声を、予め用意された第２の音声と
   置換して、所定のタイミングで出力するようにした画像
   音声処理方法。
5. 【請求項５】入力された第１の画像から所望の特徴を抽
   出し、 この所望の特徴に基づいて第２の画像を生成し、 この第２の画像を、予め用意された第３の画像の所定の
   部分と置換し、もしくは上記第３の画像の所定の部分に
   付加するように制御する画像処理プログラムが記録され
   た記録媒体。
6. 【請求項６】入力された第１の画像から所望の特徴を抽
   出し、 この所望の特徴に基づいて第２の画像を生成し、 この第２の画像を、予め用意された第３の画像の所定の
   部分と置換し、もしくは上記第３の画像の所定の部分に
   付加すると共に、 入力された第１の音声を、予め用意された第２の音声と
   置換して、所定のタイミングで出力するように制御する
   画像音声処理プログラムが記録された記録媒体。
7. 【請求項７】請求項１に記載の画像処理装置において、 所定の入力情報から所望の特徴を抽出する第２の特徴抽
   出手段を設けると共に、 この第２の特徴抽出手段の出力により、上記第２の画像
   または上記第３の画像の所定の部分を制御する画像制御
   手段を設けたことを特徴とする画像処理装置。
8. 【請求項８】上記第２の特徴抽出手段がサーモグラフィ
   温度検知手段または上記第１の画像の色信号解析手段で
   ある請求項７に記載の画像処理装置。
9. 【請求項９】上記第２の特徴抽出手段が音声振幅または
   音声周波数の解析手段である請求項７に記載の画像処理
   装置。
10. 【請求項１０】請求項３に記載の画像処理方法におい
    て、 所定の入力情報から所望の特徴を抽出し、 この抽出した特徴に基づいて、上記第２の画像または上
    記第３の画像の所定の部分を制御するようにしたことを
    特徴とする画像処理方法。
11. 【請求項１１】上記所定の入力情報が上記第１の画像に
    関する温度情報または色信号である請求項１０に記載の
    画像処理方法。
12. 【請求項１２】上記所定の入力情報が音声振幅または音
    声周波数の解析情報である請求項１０に記載の画像処理
    方法。
13. 【請求項１３】入力された第１の画像から所望の特徴を
    抽出する画像特徴抽出手段と、 この特徴抽出手段からの信号に基づいて第２の画像を生
    成する画像生成手段と、 上記第２の画像を出力する画像出力手段とを備える画像
    処理装置。
14. 【請求項１４】請求項１３に記載の画像処理装置におい
    て、 入力された音声信号を所定形式のデータに変換する信号
    変換手段を設け、 上記所定形式のデータを上記画像出力手段により上記第
    ２の画像と共に出力するようにしたことを特徴とする画
    像処理装置。