JP3950802B2 - 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 - Google Patents
顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 Download PDFInfo
- Publication number
- JP3950802B2 JP3950802B2 JP2003024734A JP2003024734A JP3950802B2 JP 3950802 B2 JP3950802 B2 JP 3950802B2 JP 2003024734 A JP2003024734 A JP 2003024734A JP 2003024734 A JP2003024734 A JP 2003024734A JP 3950802 B2 JP3950802 B2 JP 3950802B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image information
- subject
- face
- predetermined condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000005540 biological transmission Effects 0.000 title claims description 61
- 238000000034 method Methods 0.000 title claims description 11
- 230000008921 facial expression Effects 0.000 claims description 52
- 238000004891 communication Methods 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 230000008451 emotion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47K—SANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
- A47K1/00—Wash-stands; Appurtenances therefor
- A47K1/04—Basins; Jugs; Holding devices therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体に関するものである。
【０００２】
【従来の技術】
電子メールの普及に伴って、単に文章情報だけではなく各種の画像情報を送信する場合が増えている。その画像情報を送信する際の一態様として、ユーザ（被写体）の顔の画像を取得して、その顔の画像を指定された表情に応じた画像に変換する技術がある（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平１０−１４９４３３号公報
【０００４】
【発明が解決しようとする課題】
ところで、ユーザの中には自己の顔の画像をそのまま送信することにはためらいがあるものの、自己の感情や意思といった要素を反映させたキャラクタ画像を送信したいという要望がある。従来の技術では、被写体の顔の画像を指定された表情に応じた画像に変換することはできても、ユーザの表情に基づいて感情や意思といった要素を反映させた画像を生成することはできないという課題がある。
【０００５】
そこで本発明では、ユーザの感情や意思といった要素が反映されている可能性の高い画像を生成することを可能とする顔情報送信システム、顔情報送信方法、顔情報送信プログラム、およびコンピュータ読取可能な記録媒体を提供することを課題とする。
【０００６】
【課題を解決するための手段】
本発明の顔情報送信システムは、被写体の顔の画像を取得する画像取得手段と、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成手段と、当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、被写体が発する音声を取得する音声取得手段と、画像判断手段の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、当該生成した第二画像情報を所定の通信端末に送信する送信手段と、を含む。
【０００７】
本発明の顔情報送信方法は、画像取得手段が、被写体の顔の画像を取得する画像取得ステップと、第一生成手段が、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成ステップと、画像判断手段が、当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断ステップと、音声取得手段が、被写体が発する音声を取得する音声取得ステップと、第二生成手段が、画像判断ステップでの判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成する第二生成ステップと、送信手段が、当該生成した第二画像情報を所定の通信端末に送信する送信ステップと、を含む。
【０００８】
本発明の顔情報送信プログラムは、コンピュータを、被写体の顔の画像を取得する画像取得手段と、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成手段と、当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、被写体が発する音声を取得する音声取得手段と、画像判断手段の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、当該生成した第二画像情報を所定の通信端末に送信する送信手段と、して機能させる。
【０００９】
本発明の顔情報送信システムおよび顔情報送信方法によれば、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じた第二画像情報を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映されている可能性の高い画像として第二画像情報を生成して所定の通信端末に送信できる。第一画像情報が所定の条件を満たしていない場合には、音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしても第二画像情報を生成して所定の通信端末に送信できる。また、コンピュータを用いて本発明の顔情報送信プログラムを実行しても同様である。
【００１０】
また本発明の顔情報送信システムにおいては、被写体が発する音声を取得する音声取得手段と、第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、を更に含み、第二生成手段は、画像判断手段の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成することも好ましい。第一画像情報が所定の条件を満たしていない場合に、音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしても第二画像情報を生成できる。
【００１１】
また本発明の顔情報送信システムにおいては、音声取得手段が取得した音声に対応する音素を特定する音素特定手段と、当該特定された音素が所定の条件を満たすかどうか判断する音素判断手段と、を更に備え、第二生成手段は、音素判断手段の判断の結果、音素が所定の条件を満たしている場合には少なくとも音素に基づいて被写体の顔の表情に応じた第二画像情報を生成し、音素が所定の条件を満たしていない場合には第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成することも好ましい。音素が所定の条件を満たしていない場合に、第一画像情報及び／又は音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、音素が何らかの理由で特定できなかったとしても第二画像情報を生成できる。
【００１２】
また本発明の顔情報送信システムにおいては、第二生成手段は、第一画像情報及び音素がそれぞれ所定の条件を満たさず音声も取得できない場合には、予め定められた画像情報を第二画像情報とすることも好ましい。条件によっては音声も取得できない場面も想定できるが、そのような場合であっても予め定められた画像情報を用いれば第二画像情報が生成できる。
【００１３】
また本発明の顔情報送信システムにおいては、第一画像情報は、特徴点の被写体の顔における分布状況を特定する情報を含むことも好ましい。特徴点の顔における分布状況が特定されれば、特徴点相互の相対的な位置関係が把握できるのでより適切に第二画像情報を生成できる。
【００１４】
また本発明の顔情報送信システムにおいては、画像取得手段は、顔の画像を時系列に沿って取得し、第一生成手段は、当該取得した画像に基づいて時系列に沿った特徴点の位置の変位を含む第一画像情報を生成することも好ましい。時系列に沿って計測した特徴点の位置の変位に基づいて第一画像情報を生成すれば、被写体の顔の表情の変化を特徴点の位置の変化として把握できる。従って、顔の表情の変化に応じた第二画像情報を生成できる。
【００１５】
また本発明の顔情報送信システムにおいては、第一画像情報は、特徴点の被写体の顔に対する相対的な移動状況を特定する情報を含むことも好ましい。特徴点の顔に対する相対的な移動状況を時系列に沿って特定できるので、被写体の顔の表情の変化をより的確に把握できる。
【００１６】
本発明のコンピュータ読取可能な記録媒体は、上記顔情報送信プログラムが記録されている。コンピュータを用いて、本発明の記録媒体に記録された顔情報送信プログラムを実行すると、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じた第二画像情報を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映された画像として第二画像情報を生成して所定の通信端末に送信できる。
【００１７】
【発明の実施の形態】
本発明の知見は、例示のみのために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００１８】
本発明の実施形態である携帯電話機（顔情報送信システム）について図１を用いて説明する。図１は携帯電話機１０を説明するための図である。携帯電話機１０は、ネットワーク２０を介して他の携帯電話機（通信端末）３０と相互に情報通信が可能なように構成されている。
【００１９】
引き続いて携帯電話機１０について説明する。携帯電話機１０は、物理的には、ＣＰＵ（中央処理装置）、メモリ、ボタンやマイクといった入力装置、液晶ディスプレイといった表示装置、カメラといった撮像装置などを備えた情報通信可能な携帯電話機として構成されている。
【００２０】
携帯電話機１０は、機能的な構成要素として、画像取得部（画像取得手段）１０１と、第一生成部（第一生成手段）１０２と、音声取得部（音声取得手段）１０３と、音素特定部（音素特定手段）１０４と、画像判断部（画像判断手段）１０５と、割込み入力部１０６と、第二生成部（第二生成手段）１０７と、送信部（送信手段）１０８と、音素判断部（音素判断手段）１０９と、キャラクタ情報格納部１１０と、を含む。引き続いて、各構成要素について詳細に説明する。
【００２１】
画像取得部１０１は、被写体としての携帯電話機１０のユーザの顔の画像を取得する部分である。画像取得部１０１が取得する顔の画像は瞬間的なもの（静止画）であっても、時系列に沿ったもの（動画）であってもよい。画像取得部１０１は取得した画像を第一生成部１０２に出力する。
【００２２】
第一生成部１０２は、画像取得部１０１が取得して出力した画像に基づいて、顔の特徴点の位置を特定する第一画像情報を生成する。より具体的には、図２（ａ）に示すように第一生成部１０２は、画像取得部１０１が出力した画像４０に含まれる被写体の顔画像４０３に対して、目及び眉毛を特定する特徴点４０１、口及び鼻を特定する特徴点４０２を特定し、顔画像４０３及び特徴点４０１、４０２を静止画の第一画像情報として生成する。また、画像取得部１０１が出力した画像が動画である場合には、図２（ａ）に示した画像４０と所定時間経過した画像４０ａとを受け取ることとなる。画像４０ａは図２（ｂ）に示すように、所定時間経過中に動いた顔画像４０３ａを含み、その顔画像４０３ａに対して特徴点４０１ａ、４０２ａが特定される。従って動画の場合の第一画像情報は、顔画像４０３及び特徴点４０１、４０２と、顔画像４０３ａ及び特徴点４０１ａ、４０２ａを含む。第一生成部１０２は、生成した第一画像情報を画像判断部１０５に出力する。
【００２３】
画像判断部１０５は、第一生成部１０２が出力した第一画像情報が所定の条件を満たすかどうかを判断する部分である。所定の条件は、携帯電話機１０を使用するユーザの状況や要望といった因子によって適宜設定してもよく、携帯電話機１０のハードウェア上の要請によって適宜設定してもよい。所定の条件としては、例えば、第一画像情報に含まれる特徴点のうち過半数を取得できないことや、顔画像に対する特徴点の分布が大きく外れていることが条件として設定される。画像判断部１０５は、第一画像情報が所定の条件を満たすかどうかの判断結果と、第一画像情報とを第二生成部１０７に出力する。
【００２４】
音声取得部１０３は、被写体としての携帯電話機１０のユーザが発する音声を取得する部分である。音声取得部１０３は、取得した音声を音素特定部１０４に出力する。
【００２５】
音素特定部１０４は、音声取得部１０３が取得して出力した音声に対応する音素を特定する部分である。音素とは意味の相違をもたらす最小の音の単位である。例えば、出力された音声が「こんにちは」であれば、音素としては「こ」「ん」「に」「ち」「は」を特定する。音素特定部１０４は、音声及び特定した音素を音素判断部１０９に出力する。
【００２６】
音素判断部１０９は、音素特定部１０４が出力した音素が所定の条件を満たすかどうかを判断する部分である。所定の条件は、携帯電話機１０を使用するユーザの状況や要望といった因子によって適宜設定してもよく、携帯電話機１０のハードウェア上の要請によって適宜設定してもよい。所定の条件としては、例えば、音素が特定できないことなどが条件として設定される。音素判断部１０９は、音素が所定の条件を満たすかどうかの判断結果と音声とを第二生成部１０７に出力する。
【００２７】
割込み入力部１０６は、携帯電話機１０のユーザが入力する割込み指示を受け付けて、その割込み指示を第二生成部１０７に出力する部分である。より具体的には、「笑う」「泣く」「驚く」といった表情に関する指示に割り当てられたボタンをユーザが押下することで対応する指示が入力されて第二生成部１０７に出力される。
【００２８】
第二生成部１０７は、第一生成部１０２が生成した第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像（第二画像情報）を生成する部分である。第二生成部１０７はまた、画像判断部１０５の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくともその第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像を生成し、第一画像情報が所定の条件を満たしていない場合であって音素特定部１０４が特定した音素が所定の条件を満たしていればその音素に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する。
【００２９】
第二生成部１０７は、第一画像情報も音素もそれぞれ所定の条件を満たしている場合には、第一画像情報及び音素に基づいてキャラクタ画像を生成する。例えば、第一画像情報では顔の傾きしか取得できない場合であって、音素が特定できている場合には互いに補完してキャラクタ画像を生成する。第二生成部１０７は、第一画像情報及び音素がそれぞれ所定の条件を満たしていない場合には音声の有無に基づいてキャラクタ画像を生成する。例えば、音声が所定の閾値を超えている場合にはユーザが声を発しているものとして、しゃべっているキャラクタ画像を生成する。更に、第一画像情報及び音素がそれぞれ所定の条件を満たしておらず、音声も取得できていない場合には予め格納されている画像情報をキャラクタ画像として用いるようにしても良い。
【００３０】
第二生成部１０７が第一画像情報に基づいてキャラクタ画像を生成する場合、例えば図２（ａ）に示す顔画像４０３及び特徴点４０１、４０２に基づく場合には、顔画像４０３に対する特徴点４０１、４０２の相対的な位置を分布状況として特定する。第二生成部１０７はその分布状況に基づいて、図３（ａ）に示すようにキャラクタ顔画像５０３に対する特徴点５０１、５０２の相対的な位置を決めて静止画のキャラクタ画像５０を生成する。また、第一画像情報が動画に対応する場合、すなわち図２（ａ）に示す顔画像４０３及び特徴点４０１、４０２と、図２（ｂ）に示す所定時間経過後の顔画像４０３ａ及び特徴点４０１ａ、４０２ａとに基づく場合には、図３（ａ）に示すキャラクタ画像５０に加えて、図３（ｂ）に示すキャラクタ顔画像５０３ａ及び特徴点５０１ａ、５０２ａに基づくキャラクタ画像５０ａを生成する。
【００３１】
第二生成部１０７が音素に基づいてキャラクタ画像を生成する場合には、キャラクタ情報格納部１１０に格納されている情報を利用する。キャラクタ情報格納部１１０に画されている情報の例を図４に示す。図４に示す例に拠れば、キャラクタ情報格納部１１０には、「音素」「特徴点データ」「キャラクタ画像」が関連付けられて格納されている。第二生成部１０７は、各「音素」に対応する「特徴点データ」「キャラクタ画像」を抽出して静止画若しくは動画としてのキャラクタ画像を生成する。尚、図４に示す例では、口元周辺の画像を表示しているけれども、顔全体の画像を対応させてもよい。また、「キャラクタ画像」としてユーザの癖を織り込んだ画像を格納するようにしても良い。
【００３２】
第二生成部１０７は、割込み入力部１０６から割込み指示が出力された場合には、その割込み指示に応じてキャラクタ画像を改変する。例えば、「笑う」という割込み指示が出力された場合には、生成したキャラクタ画像を笑っている表情になるように改変する。第二生成部１０７は、生成し若しくは改変を加えたキャラクタ画像を送信部１０８に出力する。
【００３３】
送信部１０８は、第二生成部１０７が生成したキャラクタ画像を携帯電話機３０に送信する。
【００３４】
引き続いて、携帯電話機１０を用いてキャラクタ画像の送信を行う方法について、図５及び図６に示すフローチャートを用いて説明する。図５及び図６に示されるフローチャートは一連のものである。ユーザがキャラクタ画像を作成して送信する指示を携帯電話機１０に入力する（ステップＳ０１）。この指示の入力に応じて、引き続いて説明するステップＳ０２、Ｓ０３及びステップＳ０４、Ｓ０５の動作が平行して行われる。
【００３５】
画像取得部１０１が、被写体としての携帯電話機１０のユーザの顔の画像を取得する（ステップＳ０２）。画像取得部１０１は取得した画像を第一生成部１０３に出力する。第一生成部１０２が、画像取得部１０１が取得して出力した画像に基づいて、顔の特徴点の位置を特定する第一画像情報を生成する（ステップＳ０３）。第一生成部１０２は、生成した第一画像情報を画像判断部１０５に出力する。
【００３６】
音声取得部１０３が、被写体としての携帯電話機１０のユーザが発する音声を取得する部分である。（ステップＳ０４）。音声取得部１０３は、取得した音声を音素特定部１０４に出力する。音素特定部１０４が、音声取得部１０３が取得して出力した音声に対応する音素を特定する（ステップＳ０５）。音素特定部１０４は、音声及び特定した音素を音素判断部１０９に出力する。
【００３７】
画像判断部１０５が、第一生成部１０２が出力した第一画像情報が所定の条件を満たすかどうかを判断する（ステップＳ０６）。画像判断部１０５は、第一画像情報が所定の条件を満たすかどうかの判断結果と第一画像情報とを第二生成部１０７に出力する。
【００３８】
音素判断部１０９が、音素特定部１０４が出力した音素が所定の条件を満たすかどうかを判断する（ステップＳ０７、Ｓ０８）。また、音素判断部１０９は、音素特定部１０４が出力した音声が所定の閾値を超えて実質的に音声がある状態かどうかを判断する（ステップＳ０９）。音素判断部１０９は、音素が所定の条件を満たすかどうかの判断結果と、音声が所定の閾値を超えているかどうかの判断結果と、音声及び音素とを第二生成部１０７に出力する。
【００３９】
第一画像情報が所定の条件を満たしており、音素も所定の条件を満たしている場合（ステップＳ０６からステップＳ０７）には、第二生成部１０７は第一画像情報と音素とに基づいて被写体の顔の表情に応じたキャラクタ画像を生成する（ステップＳ１０）。
【００４０】
第一画像情報が所定の条件を満たしており、音素は所定の条件を満たしていない場合（ステップＳ０６からステップＳ０７）には、第二生成部１０７は第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する（ステップＳ１１）。
【００４１】
第一画像情報が所定の条件を満たしておらず、音素は所定の条件を満たしている場合（ステップＳ０６からステップＳ０８）には、第二生成部１０７は音素に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する（ステップＳ１２）。
【００４２】
第一画像情報が所定の条件を満たしておらず、音素も所定の条件を満たしていない場合であって、音声が所定の閾値を超えている場合（ステップＳ０６、ステップＳ０８からステップＳ０９）には、第二生成部１０７は音声に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する（ステップＳ１３）。
【００４３】
第一画像情報が所定の条件を満たしておらず、音素も所定の条件を満たしていない場合であって、音声が所定の閾値を超えていない場合（ステップＳ０６、ステップＳ０８からステップＳ０９）には、第二生成部１０７は予め格納されているデフォルト情報に基づいてキャラクタ画像を生成する（ステップＳ１４）。
【００４４】
第二生成部１０７は、割込み入力部１０６から割込み指示が出力されたかどうかを判断する（ステップＳ１５）。第二生成部１０７は、割込み指示が出力されている場合には、その割込み指示に応じてキャラクタ画像を改変する（ステップＳ１６）。第二生成部１０７は、生成し若しくは改変を加えたキャラクタ画像を送信部１０８に出力する。送信部１０８が、第二生成部１０７が生成したキャラクタ画像を携帯電話機３０に送信する（ステップＳ１７）。
【００４５】
引き続いて、ＣＰＵ（中央処理装置）、メモリ、ボタンやマイクといった入力装置、液晶ディスプレイといった表示装置、カメラといった撮像装置などを備えた情報通信可能なコンピュータを、本実施形態の携帯電話機１０として機能させるための顔情報送信プログラム９２及びそれが記録されているコンピュータ読取可能な記録媒体９について説明する。図７は、顔情報送信プログラム９２が記録されている記録媒体９の構成を示した図である。記録媒体９としては、例えば、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、コンピュータに内蔵されたメモリなどが該当する。
【００４６】
記録媒体９は、図７に示すように、プログラムを記録するプログラム領域９１と、データを記録するデータ領域９３とを備えている。データ領域９３には、図１を用いて説明したキャラクタ情報格納部１１０と同様のキャラクタ情報データベース９３１が格納されている。
【００４７】
プログラム領域９１には、顔情報送信プログラム９２が記録されている。顔情報送信プログラム９２は、処理を統括するメインモジュール９２１と、画像取得モジュール９２２と、第一生成モジュール９２３と、音声取得モジュール９２４と、音素特定モジュール９２５と、画像判断モジュール９２６と、割込み入力モジュール９２７と、第二生成モジュール９２８と、送信モジュール９２９と、音素判断モジュール９３０とを備える。ここで、画像取得モジュール９２２、第一生成モジュール９２３、音声取得モジュール９２４、音素特定モジュール９２５、画像判断モジュール９２６、割込み入力モジュール９２７、第二生成モジュール９２８、送信モジュール９２９、音素判断モジュール９３０のそれぞれを動作させることによって実現する機能は、上記携帯電話機１０の画像取得部１０１、第一生成部１０２、音声取得部１０３、音素特定部１０４、画像判断部１０５、割込み入力部１０６、第二生成部１０７、送信部１０８、音素判断部１０９のそれぞれの機能と同様である。
【００４８】
本実施形態においては、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じたキャラクタ画像を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映された画像としてキャラクタ画像を生成して携帯電話機３０に送信できる。
【００４９】
また本実施形態においては、第一画像情報が所定の条件を満たしていない場合に、音素に基づいて被写体の顔の表情に応じたキャラクタ画像を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしてもキャラクタ画像を生成できる。
【００５０】
また本実施形態においては、第一画像情報は、特徴点の被写体の顔における分布状況を特定する情報も含むので、特徴点相互の相対的な位置関係が把握でき、より適切にキャラクタ画像を生成できる。
【００５１】
また本実施形態においては、時系列に沿って計測した特徴点の位置の変位に基づいて第一画像情報を生成するので、被写体の顔の表情の変化を特徴点の位置の変化として把握できる。従って、顔の表情の変化に応じたキャラクタ画像を生成できる。
【００５２】
また本実施形態においては、第一画像情報は、特徴点の被写体の顔に対する相対的な移動状況を特定する情報を含むので、特徴点の顔に対する相対的な移動状況を時系列に沿って特定でき、被写体の顔の表情の変化をより的確に把握できる。
【００５３】
【発明の効果】
本発明によれば、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じた第二画像情報を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映された画像として第二画像情報を生成して所定の通信端末に送信できる。第一画像情報が所定の条件を満たしていない場合には、音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしても第二画像情報を生成して所定の通信端末に送信できる。従って本発明の目的とする、ユーザの感情や意思といった要素が反映されている可能性の高い画像を生成することを可能とする顔情報送信システム、顔情報送信方法、顔情報送信プログラム、およびコンピュータ読取可能な記録媒体を提供することができた。
【図面の簡単な説明】
【図１】本発明の実施形態である顔情報送信システムを説明するための図である。
【図２】本発明の実施形態である顔情報送信システムが取得する顔画像の例を示す図である。
【図３】本発明の実施形態である顔情報送信システムが生成するキャラクタ画像の例を示す図である。
【図４】図１のキャラクタ情報格納部に格納されている情報の例を示す図である。
【図５】本発明の実施形態である顔情報送信システムを用いてキャラクタ画像を送信する方法を示したフローチャートである。
【図６】本発明の実施形態である顔情報送信システムを用いてキャラクタ画像を送信する方法を示したフローチャートである。
【図７】本発明の実施形態である顔情報送信プログラムを説明するための図である。
【符号の説明】
１０…携帯電話機、１０１…画像取得部、１０２…第一生成部、１０３…音声取得部、１０４…音素特定部、１０５…画像判断部、１０６…割込み入力部、１０７…第二生成部、１０８…送信部、１０９…音素判断部、１１０…キャラクタ情報格納部、２０…ネットワーク、３０…携帯電話機。
【発明の属する技術分野】
本発明は、顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体に関するものである。
【０００２】
【従来の技術】
電子メールの普及に伴って、単に文章情報だけではなく各種の画像情報を送信する場合が増えている。その画像情報を送信する際の一態様として、ユーザ（被写体）の顔の画像を取得して、その顔の画像を指定された表情に応じた画像に変換する技術がある（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平１０−１４９４３３号公報
【０００４】
【発明が解決しようとする課題】
ところで、ユーザの中には自己の顔の画像をそのまま送信することにはためらいがあるものの、自己の感情や意思といった要素を反映させたキャラクタ画像を送信したいという要望がある。従来の技術では、被写体の顔の画像を指定された表情に応じた画像に変換することはできても、ユーザの表情に基づいて感情や意思といった要素を反映させた画像を生成することはできないという課題がある。
【０００５】
そこで本発明では、ユーザの感情や意思といった要素が反映されている可能性の高い画像を生成することを可能とする顔情報送信システム、顔情報送信方法、顔情報送信プログラム、およびコンピュータ読取可能な記録媒体を提供することを課題とする。
【０００６】
【課題を解決するための手段】
本発明の顔情報送信システムは、被写体の顔の画像を取得する画像取得手段と、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成手段と、当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、被写体が発する音声を取得する音声取得手段と、画像判断手段の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、当該生成した第二画像情報を所定の通信端末に送信する送信手段と、を含む。
【０００７】
本発明の顔情報送信方法は、画像取得手段が、被写体の顔の画像を取得する画像取得ステップと、第一生成手段が、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成ステップと、画像判断手段が、当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断ステップと、音声取得手段が、被写体が発する音声を取得する音声取得ステップと、第二生成手段が、画像判断ステップでの判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成する第二生成ステップと、送信手段が、当該生成した第二画像情報を所定の通信端末に送信する送信ステップと、を含む。
【０００８】
本発明の顔情報送信プログラムは、コンピュータを、被写体の顔の画像を取得する画像取得手段と、当該取得した画像に基づいて顔の特徴点の位置を含む被写体に関する第一画像情報を生成する第一生成手段と、当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、被写体が発する音声を取得する音声取得手段と、画像判断手段の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、当該生成した第二画像情報を所定の通信端末に送信する送信手段と、して機能させる。
【０００９】
本発明の顔情報送信システムおよび顔情報送信方法によれば、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じた第二画像情報を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映されている可能性の高い画像として第二画像情報を生成して所定の通信端末に送信できる。第一画像情報が所定の条件を満たしていない場合には、音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしても第二画像情報を生成して所定の通信端末に送信できる。また、コンピュータを用いて本発明の顔情報送信プログラムを実行しても同様である。
【００１０】
また本発明の顔情報送信システムにおいては、被写体が発する音声を取得する音声取得手段と、第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、を更に含み、第二生成手段は、画像判断手段の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくとも第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成し、第一画像情報が所定の条件を満たしていない場合には音声に基づいて被写体の顔の表情に応じた第二画像情報を生成することも好ましい。第一画像情報が所定の条件を満たしていない場合に、音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしても第二画像情報を生成できる。
【００１１】
また本発明の顔情報送信システムにおいては、音声取得手段が取得した音声に対応する音素を特定する音素特定手段と、当該特定された音素が所定の条件を満たすかどうか判断する音素判断手段と、を更に備え、第二生成手段は、音素判断手段の判断の結果、音素が所定の条件を満たしている場合には少なくとも音素に基づいて被写体の顔の表情に応じた第二画像情報を生成し、音素が所定の条件を満たしていない場合には第一画像情報に基づいて被写体の顔の表情に応じた第二画像情報を生成することも好ましい。音素が所定の条件を満たしていない場合に、第一画像情報及び／又は音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、音素が何らかの理由で特定できなかったとしても第二画像情報を生成できる。
【００１２】
また本発明の顔情報送信システムにおいては、第二生成手段は、第一画像情報及び音素がそれぞれ所定の条件を満たさず音声も取得できない場合には、予め定められた画像情報を第二画像情報とすることも好ましい。条件によっては音声も取得できない場面も想定できるが、そのような場合であっても予め定められた画像情報を用いれば第二画像情報が生成できる。
【００１３】
また本発明の顔情報送信システムにおいては、第一画像情報は、特徴点の被写体の顔における分布状況を特定する情報を含むことも好ましい。特徴点の顔における分布状況が特定されれば、特徴点相互の相対的な位置関係が把握できるのでより適切に第二画像情報を生成できる。
【００１４】
また本発明の顔情報送信システムにおいては、画像取得手段は、顔の画像を時系列に沿って取得し、第一生成手段は、当該取得した画像に基づいて時系列に沿った特徴点の位置の変位を含む第一画像情報を生成することも好ましい。時系列に沿って計測した特徴点の位置の変位に基づいて第一画像情報を生成すれば、被写体の顔の表情の変化を特徴点の位置の変化として把握できる。従って、顔の表情の変化に応じた第二画像情報を生成できる。
【００１５】
また本発明の顔情報送信システムにおいては、第一画像情報は、特徴点の被写体の顔に対する相対的な移動状況を特定する情報を含むことも好ましい。特徴点の顔に対する相対的な移動状況を時系列に沿って特定できるので、被写体の顔の表情の変化をより的確に把握できる。
【００１６】
本発明のコンピュータ読取可能な記録媒体は、上記顔情報送信プログラムが記録されている。コンピュータを用いて、本発明の記録媒体に記録された顔情報送信プログラムを実行すると、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じた第二画像情報を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映された画像として第二画像情報を生成して所定の通信端末に送信できる。
【００１７】
【発明の実施の形態】
本発明の知見は、例示のみのために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００１８】
本発明の実施形態である携帯電話機（顔情報送信システム）について図１を用いて説明する。図１は携帯電話機１０を説明するための図である。携帯電話機１０は、ネットワーク２０を介して他の携帯電話機（通信端末）３０と相互に情報通信が可能なように構成されている。
【００１９】
引き続いて携帯電話機１０について説明する。携帯電話機１０は、物理的には、ＣＰＵ（中央処理装置）、メモリ、ボタンやマイクといった入力装置、液晶ディスプレイといった表示装置、カメラといった撮像装置などを備えた情報通信可能な携帯電話機として構成されている。
【００２０】
携帯電話機１０は、機能的な構成要素として、画像取得部（画像取得手段）１０１と、第一生成部（第一生成手段）１０２と、音声取得部（音声取得手段）１０３と、音素特定部（音素特定手段）１０４と、画像判断部（画像判断手段）１０５と、割込み入力部１０６と、第二生成部（第二生成手段）１０７と、送信部（送信手段）１０８と、音素判断部（音素判断手段）１０９と、キャラクタ情報格納部１１０と、を含む。引き続いて、各構成要素について詳細に説明する。
【００２１】
画像取得部１０１は、被写体としての携帯電話機１０のユーザの顔の画像を取得する部分である。画像取得部１０１が取得する顔の画像は瞬間的なもの（静止画）であっても、時系列に沿ったもの（動画）であってもよい。画像取得部１０１は取得した画像を第一生成部１０２に出力する。
【００２２】
第一生成部１０２は、画像取得部１０１が取得して出力した画像に基づいて、顔の特徴点の位置を特定する第一画像情報を生成する。より具体的には、図２（ａ）に示すように第一生成部１０２は、画像取得部１０１が出力した画像４０に含まれる被写体の顔画像４０３に対して、目及び眉毛を特定する特徴点４０１、口及び鼻を特定する特徴点４０２を特定し、顔画像４０３及び特徴点４０１、４０２を静止画の第一画像情報として生成する。また、画像取得部１０１が出力した画像が動画である場合には、図２（ａ）に示した画像４０と所定時間経過した画像４０ａとを受け取ることとなる。画像４０ａは図２（ｂ）に示すように、所定時間経過中に動いた顔画像４０３ａを含み、その顔画像４０３ａに対して特徴点４０１ａ、４０２ａが特定される。従って動画の場合の第一画像情報は、顔画像４０３及び特徴点４０１、４０２と、顔画像４０３ａ及び特徴点４０１ａ、４０２ａを含む。第一生成部１０２は、生成した第一画像情報を画像判断部１０５に出力する。
【００２３】
画像判断部１０５は、第一生成部１０２が出力した第一画像情報が所定の条件を満たすかどうかを判断する部分である。所定の条件は、携帯電話機１０を使用するユーザの状況や要望といった因子によって適宜設定してもよく、携帯電話機１０のハードウェア上の要請によって適宜設定してもよい。所定の条件としては、例えば、第一画像情報に含まれる特徴点のうち過半数を取得できないことや、顔画像に対する特徴点の分布が大きく外れていることが条件として設定される。画像判断部１０５は、第一画像情報が所定の条件を満たすかどうかの判断結果と、第一画像情報とを第二生成部１０７に出力する。
【００２４】
音声取得部１０３は、被写体としての携帯電話機１０のユーザが発する音声を取得する部分である。音声取得部１０３は、取得した音声を音素特定部１０４に出力する。
【００２５】
音素特定部１０４は、音声取得部１０３が取得して出力した音声に対応する音素を特定する部分である。音素とは意味の相違をもたらす最小の音の単位である。例えば、出力された音声が「こんにちは」であれば、音素としては「こ」「ん」「に」「ち」「は」を特定する。音素特定部１０４は、音声及び特定した音素を音素判断部１０９に出力する。
【００２６】
音素判断部１０９は、音素特定部１０４が出力した音素が所定の条件を満たすかどうかを判断する部分である。所定の条件は、携帯電話機１０を使用するユーザの状況や要望といった因子によって適宜設定してもよく、携帯電話機１０のハードウェア上の要請によって適宜設定してもよい。所定の条件としては、例えば、音素が特定できないことなどが条件として設定される。音素判断部１０９は、音素が所定の条件を満たすかどうかの判断結果と音声とを第二生成部１０７に出力する。
【００２７】
割込み入力部１０６は、携帯電話機１０のユーザが入力する割込み指示を受け付けて、その割込み指示を第二生成部１０７に出力する部分である。より具体的には、「笑う」「泣く」「驚く」といった表情に関する指示に割り当てられたボタンをユーザが押下することで対応する指示が入力されて第二生成部１０７に出力される。
【００２８】
第二生成部１０７は、第一生成部１０２が生成した第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像（第二画像情報）を生成する部分である。第二生成部１０７はまた、画像判断部１０５の判断の結果、第一画像情報が所定の条件を満たしている場合には少なくともその第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像を生成し、第一画像情報が所定の条件を満たしていない場合であって音素特定部１０４が特定した音素が所定の条件を満たしていればその音素に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する。
【００２９】
第二生成部１０７は、第一画像情報も音素もそれぞれ所定の条件を満たしている場合には、第一画像情報及び音素に基づいてキャラクタ画像を生成する。例えば、第一画像情報では顔の傾きしか取得できない場合であって、音素が特定できている場合には互いに補完してキャラクタ画像を生成する。第二生成部１０７は、第一画像情報及び音素がそれぞれ所定の条件を満たしていない場合には音声の有無に基づいてキャラクタ画像を生成する。例えば、音声が所定の閾値を超えている場合にはユーザが声を発しているものとして、しゃべっているキャラクタ画像を生成する。更に、第一画像情報及び音素がそれぞれ所定の条件を満たしておらず、音声も取得できていない場合には予め格納されている画像情報をキャラクタ画像として用いるようにしても良い。
【００３０】
第二生成部１０７が第一画像情報に基づいてキャラクタ画像を生成する場合、例えば図２（ａ）に示す顔画像４０３及び特徴点４０１、４０２に基づく場合には、顔画像４０３に対する特徴点４０１、４０２の相対的な位置を分布状況として特定する。第二生成部１０７はその分布状況に基づいて、図３（ａ）に示すようにキャラクタ顔画像５０３に対する特徴点５０１、５０２の相対的な位置を決めて静止画のキャラクタ画像５０を生成する。また、第一画像情報が動画に対応する場合、すなわち図２（ａ）に示す顔画像４０３及び特徴点４０１、４０２と、図２（ｂ）に示す所定時間経過後の顔画像４０３ａ及び特徴点４０１ａ、４０２ａとに基づく場合には、図３（ａ）に示すキャラクタ画像５０に加えて、図３（ｂ）に示すキャラクタ顔画像５０３ａ及び特徴点５０１ａ、５０２ａに基づくキャラクタ画像５０ａを生成する。
【００３１】
第二生成部１０７が音素に基づいてキャラクタ画像を生成する場合には、キャラクタ情報格納部１１０に格納されている情報を利用する。キャラクタ情報格納部１１０に画されている情報の例を図４に示す。図４に示す例に拠れば、キャラクタ情報格納部１１０には、「音素」「特徴点データ」「キャラクタ画像」が関連付けられて格納されている。第二生成部１０７は、各「音素」に対応する「特徴点データ」「キャラクタ画像」を抽出して静止画若しくは動画としてのキャラクタ画像を生成する。尚、図４に示す例では、口元周辺の画像を表示しているけれども、顔全体の画像を対応させてもよい。また、「キャラクタ画像」としてユーザの癖を織り込んだ画像を格納するようにしても良い。
【００３２】
第二生成部１０７は、割込み入力部１０６から割込み指示が出力された場合には、その割込み指示に応じてキャラクタ画像を改変する。例えば、「笑う」という割込み指示が出力された場合には、生成したキャラクタ画像を笑っている表情になるように改変する。第二生成部１０７は、生成し若しくは改変を加えたキャラクタ画像を送信部１０８に出力する。
【００３３】
送信部１０８は、第二生成部１０７が生成したキャラクタ画像を携帯電話機３０に送信する。
【００３４】
引き続いて、携帯電話機１０を用いてキャラクタ画像の送信を行う方法について、図５及び図６に示すフローチャートを用いて説明する。図５及び図６に示されるフローチャートは一連のものである。ユーザがキャラクタ画像を作成して送信する指示を携帯電話機１０に入力する（ステップＳ０１）。この指示の入力に応じて、引き続いて説明するステップＳ０２、Ｓ０３及びステップＳ０４、Ｓ０５の動作が平行して行われる。
【００３５】
画像取得部１０１が、被写体としての携帯電話機１０のユーザの顔の画像を取得する（ステップＳ０２）。画像取得部１０１は取得した画像を第一生成部１０３に出力する。第一生成部１０２が、画像取得部１０１が取得して出力した画像に基づいて、顔の特徴点の位置を特定する第一画像情報を生成する（ステップＳ０３）。第一生成部１０２は、生成した第一画像情報を画像判断部１０５に出力する。
【００３６】
音声取得部１０３が、被写体としての携帯電話機１０のユーザが発する音声を取得する部分である。（ステップＳ０４）。音声取得部１０３は、取得した音声を音素特定部１０４に出力する。音素特定部１０４が、音声取得部１０３が取得して出力した音声に対応する音素を特定する（ステップＳ０５）。音素特定部１０４は、音声及び特定した音素を音素判断部１０９に出力する。
【００３７】
画像判断部１０５が、第一生成部１０２が出力した第一画像情報が所定の条件を満たすかどうかを判断する（ステップＳ０６）。画像判断部１０５は、第一画像情報が所定の条件を満たすかどうかの判断結果と第一画像情報とを第二生成部１０７に出力する。
【００３８】
音素判断部１０９が、音素特定部１０４が出力した音素が所定の条件を満たすかどうかを判断する（ステップＳ０７、Ｓ０８）。また、音素判断部１０９は、音素特定部１０４が出力した音声が所定の閾値を超えて実質的に音声がある状態かどうかを判断する（ステップＳ０９）。音素判断部１０９は、音素が所定の条件を満たすかどうかの判断結果と、音声が所定の閾値を超えているかどうかの判断結果と、音声及び音素とを第二生成部１０７に出力する。
【００３９】
第一画像情報が所定の条件を満たしており、音素も所定の条件を満たしている場合（ステップＳ０６からステップＳ０７）には、第二生成部１０７は第一画像情報と音素とに基づいて被写体の顔の表情に応じたキャラクタ画像を生成する（ステップＳ１０）。
【００４０】
第一画像情報が所定の条件を満たしており、音素は所定の条件を満たしていない場合（ステップＳ０６からステップＳ０７）には、第二生成部１０７は第一画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する（ステップＳ１１）。
【００４１】
第一画像情報が所定の条件を満たしておらず、音素は所定の条件を満たしている場合（ステップＳ０６からステップＳ０８）には、第二生成部１０７は音素に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する（ステップＳ１２）。
【００４２】
第一画像情報が所定の条件を満たしておらず、音素も所定の条件を満たしていない場合であって、音声が所定の閾値を超えている場合（ステップＳ０６、ステップＳ０８からステップＳ０９）には、第二生成部１０７は音声に基づいて被写体の顔の表情に応じたキャラクタ画像を生成する（ステップＳ１３）。
【００４３】
第一画像情報が所定の条件を満たしておらず、音素も所定の条件を満たしていない場合であって、音声が所定の閾値を超えていない場合（ステップＳ０６、ステップＳ０８からステップＳ０９）には、第二生成部１０７は予め格納されているデフォルト情報に基づいてキャラクタ画像を生成する（ステップＳ１４）。
【００４４】
第二生成部１０７は、割込み入力部１０６から割込み指示が出力されたかどうかを判断する（ステップＳ１５）。第二生成部１０７は、割込み指示が出力されている場合には、その割込み指示に応じてキャラクタ画像を改変する（ステップＳ１６）。第二生成部１０７は、生成し若しくは改変を加えたキャラクタ画像を送信部１０８に出力する。送信部１０８が、第二生成部１０７が生成したキャラクタ画像を携帯電話機３０に送信する（ステップＳ１７）。
【００４５】
引き続いて、ＣＰＵ（中央処理装置）、メモリ、ボタンやマイクといった入力装置、液晶ディスプレイといった表示装置、カメラといった撮像装置などを備えた情報通信可能なコンピュータを、本実施形態の携帯電話機１０として機能させるための顔情報送信プログラム９２及びそれが記録されているコンピュータ読取可能な記録媒体９について説明する。図７は、顔情報送信プログラム９２が記録されている記録媒体９の構成を示した図である。記録媒体９としては、例えば、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、コンピュータに内蔵されたメモリなどが該当する。
【００４６】
記録媒体９は、図７に示すように、プログラムを記録するプログラム領域９１と、データを記録するデータ領域９３とを備えている。データ領域９３には、図１を用いて説明したキャラクタ情報格納部１１０と同様のキャラクタ情報データベース９３１が格納されている。
【００４７】
プログラム領域９１には、顔情報送信プログラム９２が記録されている。顔情報送信プログラム９２は、処理を統括するメインモジュール９２１と、画像取得モジュール９２２と、第一生成モジュール９２３と、音声取得モジュール９２４と、音素特定モジュール９２５と、画像判断モジュール９２６と、割込み入力モジュール９２７と、第二生成モジュール９２８と、送信モジュール９２９と、音素判断モジュール９３０とを備える。ここで、画像取得モジュール９２２、第一生成モジュール９２３、音声取得モジュール９２４、音素特定モジュール９２５、画像判断モジュール９２６、割込み入力モジュール９２７、第二生成モジュール９２８、送信モジュール９２９、音素判断モジュール９３０のそれぞれを動作させることによって実現する機能は、上記携帯電話機１０の画像取得部１０１、第一生成部１０２、音声取得部１０３、音素特定部１０４、画像判断部１０５、割込み入力部１０６、第二生成部１０７、送信部１０８、音素判断部１０９のそれぞれの機能と同様である。
【００４８】
本実施形態においては、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じたキャラクタ画像を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映された画像としてキャラクタ画像を生成して携帯電話機３０に送信できる。
【００４９】
また本実施形態においては、第一画像情報が所定の条件を満たしていない場合に、音素に基づいて被写体の顔の表情に応じたキャラクタ画像を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしてもキャラクタ画像を生成できる。
【００５０】
また本実施形態においては、第一画像情報は、特徴点の被写体の顔における分布状況を特定する情報も含むので、特徴点相互の相対的な位置関係が把握でき、より適切にキャラクタ画像を生成できる。
【００５１】
また本実施形態においては、時系列に沿って計測した特徴点の位置の変位に基づいて第一画像情報を生成するので、被写体の顔の表情の変化を特徴点の位置の変化として把握できる。従って、顔の表情の変化に応じたキャラクタ画像を生成できる。
【００５２】
また本実施形態においては、第一画像情報は、特徴点の被写体の顔に対する相対的な移動状況を特定する情報を含むので、特徴点の顔に対する相対的な移動状況を時系列に沿って特定でき、被写体の顔の表情の変化をより的確に把握できる。
【００５３】
【発明の効果】
本発明によれば、特徴点の位置に基づいて生成した第一画像情報に基づいて、被写体の顔の表情に応じた第二画像情報を生成するので、被写体の顔の表情を捉えた画像情報を生成できる。顔の表情には被写体の感情や意思といった要素が反映される場合が多いので、それらの要素が反映された画像として第二画像情報を生成して所定の通信端末に送信できる。第一画像情報が所定の条件を満たしていない場合には、音声に基づいて被写体の顔の表情に応じた第二画像情報を生成するので、例えば、被写体の顔の特徴点の位置の計測が何らかの理由で不完全であったとしても第二画像情報を生成して所定の通信端末に送信できる。従って本発明の目的とする、ユーザの感情や意思といった要素が反映されている可能性の高い画像を生成することを可能とする顔情報送信システム、顔情報送信方法、顔情報送信プログラム、およびコンピュータ読取可能な記録媒体を提供することができた。
【図面の簡単な説明】
【図１】本発明の実施形態である顔情報送信システムを説明するための図である。
【図２】本発明の実施形態である顔情報送信システムが取得する顔画像の例を示す図である。
【図３】本発明の実施形態である顔情報送信システムが生成するキャラクタ画像の例を示す図である。
【図４】図１のキャラクタ情報格納部に格納されている情報の例を示す図である。
【図５】本発明の実施形態である顔情報送信システムを用いてキャラクタ画像を送信する方法を示したフローチャートである。
【図６】本発明の実施形態である顔情報送信システムを用いてキャラクタ画像を送信する方法を示したフローチャートである。
【図７】本発明の実施形態である顔情報送信プログラムを説明するための図である。
【符号の説明】
１０…携帯電話機、１０１…画像取得部、１０２…第一生成部、１０３…音声取得部、１０４…音素特定部、１０５…画像判断部、１０６…割込み入力部、１０７…第二生成部、１０８…送信部、１０９…音素判断部、１１０…キャラクタ情報格納部、２０…ネットワーク、３０…携帯電話機。
Claims (9)
- 被写体の顔の画像を取得する画像取得手段と、
当該取得した画像に基づいて前記顔の特徴点の位置を含む前記被写体に関する第一画像情報を生成する第一生成手段と、
当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、
前記被写体が発する音声を取得する音声取得手段と、
前記画像判断手段の判断の結果、前記第一画像情報が所定の条件を満たしている場合には少なくとも前記第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成し、前記第一画像情報が所定の条件を満たしていない場合には前記音声に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、
当該生成した第二画像情報を所定の通信端末に送信する送信手段と、
を含む顔情報送信システム。 - 前記音声取得手段が取得した音声に対応する音素を特定する音素特定手段と、
当該特定された音素が所定の条件を満たすかどうか判断する音素判断手段と、を更に備え、
前記第二生成手段は、前記音素判断手段の判断の結果、前記音素が所定の条件を満たしている場合には少なくとも前記音素に基づいて前記被写体の顔の表情に応じた第二画像情報を生成し、前記音素が所定の条件を満たしていない場合には前記第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する、請求項１に記載の顔情報送信システム。 - 前記第二生成手段は、前記第一画像情報及び前記音素がそれぞれ所定の条件を満たさず前記音声も取得できない場合には、予め定められた画像情報を前記第二画像情報とする、請求項２に記載の顔情報送信システム。
- 前記第一画像情報は、前記特徴点の前記被写体の顔における分布状況を特定する情報を含む、請求項１に記載の顔情報送信システム。
- 前記画像取得手段は、前記顔の画像を時系列に沿って取得し、
前記第一生成手段は、当該取得した画像に基づいて時系列に沿った前記特徴点の位置の変位を含む前記第一画像情報を生成する、請求項１に記載の顔情報送信システム。 - 前記第一画像情報は、前記特徴点の前記被写体の顔に対する相対的な移動状況を特定する情報を含む、請求項５に記載の顔情報送信システム。
- 画像取得手段が、被写体の顔の画像を取得する画像取得ステップと、
第一生成手段が、当該取得した画像に基づいて前記顔の特徴点の位置を含む前記被写体に関する第一画像情報を生成する第一生成ステップと、
画像判断手段が、当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断ステップと、
音声取得手段が、前記被写体が発する音声を取得する音声取得ステップと、
第二生成手段が、画像判断ステップでの判断の結果、前記第一画像情報が所定の条件を満たしている場合には少なくとも前記第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成し、前記第一画像情報が所定の条件を満たしていない場合には前記音声に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する第二生成ステップと、
送信手段が、当該生成した第二画像情報を所定の通信端末に送信する送信ステップと、
を含む顔情報送信方法。 - コンピュータを、
被写体の顔の画像を取得する画像取得手段と、
当該取得した画像に基づいて前記顔の特徴点の位置を含む前記被写体に関する第一画像情報を生成する第一生成手段と、
当該生成した第一画像情報が所定の条件を満たすかどうか判断する画像判断手段と、
前記被写体が発する音声を取得する音声取得手段と、
前記画像判断手段の判断の結果、前記第一画像情報が所定の条件を満たしている場合には少なくとも前記第一画像情報に基づいて前記被写体の顔の表情に応じた第二画像情報を生成し、前記第一画像情報が所定の条件を満たしていない場合には前記音声に基づいて前記被写体の顔の表情に応じた第二画像情報を生成する第二生成手段と、
当該生成した第二画像情報を所定の通信端末に送信する送信手段と、
して機能させるための顔情報送信プログラム。 - 請求項８に記載の顔情報送信プログラムが記録されたことを特徴とするコンピュータ読取可能な記録媒体。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003024734A JP3950802B2 (ja) | 2003-01-31 | 2003-01-31 | 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 |
| US10/748,248 US7224367B2 (en) | 2003-01-31 | 2003-12-31 | Face information transmission system |
| DE602004001887T DE602004001887T2 (de) | 2003-01-31 | 2004-01-26 | System zur Übertragung von Gesichtsinformation |
| EP04001619A EP1443465B1 (en) | 2003-01-31 | 2004-01-26 | Face information transmission system |
| KR1020040006230A KR100629643B1 (ko) | 2003-01-31 | 2004-01-30 | 얼굴 정보 전송 시스템 |
| CNB2004100037869A CN1237799C (zh) | 2003-01-31 | 2004-01-30 | 面部信息传输系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003024734A JP3950802B2 (ja) | 2003-01-31 | 2003-01-31 | 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004236186A JP2004236186A (ja) | 2004-08-19 |
| JP3950802B2 true JP3950802B2 (ja) | 2007-08-01 |
Family
ID=32652930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003024734A Expired - Lifetime JP3950802B2 (ja) | 2003-01-31 | 2003-01-31 | 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7224367B2 (ja) |
| EP (1) | EP1443465B1 (ja) |
| JP (1) | JP3950802B2 (ja) |
| KR (1) | KR100629643B1 (ja) |
| CN (1) | CN1237799C (ja) |
| DE (1) | DE602004001887T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8306824B2 (en) | 2008-10-14 | 2012-11-06 | Samsung Electronics Co., Ltd. | Method and apparatus for creating face character based on voice |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100630085B1 (ko) * | 2004-02-06 | 2006-09-27 | 삼성전자주식회사 | 무선단말기의 조합형 이모티콘 입력방법 |
| KR100662335B1 (ko) * | 2004-06-18 | 2007-01-02 | 엘지전자 주식회사 | 이동단말기 사용자의 감정 전달 및 표출 방법과, 그를위한 통신 시스템 |
| DE102004063553A1 (de) * | 2004-12-30 | 2006-04-13 | Siemens Ag | Verfahren, Endgerät sowie mobiles Endgerät zur Darstellung von insbesondere multimedialen Kurznachrichten in einem mobilen Kommunikationssystem |
| KR101141643B1 (ko) * | 2005-03-07 | 2012-05-04 | 엘지전자 주식회사 | 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법 |
| US7693306B2 (en) * | 2005-03-08 | 2010-04-06 | Konami Gaming, Inc. | System and method for capturing images from mobile devices for use with patron tracking system |
| KR100686076B1 (ko) * | 2005-03-24 | 2007-02-26 | 엘지전자 주식회사 | 피사체의 감정 상태에 대응하는 메시지 출력 기능을 갖는무선 통신 단말기 및 이를 이용한 메시지 출력 방법 |
| KR100713281B1 (ko) * | 2005-03-29 | 2007-05-04 | 엘지전자 주식회사 | 감정 상태에 따른 프로그램 추천 기능을 갖는 영상표시기기및 그 제어방법 |
| JP2006330958A (ja) * | 2005-05-25 | 2006-12-07 | Oki Electric Ind Co Ltd | 画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバ |
| JP2006350986A (ja) * | 2005-06-17 | 2006-12-28 | Tokyo Institute Of Technology | 顔写真付きメールを送受信できる携帯電話機 |
| US20080266112A1 (en) * | 2005-12-22 | 2008-10-30 | Koninklijke Philips Electronics N.V. | Valentine Pillow |
| JP2007193730A (ja) * | 2006-01-23 | 2007-08-02 | Seiko Epson Corp | 印刷装置、画像処理装置、印刷方法、および画像処理方法 |
| EP2016562A4 (en) * | 2006-05-07 | 2010-01-06 | Sony Computer Entertainment Inc | METHOD FOR IMPLEMENTING AFFECTIVE PROPERTIES IN A COMPUTER GENERATED AVATAR DURING A COMPUTER GAME |
| DE102007010662A1 (de) * | 2007-03-02 | 2008-09-04 | Deutsche Telekom Ag | Verfahren und Videokommunikationssystem zur Gestik-basierten Echtzeit-Steuerung eines Avatars |
| US20090201297A1 (en) * | 2008-02-07 | 2009-08-13 | Johansson Carolina S M | Electronic device with animated character and method |
| KR101009151B1 (ko) | 2008-09-04 | 2011-01-18 | 삼성전기주식회사 | 휴대용 단말기의 환경설정 변경 장치 및 그 방법 |
| CN101727904B (zh) * | 2008-10-31 | 2013-04-24 | 国际商业机器公司 | 语音翻译方法和装置 |
| US9307190B2 (en) | 2010-11-09 | 2016-04-05 | Kanfield Capital Sa | Apparatus and method for physical interaction over a distance using a telecommunication device |
| WO2012063123A2 (en) | 2010-11-09 | 2012-05-18 | WOOW Inc. Limited | Apparatus and method for physical interaction over a distance using a telecommunication device |
| JP5555193B2 (ja) | 2011-03-01 | 2014-07-23 | 株式会社メガチップス | データ処理装置、データ処理システム、及びプログラム |
| CN102156888B (zh) * | 2011-04-27 | 2013-06-12 | 西安电子科技大学 | 基于特征点局部颜色及分布特征的图像拣出方法 |
| CN102571631B (zh) * | 2011-12-23 | 2016-08-31 | 上海量明科技发展有限公司 | 即时通信中动作图像信息的发送方法、终端和系统 |
| US9262869B2 (en) * | 2012-07-12 | 2016-02-16 | UL See Inc. | Method of 3D model morphing driven by facial tracking and electronic device using the method the same |
| KR101988279B1 (ko) | 2013-01-07 | 2019-06-12 | 삼성전자 주식회사 | 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
| US9609272B2 (en) * | 2013-05-02 | 2017-03-28 | Avaya Inc. | Optimized video snapshot |
| KR102299764B1 (ko) * | 2014-11-28 | 2021-09-09 | 삼성전자주식회사 | 전자장치, 서버 및 음성출력 방법 |
| US10512783B2 (en) | 2015-03-27 | 2019-12-24 | Equility Llc | User interface method and system for ear stimulation |
| US10398902B2 (en) | 2015-03-27 | 2019-09-03 | Equility Llc | Neural stimulation method and system with audio output |
| US10039928B2 (en) | 2015-03-27 | 2018-08-07 | Equility Llc | Ear stimulation with neural feedback sensing |
| US9987489B2 (en) | 2015-03-27 | 2018-06-05 | Elwha Llc | Controlling ear stimulation in response to electrical contact sensing |
| US10406376B2 (en) | 2015-03-27 | 2019-09-10 | Equility Llc | Multi-factor control of ear stimulation |
| US10589105B2 (en) | 2015-03-27 | 2020-03-17 | The Invention Science Fund Ii, Llc | Method and system for controlling ear stimulation |
| US10327984B2 (en) | 2015-03-27 | 2019-06-25 | Equility Llc | Controlling ear stimulation in response to image analysis |
| US11364380B2 (en) | 2015-03-27 | 2022-06-21 | Elwha Llc | Nerve stimulation system, subsystem, headset, and earpiece |
| CN106445107A (zh) * | 2016-08-30 | 2017-02-22 | 苏州品诺维新医疗科技有限公司 | 一种基于面部表情进行信息发送的方法及装置 |
| KR102661019B1 (ko) * | 2018-02-23 | 2024-04-26 | 삼성전자주식회사 | 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법 |
| EP3766004A4 (en) * | 2018-03-16 | 2021-12-15 | Magic Leap, Inc. | FACIAL EXPRESSIONS OBTAINED FROM EYE-TRACKING CAMERAS |
| JP7277145B2 (ja) * | 2019-01-10 | 2023-05-18 | 株式会社Iriam | キャラクタを使ったライブ通信システム |
| US11218666B1 (en) * | 2020-12-11 | 2022-01-04 | Amazon Technologies, Inc. | Enhanced audio and video capture and presentation |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5426460A (en) * | 1993-12-17 | 1995-06-20 | At&T Corp. | Virtual multimedia service for mass market connectivity |
| JPH10149433A (ja) | 1996-11-21 | 1998-06-02 | Matsushita Electric Ind Co Ltd | 顔マーク入力装置 |
| US5995119A (en) * | 1997-06-06 | 1999-11-30 | At&T Corp. | Method for generating photo-realistic animated characters |
| US6272231B1 (en) * | 1998-11-06 | 2001-08-07 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
| WO2001045089A1 (en) | 1999-12-15 | 2001-06-21 | Bright Spark Technologies (Proprietary) Limited | Phonemes recognition in an audio signal |
| US6943794B2 (en) * | 2000-06-13 | 2005-09-13 | Minolta Co., Ltd. | Communication system and communication method using animation and server as well as terminal device used therefor |
| JP3478255B2 (ja) | 2000-08-01 | 2003-12-15 | カシオ計算機株式会社 | 顔画像作成装置および顔画像作成制御方法 |
| JP2002175538A (ja) * | 2000-12-08 | 2002-06-21 | Mitsubishi Electric Corp | 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法 |
| JP2002199362A (ja) | 2000-12-26 | 2002-07-12 | Matsushita Electric Ind Co Ltd | 画像通信装置 |
| US6654018B1 (en) * | 2001-03-29 | 2003-11-25 | At&T Corp. | Audio-visual selection process for the synthesis of photo-realistic talking-head animations |
| JP3593067B2 (ja) | 2001-07-04 | 2004-11-24 | 沖電気工業株式会社 | 画像コミュニケーション機能付き情報端末装置および画像配信システム |
-
2003
- 2003-01-31 JP JP2003024734A patent/JP3950802B2/ja not_active Expired - Lifetime
- 2003-12-31 US US10/748,248 patent/US7224367B2/en not_active Expired - Lifetime
-
2004
- 2004-01-26 EP EP04001619A patent/EP1443465B1/en not_active Expired - Lifetime
- 2004-01-26 DE DE602004001887T patent/DE602004001887T2/de not_active Expired - Lifetime
- 2004-01-30 KR KR1020040006230A patent/KR100629643B1/ko active IP Right Grant
- 2004-01-30 CN CNB2004100037869A patent/CN1237799C/zh not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8306824B2 (en) | 2008-10-14 | 2012-11-06 | Samsung Electronics Co., Ltd. | Method and apparatus for creating face character based on voice |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040207720A1 (en) | 2004-10-21 |
| EP1443465A1 (en) | 2004-08-04 |
| KR20040070326A (ko) | 2004-08-07 |
| CN1237799C (zh) | 2006-01-18 |
| US7224367B2 (en) | 2007-05-29 |
| EP1443465B1 (en) | 2006-08-16 |
| DE602004001887T2 (de) | 2007-02-08 |
| DE602004001887D1 (de) | 2006-09-28 |
| KR100629643B1 (ko) | 2006-09-29 |
| CN1527602A (zh) | 2004-09-08 |
| JP2004236186A (ja) | 2004-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3950802B2 (ja) | 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 | |
| US10867607B2 (en) | Voice dialog device and voice dialog method | |
| CN112075075B (zh) | 用于促进远程会议的方法和计算机化智能助理 | |
| KR100586767B1 (ko) | 다중모드 입력을 이용한 다중모드 초점 탐지, 기준 모호성해명 및 기분 분류를 위한 시스템 및 방법 | |
| JP4718987B2 (ja) | インターフェース装置およびそれを備えた移動ロボット | |
| US8306823B2 (en) | Dialog detecting apparatus, dialog detecting method, and computer program product | |
| US11468888B2 (en) | Control apparatus, control method agent apparatus, and computer readable storage medium | |
| US8164644B2 (en) | Method and apparatus for generating media signal by using state information | |
| CN109446876A (zh) | 手语信息处理方法、装置、电子设备和可读存储介质 | |
| JP2007272534A (ja) | 省略語補完装置、省略語補完方法、及びプログラム | |
| JP2012230535A (ja) | 電子機器および電子機器の制御プログラム | |
| US10956761B2 (en) | Control apparatus, control method agent apparatus, and computer readable storage medium | |
| US20200143810A1 (en) | Control apparatus, control method, agent apparatus, and computer readable storage medium | |
| WO2016206646A1 (zh) | 使机器装置产生动作的方法及系统 | |
| JP2021113835A (ja) | 音声処理装置および音声処理方法 | |
| WO2024054714A1 (en) | Avatar representation and audio generation | |
| US20230042310A1 (en) | Wearable apparatus and methods for approving transcription and/or summary | |
| JP2018055155A (ja) | 音声対話装置および音声対話方法 | |
| KR20060102651A (ko) | 피사체의 감정 상태에 대응하는 메시지 출력 기능을 갖는무선 통신 단말기 및 이를 이용한 메시지 출력 방법 | |
| US11687317B2 (en) | Wearable computing device audio interface | |
| US10997442B2 (en) | Control apparatus, control method, agent apparatus, and computer readable storage medium | |
| JP2019191339A (ja) | 電子機器、制御プログラム、制御装置および制御方法 | |
| JP2015060380A (ja) | 情報端末および情報処理システム | |
| US20190110022A1 (en) | Communication device, communication system, and non-transitory computer readable medium storing program | |
| JP5067435B2 (ja) | 会話管理システムおよび管理サーバ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050411 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070417 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3950802 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140427 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |