JP5433545B2 - 顔認証を利用した情報処理方法および情報表示装置 - Google Patents
顔認証を利用した情報処理方法および情報表示装置 Download PDFInfo
- Publication number
- JP5433545B2 JP5433545B2 JP2010221356A JP2010221356A JP5433545B2 JP 5433545 B2 JP5433545 B2 JP 5433545B2 JP 2010221356 A JP2010221356 A JP 2010221356A JP 2010221356 A JP2010221356 A JP 2010221356A JP 5433545 B2 JP5433545 B2 JP 5433545B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- information
- user
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
2.キーボードが必要な故、メールを出したり見たりする環境に制限がある(例えば、携帯電話、パソコン(PC)等を利用できる環境に留まる)。
3.メールの文書を作成しなければならないため、メールを出すのに時間がかかる、あるいは相手に何かを伝えたいと思いついてもサッとメールを出せない(電話はかけて話すだけで済むので気楽であるが、そのような簡便性がメールには欠けている)。
4.家族など複数人でメールを見て各人が個々の返答する、といったものには不向き。
01)メールが届いている人(顔認識されたユーザ)がTV画面を見ていたら、自動的にTV電源を入れ、届いたメールに応じたメッセージを表示する。このメッセージは、図3のST20での例示に限られず、図1の企業90が推薦するコンテンツの発見情報や企業90からのビデオレター、あるいはインターネット上のサイトからのお知らせなどを含んでいてもよい。
また、画面を見ている人々に総合的に推薦できるコンテンツや関係するビデオレター、サイトからのお知らせなどを表示することもできる。(例えば顔認証されたユーザが「おじいちゃん」と「おばあちゃん」である場合、片方だけに偏らず両者に共通して推薦できるコンテンツ、たとえば温泉旅行案内や美味しいお蕎麦屋さんの紹介などを表示することができる。)
05)送られてきたメールのメッセージの中身を見る場合、あらかじめ登録した動作(顔イメージを登録したユーザの手の動きや指使いなど)を、パスワード代わりに用いることもできる。(例えばユーザの人差し指と中指によるV字の映像輪郭が1〜2秒の間に左右に3回往復したらパスワードとして受け入れるなど。)顔認証されたユーザ以外にはメッセージを見せたくない別人がTV前に同席している場合に、パスワードの設定が役立つ。その際、ユーザの手や指の動きなどをパスワードとしておけば、パスワード設定にキーボード入力を必要としない。
図4は、着信のお知らせ処理の一例を説明する図である。この処理は図3のST10〜ST14の処理に対応する。すなわち、誰かがスタンバイ状態にあるTV10のカメラの前にいると(ST11イエス)、TV10内臓の顔認証/照合処理装置100は、その人(ユーザ)の顔認証処理を開始する(ST100)。そして、この顔認証処理により得られた顔の特徴点に対応するコードを、宛先管理テーブル800内の特徴点800cのコード群から探す。対応するコードが見つかれば(ST12イエス)、その人のIDに対応するビデオメール受け取りフォルダに登録されたビデオメールの着信メッセージを再生する(ST13)。対応するコードが見つからないときは(ST12ノー)、対応するコードが登録された誰かがカメラの前にくるまで(ST11イエス)スタンバイする。顔認証処理(ST100)の詳細については後述する。
Ms(x,y)=Σf(x+i,y+i)・gs(i,j)/{Σf(x+i,y+i)・Σgs(i,j)} …(1)
として求めることができる。ここで、サイズの異なる標準顔パターンgs(i,j)は、決められたサイズで予め収集した顔パターンを平均するなどして作成できる。
(a) メールアドレス(=顔)登録方法
1a. 装置に付けられたカメラで撮られた顔を宛先として登録する。登録先は装置本体(HDD等)またはインターネット上のサーバ。
(b)メールを出す方法(相手の顔を選択する)
1b. ビデオレターの宛先は複数の顔の中から任意の複数の顔を選択し、登録する。
1c. メールが届いている人が画面を見ていたら(顔認識)、自動的に電源を入れ、応じたメッセージを表示する。メッセージとは推薦するコンテンツ発見やビデオレター、サイトからのお知らせなどである。
7c. 受信メール一覧としてビデオメールから抽出した顔を並べる。顔が抽出できない場合はサムネイルを出す。
TV等につけられたカメラとビデオメールシステム、顔認識により以下の効果を持つ。
カメラと顔認識手段により
21. キーボードが苦手な高齢者でも孫にビデオによるメールが出せる(電話にはない良さがメールにはあるが高齢者はPCが苦手)。PCが使えない孫や身体障害者でもビデオによるメールが出せる。
31. キーボードが苦手な高齢者でも孫にビデオによるメールが出せる(電話にはない良さがメールにはあるが高齢者はPCが苦手)。PCが使えない孫や身体障害者でもビデオによるメールが出せる。
41.人(特に人生経験を重ねた大人)の顔認識能力は、通常、機械処理のみによる顔認識能力を上回るので、非常に良く似た双子を見違えるといったような例外を除けば、誤った人物(とくに送信を意図した相手と無関係な他人)にメールが送られることを回避できる(双子の見違えの場合は無関係な他人への誤送のような問題は起き難い)。
(1)ユーザの顔画像データを取り込み(ST56)、前記顔画像データからユーザの顔の特徴点を抽出してその特徴点をコード化し(ST100)、前記顔画像データ(図2の800b:例えば“おじいちゃんとおばあちゃん”)にユニークな識別子(図2の800a:順に付番するID=1)および/またはコード化された前記特徴点(図2の800c)を関連付けて宛先管理テーブル(図2の800)に登録する(ST64)情報処理方法。
前記特徴点(800c)に共通性(例えば“おじいちゃんの顔”または“おばあちゃんの顔”という共通性)のある前記顔画像データ(800b)が前記識別子(800a)の列の異なる行(ID=1の行とID=3の行とID=4の行)に存在する場合に、前記識別子リンク(800d)の列の1行において、前記共通性のある行の前記識別子(800a)を参照する(ID=1の行でID=3とID=4を参照する、ID=3の行でID=3を参照する等)ように構成した情報処理方法。
前記メール受取フォルダ(800e)の列の各行に、同じ行の前記識別子(800a)に対応するフォルダ名(例えば、ID=1の行のフォルダには“mail_receive_folder#1”というフォルダ名、ID=2の行のフォルダには“mail_receive_folder#2”というフォルダ名)を付与し、
前記メール受取フォルダ(800e)の1つ(例えば“mail_receive_folder#1”)に格納されたメールコンテンツ(図7のST45:例えば「孫からおじいちゃんとおばあちゃんへのビデオメール」)を、前記メール受取フォルダの1つ(“mail_receive_folder#1”)に対応する前記識別子(ID=1)を宛先に送信し(ST49)、あるいは
前記メール受取フォルダ(800e)の1つ(例えば“mail_receive_folder#1”)に格納されたメールコンテンツ(図7のST45:例えば「孫からおじいちゃんとおばあちゃんへのビデオメール」)を、前記メール受取フォルダの1つ(“mail_receive_folder#1”)に対応する前記識別子リンク(800d)により参照される前記識別子(ID=3とID=4)を宛先に送信する(ST48〜ST49)ように構成した情報処理方法。
選択された顔画像(例えば「おじいちゃんとおばあちゃん」)に対応する前記メール受取フォルダの1つ(図2の800eの“mail_receive_folder#1”)にメールコンテンツ(ST40で作成したビデオメール等)を登録する(図7のST45)ように構成した情報処理方法。
顔を認識した前記ユーザがメールの宛先に該当したら(ST100で認識したユーザの顔の特徴点データと、図2のテーブルのうちメール宛先の顔の特徴点データとが一致したら)(ST12イエス)そのユーザ宛のメッセージ(着信音または音声案内)を再生する(ST13)ように構成した情報処理方法。
前記顔画像データ(“おじいちゃんとおばあちゃん”)にユニークな識別子(ID=1)および/またはコード化された前記特徴点(800c)を関連付けて記憶する宛先管理テーブル(ビデオレターサーバ80の800)に接続される情報表示装置。
Claims (11)
- 顔認証を利用したメールシステムで用いられる情報処理方法において、
前記メールシステムに事前登録されていない1人または複数のユーザの顔の画像データ
を取り込み、
前記画像データから前記ユーザの顔の特徴点を抽出してその特徴点に基づいて前記ユー
ザの宛先に関する情報を新たに自動生成するものであって、
複数のユーザの宛先に関する情報は、それぞれ、複数のユーザの顔の画像データに対応
する画像と関連付けられて保存される情報であって、
前記メールシステムにおいて、特定のユーザに対してメールを送信する場合、特定のユ
ーザの顔の画像データに対応する画像を選択することによって、複数のユーザの宛先に関
する情報の中から、特定のユーザの宛先に関する情報が選択され、用いられる
情報処理方法。 - 顔認証を利用したメールシステムで用いられる情報処理方法であって、前記メールシス
テムに事前登録されていない複数のユーザの顔の画像データを取り込み、前記画像データ
から前記ユーザの顔の特徴点を抽出してその特徴点に基づいて前記ユーザの宛先に関する
情報を新たに自動生成する情報処理方法において、
前記複数ユーザの画像データを一緒に取り込み、
前記画像データから前記複数ユーザの顔の特徴点を抽出してその特徴点をコード化し、
前記コード化された特徴点に対応して前記複数ユーザへの宛先に関する情報を1つ自動
生成するものであって、
複数のユーザの宛先に関する情報は、それぞれ、複数のユーザの顔の画像データに対応
する画像と関連付けられて保存される情報であって、
前記メールシステムにおいて、特定のユーザに対してメールを送信する場合、特定のユ
ーザの顔の画像データに対応する画像を選択することによって、複数のユーザの宛先に関
する情報の中から、特定のユーザの宛先に関する情報が選択され、用いられる
情報処理方法。 - 前記宛先に関する情報を格納する宛先管理テーブルを用意し、
前記宛先管理テーブルは、前記画像データにユニークな識別子の列と、前記画像データ
の列と、前記特徴点の列と、識別子リンクの列を含み、
前記特徴点に共通性のある前記画像データが前記識別子の列の異なる行に存在する場合
に、前記識別子リンクの列の1行において、前記共通性のある行の前記識別子を参照する
ように構成した請求項1または請求項2に記載の情報処理方法。 - 前記宛先管理テーブルはメール受取フォルダの列をさらに含み、
前記宛先に関する情報として、前記特徴点の列および前記メール受取フォルダの列のう
ちの少なくとも1つが対応するように構成した請求項3に記載の情報処理方法。 - 前記画像データは所定の画像フレーム内に含まれ、この画像フレームは前記ユーザの顔
画像領域と背景画像領域を含み、
前記背景画像領域に無地または任意の画像のいずれかを挿入するように構成した請求項
1または請求項2に記載の情報処理方法。 - 顔認証を利用したメールシステムで使用可能な情報処理装置において、
事前登録されていない1人または複数のユーザの顔の画像データを取り込むように構成
された画像取込部と、
前記画像データから前記ユーザの顔の特徴点を抽出してその特徴点に基づいて前記ユー
ザの宛先に関する情報を新たに自動生成する宛先情報生成モジュールと、
前記ユーザの顔の画像表示を含めて映像および文字のうちの少なくとも1つの画像表示
を行うように構成された表示部を備え、
前記画像データが、ユニークな識別子およびコード化された前記特徴点のうちの少なく
とも1つに関連付けられて宛先管理テーブルに供給されるものであって、
複数のユーザの宛先に関する情報は、それぞれ、複数のユーザの顔の画像データに対応
する画像と関連付けられて保存される情報であって、
前記メールシステムにおいて、特定のユーザに対してメールを送信する場合、特定のユ
ーザの顔の画像データに対応する画像を選択することによって、複数のユーザの宛先に関
する情報の中から、特定のユーザの宛先に関する情報が選択され、用いられる
情報表示装置。 - 顔認証を利用したメールシステムで使用可能な情報処理装置であって、事前登録されて
いない1人または複数のユーザの顔の画像データを取り込むように構成された画像取込部
と、前記画像データから前記ユーザの顔の特徴点を抽出してその特徴点に基づいて前記ユ
ーザの宛先に関する情報を新たに自動生成する宛先情報生成モジュールと、前記ユーザの
顔の画像表示を含めて映像および文字のうちの少なくとも1つの画像表示を行うように構
成された表示部を備え、前記画像データが、ユニークな識別子およびコード化された前記
特徴点のうちの少なくとも1つに関連付けられて宛先管理テーブルに供給される情報表示
装置において、
前記画像取込部は、前記複数ユーザの画像データを一緒に取り込むように構成され、
前記宛先情報生成モジュールは、前記画像データから前記複数ユーザの顔の特徴点を抽
出してその特徴点をコード化し、前記コード化された特徴点に対応して前記複数ユーザへ
の宛先に関する情報を1つ自動生成するように構成されるものであって、
複数のユーザの宛先に関する情報は、それぞれ、複数のユーザの顔の画像データに対応
する画像と関連付けられて保存される情報であって、
前記メールシステムにおいて、特定のユーザに対してメールを送信する場合、特定のユ
ーザの顔の画像データに対応する画像を選択することによって、複数のユーザの宛先に関
する情報の中から、特定のユーザの宛先に関する情報が選択され、用いられる
情報表示装置。 - 前記宛先管理テーブルは、前記画像データにユニークな識別子の列と、前記画像データ
の列と、前記特徴点の列と、識別子リンクの列を含み、
前記宛先情報生成モジュールは、前記特徴点に共通性のある前記画像データが前記識別
子の列の異なる行に存在する場合に、前記識別子リンクの列の1行において、前記共通性
のある行の前記識別子を参照するように構成される請求項6または請求項7に記載の情報
表示装置。 - 前記宛先管理テーブルの内容のコピーを格納するように構成された格納部をさらに備え
た請求項6ないし請求項8のいずれか1項に記載の情報表示装置。 - 顔認証を利用したメールシステムで使用可能なプログラムであって、
コンピュータに、
事前登録されていない1人または複数のユーザの顔の画像データを取り込む機能と、
前記画像データから前記ユーザの顔の特徴点を抽出してその特徴点に基づいて前記ユー
ザの宛先に関する情報を新たに自動生成する機能と、を実行させるプログラムであって、
複数のユーザの宛先に関する情報は、それぞれ、複数のユーザの顔の画像データに対応
する画像と関連付けられて保存される情報であって、
前記メールシステムにおいて、特定のユーザに対してメールを送信する場合、特定のユ
ーザの顔の画像データに対応する画像を選択することによって、複数のユーザの宛先に関
する情報の中から、特定のユーザの宛先に関する情報が選択され、用いられる
プログラム。 - 顔認証を利用したメールシステムで使用可能なプログラムであって、
コンピュータに、
事前登録されていない複数のユーザの顔の画像データを取り込む機能と、
前記画像データから前記複数のユーザの顔の特徴点を抽出してその特徴点をコード化す
る機能と、
前記コード化された特徴点を用いて、前記複数ユーザへの宛先に関する情報を新たに1
つ自動生成する機能と、を実行させるプログラムであって、
複数のユーザの宛先に関する情報は、それぞれ、複数のユーザの顔の画像データに対応
する画像と関連付けられて保存される情報であって、
前記メールシステムにおいて、特定のユーザに対してメールを送信する場合、特定のユ
ーザの顔の画像データに対応する画像を選択することによって、複数のユーザの宛先に関
する情報の中から、特定のユーザの宛先に関する情報が選択され、用いられる
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010221356A JP5433545B2 (ja) | 2010-09-30 | 2010-09-30 | 顔認証を利用した情報処理方法および情報表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010221356A JP5433545B2 (ja) | 2010-09-30 | 2010-09-30 | 顔認証を利用した情報処理方法および情報表示装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008311465A Division JP2010134785A (ja) | 2008-12-05 | 2008-12-05 | 顔認証を利用した情報処理方法および情報表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011008825A JP2011008825A (ja) | 2011-01-13 |
JP5433545B2 true JP5433545B2 (ja) | 2014-03-05 |
Family
ID=43565302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010221356A Expired - Fee Related JP5433545B2 (ja) | 2010-09-30 | 2010-09-30 | 顔認証を利用した情報処理方法および情報表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5433545B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5890969B2 (ja) * | 2011-06-03 | 2016-03-22 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法 |
KR20140062799A (ko) * | 2012-11-15 | 2014-05-26 | 삼성전자주식회사 | 디스플레이 장치 및 이의 메시지 전달 방법 |
JP7285349B2 (ja) * | 2018-08-20 | 2023-06-01 | 株式会社ソニー・インタラクティブエンタテインメント | メッセージ出力装置、メッセージ出力方法及びプログラム |
US11711328B2 (en) | 2018-08-20 | 2023-07-25 | Sony Interactive Entertainment Inc. | Message output apparatus, learning apparatus, message output method, learning method, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002063268A (ja) * | 2000-08-21 | 2002-02-28 | J Data:Kk | プロフィールページ発信システム |
JP4672471B2 (ja) * | 2005-07-19 | 2011-04-20 | 富士通エフ・アイ・ピー株式会社 | 電話サービス提供装置 |
JP2007108806A (ja) * | 2005-09-16 | 2007-04-26 | Dowango:Kk | ユーザマッチングサーバ、ユーザマッチング方法、ユーザマッチングプログラム |
JP4518005B2 (ja) * | 2005-11-11 | 2010-08-04 | 日本電気株式会社 | 留守番メッセージ装置及びプログラム |
-
2010
- 2010-09-30 JP JP2010221356A patent/JP5433545B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011008825A (ja) | 2011-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4686619B2 (ja) | 顔認証を利用した情報処理方法および情報表示装置 | |
US9930170B2 (en) | Method and apparatus for providing phonebook using image in a portable terminal | |
CN103931165B (zh) | 用于在来话及去话过程中显示的具有多入口接入的电话 | |
CN100592779C (zh) | 信息处理设备及信息处理方法 | |
JP5003125B2 (ja) | 議事録作成装置及びプログラム | |
CN109981908A (zh) | 用于增强的用户交互的图像数据 | |
JP2001005783A (ja) | 個人識別方式 | |
US10503777B2 (en) | Method and device relating to information management | |
JP2010134785A (ja) | 顔認証を利用した情報処理方法および情報表示装置 | |
CN101605178A (zh) | 使用便携式终端中的图像信息的方法 | |
JP5433545B2 (ja) | 顔認証を利用した情報処理方法および情報表示装置 | |
CN105892810A (zh) | 消息显示方法及装置 | |
KR101419010B1 (ko) | 휴대용 단말기에서 이미지를 이용한 폰북 제공 방법 및장치 | |
JP2017504287A (ja) | 電話着信に対する返信方法、装置、端末、サーバ、プログラム及び記録媒体 | |
CN110188364B (zh) | 基于智能眼镜的翻译方法、设备及计算机可读存储介质 | |
JP5160493B2 (ja) | インターフォン装置、および、インターフォン装置の制御方法 | |
JP4518005B2 (ja) | 留守番メッセージ装置及びプログラム | |
JP2018081662A (ja) | 画像プリントシステム | |
JP2006080850A (ja) | 通信端末とその通信方法 | |
JP5489977B2 (ja) | 顔認証を利用した情報処理装置、情報処理方法及びプログラム | |
WO2016021584A1 (ja) | 端末装置及び管理サーバ | |
JP5272884B2 (ja) | 画像表示装置、画像表示方法及び画像表示用プログラム | |
JPH11196122A (ja) | 電子メール転送システム、方法、メール取出装置および情報機器 | |
JP4404362B2 (ja) | ユーザプロファイル情報の秘匿通信装置 | |
US20170295495A1 (en) | Multimedia exchange system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120731 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120926 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130604 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130730 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130903 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131209 |
|
LAPS | Cancellation because of no payment of annual fees |