JP7279159B2 - 個人情報表示装置及びその処理方法 - Google Patents

個人情報表示装置及びその処理方法 Download PDF

Info

Publication number
JP7279159B2
JP7279159B2 JP2021521665A JP2021521665A JP7279159B2 JP 7279159 B2 JP7279159 B2 JP 7279159B2 JP 2021521665 A JP2021521665 A JP 2021521665A JP 2021521665 A JP2021521665 A JP 2021521665A JP 7279159 B2 JP7279159 B2 JP 7279159B2
Authority
JP
Japan
Prior art keywords
information
display device
user
personal information
password
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021521665A
Other languages
English (en)
Other versions
JPWO2020240747A1 (ja
Inventor
仁 秋山
裕明 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of JPWO2020240747A1 publication Critical patent/JPWO2020240747A1/ja
Priority to JP2023077807A priority Critical patent/JP7543482B2/ja
Application granted granted Critical
Publication of JP7279159B2 publication Critical patent/JP7279159B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/34User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82Protecting input, output or interconnection devices
    • G06F21/84Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、多岐にわたる個人用IDやパスワード入力、或いは変更によるパスワードの記憶を補助するための個人情報表示装置及びその処理方法に関する。
近年、パソコン(PC)/スマホといった個人用デバイス端末や、各種サービス、カード等が普及するのに伴い、使用する際に個人認証を行うために必要となるユーザログインIDやパスワードの入力が要求されることが増大している。しかしながら端末やサービスの増加に従いパスワード入力の機会は増加しているが、防犯上の理由により、(1)簡単なパスワードは禁止されているサービスが多い、(2)同じパスワードの使い回しは推奨されない、(3)定期的にパスワード変更が要求される場合がある、等の要因によりパスワード忘れが頻発する状況にある。これに対して、記憶忘れを防ぐ目的で例えばパスワードをメモ帳等に記録しておくこともあるが、セキュリティ的に好ましくない。そこで、例えばパスワード管理ソフトを使い、様々なパスワードを表示するサービスもあるが、毎回マスターパスワードを入力して使いたいサービスを選択する手間が必要であり煩雑である。また、マスターパスワードが漏洩した場合は全てのパスワードが判ってしまう。またパスワードの新規登録や定期的に要求されるパスワードの変更時に、いちいち記録し直しが必要である。
本技術分野における従来技術として特許文献1がある。特許文献1では、ユーザ個人に固有の生体情報であるバイオメトリクス情報とそのユーザの保有する個人情報を記憶した持ち運び可能な記憶媒体と、記憶媒体に記憶された個人情報の内容をユーザ本人の視野内でのみ表示する情報表示手段と、ユーザのバイオメトリクス情報を検出する検出手段と、記憶媒体に記憶されたバイオメトリクス情報と検出手段により検出されたバイオメトリクス情報とを読み取り、両者を照合してユーザ認証を行い、ユーザ認証が確立したときにのみ情報表示手段による個人情報の表示を許可する構成が開示されている。
特開2007-6393号公報
特許文献1では、ヘッドマウントディスプレイ(以下HMD)を想定して個人生体情報で認証を行い、個人情報を表示させる。しかしながら、表示させる個人情報は、例えばパスワード等であるが、各種カードやサービス等に対する個人情報は異なる場合が多く、表示させる個人情報と各種カードやサービス等との対応付けについて考慮されていない。
本発明は、上記課題に鑑み、上述の各種カードやサービス等に必要なパスワードを直ちに認識できるようにするために、予めカード情報やサービス情報を認識し、個人を認証した上で簡単にその情報に紐付けされたパスワードやIDを表示させることが可能な個人情報表示装置及びその処理方法を提供するものである。
本発明は、上記課題を解決するために、その一例を挙げるならば、メガネ形状の表示部を持つ個人情報表示装置の処理方法であって、個人情報表示装置を装着している個人の虹彩を撮影し、撮影した虹彩から虹彩情報を取得し、各種カードや各種サービスの情報を撮影し、撮影した各種カードや各種サービスの情報から各種カードや各種サービスの認識情報を取得し、虹彩情報から個人情報を登録するとともに、各種カードや各種サービスの認識情報に紐付けされたIDやパスワードを登録する。
本発明によれば、より好適な使い勝手を実現する個人情報表示装置及びその処理方法を提供することができる。
実施例における個人情報表示装置のシステム構成図である。 実施例における個人情報表示装置の構成ブロック図である。 実施例における個人情報表示装置のソフトウェア構成図である。 実施例における個人情報表示装置を使ってカード使用時のユーザの作業状態を示す図である。 実施例におけるユーザが実際にカードを持った時に目にするイメージである。 実施例における個人情報表示装置の表示部に、登録時のカメラで撮影したカード映像とパスワードを表示したイメージ図である。 実施例における個人情報表示装置の表示部に、登録時の文字認識したカード情報とパスワードを表示したイメージ図である。 実施例における個人情報表示装置の表示部に、カード使用時の登録済みのパスワードを表示したイメージ図である。 実施例における個人情報表示装置を使ってPC使用時のユーザの作業状態を示す図である。 実施例におけるユーザがPC使用時に目にするイメージである。 実施例における個人情報表示装置の表示部に、登録時の文字認識したサービス名称とIDおよびパスワードを表示したイメージ図である。 実施例における個人情報表示装置の表示部に、サービス使用時の文字認識したサービス名称とIDおよびパスワードを表示したイメージ図である。 図6Aにおける表示部の拡大図である。 実施例における個人情報表示装置の表示部に、登録済みのIDおよびパスワードを、グラスを通して見ているPC上のID入力欄及びパスワード入力欄に重畳して表示したイメージ図である。 実施例におけるPC使用時の各種サービス情報を確認する場合の個人情報表示装置の表示部の表示例である。 実施例におけるPC使用時の各種サービス情報を確認する場合の視点により「OK」を選択する場合の表示例である。 実施例における登録時の処理シーケンスである。 実施例における使用時の処理シーケンスである。
以下、本発明の実施例を、図面を用いて説明する。
図1は本実施例における個人情報表示装置のシステム構成図である。図1において、1は個人情報表示装置であって、HMDと一般的に言われている形状のものである。図1は、個人情報表示装置1をユーザAが装着し、例えばPC32の画面を見ながらIDやパスワード入力している状態を示している。個人情報表示装置1には表示部5と前方撮影カメラC2を備えており、図示していないが虹彩認証用の小型カメラC1が表示部近傍に搭載されている。さらに、個人情報表示装置1が装着されていることを確認するための装着センサ9も搭載されている。さらに、個人情報表示装置1が装着されている場所を特定するためのGSP等を含む位置センサ(図2の6)も搭載されている。なお、ユーザAが個人情報表示装置1へ情報を伝達する手段として使う声を集音するマイク7、個人情報表示装置1がユーザAに情報を音で伝えるための手段として使うイヤホン8を有する。
ユーザAは例えばPC32上で各種サービスを行うためにID等の情報(以下ID)やパスワード情報(以下パスワード)入力を要求された場合にはユーザAの声、或いはPC32の画面形状を前方撮影カメラC2が撮影し、認識技術により、各種サービスを特定し、それに紐付けされたIDやパスワード入力が必要かの判断を行い、適正なIDやパスワードを個人情報表示装置1の表示部5に表示させ、ユーザAはそのIDやパスワード入力を行う。
ユーザAの個人認証については同じく個人情報表示装置1に搭載されているユーザAの虹彩を撮影する小型カメラC1により撮影し、虹彩認証を行いユーザAが本人で有るかどうかの判断を行う。またこの小型カメラC1はユーザAの視点追跡を行うことも可能で、ユーザAが見ている対象物を特定する。これに関しては後述する前方撮影カメラC2の撮影範囲から視点位置を特定し、対象物を特定させる機能を有する。この視点追跡結果とそれに伴う視点表示により、後述するが、個人情報表示装置1内で紐付けされた各種データ表示が正しいかどうかの判断をユーザAに聞くための手段としても利用可能である。
図2は本実施例における個人情報表示装置1の構成ブロック図である。図2において、図1と同じ機能については同じ符号を付している。図2において、個人情報表示装置1には、虹彩の撮影やユーザAの視点追跡をするための超小型レンズとCCD或いはCMOSセンサ等で構成される小型カメラC1が搭載されている。なお、レンズ3及びハーフミラー4は、ユーザの眼の虹彩を小型カメラC1で撮影するため、及び、ユーザが表示部5に表示された映像を見るための光学系である。
また、通常レンズとカメラセンサ等からなる前方撮影カメラC2、ユーザAの虹彩認識やユーザAの視点検出する虹彩/視点検出&認識機能22、図形や記号、或いは文字等を認識し認識情報として出力する画像認識機能23等を行う画像処理部等からなる撮影処理部21、一時的に撮影した画像や映像を保持し、前記した各処理を行うためのワークエリアとしても利用するメモリ24からなるカメラ部2を有する。
カメラ部2内には各種画像改善と各種認識機能を行う虹彩/視点検出&認識機能22、画像認識機能23、及びメモリ24が含まれているが、後述するコントローラ10内でのソフトウェア処理で同様の認識機能を行うことも可能であり、その場合には上記機能はカメラ部2内に必要としない。しかしながら、コントロール10内は様々な処理が平行に行われるため、処理の高速化を考慮して上記各種画像改善と各種認識機能をカメラ部2に含めている場合を記載した。後述では主にコントローラ10内のソフト処理でこれら各種画像改善や各種認識処理を行っている場合について記述するが、それに限ることは無く、当然、一部機能をカメラ部2内で行い、その結果のみコントローラ10へ送っても良い。
パスワード等の情報等を表示するLCD等からなる表示部5にはコントローラ10から情報を伝達する。さらに、位置センサ6との組み合わせで個人情報表示装置1が不正に使われていないかを確認するため、或いは、個人情報表示装置1の内部ソフトウェアのアップデート等に使うためにインターネットと通信するための通信部14を有する。また、これら全体を制御し、指示を行うコントローラ10、ROM(Read Only Memory)11、RAM(Random Access Memory)12、映像や画像データを保存する外部メモリ13、システムバス15を有する。装着センサ9はユーザAが個人情報表示装置1を装着したと同時にシステムを起動するためなどに使われるもので、その一例としては単純な接触を感知するスイッチ、或いは人間の体温を感知する温度センサなどがある。さらにこれら装置の電源供給を行う小型のバッテリー16を有する。
なお、マイク7からの音声でユーザAを特定するための声紋認証でユーザAの認証を行ってもよい。この場合の処理はコントローラ10内のソフトウェアで行う。
図3は本実施例における個人情報表示装置1のソフトウェア構成図であり、図2と同じ機能については同じ符号を付している。
コントローラ10は、所定のプログラムに従って個人情報表示装置1全体を制御するマイクロプロセッサユニットである。システムバス15はコントローラ10と個人情報表示装置1内の各部との間でデータ送受信を行うためのデータ通信路である。
ROM11は、オペレーティングシステムなどの基本動作プログラムやその他のアプリケーションプログラムが格納されたメモリであり、例えばEEPROM(Electrically Erasable Programmable ROM)やフラッシュROMのような書き換え可能なROMが用いられ、ROM11に格納されたプログラムを更新することにより、基本動作プログラムやその他のアプリケーションプログラムのバージョンアップや機能拡張が可能である。
RAM12は基本動作プログラムやその他のアプリケーションプログラム実行時のワークエリアとなる。具体的には、例えばROM11に格納された基本動作プログラム11aはRAM12に展開され、更にコントローラ10が前記展開された基本動作プログラムを実行することにより、基本動作実行部12aを構成する。以下では、説明を簡単にするために、コントローラ10がROM11に格納された基本動作プログラム11aをRAM12に展開して実行することにより各部の制御を行う処理を、基本動作実行部12aが各部の制御を行うものとして記述する。なお、その他のアプリケーションプログラムに関しても同様の記述を行うものとする。
撮影映像処理実行部12bは撮影処理部21に対し撮影の指示、停止、画像改善等の処理指示を行う。
撮影対象物認識実行部12cは図1において前方撮影カメラC2で撮影されたユーザAがIDの入力やパスワード入力を行う対象物を認識し、外部メモリ13に保存されたユーザAが入力を行うであろう各種カードやサービスを特定する機能を有するプログラムである。入力画面認識実行部12dはユーザAが入力したIDやパスワードを認識する機能でありデジタル情報として外部メモリ13に暗号化して保存する。この時、撮影対象物認識実行部12cで認識した各種カードやサービスと紐付けされた状態で外部メモリ13に保存する。虹彩認証実行部12eは小型カメラC1で撮影された個人情報表示装置1を装着した人物の虹彩を撮影し、登録された人物かどうかの判断を行うプログラムである。13fの視点追跡実行部は上記の前方撮影カメラC2と連動させて、ユーザAが何を見ているかを判断し、その対象物を特定させるプログラムであり、撮影対象物認識実行部12cと連動させることで、より正しく情報を引き出すことができる。情報表示実行部12gは上記の紐付けされたパスワードを特定し、それを表示部5に表示させるプログラムである。音声認識実行部12hはユーザAにイヤホン8経由で、音声で質問する時、或いはマイク7から音声入力されたユーザAの会話の中身を認識するプログラムである。
コントローラ10は個人情報表示装置1全体の制御を行うアルゴリズムが組み込まれている。
本実施例の個人情報表示装置1の動作は、図3に示したように、主として外部メモリ13に記憶された、撮影映像プログラム13bと、撮影対処物認識プログラム13c、入力画面認識プログラム13d、虹彩認証プログラム13e、視点追跡プログラム13f、情報表示プログラム13g、音声認識プログラム13hが、RAM12に展開され、コントローラ10により実行される、撮影映像処理実行部12bと、撮影対象物認識実行部12c、入力画面認識実行部12d、虹彩認証実行部12e、視点追跡正実行部12f、情報表示実行部12g、音声認識実行部12hによって制御されるものとする。なお、12bから12hの実行部は、その一部または全部の動作をハードウェアで実現する各ハードウェアブロックで行っても良い。この際、例えば12bから12fの実行部は、その一部をカメラ部2の撮影処理部21内にある虹彩/視点検出&認識機能22、画像認識機能23が行っても良い。
また、ROM11及びRAM12はコントローラ10と一体構成であっても良い。また、ROM11は、図2に示したような独立構成とはせず、外部メモリ13内の一部記憶領域を使用しても良い。また、RAM12は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域を備えるものとする。
外部メモリ13は撮影処理部21で撮影されている画像や映像を一時的に蓄える。また、携帯情報端末1の各動作設定値や携帯情報端末1の位置情報や各種情報、携帯情報端末1が撮影した画像や映像情報等の一部または全部のデータを記録する各種情報/データ記録領域13a、撮影映像プログラム13bと、撮影対処物認識プログラム13c、虹彩認証プログラム13e、視点追跡プログラム13f、情報表示プログラム13g、音声認識プログラム13h、その他プログラムを格納している。特に、本実施例で重要な各種カードの情報やサービス情報を記憶する入力画面情報131、入力画面情報である各種カードやサービス情報に紐付けられたパスワード情報132、ユーザAの個人情報である虹彩情報133を記録するのも各種情報/データ記録領域13aであり、基本的に解読キーが無ければ解読不能にするため、暗号化されて保存されている。これらのプログラムはROM11や、不揮発性特性を持つ内部メモリに保存してもよい。
また、外部メモリ13の一部領域を以ってROM11の機能の全部または一部を代替しても良い。また、外部メモリ13は、個人情報表示装置1に電源が供給されていない状態であっても記憶している情報を保持する必要がある。したがって、例えばフラッシュROMやSSD(Solid State Drive)等のデバイスが用いられる。
次に、本実施例における個人情報表示装置1を使って具体的に各種カードを使う時の動作について説明する。
まず、第一段階として個人情報表示装置1を使用するユーザ登録を行う。この時は、個人情報表示装置1は、図1に示すようにHMDの形状なので、ユーザAは例えばメガネを装着するように耳にかけて装着する。個人情報表示装置1の電源のON/OFFはユーザが手動で行う物理的なスイッチを設けてもよいが、より簡便にするため、装着センサ9が代用してもよい。この場合、HMDであるので装着時に耳が当たる部分に設置された装着センサ9の部分に耳が接触した時点で電源のONを行い、耳の接触が外れた時点で電源をOFFにする。或いは、ONは上述の通りであるが、OFFに関しては耳の接触が外れたことを感知した後、一定の時間が過ぎた後に自動的にOFFしてもよい。装着センサ9としては前述の様に単なる接触したことを検知する接触センサでもよいし、体温を感知する温度センサでもよい。或いは、きっちりと装着をさせる目的で、物理的なスイッチタイプにし、確実に装着していない場合にはスイッチがONにならないタイプにしてもよい。なお、HMDとしての耳にかけない装着方法の場合も、頭部に接触する部分に装着センサ9を設ければよい。
次にユーザAの個人情報登録処理を行う。この時には小型カメラC1により虹彩の撮影と登録が必要になるが、この時は正しく装着されているかを判断するため、小型カメラC1で虹彩が撮影可能な状態かどうかの判断を行い、もし撮影できない状態の場合は表示部より、例えば「正しく装着してください」等のアラームが表示される。或いは、この状態ではユーザAは表示部の内容を読むこともできない状態であることも有るので、その場合にはアラームを鳴らす。これは上記個人情報表示装置1の不正使用防止にも役立つ。
正しく装着されていることが確認されると、虹彩登録を開始する。小型カメラC1を使いユーザAの虹彩を撮影し、虹彩情報133を暗号化して外部メモリ13に記録する。この時、虹彩登録と共に、個人の名前や年齢、電話番号等の情報を登録してもよい。その登録方法は、例えば図2のマイク7を使った音声入力により行う。その時には例えば図2のイヤホン8からユーザAに対し、「名前を言ってください」等の質問を行い、それに答える形で音声入力を行う。或いは質問は表示部5から表示させてもよい。音声入力したものについては一旦音声認識技術により認識した名前を表示部に表示させ、正しいかの判断をユーザAに行いながら個人情報入力を行っていく。或いは、音声入力することが難しい場合や、したくない場合も有るので、通信部14を使ってキーボードやスマホの入力機能を使って入力を行いながらユーザAの個人情報を記録してもよい。或いは上記視点追跡機能と表示機能を使い、後述するが、ユーザAの視点を表示部5に表示させ、表示上に正しいかどうかの判断するような表示、例えば「OK?」「NG?」の表示を行い、その位置に視点を持っていくことで判断させても良い。個人情報に関しては例えば名前や年齢、電話番号などの情報に限ることは無く、住所や個人を特定する免許証番号、パスポート番号、個人番号等を登録してもよい。当然ながら上記情報は暗号化されて外部メモリ13に記録される。また、上記情報をユーザAが入力するのは煩雑であるので、免許証やパスポート、住所の書かれた書類を個人情報表示装置1の前方撮影カメラC2で撮影し、画像認識技術を使って判断して情報を外部メモリ13に記録しても良い。
次に、対象となる銀行カードやクレジットカード等のカード情報の登録を行う。この時、図4Aに示すように、カードを前方撮影カメラC2が撮影できる状態にユーザA自身が移動させ、矢印で示すように前方撮影カメラC2でカード全体が認識できる位置まで移動させ、撮影させる。この時、図4Bは、ユーザAが実際にカードを持った時に、目にするイメージである。前方撮影カメラC2の撮影画面は表示部5に表示され、ユーザA自身が確認して大まかな位置や距離を合わせるようにしてもよい。撮影された画面上の各種情報、例えばカードの種類やカードナンバー、カードの有効期限等の情報は画像認識機能23を使って認識し、情報は暗号化されたのち外部メモリ13に記録する。クレジットカードでは裏面に記載されたいわゆるセキュリティーコード等の3桁或いは4桁の数字が使用時に必要な場合もあるので、その情報も登録してもよい。
なお、上述では数字や文字等の登録のみを行う場合を示しているが、これに限ることは無く、クレジットカードそのものを撮影し、画像として登録しても良い。これは後述するように、ユーザAに登録されたカードかどうかを判断させるために有効である。すなわち、外部メモリに記録する情報は撮影された画面上の画像データでも良いし、撮影された画像より認識されたカード種類やカードナンバー、カードの有効期限等のテキストデータでも良い。その後、認識し、記録ができた時点でユーザAに認識&記録が完了したことを表示部5に表示させる。この時、ユーザAに記録が完了したことを表示するが、単に「完了済み」等の表示だけでも良いし、表示部5に記録された画面上の画像データを表示しても良いし、カード情報として必要な例えばカード種類、カードナンバー、カードの有効期限等のテキストデータのみを表示しても良い。或いは音声でイヤホン8から「完了済み」と音声で伝えても良い。あるいは、カード情報として有効なテキストデータを音声で伝えても良い。正しく認識したかをユーザAに確認するために、認識したカード情報を表示部5に表示をする。或いは、イヤホン8経由で、音声でユーザAに伝え、確認してもよい。この時、正しければOKと音声入力してもよいし、キーボードでOKの判断をしてもよいし、視点追跡機能と表示機能を使って判断させても良い。
次に各種カードのパスワードの登録を行う。パスワードの登録はユーザAが直接入力をする必要があるので、例えば、音声で入力を行い上記同様音声認識した結果を表示部5に表示し、確認を行った後に各種カードに紐付けさせて暗号化させた後、外部メモリ13に記録する。或いはパスワードを紙に記入し、それを前方撮影カメラC2で撮影し、画像認識機能23で確認してもよい。当然、認識結果はユーザAに伝え、正しいかの判断を行う。或いは、ユーザがそのクレジットカードを使用する時にユーザAが例えばパスワード入力する装置でユーザAが入力する順番、記号や数字を前方撮影カメラC2で撮影し、画像認識してその入力された数字や記号を記憶する。その時、入力した数字や記号が正しいかどうかの判断のため、イヤホン8経由でユーザAに確認しても良い。或いは表示部5に入力した数字や記号を表示しても良い。ユーザAはそれが正しいかどうかを確認し、例えば正しければ「OK」等の音声をマイク7に入力すればよい。
上記の暗号化では虹彩情報に紐付けされた暗号化キーを自動生成し、暗号化を行ってもよい。セキュリティを高める目的で、暗号化情報を解錠するキーは各種カード毎に異なるキーを使ってもよい。或いはユーザAがパスワードを要求する時に虹彩認証を行うが、この時自動で紐付けされた暗号化キーを再度自動生成し、新しいキーで暗号化を行ってもよい。
図4Cは、個人情報表示装置1の表示部5(この例では右目)に、前方撮影カメラC2で撮影したカード映像310とユーザが入力したパスワード300を表示したイメージ図である。
図4Dは、個人情報表示装置1の表示部5に、文字認識したカード情報311とユーザAが入力したパスワード300を表示したイメージ図である。すなわち、図4Cでは、カード映像310を表示していたのに対し、図4Dに示すように、文字認識したカード情報311を表示してもよい。
次に、ユーザAが各種カードを使う時にパスワード入力する時の方法を示す。この時もユーザAは個人情報表示装置1を図1に示すようにHMDを装着するように耳にかけて装着する。装着の確認は、前記のユーザ登録時と同じなので説明は省く。
正しく装着されていることを確認すると、虹彩認証が開始される。虹彩認証は小型カメラC1を使いユーザAの虹彩を撮影し、予め登録されているユーザAの虹彩情報と照合する。同一と判断された場合には登録されている個人の名前を表示部5に表示させる、或いはイヤホン8経由で、音声で伝えてもよい。この時に二重の不正利用を防止する目的で、予め登録されたキーワードを言わせて確認してもよい。虹彩を撮影時にユーザAは色々な所を見て虹彩撮影が上手くいかない可能性がある。従って、虹彩撮影が正しく行われるように、表示部5の適当な位置に矢印やマーク等を表示し、ユーザAがその矢印やマークを見るように表示部に「この矢印を見てください」という表示をさせる、或いはイヤホン8から音声で指示を行い、正しい虹彩登録が行われるようにしてもよい。
次に、ユーザAが使いたい銀行カードやクレジットカード等のカード情報を確認する作業を行う。この時、図4Aに示すように、カード31を前方撮影カメラC2が撮影できる状態にユーザA自身が移動させ、前方撮影カメラC2で撮影させる。この時、ユーザA自身はカード31を前方撮影カメラC2が認識可能な大まかな位置や距離に合わせる。認識できた場合にはその旨を表示部5に表示してもよい。撮影画面を表示部5に表示して、ユーザA自身が確認できるようにしてもよい。従って、その判断された結果を用いて例えばユーザAに「もう少し手前に動かして下さい」とか、「もう少し遠いほうに動かして下さい」とかを表示部5に表示してもよい。或いはイヤホン8を用いて音声で伝えてカード31の情報を画像として認識可能な位置に移動させ、撮影してもよい。撮影された画面上の各種情報は、クレジットカードの種類やカードナンバー、カードの有効期限等の情報は画像認識機能23を使って認識する。
次に、認識したカード情報に対応したパスワードを表示する。すなわち、認識したカード情報と予め登録されている情報の中から合致するカード情報のパスワードを呼び出し、そのパスワードを表示部5に表示させる。図4Eはカード使用時に個人情報表示装置1の表示部5に、既に登録済みのパスワード300を表示しているイメージ図である。図4Eに示すように、前方撮影カメラC2でユーザAのクレジットカードを撮影し、画像マッチングを行い予め登録されているカード情報の中から同じと認識されたカードの画像情報を表示部5に表示させる。
なお、パスワードを表示するにあたり、ユーザAは使用しようとしているカードと認識されたカードが一致しているかを確認するようにしてもよい。その場合は、個人情報表示装置1の表示部5にカード画像を表示し、実際に手に持っているカードと見比べ、一致しているかを確認する。確認方法としては音声でイヤホン8から伝えてもよい。また、ユーザが確認動作を煩雑と感じる場合はその動作を省略してもよい。一致している場合はマイク7を使って例えば「OK」とか、「合っている」とかを入力し、個人情報表示装置1に伝える。個人情報表示装置1は、マイクからの音声をコントローラ10に入力し、音声認識実行部12gで音声認識し、一致したかどうか判断する。或いは、ユーザAの指等によるジェスチャで、例えば、前方撮影カメラC2に撮影できる位置に、指で「OK」サイン表示し、それを画像認識で一致していると認識してもよい。一致しているか確認した場合は、カードに紐付けされたカードのパスワードを図4Eに示すように表示部5に表示させる。
このような動作を行うことにより、ユーザAはパスワードを忘れていたとしてもスムーズにパスワード入力を行うことができる。なお、上記ではパスワードを表示部5に表示させていたが、これに限ることは無く、例えば音声でイヤホン8から伝えてもよい。
このように、本実施例では、各種カードが特定できた時点で各種カードのパスワードを表示部5により表示させる。これにより、その表示に従ってユーザはパスワードの入力を行うことができる。従って、セキュリティの高い個人情報表示ができ、ユーザフレンドリーな個人情報表示装置を提供できる。
次に、ユーザAが例えばパソコンを使って各種アプリケーションプログラムの使用、ネットワーク利用等を行う場合の動作について説明する。
まず、各種アプリケーションプログラムの使用、ネットワーク利用等の各種サービス情報を登録する。この時、ユーザAは、図5Aに示すように、PC32を前方撮影カメラC2が撮影できる状態で作業を行っている。図5Bは、作業状態でユーザが実際に目にするイメージである。
前方撮影カメラC2で撮影された画像は解析され、認識されて、表示部5にパソコンの各種情報を表示する。撮影された画面上のパソコンの各種情報は、例えば図5Bに示すように各種サービスの種類、インプットが必要なIDとパスワードの入力を促す画面等を含んでいる。それらの情報は画像認識機能23を使って認識し、それぞれの情報を外部メモリ13に登録する。この際、登録された各種情報は暗号化されて登録する。上記情報は数字や文字等の情報として登録しても良いし、パソコン画面そのものを撮影し、画像として登録しても良い。これは後述するように、登録されたパソコン画面かどうかを判断させるために有効である。
次に各種サービスに必要なパスワードやID番号等の情報の登録であるが、これはユーザが音声でマイク7を経由してコントローラ10に入力し、音声認識実行部12hでデジタルデータ化し、上述の各種サービスの情報と紐付けした状態で外部メモリに暗号化して記録する。或いは、ユーザがそのサービス情報を使用する時にユーザAが例えばキーボード入力するその記号や数字、及びその入力する順番を前方撮影カメラC2で撮影し、画像認識してその入力された数字や記号を記憶する。その時、入力した数字や記号が正しいかどうかの判断のため、イヤホン8経由でユーザAに確認しても良い。或いは表示部5に入力した数字や記号を表示しても良い。ユーザAはそれが正しいかどうかを確認し、例えば正しければ「OK」等の音声をマイク7に入力すればよい。また、ログイン画面では、パスワードは登録時も使用時にもパソコン画面上に例えば●●●●等、マスクされて文字や数字として表示されないこともある。特に使用時にはパスワードを入力しても●●●●等としか表示されず、入力が正しいのか分からないケースがある。そこで、パスワードを登録する際には、入力したパスワードを表示部5を使って表示する。この方法としては、例えば、ユーザAがキーボード入力する時に前方撮影カメラC2を使って、ユーザAがインプットする文字や数字の順序を認識し、その順番に表示部5に表示させる。
図5Cは、登録時の、個人情報表示装置1の表示部5に文字認識したサービス名称511とユーザが入力したIDおよびパスワード500を表示したイメージ図である。
次に、各種サービスを利用する際のパスワードやID番号の入力方法について説明する。
図6Aは、各種サービスの利用時、個人情報表示装置1の表示部5に、文字認識したサービス名称511と既に登録済みのIDおよびパスワード500を表示したイメージ図である。また、図6Bは、図6Aにおける表示部5の拡大図であって、点線で示したPC32はグラスを通して直接見ている状態を示している。
ユーザAがPC32を用いてサービスを利用する場合、そのPC32の画面を前方撮影カメラC2が撮影可能な状態にして、図5Aと同様に、前方撮影カメラC2が、ユーザAが見ているPC32の画面を撮影し、画像マッチングを行い予め登録されているサービス情報の中から同じと認識されたサービスのサービス名称511を表示部5に表示させる。
ユーザAは表示部5に表示されているサービス名称511と実際に見ているパソコン画面とを見比べ、合致しているならばマイク7を使って例えば「OK」とか、「合っている」とかを入力し、個人情報表示装置1に伝える。個人情報表示装置1はマイクからの音声をコントローラ10に入力し、音声認識実行部12gで音声認識し、ユーザAが正しいと判断したことを確認したうえで、サービス情報に紐付けされたサービスのIDやパスワード500や必要に応じてその他情報を、図6Bに示すように、表示部5に表示させる。ユーザAはそのIDやパスワード500を確認した上でパソコンのキーボードからIDやパスワード入力を行う。この時、図5Bと同様に、ユーザAが入力した情報がパスワードの様に●●●●等、表示されない場合に、ユーザA自身が入力した情報を確認するために、IDおよびパスワード500の下部に入力された情報を表示しても良い。
上記ではIDやパスワードを表示部5に表示させていたが、これに限ることは無く、例えば音声でイヤホン8から伝えてもよい。
或いは、入力する場所を間違わないように、入力位置、或いは入力位置近傍にIDやパスワードを表示させて、ユーザAに何処にどの情報を入力させるかを示しても良い。例えば、図6Cに示すように、グラスを通して直接見ているPC32上のID入力欄に既に登録済みのID501を重畳して表示し、また、グラスを通して直接見ているPC32上のパスワード入力欄に既に登録済みのパスワード502を重畳して表示させてもよい。
また、ログイン画面のデザインが変更された時等、個人情報表示装置1に登録されている画面情報と、新しいデザインの画面とでマッチングが取れない場合には、当然個人情報表示装置1はマッチングできないと表示されるが、その場合にはユーザが明示的にサービスを入力・指定することも可能である。また、AI機能を駆使し、同様の会社名、サービス名であれば、多少のデザイン変更にも対応するシステムでも良い。
上記では各種カードや例えばパソコンを使った各種サービスについて、個人情報表示装置1の使い方について記載したが、例えば家や会社等の特定の場所への立ち入りの時、そのドアの開閉にセキュリティ確保のためにIDやパスワードの入力を要求されるケースもある。当然この場合に前方撮影カメラC2を使い、そのIDやパスワード入力を要求している状況を撮影して認識し、外部メモリ13より対応するIDやパスワードを表示部5に表示しても良いが、予め使用している場所を、位置センサ6を通じて位置情報として登録しておくことで、その登録位置情報と紐付けされたIDやパスワードを表示することも可能である。
また、上記の実施例ではユーザAに対し、個人情報表示装置1側から判断を要求された時に、ユーザAは音声やキーボード入力により判断結果を伝達していたが、これに限ることは無く、視点追跡機能と表示機能を使って判断させても良い。その一例を、図7A、7Bを用いて説明する。
図7Aは、図5Aと同様にユーザAが例えばパソコンを使って各種アプリケーションプログラムの使用、ネットワーク利用等の各種サービス情報を確認する場合の個人情報表示装置1の表示部5の表示例である。前方撮影カメラC2のフォーカスが合った時点で個人情報表示装置1はその撮影画面と外部メモリ13に登録されている情報の中から合致するものを呼び出し、ユーザAに確認を行う。この時、図7Aに示すように、ユーザAの視点700と確認用ウィンドウ710を表示部5に表示させる。確認用ウィンドウ710は、登録されている各種サービスの情報と、ユーザAが見ている画面とが同じかどうかの判断をさせるために、例えば「OK?」、「NG?」を表示させ、視点をその「OK?」、「NG?」の表示位置に動かすように指示をする表示欄である。図7Bに示すように、ユーザAは例えば「OK」と判断した場合には視点を「OK?」の表示位置に動かし、例えば個人情報表示装置1が「OK」と判断するまで視点を動かさずにいる。個人情報表示装置1は、例えば有る時間視点位置が動かなかった場合には「OK」とみなし、それに紐付けられたIDやパスワード情報を図5Cのように表示する。これにより、ユーザAは音声やキーボード入力等の外部入力なしで確認しながら適切なIDやパスワードの入力ができる。勿論、前述したようなジェスチャ等で確認を行っても良い。
次に、パスワード等の個人情報を登録、或いは表示する等の具体的な動作を、処理フロー図を用いて説明する。
図8は個人情報表示装置1内の登録時の処理フロー図である。図8において、まず、前提として、ユーザAは個人情報表示装置1に電源を入れる(図示せず)。この時、個人情報表示装置1の電源はユーザAが物理的にスイッチ等で行ってもよいし、個人情報表示装置1が装着された時に自動的にスイッチが入れられてもよい。電源供給と共に各機能に電源供給されると共に各種プログラムがロードされる。そして、ステップS100で、ユーザAが正しい位置に個人情報表示装置1を装着したかどうかの確認を行う。次にユーザAの虹彩撮影を行う(S101)。その後、ユーザAの個人情報の登録を行う(S102)。個人情報と虹彩情報は紐付けされ、暗号化されて外部メモリ13に登録する。個人情報の登録はマイク7とイヤホン8の音声入力でもよいし、表示部5に表示させ、通信部14経由で例えばキーボードで入力してもよい。
その後、IDやパスワードを登録したい各種カード&サービスの情報を登録するために、まず、各種カード&サービス名の表示を行なう(S103)。各種カード&サービスの情報は例えば銀行カードであれば銀行名や銀行番号、支店名や支店番号、口座の種類と口座番号などである。クレジットカードであればクレジット会社名、クレジット番号、有効期限、セキュリティーコード等の情報である。各種サービスはそのサービス名や登録されている個人番号などである。
そして、ステップS104で、ユーザは表示されたサービス名を確認し、登録したいサービスであるかを確認する。NGであればS103に戻り、OKであれば、各種カード&サービスの情報を登録し、ステップS105で、そのカードやサービスを使用するのに必要となるIDやパスワードを登録するために、それらを入力する。そして、ステップS106で、入力内容を確認し、NGであればS105に戻り、OKであれば、IDやパスワードを登録する。上記各種カード&サービス情報の登録と、それに紐付けられたパスワードやID番号の登録は、それぞれ暗号化され、外部メモリ13に保存される。そして、ステップS107で、他に登録したいカードやサービスがある場合にはS103に戻り、同様の登録作業を継続する。無い場合には終了処理S108を行い、終了する。終了処理には各種プログラムや機能の終了処理の他に、例えば画像認識における新たな学習による設定値登録等を行っても良い。上記S107において、ユーザAの行いたいことを判断する場合には、判断するために表示部5やイヤホン8を通じてユーザAに例えば「他の登録がありますか?」等の表示や音声を使って直接問いかける。ユーザAはその問いかけに対し、マイク7や通信部14経由で声やキーボード入力で応答する。
図9は個人情報表示装置1内の各種カードやサービスを利用したい場合の処理フロー図である。図9において、図8の登録時の処理フローと同様に、前提として、個人情報表示装置1の電源をONとすることで各種プログラムがロードされる。そして、ユーザAが正しい位置に個人情報表示装置1を装着したかどうかの確認を行う(S200)。次に、虹彩を撮影し、外部メモリ13に暗号化されて登録されているユーザAの登録された虹彩との認証を行う(S201)。ステップS202で本人であることが確認された場合には各種カード&サービスの認識に進み(S203)、本人確認できない場合には終了する。
S203の各種カード&サービスの認識では、ユーザAは、例えば各種カードの場合には前方撮影カメラC2を使ってカードの内容が読み取れる位置にユーザA自身が移動させ、認識技術を使ってカード情報を読み取る。そして、ステップS204で、認識された情報が登録済みか判断する。登録されていない場合、ステップS210に移行し、新規登録するかどうかをユーザが判断する。新規登録を指示した場合は登録処理を行い(S211)、終了する。新規登録しない場合はS203の認識待ち状態に戻る。
ステップS204で、認識された情報が登録済みの場合はステップS205に移行し、サービス名を表示する。そして、ステップS206で、サービスの確認を実施する設定かどうかを判断する。なお、この設定はユーザが予め行っておく。確認を実施する設定でない場合はステップS208でID/パスワードを表示し、表示したID/パスワードが正しかったかどうかをS209で判断し、正しくない場合は新規登録の判断ステップS210へ進み、正しい場合はS203の認識待ち状態に戻る。
ステップS206で、確認を実施する設定の場合は、S207で、サービス名の確認を行う。S207では、ユーザAに確認するために表示部5やイヤホン8を通じて画面表示や音声で伝える。ユーザAは正しいかどうかをマイク7や通信部14経由で声やキーボード入力で応答する。S207の確認後、上記各種カード&サービスに紐付けされたパスワードを表示する(S208)。この時、パスワードは表示部5に表示してもよいし、イヤホン8経由で、音声で伝達してもよい。なお、処理フローには記載していないが、この時、ユーザAがパスワードを入力する方法としてはPCに向かってキーボード入力、或いは銀行やコンビニエンスストアーに有るATM等で入力、或いは店舗でクレジットカード決済端末での入力となる。入力が正しいかどうかの判断は、個人情報入力装置1の前方撮影カメラC2で撮影し、画像認識技術を使って正しいかどうかの判断を行い、間違っていた場合にはイヤホン経由で、ブザーで知らせる。あるいは、表示部5に表示させてもよい。これにより、正しいパスワードで目的の動作が終了する。なお、目的の動作が終了したかどうかの判断も、前方撮影カメラC2で撮影し、画像認識技術で判断しても良いし、ユーザAに対し、表示部5やイヤホン8経由で終了したかどうかを聞いて判断しても良い。
また、上記、図8の処理フローでは説明を容易にするため、基本的な処理フローを記載しているが、これに限ることは無い。実際の処理フローでは、例えばS100の装着の確認、或いはS101の虹彩撮影において、装着や虹彩撮影が上手く出来なかった場合に予め設定するリトライ回数でユーザAの装着や虹彩撮影時のチェックを繰り返すこと、或いは、それでもユーザAの装着や虹彩撮影が出来なかった場合にはその旨を表示部5に表示させ、ユーザA自身に装着を正しく行わせることや、例えば虹彩撮影ではユーザAに表示部5の特定位置を見させるように「矢印の部分を見てください」等の表示を行って、正しく虹彩撮影ができるようにしても良い。同じく、S103の各種カード&サービス名登録やS105のID/パスワード入力でも、上手く出来なかった場合にはそれぞれ決定する、或いはリトライ回数を設定し、正しい登録を行わせても良い。その場合には上記同様表示部5を使い、上手く登録出来なかったことを表示し、ユーザAに再度登録を促すことをしても良い。同様に図9の処理フローの場合においても適度のリトライを行い、正しい使用を行わせても良い。
なお、上記の個人情報表示装置1はHMDの形状であれば誰からも見えることは無く、セキュリティは高い。また、装着状態であることを確認する手段を用いることにより、装着状態を条件にパスワードを表示して、装着が外れたことを確認したらパスワード表示をキャンセルさせてもよい。また、上記では虹彩の登録は最初のみに行っている例を示しているが、これに限ることは無く、定期的に虹彩登録を行っても良い。また、虹彩認証も一度だけ行うのではなく、例えばユーザが種々のカードにおけるパスワードを知りたい場合には、その都度虹彩認証を行っても良い。また、ユーザAの操作に時間が経った場合にはもう一度虹彩認証してパスワード表示させても良い。
また、上記では虹彩を使った個人認証であるが、例えばマイクを使った声紋認証でもよい。また、虹彩や各種カードや各種サービスの情報、それに紐付けされたパスワードやID情報は定期的に自動的に新しい暗号による暗号化を行い、外部メモリに保存しても良い。
また、上述の各種カード情報や各種サービス情報においてIDやパスワードを登録する際、ユーザAは予めパスワード管理ソフトに例えばキーボード入力や、個人情報表示装置1の前方撮影カメラC2を使ってカード認識させてカードのIDを入力し、パスワードを声やキーボード入力して認識させてもよい。
当然、このような装置が世の中に出回れば装置の中に個人情報が記録されているとの認識が生じるため、装置を盗み出して外部メモリの情報を吸い上げて情報を獲得することも想定される。従って、各種のパスワードは虹彩認証を行った時のみ解錠できるような仕組みを持ち、記録されたデータは暗号化された状態で記録する。正しい虹彩情報の場合に対応したキーが発行されるような状態にし、認証ごとに新しいキーが発行されて暗号化されて記録してもよい。この様にすることで、常に暗号化情報が同一のキーではないので例え情報が盗まれたとしてもそれぞれのサービスやカードに対応した暗号化されたパスワードは常に違うキーになっているため、よりセキュリティ的に高くなっている。
或いは、ユーザが盗まれていることを確認した時点で中身の情報を消去できるような仕組みを入れる。これは図2の通信手段によって行う。これには予め個人情報表示装置1の登録番号とパスワードにより、携帯電話より簡単に消去するものである。
或いはGPSを使った位置センサ6を利用し、GPS機能を使って盗まれたものがどこにあるかを確認して消去することも可能である。上記機能を使えば何時、何処で使われたことを知ることも可能である。また、装着や電源入力、或いは前方撮影カメラC2の動作により使われた各種カードや各種サービスの内容を確認することも可能である。
将来のサービスでは、これをユーザに貸し出し、使用回数でサービス料金を得る方法もある。
以上のように、本実施例では、個人情報表示装置には前面撮影カメラとユーザの虹彩撮影や視点追跡を行うための小型カメラが搭載されており、前方撮影カメラでユーザが保持しているキャッシュカードやクレジットカードを撮影し、対象のカードの種類や番号を画像認識技術により特定する。或いは前方撮影カメラでPC/タブレット/スマホなどのパスワード入力画面を撮影し、その後撮影画像の画像認識技術により入力しようとしているサービスを特定する。特定した後、HMD内のコントローラ、メモリよりカード情報や各種サービスと紐付けされて登録しているログインIDやパスワードをHMDの表示部よりユーザの視野内に表示する。個人認証を虹彩等の生体情報で行うことで、他の人が装着してもパスワードは表示されずセキュリティが保たれる。そして、パスワード入力画面に行くだけでログインIDやパスワードが視野内表示されるため、パスワードを間違うことがなく、且つ、セキュリティも十分保障される。
また、新規パスワード登録や定期的なパスワード変更時には同じく前方撮影カメラの文字認識技術等によりパスワード新規登録、或いは定期的なパスワード変更であることを認識し、ユーザがパスワード入力領域に入力した文字を認識し、自動的にHMD内のパスワードを新規登録/変更する。或いは、パスワード新規登録、或いは定期的なパスワード変更であることを指示するコマンドを音声、ジェスチャやメニューを通してHMDに対し与える。或いは視点追跡を利用し、ユーザがHMDの表示部に表示されている指示を視点で選ばせても良い。コマンドを使わない場合は、HMDから登録/変更する確認をユーザに出しても良い。
また、ユーザが個人情報表示装置の表示部の表示に従いパスワードを入力する際、入力文字が表示されないサービスでは、HMDの表示部にはユーザが入力したと認識した全入力文字を表示する。これにより入力内容が確認でき、2重入力が必要なサービスにおける入力間違い防止になる。
また、ユーザが何を見ているかを判断する目的で、小型カメラで視点検知を行い、これと前方撮影カメラで撮影された画像との位置関係からユーザAが見ているカード等の対象物を特定し、その画像解析よりカードの種類、ID番号を特定する。例えば銀行のキャッシュカードならば銀行名、口座番号等の情報を認識し、クレジットカードならばクレジット会社名、クレジットカード番号、有効期限、個人名等の情報を認識し、その情報に紐付けられたパスワードをHMD内の表示部に表示する。この時、当然ユーザAがHMDを装着していることを確認するために虹彩認証を行い、ユーザAであることを確認した後パスワードは表示する。
以上、本発明の実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。
A:ユーザ、1:個人情報表示装置、2:カメラ部、5:表示部、6:位置センサ、7:マイク、8:イヤホン、9:装着センサ、10:コントローラ、11:ROM、12:RAM、13:外部メモリ、14:通信部、21:撮影処理部、22:虹彩/視点検出&認識機能、23:画像認識機能、24:メモリ、31:カード、32:PC、C1:小型カメラ、C2:前方撮影カメラ

Claims (14)

  1. メガネ形状の表示部を持つ個人情報表示装置であって、
    個人の虹彩を撮影する第1のカメラと、外部情報を撮影する第2のカメラと、前記第1のカメラと第2のカメラから得られた撮影画像を処理する撮影処理部と情報入力部とコントローラを有し、
    前記第1のカメラで前記個人情報表示装置を装着している使用者の虹彩を撮影し、
    前記第2のカメラで各種カード又は各種サービスの情報を撮影し、
    前記撮影処理部は、前記撮影した虹彩から虹彩情報を取得し、前記撮影した各種カード又は各種サービスの情報から各種カード又は各種サービスの認識情報を取得し、
    前記コントローラは、前記虹彩情報を登録するとともに、前記各種カード又は各種サービスの認識情報に紐付けされたID及びパスワードの少なくとも一方を前記情報入力部により入力させて登録することを特徴とする個人情報表示装置。
  2. 請求項1に記載の個人情報表示装置において、
    前記コントローラは、前記虹彩情報と予め登録されている虹彩との照合を行い、その照合結果が正しいと判断された場合にのみ、前記第2のカメラで撮影された各種カード又は各種サービスの認識情報が、予め登録されている認識情報合致している場合に、該各種カード又は各種サービスに紐付けされたID又はパスワードの少なくとも一方を前記表示部に表示することを特徴とする個人情報表示装置。
  3. 請求項1に記載の個人情報表示装置において、
    前記第2のカメラはID又はパスワードの少なくとも一方を使用者が入力している画面を撮影し、
    前記撮影処理部は前記撮影した画面から入力している文字及び数字の少なくとも一方を認識し、
    前記コントローラは前記認識した文字及び数字の少なくとも一方を前記ID又はパスワードの少なくとも一方として登録することを特徴とする個人情報表示装置。
  4. 請求項1に記載の個人情報表示装置において、
    前記コントローラは、前記各種カード又は各種サービスの認識情報に紐付けされたID又はパスワードの少なくとも一方を前記情報入力部により入力させて登録する際に、前記各種カード又は各種サービスの認識情報を前記表示部に表示させ、該表示部に表示された情報が正しいかどうかの判断を使用者にさせ、正しい場合に、前記ID又はパスワードの少なくとも一方を前記情報入力部により使用者に入力させ、該入力した前記ID又はパスワードの少なくとも一方を登録することを特徴とする個人情報表示装置。
  5. 請求項4に記載の個人情報表示装置において、
    前記コントローラは、前記表示部に表示された情報が正しいかどうかの判断を使用者の音声で行うことを特徴とする個人情報表示装置。
  6. 請求項4に記載の個人情報表示装置において、
    前記コントローラは、前記表示部に表示された情報が正しいかどうかの判断を使用者のジェスチャで行うことを特徴とする個人情報表示装置。
  7. 請求項4に記載の個人情報表示装置において、
    前記第1のカメラは使用者の視点を追跡する機能を有し、
    前記コントローラは、前記視点を前記表示部に表示させ、前記表示部に表示された情報が正しいかどうかの判断を使用者の視点の動きで行うことを特徴とする個人情報表示装置。
  8. メガネ形状の表示部を持つ個人情報表示装置のコントローラで実施される処理方法であって、
    前記個人情報表示装置を装着している使用者の虹彩を撮影し、該撮影した虹彩から虹彩情報を取得し、
    各種カード又は各種サービスの情報を撮影し、該撮影した各種カード又は各種サービスの情報から各種カード又は各種サービスの認識情報を取得し、
    前記虹彩情報を登録するとともに、前記各種カード又は各種サービスの認識情報に紐付けされたID又はパスワードの少なくとも一方入力させて登録することを特徴とする個人情報表示装置の処理方法。
  9. 請求項8に記載の個人情報表示装置の処理方法において、
    前記虹彩情報と予め登録されている虹彩との照合を行い、その照合結果が正しいと判断された場合にのみ、前記撮影された各種カード又は各種サービスの認識情報が、予め登録されている認識情報合致している場合に、該各種カード又は各種サービスに紐付けされたID又はパスワードの少なくとも一方前記表示部に表示することを特徴とする個人情報表示装置の処理方法。
  10. 請求項8記載の個人情報表示装置の処理方法において、
    前記ID又はパスワードの少なくとも一方使用者が入力している画面を撮影し、
    前記撮影した画面から入力している文字及び数字の少なくとも一方を認識し、
    前記認識した文字及び数字の少なくとも一方を前記ID又はパスワードの少なくとも一方として登録することを特徴とする個人情報表示装置の処理方法。
  11. 請求項8に記載の個人情報表示装置の処理方法において、
    前記各種カード又は各種サービスの認識情報に紐付けされたID又はパスワードの少なくとも一方入力させて登録する際に、前記各種カード又は各種サービスの認識情報を前記表示部に表示させ、該表示された情報が正しいかどうかの判断を使用者にさせ、正しい場合に、前記ID又はパスワードの少なくとも一方使用者に入力させ、該入力した前記ID又はパスワードの少なくとも一方を登録することを特徴とする個人情報表示装置の処理方法。
  12. 請求項11に記載の個人情報表示装置の処理方法において、
    前記表示された情報が正しいかどうかの判断を使用者の音声で行うことを特徴とする個人情報表示装置の処理方法。
  13. 請求項11に記載の個人情報表示装置の処理方法において、
    前記表示された情報が正しいかどうかの判断を使用者のジェスチャで行うことを特徴とする個人情報表示装置の処理方法。
  14. 請求項11に記載の個人情報表示装置の処理方法において、
    前記表示された情報が正しいかどうかの判断を視点追跡を利用した使用者の視点の動きで行うことを特徴とする個人情報表示装置の処理方法。
JP2021521665A 2019-05-29 2019-05-29 個人情報表示装置及びその処理方法 Active JP7279159B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023077807A JP7543482B2 (ja) 2019-05-29 2023-05-10 個人情報表示装置及びその処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/021418 WO2020240747A1 (ja) 2019-05-29 2019-05-29 個人情報表示装置及びその処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023077807A Division JP7543482B2 (ja) 2019-05-29 2023-05-10 個人情報表示装置及びその処理方法

Publications (2)

Publication Number Publication Date
JPWO2020240747A1 JPWO2020240747A1 (ja) 2020-12-03
JP7279159B2 true JP7279159B2 (ja) 2023-05-22

Family

ID=73553121

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021521665A Active JP7279159B2 (ja) 2019-05-29 2019-05-29 個人情報表示装置及びその処理方法
JP2023077807A Active JP7543482B2 (ja) 2019-05-29 2023-05-10 個人情報表示装置及びその処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023077807A Active JP7543482B2 (ja) 2019-05-29 2023-05-10 個人情報表示装置及びその処理方法

Country Status (4)

Country Link
US (1) US20220222971A1 (ja)
JP (2) JP7279159B2 (ja)
CN (1) CN113994335A (ja)
WO (1) WO2020240747A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006393A (ja) 2005-06-27 2007-01-11 Institute Of Physical & Chemical Research 情報提示システム
US20140337634A1 (en) 2013-05-08 2014-11-13 Google Inc. Biometric Authentication Substitute For Passwords On A Wearable Computing Device
JP2016506530A (ja) 2012-11-20 2016-03-03 マイクロソフト テクノロジー ライセンシング,エルエルシー ヘッドマウントディスプレイ、およびこれを制御する方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645709B2 (en) * 2006-11-14 2014-02-04 Cfph, Llc Biometric access data encryption
US9411944B2 (en) * 2006-11-15 2016-08-09 Cfph, Llc Biometric access sensitivity
US20120194551A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20120194418A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user action control and event input based control of eyepiece application
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8988350B2 (en) * 2011-08-20 2015-03-24 Buckyball Mobile, Inc Method and system of user authentication with bioresponse data
KR101160681B1 (ko) * 2011-10-19 2012-06-28 배경덕 이동 통신 단말기의 활성화 시에 특정 동작이 수행되도록 하기 위한 방법, 이동 통신 단말기 및 컴퓨터 판독 가능 기록 매체
EP2624180A1 (en) * 2012-02-06 2013-08-07 Xabier Uribe-Etxebarria Jimenez System of integrating remote third party services
US9130929B2 (en) * 2013-03-15 2015-09-08 Aol Inc. Systems and methods for using imaging to authenticate online users
JP6231398B2 (ja) * 2014-02-14 2017-11-15 株式会社Nttドコモ 近距離通信デバイス、機能制御方法及び機能制御システム
CN104065817A (zh) * 2014-06-16 2014-09-24 惠州Tcl移动通信有限公司 一种基于虹膜识别的移动终端身份认证处理方法及系统
US9791936B1 (en) * 2016-05-03 2017-10-17 Aram Kavach Audio and motion-based control of a personalized smart appliance, media, and methods of use
JP2017228118A (ja) 2016-06-23 2017-12-28 富士通株式会社 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法
KR20180013151A (ko) * 2016-07-28 2018-02-07 엘지전자 주식회사 이동 단말기
AU2018237688B2 (en) * 2017-03-24 2022-08-25 Magic Leap, Inc. Accumulation and confidence assignment of iris codes
CN116841395A (zh) * 2017-06-06 2023-10-03 麦克赛尔株式会社 混合现实显示终端
US10345902B1 (en) * 2018-04-24 2019-07-09 Dell Products, Lp Method and apparatus for maintaining a secure head-mounted display session

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006393A (ja) 2005-06-27 2007-01-11 Institute Of Physical & Chemical Research 情報提示システム
JP2016506530A (ja) 2012-11-20 2016-03-03 マイクロソフト テクノロジー ライセンシング,エルエルシー ヘッドマウントディスプレイ、およびこれを制御する方法
US20140337634A1 (en) 2013-05-08 2014-11-13 Google Inc. Biometric Authentication Substitute For Passwords On A Wearable Computing Device

Also Published As

Publication number Publication date
US20220222971A1 (en) 2022-07-14
CN113994335A (zh) 2022-01-28
JP2023104944A (ja) 2023-07-28
WO2020240747A1 (ja) 2020-12-03
JPWO2020240747A1 (ja) 2020-12-03
JP7543482B2 (ja) 2024-09-02

Similar Documents

Publication Publication Date Title
US11783018B2 (en) Biometric authentication
KR100952540B1 (ko) 통신 장치, 통신 시스템
CN101960493B (zh) 用于移动装置的生物统计智能卡
US20070009139A1 (en) Facial recognition device for a handheld electronic device and a method of using the same
JP6840568B2 (ja) 認証システムおよび認証方法
KR20160006587A (ko) 홍채 인식을 이용한 도어록과 그 시스템 및 그에 사용되는 이동통신단말기와 네트워크 게이트웨이 및 사용자 인증 방법
JP7023139B2 (ja) 解錠システム、解錠装置、解錠方法、端末装置及びプログラム
JP2010246132A (ja) 携帯端末装置
KR101795556B1 (ko) 얼굴 인식과 얼굴 모션 패턴 인식을 통한 개인 인증 방법 및 장치
KR101916250B1 (ko) 홍채 인식을 이용한 도어록 시스템
KR101576557B1 (ko) 모바일 단말기용 지문인식 해킹방지 장치 및 지문 해킹방지용 표면부재와 그 지문해킹 방지방법
JP6707702B1 (ja) ユーザ認証装置及びプログラム
JP6399605B2 (ja) 認証装置、認証方法及びプログラム
JP2006227766A (ja) 複数の生体認証デバイス受付を可能とする取引システム、携帯端末、取引端末
JP2005063342A (ja) カード使用者確認システム、カード使用者確認方法及びそのプログラム
JP5145179B2 (ja) 光学式読取りコードを用いた本人確認システム
WO2013182131A1 (zh) 一种配置方法、配置装置及电子设备
JP4089294B2 (ja) 個人認証システム及び個人認証用端末装置
US11928199B2 (en) Authentication system, authentication device, authentication method and program
JP7279159B2 (ja) 個人情報表示装置及びその処理方法
JP4811873B2 (ja) 認証装置
JP2009026291A (ja) 身分照会システム
TWI771819B (zh) 認證系統、認證裝置、認證方法、及程式產品
JP7184870B2 (ja) 携帯情報端末及びその制御方法
JP2024020778A (ja) 電子機器、カード発行設備、カードシステム、認証情報処理方法、および、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230510

R150 Certificate of patent or registration of utility model

Ref document number: 7279159

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150