JP7828698B2 - スマートレンズ／拡張メガネにおける反復的なメモリマッピング操作 - Google Patents

スマートレンズ／拡張メガネにおける反復的なメモリマッピング操作

Info

Publication number
JP7828698B2
JP7828698B2 JP2023514494A JP2023514494A JP7828698B2 JP 7828698 B2 JP7828698 B2 JP 7828698B2 JP 2023514494 A JP2023514494 A JP 2023514494A JP 2023514494 A JP2023514494 A JP 2023514494A JP 7828698 B2 JP7828698 B2 JP 7828698B2
Authority
JP
Japan
Prior art keywords
user
attention
processor
memory
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023514494A
Other languages
English (en)
Other versions
JP2023547023A (ja
Inventor
クワトラ、シカール
フォックス、ジェレミー
ラクシット、サルバジット
ウィルソン、ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2023547023A publication Critical patent/JP2023547023A/ja
Application granted granted Critical
Publication of JP7828698B2 publication Critical patent/JP7828698B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/13—Digital output to plotter ; Cooperation and interconnection of the plotter with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/40—Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Environmental & Geological Engineering (AREA)
  • Toxicology (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、一般にコンピューティングの分野に関するものであり、より詳細には視覚ベースの技術に関するものである。
スマートコンタクトレンズは、ユーザの周囲のビデオ映像を撮影する機能を有していてもよい。例えば、特定の目の事象に基づいて、スマートコンタクトレンズは、ビデオ映像の撮影および格納を開始することができる。同時に、ユーザは、ユーザ自身の周囲に対して注意散漫もしくは一般的に不注意またはその両方（例えば、ストレス、うわの空など）である可能性がある。これは、ユーザが周囲を見たにもかかわらず、特定の事象を思い出さない可能性がある（例えば、紹介などの鋭く集中する瞬間、異常な事象が発生した瞬間、割り込まれた瞬間、もしくは長すぎて読んだ後に覚えていないテキストがオンライン通信やメディア画面上に表示された瞬間、またはその組み合わせを含むがこれに限らない、ユーザが見たものもしくは目撃したものまたはその両方を思い出さないかもしれない）ことを意味し得る。
本発明の実施形態は、メモリマッピングのための方法、コンピュータシステム、およびコンピュータプログラム製品を開示する。本発明は、拡張現実デバイスと、少なくとも１つの生体認証パラメータを観察する少なくとも１つのモノのインターネット（ＩｏＴ）デバイスとを特定することを含んでよい。本発明は、少なくとも１つの生体認証パラメータに基づいて、少なくとも１つのユーザの注意パターンを定義することを含んでよい。本発明は、少なくとも１つの注意パターンに基づいて、ユーザの注意力を予測することを含んでよい。本発明は、ユーザの注意力が特定のポイントを下回ったことに基づいて、拡張現実デバイスからデータを記録することを含んでよい。本発明は、記録されたデータを格納することを含んでよい。
第１の態様から見て、本発明は、メモリマッピングのための方法を提供し、本方法は、拡張現実デバイスと、少なくとも１つの生体認証パラメータを観察する少なくとも１つのモノのインターネット（ＩｏＴ）デバイスとを特定することと、前記少なくとも１つの生体認証パラメータに基づいて、少なくとも１つのユーザの注意パターンを定義することと、前記少なくとも１つの注意パターンに基づいて、ユーザの注意力を予測することと、前記ユーザの前記注意力が特定のポイントを下回ったことに基づいて、前記拡張現実デバイスからデータを記録することと、前記記録されたデータを格納することと、を含む。
好ましくは、本発明は、前記拡張現実デバイスが、スマートコンタクトレンズと、スマート眼鏡と、ヘッドマウントディスプレイと、からなる群から選択される方法を提供する。
好ましくは、本発明は、前記少なくとも１つの注意パターンに基づいて、前記ユーザの前記注意力を予測することが、オートエンコーダを介して前記ユーザの注意パターンを予測するために、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを配備することをさらに含む方法を提供する。
好ましくは、本発明は、少なくとも１つの生体認証パラメータに基づいてユーザの周囲のコンテキストを判断するために、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを用いた主成分分析（ＰＣＡ）を使用することをさらに含む方法を提供する。
好ましくは、本発明は、前記少なくとも１つの注意パターンに基づいて前記ユーザの前記注意力を予測することが、前記ユーザが不注意であると判断することと、近くのユーザの前記拡張現実デバイスを作動させることと、をさらに含む方法を提供する。
好ましくは、本発明は、前記ユーザの前記注意力が前記特定のポイントを下回ったことに基づいて、前記拡張現実デバイスからデータを記録することが、前記ユーザのベースラインプロファイルからの前記ユーザの前記注意力の偏差を計算することをさらに含む方法を提供する。
好ましくは、本発明は、前記記録されたデータを格納することが、前記記録されたデータを接続されたデータベースに格納することと、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを再トレーニングすることと、をさらに含む方法を提供する。
第２の態様から見て、本発明は、メモリマッピングのためのコンピュータシステムを提供し、前記コンピュータシステムは、１または複数のプロセッサと、１または複数のコンピュータ可読メモリと、１または複数のコンピュータ可読有形記憶媒体と、前記１または複数のプロセッサの少なくとも１つによって前記１または複数のメモリの少なくとも１つを介して実行されるように前記１または複数の有形記憶媒体の少なくとも１つに格納されたプログラム命令と、を含み、前記コンピュータシステムは、拡張現実デバイスと、少なくとも１つの生体認証パラメータを観察する少なくとも１つのモノのインターネット（ＩｏＴ）デバイスとを特定することと、前記少なくとも１つの生体認証パラメータに基づいて、少なくとも１つのユーザの注意パターンを定義することと、前記少なくとも１つの注意パターンに基づいて、ユーザの注意力を予測することと、前記ユーザの前記注意力が特定のポイントを下回ったことに基づいて、前記拡張現実デバイスからデータを記録することと、前記記録されたデータを格納することと、を含む方法を実行可能である。
好ましくは、本発明は、前記拡張現実デバイスが、スマートコンタクトレンズと、スマート眼鏡と、ヘッドマウントディスプレイと、からなる群から選択されるコンピュータシステムを提供する。
好ましくは、本発明は、前記少なくとも１つの注意パターンに基づいて、前記ユーザの前記注意力を予測することが、オートエンコーダを介して前記ユーザの注意パターンを予測するために、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを配備することをさらに含むコンピュータシステムを提供する。
好ましくは、本発明は、少なくとも１つの生体認証パラメータに基づいてユーザの周囲のコンテキストを判断するために、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを用いた主成分分析（ＰＣＡ）を使用することをさらに含むコンピュータシステムを提供する。
好ましくは、本発明は、前記少なくとも１つの注意パターンに基づいて前記ユーザの前記注意力を予測することが、前記ユーザが不注意であると判断することと、近くのユーザの前記拡張現実デバイスを作動させることと、をさらに含むコンピュータシステムを提供する。
好ましくは、本発明は、前記ユーザの前記注意力が前記特定のポイントを下回ったことに基づいて、前記拡張現実デバイスからデータを記録することが、前記ユーザのベースラインプロファイルからの前記ユーザの前記注意力の偏差を計算することをさらに含むコンピュータシステムを提供する。
好ましくは、本発明は、前記記録されたデータを格納することが、前記記録されたデータを接続されたデータベースに格納することと、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを再トレーニングすることと、さらに含むコンピュータシステムを提供する。
別の態様から見ると、本発明は、メモリマッピングのためのコンピュータプログラム製品であって、１または複数の非一時的なコンピュータ可読記憶媒体と、前記１または複数の有形記憶媒体の少なくとも１つに格納されたプログラム命令と、を含み、前記プログラム命令は、プロセッサによって実行可能であり、前記プロセッサに、拡張現実デバイスと、少なくとも１つの生体認証パラメータを観察する少なくとも１つのモノのインターネット（ＩｏＴ）デバイスとを特定することと、前記少なくとも１つの生体認証パラメータに基づいて、少なくとも１つのユーザの注意パターンを定義することと、前記少なくとも１つの注意パターンに基づいて、ユーザの注意力を予測することと、前記ユーザの前記注意力が特定のポイントを下回ったことに基づいて、前記拡張現実デバイスからデータを記録することと、前記記録されたデータを格納することと、を含む方法を実行させる、コンピュータプログラム製品を提供する。
好ましくは、本発明は、前記拡張現実デバイスが、スマートコンタクトレンズと、スマート眼鏡と、ヘッドマウントディスプレイと、からなる群から選択されるコンピュータプログラム製品を提供する。
好ましくは、本発明は、前記少なくとも１つの注意パターンに基づいて、前記ユーザの前記注意力を予測することが、オートエンコーダを介して前記ユーザの注意パターンを予測するために、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを配備することをさらに含むコンピュータプログラム製品を提供する。
好ましくは、本発明は、少なくとも１つの生体認証パラメータに基づいてユーザの周囲のコンテキストを判断するために、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを用いた主成分分析（ＰＣＡ）を使用することをさらに含むコンピュータプログラム製品を提供する。
好ましくは、本発明は、前記少なくとも１つの注意パターンに基づいて前記ユーザの前記注意力を予測することが、前記ユーザが不注意であると判断することと、近くのユーザの前記拡張現実デバイスを作動させることと、をさらに含むコンピュータプログラム製品を提供する。
好ましくは、本発明は、前記ユーザの前記注意力が前記特定のポイントを下回ったことに基づいて、前記拡張現実デバイスからデータを記録することが、前記ユーザのベースラインプロファイルからの前記ユーザの前記注意力の偏差を計算することをさらに含むコンピュータプログラム製品を提供する。
好ましくは、本発明は、メモリマッピングのための方法であって、前記方法は、ユーザの不注意を予測することと、近くのユーザを特定することと、前記予測された前記ユーザの不注意に基づいて、前記近くのユーザの拡張現実デバイスによって観察された複数のデータを記録することと、を含む方法を提供する。
好ましくは、本発明は、前記ユーザの前記不注意を予測することが、オートエンコーダを介して前記ユーザの注意パターンを予測するために、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを配備することであって、主成分分析（ＰＣＡ）は、少なくとも１つの生体認証パラメータに基づいて前記ユーザの周囲のコンテキストを判断するために、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルと共に配備される、配備することをさらに含む方法を提供する。
好ましくは、本発明は、拡張現実デバイスによって記録をトリガするための方法であって、前記方法は、機械学習アルゴリズムによって、前記拡張現実デバイスのユーザの不注意を予測することに基づいて、前記拡張現実デバイスが記録を開始すべきであると判断することであって、前記拡張現実デバイスの前記ユーザの前記予測された不注意は、目の事象に基づく、判断することを含む方法を提供する。
好ましくは、本発明は、前記拡張現実デバイスがスマートコンタクトレンズである、方法を提供する。
好ましくは、本発明は、前記機械学習アルゴリズムが、主成分分析（ＰＣＡ）を用いた長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルである、方法を提供する。
本発明の上記および他の目的、特徴および利点は、以下に詳述する本発明の例示的な実施形態において明らかにされる。これらの実施形態は、添付の図面を参照して読むものとする。なお、図示の内容は、詳細な説明と併せて当業者による本発明の理解を促進すべく分かりやすくしているため、図面における種々の特徴は縮尺通りではない。
少なくとも１つの実施形態による、ネットワーク化されたコンピュータ環境を示す図である。 少なくとも１つの実施形態による、メモリマッピングのための処理を示す動作フローチャートである。 少なくとも１つの実施形態による、図１に描かれたコンピュータおよびサーバの内部および外部コンポーネントのブロック図である。 本開示の一実施形態による、図１に描かれたコンピュータシステムを含む例示的なクラウドコンピューティング環境のブロック図である。 本開示の一実施形態による、図４の例示的なクラウドコンピューティング環境の機能レイヤのブロック図である。
クレームされた構造および方法の詳細な実施形態を本明細書に開示する。しかしながら、開示された実施形態は、様々な形態で実施することができる特許請求の範囲に記載された構造および方法の単なる例示であることが理解できる。しかしながら、本発明は、多くの異なる形態で実施することができ、本明細書に記載される例示的な実施形態に限定されるものと解釈されるべきではない。むしろ、これらの例示的な実施形態は、本開示が完全かつ完璧であり、本発明の範囲を当業者に完全に伝えるように提供される。説明において、周知の特徴および技術の詳細は、提示された実施形態を不必要に不明瞭にすることを避けるために省略され得る。
本発明は、統合の可能な技術的詳細レベルにおけるシステム、方法もしくはコンピュータプログラム製品またはそれらの組み合せとすることができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を記憶したコンピュータ可読記憶媒体を含んでよい。
コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し、記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、一例として、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置またはこれらの適切な組み合わせであってよい。コンピュータ可読記憶媒体のより具体的な一例としては、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（またはフラッシュメモリ）、ＳＲＡＭ、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、フロッピーディスク、パンチカードまたは溝内の隆起構造などに命令を記録した機械的に符号化された装置、およびこれらの適切な組み合せが挙げられる。本明細書で使用されるコンピュータ可読記憶装置は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号のような、一過性の信号それ自体として解釈されるべきではない。
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置に、または、ネットワーク（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくはワイヤレスネットワークネットワークまたはその組み合わせ）を介して外部コンピュータまたは外部記憶装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバー、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバーまたはその組み合わせで構成される。各コンピューティング／処理装置のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、統合回路のための構成データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであってよい。コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、完全にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で実行可能である。あるいは、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバ上で実行可能である。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され、または（例えば、インターネットサービスプロバイダーを使用したインターネット経由で）外部コンピュータに接続されてよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用してパーソナライズすることにより、コンピュータ可読プログラム命令を実行することができる。
本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図もしくはブロック図またはその両方を参照して本明細書に記載されている。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令がフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／動作を実装するための手段を生成するように、機械を生成するために汎用コンピュータ、専用コンピュータのプロセッサまたは他のプログラム可能なデータ処理装置に提供されることができる。
これらのコンピュータ可読プログラム命令はまた、フローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／行為の態様を実装する命令を含む生成品の１つを命令が記憶されたコンピュータ可読プログラム命令が構成するように、コンピュータ、プログラム可能なデータ処理装置、もしくは特定の方法で機能する他のデバイスまたはその組み合わせに接続可能なコンピュータ可読記憶媒体の中に記憶されることができる。
コンピュータ、他のプログラム可能な装置、または他のデバイス上でフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／行為を実行する命令のように、コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能な装置、または他のデバイスにロードされ、コンピュータ、他のプログラム可能な装置、または他のデバイス上で一連の操作ステップを実行し、コンピュータ実装された過程を生成することができる。
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品が実行可能な実装の構成、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表してよく、これは、指定された論理機能を実装するための１つまたは複数の実行可能命令を構成する。いくつかの代替の実施形態では、ブロックに示されている機能は、図に示されている順序とは異なる場合がある。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行されるか、またはブロックは、関係する機能に応じて逆の順序で実行される場合がある。ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方のブロックの組み合わせは、指定された機能または動作を実行する、または特別な目的のハードウェアとコンピュータ命令の組み合わせを実行する特別な目的のハードウェアベースのシステムによって実装できることにも留意されたい。
以下に説明する例示的な実施形態は、メモリマッピングのためのシステム、方法、およびプログラム製品を提供する。このように、本実施形態は、拡張現実デバイス（例えば、スマートコンタクトレンズ、スマート眼鏡、またはヘッドマウントディスプレイ）によって収集された視覚データを記録および格納し、ユーザにとって価値があるとみなされ得る情報を判断するために、収集されたデータを連続的にプルーニングすることによって、拡張現実デバイスの技術分野を改善する能力を有している。より具体的には、本発明は、拡張現実デバイスと、少なくとも１つの生体認証パラメータを観察する少なくとも１つのモノのインターネット（ＩｏＴ）デバイスとを特定することを含んでよい。本発明は、少なくとも１つの生体認証パラメータに基づいて、少なくとも１つのユーザの注意パターンを定義することを含んでよい。本発明は、少なくとも１つの注意パターンに基づいて、ユーザの注意力を予測することを含んでよい。本発明は、ユーザの注意力が特定のポイントを下回ったことに基づいて、拡張現実デバイスからデータを記録することを含んでよい。本発明は、記録されたデータを格納することを含んでよい。
先に説明したように、スマートコンタクトレンズは、ユーザの周囲のビデオ映像を撮影する機能を有していてもよい。例えば、特定の目の事象（例えば、上を見る、下を見る、左を見る、右を見る、目を回す、特定の順序で瞬きする、目を閉じる、目を大きく開ける、その他の目の事象など）に基づいて、スマートコンタクトレンズは、ビデオ映像の撮影および格納を開始することができる。同時に、ユーザは、ユーザ自身の周囲に対して注意散漫もしくは一般的に不注意またはその両方（例えば、ストレス、うわの空など）である可能性がある。これは、ユーザが周囲を見たにもかかわらず、特定の事象を思い出さない可能性がある（例えば、紹介などの鋭く集中する瞬間、異常な事象が発生した瞬間、割り込まれた瞬間、もしくは長すぎて読んだ後に覚えていないテキストがオンライン通信やメディア画面上に表示された瞬間、またはその組み合わせを含むがこれに限らない、ユーザが見たものもしくは目撃したものまたはその両方を思い出さないかもしれない）ことを意味し得る。
したがって、特に、ユーザの短期記憶能力もしくは物忘れのパターンまたはその両方を検出することができる手段を提供することによって、そのような記憶制約シナリオに対処することが有利である場合があり、それに応じて、スマートコンタクトレンズもしくは拡張眼鏡またはその両方は、ユーザの周囲を描写するビデオを自動的に撮影することができる。
少なくとも１つの実施形態によれば、スマートストレージ管理機構は、スマートレンズ（すなわち、スマートコンタクトレンズ）、スマート眼鏡（すなわち、拡張眼鏡、拡張現実眼鏡）、ヘッドマウントディスプレイ、もしくは別の拡張現実ガジェット、またはその組み合わせに埋め込まれてもよい。スマートストレージ管理機構は、将来の参照に使用され得るユーザの撮影映像に関連する任意の属性を含む、口頭、テキスト、もしくは視覚、またはその組み合わせのデータを選択的かつ動的に格納、ラベル付け、もしくはインデックス付け、またはその組み合わせを行うレベルを教示するために、構成可能な学習ツールを採用してもよい。
少なくとも１つの実施形態によれば、スマートストレージ管理機構は、反復トレーニングを用いた選択的特徴の連続的なプルーニングを含んでよく、これは、ユーザにとって価値があると考えられる場合があり、後の使用もしくは参照またはその両方に望まれ得る情報のレベルを決定するために、ユーザの好み（例えば、プログラムで構成されたもの）、およびユーザの学習した行動を考慮することができる。
少なくとも１つの実施形態によれば、スマートストレージ管理機構は、単一のユーザだけでなく、ユーザのグループに対してデバイスの記録機能をトリガしてもよく、機械学習を使用して、デバイスを記録のためにトリガするタイミングを学習してもよい。
少なくとも１つの実施形態によれば、スマートストレージ管理機構は、地理的な近さおよびユーザの場所の物忘れに基づく事象、時間帯（例えば、ユーザが過度に疲れているとき）、もしくはユーザの注意を保証する多数の活動があるシナリオ、またはその組み合わせを含むがこれらに限らない、時間的事象の保持を支援することができる。
図１を参照すると、一実施形態による、例示的なネットワーク化されたコンピュータ環境１００が描かれている。ネットワーク化されたコンピュータ環境１００は、ソフトウェアプログラム１０８およびメモリマッピングプログラム１１０ａを実行することが可能なプロセッサ１０４およびデータ記憶装置１０６を有するコンピュータ１０２を含んでもよい。ネットワークコンピュータ環境１００は、データベース１１４および通信ネットワーク１１６と相互作用し得るメモリマッピングプログラム１１０ｂを実行することが可能なサーバ１１２を含んでもよい。ネットワーク化されたコンピュータ環境１００は、複数のコンピュータ１０２およびサーバ１１２を含んでもよく、そのうちの１つだけが図示されている。通信ネットワーク１１６は、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、通信ネットワーク、無線ネットワーク、公衆交換網もしくは衛星ネットワークまたはその組み合わせなど、様々なタイプの通信ネットワークを含んでもよい。拡張現実（ＡＲ）デバイス１１８およびモノのインターネット（ＩｏＴ）デバイス１２０は、それ自体の別個のエンティティとして示されるように描かれているが、コンピュータネットワーク環境の別の部分に統合されてもよい。図１は、１つの実装の例示のみを提供し、異なる実施形態が実装され得る環境に関していかなる制限も示唆しないことを理解されたい。図示された環境に対する多くの修正が、設計および実装要件に基づいて行われ得る。
クライアントコンピュータ１０２は、通信ネットワーク１１６を介してサーバコンピュータ１１２と通信してもよい。通信ネットワーク１１６は、有線、無線通信リンク、または光ファイバーケーブルなどの接続を含んでもよい。図３を参照して説明するように、サーバコンピュータ１１２は、内部コンポーネント９０２ａおよび外部コンポーネント９０４ａをそれぞれ含んでもよく、クライアントコンピュータ１０２は、内部コンポーネント９０２ｂおよび外部コンポーネント９０４ｂをそれぞれ含んでもよい。サーバコンピュータ１１２はまた、サービスとしてのソフトウェア（ＳａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、サービスとしてのインフラストラクチャ（ＩａａＳ）などのクラウドコンピューティングサービスモデルで動作していてもよい。サーバ１１２はまた、プライベートクラウド、コミュニティクラウド、パブリッククラウド、またはハイブリッドクラウドなどのクラウドコンピューティング展開モデルにおいて配置されてもよい。クライアントコンピュータ１０２は、例えば、モバイルデバイス、電話、パーソナルデジタルアシスタント、ネットブック、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、またはプログラムを実行し、ネットワークにアクセスし、データベース１１４にアクセスすることができる任意のタイプのコンピューティングデバイスであってよい。本実施形態の様々な実装によれば、メモリマッピングプログラム１１０ａ、１１０ｂは、コンピュータ／モバイルデバイス１０２、ネットワーク化されたサーバ１１２、またはクラウドストレージサービスなどこれらに限定されない様々なストレージデバイスに組み込まれてもよいデータベース１１４と相互作用してもよい。
本実施形態によれば、クライアントコンピュータ１０２またはサーバコンピュータ１１２を使用するユーザは、メモリマッピングプログラム１１０ａ、１１０ｂ（それぞれ）を使用して、拡張現実デバイス（例えば、スマートコンタクトレンズ、スマート眼鏡、またはヘッドマウントディスプレイ）によって収集された視覚データを記録および格納し、ユーザにとって価値があるとみなされ得る情報を判断するために、収集されたデータを連続的にプルーニングすることができる。メモリマッピング方法は、図２に関して以下でより詳細に説明される。
ここで、図２を参照すると、少なくとも１つの実施形態による、メモリマッピングプログラム１１０ａおよび１１０ｂによって使用される例示的なメモリマッピング処理２００を示す動作フローチャートが描かれている。
２０２において、拡張現実（ＡＲ）デバイスは、少なくとも１つのモバイルもしくはモノのインターネット（ＩｏＴ）デバイスまたはその両方に接続される。スマートコンタクトレンズ、スマート眼鏡、もしくは埋め込みビデオカメラを含む別の拡張現実（ＡＲ）デバイス、またはその組み合わせは、通信ネットワーク（例えば、通信ネットワーク１１６）を使用して、ユーザの予測される注意力のレベルおよび後日ユーザの周囲を思い出す能力が判断されることができ記録が行われることができるように、少なくとも１つのモバイルデバイスもしくはモノのインターネット（ＩｏＴ）デバイスに接続されてもよい。
ＩｏＴは、人間対人間または人間対コンピュータの対話を必要とせずに、インターネットを介してデータを送信することができるセンサが埋め込まれた相互に関連するコンピューティングデバイス、機械およびデジタルマシンのシステムであってよい。接続されたＩｏＴデバイスは、時計、自動車、サーモスタット、音声アシスタントなどを含むがこれらに限定されない、他の多くのもののうち、モバイルデバイス、産業機器、もしくは環境センサまたはその組み合わせに埋め込まれてもよい。
ＡＲデバイスは、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＢｌｕｅｔｏｏｔｈおよびすべてのＢｌｕｅｔｏｏｔｈベースの商標およびロゴは、Ｂｌｕｅｔｏｏｔｈ ＳＩＧ社もしくはその関連会社またはその両方の商標または登録商標である）、ＷｉＦｉ、無線電信、もしくはＡＲデバイスとＩｏＴデバイスとの間でデータを送信（例えば、信号、ビデオのストリーム）できるようにし得る他の通信方法、またはその組み合わせによってＩｏＴデバイスに接続されることができる。
２０４において、ユーザの注意パターンが定義される。ユーザの注意パターン（例えば、ユーザの生体認証パラメータ、ユーザの周囲に対する注意力、および特定のシナリオを思い出す能力の間の特定された相関関係）を格納するために、知識コーパス（例えば、クラウドデータベースもしくはデータベース１１４またはその両方）が作成されてもよい。
メモリマッピングプログラム１１０ａ、１１０ｂは、オートエンコーダを介してユーザの注意パターンを予測するために使用され得る長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）を配備することができる。ＬＳＴＭ－ＲＮＮモデルは、多変量時系列データ（例えば、連続した等間隔の間隔または時点で取得された可能性がある、時間順にインデックス付けされた一連のデータポイント）を考慮してもよい。時系列データは、ユーザおよびユーザによって実行される活動（もしあれば）に関する時系列データであってもよい。時系列データは、接続された拡張現実（ＡＲ）デバイス（例えば、スマートコンタクトレンズ、スマート眼鏡、ヘッドマウントディスプレイ、もしくは別の拡張現実ガジェット、またはその組み合わせ）から収集されてもよい。
例えば、時系列データは、特定の方向に注視する、もしくは特定の方向に歩行あるいは運転する、またはその両方を行うユーザを含んでもよい。時系列データは、カテゴリ的な特徴変数（例えば、他の多くのもののうち、注視または歩行）を含んでもよい。これらのカテゴリ的特徴変数は、符号化によって数値的特徴ベクトルに変換されてもよい（例えば、他の符号化方法のうち、カテゴリ的特徴変数が機械学習アルゴリズムによって使用可能な数値形態に変換され得るラベルエンコーディングまたはワンホットエンコーディングを使用する）。数値特徴ベクトルは、ＬＳＴＭ－ＲＮＮアーキテクチャに供給されてもよい。
数値特徴ベクトルは、ＬＳＴＭ－ＲＮＮモデルが、もしあれば、ユーザの確率的な活動を学習し、オートエンコーダとともに注意検出を実行する（例えば、リカレントニューラルネットワークのエンコーダ―デコーダアーキテクチャが、シーケンス間の予測問題に使用されてもよい）ことを可能にし得る。注意検出は、データの長いシーケンスに関するエンコーダ―デコーダアーキテクチャの制限に対処する深層学習モデルにおけるメカニズムもしくはレイヤまたはその両方であってよく、シーケンス間の予測問題に対するＬＳＴＭ－ＲＮＮモデルのスキルを使用してもよい。
オートエンコーダは、入力として画像（例えば、拡張現実デバイスに接続されたものを含む、接続されたカメラもしくはビデオフィードまたはその両方から）を取得し、画像を潜在空間表現に圧縮し、潜在空間表現から出力画像を再構成することができる教師なし学習技術であってよい。オートエンコーダは、データの入力表現を含み得るボトルネック（例えば、データｘは、ｆ（ｘ）入力表現を有することができる）からなる場合がある。オートエンコーダにおけるデコーダは、次に、ボトルネックの符号化を使用して入力データの再構成を生成してもよい（例えば、入力データｘの再構成は、ｒ＝ｇ（ｆ（ｘ））である）。オートエンコーダは、入力データ（例えば、ビデオデータ）における任意の規則性について学習してもよい。
履歴パラメータは、ユーザの様々なデバイス（例えば、拡張現実デバイスもしくはＩｏＴデバイスまたはその両方）によって収集されてもよく、ここで、ユーザの注意パターンを予測するために考慮されてもよい。履歴パラメータは、ユーザの注意力レベルについて収集されたデータ、およびユーザのシナリオを思い出す能力（ユーザの回想が、ユーザが悪い認知状態（例えば、悲しい、ストレス、もしくは健康問題、またはその組み合わせなど）にある間になされたかどうかを含む）を含んでもよい。履歴パラメータは、上記のステップ２０２に関して前述したように、接続されたＩｏＴデバイスによって収集されてもよく、知識コーパス（例えば、クラウドデータベースもしくはデータベース１１４またはその組み合わせ）に格納されてもよい。
主成分分析（ＰＣＡ）もＬＳＴＭ－ＲＮＮモデルと共に使用して、リアルタイムの生体認証パラメータ（例えば、接続されたＩｏＴウェアラブルデバイスを介して捕捉される）、ユーザの生体認証パラメータの変化率、ユーザの周囲の文脈上の必要性、任意の書かれたテキスト（例えば、電話番号、ナンバープレートの番号、名刺に書かれた情報、営業時間、住所、もしくは通り名、またはその組み合わせ）、もしくは誰かがユーザの名前を言ったときの紹介、またはその組み合わせなど、ＡＲデバイスによって捕捉される可能性のある他のインスタンスに基づいてユーザの周囲のコンテキストを判断することができる。ＰＣＡは、主成分を構築することによってデータセットの次元を削減させるために使用される次元削減手法である。ＰＣＡプロットは、類似性に基づいてクラスタをまとめて描画することができる。
パラメータの数が非常に複雑で、ＬＳＴＭ－ＲＮＮモデルが多数の入力を取り込んでいる場合、入力変数間の関係を理解するため、もしくは次元削減を行うため（例えば、アルゴリズムで使用する入力特徴または特徴ベクトルの数を減らすために）、またはその両方のためにＰＣＡが使用されることがある。
２０６において、ユーザの現在の注意力が予測される。特徴分析およびプルーニングに使用される、ＰＣＡを用いたＬＳＴＭ－ＲＮＮモデル（上記のステップ２０４に関して前述）は、ユーザがどの認知状態においてユーザの周囲に関連する特定の詳細を見落とす場合があるかまたは思い出すことができない場合があるかを予測する際に考慮されることがある。
ユーザの認知ヒューリスティック（例えば、合理的に、論理的に、意図的に、言語的に、楽に、感情的に、もしくは直感的に、またはその組み合わせなどで問題を考えることを含む、情報を処理するユーザの方法）は、ユーザの「標準」を特定するために使用されてもよく、ユーザの行動の異常、「デルタ」（例えば、特定の単語、大きな音、もしくは急激な加速度の変化、またはその組み合わせの使用に基づく）は、所与の時間におけるユーザの注意力を識別するために使用されることがある。
少なくとも１つの実施形態によれば、ユーザの注意力は、相対的な尺度で測定されてもよい（例えば、測定された低い注意力は、０に近い注意力スコアを有し、測定された高い注意力スコアは、１００に近い注意力スコアを有する）。ユーザの拡張現実（ＡＲ）デバイスは、ユーザの注意力が予め定義された閾値を下回る、もしくはデルタによってユーザの行動から逸脱する、またはその両方である（例えば、相対的な尺度で計算された５０％などのあるポイントを下回る）ときに記録を開始してもよい。
例えば、ユーザのベースラインプロファイルが作成されてよく（例えば、上記のステップ２０４に関して前述した学習メカニズムを用いて）、ユーザのベースラインプロファイルからの偏差が特定されてよく、メモリマッピングプログラム１１０ａ、１１０ｂがさらにユーザを注意深いまたは不注意であるとして特定してもよい。
特定の目の事象（例えば、上を見る、下を見る、左を見る、右を見る、目を回す、特定の順序で瞬きする、目を閉じる、目を大きく開ける、その他の目の事象など）は、スマートコンタクトレンズがビデオ映像を撮影および格納することを開始するトリガにもなり得る。ユーザの網膜に直接情報を投影することによって、拡張現実（ＡＲ）デバイス（例えば、ユーザのスマートコンタクトレンズ、スマート眼鏡、もしくは他の拡張現実（ＡＲ）デバイス、またはその組み合わせ）は、ビデオ映像の撮影および格納を開始するためのジェスチャーベースの目の動きを捕捉することができる場合がある。
ユーザが多数の過去の事象（例えば、Ｅ１，Ｅ２，・・・，Ｅｎ）から特定の状況もしくは事象またはその両方を思い出そうとするときにも、特徴プルーニング（例えば、機械学習アルゴリズムにおける複雑さを軽減するために使用される反復事象プルーニング）が利用される場合がある。ユーザは、事象（例えば、Ｅｍ）を思い出すことが困難である場合でも、他の事象を思い出すことができるかもしれない。ＰＣＡ分析および他の特徴フレームプルーニングメカニズムは、ユーザのプルーニング戦略を開発すること（例えば、ユーザが過去の事象を思い出すのが困難なインスタンスを特定すること）を含め、ユーザのコンテキストを確立するために使用することができる。反復事象プルーニングは、ユーザのベースラインプロファイルを確立し、ユーザのスマートコンタクトレンズ、スマート眼鏡、もしくは他の拡張現実（ＡＲ）デバイス、またはその組み合わせによって捕捉されたユーザによって以前に思い出されなかった事象に関連し得るデータ（例えば、写真もしくはビデオデータまたはその両方など）を保存することによって、ベースラインプロファイルからのユーザの偏差を特定するのに役立つ場合がある。
２０８において、メモリマッピングプログラム１１０ａ、１１０ｂは、拡張現実（ＡＲ）装置での記録を開始すべきかどうかを判断する。例えば、特定の目の事象（例えば、上を見る、下を見る、左を見る、右を見る、目を回す、特定の順序で瞬きする、目を閉じる、目を大きく開ける、その他の目の事象など）、もしくはユーザの生体認証パラメータ、またはその両方に基づいて、スマートコンタクトレンズは、ビデオ映像を撮影および格納することを開始することができる。
メモリモデルは、ユーザの様々なヒューリスティックに関するＰＣＡ分析（上記のステップ２０４および２０６に関して前述したように）を実行するアシストプロセッサもしくはグラフィック処理ユニット（ＧＰＵ）またはその両方と並列に配置されてもよい。
例えば、ユーザが注意散漫であることが判明し、履歴データ（例えば、以前の同様の状況におけるユーザの注意力レベルを含む）に基づいて、メモリマッピングプログラム１１０ａ、１１０ｂは、ユーザが見たものの詳細を思い出さないと判断し、拡張現実（ＡＲ）デバイスの記録を開始すべきであると判断することができる。この判断を受けて、接続された任意の拡張現実（ＡＲ）デバイスもしくはＩｏＴデバイスまたはその両方を含む、ユーザの様々なデバイスは、ユーザの注意力レベルを追跡し続けてもよく、またユーザの周囲を捕捉してもよい。
さらに、本発明の少なくとも１つの実施形態によれば、もし、メモリマッピングプログラム１１０ａ、１１０ｂに接続されたユーザのコンピューティングエコシステム（例えば、とりわけ、ユーザのモバイルデバイス、ウェアラブルデバイス、スマートコンタクトレンズからのフィード、もしくはＩｏＴセンサの組み合わせ）が、ユーザが注意深くないこと、または、ユーザが思い出さなかった過去の事象との事象の類似性に基づいて事象を思い出さない可能性があることを特定する場合、およびそれと同時に、ユーザの焦点方向がターゲット周囲から逸れている場合、メモリマッピングプログラム１１０ａ、１１０ｂは、ユーザの周囲の環境を捕捉するために、少なくとも１人の他のユーザの（すなわち、ユーザのそばにある）ペアリングされたスマートコンタクトレンズもしくは拡張現実デバイス（例えば、拡張眼鏡、拡張現実眼鏡など）またはその両方と相互作用することができる。
メモリマッピングプログラム１１０ａ、１１０ｂは、近くのユーザ（例えば、メモリマッピングプログラム１１０ａ、１１０ｂのバージョンも使用する近くのユーザ）の拡張現実デバイスを瞬時に特定および接続することが可能であってよい。近くのユーザの拡張現実デバイスによって捕捉された任意のデータは、ユーザのメモリマッピングプログラム１１０ａ、１１０ｂに接続されたデータベースに保存されてもよい。
例えば、２人の友人が一緒に旅行しているとする。一方の友人が動揺し、あまり注意を払っていない（例えば、その地域の有名な場所に集中していない）場合、メモリマッピングプログラム１１０ａ、１１０ｂは、他方の友人に代わって周囲の状況を捕捉するために、このことを特定し、他方の友人のスマートコンタクトレンズもしくは拡張現実デバイスまたはその両方のセンサを作動させるだろう。
ここで、記録を開始すべきと判断された場合、メモリマッピングプログラム１１０ａ、１１０ｂは、以下のステップ２１０に進む。
ここで、記録を開始すべきではないと判断された場合、メモリマッピングプログラム１１０ａ、１１０ｂは終了する。
２１０で、記録が開始される。コンテンツ記録事象は、時間Ｔで開始されてもよい。そのとき、スマートコンタクトレンズもしくは他の拡張現実デバイスまたはその両方（例えば、拡張眼鏡、拡張現実眼鏡、ヘッドマウントディスプレイなど）は、拡張現実（ＡＲ）デバイスの記録を開始すべきとの上記ステップ２０８での判断に基づいて、ユーザの周囲のビデオを自動的に記録してもよい。
例えば、ユーザの反応もしくは思考またはその両方を消費し得る他の感情のうち、ユーザが過度に興奮または恐怖しているインスタンスでは、スマートコンタクトレンズもしくは他の拡張現実（ＡＲ）デバイスまたはその両方上のメモリマッピングプログラム１１０ａ、１１０ｂによってビデオが自動的に捕捉されてもよい。ユーザの感情は、ユーザの生体認証データ（すなわち、生体認証パラメータ）を捕捉し得るウェアラブルデバイスなどを含むがこれに限定されない、接続されたＩｏＴデバイスに基づいて、メモリマッピングプログラム１１０ａ、１１０ｂによって判断されてもよい。
２１２において、記録されたデータが格納され、機械学習モデルが再トレーニングされる。トレーニング期間が設けられてもよい。
２１２において、記録されたデータが格納され、機械学習モデルが再トレーニングされる。メモリマッピングプログラム１１０ａ、１１０ｂによってトレーニング期間が設けられてもよく、時系列事象（例えば、一連の事象Ｅ（Ｅ１、Ｅ２、・・・、Ｅｎ）に対する時間Ｔ）の間に収集されたすべてのデータが記録され、クラウドデータベース（例えば、データベース１１４）に保存されてもよい。
機械学習モデルの再トレーニングは、上記ステップ２０４に関して先に説明したとおりであってもよい。
図２は、一実施形態の例示のみを提供し、異なる実施形態がどのように実装され得るかに関していかなる制限も意味しないことが理解されよう。描かれた実施形態に対する多くの変更が、設計および実装要件に基づいて行われ得る。
図３は、本発明の例示的な実施形態による、図１に描かれたコンピュータの内部および外部コンポーネントのブロック図９００である。図３は、１つの実装の例示のみを提供し、異なる実施形態が実装され得る環境に関していかなる制限も示唆しないことを理解されたい。描かれた環境に対する多くの変更が、設計および実装要件に基づいてなされ得る。
データ処理システム９０２、９０４は、機械可読プログラム命令を実行することができる任意の電子デバイスを代表するものである。データ処理システム９０２、９０４は、スマートフォン、コンピュータシステム、ＰＤＡ、または他の電子デバイスを代表するものであってよい。データ処理システム９０２、９０４によって代表され得るコンピューティングシステム、環境、もしくは構成またはその組み合わせの例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、ネットワークＰＣ、ミニコンピュータシステム、および上記のシステムまたはデバイスのいずれかを含む分散クラウドコンピューティング環境を含むが、それだけに限定されるものではない。
ユーザクライアントコンピュータ１０２およびネットワークサーバ１１２は、図３に例示される内部コンポーネント９０２ａ、ｂおよび外部コンポーネント９０４ａ、ｂのそれぞれのセットを含むことができる。内部コンポーネント９０２ａ、ｂのそれぞれのセットは、１または複数のバス９１２上の１または複数のプロセッサ９０６、１または複数のコンピュータ可読ＲＡＭ９０８および１または複数のコンピュータ可読ＲＯＭ９１０、ならびに１または複数のオペレーティングシステム９１４および１または複数のコンピュータ可読有形記憶装置９１６を含む。クライアントコンピュータ１０２における１または複数のオペレーティングシステム９１４、ソフトウェアプログラム１０８、およびメモリマッピングプログラム１１０ａ、ならびにネットワークサーバ１１２におけるメモリマッピングプログラム１１０ｂは、１または複数のＲＡＭ９０８（これは典型的にはキャッシュメモリを含む）を介して１または複数のプロセッサ９０６による実行のために１または複数のコンピュータ可読有形記憶装置９１６上に格納されてもよい。図３に示される実施形態では、コンピュータ可読有形記憶装置９１６の各々は、内部ハードドライブの磁気ディスク記憶装置である。あるいは、コンピュータ可読有形記憶装置９１６の各々は、ＲＯＭ９１０、ＥＰＲＯＭ、フラッシュメモリ、またはコンピュータプログラムおよびデジタル情報を格納できる他の任意のコンピュータ可読有形記憶装置のような半導体記憶装置である。
内部コンポーネント９０２ａ、ｂの各セットは、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、磁気テープ、磁気ディスク、光ディスク、または半導体記憶装置などの１または複数のポータブルコンピュータ可読有形記憶装置９２０から読み取り、それに書き込むためのＲ／Ｗドライブまたはインタフェース９１８も含んでいる。ソフトウェアプログラム１０８やメモリマッピングプログラム１１０ａ、１１０ｂなどのソフトウェアプログラムは、それぞれのポータブルコンピュータ可読有形記憶装置９２０の１または複数に格納することができ、それぞれのＲ／Ｗドライブまたはインタフェース９１８を介して読み取り、それぞれのハードドライブ９１６にロードすることが可能である。
内部コンポーネント９０２ａ、ｂの各セットは、ＴＣＰ／ＩＰアダプタカード、無線Ｗｉ－ｆｉインタフェースカード、または３Ｇもしくは４Ｇ無線インタフェースカードなどのネットワークアダプタ（またはスイッチポートカード）またはインタフェース９２２、または他の有線もしくは無線通信リンクも含むことができる。クライアントコンピュータ１０２内のソフトウェアプログラム１０８およびメモリマッピングプログラム１１０ａ、ならびにネットワークサーバコンピュータ１１２内のメモリマッピングプログラム１１０ｂは、ネットワーク（例えば、インターネット、ローカルエリアネットワークまたは他の、広域ネットワーク）およびそれぞれのネットワークアダプタまたはインタフェース９２２を介して外部コンピュータ（例えば、サーバ）からダウンロードされ得る。ネットワークアダプタ（またはスイッチポートアダプタ）またはインタフェース９２２から、クライアントコンピュータ１０２のソフトウェアプログラム１０８およびメモリマッピングプログラム１１０ａ、ネットワークサーバコンピュータ１１２のメモリマッピングプログラム１１０ｂがそれぞれのハードドライブ９１６にロードされる。ネットワークは、銅線、光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータもしくはエッジサーバまたはその組み合わせを含んでもよい。
外部コンポーネント９０４ａ、ｂのセットの各々は、コンピュータディスプレイモニタ９２４、キーボード９２６、およびコンピュータマウス９２８を含むことができる。外部コンポーネント９０４ａ、ｂは、タッチスクリーン、仮想キーボード、タッチパッド、ポインティングデバイス、および他のヒューマンインタフェースデバイスも含むことができる。内部コンポーネント９０２ａ、ｂのセットの各々は、コンピュータディスプレイモニタ９２４、キーボード９２６、およびコンピュータマウス９２８にインタフェースするためのデバイスドライバ９３０も含む。デバイスドライバ９３０、Ｒ／Ｗドライブまたはインタフェース９１８およびネットワークアダプタまたはインタフェース９２２は、ハードウェアおよびソフトウェア（記憶装置９１６もしくはＲＯＭ９１０またはその両方に格納されている）を含む。
本開示はクラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載した教示の実装はクラウドコンピューティング環境に限定されない。むしろ、本発明の実施形態は、現在公知のまたは将来開発される他の任意の種類のコンピュータ環境と共に実施することができる。
クラウドコンピューティングは、設定可能なコンピューティングリソースの共有プール（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶装置、アプリケーション、仮想マシンおよびサービス）へ、簡便かつオンデマンドのネットワークアクセスを可能にするためのサービス提供のモデルであり、リソースは、最小限の管理労力または最小限のサービスプロバイダとのやり取りによって速やかに準備（provision）およびリリースできるものである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの実装モデルを含むことがある。
特性は以下の通りである。
オンデマンド・セルフサービス：クラウドの消費者は、サービスプロバイダとの人的な対話を必要することなく、必要に応じて自動的に、サーバ時間やネットワークストレージなどのコンピューティング能力を一方的に準備することができる。
ブロード・ネットワークアクセス：コンピューティング能力はネットワーク経由で利用可能であり、また、標準的なメカニズムを介してアクセスできる。それにより、異種のシンまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、ＰＤＡ）による利用が促進される。
リソースプーリング：プロバイダのコンピューティングリソースはプールされ、マルチテナントモデルを利用して複数の消費者に提供される。様々な物理リソースおよび仮想リソースが、需要に応じて動的に割り当ておよび再割り当てされる。一般に消費者は、提供されたリソースの正確な位置を管理または把握していないため、位置非依存（location independence）の感覚がある。ただし消費者は、より高い抽象レベル（例えば、国、州、データセンタ）では場所を特定可能な場合がある。
迅速な柔軟性（elasticity）：コンピューティング能力は、迅速かつ柔軟に準備することができるため、場合によっては自動的に、直ちにスケールアウトし、また、速やかにリリースされて直ちにスケールインすることができる。消費者にとって、準備に利用可能なコンピューティング能力は無制限に見える場合が多く、任意の時間に任意の数量で購入することができる。
測定されるサービス：クラウドシステムは、サービスの種類（例えば、ストレージ、処理、帯域幅、アクティブユーザアカウント）に適したある程度の抽象化レベルでの測定機能を活用して、リソースの使用を自動的に制御し最適化する。リソース使用量を監視、制御、および報告して、利用されるサービスのプロバイダおよび消費者の両方に透明性を提供することができる。
サービスモデルは以下の通りである。
サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される機能は、クラウドインフラストラクチャ上で動作するプロバイダのアプリケーションを利用できることである。当該そのアプリケーションは、ウェブブラウザ（例えばウェブメール）などのシンクライアントインタフェースを介して、各種のクライアント装置からアクセスできる。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージや、個別のアプリケーション機能さえも含めて、基礎となるクラウドインフラストラクチャの管理や制御は行わない。ただし、ユーザ固有の限られたアプリケーション構成の設定はその限りではない。
サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される機能は、プロバイダによってサポートされるプログラム言語およびツールを用いて、消費者が作成または取得したアプリケーションを、クラウドインフラストラクチャに展開（deploy）することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージを含む、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、展開されたアプリケーションを制御でき、かつ場合によってはそのホスティング環境の構成も制御できる。
サービスとしてのインフラストラクチャ（ＩａａＳ）：消費者に提供される機能は、オペレーティングシステムやアプリケーションを含み得る任意のソフトウェアを消費者が展開および実行可能な、プロセッサ、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースを準備することである。消費者は、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、オペレーティングシステム、ストレージ、および展開されたアプリケーションを制御でき、かつ場合によっては一部のネットワークコンポーネント（例えばホストファイアウォール）を部分的に制御できる。
展開モデルは以下の通りである。
プライベートクラウド：このクラウドインフラストラクチャは、特定の組織専用で運用される。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。
コミュニティクラウド：このクラウドインフラストラクチャは、複数の組織によって共有され、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス）を持つ特定のコミュニティをサポートする。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。
パブリッククラウド：このクラウドインフラストラクチャは、不特定多数の人々や大規模な業界団体に提供され、クラウドサービスを販売する組織によって所有される。
ハイブリッドクラウド：このクラウドインフラストラクチャは、２つ以上のクラウドモデル（プライベート、コミュニティまたはパブリック）を組み合わせたものとなる。それぞれのモデル固有の実体は保持するが、標準または個別の技術によってバインドされ、データとアプリケーションの可搬性（例えば、クラウド間の負荷分散のためのクラウドバースティング）を実現する。
クラウドコンピューティング環境は、ステートレス性（statelessness）、低結合性（low coupling）、モジュール性（modularity）および意味論的相互運用性（semantic interoperability）に重点を置いたサービス指向型環境である。クラウドコンピューティングの中核にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。
ここで図４を参照すると、例示的なクラウドコンピューティング環境１０００が描かれている。示されるように、クラウドコンピューティング環境１０００は１つまたは複数のクラウドコンピューティングノード１００を含む。これらに対して、クラウド消費者が使用するローカルコンピュータ装置（例えば、ＰＤＡもしくは携帯電話１０００Ａ、デスクトップコンピュータ１０００Ｂ、ラップトップコンピュータ１０００Ｃ、もしくは自動車コンピュータシステム１０００Ｎまたはこれらの組み合わせなど）は通信を行うことができる。ノード１００は互いに通信することができる。ノード１００は、例えば、上述のプライベート、コミュニティ、パブリックもしくはハイブリッドクラウドまたはこれらの組み合わせなど、１つまたは複数のネットワークにおいて、物理的または仮想的にグループ化（不図示）することができる。これにより、クラウドコンピューティング環境１０００は、サービスとしてのインフラストラクチャ、プラットフォームもしくはソフトウェアまたはこれらの組み合わせを提供することができ、クラウド消費者はこれらについて、ローカルコンピュータ装置上にリソースを維持する必要がない。なお、図４に示すコンピュータ装置１０００Ａ～Ｎの種類は例示に過ぎず、コンピューティングノード１００およびクラウドコンピューティング環境１０００は、任意の種類のネットワークもしくはネットワークアドレス指定可能接続（例えば、ウェブブラウザの使用）またはその両方を介して、任意の種類の電子装置と通信可能であることを理解されたい。
ここで図５を参照すると、クラウドコンピューティング環境１０００によって提供される一連の機能抽象化レイヤ１１００が示されている。図５に示すコンポーネント、レイヤおよび機能は例示に過ぎず、本発明の実施形態はこれらに限定されないことをあらかじめ理解されたい。図示するように、以下のレイヤおよび対応する機能が提供される。
ハードウェアおよびソフトウェアレイヤ１１０２は、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例には、メインフレーム１１０４、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャベースのサーバ１１０６、サーバ１１０８、ブレードサーバ１１１０、記憶装置１１１２、ならびにネットワークおよびネットワークコンポーネント１１１４が含まれる。いくつかの実施形態において、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア１１１６およびデータベースソフトウェア１１１８を含む。
仮想化レイヤ１１２０は、抽象化レイヤを提供する。当該レイヤから、例えば以下の仮想エンティティを提供することができる：仮想サーバ１１２２、仮想ストレージ１１２４、仮想プライベートネットワークを含む仮想ネットワーク１１２６、仮想アプリケーションおよびオペレーティングシステム１１２８、ならびに仮想クライアント１１３０。
一例として、管理レイヤ１１３２は以下の機能を提供することができる。リソース準備１１３４は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソースおよび他のリソースの動的な調達を可能にする。計量および価格設定１１３６は、クラウドコンピューティング環境内でリソースが利用される際のコスト追跡、およびこれらのリソースの消費に対する請求またはインボイス送付を可能にする。一例として、これらのリソースはアプリケーションソフトウェアのライセンスを含んでよい。セキュリティは、データおよび他のリソースに対する保護のみならず、クラウドコンシューマおよびタスクの識別確認を可能にする。ユーザポータル１１３８は、コンシューマおよびシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理１１４０は、要求されたサービスレベルが満たされるように、クラウドコンピューティングリソースの割り当ておよび管理を可能にする。サービス品質保証（ＳＬＡ）の計画および履行１１４２は、ＳＬＡに従って将来必要になると予想されるクラウドコンピューティングリソースの事前手配および調達を可能にする。
ワークロードレイヤ１１４４は、クラウドコンピューティング環境が利用可能な機能の例を提供する。このレイヤから提供可能なワークロードおよび機能の例には、マッピングおよびナビゲーション１１４６、ソフトウェア開発およびライフサイクル管理１１４８、仮想教室教育の配信１１５０、データ分析処理１１５２、取引処理１１５４、ならびに、メモリマッピング１１５６が含まれる。メモリマッピングプログラム１１０ａ、１１０ｂは、拡張現実デバイス（例えば、スマートコンタクトレンズ、スマート眼鏡）によって収集された視覚データを記録および格納し、収集されたデータを継続的にプルーニングして、価値があると見なされ得る情報を判断する方法をユーザに提供する。
本発明の様々な実施形態の説明は、例示の目的で提示されているが、網羅的であることを意図するものではなく、開示される実施形態に限定されることを意図するものでもない。開示される実施形態の範囲から逸脱することなく、多くの修正および変更が可能であることは当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見られる技術に対する実際の適用または技術的改善を最もよく説明するため、または当業者が本明細書に記載の実施形態を理解できるようにするために選択された。

Claims (25)

  1. プロセッサがメモリにデータを保存するための方法であって、前記方法は、
    前記プロセッサが、拡張現実デバイスを、少なくとも１つの生体認証パラメータを観察する少なくとも１つのモノのインターネット（ＩｏＴ）デバイスに接続することと、
    前記プロセッサが、前記少なくとも１つの生体認証パラメータに基づいて、少なくとも１つのユーザの注意パターンをメモリに格納することと、
    前記プロセッサが、前記少なくとも１つのユーザの注意パターンに基づいて、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルにより、ユーザの注意力を予測することと、
    前記プロセッサが、前記ユーザの前記注意力が特定のポイントを下回ったことに基づいて、前記拡張現実デバイスによってデータを捕捉することであって、前記ユーザのベースラインプロファイルが、反復事象プルーニングおよびユーザメモリプルーニング戦略の決定に基づいて部分的に確立され、前記ユーザメモリプルーニング戦略は、前記ユーザが過去の事象を思い出すのが困難なインスタンスを特定する戦略である、捕捉することと、
    前記プロセッサが、前記捕捉されたデータを保存することと、
    前記プロセッサが、前記捕捉されたデータの多変量時系列データポイントを用いて、前記長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを再トレーニングすることであって、前記長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルは、前記ユーザメモリプルーニング戦略を更新する、再トレーニングすることと、
    を含む方法。
  2. 前記拡張現実デバイスは、
    スマートコンタクトレンズと、スマート眼鏡と、ヘッドマウントディスプレイと、
    からなる群から選択される、請求項１に記載の方法。
  3. 前記プロセッサが、前記少なくとも１つのユーザの注意パターンに基づいて、前記ユーザの前記注意力を予測することは、
    前記プロセッサが、オートエンコーダを介して前記ユーザの前記注意力を予測すること
    をさらに含む、請求項１に記載の方法。
  4. 前記プロセッサが、前記少なくとも１つの生体認証パラメータに基づいてユーザの周囲のコンテキストを推定するために、前記長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを用いた主成分分析（ＰＣＡ）を使用すること
    をさらに含む、請求項３に記載の方法。
  5. 前記プロセッサが前記少なくとも１つのユーザの注意パターンに基づいて前記ユーザの前記注意力を予測することは、
    前記プロセッサが、前記ユーザが不注意であると判断することと、
    前記プロセッサが、他のユーザの前記拡張現実デバイスを作動させることと、
    をさらに含む、請求項１に記載の方法。
  6. 前記プロセッサが、前記ユーザの前記注意力が前記特定のポイントを下回ったことに基づいて、前記拡張現実デバイスによってデータを捕捉することは、
    前記プロセッサが、前記ユーザの前記ベースラインプロファイルからの前記ユーザの前記注意力の偏差を計算すること
    をさらに含む、請求項１に記載の方法。
  7. 前記プロセッサが、前記捕捉されたデータを保存することは、
    前記プロセッサが、前記捕捉されたデータを接続されたデータベースに保存すること
    をさらに含む、請求項１に記載の方法。
  8. メモリにデータを保存するためのコンピュータシステムであって、
    １または複数のプロセッサと、１または複数のコンピュータ可読メモリと、１または複数のコンピュータ可読有形記憶媒体と、前記１または複数のプロセッサの少なくとも１つによって前記１または複数のコンピュータ可読メモリの少なくとも１つを介して実行されるように前記１または複数のコンピュータ可読有形記憶媒体の少なくとも１つに格納されたプログラム命令と、を含み、前記コンピュータシステムは、方法を実行可能であり、前記方法は、
    拡張現実デバイスを、少なくとも１つの生体認証パラメータを観察する少なくとも１つのモノのインターネット（ＩｏＴ）デバイスに接続することと、
    前記少なくとも１つの生体認証パラメータに基づいて、少なくとも１つのユーザの注意パターンをメモリに格納することと、
    前記少なくとも１つのユーザの注意パターンに基づいて、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルにより、ユーザの注意力を予測することと、
    前記ユーザの前記注意力が特定のポイントを下回ったことに基づいて、前記拡張現実デバイスによってデータを捕捉することであって、前記ユーザのベースラインプロファイルが、反復事象プルーニングおよびユーザメモリプルーニング戦略の決定に基づいて部分的に確立され、前記ユーザメモリプルーニング戦略は、前記ユーザが過去の事象を思い出すのが困難なインスタンスを特定する戦略である、捕捉することと、
    前記捕捉されたデータを保存することと、
    前記捕捉されたデータの多変量時系列データポイントを用いて、前記長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを再トレーニングすることであって、前記長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルは、前記ユーザメモリプルーニング戦略を更新する、再トレーニングすることと、
    を含むコンピュータシステム。
  9. 前記拡張現実デバイスは、
    スマートコンタクトレンズと、スマート眼鏡と、ヘッドマウントディスプレイと、
    からなる群から選択される、請求項８に記載のコンピュータシステム。
  10. 前記少なくとも１つのユーザの注意パターンに基づいて、前記ユーザの前記注意力を予測することは、
    オートエンコーダを介して前記ユーザの前記注意力を予測すること
    をさらに含む、請求項８に記載のコンピュータシステム。
  11. 前記少なくとも１つの生体認証パラメータに基づいてユーザの周囲のコンテキストを推定するために、前記長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを用いた主成分分析（ＰＣＡ）を使用すること
    をさらに含む、請求項１０に記載のコンピュータシステム。
  12. 前記少なくとも１つのユーザの注意パターンに基づいて前記ユーザの前記注意力を予測することは、
    前記ユーザが不注意であると判断することと、
    他のユーザの前記拡張現実デバイスを作動させることと、
    をさらに含む、請求項８に記載のコンピュータシステム。
  13. 前記ユーザの前記注意力が前記特定のポイントを下回ったことに基づいて、前記拡張現実デバイスによってデータを捕捉することは、
    前記ユーザの前記ベースラインプロファイルからの前記ユーザの前記注意力の偏差を計算すること
    をさらに含む、請求項８に記載のコンピュータシステム。
  14. 前記捕捉されたデータを保存することは、
    前記捕捉されたデータを接続されたデータベースに保存すること
    をさらに含む、請求項８に記載のコンピュータシステム。
  15. メモリにデータを保存するためのコンピュータプログラムであって、
    プログラム命令を含み、前記プログラム命令は、プロセッサによって実行可能であり、前記プロセッサに、方法を実行させ、前記方法は、
    拡張現実デバイスを、少なくとも１つの生体認証パラメータを観察する少なくとも１つのモノのインターネット（ＩｏＴ）デバイスに接続することと、
    前記少なくとも１つの生体認証パラメータに基づいて、少なくとも１つのユーザの注意パターンをメモリに格納することと、
    前記少なくとも１つのユーザの注意パターンに基づいて、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルにより、ユーザの注意力を予測することと、
    前記ユーザの前記注意力が特定のポイントを下回ったことに基づいて、前記拡張現実デバイスによってデータを捕捉することであって、前記ユーザのベースラインプロファイルが、反復事象プルーニングおよびユーザメモリプルーニング戦略の決定に基づいて部分的に確立され、前記ユーザメモリプルーニング戦略は、前記ユーザが過去の事象を思い出すのが困難なインスタンスを特定する戦略である、捕捉することと、
    前記捕捉されたデータを保存することと、
    前記捕捉されたデータの多変量時系列データポイントを用いて、前記長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを再トレーニングすることであって、前記長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルは、前記ユーザメモリプルーニング戦略を更新する、再トレーニングすることと、
    を含むコンピュータプログラム。
  16. 前記拡張現実デバイスは、
    スマートコンタクトレンズと、スマート眼鏡と、ヘッドマウントディスプレイと、
    からなる群から選択される、
    請求項１５に記載のコンピュータプログラム。
  17. 前記少なくとも１つのユーザの注意パターンに基づいて、前記ユーザの前記注意力を予測することは、
    オートエンコーダを介して前記ユーザの前記注意力を予測すること
    をさらに含む、請求項１５に記載のコンピュータプログラム。
  18. 前記少なくとも１つの生体認証パラメータに基づいてユーザの周囲のコンテキストを推定するために、前記長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを用いた主成分分析（ＰＣＡ）を使用すること
    をさらに含む、請求項１７に記載のコンピュータプログラム。
  19. 前記少なくとも１つのユーザの注意パターンに基づいて前記ユーザの前記注意力を予測することは、
    前記ユーザが不注意であると判断することと、
    他のユーザの前記拡張現実デバイスを作動させることと、
    をさらに含む、請求項１５に記載のコンピュータプログラム。
  20. 前記ユーザの前記注意力が前記特定のポイントを下回ったことに基づいて、前記拡張現実デバイスによってデータを捕捉することは、
    前記ユーザの前記ベースラインプロファイルからの前記ユーザの前記注意力の偏差を計算すること
    をさらに含む、請求項１５に記載のコンピュータプログラム。
  21. プロセッサがメモリにデータを保存するための方法であって、前記方法は、
    前記プロセッサが、反復事象プルーニングおよびユーザメモリプルーニング戦略の決定に基づいて確立されたベースラインユーザプロファイルを用いて、長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルにより、ユーザの不注意を予測することであって、前記ユーザメモリプルーニング戦略は、前記ユーザが過去の事象を思い出すのが困難なインスタンスを特定する戦略である、予測することと、
    前記プロセッサが、前記予測された前記ユーザの不注意に基づいて、他のユーザの拡張現実デバイスによって観察されたデータを捕捉することと、
    前記プロセッサが、前記捕捉されたデータを保存することと、
    前記プロセッサが、前記捕捉されたデータの多変量時系列データポイントを用いて、前記長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルを再トレーニングすることであって、前記長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルは、前記ユーザメモリプルーニング戦略を更新する、再トレーニングすることと、
    を含む、方法。
  22. 前記プロセッサが前記ユーザの前記不注意を予測することは、
    前記プロセッサが、オートエンコーダを介して前記ユーザの前記不注意を予測することであって、主成分分析（ＰＣＡ）は、少なくとも１つの生体認証パラメータに基づいて前記ユーザの周囲のコンテキストを推定するために、前記長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルと共に使用される、予測すること
    をさらに含む、請求項２１に記載の方法。
  23. プロセッサが拡張現実デバイスによる捕捉を開始するための方法であって、前記方法は、
    前記プロセッサが、前記拡張現実デバイスを、眼球イベントを観察する少なくとも１つのモノのインターネット（ＩｏＴ）デバイスに接続することであって、前記眼球イベントは、上を見る、下を見る、左を見る、右を見る、目を回す、特定の順序で瞬きする、目を閉じる、および目を大きく開ける、からなる群から選択される、接続することと、
    前記プロセッサが、前記眼球イベントに基づいて、少なくとも１つのユーザの注意パターンをメモリに格納することと、
    前記プロセッサが、前記少なくとも１つのユーザの注意パターンに基づいて、ユーザの注意力を予測することと、
    前記プロセッサが、機械学習アルゴリズムによって、前記ユーザの前記注意力が特定のポイントを下回ったときに前記拡張現実デバイスが捕捉を開始すべきであると判断することと、
    前記プロセッサが、前記拡張現実デバイスによってデータを捕捉することであって、前記ユーザのベースラインプロファイルが、反復事象プルーニングおよびユーザメモリプルーニング戦略の決定に基づいて部分的に確立され、前記ユーザメモリプルーニング戦略は、前記ユーザが過去の事象を思い出すのが困難なインスタンスを特定する戦略である、捕捉することと、
    を含む、方法。
  24. 前記拡張現実デバイスはスマートコンタクトレンズである、請求項２３に記載の方法。
  25. 前記機械学習アルゴリズムは、主成分分析（ＰＣＡ）を用いた長・短期記憶（ＬＳＴＭ）回帰型ニューラルネットワーク（ＲＮＮ）モデルである、請求項２３に記載の方法。
JP2023514494A 2020-09-03 2021-08-24 スマートレンズ／拡張メガネにおける反復的なメモリマッピング操作 Active JP7828698B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/948,110 2020-09-03
US16/948,110 US11620855B2 (en) 2020-09-03 2020-09-03 Iterative memory mapping operations in smart lens/augmented glasses
PCT/IB2021/057737 WO2022049450A1 (en) 2020-09-03 2021-08-24 Iterative memory mapping operations in smart lens/augmented glasses

Publications (2)

Publication Number Publication Date
JP2023547023A JP2023547023A (ja) 2023-11-09
JP7828698B2 true JP7828698B2 (ja) 2026-03-12

Family

ID=80356913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023514494A Active JP7828698B2 (ja) 2020-09-03 2021-08-24 スマートレンズ／拡張メガネにおける反復的なメモリマッピング操作

Country Status (6)

Country Link
US (1) US11620855B2 (ja)
JP (1) JP7828698B2 (ja)
CN (1) CN116097210A (ja)
DE (1) DE112021003923T5 (ja)
GB (1) GB2612250A (ja)
WO (1) WO2022049450A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620855B2 (en) 2020-09-03 2023-04-04 International Business Machines Corporation Iterative memory mapping operations in smart lens/augmented glasses
US11929169B2 (en) * 2022-02-09 2024-03-12 Kyndryl, Inc. Personalized sensory feedback

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017052364A (ja) 2015-09-09 2017-03-16 日本精機株式会社 ヘッドアップディスプレイ装置
AU2016201929A1 (en) 2016-03-29 2017-10-19 Canon Kabushiki Kaisha System and method for modifying display of augmented reality content
JP2018151900A (ja) 2017-03-14 2018-09-27 オムロン株式会社 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
US20190336061A1 (en) 2018-05-01 2019-11-07 International Business Machines Corporation Epilepsy seizure detection and prediction using techniques such as deep learning methods
WO2020013313A1 (ja) 2018-07-12 2020-01-16 株式会社東芝 全方位撮影システムおよび全方位撮影方法
JP2020052847A (ja) 2018-09-27 2020-04-02 パナソニックＩｐマネジメント株式会社 感情管理システム、感情管理方法及びプログラム
US20200259514A1 (en) 2016-04-22 2020-08-13 Seabeck Holdings, Llc Integrated cockpit sensing system
JP2020525939A (ja) 2017-06-28 2020-08-27 リキッド バイオサイエンシズ，インコーポレイテッド 反復特徴選択方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9076343B2 (en) 2004-04-06 2015-07-07 International Business Machines Corporation Self-service system for education
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device
US20140022402A1 (en) 2012-07-23 2014-01-23 Nokia Corporation Method and apparatus for automatic capture of multimedia information
US9177257B2 (en) 2012-08-30 2015-11-03 International Business Machines Corporation Non-transitory article of manufacture and system for providing a prompt to user for real-time cognitive assistance
US20140098226A1 (en) 2012-10-08 2014-04-10 Google Inc. Image capture component on active contact lens
US9325930B2 (en) 2012-11-15 2016-04-26 International Business Machines Corporation Collectively aggregating digital recordings
WO2014178212A1 (ja) 2013-05-02 2014-11-06 ソニー株式会社 コンタクトレンズおよび記憶媒体
KR102154912B1 (ko) 2013-10-11 2020-09-11 인터디지탈 패튼 홀딩스, 인크 시선 구동 증강 현실
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
CN105404943A (zh) * 2015-12-08 2016-03-16 南京邮电大学 一种面向移动社交环境的用户行为预测方法
US9703374B1 (en) 2015-12-16 2017-07-11 Google, Inc. In-cell gaze tracking for near-eye display
US10455287B2 (en) 2016-02-02 2019-10-22 International Business Machines Corporation Content delivery system, method, and recording medium
US10129510B2 (en) 2016-02-18 2018-11-13 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
US10154191B2 (en) 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
US10367841B2 (en) * 2016-12-16 2019-07-30 Patternex, Inc. Method and system for learning representations for log data in cybersecurity
US10885676B2 (en) 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
CA3087780A1 (en) * 2017-02-01 2018-08-09 Cerebian Inc. System and method for measuring perceptual experiences
KR102209595B1 (ko) 2017-09-01 2021-01-28 매직 립, 인코포레이티드 강건한 생체인식 애플리케이션들을 위한 세밀한 눈 형상 모델
US20190188450A1 (en) * 2017-11-06 2019-06-20 Magical Technologies, Llc Systems, Methods and Apparatuses for Deployment of Virtual Objects Based on Content Segment Consumed in a Target Environment
US10963045B2 (en) 2018-04-25 2021-03-30 International Business Machines Corporation Smart contact lens system with cognitive analysis and aid
US10902383B2 (en) 2018-05-30 2021-01-26 Adp, Llc Vision AR: SmartHR overlay
US10916245B2 (en) 2018-08-21 2021-02-09 International Business Machines Corporation Intelligent hearing aid
US20200074647A1 (en) * 2018-08-30 2020-03-05 Electronics And Telecommunications Research Institute Smart glasses and method of selectively tracking target of visual cognition
US10873782B2 (en) * 2018-10-02 2020-12-22 Adobe Inc. Generating user embedding representations that capture a history of changes to user trait data
US20200245918A1 (en) * 2019-02-01 2020-08-06 Mindstrong Health Forecasting Mood Changes from Digital Biomarkers
CN110175242B (zh) * 2019-05-31 2024-05-17 嗷呜世界(深圳)网络科技有限公司 基于知识图谱的人机交互联想方法、装置及介质
US11225266B2 (en) * 2019-08-20 2022-01-18 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for improving visual scanning behavior associated with controlling a vehicle
US11620855B2 (en) 2020-09-03 2023-04-04 International Business Machines Corporation Iterative memory mapping operations in smart lens/augmented glasses

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017052364A (ja) 2015-09-09 2017-03-16 日本精機株式会社 ヘッドアップディスプレイ装置
AU2016201929A1 (en) 2016-03-29 2017-10-19 Canon Kabushiki Kaisha System and method for modifying display of augmented reality content
US20200259514A1 (en) 2016-04-22 2020-08-13 Seabeck Holdings, Llc Integrated cockpit sensing system
JP2018151900A (ja) 2017-03-14 2018-09-27 オムロン株式会社 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
JP2020525939A (ja) 2017-06-28 2020-08-27 リキッド バイオサイエンシズ，インコーポレイテッド 反復特徴選択方法
US20190336061A1 (en) 2018-05-01 2019-11-07 International Business Machines Corporation Epilepsy seizure detection and prediction using techniques such as deep learning methods
WO2020013313A1 (ja) 2018-07-12 2020-01-16 株式会社東芝 全方位撮影システムおよび全方位撮影方法
JP2020052847A (ja) 2018-09-27 2020-04-02 パナソニックＩｐマネジメント株式会社 感情管理システム、感情管理方法及びプログラム

Also Published As

Publication number Publication date
DE112021003923T5 (de) 2023-07-13
GB202301813D0 (en) 2023-03-29
US20220068507A1 (en) 2022-03-03
JP2023547023A (ja) 2023-11-09
CN116097210A (zh) 2023-05-09
GB2612250A (en) 2023-04-26
US11620855B2 (en) 2023-04-04
WO2022049450A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
US11200811B2 (en) Intelligent recommendation of guidance instructions
JP7754597B2 (ja) 記憶力低下の検出と改善
US20220051112A1 (en) Automated model pipeline generation with entity monitoring, interaction, and intervention
US20200402658A1 (en) User-aware explanation selection for machine learning systems
US10169428B1 (en) Mining procedure dialogs from source content
US11182674B2 (en) Model training by discarding relatively less relevant parameters
US11051689B2 (en) Real-time passive monitoring and assessment of pediatric eye health
US11082498B2 (en) Methods and systems for managing multi-channel computing environments to optimize user efficiency
JP7828698B2 (ja) スマートレンズ／拡張メガネにおける反復的なメモリマッピング操作
US12307335B2 (en) User assistance through demonstration
US12367402B2 (en) Intelligent backup and restoration of containerized environment
JP7710813B2 (ja) 発話障害のあるユーザのための人工知能音声応答システム
JP2024518875A (ja) 動作コマンド境界
US20200219498A1 (en) Methods and systems for managing voice response systems to optimize responses
US10783798B2 (en) Coaching system for guiding interactions
US20220004591A1 (en) Selecting items of interest
US20200394532A1 (en) Detaching Social Media Content Creation from Publication
US20220180289A1 (en) Cognitive user selection
US20230194864A1 (en) Device management in a smart environment
US11099406B2 (en) Delivering augmented reality via embedded contact lens
US12322200B2 (en) Emotional response evaluation for presented images
US11803253B2 (en) Keyword recommendations for virtual keyboards
US11645871B1 (en) Engagement based contextual feedback for devices

Legal Events

Date Code Title Description
RD16 Notification of change of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7436

Effective date: 20230428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20250708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260210

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20260210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260226

R150 Certificate of patent or registration of utility model

Ref document number: 7828698

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150