JP6434137B2 - データキャプチャのためのダイナミックコントロール - Google Patents

データキャプチャのためのダイナミックコントロール Download PDF

Info

Publication number
JP6434137B2
JP6434137B2 JP2017519208A JP2017519208A JP6434137B2 JP 6434137 B2 JP6434137 B2 JP 6434137B2 JP 2017519208 A JP2017519208 A JP 2017519208A JP 2017519208 A JP2017519208 A JP 2017519208A JP 6434137 B2 JP6434137 B2 JP 6434137B2
Authority
JP
Japan
Prior art keywords
data
capture
module
context
biometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017519208A
Other languages
English (en)
Other versions
JP2017525069A (ja
Inventor
シュイ,イエン
チョウバッシ,マハ エル
チョウバッシ,マハ エル
ラトクリフ,ジョシュア
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2017525069A publication Critical patent/JP2017525069A/ja
Application granted granted Critical
Publication of JP6434137B2 publication Critical patent/JP6434137B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1306Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/01Automatic library building
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03Data mining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、データキャプチャに関する。そして、より特定的には、ユーザデータ、コンテクストデータ、等を評価し得るインテリジェンスを介してデータキャプチャをコントロールすることができるシステムに関する。
モバイル電子機器の分野における激しい技術開発により、日々のインタラクションの中へ電子通信の幅広い統合がなされてきた。例えば、最も簡素なモバイル通信機器からはるばる最も複雑なスマートフォンに至るまで、今や、基本機能として画像キャプチャデバイスを含んでいる。モバイル機器において画像(image)、ビデオ(video)、等をキャプチャする能力は、データを生成する巨大企業(behemoth)に対して単純に便利であるものから進化してきた。巨大企業は、主として画像または短いビデオを介したアイデアの通信に完全に特化したウェブサイトを大量に生じてきている。今や、ユーザによって身に付けられ得るオブジェクトの中にデバイスが統合され得るように小さいコンフィグレーションにおいて、ユーザがマルチメディアデータ(例えば、テキスト、画像、オーディオ、ビデオ、等)を記録(例えば、キャプチャ)できる機能を備える機器が出現している。そして、モバイル通信機器において利用可能なマルチメディアデータをキャプチャするための機能は、次に、イベントを不滅にするために直ちに用意できている「ウェアラブル(”wearable”)」デバイスに伴うものであってよい。
しかしながら、マルチメディアデータをキャプチャするデバイスの利用可能性は、キャプチャされていないいくつかのイベントの可能性を排除するものではない。既存のデバイスにおいて、ユーザは、データキャプチャを開始するために「準備万端(”at the ready”)」である必要がある。例えば、データキャプチャが望まれる状況にあるユーザは、デバイスにおけるデータキャプチャ機能を動作化すること、データがどのようにキャプチャされるか設定すること(例えば、キャプチャされるデータのタイプ、キャプチャの速度、キャプチャされるデータの解像度を設定すること、キャプチャに影響する環境的またはデバイス関連の条件を調整すること、等)、および、次に、データキャプチャプロセスを最終的に開始することに注意を向けることができる必要がある。そうした制約は、ユーザとデータキャプチャの対象の両方が、静止しており、変化せず、止まっている、等の場合に、受け容れられ得るものである。しかしながら、データをキャプチャするための機能は、予期しないイベントを含み、生じるがままに生活をキャプチャすることをユーザが望むようにした。ユーザがキャプチャデバイスとインタラクションできないユーザを取り込んでいるイベント、等である。すると、利用可能な唯一つのオプションは、興味のデータもキャプチャされるという期待をもってデータを継続的にキャプチャすることであろう。しかしながら、そうした行為は、大部分のモバイル機器のリソースを急速に使い尽くし、大量のデータを生じる、等。
請求される技術的事項の様々な実施例に係る特徴および利点は、以降の詳細な説明が進行するにつれて、そして、図面を参照することで明らかになろう。図面では、類似の数字は類似のパーツを示している。
図1は、本開示の少なくとも一つの実施例に従って、データキャプチャのためのダイナミックコントロールに対する一つのシステム例を示している。 図2は、デバイスに対して外部にあるシステムコンポーネントを伴なって、本開示の少なくとも一つの実施例に従って利用可能なデバイスに対するコンフィグレーション例を示している。 図3は、本開示の少なくとも一つの実施例に従って、データキャプチャをトリガーするための判断ロジックに寄与する一つのデータフロー例を示している。 図4は、本開示の少なくとも一つの実施例に従って、興奮レベルの判断において使用されるデータを記述する一つのチャート例を示している。 図5は、本開示の少なくとも一つの実施例に従って、データキャプチャの一つの例を示している。 図6は、本開示の少なくとも一つの実施例に従って、データキャプチャのためのダイナミックコントロールに対するオペレーションの例を示している。
以降の詳細な説明は、説明的な実施例に対して行われる参照と共に進行するが、多くの代替、変更、および変形が当業者にとっては明らかであろう。
この明細書は、データキャプチャのためのダイナミックコントロールに向けたものである。一つの実施例において、デバイスは、バイオメトリック検知モジュールからのバイオメトリックデータ、コンテクスト検知モジュールからのコンテクストデータ、または、コンテンツ検知モジュールからのコンテンツデータのうち少なくとも一つを受け取るためのキャプチャロジックモジュールを含んでよい。バイオメトリック、コンテクスト、および、コンテンツモジュールの少なくとも一部は、デバイスの外部であってよい。キャプチャロジックモジュールは、最初に、バイオメトリックデータとコンテクストデータの少なくとも一つに基づいてキャプチャシナリオが存在するか(例えば、データをキャプチャすることが望ましいシナリオ)を判断し得る。この判断は、キャプチャロジックモジュールによって、動作モードに基づいて重み付けされてよい。キャプチャシナリオが存在すると判断された場合、キャプチャロジックモジュールは、次に、少なくともコンテンツデータに基づいて、データをキャプチャするか否かを判断し得る。キャプチャされたデータは、デバイスにおけるキャプチャデータベースの中に保管されてよい。一つの実施例において、キャプチャされたデータは、バイオメトリックデータ、コンテクストデータ、または、コンテンツデータのうち少なくとも一つに基づいた拡張メタデータと共に保管されてよい。デバイスは、さらに、上記のキャプチャ関連の判断において使用されるクライテリアを生成するためのフィードバックデータを含んでいるフィードバックデータベースを有してよい。
一つの実施例において、データキャプチャをコントロールするためのデバイスは、例えば、キャプチャデータベースとキャプチャロジックモジュールを含んでよい。キャプチャデータベースは、キャプチャされたデータを保管し得る。キャプチャロジックモジュールは、バイオメトリック検知モジュールからバイオメトリックデータを受け取り、コンテクスト検知モジュールからコンテクストデータを受け取り、そして、バイオメトリックデータまたはコンテクストデータの少なくとも一つに基づいてキャプチャシナリオが存在するか否かを判断し得る。キャプチャロジックモジュールは、次に、少なくともキャプチャシナリオが存在するか否かの判断に基づいてコンテンツ検知モジュールからコンテンツデータを受け取り、少なくともコンテンツデータに基づいてデータをキャプチャするか否かを判断し、少なくともデータをキャプチャするか否かの判断に基づいてキャプチャモジュールにデータをキャプチャさせ、そして、キャプチャされたデータをキャプチャデータベースの中に保管させ得る。
一つの実施例において、デバイスは、さらに、通信モジュールを含んでよく、キャプチャロジックモジュールが、デバイスの外部でバイオメトリック検知モジュールの少なくとも一部とインタラクションできるようにし得る。通信モジュールは、さらに、キャプチャロジックモジュールが、デバイスの外部でコンテクスト検知モジュールの少なくとも一部とインタラクションできるようにし、かつ/または、キャプチャロジックモジュールが、デバイスの外部でキャプチャモジュールの少なくとも一部とインタラクションできるようにし得る。バイオメトリックデータは、例えば、デバイスのユーザの動作、デバイスのユーザのフォーカス、または、デバイスのユーザの興奮レベルのうち少なくとも一つを、バイオメトリック検知モジュールによって受け取られたデータに基づいて判断されるように、記述しているデータを含んでよい。コンテクストデータは、例えば、時間、日付、場所、シーン、近くのオブジェクト、または、近くの人々のうち少なくとも一つを、コンテクスト検知モジュールによって受け取られたデータに基づいて判断されるように、記述しているデータを含んでよい。コンテンツデータは、例えば、キャプチャ品質、美的品質、または、オブジェクト認識のうち少なくとも一つを、コンテンツ検知モジュールによって受け取られたデータに基づいて判断されるように、記述しているデータを含んでよい。
同一または別の実施例において、デバイスは、さらに、少なくとも部分的にデバイスの中に置かれたフィードバックデータベースを含んでよく、バイオメトリック検知モジュール、コンテクスト検知モジュール、コンテンツ検知モジュール、または、キャプチャモジュールのうち少なくとも一つのコントロールにおいて使用するためのクライテリアを生成するために、フィードバックデータをユーザに提供し得る。キャプチャロジックモジュールは、さらに、キャプチャモジュールにデータをキャプチャさせる以前に、キャプチャモジュールを構成してよい。キャプチャロジックモジュールは、さらに、拡張メタデータがキャプチャデータベースの中にキャプチャデータと関連して保管されるようにしてよく、拡張メタデータは、バイオメトリックデータ、コンテクストデータ、または、コンテンツデータのうち少なくとも一つに基づいている。加えて、キャプチャロジックモジュールは、さらに、オペレーションのモードを決定し、かつ、バイオメトリックデータまたはコンテクストデータのうち少なくとも一つに基づいてキャプチャシナリオが存在するか否かを判断する以前に、オペレーションのモードに基づいて少なくともバイオメトリックデータとコンテクストデータとの間の重み付けを設定してよい。本開示と一貫したデータキャプチャのダイナミックコントロールのための方法の例は、バイオメトリックデータを受け取るステップと、コンテクストデータを受け取るステップと、バイオメトリックデータまたはコンテクストデータの少なくとも一つに基づいてキャプチャシナリオが存在するか否かを判断するステップと、少なくともキャプチャシナリオが存在するか否かの判断に基づいてコンテンツデータを受け取るステップと、少なくともコンテンツデータに基づいてデータをキャプチャするか否かを判断するステップと、少なくともデータをキャプチャするか否かの判断に基づいてデータをキャプチャさせるステップと、キャプチャされたデータをキャプチャデータベースの中に保管させるステップと、含んでよい。
図1は、本開示の少なくとも一つの実施例に従って、データキャプチャのためのダイナミックコントロールに対する一つのシステム例を示している。最初に、用語「データキャプチャ(”data capture”)」は、ここにおいて参照されるように、電子機器によってあらゆるタイプのデータを記録することを含んでよい。データキャプチャを取り込んでいる典型的な状況は、モバイル通信機器、タブレットコンピューティングデバイス、等におけるカメラを使用してデジタル写真を撮ることである。しかしながら、データキャプチャは、また、オーディオ、ビデオ、環境データ(例えば、時間、日付、温度、場所、等)なども含んでよい。
一般的に、システム100は、例えば、検知されたデータをユーザの興味(user interest)に応じたクライテリアと比較することに基づいて、データキャプチャが望ましいであろう状況を判断し、そして、次に、直接的なユーザのインタラクションを要求することなくデータキャプチャをトリガーするように構成されてよい。従って、データキャプチャは、手動でデータキャプチャを操作している場合にユーザがどのように行動するであろうかを再現しようとするやり方で自立的に発生してよい。上記の機能を実行するために、システム100は、例えば、キャプチャモジュール102、キャプチャロジックモジュール104、バイオメトリック検知モジュール106、コンテクスト検知モジュール108、および、コンテンツ検知モジュール110(集合的に、モジュール102−110)を含んでよい。モジュール102−110は、同じデバイスの中に存在してよく、もしくは、モジュール102−110のいくつか又は全てが、様々な実施において分配されてよい。システム100の実施例が、以下に、そして、一つのデバイスコンフィグレーションの例に関する図2と併せて説明される。
キャプチャモジュール102は、本開示と一貫して、そのコントロールがキャプチャロジックモジュール104によって適用されているモジュールであってよい。キャプチャモジュールの少なくとも一つの例は、モバイル通信機器またはタブレットコンピューティングデバイスにおけるカメラ及び/又はマイクロフォンであってよく、デバイスは、また、キャプチャロジックモジュール104も含んでよい。代替的に、キャプチャモジュール102は、モジュール104−110から分離されてもよい。ウェアラブルカメラ及び/又はマイクロフォンデバイスの場合といったものである。例えば、キャプチャモジュール102は、アイウェア(eyewear)、ヘッドウェア(headwear)、ウェアラブルハーネス、等の中に統合されてよい。キャプチャロジックモジュール104は、バイオメトリック検知モジュール106、コンテクスト検知モジュール108、及び/又は、コンテンツ検知モジュール110から受け取ったデータを処理するため、および、処理されたデータに基づいてデータキャプチャをトリガーする場合/ときを判断するための処理リソース(processing resource)を含んでよい。
オペレーションの一つの例において、バイオメトリック検知モジュール106は、キャプチャロジックモジュール104に対してバイオメトリックデータを提供し得る。バイオメトリックデータは、ユーザの特性を判断するために使用され得るシステム100のユーザに取り付けられ、または、少なくともユーザの近傍にあるセンサから読み込まれたデータを含んでよい。特性の例は、気分、フォーカス、興奮レベル、等を含んでよい。コンテクスト検知モジュール108は、キャプチャロジックモジュール104に対してコンテクストデータを提供し得る。コンテクストデータは、その中にキャプチャロジックモジュール104が存在しているデバイスの中の、または、外部のリソースから判断される。コンテクストデータの例は、時間、日付、場所、特別なイベント、近くのオブジェクト、近くの人々、等を含んでよい。コンテンツ検知モジュール110は、キャプチャロジックモジュール104に対してコンテンツデータを提供し得る。コンテンツデータは、キャプチャモジュール102によって検知される際にキャプチャする可能性のあるデータに少なくとも部分的に基づいて判断される。コンテンツデータの例は、キャプチャ品質、美的品質、オブジェクト認識、等を含んでよい。最初に、キャプチャロジックモジュールは、キャプチャシナリオが存在するかを判断するために、少なくともバイオメトリックデータとコンテクストデータを考慮してよい。キャプチャシナリオは、ユーザコンフィグレーション、プリファレンス、フィードバック、等に基づいて、データをキャプチャすることが望ましい状況であってよい。キャプチャシナリオの例は、これらに限定されるわけではないが、スポーツイベント、教育、及び/又は、情報を提供するイベント、特別なイベント(例えば、家族のお祝い、誕生日パーティー、結婚式、等)、増加した興奮レベルを取り込み得るあらゆるシナリオ(例えば、エクストリームスポーツに参加していること、自動車事故、犯罪行為といった予期しないイベントを目撃していること、等)などを含んでよい。キャプチャシナリオが存在すると判断された場合には、次に、データキャプチャを動作化するときを決定するために、キャプチャロジックモジュール102が、コンテンツデータのモニタを始めてよい。例えば、キャプチャモジュール102がカメラを含むシナリオにおいては、キャプチャシナリオが存在するとの判断の後に続いて、カメラが動作化され、そして、カメラによってみられる画像が、キャプチャのために評価されてよい。例えば、カメラ画像は、画像コンテンツ、品質、美感、等に基づいて評価されてよい。キャプチャロジックモジュール104は、また、データをキャプチャするか否かを判断するときに、キャプチャされるデータとは関連のない要素(factor)を考慮に入れてもよい。例えば、処理負荷(load)、通信トラフィック、リソースの利用可能性(バッテリーレベル、データストレージスペース、等)、プライバシー問題、等といったものである。
キャプチャされたデータは、キャプチャデータベースにおいて保管されてよい。キャプチャされたデータは、拡張メタデータ(enhanced metadata)と共に保管されてよい。拡張メタデータは、ここにおいて参照されるように、キャプチャされたデータに対応し得る「データに関するデータ(”data about data”)」である。画像キャプチャの領域においては、Exchangeable Image File Format(EXIF)データが、デジタル写真と共に現在のところ保管されてよいが、時間、日付、地理位置情報、およびカメラセッティングに限られている。本開示と一貫して、EXIFタイプのメタデータは、バイオメトリックデータ、コンテクストデータ、および、コンテンツデータのうち少なくとも一つに基づいて、メタデータを用いて補足されてよい。拡張メタデータは、様々な用途を有してよい。例えば、拡張メタデータは、キャプチャされたデータをグループ化/フィルターするために使用されてよい。フィードバックデータベースの中にフィードバックとしてセーブ(save)され得るものの、ユーザによる、選択または削除である。例えば、セーブされたデータ(例えば、選択された画像)からの拡張メタデータは、キャプチャシナリオを決定するため、及び/又は、画像キャプチャをトリガーするための使用されるクライテリアを策定、及び/又は、洗練するために使用されてよい。クライテリアの例は、いつユーザがハッピーであり、怒り、興奮し、フォーカスされ、等であるか、どの時間、日付、場所、人々、等がデータキャプチャのための望ましいコンテクストを作り出すか、どんな品質、コンテンツ、美感がキャプチャされたデータを保持するために典型的に必要か、などを示すバイオメトリックデータの組み合わせを含んでよい。さらに、キャプチャシナリオの決定及び/又は画像キャプチャのトリガーは、また、システム100に対して設定された動作モードに基づいてもよい。例えば、ユーザは、スポーツ、社会、自然、等といった動作モードを手動で設定してよい。動作モードは、キャプチャロジックモジュール104がバイオメトリックデータ、コンテクストデータ、およびコンテンツデータをどのように評価するかに影響し得る重み付け(weighting)を含んでよい。例えば、スポーツモードにおいて、キャプチャロジックモジュール104は、バイオメトリックデータにより多くフォーカスし、ソーシャル(socail)モードにおいては、コンテクストデータが最も重要であり、そして、ナチュラル(natural)モードにおいては、コンテンツデータが最も重く重み付けされてよい。
図2は、デバイスに対して外部にあるシステムコンポーネントを伴なって、本開示の少なくとも一つの実施例に従って利用可能なデバイスに対するコンフィグレーション例を示している。システム100’は、少なくとも一つのデバイス200を含んでよい。一つの実施例において、デバイス200は、システム100’がオペレーションするために必要とされる全てのリソースを包含してよい。代替的に、デバイス200は、外部キャプチャモジュール216、少なくとも一つの外部センサモジュール222、及び/又は、リモートリソース228とインタラクションしてよい。デバイス200が、Google社からのAndroid(R)OS、Apple社からのiOS(R)、Microsoft社からのWindows(R)、Apple社からのMac OS、Linux(R) FoundationからのTizen OS、Mozilla ProjectからのFireFox OS、Blackberry社からのBlackberry(R)OS、Hewlett−Packard社からのPalm(R)OS、Symbian FoundationからのSymbian(R)OS、等に基づくセルラーハンドセットまたはスマートフォンといったモバイル通信機器、Apple社からのiPad(R)、Microsoft社からのSurface(R)、Samsung社からのGalaxy Tab(R)、Amazon社からのKindle Fire(R)、等のようなタブレットコンピュータ、Intel社によって製造された低電力チップセットを含むUltrabook(R)、ネットブック、ラップトップ、パームトップ、等といったモバイルコンピューティングデバイス、であってよいモバイルシナリオに対して、本開示の様々な実施例が、直ちに適用可能であり得る一方で、いくつかのインスタンスにおいては、デバイス200が、典型的に、デスクトップコンピュータ、サーバ、スマートテレビジョン、Intel社からのNext Unit of Computing(NUC)プラットフォームのようなスモールフォームファクタコンピューティングソリューション(例えば、スペース制限されたアプリケーション、TVセットトップボックス、等)などであってよいことも、また、予見できる。実際の実施にかかわらず、システム100’は、本開示と一貫した様々な実施例において使用可能である装置の単なる一つの例として意図されたものであり、そして、実施の特定のやり方に対して実施例を限定することを意味するものではない。
デバイス200は、例えば、デバイスオペレーションを管理するように構成されたシステムモジュール202を含んでよい。システムモジュール202は、例えば、処理モジュール204、メモリモジュール206、電力モジュール208、ユーザインターフェイスモジュール210、および、通信インターフェイスモジュール212を含んでよい。デバイス200は、また、通信モジュール212とキャプチャロジックモジュール104’も含んでよい。通信モジュール212とキャプチャロジックモジュール104’は、システムモジュール200から分離したものとして示されているが、図2において示される実施例は、単に説明目的のために、ここにおいて提供されてきたものである。通信モジュール212及び/又はキャプチャロジックモジュール104’の機能のいくつか又は全てが、システムモジュール200の中に組み込まれてよい。
デバイス200において、処理モジュール204は、別個のコンポーネントの中に置かれた一つまたはそれ以上のプロセッサ、もしくは、代替的に、一つのコンポーネント(例えば、システムオンチップ(SoC)コンフィグレーションにおけるもの)、および、あらゆるプロセッサ関連サポート回路(例えば、ブリッジインターフェイス、等)において具現化された一つまたはそれ以上のプロセッサコア、を含んでよい。プロセッサの例は、これらに限定されるわけではないが、Intel社から利用可能である様々なx86ベースのマイクロプロセッサを含んでよい。Pentium、Xeon、Itanium、Celeron,Atom、Core iシリーズの製品ファミリー、Advanced RISC(例えば、縮小命令セットコンピューティング)マシン、または、”ARM”プロセッサ、等におけるものを含むものである。サポート回路の例は、インターフェイスを提供するように構成されたチップセット(例えば、Intel社から利用可能なNothbrisge、Southbridge、等)を含んでよく、それを通じて処理モジュール204は、デバイス200の中で異なる速度、異なるバス、等において動作している他のシステムコンポーネントとインタラクションすることができる。サポート回路に共通して関連付けされるいくつか又は全ての機能は、また、プロセッサ(例えば、Intel社から利用可能なプロセッサのSandy Bridgeファミリーといったもの)として同一の物理的パッケージの中に含まれてもよい。
処理モジュール204は、デバイス200において様々なインストラクションを実行するように構成されてよい。インストラクションは、データ読出し、データ書込み、データ処理、データ系統化、データ変換、データ転換、等に関するアクティビティを処理モジュール204に実行させるように構成されたプログラムコードを含んでよい。情報(例えば、インストラクション、データ、等)は、メモリモジュール206の中に保管されてよい。メモリモジュール206は、固定またはリムーバブルな形式において、ランダムアクセスメモリ(RAM)または読出し専用メモリ(ROM)を含んでよい。RAMは、デバイス200のオペレーションの最中に情報を保持するように構成された揮発性メモリを含んでよい。例えば、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)といったものである。ROMは、デバイス200が動作化されているときにインストラクションを提供するために、BIOS、UEFI、等に基づいて構成された不揮発性(NV)メモリを含んでよい。電気的プログラム可能ROM(EPROM)、フラッシュ、等といったプログラム可能メモリである。他の固定の/リムーバブルなメモリは、これらに限定されるわけではないが、例えば、フロッピー(登録商標)ディスク、ハードドライブ、等といった磁気メモリ、半導体フラッシュメモリ(例えば、エンベッドマルチメディアカード(eMMC)、等)といった電子メモリ、リムーバブルメモリカードまたはスティック(例えば、マイクロストレージデバイス(uSD)、USB、等)、コンパクトディスクベースのROM(CD−ROM)、デジタルビデオディスク(DVD)、ブルーレイディスク、等といった光メモリ、を含んでよい。
電力モジュール208は、内部電源(例えば、バッテリー、燃料電池、等)及び/又は外部電源(例えば、電気機械式または太陽発電機、パワーグリッド(power grid)、燃料電池、等)、および、動作に必要な電力をデバイス200に供給するように構成された関連する回路、を含んでよい。ユーザインターフェイスモジュールは、ハードウェア及び/又はソフトウェアを含んでよく、例えば、様々な入力メカニズム(例えば、マイクロフォン、スイッチ、ボタン、ノブ、キーボード、スピーカ、タッチ感応サーフェス、画像をキャプチャし、及び/又は、近傍、距離、動作、ジェスチャ、方向、等を検知するように構成された一つまたはそれ以上のセンサ)、および、様々な出力メカニズム(例えば、スピーカ、ディスプレイ、照明され/フラッシュしているインジケータ、振動、動作、等のための電気機械式コンポーネント)、といったものとユーザがインタラクションできるようにする。ユーザインターフェイスモジュール210におけるハードウェアは、デバイス200の中に組み込まれてよく、及び/又は、有線または無線通信メディアを介してデバイス200に対して接続されてよい。
通信インターフェイスモジュール212は、パケットルーティング(routing)および通信モジュール214のための他のコントロール機能を管理するように構成されてよい。通信モジュールは、有線及び/又は無線通信をサポートするように構成されたリソースを含んでよい。いくつかのインスタンスにおいて、デバイス200は、一つ以上の通信モジュール214(例えば、有線プロトコル及び/又は無線ラジオのための別個の物理的インターフェイスモジュールを含む)を含んでよく、全てが、集中化された通信インターフェイスモジュール212によって管理されている。有線通信は、例えば、イーサネット(登録商標)、ユニバーサルシリアルバス(USB)、Firewire、デジタルビデオインターフェイス(DVI)、高精度マルチメディアインターフェイス(HDMI(R))、等といった、シリアルおよびパラレル有線メディアを含んでよい。無線通信は、例えば、近接(close−proximity)無線メディア(例えば、近距離通信(NFC)標準に基づくといったラジオ周波数(RF)、赤外線(IR)、等)、近距離(short−range)無線メディア(例えば、ブルートゥース(登録商標)、WLAN、Wi−Fi、等)、遠距離(long range)無線メディア(例えば、セルラー広域ラジオ通信技術、衛星ベース通信、等)、または、音波を介した電子通信を含んでよい。一つの実施例において、通信インターフェイスモジュール212は、通信モジュール214の中でアクティブな無線通信をお互いが干渉することから防ぐように構成されてよい。この機能の実行において、通信インターフェイスモジュール212は、例えば、送信を待っているメッセージの相対的な優先度に基づいて、通信モジュール214に対するアクティビティをスケジュールしてよい。図2において開示される実施例は、通信モジュール214から離れている通信インターフェイスモジュール212を示しているが、通信インターフェイスモジュール212と通信モジュール214のいくつか又は全てについて、同一のモジュールの中に組み込まれることも可能である。
キャプチャロジックモジュール104’は、システム100’の特定の実施に応じて、少なくともメモリモジュール206、ユーザインターフェイスモジュール210、及び/又は、通信モジュール214とインタラクションしてよい。例えば、システム100’によって必要とされる全てのリソースがデバイス200において利用可能である場合、キャプチャロジックモジュール104’は、そして、バイオメトリックデータ、コンテクストデータ、及び/又は、コンテンツデータを獲得するためにユーザメモリモジュール206とインタラクションしてよく、かつ、ユーザインターフェイスモジュール210と関連付けされたキャプチャ装置(例えば、カメラ、マイクロフォン、等)にデータキャプチャを開始させるためにユーザインターフェイスモジュール210とインタラクションしてよい。代替的に、キャプチャロジックモジュール104’によって必要とされるリソースのいくつか又は全てが、デバイス200の外側に配置される分散実施(distributed implementation)も、また、可能である。ユーザが所有し得る(例えば、ユーザによって身に付けられ、または、運ばれ得るもの)システム100’における外部デバイスの例は、破線214の中に包囲されていることによって特定される。外部キャプチャモジュール216は、例えば、少なくとも通信モジュール218とキャプチャ装置220を含んでよい。一つの実施例において、外部キャプチャモジュール216は、通信モジュール216を介して無線のインタラクションができるカメラ及び/又はマイクロフォンといった、ウェアラブルデバイスであってよい。このインスタンスにおいて、キャプチャロジックモジュール104’は、外部キャプチャモジュール216からデータを受け取り、かつ、データを送信するために通信モジュール214とインタラクションし得る。キャプチャロジックモジュール104’とキャプチャ装置220との間の通信は、例えば、データキャプチャ装置220においてデータキャプチャを動作化し、構成し、及び/又は、トリガーするためのインストラクション、インストラクションの確認(confiramation)、エラーメッセージ、等を含んでよい。同様に、バイオメトリック検知モジュール106、コンテクスト検知モジュール108、及び/又は、コンテンツ検知モジュール110のいくつか又は全ては、デバイス200の外側に置かれてよい。例えば、一つまたはそれ以上のセンサモジュール222は、ユーザによって身に付けられてよく、そして、少なくとも、通信モジュール224とセンサ装置226を含んでよい。キャプチャロジックモジュール104’は、データを獲得するためにセンサモジュール222にアクセスするときは、通信モジュール214を使用してよい。コンフィグレーション、等のためである。センサ装置226は、バイオメトリックデータ、コンテクストデータ、またはコンテンツデータのうち少なくとも一つを検知するものであってよい。センサ装置226によって検知され得るデータのより特定的な例は、図3に関して説明される。リモートリソース228は、例えば、少なくとも通信モジュール230と処理リソース232を含んでよい。リモートリソース228の一つの例は、ネットワーク接続(例えば、クラウドコンピューティングアーキテクチャにおいて構成されたもの)を介してアクセス可能な少なくとも一つのサーバを含んでよい。オペレーションの一つの例において、リモートリソース228は、外部に保管されたユーザに関するデータを、通信モジュール214を介してキャプチャロジックモジュール104’(例えば、及び/又は、デバイス200における他のモジュール106−110のコンポーネント)に対して提供するように構成されてよい。備えられ得るデータのより特定的な例は、図3に関して説明される。
図3は、本開示の少なくとも一つの実施例に従って、データキャプチャをトリガーするための判断ロジックに寄与するデータフローの一つの例を示している。最初に、キャプチャロジックモジュール104は、いつキャプチャシナリオが存在し、かつ、いつデータキャプチャを開始するかを判断するために少なくとも一つの学習エンジン(learning engine)、及び/又は、他の同様な論理アーキテクチャを含んでよいことを理解することが重要である。この判断は、ユーザープリファレンスに基づいて確立されたクライテリアに対して、バイオメトリック検知モジュール106’、コンテクスト検知モジュール108’、およびコンテンツ検知モジュール110’によって提供されたデータを比較することに基づいて行われてよい。キャプチャロジックモジュール104によって引き受けられるデータ処理は、モジュール106’から110’までと比較して、コンフィグレーションに応じて変動してよい。例えば、全ての生データ(raw data)の処理は、キャプチャロジックモジュール104の中で実行されてよく、モジュール106’から110’までを単なるデータ収集者として動作するように追いやっている。分散されたシステムモジュール106’から110’までは、少なくともいくつかの生データ処理を実行してよく、その最終結果が、論理判断(例えば、ユーザがハッピーである、ユーザが家にいる、ユーザがフォーカスされている、等)として、キャプチャロジックモジュール104に対して提供されてよい。2つの極端の間に位置する組み合わせも、また、考えられる。キャプチャシナリオの決定及び/又はデータキャプチャは、また、動作モード(例えば、システム100が、動作モードが設定される機能を含むかどうか)に基づいてもよいことに留意することが重要である。動作モードの機能がないと、モジュール106’から110’までによって提供されるデータは、均等に、または、固定された重み付けに基づいて考慮され得る。変動する動作モードの導入により、ユーザは、キャプチャシナリオ(例えば、スポーツ、懇親会(socaila gathering)、等)、キャプチャされるべきデータ(例えば、動いている対象者、静止している対象者、すぐ近くの画像、ワイド領域の画像、ナチュラル設定、アーバン(urban)設定、等)、などに基づいて重み付けを変更し得る動作モードを手動で(例えば、ユーザインターフェイスモジュール210を介して)設定することができる。重み付けは、例えば、キャプチャされているデータの品質について最も重要であり、または、最も関連するものと思われるクライテリアに基づいてよい。実施例は、スポーツモードにおいては、興奮の時の最中にデータをキャプチャするために、バイオメトリックデータをより重く重み付けすること、激しい設定(frenetic setting)であり得るものの中で適切なデータをキャプチャすることができるように、ソーシャルモードにおいては、コンテクストデータをより重く重み付けすること、設定に係る自然美(natural beauty)を確保するために、ナチュラルモードにおいては、コンテンツトデータを最も重要に重み付けすること、などを含んでよい。
バイオメトリック検知モジュール106’は、デバイス200のユーザの現在の性質(disposition)に関するセンサデータ300を受け取るように構成されてよい。例えば、センサデータ300は、センサモジュール222によって提供されてよい。バイオメトリック検知モジュール106’によって、収集、及び/又は、処理され得るデータのカテゴリーの例は、ユーザの動作、フォーカス、気分、等を含んでいる。動作は、ユーザが現在、活動に従事していること、静止していること、および、イベントを観察することにフォーカスしていること、等を示してよい。これらの状況は、データキャプチャを動作化する必要性を示してよい。動作は、例えば、GPS座標、加速度センサ、等に基づいて、速度及び/又は加速度の観点で測定されてよい。フォーカスも、また、データキャプチャを始めるインジケータであってよく、そして、頭の位置、目のフォーカス、等を通じて判断されてよい。フォーカスは、例えば、ユーザの目がフォーカスされているところ、イメージキャプチャデバイスに対して見える画像がしばらくの間変化していないとき、等を示す、少なくとも一つのウェアラブル画像キャプチャデバイス(例えば、外部キャプチャモジュール216)によってキャプチャされた画像を介して、測定され得る。ユーザの気分は、興奮レベルを含む様々な要因を使用して判断されてよい。例えば、ユーザが興奮しているとすれば、データキャプチャを開始するのに好都合な時間であり得る。興奮レベルは、例えば、ユーザの鼓動、話し方、ガルバニック皮膚反応(GSR)、等を検知するように構成されている。
例えば、図4は、GSRにおいて興奮レベルがどのように判断され得るかを開示する。皮膚電位(EDA)値は、高度な覚醒と相関し得ること、および、高レベルの覚醒は、高レベルのチャレンジ、フラストレーション、及び/又は、興奮の指標であり得ることを示している。EDAを測定するための少なくとも一つの信頼できるやり方は、GSRセンサを通じたものである。例えば、データキャプチャの動作化、及び/又は、データキャプチャの割合は、判断された興奮レベルに基づいてコントロールされてよい。図4は、この関係を実証しており、興奮レベルが(例えば、センサモジュール222において具現化されたGSRセンサによって測定されるように)時間に対してプロットされている。チャート400におけるデータキャプチャ402のインスタンスは、モニタされた興奮レベルにおける増加に応じて、増加する(例えば、より密集する)ように示されている。興奮レベルにおける増加は、楽しいイベントのせいで生じ得るだけでなく、怪我、自動車事故、犯罪行為の目撃、等といった、悪い又は衝撃的なイベントとも関連付けされ得る。キャプチャされたデータが、医療提供者、保険業者、法執行機関、等に対して提供され得るといったインスタンスにおいては、データキャプチャを増加することが有益であり得る。興奮が小さくなると、データキャプチャの密度は、同様に減少してよい。
図3を参照すると、コンテクスト検知モジュール108’は、デバイス200のユーザを取り巻くい現在の状況を、コンテクストが良く知られたもの、望ましいもの、等であるかを判断するように次に評価され得るコンテクストの中へ入れるために、データを収集してよい。キャプチャロジックモジュール104に対して提供され得るコンテクストデータは、上述のように、生の収集されたデータを含んでよく、または、代替的に、特定のコンテクスト(例えば、家、仕事、学校、誕生日パーティー、等)の判断を含んでよい。コンテクスト検知モジュール108’によって収集され得る生のコンテクストデータ302の例は、時間、日付、シーン(scene)、近くのオブジェクト、近くの人々、等を含んでよい。時間、日付、および場所のデータは、デバイス200のOSを通じて直ちに利用可能である。シーンは、近くのオブジェクト/人々も同様に、様々なソースから獲得されてよい。例えば、コンテクスト検知モジュール108’及び/又はキャプチャロジックモジュール104は、興味のシーンおよび近くの人々/オブジェクトを判断するために、スケジューリング(scheduling)アプリケーション、ソーシャルメディアアプリケーション、メッセージアプリケーション、等といった、デバイス20において実行されているアプリケーションにアクセスすることができてよい。スケジューリングとソーシャルメディアは、特定の日、特定の時間、等におけるユーザの現在の位置に関連があり得る重要なイベントを特定してよい。さらに、データは、また、計画されたイベントを判断するために、リモートリソース228から直接的に(例えば、デバイス200において存在するアプリケーションを通じていくことなく)獲得されてもよい。ユーザに対して最も近い興味の人々を決定するための知り合い/友人/家族の場所、記念建造物、公園、歴史的興味の場所といった興味の場所の位置、等である。上記のデータは、現在のユーザのコンテクストがデータキャプチャが望まれ得るシナリオを構成するか否かを判断するために、単独または組み合わせにおいて評価されてよい。
バイオメトリックデータまたはコンテクストデータの少なくとも一つに基づいてキャプチャシナリオが存在することが判断された、とすれば、次に、コンテンツ検知モジュール110’は、キャプチャデータ304の収集を開始してよい。例えば、キャプチャロジックモジュール104は、キャプチャモジュール104’を動作化してよく、そして、いつデータをキャプチャするかを判断するために、コンテンツ検知モジュール110’及び/又はキャプチャロジックモジュール104によってデータのライブフィード(live feed)が評価されてよい。データキャプチャをトリガーするための判断は、例えば、キャプチャ品質、美的品質、オブジェクト認識、等を含むデータキャプチャをいつ手動でトリガーするかを知るためにユーザが使用し得るデータと同じタイプのデータに基づいてよい。キャプチャ品質は、フォーカス、照明レベル、サリエンシー(saliency)、等の構成要素となる。例えば、写真/ビデオに対してサリエンシーマップが生成されてよく、そして、カメラビューの中に望ましいコンテンツが存在するか否かを判断するために使用されてよい。サリエンシーレベルが高いときにデータがキャプチャされ得る。例えば、画像Iのテクスチャサリエンシー(texture saliency)の一つの単純な測定は、画像におけるそれぞれのブロックに対する経験的分散(empirical variance)を計算することによって獲得され得る。画像における所定のブロックBについて、我々は最初に中央値(mean)を評価する。
Figure 0006434137
ここで、|B|は、ブロックにおけるピクセルの数量であり、そして、μ^は、サンプルの中央値である。無作為のサンプル分散は、そして、以下のとおりである。
Figure 0006434137
それぞれのブロックの中で評価された分散は、画像におけるテクスチャの量に関する良好なインジケータであり得る。例えば、一色だけを伴う平坦なブロック(plain block)は、ゼロ分散を有し、そして、従って、ゼロテクスチャサリエンシーを有する。高度にテクスチャされたブロックは、多くの色の変化を有し、そして、従って、高い分散の評価を有する(例えば、高いサリエンシー)。データキャプチャをトリガーするかどうかを判断するために使用される実際のアルゴリズムは、例えば、デバイス200における処理能力の量に基づいて選択されてよい。例えば、テクスチャサリエンシーは、人々がしばしば間違えて撮影してしまうランダムなテクスチャなしの写真を排除するために使用されてよい。壁のような平坦な表面の写真といったものである。加えて深度サリエンシーが、ウェアラブル/モバイルなプラットフォームにおけるキャプチャデバイスのために抽出され得る。深度は、シーンにおいて他のオブジェクトよりも著しく近くに一つのオブジェクトを有することが、このオブジェクトにユーザが特に興味があることを暗示しているという直観的な仮定に基づいて、より近いオブジェクトに対してより高いサリエンシーを割り当てるために使用され得る。一つの実施例において、美的品質は、コンポジション(composition)、照明、カラーコンパチビリティ(color compatibility)、等といった、既存の写真ルールに対して、画像を評価することによって判断されてよい。分析結果が、写真に対してスコアを割り当ててよい。キャプチャロジックモジュール104は、次に、写真を撮影する、それを廃棄する、または、後の使用のためにスコアを単に記録する、かどうかを決定するためにスコアを使用し得る。さらに、様々なオブジェクトについて、キャプチャの可能性があるデータにおいて認識することもできる。例えば、キャプチャの可能性があるデータが人々を含んでいるという認識は、人々を含んでいる写真の嗜好を示してきたユーザに対してデータをキャプチャする方へバイアスをかけ得る。
モジュール106’−110’の寄与に基づいて、システム100の振るまいは、全ての要因の評価に基づいて調整されてよい。ニューラルネットワークといった、機械学習(machine learning)およびデータマイニング(data mining)のツールを通じて、モデルは、多くの要因を用いて訓練され得る。モデルの訓練は、フィードバックデータベース306によって提供されるフィードバックデータベースに基づいてよい。一つの実施例において、フィードバックデータベース306は、以前にキャプチャされたデータに関するユーザ生成フィードバック情報を保持してよい。ユーザ生成フィードバック情報は、ユーザ及び/又は他の関係者によって生成されたキャプチャデータに対して主観的及び/又は意図的な反応を含んでよい。キャプチャされたデータが示される、例えば、ユーザの家族、友人(例えば、ソーシャルネットワーク)、職業上の同僚、ユーザとして同一または類似の活動(例えば、スポーツ、趣味、等)における参加者、等といった人である。フィードバック情報の例は、キャプチャされたデータとのユーザのインタラクション(例えば、削除、保管、eメール、再フォーカス、拡大、クロップ(cropping)、等)、Flikrの評価、Facebookの「いいね(”Likes”)」、Twitterの「ツイート(”Tweets”)」及び/又は「再ツイート(”Retweets”)」、等といった、オンラインインタラクションを含んでよい。フィードバック情報は、例えば、デバイス200において実行しているアプリケーションから、リモートリソース228から直接的に、等で利用可能であってよい。同じ又は異なる実施例において、フィードバックデータベース306は、また、ユーザが保管したキャプチャされたデータに対する最終的に削除されたキャプチャされたデータに関する拡張メタデータも含んでよい。拡張メタデータの例は、例えば、データがキャプチャされた時のユーザの気分、フォーカス、活動、等、データがキャプチャされたときの時間、日付、場所、イベント相関、等、データのコンテンツ、等を含んでよい。フィードバック情報及び/又は拡張メタデータから派生するデータは、将来のキャプチャシナリオの決定及び/又はキャプチャのトリガーのためのクライテリアを形成するためにモデルに対してフィードされてよい。一つの実施例において、フィードバックデータベース306は、ユーザに対する使用データの履歴を含んでよく、そして、コンテクスト、ユーザ、および、キャプチャされる可能性があるデータについてより高いレベルの理解を生成するように生のセンサデータを分析するためのパーソナル化されたベースラインおよびパターンを提供してよい。モデルの訓練に加えて、フィードバックデータベースは、また、キャプチャロジックモジュール104及び/又はモジュール106’−110’のオペレーションを構成するためにも(例えば、キャプチャロジックモジュール104によって)使用されてよい。例えば、データキャプチャをいつトリガーするか、データキャプチャをどのように構成すべきか、収集されたデータのタイプ、データサンプル解像度、データサンプル割合、データ収集を要しない所定のアクティビティに対する非活動の期間(例えば、イベントにおいてユーザが座っているときには移動トラッキングは必要とされないだろう)、等に関するものである。
図5は、本開示の少なくとも一つの実施例に従って、データキャプチャの一つの例を示している。特に、図5は、データがキャプチャされるべきであるとキャプチャロジックモジュール104によって判断された後に生じ得ることの一つの例を示している。キャプチャモジュール102’は、例えば、キャプチャロジックモジュール104によって提供されるコンフィグレーションに基づいて、キャプチャされたデータ500を生成するように構成されてよい。コンフィグレーションは、例えば、キャプチャ持続時間、キャプチャ割合、キャプチャ品質レベル(例えば、解像度、色レベル、ビットサンプルレート、等)などを含んでよい。キャプチャモジュール102’が画像及び/又はビデオをキャプチャするために少なくとも画像キャプチャ装置(例えば、カメラ)を含んでいる一つの例において、キャプチャモジュール102’の一つのコンフィグレーション例は、所定の割合(例えば、動的なものであってよい)でキャプチャする画像の数量を示す画像キャプチャマルチプル(multiple)及び/又はインターバル、スリープ/ウェイクアップインターバル、および、ズーム、画像解像度、ISO、開口、シャッタースピード、フラッシュ行為、等といった他のカメラ特有の設定、を含んでよい。キャプチャモジュール102’のコンフィグレーションは、バイオメトリックデータ、コンテクストデータ、及び/又は、コンテンツデータに基づくだけでなく、デバイス機能、プロセッサローディング、利用可能なリソース(例えば、ストレージスペース、電力レベル、等)などといった、デバイス中心データを含んでもよい。
キャプチャに続いて、キャプチャされたデータ500は、キャプチャデータベース502の中に保管されてよい。キャプチャデータベース502は、デバイス200の中にあってよい。代替的に、キャプチャデータベース502の少なくとも一部は、デバイス200の外側に(例えば、リモートリソース228において)置かれてよく、そこで、キャプチャモジュール102は、キャプチャされたデータ500が、リアルタイム、定期的、等でキャプチャデータベース502に対して送信されるようにしてよい。キャプチャデータベース502の少なくとも一部がデバイス200の外部である一つの例は、デバイス200が喪失または損傷、等された場合に、追加のストレージスペース、冗長ストレージ(redundant storage)を考慮し得ることにおいて有益である。一つの実施例において、データは、拡張メタデータ504と共に保管されてよい。拡張メタデータ504は、バイオメトリックデータ、コンテクストデータ、または、コンテンツデータのうち少なくとも一つに基づいてよい。拡張メタデータ504の包含は、キャプチャ後の(post−capture)処理(例えば、グループ化、または、そうでなければキャプチャされたデータ500のソーティングにおけるもの)に役立ち得るだけでなく、キャプチャシナリオが特定、及び/又は、データキャプチャがトリガーされる方法を精錬するためにフィードバックデータベース306に対して提供され得る。一つの実施例において、フィードバックデータベース306とキャプチャデータベース502は、実際には同一のデータベースであってよく、または、共通データストレージ領域のいくつかを少なくとも共有してよい。デバイス200のメモリの中で重複(duplication)を回避し、かつ、スペースを節約するためである。
図6は、本開示の少なくとも一つの実施例に従って、データキャプチャのためのダイナミックコントロールに対するオペレーションの例を示している。オペレーション600においては、システムが動作化され得る。オペレーション602から604までは、システムが複数のモード機能性を有するか否かにそれらの存在が依存し得るので任意的なものであってよい。オペレーション602においては、動作モードが判断され得る。オペレーション602において判断された動作モードは、次に、オペレーション604においてデータの重み付けを決定するために使用されてよい。オペレーション606においては、少なくともバイオメトリックデータとコンテクストデータが判断され得る。次に、オペレーション608においては、オペレーション606において獲得されたバイオメトリックデータとコンテクストデータのうち少なくとも一つに基づいて、キャプチャシナリオが存在するか否かについて判断がなされ得る。キャプチャシナリオが存在しないという判断の後には、オペレーション606への戻り(return)が続いてよく、追加のバイオメトリックデータ及び/又はコンテクストデータが判断され得る。
オペレーション608において、キャプチャシナリオが存在すると判断された場合には、次に、コンテンツデータがオペレーション610において判断され得る。判断は、そして、オペレーション612において、データキャプチャをトリガーするか否かにつてなされ得る。オペレーション612におけるデータキャプチャをトリガーしない判断の後には、キャプチャシナリオを再分析するためにオペレーション608への戻りが続いてよい。オペレーション612において、データキャプチャがトリガーされるべきであると判断された場合、次に、オペレーション614において、データがキャプチャされ、そして、オペレーション616において、キャプチャされたデータベースが拡張メタデータと共に保管されてよい(例えば、キャプチャデータベースの中)。オペレーション618から620までは、オペレーション616の後で直ちにそれらが発生することを要しないので、任意的であってよい。オペレーション618においては、例えば、ユーザ生成のフィードバック情報、拡張メタデータ、等に基づいて、フィードバックデータが判断されてよい。結果として生じるフィードバックデータは、オペレーション620において、フィードバックデータベースの中に保管されてよい。キャプチャシナリオ、及び/又は、データキャプチャをいつトリガーするかを判断するために使用されるコントロールクライテリアは、次に、変更され、そして、システムを精錬するためにフィードバックされ得る。例えば、コントロールクライテリアは、異なるモードに対してどのように重み付けが設定されるか、バイオメトリックデータ、コンテクストデータ、及び/又は、コンテンツデータがどのように分析されるか、キャプチャシナリオがどのように判断されるか、データキャプチャがどのようにトリガーされるか、等を変更し得る。
図6は、一つの実施例に従ってオペレーションを説明しているが、他の実施例については図6において示された全てのオペレーションが必要であるとは限らないことが理解されるべきである。実際に、本開示の他の実施例においては、図6において示されたオペレーション、及び/又は、ここにおいて説明された他のオペレーションが、どの図面においても特定的に示されていないやり方で組み合わされてよく、それでもなお、本開示と完全に一貫していることが、ここにおいて完全に考慮される。従って、一つの図面において必ずしも示されていない機能及び/又はオペレーションに向けた請求項は、本開示の範囲およびコンテンツの中にあるものと考えられる。
この明細書および請求項において使用されるように、「及び/又は(”and/or”)」によって結合されたアイテムのリストは、リストされたアイテムのあらゆる組み合わせを意味し得るものである。例えば、フレーズ「A、B、及び/又は、C」は、A、B、C、AとB、AとC、BとC、または、AとBとC、を意味し得る。この明細書および請求項において使用されるように、「少なくとも1つの(”at least one of”)」によって結合されたアイテムのリストは、リストされた用語のあらゆる組み合わせを意味し得るものである。例えば、フレーズ「A、B、またはCのうち少なくとも1つ」は、A、B、C、AとB、AとC、BとC、または、AとBとC、を意味し得る。
ここにおいてあらゆる実施例において使用されるように、用語「モジュール(”module”)」は、上記のあらゆるオペレーションを実施するように構成されたソフトウェア、ファームウェア、及び/又は、回路を参照してよい。ソフトウェアは、コンピュータで読取り可能な固定の記録媒体上に記録されたソフトウェアパッケージ、コード、インストラクション、インストラクションセット、及び/又は、データとして具体化されてよい。ファームウェアは、メモリデバイスの中にハードコードされた(hard−coded)(例えば、不揮発性の)コード、インストラクションまたはインストラクションセット、及び/又は、データとして具体化されてよい。「回路”circuitry”」は、ここにおけるあらゆる実施例において使用されるように、例えば、単独もしくはあらゆる組み合わせにおいて、ハードワイヤード(hardwired)回路、一つまたはそれ以上の個別のインストラクション処理コアを含んでいるコンピュータプロセッサといったプログラマブル回路、状態機械回路、及び/又は、プログラマブル回路によって実行されるインストラクションを保管するファームウェア、を含んでよい。モジュールは、集合的または個別的に、より大きなシステムの一部分を形成する回路として具体化されてよい。例えば、集積回路(IC)、システムオンチップ(SoC)、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、等である。
ここにおいて説明されたあらゆるオペレーションは、一つまたはそれ以上のプロセッサによって実行されるときに本方法を実行するインストラクションを、個別もしくはあらゆる組み合わせにおいて、保管している一つまたはそれ以上の記録媒体(例えば、固定の記録媒体)を含むシステムにおいて実施されてよい。ここで、プロセッサは、例えば、サーバCPU、モバイルデバイスCPU、及び/又は、他のプログラマブル回路を含んでよい。また、ここにおいて説明されたオペレーションは、一つ以上の異なる物理的な場所にある処理構成(processing structure)といった、複数の物理的装置にわたり分配されてよいことも意図されている。記録媒体は、あらゆるタイプの有形の媒体を含んでよい。例えば、ハードディスク、フロッピー(登録商標)ディスク、光ディスク、コンパクトディスク読み出し専用メモリ(CD−ROM)、再書き込み可能コンパクトディスク(CD−RW)、および光磁気ディスクを含むあらゆるタイプのディスク、読み出し専用メモリ(ROM)、ダイナミックおよびスタティックRAMといったランダムアクセスメモリ(RAM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、フラッシュメモリ、といった半導体デバイス、半導体ディスク(SSD)、エンベッドマルチメディアカード(eMMC)、セキュアデジタル入力/出力(SDIO)カード、磁気または光カード、もしくは、電子的インストラクションを保管するために適切なあらゆるタイプの媒体、である。他の実施例が、プログラムマブルコントロールデバイスによって実行されるソフトウェアモジュールとして実施されてよい。
このように、この明細書は、データキャプチャのためのダイナミックコントロールに向けたものである。デバイスは、バイオメトリック検知モジュールからのバイオメトリックデータ、コンテクスト検知モジュールからのコンテクストデータ、または、コンテンツ検知モジュールからのコンテンツデータのうち少なくとも一つを受け取るためのキャプチャロジックモジュールを含んでよい。キャプチャロジックモジュールは、バイオメトリックデータとコンテクストデータの少なくとも一つに基づいてキャプチャシナリオが存在するかを判断し得る。判断は、動作モードに基づいて重み付けされてよい。キャプチャシナリオが存在すると判断された場合、キャプチャロジックモジュールは、次に、少なくともコンテンツデータに基づいて、データをキャプチャするか否かを判断し得る。キャプチャされたデータは、デバイスにおけるキャプチャデータベースの中に保管されてよい(例えば、バイオメトリックデータ、コンテクストデータ、または、コンテンツデータのうち少なくとも一つに基づいた拡張メタデータと共に)。デバイスは、また、フィードバックデータを含んでいるフィードバックデータベースを有してよい。
以降の例は、さらなる実施例に関する。本開示に係る以降の例は、以下に提供されるように、デバイス、方法、実行されると本方法に基づいてマシンにアクトを実行させるインストラクションを保管するための少なくとも一つのマシンで読取り可能な媒体、データキャプチャのためのダイナミックコントロールに対する方法及び/又はシステムに基づいてアクトを実行するために手段、といった技術的事項を含んでよい。
実施例1に従って、データキャプチャをコントロールするためのデバイスが提供される。デバイスは、キャプチャされたデータを保管するためのキャプチャデータベースとバイオメトリック検知モジュールからバイオメトリックデータを受け取るキャプチャロジックモジュールを含んでよく、バイオメトリックデータまたはコンテクストデータの少なくとも一つに基づいてキャプチャシナリオが存在するか否かを判断し、コンテクスト検知モジュールからコンテクストデータを受け取り、少なくともキャプチャシナリオが存在するか否かの判断に基づいてコンテンツ検知モジュールからコンテンツデータを受け取り、少なくともコンテンツデータに基づいてデータをキャプチャするか否かを判断し、少なくともデータをキャプチャするか否かの判断に基づいてキャプチャモジュールにデータをキャプチャさせ、かつ、キャプチャされたデータをキャプチャデータベースの中に保管させ得る。
実施例2は、実施例1のエレメントを含んでよく、そして、さらに、通信モジュールを含んでよく、キャプチャロジックモジュールが、デバイスの外部でバイオメトリック検知モジュールの少なくとも一部とインタラクションできるようにする。
実施例3は、実施例2のエレメントを含んでよく、通信モジュールは、さらに、キャプチャロジックモジュールが、デバイスの外部でコンテクスト検知モジュールの少なくとも一部とインタラクションできるようにする。
実施例4は、実施例2のエレメントを含んでよく、通信モジュールは、さらに、キャプチャロジックモジュールが、デバイスの外部でキャプチャモジュールの少なくとも一部とインタラクションできるようにする。
実施例5は、実施例1から4いずれかのエレメントを含んでよく、バイオメトリックデータは、デバイスのユーザの動作、デバイスのユーザのフォーカス、または、デバイスのユーザの興奮レベルのうち少なくとも一つを、バイオメトリック検知モジュールによって受け取られたデータに基づいて判断されるように、記述しているデータを含む。
実施例6は、実施例1から4いずれかのエレメントを含んでよく、コンテクストデータは、時間、日付、場所、シーン、近くのオブジェクト、または、近くの人々のうち少なくとも一つを、コンテクスト検知モジュールによって受け取られたデータに基づいて判断されるように、記述しているデータを含む。
実施例7は、実施例1から4いずれかのエレメントを含んでよく、コンテンツデータは、キャプチャ品質、美的品質、または、オブジェクト認識のうち少なくとも一つを、コンテンツ検知モジュールによって受け取られたデータに基づいて判断されるように、記述しているデータを含む。
実施例8は、実施例1から4いずれかのエレメントを含んでよく、デバイスは、さらに、少なくとも部分的にデバイスの中に置かれたフィードバックデータベースを含み、バイオメトリック検知モジュール、コンテクスト検知モジュール、コンテンツ検知モジュール、または、キャプチャモジュールのうち少なくとも一つのコントロールにおいて使用するためのクライテリアを生成するために、フィードバックデータを提供する。
実施例9は、実施例8のエレメントを含んでよく、フィードバックデータは、ユーザ生成のフィードバック、または、キャプチャされたデータと関連する拡張メタデータを含む。
実施例10は、実施例9のエレメントを含んでよく、ユーザ生成のフィードバックは、キャプチャされたデータとのユーザインタラクション、または、キャプチャされたデータに関する他の人のオンラインインタラクションのうち少なくとも一つを含む。
実施例11は、実施例1から4いずれかのエレメントを含んでよく、キャプチャロジックモジュールは、さらに、キャプチャモジュールにデータをキャプチャさせる以前に、キャプチャモジュールを構成する。
実施例12は、実施例11のエレメントを含んでよく、キャプチャモジュールの構成は、キャプチャマルチプル、キャプチャ割合、または、キャプチャ品質のうち少なくとも一つの構成を含む。
実施例13は、実施例1から4いずれかのエレメントを含んでよく、キャプチャロジックモジュールは、さらに、拡張メタデータがキャプチャデータベースの中にキャプチャデータと関連して保管されるようにし、拡張メタデータは、バイオメトリックデータ、コンテクストデータ、または、コンテンツデータのうち少なくとも一つに基づいている。
実施例14は、実施例1から4いずれかのエレメントを含んでよく、キャプチャロジックモジュールは、さらに、オペレーションのモードを決定し、かつ、バイオメトリックデータまたはコンテクストデータのうち少なくとも一つに基づいてキャプチャシナリオが存在するか否かを判断する以前に、オペレーションのモードに基づいて少なくともバイオメトリックデータとコンテクストデータとの間の重み付けを設定する。
実施例15は、実施例1のエレメントを含んでよく、そして、さらに、通信モジュールを含んでよく、キャプチャロジックモジュールが、デバイスの外部のバイオメトリック検知モジュールの一部、デバイスの外部のコンテクスト検知モジュールの少なくとも一部のうち少なくとも一つとインタラクションできるようにする。
実施例16は、実施例1から4いずれかのエレメントを含んでよく、バイオメトリックデータは、デバイスのユーザの動作、デバイスのユーザのフォーカス、または、デバイスのユーザの興奮レベルのうち少なくとも一つを、バイオメトリック検知モジュールによって受け取られたデータに基づいて判断されるように、記述しているデータを含み、コンテクストデータは、時間、日付、場所、シーン、近くのオブジェクト、または、近くの人々のうち少なくとも一つを、コンテクスト検知モジュールによって受け取られたデータに基づいて判断されるように、記述しているデータを含み、そして、コンテンツデータは、キャプチャ品質、美的品質、または、オブジェクト認識のうち少なくとも一つを、コンテンツ検知モジュールによって受け取られたデータに基づいて判断されるように、記述しているデータを含む。
実施例17に従って、データキャプチャのダイナミックコントロールのための方法が提供される。本方法は、バイオメトリックデータを受け取るステップと、コンテクストデータを受け取るステップと、バイオメトリックデータまたはコンテクストデータの少なくとも一つに基づいてキャプチャシナリオが存在するか否かを判断するステップと、少なくともキャプチャシナリオが存在するか否かの判断に基づいてコンテンツデータを受け取るステップと、少なくともコンテンツデータに基づいてデータをキャプチャするか否かを判断するステップと、少なくともデータをキャプチャするか否かの判断に基づいてデータをキャプチャさせるステップと、キャプチャされたデータをキャプチャデータベースの中に保管させるステップと、含む。
実施例18は、実施例17のエレメントを含んでよく、バイオメトリックデータは、ユーザの動作、ユーザのフォーカス、または、ユーザの興奮レベルのうち少なくとも一つを記述しているデータを含む。
実施例19は、実施例17のエレメントを含んでよく、コンテクストデータは、時間、日付、場所、シーン、近くのオブジェクト、または、近くの人々のうち少なくとも一つを記述しているデータを含む。
実施例20は、実施例17のエレメントを含んでよく、コンテンツデータは、キャプチャ品質、美的品質、または、オブジェクト認識のうち少なくとも一つを記述しているデータを含む。
実施例21は、実施例17のエレメントを含んでよく、本方法は、さらに、バイオメトリック検知、コンテクスト検知、コンテンツ検知、または、データキャプチャのうち少なくとも一つをフィードバックデータに基づいてコントロールするステップを含む。
実施例22は、実施例21のエレメントを含んでよく、フィードバックデータは、ユーザ生成のフィードバック、または、キャプチャされたデータと関連する拡張メタデータを含む。
実施例23は、実施例22のエレメントを含んでよく、ユーザ生成のフィードバックは、キャプチャされたデータとのユーザインタラクション、または、キャプチャされたデータに関する他の人のオンラインインタラクションのうち少なくとも一つを含む。
実施例24は、実施例17から23いずれかのエレメントを含んでよく、そして、さらに、データをキャプチャさせる以前に、データキャプチャを構成するステップを含んでよい。
実施例25は、実施例24のエレメントを含んでよく、データキャプチャを構成するステップは、キャプチャマルチプル、キャプチャ割合、または、キャプチャ品質のうち少なくとも一つの構成を含む。
実施例26は、実施例17から23いずれかのエレメントを含んでよく、そして、さらに、拡張メタデータがキャプチャデータベースの中にキャプチャデータと関連して保管されるようにするステップを含んでよく、拡張メタデータは、バイオメトリックデータ、コンテクストデータ、または、コンテンツデータのうち少なくとも一つに基づいている。
実施例27は、実施例17から23いずれかのエレメントを含んでよく、そして、さらに、オペレーションのモードを決定するステップと、バイオメトリックデータまたはコンテクストデータのうち少なくとも一つに基づいてキャプチャシナリオが存在するか否かを判断する以前に、オペレーションのモードに基づいて少なくともバイオメトリックデータとコンテクストデータとの間の重み付けを設定するステップと、を含む。
実施例28は、実施例17から23いずれかのエレメントを含んでよく、バイオメトリックデータは、デバイスのユーザの動作、デバイスのユーザのフォーカス、または、デバイスのユーザの興奮レベルのうち少なくとも一つを記述しているデータを含み、コンテクストデータは、時間、日付、場所、シーン、近くのオブジェクト、または、近くの人々のうち少なくとも一つを記述しているデータを含み、そして、コンテンツデータは、キャプチャ品質、美的品質、または、オブジェクト認識のうち少なくとも一つを記述しているデータを含む。
実施例29に従って、少なくとも一つのデバイスを含むシステムが提供される。本システムは、上記の実施例17から28いずれかの方法を実行するように構成されている。
実施例30に従って、上記の実施例17から28いずれかの方法を実行するように構成されているチップセットが提供される。
実施例31に従って、コンピューティングデバイスにおいて実行されると、上記の実施例17から28いずれかの方法をコンピューティングデバイスに実行させる複数のインストラクションを含んでいる、少なくとも一つのマシンで読取り可能な媒体が提供される。
実施例32に従って、データキャプチャのダイナミックコントロールのために構成されたデバイスが提供される。本デバイスは、上記の実施例17から28いずれかの方法を実行するように構成されている。
実施例33に従って、データキャプチャをダイナミックコントロールするためのシステムが提供される。本システムは、バイオメトリックデータを受け取る手段と、コンテクストデータを受け取る手段と、バイオメトリックデータまたはコンテクストデータの少なくとも一つに基づいてキャプチャシナリオが存在するか否かを判断する手段と、少なくともキャプチャシナリオが存在するか否かの判断に基づいてコンテンツデータを受け取る手段と、少なくともコンテンツデータに基づいてデータをキャプチャするか否かを判断する手段と、少なくともデータをキャプチャするか否かの判断に基づいてデータをキャプチャさせる手段と、キャプチャされたデータをキャプチャデータベースの中に保管させる手段と、含む。
実施例34は、実施例33のエレメントを含んでよく、バイオメトリックデータは、ユーザの動作、ユーザのフォーカス、または、ユーザの興奮レベルのうち少なくとも一つを記述しているデータを含む。
実施例35は、実施例33のエレメントを含んでよく、コンテクストデータは、時間、日付、場所、シーン、近くのオブジェクト、または、近くの人々のうち少なくとも一つを記述しているデータを含む
実施例36は、実施例33のエレメントを含んでよく、コンテンツデータは、キャプチャ品質、美的品質、または、オブジェクト認識のうち少なくとも一つを記述しているデータを含む。
実施例37は、実施例33から36いずれかのエレメントを含んでよく、そして、さらに、バイオメトリック検知、コンテクスト検知、コンテンツ検知、または、データキャプチャのうち少なくとも一つをフィードバックデータに基づいてコントロールする手段を含む。
実施例38は、実施例33から36いずれかのエレメントを含んでよく、そして、さらに、拡張メタデータがキャプチャデータベースの中にキャプチャデータと関連して保管されるようにする手段を含んでよく、拡張メタデータは、バイオメトリックデータ、コンテクストデータ、または、コンテンツデータのうち少なくとも一つに基づいている。
実施例39は、実施例33から36いずれかのエレメントを含んでよく、そして、さらに、オペレーションのモードを決定する手段と、バイオメトリックデータまたはコンテクストデータのうち少なくとも一つに基づいてキャプチャシナリオが存在するか否かを判断する以前に、オペレーションのモードに基づいて少なくともバイオメトリックデータとコンテクストデータとの間の重み付けを設定する手段、を含む。
ここにおいて使用されてきた用語と表現は、説明として、かつ、限定するものではなく使用されている。そして、そうした用語と表現の使用においては、示され、かつ、説明された特徴(または、その一部分)に係るあらゆる均等物も排除する意図は存在しない。そして、特許請求の範囲の中で様々な変更が可能であることが認識される。従って、請求項は、そうした均等物の全てをカバーするように意図されている。

Claims (22)

  1. データのキャプチャをコントロールするためのデバイスであって、
    キャプチャされた前記データを保管するためのキャプチャデータベースと、
    キャプチャロジックモジュールと、を含み、
    前記キャプチャロジックモジュールは、
    バイオメトリック検知モジュールからバイオメトリックデータを受け取り、
    コンテクスト検知モジュールからコンテクストデータを受け取り、
    前記バイオメトリックデータまたは前記コンテクストデータの少なくとも一つに基づいて、キャプチャシナリオが存在するか否かを判断し、
    少なくともキャプチャシナリオが存在するか否かの前記判断に基づいて、コンテンツ検知モジュールからコンテンツデータを受け取り、
    少なくとも前記コンテンツデータに基づいて、前記データをキャプチャするか否かを判断し、
    少なくともデータをキャプチャするか否かの前記判断に基づいて、キャプチャモジュールに前記データをキャプチャさせ、かつ、
    キャプチャされた前記データを前記キャプチャデータベースの中に保管させ
    前記デバイスは、さらに、少なくとも部分的に前記デバイスの中に置かれたフィードバックデータベースを含み、
    前記フィードバックデータベースは、前記バイオメトリック検知モジュール、前記コンテクスト検知モジュール、前記コンテンツ検知モジュール、または、前記キャプチャモジュールのうち少なくとも一つのコントロールにおいて使用するためのクライテリアを生成するために、フィードバックデータを提供する、
    デバイス。
  2. データのキャプチャをコントロールするためのデバイスであって、
    キャプチャされた前記データを保管するためのキャプチャデータベースと、
    キャプチャロジックモジュールと、を含み、
    前記キャプチャロジックモジュールは、
    バイオメトリック検知モジュールからバイオメトリックデータを受け取り、
    コンテクスト検知モジュールからコンテクストデータを受け取り、
    前記バイオメトリックデータまたは前記コンテクストデータの少なくとも一つに基づいて、キャプチャシナリオが存在するか否かを判断し、
    少なくともキャプチャシナリオが存在するか否かの前記判断に基づいて、コンテンツ検知モジュールからコンテンツデータを受け取り、
    少なくとも前記コンテンツデータに基づいて、前記データをキャプチャするか否かを判断し、
    少なくともデータをキャプチャするか否かの前記判断に基づいて、キャプチャモジュールに前記データをキャプチャさせ、かつ、
    キャプチャされた前記データを前記キャプチャデータベースの中に保管させ、
    前記キャプチャロジックモジュールは、さらに、
    拡張メタデータが前記キャプチャデータベースの中にキャプチャデータと関連して保管されるようにし、
    前記拡張メタデータは、前記バイオメトリックデータ、前記コンテクストデータ、または、前記コンテンツデータのうち少なくとも一つに基づいている、
    デバイス。
  3. データのキャプチャをコントロールするためのデバイスであって、
    キャプチャされた前記データを保管するためのキャプチャデータベースと、
    キャプチャロジックモジュールと、を含み、
    前記キャプチャロジックモジュールは、
    バイオメトリック検知モジュールからバイオメトリックデータを受け取り、
    コンテクスト検知モジュールからコンテクストデータを受け取り、
    前記バイオメトリックデータまたは前記コンテクストデータの少なくとも一つに基づいて、キャプチャシナリオが存在するか否かを判断し、
    少なくともキャプチャシナリオが存在するか否かの前記判断に基づいて、コンテンツ検知モジュールからコンテンツデータを受け取り、
    少なくとも前記コンテンツデータに基づいて、前記データをキャプチャするか否かを判断し、
    少なくともデータをキャプチャするか否かの前記判断に基づいて、キャプチャモジュールに前記データをキャプチャさせ、かつ、
    キャプチャされた前記データを前記キャプチャデータベースの中に保管させ、
    前記キャプチャロジックモジュールは、さらに、
    オペレーションのモードを決定し、かつ、
    前記バイオメトリックデータまたは前記コンテクストデータのうち少なくとも一つに基づいてキャプチャシナリオが存在するか否かを判断する以前に、オペレーションの前記モードに基づいて少なくとも前記バイオメトリックデータと前記コンテクストデータとの間の重み付けを設定する、
    デバイス。
  4. 前記デバイスは、さらに、通信モジュールを含み、
    前記通信モジュールは、前記キャプチャロジックモジュールが、前記デバイスの外部で前記バイオメトリック検知モジュールの少なくとも一部とインタラクションできるようにする、
    請求項1乃至3いずれか一項に記載のデバイス。
  5. 前記通信モジュールは、さらに、前記キャプチャロジックモジュールが、前記デバイスの外部で前記コンテクスト検知モジュールの少なくとも一部とインタラクションできるようにする、
    請求項に記載のデバイス。
  6. 前記通信モジュールは、さらに、前記キャプチャロジックモジュールが、前記デバイスの外部で前記キャプチャモジュールの少なくとも一部とインタラクションできるようにする、
    請求項に記載のデバイス。
  7. 前記バイオメトリックデータは、
    前記デバイスのユーザの動作、前記デバイスの前記ユーザのフォーカス、または、前記デバイスの前記ユーザの興奮レベルのうち少なくとも一つを、前記バイオメトリック検知モジュールから受け取ったデータに基づいて判断されるように、記述しているデータを含む、
    請求項1乃至3いずれか一項に記載のデバイス。
  8. 前記コンテクストデータは、
    時間、日付、場所、シーン、近くのオブジェクト、または、近くの人々のうち少なくとも一つを、前記コンテクスト検知モジュールから受け取ったデータに基づいて判断されるように、記述しているデータを含む、
    請求項1乃至3いずれか一項に記載のデバイス。
  9. 前記コンテンツデータは、
    キャプチャ品質、美的品質、または、オブジェクト認識のうち少なくとも一つを、前記コンテンツ検知モジュールから受け取ったデータに基づいて判断されるように、記述しているデータを含む、
    請求項1乃至3いずれか一項に記載のデバイス。
  10. 前記キャプチャロジックモジュールは、さらに、
    キャプチャモジュールにデータをキャプチャさせる以前に、前記キャプチャモジュールを構成する、
    請求項1乃至3いずれか一項に記載のデバイス。
  11. データのキャプチャをダイナミックコントロールするキャプチャ装置のための方法であって、
    前記キャプチャ装置におけるキャプチャロジックモジュールが、
    バイオメトリックデータを受け取るステップと、
    コンテクストデータを受け取るステップと、
    前記バイオメトリックデータまたは前記コンテクストデータの少なくとも一つに基づいて、キャプチャシナリオが存在するか否かを判断するステップと、
    少なくともキャプチャシナリオが存在するか否かの前記判断に基づいて、コンテンツデータを受け取るステップと、
    少なくとも前記コンテンツデータに基づいて、データをキャプチャするか否かを判断するステップと、
    少なくともデータをキャプチャするか否かの前記判断に基づいて、データをキャプチャさせるステップと、
    キャプチャされた前記データをキャプチャデータベースの中に保管させるステップと、
    み、
    前記方法は、さらに、
    バイオメトリック検知、コンテクスト検知、コンテンツ検知、または、データキャプチャのうち少なくとも一つをフィードバックデータに基づいてコントロールするステップ、
    を含む、方法。
  12. データのキャプチャをダイナミックコントロールするキャプチャ装置のための方法であって、
    前記キャプチャ装置におけるキャプチャロジックモジュールが、
    バイオメトリックデータを受け取るステップと、
    コンテクストデータを受け取るステップと、
    前記バイオメトリックデータまたは前記コンテクストデータの少なくとも一つに基づいて、キャプチャシナリオが存在するか否かを判断するステップと、
    少なくともキャプチャシナリオが存在するか否かの前記判断に基づいて、コンテンツデータを受け取るステップと、
    少なくとも前記コンテンツデータに基づいて、データをキャプチャするか否かを判断するステップと、
    少なくともデータをキャプチャするか否かの前記判断に基づいて、データをキャプチャさせるステップと、
    キャプチャされた前記データをキャプチャデータベースの中に保管させるステップと、
    含み、
    前記方法は、さらに、
    拡張メタデータが前記キャプチャデータベースの中にキャプチャデータと関連して保管されるようにするステップであり、前記拡張メタデータは、前記バイオメトリックデータ、前記コンテクストデータ、または、前記コンテンツデータのうち少なくとも一つに基づいている、ステップ、
    を含む、方法。
  13. データのキャプチャをダイナミックコントロールするキャプチャ装置のための方法であって、
    前記キャプチャ装置におけるキャプチャロジックモジュールが、
    バイオメトリックデータを受け取るステップと、
    コンテクストデータを受け取るステップと、
    前記バイオメトリックデータまたは前記コンテクストデータの少なくとも一つに基づいて、キャプチャシナリオが存在するか否かを判断するステップと、
    少なくともキャプチャシナリオが存在するか否かの前記判断に基づいて、コンテンツデータを受け取るステップと、
    少なくとも前記コンテンツデータに基づいて、データをキャプチャするか否かを判断するステップと、
    少なくともデータをキャプチャするか否かの前記判断に基づいて、データをキャプチャさせるステップと、
    キャプチャされた前記データをキャプチャデータベースの中に保管させるステップと、
    含み、
    前記方法は、さらに、
    オペレーションのモードを決定するステップと、
    前記バイオメトリックデータまたは前記コンテクストデータのうち少なくとも一つに基づいてキャプチャシナリオが存在するか否かを判断する以前に、オペレーションの前記モードに基づいて少なくとも前記バイオメトリックデータと前記コンテクストデータとの間の重み付けを設定するステップと、
    を含む、方法。
  14. 前記バイオメトリックデータは、
    ユーザの動作、前記ユーザのフォーカス、または、前記ユーザの興奮レベルのうち少なくとも一つを記述しているデータを含む、
    請求項11乃至13いずれか一項に記載の方法。
  15. 前記コンテクストデータは、
    時間、日付、場所、シーン、近くのオブジェクト、または、近くの人々のうち少なくとも一つを記述しているデータを含む、
    請求項11乃至13いずれか一項に記載の方法。
  16. 前記コンテンツデータは、
    キャプチャ品質、美的品質、または、オブジェクト認識のうち少なくとも一つを記述しているデータを含む、
    請求項11乃至13いずれか一項に記載の方法。
  17. 少なくとも一つのデバイスを含むシステムであって、
    請求項11乃至16いずれか一項に記載の方法を実行するように構成されている、
    システム。
  18. 請求項11乃至16いずれか一項に記載の方法を実行するように構成されている、
    チップセット。
  19. コンピューティングデバイスにおいて実行されると、請求項11乃至16いずれか一項に記載の方法を前記コンピューティングデバイスに実行させる複数のインストラクションを含む、コンピュータプログラム。
  20. データキャプチャのダイナミックコントロールのためのデバイスであって、請求項11乃至16いずれか一項に記載の方法を実行するように構成されている、デバイス。
  21. 請求項11乃至16いずれか一項に記載の方法を実行するための手段を有する、デバイス。
  22. 請求項19に記載のコンピュータプログラムを記憶したコンピュータ読取り可能な記憶媒体。
JP2017519208A 2014-07-11 2015-05-15 データキャプチャのためのダイナミックコントロール Active JP6434137B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/329,711 2014-07-11
US14/329,711 US10074003B2 (en) 2014-07-11 2014-07-11 Dynamic control for data capture
PCT/US2015/030930 WO2016007220A1 (en) 2014-07-11 2015-05-15 Dynamic control for data capture

Publications (2)

Publication Number Publication Date
JP2017525069A JP2017525069A (ja) 2017-08-31
JP6434137B2 true JP6434137B2 (ja) 2018-12-05

Family

ID=55064655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017519208A Active JP6434137B2 (ja) 2014-07-11 2015-05-15 データキャプチャのためのダイナミックコントロール

Country Status (6)

Country Link
US (2) US10074003B2 (ja)
EP (1) EP3167385A4 (ja)
JP (1) JP6434137B2 (ja)
KR (1) KR101819925B1 (ja)
CN (2) CN106462648B (ja)
WO (1) WO2016007220A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3079334B1 (en) * 2015-04-09 2019-03-13 The Boeing Company Device and method for transferring files from a portable storage device
US10564794B2 (en) * 2015-09-15 2020-02-18 Xerox Corporation Method and system for document management considering location, time and social context
EP3353947A4 (en) * 2015-09-22 2019-04-24 Mc10, Inc. METHOD AND SYSTEM FOR CROWD-GESOURCTE ALGORITHM DEVELOPMENT
US10229324B2 (en) 2015-12-24 2019-03-12 Intel Corporation Video summarization using semantic information
US10375119B2 (en) * 2016-07-28 2019-08-06 International Business Machines Corporation Dynamic multi-factor authentication challenge generation
KR102685894B1 (ko) * 2017-02-23 2024-07-19 삼성전자주식회사 복수의 생체 센서를 이용하여 인증을 수행하기 위한 전자 장치 및 그의 동작 방법
US11062104B2 (en) * 2019-07-08 2021-07-13 Zebra Technologies Corporation Object recognition system with invisible or nearly invisible lighting
US11677828B2 (en) * 2019-07-09 2023-06-13 Rhombus Systems Camera network for enhancing industrial monitoring and security
CN111507941B (zh) * 2020-03-24 2023-06-02 杭州电子科技大学 一种用于美学质量评价的构图表征学习方法
US11877052B2 (en) * 2020-12-08 2024-01-16 Cortica Ltd. Filming an event by an autonomous robotic system

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7248300B1 (en) 1999-06-03 2007-07-24 Fujifilm Corporation Camera and method of photographing good image
US6301440B1 (en) * 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
JP2004121218A (ja) 2002-08-06 2004-04-22 Jenokkusu Soyaku Kenkyusho:Kk 気管支喘息または慢性閉塞性肺疾患の検査方法
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
US7403211B2 (en) * 2003-02-13 2008-07-22 Lumapix, Inc. Method and system for interactive region segmentation
GB2400667B (en) * 2003-04-15 2006-05-31 Hewlett Packard Development Co Attention detection
JP2004356970A (ja) 2003-05-29 2004-12-16 Casio Comput Co Ltd ウエアラブルカメラの撮影方法、撮像装置、及び撮影制御プログラム
GB2403365B (en) 2003-06-27 2008-01-30 Hewlett Packard Development Co An autonomous camera having exchangeable behaviours
GB2404511B (en) 2003-07-26 2007-08-22 Hewlett Packard Development Co Image capture device having a learning function
US7924323B2 (en) * 2003-12-24 2011-04-12 Walker Digital, Llc Method and apparatus for automatically capturing and managing images
US20060020630A1 (en) * 2004-07-23 2006-01-26 Stager Reed R Facial database methods and systems
US9001215B2 (en) * 2005-06-02 2015-04-07 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
JP4717539B2 (ja) * 2005-07-26 2011-07-06 キヤノン株式会社 撮像装置及び撮像方法
EP1793580B1 (en) * 2005-12-05 2016-07-27 Microsoft Technology Licensing, LLC Camera for automatic image capture having plural capture modes with different capture triggers
JP2007336098A (ja) 2006-06-13 2007-12-27 Canon Inc 映像録画・再生システム用映像制御装置
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
FR2913510B1 (fr) * 2007-03-07 2009-07-03 Eastman Kodak Co Procede pour determiner automatiquement une probabilite de saisie d'images avec un terminal a partir de donnees contextuelles
US7817914B2 (en) * 2007-05-30 2010-10-19 Eastman Kodak Company Camera configurable for autonomous operation
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
US8554784B2 (en) * 2007-08-31 2013-10-08 Nokia Corporation Discovering peer-to-peer content using metadata streams
JP5024093B2 (ja) 2008-02-08 2012-09-12 ソニー株式会社 画像の撮影装置、その表示装置および画像データの管理システム
CN101673346B (zh) * 2008-09-09 2013-06-05 日电(中国)有限公司 对图像进行处理的方法、设备和系统
US8745250B2 (en) 2009-06-30 2014-06-03 Intel Corporation Multimodal proximity detection
US20130286244A1 (en) * 2010-03-23 2013-10-31 Motorola Mobility Llc System and Method for Image Selection and Capture Parameter Determination
EP2577951A1 (en) * 2010-05-26 2013-04-10 Sony Ericsson Mobile Communications AB Camera system and method for taking photographs that correspond to user preferences
US9223802B2 (en) * 2011-01-24 2015-12-29 T-Mobile Usa, Inc. Automatic sharing of superlative digital images
JP5229336B2 (ja) 2011-02-07 2013-07-03 トヨタ自動車株式会社 カーテンエアバッグ装置
KR101750827B1 (ko) * 2011-03-02 2017-06-27 삼성전자주식회사 통신 시스템에서 소셜 네트워크를 이용한 미디어 공유 방법 및 장치
US20120277914A1 (en) * 2011-04-29 2012-11-01 Microsoft Corporation Autonomous and Semi-Autonomous Modes for Robotic Capture of Images and Videos
US9596398B2 (en) * 2011-09-02 2017-03-14 Microsoft Technology Licensing, Llc Automatic image capture
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
KR101894395B1 (ko) * 2012-02-24 2018-09-04 삼성전자주식회사 캡쳐 데이터 제공 방법 및 이를 위한 이동 단말기
JP2013255168A (ja) 2012-06-08 2013-12-19 Toyota Infotechnology Center Co Ltd 撮像装置、および撮像方法
EP3672227B1 (en) * 2012-07-20 2022-05-04 BlackBerry Limited Dynamic region of interest adaptation and image capture device providing same
JP2014057191A (ja) * 2012-09-12 2014-03-27 Olympus Imaging Corp 撮像装置
US20140078304A1 (en) * 2012-09-20 2014-03-20 Cloudcar, Inc. Collection and use of captured vehicle data
CN103310099A (zh) * 2013-05-30 2013-09-18 佛山电视台南海分台 一种利用图像捕获和识别技术实现增强现实的方法和系统
US9210319B2 (en) * 2013-07-11 2015-12-08 Magisto Ltd. Method and system for capturing important objects using a camera based on predefined metrics
US20160360160A1 (en) * 2014-02-23 2016-12-08 Catch Motion Inc. Person wearable photo experience aggregator apparatuses, methods and systems

Also Published As

Publication number Publication date
CN106462648B (zh) 2019-10-22
WO2016007220A1 (en) 2016-01-14
CN110674485B (zh) 2023-05-26
US20160012270A1 (en) 2016-01-14
US10074003B2 (en) 2018-09-11
US20190095670A1 (en) 2019-03-28
KR20170008776A (ko) 2017-01-24
CN106462648A (zh) 2017-02-22
CN110674485A (zh) 2020-01-10
EP3167385A1 (en) 2017-05-17
EP3167385A4 (en) 2018-03-07
KR101819925B1 (ko) 2018-01-18
JP2017525069A (ja) 2017-08-31

Similar Documents

Publication Publication Date Title
JP6434137B2 (ja) データキャプチャのためのダイナミックコントロール
CN105825522B (zh) 图像处理方法和支持该方法的电子设备
US10382373B1 (en) Automated image processing and content curation
US20200065872A1 (en) Service execution method and device
US20190108389A1 (en) Face recognition based on spatial and temporal proximity
RU2615320C2 (ru) Способ, аппаратура и устройство терминала для обработки изображения
JP5795687B2 (ja) 写真を自動的に共有するためのスマートカメラ
KR20190084278A (ko) 이미지들을 공유하기 위한 자동 제안들
US20160132723A1 (en) Automatic Photo Capture Based on Social Components and Identity Recognition
US20150286897A1 (en) Automated techniques for photo upload and selection
US20160226985A1 (en) Terminal, cloud apparatus, driving method of terminal, method for processing cooperative data, computer readable recording medium
KR102376700B1 (ko) 비디오 컨텐츠 생성 방법 및 그 장치
EP3133502B1 (en) Terminal device and method for cooperatively processing data
MX2014005396A (es) Control de notificacion basandose en gasto de energia y factores sociales.
US20150365449A1 (en) Information processing apparatus, system, information processing method, and program
US10034139B2 (en) Method and system for determining location of mobile device
US20160105767A1 (en) Method, apparatus, and mobile terminal for collecting location information
US20140044307A1 (en) Sensor input recording and translation into human linguistic form
US10320860B1 (en) Server orchestrated connectivity
US20150081699A1 (en) Apparatus, Method and Computer Program for Capturing Media Items
US20160328474A1 (en) Data recording and data recording apparatus
KR102207253B1 (ko) 디바이스 이용 정보를 제공하는 시스템 및 방법
AU2012238085B2 (en) Face recognition based on spatial and temporal proximity
WO2016075554A1 (en) Data recording method and data recording apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181107

R150 Certificate of patent or registration of utility model

Ref document number: 6434137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250