JP7841117B2 - スプリット計算アーキテクチャの周辺デバイス - Google Patents

スプリット計算アーキテクチャの周辺デバイス

Info

Publication number
JP7841117B2
JP7841117B2 JP2024563256A JP2024563256A JP7841117B2 JP 7841117 B2 JP7841117 B2 JP 7841117B2 JP 2024563256 A JP2024563256 A JP 2024563256A JP 2024563256 A JP2024563256 A JP 2024563256A JP 7841117 B2 JP7841117 B2 JP 7841117B2
Authority
JP
Japan
Prior art keywords
data
wearable device
peripheral
companion
companion device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024563256A
Other languages
English (en)
Other versions
JP2025515605A (ja
Inventor
カー，ジェイムズ
ウルバヌス，マーク・サンダー
オクテム，メルテム
プランケット，パトリック
ジョシ，アクシャイ
ワン，チャーリー・ゴンザオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2025515605A publication Critical patent/JP2025515605A/ja
Application granted granted Critical
Publication of JP7841117B2 publication Critical patent/JP7841117B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/508—Monitor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/544—Remote
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/034—Test or assess a computer or a system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Description

関連出願の相互参照
本出願は、「ＳＰＬＩＴ－ＣＯＭＰＵＴＥ ＡＲＣＨＩＴＥＣＴＵＲＥ」と題する、２０２２年４月２６日出願の米国仮特許出願６３／３６３，５９２号の利益及び優先権を主張し、この開示は、参照によりその全体が本明細書に組み込まれる。
本出願はまた、関連する同時係属中の出願、２０２３年４月２４日出願のＰＣＴ出願第ＰＣＴ／ＵＳ２０２３／０１９５６３号、２０２３年４月２５日出願のＰＣＴ出願第ＰＣＴ／ＵＳ２０２３／０１９８３２号、２０２３年４月２６日出願の「ＳＰＬＩＴ－ＣＯＭＰＵＴＥ ＡＲＣＨＩＴＥＣＴＵＲＥ」（弁理士整理番号０１２０－４９７ＷＯ１）、２０２３年４月２６日出願の「ＰＥＲＩＰＨＥＲＡＬ ＤＥＶＩＣＥＳ ＩＮ Ａ ＳＰＬＩＴ－ＣＯＭＰＵＴＥ ＡＲＣＨＩＴＥＣＴＵＲＥ」（弁理士整理番号０１２０－４９８ＷＯ１）、２０２３年４月２６日出願の「ＭＵＬＴＩＰＬＥ ＡＰＰＬＩＣＡＴＩＯＮ ＲＵＮＴＩＭＥＳ ＩＮ ＳＰＬＩＴ－ＣＯＭＰＵＴＥ ＡＲＣＨＩＴＥＣＴＵＲＥ」（弁理士整理番号０１２０－５０５ＷＯ１）、及び２０２３年４月２６日出願の「ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＰＲＯＣＥＳＳＩＮＧ ＯＦＦＬＯＡＤ ＩＮ Ａ ＳＰＬＩＴ－ＣＯＭＰＵＴＥ ＡＲＣＨＩＴＥＣＴＵＲＥ」（弁理士整理番号０１２０－５０９ＷＯ１）に対する開示を参照により本明細書に組み込む。
実施態様は、ウェアラブルデバイス処理アーキテクチャに関する。
一部のデバイス（例えば、ウェアラブルデバイス）は、高度なディスプレイ機能を有する場合がある。これらのデバイスにとっては、十分な機能を備えた電子機器を小さなフォームファクタに収めることが課題となる場合がある。これらの問題は、アクセス可能性など、デバイスが一日中装着されることが予想される可能性がある用途ではますます困難になっている。
既存の市販されているシステムは、継続的な使用シナリオをサポートできない。例えば、ウェアラブルデバイス（例えば、スマートグラス、スマートウォッチ、ヘッドマウントディスプレイなど）は、断続的に関与することを意図しており、電話クラスのシステムオンチップ（ＳｏＣ）を中心に構築されている。これらのデバイスは、ディスプレイをオンにした状態では数時間のバッテリ寿命しか提供できない。さらに、ヘッドマウントディスプレイの体積が小さいため、熱的快適性が問題になる可能性がある。
例示的な実施態様は、スプリット計算アーキテクチャを使用するウェアラブルデバイスと、コンパニオンデバイスとを含む。ウェアラブルデバイスのリソースを節約するために、コンパニオンデバイスは、そうでなければウェアラブルデバイスによって実行されるであろうコンピューティングタスクを処理できる。ウェアラブルデバイスは、ウェアラブルデバイスのメモリに格納される周辺デバイスデータを生成する周辺デバイスを含むことができる。スプリット計算アーキテクチャは、コンパニオンデバイス及び／またはウェアラブルデバイス上での周辺デバイスデータのミラーリングを容易にするように構成することができる。
一般的な態様では、デバイス、システム、非一時的コンピュータ可読媒体（コンピュータシステム上で実行できるコンピュータ実行可能プログラムコードを格納している）、及び／または方法は、方法を用いてプロセスを実施することができ、方法は、ウェアラブルデバイスをコンパニオンデバイスと通信可能に結合することと、ウェアラブルデバイスによって、ウェアラブルデバイスの周辺デバイスから取得されたデータを、周辺データとしてコンパニオンデバイス上でミラーリングすることと、を含み、ミラーリングすることは、ウェアラブルデバイスによって、周辺デバイスから周辺データを取得すること、及びウェアラブルデバイスによって、周辺データをコンパニオンデバイスに通信することを含み、方法は、コンパニオンデバイスによって、周辺データを受信し、周辺データを処理されたデータに処理することと、コンパニオンデバイスによって、処理されたデータをウェアラブルデバイスに送信することと、ウェアラブルデバイスによって、処理されたデータを受信し、処理されたデータを利用してコンピューティングプロセスを完了することと、を含む。
別の一般的な態様では、デバイス、システム、非一時的コンピュータ可読媒体（コンピュータシステム上で実行できるコンピュータ実行可能プログラムコードを格納している）、及び／または方法は、方法を用いてプロセスを実行することができ、方法は、ウェアラブルデバイスをコンパニオンデバイスと通信可能に結合することと、コンパニオンデバイスによって、ウェアラブルデバイスの周辺デバイスと関連付けられたデータを周辺データとしてミラーリングすることと、コンパニオンデバイスによって、ウェアラブルデバイスから周辺データを受信することと、コンパニオンデバイスによって、コンパニオンデバイスによるコンピューティングプロセスの完了と関連付けられた結果を生成することと、を含み、コンピューティングプロセスは、周辺データを使用するように構成され、方法は、コンパニオンデバイスによってウェアラブルデバイスに、コンピューティングプロセスの完了と関連付けられた結果を通信することを含む。
例示的な実施態様は、本明細書で以下に示す発明を実施するための形態、及び添付の図面からより完全に理解されるようになる。同様の要素は同様の参照番号で表され、これらは例示としてのみ示されており、したがって例示的な実施態様を限定しない。
例示的な実施態様による高レベルスプリット計算アーキテクチャのブロック図を示す。 例示的な実施態様による共有ランタイム環境を有する高レベルスプリット計算アーキテクチャのブロック図を示す。 例示的な実施態様によるウェアラブルデバイススプリット計算アーキテクチャのブロック図を示す。 例示的な実施態様による高レベルスプリット計算アーキテクチャのブロック図を示す。 例示的な実施態様によるウェアラブルデバイスアプリケーションのアクティビティ要素のブロック図を示す。 例示的な実施態様によるウェアラブルデバイスランタイム環境におけるウェアラブルデバイスアプリケーションのブロック図を示す。 例示的な実施態様によるスプリット計算アーキテクチャを使用するシステムのブロック図を示す。 例示的な実施態様によるコンパニオンデバイスランタイム環境を示すブロック図である。 例示的な実施態様によるスプリット計算システムを操作する方法のブロック図である。 例示的な実施態様によるスプリット計算アーキテクチャシステムを操作する方法のブロック図である。 例示的な実施態様によるコンパニオンデバイスを操作する方法のブロック図である。
これらの図は、特定の例示的な実施態様で利用される方法及び／または構造の一般的な特徴を示すこと、及び以下に提供される書面の説明を補足することを意図していることに留意されたい。しかしながら、これらの図面は、原寸に比例しておらず、いずれかの所与の実施態様の正確な構造特性または性能特性を正確に反映していない場合があり、例示的な実施態様によって包含される値の範囲または特性を定義または制限すると解釈されるべきではない。例えば、モジュール及び／または構造要素の配置は、明確にするために削減または誇張される場合がある。様々な図面での類似または同一の参照番号の使用は、類似または同一の要素または特徴が存在することを示すことを意図している。
ウェアラブルデバイスは、ディスプレイをオンにした状態では数時間のバッテリ寿命しか提供できない。例えば、ウェアラブルディスプレイ光学系用の画像レンダリング、歪み補正、位置特定サービスなどの計算コストが高い操作は、ウェアラブルデバイスに実装された低電力の組み込みシステムで効率的に実行することが必ずしも可能ではない場合がある。したがって、シンクライアントのウェアラブルデバイス（例えば、スマートガラス）のためのディスプレイアーキテクチャは、計算集約的な操作（例えば、グラフィックス操作）をコンパニオンデバイス（例えば、モバイルデバイス、スマートフォン、サーバなど）にオフロードすることによってデバイス搭載電力及び熱フットプリントを減少させる機会を有することができる。
一部のウェアラブルデバイスは、実装の制約を有する場合がある。例えば、スマートグラスの実装制約は、（１）スマートグラスが、ウェアラブルコンピューティングを通して重要なサービスを増幅する必要があることを含む場合がある。これは、ＡＲ及び視覚認識などの支援技術を含むことができる。例えば、スマートグラスの実装制約は、（２）スマートグラスがただ１回の充電で一日中使用に持ちこたえる必要があることを含む場合がある。例えば、スマートグラスの実装制約は、（３）スマートグラスが本物の眼鏡のように見え、感じられる必要があることを含む場合がある。ウェアラブルデバイスは、拡張現実（ＡＲ）デバイス及び仮想現実（ＶＲ）デバイスを含む場合がある。ウェアラブルデバイスは、スマートグラス、頭部装着型デバイス、及び／またはヘッドマウントデバイスを含む場合がある。ウェアラブルデバイス、頭部装着型デバイス、及び／またはヘッドマウントデバイスは、ＡＲ／ＶＲデバイスである場合がある。所望の特徴をサポートする機能を有するモバイルＳｏＣを備えた完全にスタンドアロンのウェアラブルデバイス（例えば、スマートグラス）解決策は、上記に示した電力及び工業デザインの制約を満たさない場合がある。制約（１）、（２）、及び（３）を満たすオンデバイス計算解決策は、現在の技術では達成が困難である場合がある。現在の技術は、機能性要件を満たすモバイルシステムオンチップ（ＳｏＣ）技術によるスタンドアロン解決策が、上記に示した電力及び工業デザインの制約を満たさないという点で制限されている。
スプリット計算アーキテクチャは、上述の制約を満たす既存のウェアラブルデバイス技術の実装と関連付けられた問題を解決するために使用することができる。スプリット計算アーキテクチャは、アプリケーションランタイム環境を、以下、多くの場合、コンパニオンデバイスと呼ばれる、スマートフォン、サーバ、クラウド、デスクトップコンピュータなどのリモートコンピューティングエンドポイントに移動させるアーキテクチャである場合がある。いくつかの実施態様では、表示コンテンツは、コンパニオンデバイスからウェアラブルデバイスにストリーミングされて戻すことができる。スマートグラスの例を続けると、計算及びレンダリングの大部分は、スマートグラスでは行われないため、スプリット計算アーキテクチャは、低電力プロセッサ及び／または低電力マイクロコントローラのＭＣＵベースのシステムを利用することを可能にできる。いくつかの実施態様では、ＭＣＵを含むウェアラブルデバイスと組み合わされたスプリット計算アーキテクチャは、電力使用量を最小限に抑え、制約（１）及び（２）及び（３）を満たすことを可能にできる。コーデック及びネットワーキングの新しい革新によって、必要とされるネットワーキング帯域幅を低電力方式で持続することが可能である。いくつかの実施態様では、ウェアラブルデバイスは、明確に定義されたプロトコルを介してコンパニオンデバイスと通信することができる。このアーキテクチャはプラットフォームに依存しないことが可能である。
いくつかの実施態様では、慣性測定ユニット（ＩＭＵ）及びカメラセンサなどの周辺デバイスは、ウェアラブルデバイスで周辺データを生成するように構成することができる。コンパニオンデバイスは、いくつかのコンピューティングプロセスで周辺データを使用するように構成され得る。例えば、コンパニオンデバイス上で動作するアプリケーションは、ウェアラブルデバイスのＩＭＵによって生成された周辺データを使用するように構成することができる。アプリケーションは、ウェアラブルデバイスから周辺データを要求できるであろう。しかしながら、例示的な実施態様では、周辺データは、コンパニオンデバイスの（例えば、メモリ内に）格納できる。例示的な実施態様では、ウェアラブルデバイスは、新しい周辺データが利用可能になるといつでも（例えば、要求されることなく自動的になど）周辺データを通信（例えば、ストリーミング）するように構成することができる。例示的な実施態様では、ウェアラブルデバイスの周辺データは、コンパニオンデバイス上でミラーリングすることができる（例えば、複製メモリ位置）。例示的な実施態様では、コンパニオンデバイスの周辺データは、ウェアラブルデバイス上でミラーリングすることができる（例えば、複製メモリ位置）。
図１は、例示的な実施態様による高レベルスプリット計算アーキテクチャのブロック図を示す。図１に示すように、スプリット計算アーキテクチャは、周辺データ１３５を含むウェアラブルデバイス１０５と、周辺データ１４０を含むコンパニオンデバイス１１０とを含むことができる。例示的な実施態様では、ウェアラブルデバイス１０５は、スマートグラス、拡張現実／仮想現実ヘッドセット、ヘッドマウントディスプレイ（ＨＭＤ）、スマートウォッチ、スマートリングなどである場合がある。一例として、図１は、ウェアラブルデバイス１０５をスマートグラス１４５として示す。例示的な実施態様では、コンパニオンデバイス１１０は、別のウェアラブルデバイス、モバイルデバイス、スマートフォン、タブレット、サーバ、及びプロセッサとオペレーティングシステムとを含むデバイスである場合がある。一例として、図１は、コンパニオンデバイス１１０をスマートフォン１５０として示す。
ウェアラブルデバイス１０５及びコンパニオンデバイス１１０は、通信可能に結合することができる。例えば、ウェアラブルデバイス１０５及びコンパニオンデバイス１１０は、有線でまたは無線で通信可能に結合することができる。言い換えれば、ウェアラブルデバイス１０５及びコンパニオンデバイス１１０は、双方向の有線及び／または無線の通信リンクのエンドポイントである場合がある。一例として、ウェアラブルデバイス１０５及びコンパニオンデバイス１１０は、通信回線１１５を介してオーディオストリーム及び／またはビデオストリームを通信することができる。一例として、ウェアラブルデバイス１０５及びコンパニオンデバイス１１０は、通信回線１２０を介してデータ（例えば、ＩＭＵ、カメラ、入力など）を通信することができる。一例として、ウェアラブルデバイス１０５及びコンパニオンデバイス１１０は、通信回線１２５を介して制御ストリームを通信することができる。通信回線１１５、通信回線１２０、及び／または通信回線１２５は、集合的に通信回線１３０と呼ばれる場合がある。いくつかの実施態様では、通信回線１３０は、双方向である場合がある。
いくつかの実施態様では、コンパニオンデバイス１１０は、ウェアラブルデバイス１０５が接続できるランタイム環境を含むことができる。いくつかの実施態様では、ウェアラブルデバイス１０５は、ＩＭＵ及びカメラ画像などのデータをランタイム環境にストリーミングすることができる。いくつかの実施態様では、コンパニオンデバイス１１０のランタイム環境は、追跡、知覚、及び／またはアプリケーションレンダリングを実行する、及び／または符号化されたビデオコマンドまたはレンダリングコマンドなど、出力をグラフィックのアプリケーションプログラミングインターフェース（ＡＰＩ）を介してウェアラブルデバイス１０５に送り返すように構成することができる。いくつかの実施態様では、ランタイム環境は、コンパニオンデバイス１１０上で実行するコードまたはソフトウェアアプリケーション及び／またはコンテナである場合がある。いくつかの実施態様では、ランタイム環境は、ウェアラブルデバイス１０５と同時に、及び／またはウェアラブルデバイス１０５及びコンパニオンデバイス１１０が通信可能に結合されている間に、コンパニオンデバイス１１０上で動作するソフトウェアである場合がある。いくつかの実施態様では、入力は、ウェアラブルデバイス１０５から取り込まれ、コンパニオンデバイス１１０のランタイム環境に注入される（例えば、通信される）。
いくつかの実施態様では、コンパニオンデバイス１１０のランタイム環境は、追跡、知覚、及びアプリケーションレンダリングを実行し、符号化されたビデオコマンドまたはレンダリングコマンドなど、出力をグラフィックのアプリケーションプログラミングインターフェース（ＡＰＩ）を介してウェアラブルデバイス１０５に送り返すように構成することができる。いくつかの実施態様では、入力は、ウェアラブルデバイス１０５から取り込まれ、コンパニオンデバイス１１０のランタイム環境に注入される（例えば、通信される）。
一例として、コンパニオンデバイス１１０がないときは、コンピューティングプロセスは、完全にウェアラブルデバイス１０５上で実行されるであろう。コンピューティングプロセスは、ウェアラブルデバイスの機能と関連付けられた任意のコンピューティングプロセスである場合がある。例えば、コンピューティングプロセスは、ウェアラブルデバイス１０５のディスプレイにコンテンツを（例えば、画像またはビデオとして）表示するように構成されたコンピューティングプロセスである場合がある。コンピューティングプロセスは、ウェアラブルデバイス１０５のプロセッサによって実行される、ウェアラブルデバイス１０５のメモリに格納されたコンピュータ命令（例えば、コード）を含む任意のコンピューティングプロセスである場合がある。コンピュータ命令（例えば、コード）は、ウェアラブルデバイスのプロセッサによって実行される複数のタスクである場合がある。いくつかの実施態様では、タスク（複数可）はサービスとして実装できる。サービスは、例えば、ネットワークを介したマシン間のインタラクションである場合がある。サービスは、バックグラウンド処理として実装できる。例えば、サービスは、バックグラウンドから、ネットワークトランザクションの実行、オーディオの再生、Ｉ／Ｏの実行、コンテンツプロバイダとのインタラクションなどを行うことができる。
コンパニオンデバイス１１０（例えば、コンパニオンデバイス１１０のランタイム環境）を含むことによって、デバイスの搭載電力の使用量及び熱的フットプリントは、複数のタスクの１つ以上のタスクをコンパニオンデバイス１１０にオフロードすることによって削減することができる。例示的な実施態様では、複数のタスクを断片化することができる。タスクを断片化することは、ウェアラブルデバイス１０５とコンパニオンデバイス１１０との間で複数のタスクを方法論的に及び／またはランダムに割り当てることを含むことができる。例えば、ウェアラブルデバイス１０５とコンパニオンデバイス１１０との間で複数のタスクを整然と割り当てることは、リソースの使用量に基づく場合がある。例えば、コンパニオンデバイス１１０上でタスク（または複数のタスク）を実行させるために使用されるリソースの量が、ウェアラブルデバイス１０５上でタスク（または複数のタスク）を実行することよりも多い場合（タスクを実行することが、コンピュータ操作を実行することを含むことを留意する）、次にタスク（または複数のタスク）はウェアラブルデバイス１０５上で実行することができる。
例えば、タスク（または複数のタスク）は、ウェアラブルデバイス１０５の周辺デバイスによって取り込まれた周辺データ（例えば、コンピュータデータ、ＩＭＵデータ、高解像度画像など）を含むことができる、及び／または使用することができる。周辺データを通信することが、ウェアラブルデバイス１０５によってデータを処理することを含むタスクよりも多くのリソース（例えば、ウェアラブルデバイス１０５のバッテリリソース）を使用する場合、ウェアラブルデバイス１０５は、タスクを完了するために割り当てることができるであろう。それ以外の場合、コンパニオンデバイス１１０は、タスクを完了するために割り当てられる必要がある。この例示的な実施態様では、ウェアラブルデバイス１０５とコンパニオンデバイス１１０の両方ともタスク（または複数のタスク）を実行することができる。いくつかの実施態様では、複数のタスクを含むプロセスを完了するために、２つ以上のコンパニオンデバイスが使用される。
コンパニオンデバイス１１０は、タスクを処理するとき、ウェアラブルデバイス１０５の周辺デバイスと関連付けられたデータを必要とする場合がある。ウェアラブルデバイス１０５からデータを要求する及び／または受信する代わりに、例示的な実施態様では、コンパニオンデバイス１１０が周辺データ１４０からデータを読み取ることができる。言い換えれば、例示的な実施態様では、周辺データ１３５は、周辺データ１４０としてコンパニオンデバイス１１０上でミラーリングされているため、コンパニオンデバイス１１０上で実行するアプリケーションは、周辺データ１３５からウェアラブルデバイス１０５の周辺デバイスと関連付けられたデータを読み取ることができる。さらに、例示的な実施態様では、周辺データ１４０は、周辺データ１３５としてウェアラブルデバイス１０５上でミラーリングされているため、ウェアラブルデバイス１０５上で実行するアプリケーションは、周辺データ１４０からコンパニオンデバイス１１０の周辺デバイスと関連付けられたデータを読み取ることができる。
いくつかの実施態様では、ウェアラブルデバイス１０５がタスクを処理しているとき、ウェアラブルデバイス１０５は、コンパニオンデバイス１１０の周辺デバイスと関連付けられたデータを必要とする場合がある。コンパニオンデバイス１１０からデータを要求する及び／または受信する代わりに、例示的な実施態様では、ウェアラブルデバイス１０５が周辺データ１４０からデータを読み取ることができる。言い換えれば、例示的な実施態様では、周辺データ１４０は、周辺データ１３５としてウェアラブルデバイス１０５上でミラーリングされているため、ウェアラブルデバイス１０５上で実行するアプリケーションは、周辺データ１４０からコンパニオンデバイス１１０の周辺デバイスと関連付けられたデータを読み取ることができる。いくつかの例示的な実施態様では、周辺データ（または周辺デバイスから取得されたデータ）は、ＩＭＵデータ、画像データ、オーディオデータ、マイクロフォンデータ、マルチチャネルマイクロフォンデータ、他のカメラデータ（例えば、深度データ）、周囲光センサ（ＡＬＳ）データなどを含むことができる。
図２は、例示的な実施態様による共有ランタイム環境を有する高レベルスプリット計算アーキテクチャのブロック図を示す。図２に示すように、ウェアラブルデバイス１０５は、それぞれ通信回線１３０－１、１３０－２．．．１３０－ｎを介して、２つ以上のコンパニオンデバイス１１０－１、１１０－２．．．１１０－ｎに通信可能に結合される。いくつかの実施態様では、ウェアラブルデバイス１０５は、様々なコンパニオンデバイス１１０－１、１１０－２、．．．１１０－ｎの間でローミングして、その時点で最高の経験を提供するコンパニオンデバイス１１０－１、１１０－２、．．．１１０－ｎを選択できるであろう。ウェアラブルデバイス１０５は、複数のコンパニオンデバイス１１０－１、１１０－２、…１１０－ｎのランタイムに同時に接続することができる。したがって、ウェアラブルデバイス１０５は、複数のランタイム環境に同時に接続することができる。さらに、図示していないが、周辺データ１３５は、複数のコンパニオンデバイス１１０－１、１１０－２、…１１０－ｎで同時にミラーリングすることができる。
例えば、コンパニオンデバイス１１０－１と関連付けられたランタイム環境は、ウェアラブルデバイス１０５のディスプレイ上にコンテンツを投影するように構成することができ、コンパニオンデバイス１１０－２と関連付けられたランタイム環境は、処理のためにウェアラブルデバイス１０５、データベースサーバ、インターネットなどからのデータソース（例えば、センサ）にアクセスするように構成することができる。追加的にまたは代替的に、コンパニオンデバイス１１０－１、１１０－２，．．．１１０－ｎは、リソース及び／またはデータを共有するために、通信可能に結合することができる（例えば、有線または無線で）。例えば、コンパニオンデバイス１１０－１及びコンパニオンデバイス１１０－２は、通信可能に結合することができ、コンパニオンデバイス１１０－１と関連付けられたランタイム環境が、コンパニオンデバイス１１０－２と関連付けられたランタイム環境が画像（またはフレーム）を生成して、ウェアラブルデバイス１０５のディスプレイ上にコンテンツを投影するときに使用するためのコンパニオンデバイス１１０－２と関連付けられたランタイム環境からデータを受信することを可能にする。
例えば、コンパニオンデバイス１１０－１及びコンパニオンデバイス１１０－２は、（例えば、通信回線２０５を介して）通信可能に結合することができ、コンパニオンデバイス１１０－２と関連付けられたランタイム環境が、コンパニオンデバイス１１０－１と関連付けられたランタイム環境と処理リソースを共有することを可能にする。例えば、コンパニオンデバイス１１０－１と関連付けられたランタイム環境は、コンパニオンデバイス１１０－２と関連付けられたランタイム環境によってより効率的に生成されるコンテンツ（例えば、画像、フレーム、マップなど）を生成するように命令され得る。例えば、コンパニオンデバイス１１０－２は、マップデータベースと、マップ（例えば、画像）生成器とを含み得る。コンパニオンデバイス１１０－１と関連付けられたランタイム環境は、マップを含むコンテンツを生成するように命令され得る。この例では、コンパニオンデバイス１１０－１と関連付けられたランタイム環境は、コンパニオンデバイス１１０－２と関連付けられたランタイム環境からマップを要求できる。
上記の例を続けると、コンパニオンデバイス１１０－１がタスク（複数可）を実行する必要があると判断が下されると、コンパニオンデバイス１１０－１（またはウェアラブルデバイス１０５）は、２つ以上のコンパニオンデバイス１１０がタスク（複数可）を実行できると判断することができる。例えば、タスク（複数可）は、ウェアラブルデバイス１０５に表示されるコンテンツ（例えば、画像）を生成することを含む場合がある。この例では、コンパニオンデバイス１１０－１がコンテンツを生成するように構成することができる。しかしながら、コンテンツを生成するために使用されるデータが、コンパニオンデバイス１１０－２によって生成され得、次に（例えば、通信回線２０５を介して）コンパニオンデバイス１１０－２からコンパニオンデバイス１１０－１に通信される。例えば、コンパニオンデバイス１１０－２は、ユーザの心拍数を感知するように構成されたウェアラブルスマートウォッチである場合がある。心拍数を表すデータは、コンパニオンデバイス１１０－２からコンパニオンデバイス１１０－１に通信することができる。次に、コンパニオンデバイス１１０－１は、心拍数を表すデータを使用してコンテンツを生成することができ、コンテンツは、ウェアラブルデバイス１０５のディスプレイ上での表示のためにウェアラブルデバイス１０５に通信することができる。
図３は、例示的な実施態様によるウェアラブルデバイススプリット計算アーキテクチャのブロック図を示す。図３に示すように、ウェアラブルデバイススプリット計算アーキテクチャは、ハードウェア抽象化層（ＨＡＬ）３１０ブロックを含むことができる。ＨＡＬ３１０は、ハードウェアレベルではなく一般的または抽象的レベルで、オペレーティングシステム（例えば、ＲＴＯＳ３４０）とハードウェアデバイスとの間をインターフェースするように構成されたソフトウェアの層である場合がある。いくつかの実施態様では、抽象化層を使用すると、スプリット計算アーキテクチャプラットフォームを独立させることができる。ＨＡＬ３１０は、オペレーティングシステムカーネルから呼び出すことができる。いくつかの実施態様では、ＨＡＬ３１０は仮想ＨＡＬである場合がある。仮想ＨＡＬは、ゲストとホストプラットフォームとの間のアーキテクチャの類似性に基づいて、解釈の遅延を最小限に抑えることができる。仮想化技術は、仮想リソースを物理リソースにマッピングし、仮想ＨＡＬ内での計算にネイティブハードウェアを使用するのを助ける。
したがって、一例として、ＨＡＬ３１０は、それぞれが対応するハードウェアデバイスとインターフェースするように構成された、接続性３１５ブロックと、コーデック３２０ブロックと、グラフィックスプロセッシングユニット（ＧＰＵ）３２５ブロックと、表示３３０ブロックとを含むことができる。例えば、接続性３１５は、オペレーティングシステム（例えば、ＲＴＯＳ３４０）とＢｌｕｅｔｏｏｔｈ（登録商標）ハードウェア、ＷＩＦＩハードウェア、超広帯域（ＵＷＢ）ハードウェア、５Ｇハードウェアなどとの間でインターフェースするように構成することができる。したがって、ウェアラブルデバイススプリット計算アーキテクチャは、ウェアラブルデバイス１０５の中に設計された任意の接続性ハードウェアを利用するように構成することができる。
例えば、コーデック３２０は、オペレーティングシステム（例えば、ＲＴＯＳ３４０）と符号器及び／または復号器（例えば、ハードウェアベースの符号器及び／または復号器）との間でインターフェースするように構成することができる。コーデック３２０規格は、例えば、Ｈ．２６５、Ｈ．２６４、ＭＰＥＧ、ＶＰ９、機械学習されたものなどである場合がある。コーデック３２０は、画像、ビデオ、及び／またはオーディオコーデックである場合がある。したがって、ウェアラブルデバイススプリット計算アーキテクチャは、ウェアラブルデバイス１０５の中に設計された任意のコーデックソフトウェア及び／またはハードウェアを利用するように構成することができる。例えば、ＧＰＵ３２５は、オペレーティングシステム（例えば、ＲＴＯＳ３４０）とＧＰＵハードウェア（例えば、ＧＰＵ ＡＳＩＣ）との間でインターフェースするように構成することができる。したがって、ウェアラブルデバイススプリット計算アーキテクチャは、ウェアラブルデバイス１０５の中に設計された任意のＧＰＵを利用するように（例えば、ディスプレイシステム上で画像をレンダリングするように）構成することができる。例えば、ディスプレイ３３０は、オペレーティングシステム（例えば、ＲＴＯＳ３４０）とディスプレイハードウェア（例えば、ウェアラブルデバイスディスプレイ）との間でインターフェースするように構成することができる。したがって、ウェアラブルデバイススプリット計算アーキテクチャは、ウェアラブルデバイス１０５の中に設計された任意のディスプレイ（例えば、ディスプレイドライバシステム）を利用するように構成することができる。
図３に示すように、ウェアラブルデバイススプリット計算アーキテクチャは、オペレーティングシステム（ＯＳ）抽象化層（ＯＳＡＬ）３３５を含むことができる。いくつかの実施態様では、抽象化層を使用すると、スプリット計算アーキテクチャプラットフォームを独立させることができる。ＯＳＡＬ３３５は、ウェアラブルデバイス１０５のＯＳによって提供される共通のシステム機能へのインターフェースを提供するように構成することができる。これらのＯＳＡＬ３３５は、複数のＯＳ及びハードウェアプラットフォームに開発及び移植ソフトウェア（例えば、アプリケーション）を簡略化できる。いくつかの実施態様では、ＯＳＡＬ３３５は、アプリケーションプログラミングインターフェース（ＡＰＩ）として（またはＡＰＩと同様に）動作することができる。いくつかの実施態様では、ＯＳＡＬ３３５は、プラットフォームに依存する場合がある。
ＯＳＡＬ３３５は、リアルタイムオペレーティングシステム（ＲＴＯＳ）３４０のブロックを含むことができる。ＲＴＯＳ３４０は、例えば、リアルタイムのデッドラインを満たすためにマルチスレッドアプリケーションを処理するように構成することができる。例えば、ＲＴＯＳ３４０は、それぞれ（またはタスクのグループ）が最大完了時間を有する複数のタスクを処理するように構成することができる。ＲＴＯＳが示されているが、任意のＯＳが使用されてもよい。例えば、高レベルオペレーティングシステム（ＨＬＯＳ）を使用することができる。スプリット計算システムでは、タスクを使用すると、コンピューティングデバイス間でこれらのタスク（またはタスクのグループ）を分散させることが可能になる。例えば、ウェアラブルデバイス１０５のためのコンテンツ表示動作は、ウェアラブルデバイス１０５とコンパニオンデバイス１１０（例えば、コンパニオンデバイス１１０と関連付けられたランタイム環境）との間でスプリットすることができる。言い換えれば、ウェアラブルデバイス１０５（及び／またはコンパニオンデバイス１１０）は、（例えば、ウェアラブルデバイススプリット計算アーキテクチャを使用して）コンパニオンデバイス１１０にプロセス（例えば、コンテンツ表示）の一部（タスクまたはタスクのグループ）を実行させるように構成することができる。デバイスにタスクを実行させることは、デバイス及び／または別のデバイス（複数可）によるタスクの処理を開始する、及び／またはタスクの処理をトリガするように構成された命令を送信することを含むことができる。コンピューティングプロセスは、ウェアラブルデバイスのユーザが、対応するユーザ入力（例えば、ジェスチャ）をウェアラブルデバイスに提供することによって開始することができる。いくつかの実施態様では、ウェアラブルデバイスは、別のコンピューティングプロセスに基づいて、ウェアラブルデバイスの空間位置に基づいてなど、コンピューティングプロセスを開始することができる。
図３に示すように、ウェアラブルデバイススプリット計算アーキテクチャは、周辺ドライバ３４５ブロックを含むことができる。周辺ドライバ３４５は、ＯＳと周辺デバイスとの間でインターフェースするように構成することができる。例えば、ウェアラブルデバイス１０５は、例えば、カメラ（複数可）、マイクロフォン（複数可）、スピーカ（複数可）、入力（複数可）、慣性測定ユニット（複数可）（ＩＭＵ）などを含む複数の周辺デバイスを含むことができる。したがって、周辺ドライバ３４５は、ＲＴＯＳ３４０とウェアラブルデバイス１０５の周辺デバイス（複数可）との間でインターフェースするように構成することができる。
図３に示すように、ウェアラブルデバイススプリット計算アーキテクチャは、デバイスクライアント３０５を含むことができる。デバイスクライアント３０５は、ウェアラブルデバイス１０５とコンパニオンデバイス１１０との間の通信を制御するように構成することができる。例えば、デバイスクライアント３０５は、通信回線１３０、及び通信回線１３０を介した通信を生成、初期化、及び制御するように構成することができる。通信回線１３０は、例えば、ソケット（例えば、ネットワークソケット、ＴＣＰ／ＩＰネットワークソケットなど）として動作することができる。ソケットは、２つのコンピューティングデバイス上で実行しているコンピュータコード（例えば、アプリケーション、プログラム、ソフトウェアシステムなど）間の双方向通信リンクの一方のエンドポイントである場合がある。例えば、クライアントとホストの両方が、それぞれがどの機能をサポートするのかを決定することを示す双方向ハンドシェークを使用することができる。ソケット機構は、２つのエンドポイントの間、及び／または２つのエンドポイントと中間デバイス（例えば、アクセスポイント（ＡＰ））との間に名前付き通信接点を確立することによって、プロセス間通信（ＩＰＣ）を提供するように構成することができる。ソケットは、双方向の先入れ先出し（ＦＩＦＯ）通信チャネルを提供するように構成することができる。ネットワークに接続するソケットが、通信の各端に作成される。一例として、各ソケットはアドレス（またはメモリ位置）を有することができる。アドレス（またはメモリ位置）は、例えば、ＩＰアドレス及びポート番号である場合がある。したがって、デバイスクライアント３０５は、コンパニオンデバイス１１０（またはコンパニオンデバイス１１０と関連付けられたランタイム環境）と関連付けられたソケットに書き込み、ソケットから読み取るように構成することができる。いくつかの実施態様では、デバイスクライアント３０５は、プラットフォームに依存しない場合がある。
いくつかの実施態様では、ソフトウェア開発キット（ＳＤＫ）は、ウェアラブルデバイス１０５及びコンパニオンデバイス１１０と関連付けることができる。ＳＤＫは、ウェアラブルデバイス１０５及び／またはコンパニオンデバイス１１０用のアプリケーションを開発するときに使用することができる。ＳＤＫは、スプリット計算アーキテクチャの実装を可能にできる。したがって、スプリット計算アーキテクチャを含む任意のウェアラブルデバイス１０５及び／またはコンパニオンデバイス１１０は（ハードウェア及び／またはソフトウェアのプラットフォームとは関わりなく）ＳＤＫを使用して開発されたアプリケーションを使用することができる。したがって、アプリケーションを開発し、ウェアラブルデバイス１０５及び／またはコンパニオンデバイス１１０として使用し得る各ハードウェア及び／またはソフトウェアプラットフォームに移植する必要はない。ＳＤＫは、アプリケーションがウェアラブルデバイス１０５及び／またはコンパニオンデバイス１１０にインストールされるときに、アプリケーションに含める（または含めることができる要素を有する）ことができる。
図４は、例示的な実施態様による高レベルスプリット計算アーキテクチャのブロック図を示す。図４に示すように、システムは、ウェアラブルデバイス１０５と、コンパニオンデバイス１１０とを含むことができる。システムのスプリット計算アーキテクチャは、ウェアラブルデバイス１０５と関連付けられたデバイスクライアント３０５ブロックと、コンパニオンデバイス１１０と関連付けられた、アプリケーション４１０ブロックと、ＳＤＫ４１５ブロックと、コア４２０ブロックとを含むことができる。上述のように、デバイスクライアント３０５は、ウェアラブルデバイス１０５とコンパニオンデバイス１１０との間の通信を制御するように構成することができる。コア４２０は、ウェアラブルデバイス１０５とコンパニオンデバイス１１０との間の通信を制御するように構成することができる。したがって、コア４２０は、少なくとも、通信回線１３０及び通信回線１３０を介した通信を生成、初期化、及び制御するように構成することができる。通信回線１３０は、例えば、（上述のように）ソケットとして動作することができる。
いくつかの実施態様では、アプリケーション４１０は、アプリケーションロジックを保持するＯＳ上で使用されるアプリケーションのためのファイル形式を含むことができる（例えば、Android（登録商標）パッケージキット（ＡＰＫ））。いくつかの実施態様では、ウェアラブルデバイスアプリケーションは、ＳＤＫのスタブ（例えば、完全ではない）バージョンとリンクして、コンパイルサービス及びテストサービスをサポートすることができる。いくつかの実施態様では、ランタイム時に、アプリケーション４１０は、ウェアラブルデバイスランタイム環境から直接、ウェアラブルデバイスＳＤＫ４１５をロードすることができる。いくつかの実施態様では、ＳＤＫ４１５は、ウェアラブルデバイスアプリケーションを構築するために使用されるアプリケーションプログラミングインターフェース（ＡＰＩ）を開発者に提供することができる。いくつかの実施態様では、ＡＰＩバージョニングスキームによって、下位互換性を維持しながら、新しいＡＰＩを導入することが可能になる。いくつかの実施態様では、ウェアラブルデバイスランタイム環境は、ウェアラブルデバイス実行環境を維持することを担当するコアサービスの集合体である場合がある。いくつかの実施態様では、ウェアラブルデバイスアプリケーションは、コアサービスと直接インタラクトしない場合がある。いくつかの実施態様では、１つ以上のインタラクションがＳＤＫを通過し得る。いくつかの実施態様では、デバイスクライアント３０５は、ウェアラブルデバイス１０５のハードウェア上で実行するシンクライアントである場合がある。
一例として、アプリケーション４１０は、ウェアラブルデバイス１０５上に表示するためのコンテンツを生成する（または生成するのを助ける）ように構成することができる。例えば、アプリケーションはタスク（複数可）を処理するように構成することができる。例えば、アプリケーションは、コンテンツを（例えば、画像として）生成し、ＳＤＫ４１５を介してコア４２０にコンテンツを通信することができる。ＳＤＫ４１５を介してコア４２０にコンテンツを通信することは、アプリケーション４１０が任意のハードウェア及び／またはソフトウェアプラットフォーム向けに開発されることを可能にする特徴の１つである場合がある。例えば、ＳＤＫ４１５は、アプリケーション４１０が開発されるときにアプリケーション４１０と通信するように構成することができる。ＳＤＫ４１５はまた、複数のハードウェア及び／またはソフトウェアプラットフォームと関連付けられたコア４２０と通信するように構成することができる。コンテンツを受信した後、コア４２０は、例えば、事前に確立されたソケットを使用して、デバイスクライアント３０５を介してウェアラブルデバイス１０５にコンテンツを通信することができる。アプリケーション４１０は、ウェアラブルデバイス１０５から受信したデータに基づいてコンテンツを生成するように構成することができる。例えば、周辺ドライバ３４５は、通信回線１２０を使用して、データを検知し、デバイスクライアント３０５及びコア４２０を介してアプリケーションモジュール６３０に周辺データ（例えば、ＩＭＵデータ）としてデータを通信することができる。言い換えれば、周辺データは、周辺ドライバ３４５を介して周辺デバイスによって収集及び処理され（例えば、圧縮される、パッケージ化される、構文解析される、フィルタにかけられる、ノイズを除去されるなど）、ウェアラブルデバイス１０５及び／またはコンパニオンデバイス１１０との通信及びウェアラブルデバイス１０５及び／またはコンパニオンデバイス１１０による使用のためにパッケージ化されるデータである場合がある。
上述のように、いくつかの実施態様では、ウェアラブルデバイス１０５は、所与のときに複数のコンパニオンデバイス１１０に接続するように構成することができる。いくつかの実施態様では、異なるコンパニオンデバイス１１０は、（例えば、アプリケーション４１０を使用して）異なるサービスを提供するように構成することができる。いくつかの実施態様では、低遅延、高帯域幅の５Ｇ接続が主流になると、コンパニオンデバイス１１０は、クラウドで動作する（例えば、５Ｇ規格を通じて接続する）ように構成することができる。
図５は、例示的な実施態様によるウェアラブルデバイスアプリケーションのアクティビティ要素のブロック図を示す。図５に示すように、アプリケーション４１０は、ウェアラブルアクティビティ５０５ブロックと、ウェアラブルアクティビティサービス５１０ブロックと、ウェアラブルアクティビティホスト５１５ブロックとを含むことができ、コア４２０は、コアサービス５２０ブロックを含むことができる。
いくつかの例示的な実施態様では、ウェアラブルデバイスアプリケーションの設計は、アクティビティモデルに似ている場合がある。図３を参照すると、ＲＴＯＳ３４０は、1つのタスク、それぞれ（またはタスクのグループ）が最大完了時間を有する複数のタスクを処理するように構成することができる。したがって、各アクティビティは、並行プロセスで実行され、完了されるまでの時間（または時間量）を有するタスクである場合がある。
例示的な実施態様では、アクティビティは、サービスコンテキストで実行することができる。いくつかの実施態様では、サービスコンテキストで実行することによって、アプリケーション４１０はコンパニオンデバイス１１０のアプリケーションと同時に実行することが可能になる。いくつかの実施態様では、コンパニオンデバイス１１０のディスプレイがオフになっているとき、アプリケーションは実行及びレンダリングを継続することができる。
いくつかの実施態様では、１つ以上のアプリケーション４１０は、ウェアラブルアクティビティサービス５１０を含むことができる。ウェアラブルアクティビティサービス５１０は、ウェアラブルアクティビティ５０５を顕在化させるように構成することができ、その結果、ウェアラブルアクティビティ５０５は、ＳＤＫ４１５によってインスタンス化することができる。したがって、ウェアラブルアクティビティ５０５は、より後の時点でインスタンス化することができる。開発者の観点から、ウェアラブルアクティビティサービス５１０は、アプリケーション４１０のロジックに直接関係しないボイラープレートコードである可能性がある。ウェアラブルアクティビティ５０５は、アプリケーション４１０のロジックに関係するコードである場合がある。いくつかの実施態様では、ウェアラブルアクティビティ５０５は、アクティビティマネージャによって管理することができ、標準的なＯＳのアクティビティ対応物と同様に動作することができる。
いくつかの実施態様では、サービスバインディングは、アプリケーション４１０のライフサイクルを開始及び管理するためにウェアラブルデバイスランタイム環境によって使用することができる。アクティビティマネージャが起動フローの一部としてサービスをバインドすると、ＳＤＫ４１５は、例えば、一般的なアクティビティ状態制御を担うことができるクラスとして、ウェアラブルアクティビティホスト５１５をインスタンス化し、取り付けることができる。例えば、初期化中に、ウェアラブルアクティビティホスト５１５は、ウィンドウマネージャから表面を要求することができる。この表面は次に、アプリケーション４１０のコンテンツをレンダリングするために使用される仮想ディスプレイのためのバッキングストアとして使用される。
図６は、例示的な実施態様によるウェアラブルデバイスランタイム環境におけるウェアラブルデバイスアプリケーションのブロック図を示す。図６に示すように、コンパニオンデバイスＯＳ６０５は、２つ以上のアプリケーション環境を同時に処理することができる。例えば、コンパニオンデバイスＯＳ６０５は、アプリケーションモジュール６１０を含むことができる。アプリケーションモジュール６１０は、標準のＯＳアプリケーションアクティビティと関連付けることができる。さらに、コンパニオンデバイスＯＳ６０５は、ウェアラブルランタイム環境６２５と関連付けて動作するアプリケーションモジュール６３０を含むことができる。ウェアラブルランタイム環境６２５は、ウェアラブルデバイス１０５と関連付けることができる。
アクティビティ（複数可）６２０、６４０は、アプリケーションが実行できる単一の集中的なタスクであることができる。例えば、いくつかのアプリケーションは、ユーザインターフェース（ＵＩ）を含むことができる。したがって、アクティビティ（複数可）６２０、６４０は、ＵＩを配置するためのウィンドウを作成するように構成することができる。ウィンドウは、フルスクリーンウィンドウ、他のウィンドウに埋め込まれたフローティングウィンドウ、隠しウィンドウなどである場合がある。異なるタイプのウィンドウを、異なるアクティビティ（複数可）６２０、６４０と関連付けることができる。アクティビティ（複数可）６２０、６４０は任意のタスクのために構成することができ、ウィンドウは一例にすぎない。
アクティビティマネージャ６１５、６３５は、アクティビティ６２０、６４０に関する情報を通信し、アクティビティ６２０、６４０とインタラクトするように構成することができる。アクティビティマネージャ６１５、６３５はさらに、タスク、スレッド、サービス、及び他のプロセスについての情報を通信し、タスク、スレッド、サービス、及び他のプロセスとインタラクトするように構成することができる。
例示的な実施態様では、ウェアラブルランタイム環境６２５は、仮想ランタイム環境である場合がある。仮想ランタイム環境は、コンピューティングデバイスのバックグラウンドで動作するように構成することができる。したがって、ウェアラブルランタイム環境６２５は、ウェアラブルデバイス１０５と関連付けられ、コンパニオンデバイス１１０上でバックグラウンドプロセスとして動作するように構成された仮想ランタイム環境である場合がある。言い換えれば、ウェアラブルランタイム環境６２５は、コンパニオンデバイス１１０のディスプレイに示されたユーザインターフェースなしで動作することができる。例えば、ウェアラブルランタイム環境６２５は、コンパニオンデバイス１１０の隠しウィンドウで動作することができる。したがって、ウェアラブルランタイム環境６２５が仮想ランタイム環境である場合、コンパニオンデバイス１１０のユーザは、ウェアラブルランタイム環境６２５を使用してアプリケーションを視覚的制御またはＩ／Ｏ制御できない場合がある。
代替的または追加の実施態様では、アプリケーション４１０及び／またはアプリケーションモジュール６３０は、仮想プロセスである場合がある。仮想プロセスは、コンピューティングデバイスのバックグラウンドで動作するように構成することができる。したがって、アプリケーション４１０及び／またはアプリケーションモジュール６３０は、ウェアラブルデバイス１０５と関連付けられ、コンパニオンデバイス１１０上でバックグラウンドプロセスとして動作するように構成された仮想プロセスである場合がある。言い換えれば、アプリケーション４１０及び／またはアプリケーションモジュール６３０は、コンパニオンデバイス１１０のディスプレイに示されたユーザインターフェースなしで動作することができる。例えば、アプリケーション４１０及び／またはアプリケーションモジュール６３０は、コンパニオンデバイス１１０の隠しウィンドウで動作することができる。したがって、プロセスが仮想ランタイムプロセスである場合、コンパニオンデバイス１１０のユーザは、アプリケーション４１０及び／またはアプリケーションモジュール６３０を視覚的制御またはＩ／Ｏ制御できない場合がある。
図７は、例示的な実施態様によるスプリット計算アーキテクチャを使用するシステムのブロック図を示す。図７に示すように、システムは、ウェアラブルデバイス１０５と、コンパニオンデバイス１１０とを含む。ウェアラブルデバイス１０５は、デバイスクライアント３０５と、ミラーモジュール７０５と、周辺ドライバ３４５とを含むことができる。ミラーモジュール７０５は、周辺機器７１５－１、７１５－２、７１５－３、…及び周辺機器７１５－ｎを含むことができる。周辺機器７１５－１、７１５－２、７１５－３、…、及び周辺機器７１５－ｎはそれぞれ、周辺データを含むことができる。コンパニオンデバイス１１０は、コア４２０と、ウェアラブルランタイム環境６２５とを含むことができる。ウェアラブルランタイム環境６２５は、アプリケーション４１０を含むアプリケーションモジュール６３０と、ミラーモジュール７１０とを含むことができる。ミラーモジュール７１０は、周辺７２０－１、７２０－２、７２０－３、…、及び周辺７２０－ｎとを含むことができる。周辺機器７２０－１、７２０－２、７２０－３、…、及び周辺機器７２０－ｎはそれぞれ、周辺データを含むことができる。この例示的な実施態様は、コンパニオンデバイス１１０が周辺データをミラーリングし、使用することと関連付けられた信号フローを説明するために使用することができる。
この例示的な実施態様では、アプリケーション４１０は、例えば、コンテンツ、ヘッドポーズ、レンダリング画像などを生成するように構成することができる。一例として、ヘッドポーズを生成すること（例えば、ヘッドポーズ操作）は、ウェアラブルデバイス１０５によって取り込まれた画像及び／またはＩＭＵデータを使用することを含むことができる。この例では、カメラ（例えば、周辺機器）が画像データとして画像を取り込むと、画像データは、例えば、周辺データとして周辺機器７１５－１に格納することができる。さらに、ＩＭＵがデータを検知するとき、ＩＭＵデータは、例えば、周辺データとして周辺機器７１５－２に格納することができる。
この実施例の実施態様では、周辺機器７１５－１、７１５－２、７１５－３、．．．、及び周辺機器７１５－ｎはそれぞれ、周辺機器７２０－１、７２０－２、７２０－３．．．、及び周辺７２０－ｎとしてコンパニオンデバイス１１０上でミラーリングすることができる。ミラーリング、データミラーリング、またはミラーリングされたデータは、第１の場所から第２の場所にリアルタイムでデータをコピーすることを含むことができる。データはリアルタイムでコピーされるため、第２の場所に格納されたデータは、第１の場所のデータの正確なコピーである。第１の位置及び第２の位置は、メモリ位置（例えば、アドレス指定可能なメモリ位置）であることができる。例示的な実施態様では、第１の位置は、ウェアラブルデバイス１０５のメモリであることができ、第２の位置は、コンパニオンデバイス１１０のメモリ（例えば、ウェアラブルランタイム環境６２５と関連付けられたメモリ）であることができる。上記の例を続けると、周辺機器７２０－１は、周辺機器７１５－１のミラー（例えば、正確なコピー）であり、周辺機器７２０－２は、周辺機器７１５－２のミラー（例えば、正確なコピー）である。したがって、周辺機器７２０－１の周辺データは、周辺機器７１５－１の同じ周辺データであり、周辺機器７２０－２の周辺データは、周辺機器７１５－２の同じ周辺データである。
したがって、アプリケーション４１０は、周辺機器７２０－１の周辺データ及び周辺機器７２０－２の周辺データを使用して、例えば、コンテンツ、ヘッドポーズ、レンダリング画像などを生成するように構成することができる。生成されたコンテンツ、ヘッドポーズ、レンダリング画像などは、プロセスがウェアラブルデバイス１０５によって実行されるならば、実質的に同じであるはずである。したがって、ウェアラブルデバイス１０５のリソースを節約する。
図８は、例示的な実施態様によるコンパニオンデバイスランタイム環境６２５を示すブロック図である。ランタイム環境６２５は、コンパニオンデバイス１１０のメモリに含めることができる。メモリは、揮発性メモリ（例えば、ＲＡＭ）と、１つ以上のＲＯＭ、ディスクドライブ、ソリッドステートドライブなどの不揮発性メモリとの両方を含むことができる。例示的な実施態様では、ランタイム環境６２５は、ヘッドポーズデータを生成するように構成されたモジュール（例えば、ソフトウェアコード、コンピュータ命令など）を含むことができる。ヘッドポーズデータは、画像データ及び／またはＩＭＵデータに基づいて生成することができる。
いくつかの実施態様では、ランタイム環境６２５のコンポーネントの１つ以上は、メモリに格納された命令を処理するように構成されたプロセッサと関連付けることができる。図８に示すそのような命令の例は、ミラーモジュール７１０と、ＩＭＵマネージャ８１０と、ニューラルネットワークマネージャ８２０と、視覚的位置決めシステムマネージャ８３０とを含む。さらに、図８に示すように、ランタイム環境６２５は、様々なデータを格納するように構成することができ、これは、そのようなデータを使用するそれぞれのモジュールに関して説明される。
この例では、ミラーモジュール７１０は、それぞれ、ウェアラブルデバイス１０５上の周辺データのミラーである周辺データを含む画像周辺機器８０５－１と、ＩＭＵ周辺機器８０５－２とを含む。ＩＭＵマネージャ８１０は、ＩＭＵデータ８５０を取得するように構成することができる。いくつかの実施態様では、ＩＭＵマネージャ８１０は、ＩＭＵ周辺機器８０５－２から周辺データを読み出すことによってＩＭＵデータ８５０を取得するように構成することができる。図８に示すように、ＩＭＵマネージャ８１０は、誤差補償マネージャ８１２と、積分マネージャ８１４とを含むことができる。
誤差補償マネージャ８１２は、ＩＭＵ較正パラメータを格納するように構成することができる。誤差補償マネージャ８１２は、例えば、ＩＭＵマネージャ８１０からＩＭＵ出力（ＩＭＵデータ８５０）受信し、ＩＭＵ較正パラメータ値を使用して、誤差についてＩＭＵ出力を補償するようにさらに構成することができる。誤差補償マネージャ８１２はさらに、誤差補償を実行した後、ＩＭＵデータ８５０を生成するように構成することができる。
積分マネージャ８１４は、ＩＭＵデータ８５０に対して積分演算（例えば、時間依存値を合計すること）を実行するように構成することができる。例えば、回転速度データ８５１を経時的に積分して、向きを生成することができる。さらに、加速度データ８５２を経時的に２回積分して、位置を生成することができる。したがって、積分マネージャ８１４は、例えば、回転速度データ８５１及び加速度データ８５２など、ＩＭＵ出力から６ＤｏＦ姿勢（位置及び向き）を生成するように構成することができる。
ＩＭＵデータ８５０は、ＩＭＵ較正パラメータ値を使用して誤差（複数可）について補償されたワールドフレーム（例えば、ＩＭＵのフレームなどのローカルフレームと対照的に）でジャイロ測定値と加速度計測定値、回転速度データ８５１、及び加速度データ８５２を表すことができる。さらに、ＩＭＵデータ８５０は、ジャイロ測定値及び加速度計測定値から導出される、６ＤｏＦ姿勢及び移動データ、位置データ８５４、向きデータ８５５、及び速度データ８５６とを含む。最後に、いくつかの実施態様では、ＩＭＵデータ８５０は、ＩＭＵ温度データ８５３を含むことができる。これは、回転速度データ８５１、及び加速度データ８５２におけるさらなる誤差を（誤差補償マネージャ８１２による補正のために）示し得る。
ニューラルネットワークマネージャ８２０は、入力として、回転速度データ８５１及び加速度データ８５２を取得し、第１の位置データ８４２と、第１の向きデータ８４４と、第１の速度データ８４６とを含むニューラルネットワークデータ８４０を生成するように構成することができる。いくつかの実施態様では、入力された回転速度データ８５１及び加速度データ８５２は、誤差補償マネージャ８１２が、例えば、ＩＭＵ較正パラメータ値によって補償された誤差で、未処理のＩＭＵ出力値に作用することによって生成することができる。図８に示すように、ニューラルネットワークマネージャ８２０は、ニューラルネットワークトレーニングマネージャ８２２を含むことができる。
ニューラルネットワークトレーニングマネージャ８２２は、トレーニングデータ８４８を受け取り、層ならびにコスト関数及び値に関するデータを含むニューラルネットワークデータ８４０を生成するように構成することができる。いくつかの実施態様では、トレーニングデータ８４８は、ウェアラブルデバイス１０５を装着し、例えば、頭部及び／または身体の他の部分を移動させるユーザの測定値から生成された移動データ、ならびにそれらの測定値から生成されたグラウンドトゥルース６ＤｏＦ姿勢データを含むことができる。いくつかの実施態様では、トレーニングデータ８４８は、測定された６ＤｏＦの姿勢及び速度と組み合わされた、動作からの測定された回転速度及び加速度を含むことができる。
さらに、いくつかの実施態様では、ニューラルネットワークマネージャ８２０は、ＩＭＵからの履歴データを使用して、第１の位置データ８４２、第１の向きデータ８４４、及び第１の速度データ８４６を生成することができる。例えば、履歴データは、結果として生じる６ＤｏＦ姿勢及び移動結果に対して、以前の回転速度、加速度、及び温度でトレーニングデータ８４８を拡張し、したがってニューラルネットワークをさらに改良するために使用することができる。いくつかの実施態様では、ニューラルネットワークマネージャ８２０によって表されるニューラルネットワークは、畳み込みニューラルネットワークであり、層は畳み込み層である。
視覚位置決めシステム（ＶＰＳ）マネージャ８３０は、入力として画像を受け取り、第２の位置データ８６２と、第２の向きデータ８６４とを含むＶＰＳデータ８６０を生成するように構成することができる。いくつかの実施態様では、ＶＰＳデータは、例えば、画像に基づいた６ＤｏＦ姿勢などの第２の速度データ８６６を含むことができる。ＶＰＳマネージャ８３０は、ＶＰＳデータ８６０を生成するために使用される画像を取得するように構成することができる。いくつかの実施態様では、ＶＰＳマネージャ８３０は、画像周辺機器８０５－１から周辺データを読み出すことによって画像を取得するように構成することができる。画像周辺機器８０５－１に格納された画像または画像データは、ウェアラブルデバイス１０５上の世界に面するカメラで取り込まれた画像のミラーである場合がある。
いくつかの実施態様では、ＶＰＳデータ８６０を生成する際のＶＰＳマネージャ８３０の精度レベルは、位置を取り囲む環境に依存する可能性がある。例えば、屋内位置の精度要件は１～１０ｃｍのオーダーである場合があり、屋外位置の精度要件は１～１０ｍのオーダーである場合がある。
ウェアラブルデバイス１０５のヘッドポーズは、画像周辺機器８０５－１及び／またはＩＭＵ周辺機器８０５－２の周辺データに基づいて、コンパニオンデバイス１１０によって生成することができる。例えば、ウェアラブルデバイス１０５のヘッドポーズは、ニューラルネットワークデータ８４０に基づいて、コンパニオンデバイス１１０によって生成することができる。例えば、ウェアラブルデバイス１０５のヘッドポーズは、ＶＰＳデータ８６０に基づいて、コンパニオンデバイス１１０によって生成することができる。例えば、ウェアラブルデバイス１０５のヘッドポーズは、ＩＭＵデータ８５０に基づいて、コンパニオンデバイス１１０によって生成することができる。例えば、ウェアラブルデバイス１０５のヘッドポーズは、ニューラルネットワークデータ８４０、ＶＰＳデータ８６０、及び／またはＩＭＵデータ８５０に基づいて、コンパニオンデバイス１１０によって生成することができる。生成されたヘッドポーズは、プロセスがウェアラブルデバイス１０５によって実行されるならば、実質的に同じであるはずである。したがって、ウェアラブルデバイス１０５のリソースを節約する。さらに、スプリット計算システム、ならびに画像周辺機器８０５－１及び／またはＩＭＵ周辺機器８０５－２のミラーリングされた周辺データのため、ヘッドポーズは、最大完了時間内に生成することができる。
実施例１。図９は、例示的な実施態様による、ウェアラブルデバイスと、前記ウェアラブルデバイスに通信可能に結合されたコンパニオンデバイスとを含むスプリット計算システムを操作する方法のブロック図である。図９に示すように、ステップＳ９０５において、ウェアラブルデバイスをコンパニオンデバイスと通信可能に結合すること。前記結合することは、前記ウェアラブルデバイス、前記コンパニオンデバイスのいずれかによって、または前記ウェアラブルデバイスのもしくは前記コンパニオンデバイスのユーザのユーザコマンドに応答してトリガすることができる。前記ウェアラブルデバイスが、例えば、１つ以上の有線及び／または無線通信リンクを介してなど、１つ以上のコマンド及び／またはデータを、少なくとも部分的に、前記コンパニオンデバイスに送信すること、及び／または前記コンパニオンデバイスから受信することが可能である場合、前記ウェアラブルデバイスは、前記コンパニオンデバイスに「通信可能に結合する」ことができる。いくつかの実施態様では、クライアントとホストの両方が、それぞれがどの機能をサポートするのかを決定することを示す、双方向ハンドシェークを使用することができる。ステップＳ９１０において、前記ウェアラブルデバイスによって、周辺デバイスから取得されたデータを、周辺データとして前記コンパニオンデバイスでミラーリングすることであって、前記ウェアラブルデバイスによって、前記周辺デバイスから前記周辺データを取得することと、前記ウェアラブルデバイスによって、前記周辺データを前記コンパニオンデバイスに通信することを含む、前記ミラーリングすること。ここで、用語「周辺デバイス」は、例えば、慣性測定ユニット（ＩＭＵ）などのように、前記ウェアラブルデバイスの入力／出力デバイスなど、前記ウェアラブルデバイスに直接接続する、前記ウェアラブルデバイスの内部デバイスまたは外部デバイスを指すために使用することができる。ここで、用語「ミラーリング」は、正確なコピーとして、前記周辺データを前記コンパニオンデバイスにコピーするリアルタイム動作を指すために使用することができる。ステップＳ９１５において、前記コンパニオンデバイスによって、前記周辺データを受信し、前記周辺データを処理されたデータに処理すること。前記ミラーリングされた周辺データは、それぞれ（またはタスクのグループ）が最大完了時間を有する可能性がある複数のタスクに関する場合がある。ここで、前記複数のタスクまたは前記複数のタスクの一部は、前記周辺データを前記コンパニオンデバイスにミラーリングするときに、前記コンパニオンデバイスによって実行することができる。前記完了したタスクの結果は、次に前記ウェアラブルデバイスに返すことができる。ステップＳ９２０において、前記コンパニオンデバイスによって、前記処理されたデータを前記ウェアラブルデバイスに送信すること。ステップＳ９２５において、前記ウェアラブルデバイスによって、前記処理されたデータを受信し、前記処理されたデータを利用してコンピューティングプロセスを完了すること。ここで、前記コンピューティングプロセスは、例えば、前記ウェアラブルデバイスが前記コンパニオンデバイスと結合されているときなど、前記周辺データが前記ユーザに送信される前または送信されるときに開始することができる。
実施例２。前記ウェアラブルデバイスによって、前記コンパニオンデバイスの周辺デバイスから取得されたデータを、コンパニオンデバイス周辺データとして前記ウェアラブルデバイス上でミラーリングすることは、前記ウェアラブルデバイスによって、前記コンパニオンデバイスから前記コンパニオンデバイス周辺データを受信することを含むことをさらに備える、実施例１に記載の方法。
実施例３。前記周辺データが、慣性測定ユニット（ＩＭＵ）データである場合があり、前記コンピューティングプロセスがヘッドポーズ操作である場合があり、前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することが、前記ヘッドポーズ操作に基づいて前記結果を使用することを含むことができる、実施例１に記載の方法。
実施例４。前記周辺データが、画像データである場合があり、前記コンピューティングプロセスがヘッドポーズ操作である場合があり、前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することが、前記ヘッドポーズ操作に基づく前記結果を使用することを含むことができる、実施例１に記載の方法。
実施例５。前記周辺データが、画像データである場合があり、前記コンピューティングプロセスがアイトラッキング操作である場合があり、前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することが、前記アイトラッキング操作に基づく前記結果を使用することを含むことができる、実施例１に記載の方法。
実施例６。前記ウェアラブルデバイスが第１のソケットを含むことができ、前記コンパニオンデバイスが、前記第１のソケットに通信可能に結合された第２のソケットを含むことができ、周辺デバイスと関連付けられた前記データをミラーリングすることが、前記第１のソケットと前記第２のソケットとの間で前記周辺データを通信することを含むことができる、実施例１に記載の方法。
実施例７。前記ウェアラブルデバイスがスマートグラスである場合がある、実施例１に記載の方法。
実施例８。前記コンパニオンデバイスが、別のウェアラブルデバイス、モバイルデバイス、スマートフォン、タブレット、サーバ、及びプロセッサとオペレーティングシステムとを含むデバイスの少なくとも１つである場合がある、実施例１に記載の方法。
実施例９。図１０は、例示的な実施態様によるスプリット計算アーキテクチャを操作する方法のブロック図である。システムは、デバイスクライアントと、ハードウェアアプリケーション層と、オペレーティングシステム抽象化層と、少なくとも１つの周辺デバイスドライバとを含むウェアラブルデバイスを含むことができる。前記システムは、前記ウェアラブルデバイスと関連付けられたランタイム環境を含むコンパニオンデバイスを含むことができる。図１０に示すように、ステップＳ１００５において、前記周辺デバイスと関連付けられたデータを、周辺データとして前記コンパニオンデバイス上でミラーリングする。ステップＳ１０１０において、前記ウェアラブルデバイスによって、前記周辺データを検出する。ステップＳ１０１５において、前記ウェアラブルデバイスによって、前記周辺データを前記コンパニオンデバイスに通信する。ステップＳ１０２０において、前記コンパニオンデバイスによって、前記周辺デバイスを受信する。ステップＳ１０２５において、前記コンパニオンデバイスによって、前記コンパニオンデバイスによるコンピューティングプロセスの完了と関連付けられた結果を生成し、前記コンピューティングプロセスが、前記周辺データを使用するように構成される。ステップＳ１０３０において、前記ウェアラブルデバイスによって、前記コンピューティングプロセスの前記完了と関連付けられた結果を受信する。ステップＳ１０３５において、及び、前記ウェアラブルデバイスによって、前記コンピューティングプロセスの前記完了と関連付けられた前記結果に基づいて、前記コンピューティングプロセスを完了する。
実施例１０。前記ウェアラブルデバイスがスマートグラスである場合がある、実施例９に記載の方法。
実施例１１。前記コンパニオンデバイスが、別のウェアラブルデバイス、モバイルデバイス、スマートフォン、タブレット、サーバ、及びプロセッサとオペレーティングシステムとを含むデバイスの少なくとも１つである場合がある、実施例９に記載の方法。
実施例１２。前記ランタイム環境が、前記コンパニオンデバイスのバックグラウンドで動作する仮想ランタイム環境である場合があり、前記周辺デバイスと関連付けられた前記データのミラーが、前記仮想ランタイム環境に含まれる場合がある、実施例９に記載の方法。
実施例１３。前記周辺データが、慣性測定ユニット（ＩＭＵ）データである場合があり、前記コンピューティングプロセスがヘッドポーズ操作である場合があり、前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することが、前記ヘッドポーズ操作に基づいて前記結果を使用することを含むことができる、実施例９に記載の方法。
実施例１４。前記周辺データが、画像データである場合があり、前記コンピューティングプロセスがヘッドポーズ操作である場合があり、前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することが、前記ヘッドポーズ操作に基づく前記結果を使用することを含むことができる、実施例９に記載の方法。
実施例１５。前記周辺データが、画像データである場合があり、前記コンピューティングプロセスがアイトラッキング操作である場合があり、前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することが、前記アイトラッキング操作に基づく前記結果を使用することを含むことができる、実施例９に記載の方法。
実施例１６。前記ウェアラブルデバイスが第１のソケットを含むことができ、前記コンパニオンデバイスが、前記第１のソケットに通信可能に結合された第２のソケットを含むことができ、周辺デバイスと関連付けられた前記データをミラーリングすることが、前記第１のソケットと前記第２のソケットとの間で前記周辺データを通信することを含むことができる、実施例９に記載の方法。
実施例１７。図１１は、例示的な実施態様によるコンパニオンを操作する方法のブロック図である。図１１に示すように、ステップＳ１１０５において、ウェアラブルデバイスをコンパニオンデバイスと通信可能に結合すること。ステップＳ１１１０において、前記コンパニオンデバイスによって、前記ウェアラブルデバイスの周辺デバイスと関連付けられたデータを、周辺データとしてミラーリングすること。ステップＳ１１１５において、前記コンパニオンデバイスによって、前記ウェアラブルデバイスから前記周辺データを受信すること。ステップＳ１１２０において、前記コンパニオンデバイスによって、前記コンパニオンデバイスによるコンピューティングプロセスの完了と関連付けられた結果を生成し、前記コンピューティングプロセスが、前記周辺データを使用するように構成される。ステップＳ１１２５において、前記コンパニオンデバイスによって、前記コンピューティングプロセスの前記完了と関連付けられた前記結果を前記ウェアラブルデバイスに通信すること。
実施例１８。前記ウェアラブルデバイスがスマートグラスである場合がある、実施例１７に記載の方法。
実施例１９。前記コンパニオンデバイスが、別のウェアラブルデバイス、モバイルデバイス、スマートフォン、タブレット、サーバ、及びプロセッサとオペレーティングシステムとを含むデバイスの少なくとも１つである場合がある、実施例１７に記載の方法。
実施例２０。前記コンパニオンデバイスによって、前記コンパニオンデバイスの周辺デバイスから取得されたデータを、コンパニオンデバイス周辺データとして前記ウェアラブルデバイス上でミラーリングすることは、前記コンパニオンデバイスによって、前記コンパニオンデバイス周辺データを前記コンパニオンデバイスに通信することを含むことをさらに備える、実施例１７に記載の方法。
実施例２１。前記周辺データが、慣性測定ユニット（ＩＭＵ）データである場合があり、前記コンピューティングプロセスがヘッドポーズ操作である場合があり、前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することが、前記ヘッドポーズ操作に基づく前記結果を使用することを含むことができる、実施例１７に記載の方法。
実施例２２。前記周辺データが、画像データである場合があり、前記コンピューティングプロセスがヘッドポーズ操作である場合があり、前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することが、前記ヘッドポーズ操作に基づいて前記結果を使用することを含むことができる、実施例１７に記載の方法。
実施例２３。前記周辺データが、画像データである場合があり、前記コンピューティングプロセスがアイトラッキング操作である場合があり、前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することが、前記アイトラッキング操作に基づいて前記結果を使用することを含むことができる、実施例１７に記載の方法。
実施例２４。前記ウェアラブルデバイスが第１のソケットを含むことができ、前記コンパニオンデバイスが、前記第１のソケットに通信可能に結合された第２のソケットを含むことができ、周辺デバイスと関連付けられた前記データをミラーリングすることが、前記第１のソケットと前記第２のソケットとの間で前記周辺データを通信することを含むことができる、実施例１７に記載の方法。
実施例２５。前記コンパニオンデバイスが、仮想ランタイム環境を含む場合があり、前記周辺デバイスと関連付けられたミラーが、前記仮想ランタイム環境に含まれる場合がある、実施例１７に記載の方法。
実施例２６。方法は、実施例１～実施例２５の１つ以上の任意の組み合わせを含むことができる。
実施例２７。非一時的コンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読記憶媒体に格納された命令を含み、前記命令は、少なくとも１つのプロセッサによって実行されるとき、コンピューティングシステムに、実施例１～２６のいずれかに記載の方法を実行させるように構成される、前記非一時的コンピュータ可読記憶媒体。
実施例２８。実施例１～２６のいずれかに記載の前記方法を実行するための手段を備える装置。
実施例２９。少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備える装置であって、前記少なくとも１つのメモリ及び前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、前記装置に実施例１～２６のいずれかに記載の方法を少なくとも実行させるように構成された、前記装置。
例示的な実施態様は、命令を含む非一時的コンピュータ可読記憶媒体を含むことができ、この命令は、少なくとも１つのプロセッサによって実行されるとき、コンピューティングシステムに、上述の方法のいずれかに記載の方法を実行させるように構成される。例示的な実施態様は、上述の方法のいずれかを実行するための手段を含む装置を含むことができる。例示的な実施態様は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを含む装置を含むことができ、少なくとも１つのメモリ及びコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、上述の方法のいずれかを少なくとも実行させるように構成される。
本明細書において説明するシステム及び技術の様々な実施態様は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／またはそれらの組み合わせで実現され得る。これらの様々な実施態様は、ストレージシステムからのデータ及び命令を受信し、ストレージシステムにデータ及び命令を送信するように結合された、特殊または汎用であり得る、少なくとも１つのプログラマブルプロセッサ、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスを含んだプログラム可能なシステムで実行可能及び／または解釈可能な１つ以上のコンピュータプログラムにおける実装を含み得る。
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラマブルプロセッサのための機械命令を含み、かつ高水準手続型及び／またはオブジェクト指向プログラミング言語、及び／またはアセンブリ／機械言語で実装されることができる。本明細書で使用する場合、「機械可読の媒体」及び「コンピュータ可読の媒体」という用語は、機械可読の信号として機械命令を受け取る機械可読の媒体を含むプログラマブルプロセッサに機械命令及び／またはデータを提供するために用いられる、あらゆるコンピュータプログラム製品、装置及び／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理回路（ＰＬＤ））を指す。「機械可読の信号」という用語は、機械命令及び／またはデータをプログラマブルプロセッサに提供するために用いられるあらゆる信号を指す。
ユーザとのインタラクションを提供するために、本明細書で説明するシステム及び技術は、ユーザに情報を表示するためのディスプレイデバイス（ＬＥＤ（発光ダイオード）またはＯＬＥＤ（有機ＬＥＤ）、またはＬＣＤ（液晶ディスプレイ）モニタ／画面）、ならびにユーザがそれによってコンピュータへの入力を提供することができるキーボード及びポインティングデバイス（例えば、マウスやトラックボール）を有するコンピュータ上に実装できる。他の種類のデバイスもまた、ユーザとのインタラクションを提供するために使用することができ、例えば、ユーザに提供されるフィードバックは、あらゆる形式の感覚的フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）である場合があり、ユーザからの入力は、音響、音声言語、または触覚入力を含む任意の形式で受信できる。
ここに説明するシステム及び技術は、バックエンドコンポーネント（例えば、データサーバとして）を含むか、またはミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むか、またはフロントエンドコンポーネント（例えば、ユーザがそれを通じてここに説明するシステム及び技術の実装とインタラクトできるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングシステムに、あるいはそのようなバックエンド、ミドルウェア、もしくはフロントエンドのコンポーネントの組み合わせに実装することができる。システムのコンポーネントは、あらゆる形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）、及びインターネットを含む。
コンピューティングシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、概して互いに遠く離れており、通常通信ネットワークを通じてインタラクトする。クライアントとサーバの関係は、それぞれのコンピュータ上で実行されると共にクライアントとサーバの関係を互いに有するコンピュータプログラムにより生じる。
いくつかの実施態様が説明されてきた。それにも関わらず、本明細書の趣旨及び範囲から逸脱することなく、様々な修正が成され得ることが理解される。
さらに、図に示されたロジックフローは、所望の結果を成し遂げるために、示されている特定の順序、つまり連続した順序を必要としない。さらに、説明したフローに他のステップを設けてもよく、または説明したフローからステップを排除してもよく、及び説明したシステムに他の構成要素を追加してもよく、または説明したシステムから他の構成要素を除去してもよい。したがって、他の実施態様は、以下の特許請求の範囲内である。
本明細書で説明されるように、記載の実施態様の特定の特徴が例示されたが、数多くの修正、置換、変更、及び均等物が、当業者には想到されるであろう。よって、添付の特許請求の範囲は、実施態様の範囲に入るそのような修正及び変更をすべて網羅する意図があることを、理解されたい。それらは、限定ではなく、例としてのみ提示されており、形式及び詳細における様々な変更を行い得ることが理解されるべきである。本明細書に説明する装置及び／または方法の任意の部分は、相互に排他的な組み合わせを除いて、任意の組み合わせで組み合わせ得る。本明細書に説明する実施態様は、説明する異なる実施態様の機能、構成要素、及び／または特徴の様々な組み合わせ及び／または部分組み合わせを含むことができる。
例示的な実施態様は、様々な修正及び代替の形態を含み得るが、その実施態様は、図面に例として示され、本明細書で詳細に説明される。しかしながら、開示される特定の形式に例示的な実施態様を限定する意図はなく、逆に、例示的な実施形態は、特許請求の範囲の範囲内に含まれるすべての修正形態、均等物、及び代替形態を含むべきであることを理解されたい。同様の番号は、図の説明を通して同様の構成要素を指す。
上述の例示的な実施態様のいくつかは、フローチャートとして示されるプロセスまたは方法として説明されている。フローチャートでは動作を逐次処理として説明しているが、動作の多くは並行して、共に、または同時に行ってもよい。また、動作の順番を入れ替えでもよい。プロセスは、それらの動作が完了したときに終了させてもよいが、図に含まれていない追加のステップを有してもよい。プロセスは、方法、機能、手順、サブルーチン、サブプログラムなどに対応し得る。
それらのいくつかはフローチャートによって示されている、上記の方法は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせによって実施され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードに実装されるとき、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、記憶媒体などの機械可読媒体またはコンピュータ可読媒体に記憶され得る。プロセッサ（複数可）は必要なタスクを実行し得る。
本明細書に開示される具体的な構造的及び機能的な詳細は、単に例示的な実施態様を説明する目的で表すにすぎない。しかしながら、例示的な実施態様は、多くの代替形態で具体化され、本明細書で説明される実施態様のみに限定されると解釈されるべきではない。
用語、第１の、第２のなどは、様々な要素を説明するために本明細書で使用されてよいが、これらの要素がこれらの用語によって制限されるべきではないことを理解されたい。これらの用語は、ある要素を別の要素と区別するためだけに使用される。例えば、例示的な実施態様の範囲から逸脱することなく、第１の要素が第２の要素と称され、同様に、第２の要素が第１の要素と称される場合があるであろう。本明細書で使用する場合、用語、及び／またはは、関連付けられた記載された項目の１つ以上のありとあらゆる組み合わせを含む。
要素が別の要素に接続または結合されていると言及されるとき、要素は他の要素に直接接続または結合される可能性もあれば、介在する要素が存在する場合もあることを理解されたい。対照的に、要素が、別の要素に直接接続または直接結合されていると言及されるとき、介在要素は存在しない。要素間の関係性を説明するために使用される他の単語は、同様に（例えば、間に対直接間に、隣接する対直接隣接するなど）解釈されるべきである。
本明細書に使用される専門用語は、特定の実施態様を説明する目的のためであり、例示的な実施態様を限定することを意図しない。本明細書で使用する場合、単数形のａ、ａｎ、及びｔｈｅは、文脈が別段に明確に示さない限り、同様に複数形も含むことが意図される。用語、備える／含む（ｃｏｍｐｒｉｓｅｓ）、備える／含む（ｃｏｍｐｒｉｓｉｎｇ）、含む（ｉｎｃｌｕｄｅｓ）、及び／または含む（ｉｎｃｌｕｄｉｎｇ）は、本明細書で使用されているときには、述べられている特徴、整数、ステップ、動作、要素、及び／またはコンポーネントの存在を指定するが、１つ以上の他の特徴、構成要素、ステップ、動作、要素、コンポーネント、及び／またはそれらの群の存在または追加を排除しないことをさらに理解されたい。
また、いくつかの代替実施態様では、示される機能／行為が、図で示される順序とは違う順序で起こり得ることに留意されたい。例えば、連続して示される２つの図は、実際には同時に実行される場合もあれば、関与する機能／行為に応じて、逆の順序で実行される場合もある。
別途定義されない限り、本明細書で使用されるすべての用語（技術用語及び科学用語を含む）は、例示的な実施態様が属する当業者により一般に理解されるものと同じ意味を有する。例えば、一般的に使用される辞書で定義される用語などの用語は、関連技術の文脈におけるそれらの意味と一致する意味を有すると解釈されるべきであり、本明細書に明示的にそのように定義されない限り、理想化された意味または過度に形式的な意味で解釈されないことをさらに理解されたい。
上記の例示的な実施態様及び対応する発明を実施するための形態の部分は、ソフトウェアに関して、またはアルゴリズム及びコンピュータメモリ内のデータビットに対する操作の記号表現に関して提示される。これらの説明及び表現は、当業者が自分の研究の趣旨を当業者に効果的に伝えるものである。この用語がここで使用されている場合、及び一般に使用されている場合、アルゴリズムは、望ましい結果につながるステップの自己矛盾のないシーケンスであると考えられる。ステップは、物理量の物理的操作を必要とするステップである。通常、必ずしもではないが、これらの量は、記憶され、移転され、組み合わされ、比較され、そうでない場合、操作が可能な光信号、電気信号、または磁気信号の形式をとる。おもに一般的な使用の理由から、これらの信号をビット、値、要素、記号、文字、用語、数などと呼ぶことが、ときには好都合であることが証明されている。
上述の例示的な実施態様では、プログラムモジュールまたは機能プロセスとして実装され得る（例えば、フローチャートの形式の）行為及び操作の記号表現に対する言及は、特定のタスクを実行するか、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、これらは、既存の構造要素において既存のハードウェアを使用して説明及び／または実装され得る。そのような既存のハードウェアは、１つ以上の中央処理装置（ＣＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）コンピュータなどを含み得る。
しかしながら、これらの用語及び類似した用語のすべては、適切な物理量と関連付けられるべきであり、これらの量に適用される便宜上のラベルにすぎないことを認識しておくべきである。特に明記されていない限り、または説明から明らかであるように、処理またはコンピューティングまたは計算または表示することの決定などの用語は、コンピュータシステムまたは類似した電子コンピューティングデバイスのアクション及びプロセスを指し、コンピュータシステムまたは類似した電子コンピューティングデバイスは、コンピュータシステムのレジスタ及びメモリ内の物理量、電子量として表されるデータを操作し、コンピュータシステムメモリもしくはレジスタまたは他のそのような情報ストレージデバイス、送信デバイス、または表示デバイス内の物理量として同様に表される他のデータに変換する。
また、例示的な実施態様のソフトウェア実装態様は、通常、なんらかの形式の非一時的プログラム記憶媒体上で符号化されるか、またはなんらかのタイプの伝送媒体を介して実装されることにも留意されたい。プログラム記憶媒体は、磁気（例えば、フロッピー（登録商標）ディスクもしくはハードドライブ）または光（例えば、コンパクトディスク読み出し専用メモリ、すなわちＣＤ ＲＯＭ）である場合もあれば、読み出し専用またはランダムアクセスである場合もある。同様に、伝送媒体は、ツイストワイヤペア、同軸ケーブル、光ファイバ、または当該技術で既知のなんらかの他の適切な伝送媒体であってもよい。例示的な実施態様は、任意の所与の実施態様のこれらの態様によって限定されない。
最後に、添付の特許請求の範囲は、本明細書に説明する特徴の特定の組み合わせを説明しているが、本開示の範囲は、以下に特許請求される特定の組み合わせに限定されるのではなく、代わりに、特定の組み合わせがこの時点で添付の特許請求の範囲に明確に列挙されているか否かに関わらず、本明細書に開示された実施態様の特徴の任意の組み合わせを包含するように拡大することも留意されたい。

Claims (29)

  1. 方法であって、
    ウェアラブルデバイスをコンパニオンデバイスと通信可能に結合することと、
    前記ウェアラブルデバイスによって、前記ウェアラブルデバイスの周辺デバイスから取得されたデータを、周辺データとして前記コンパニオンデバイス上でミラーリングすることと、を備え、ミラーリングすることは、
    前記ウェアラブルデバイスによって、前記周辺デバイスから前記周辺データを取得することと、
    前記ウェアラブルデバイスによって、前記周辺データを前記コンパニオンデバイスに通信することと、
    を含み、前記方法はさらに、
    前記コンパニオンデバイスによって、前記周辺データを受信し、前記周辺データを処理されたデータに処理することと、
    前記コンパニオンデバイスによって、前記処理されたデータを前記ウェアラブルデバイスに送信することと、
    前記ウェアラブルデバイスによって、前記処理されたデータを受信し、前記処理されたデータを利用してコンピューティングプロセスを完了することと、
    を備える、方法。
  2. 前記ウェアラブルデバイスによって、前記コンパニオンデバイスの周辺デバイスから取得されたデータを、コンパニオンデバイス周辺データとして前記ウェアラブルデバイス上でミラーリングすることは、前記ウェアラブルデバイスによって、前記コンパニオンデバイスから前記コンパニオンデバイス周辺データを受信することを含むことをさらに備える、請求項１に記載の方法。
  3. 前記周辺データは、慣性測定ユニット（ＩＭＵ）データであり、
    前記コンピューティングプロセスは、ヘッドポーズ操作であり、
    前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することは、前記ヘッドポーズ操作の結果を使用することを含む、
    請求項１または請求項２に記載の方法。
  4. 前記周辺データは、画像データであり、
    前記コンピューティングプロセスは、ヘッドポーズ操作であり、
    前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することは、前記ヘッドポーズ操作の結果を使用することを含む、
    請求項１または請求項２に記載の方法。
  5. 前記周辺データは、画像データであり、
    前記コンピューティングプロセスは、アイトラッキング操作であり、
    前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することは、前記アイトラッキング操作の結果を使用することを含む、
    請求項１または請求項２に記載の方法。
  6. 前記ウェアラブルデバイスは、第１のソケットを含み、
    前記コンパニオンデバイスは、前記第１のソケットに通信可能に結合された第２のソケットを含み、
    周辺デバイスと関連付けられた前記データをミラーリングすることは、前記第１のソケットと前記第２のソケットとの間で前記周辺データを通信することを含む、
    請求項１または請求項２に記載の方法。
  7. 前記ウェアラブルデバイスは、スマートグラスである、請求項１または請求項２に記載の方法。
  8. 前記コンパニオンデバイスは、別のウェアラブルデバイス、モバイルデバイス、スマートフォン、タブレット、サーバ、ならびに、プロセッサ及びオペレーティングシステムを含むデバイスの中の少なくとも１つである、請求項１または請求項２に記載の方法。
  9. システムであって、
    ウェアラブルデバイスと、
    コンパニオンデバイスと、
    を備え、
    前記ウェアラブルデバイスは、
    デバイスクライアントと、
    ハードウェア抽象化層と、
    オペレーティングシステムの抽象化層と、
    少なくとも１つの周辺デバイスの各々のための少なくとも１つのドライバと、
    を含み、
    前記コンパニオンデバイスは、前記ウェアラブルデバイスと関連付けられたランタイム環境を含み、
    前記システムは、
    前記少なくとも１つの周辺デバイスと関連付けられたデータを、周辺データとして前記コンパニオンデバイス上でミラーリングするように構成され、ミラーリングすることは、
    前記ウェアラブルデバイスによって、前記周辺デバイスから前記周辺データを取得することと、
    前記ウェアラブルデバイスによって、前記周辺データを前記コンパニオンデバイスに通信することと、
    を含み、前記システムは、
    前記コンパニオンデバイスによって、前記周辺データを受信し、前記周辺データを処理されたデータに処理し、
    前記コンパニオンデバイスによって、前記処理されたデータを前記ウェアラブルデバイスに送信し、
    前記ウェアラブルデバイスによって、前記処理されたデータを受信し、前記処理されたデータを利用してコンピューティングプロセスを完了する、
    ように構成される、
    システム。
  10. 前記ウェアラブルデバイスは、スマートグラスである、請求項９に記載のシステム。
  11. 前記コンパニオンデバイスは、別のウェアラブルデバイス、モバイルデバイス、スマートフォン、タブレット、サーバ、ならびに、プロセッサ及びオペレーティングシステムを含むデバイスの中の少なくとも１つである、請求項９または請求項１０に記載のシステム。
  12. 前記ウェアラブルデバイスによって、前記コンパニオンデバイスの周辺デバイスから取得されたデータを、コンパニオンデバイス周辺データとして前記ウェアラブルデバイス上でミラーリングすることは、前記ウェアラブルデバイスによって、前記コンパニオンデバイスから前記コンパニオンデバイス周辺データを受信することを含むことを備える、請求項９または請求項１０に記載のシステム。
  13. 前記ランタイム環境は、前記コンパニオンデバイス上でバックグラウンドプロセスとして動作する仮想ランタイム環境であり、
    前記周辺デバイスと関連付けられた前記データのミラーは、前記仮想ランタイム環境に含まれる、
    請求項９または請求項１０に記載のシステム。
  14. 前記周辺データは、慣性測定ユニット（ＩＭＵ）データであり、
    前記コンピューティングプロセスは、ヘッドポーズ操作であり、
    前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することは、前記ヘッドポーズ操作に基づいて生成された結果を使用することを含む、
    請求項９または請求項１０に記載のシステム。
  15. 前記周辺データは、画像データであり、
    前記コンピューティングプロセスは、ヘッドポーズ操作であり、
    前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することは、前記ヘッドポーズ操作に基づいて生成された結果を使用することを含む、
    請求項９または請求項１０に記載のシステム。
  16. 前記周辺データは、画像データであり、
    前記コンピューティングプロセスは、アイトラッキング操作であり、
    前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することは、前記アイトラッキング操作に基づいて生成された結果を使用することを含む、
    請求項９または請求項１０に記載のシステム。
  17. 前記ウェアラブルデバイスは、第１のソケットを含み、
    前記コンパニオンデバイスは、前記第１のソケットに通信可能に結合された第２のソケットを含み、
    周辺デバイスと関連付けられた前記データをミラーリングすることは、前記第１のソケットと前記第２のソケットとの間で前記周辺データを通信することを含む、
    請求項９または請求項１０に記載のシステム。
  18. 方法であって、
    ウェアラブルデバイスをコンパニオンデバイスと通信可能に結合することと、
    前記コンパニオンデバイスによって、前記ウェアラブルデバイスの周辺デバイスと関連付けられたデータを、周辺データとしてミラーリングすることと、
    前記コンパニオンデバイスによって、前記ウェアラブルデバイスから前記周辺データを受信することと、
    前記コンパニオンデバイスによって、前記コンパニオンデバイスによるコンピューティングプロセスの完了と関連付けられた結果を生成することと、を備え、前記コンピューティングプロセスは、前記周辺データを使用するように構成され、前記方法はさらに、
    前記コンパニオンデバイスによって、前記コンピューティングプロセスの前記完了と関連付けられた前記結果を前記ウェアラブルデバイスに通信すること、
    を備える、方法。
  19. 前記ウェアラブルデバイスは、スマートグラスである、請求項１８に記載の方法。
  20. 前記コンパニオンデバイスは、別のウェアラブルデバイス、モバイルデバイス、スマートフォン、タブレット、サーバ、ならびに、プロセッサ及びオペレーティングシステムを含むデバイスの少なくとも１つである、請求項１８または請求項１９に記載の方法。
  21. 前記コンパニオンデバイスによって、前記コンパニオンデバイスの周辺デバイスから取得されたデータを、コンパニオンデバイス周辺データとして前記ウェアラブルデバイス上でミラーリングすることは、前記コンパニオンデバイスによって、前記コンパニオンデバイス周辺データを前記コンパニオンデバイスに通信することを含むことをさらに備える、請求項１８または請求項１９に記載の方法。
  22. 前記周辺データは、慣性測定ユニット（ＩＭＵ）データであり、
    前記コンピューティングプロセスは、ヘッドポーズ操作であり、
    前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することは、前記ヘッドポーズ操作に基づく前記結果を使用することを含む、
    請求項１８または請求項１９に記載の方法。
  23. 前記周辺データは、画像データであり、
    前記コンピューティングプロセスは、ヘッドポーズ操作であり、
    前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することは、前記ヘッドポーズ操作に基づく前記結果を使用することを含む、
    請求項１８または請求項１９に記載の方法。
  24. 前記周辺データは、画像データであり、
    前記コンピューティングプロセスは、アイトラッキング操作であり、
    前記ウェアラブルデバイスによって前記コンピューティングプロセスを完了することは、前記アイトラッキング操作に基づく前記結果を使用することを含む、
    請求項１８または請求項１９に記載の方法。
  25. 前記ウェアラブルデバイスは、第１のソケットを含み、
    前記コンパニオンデバイスは、前記第１のソケットに通信可能に結合された第２のソケットを含み、
    周辺デバイスと関連付けられた前記データをミラーリングすることは、前記第１のソケットと前記第２のソケットとの間で前記周辺データを通信することを含む、
    請求項１８または請求項１９に記載の方法。
  26. 前記コンパニオンデバイスは、仮想ランタイム環境を含み、
    前記周辺デバイスと関連付けられた前記データのミラーは、前記仮想ランタイム環境に含まれる、
    請求項１８または請求項１９に記載の方法。
  27. 命令を含み、前記命令は、コンピューティングシステムの少なくとも１つのプロセッサによって実行されるとき、前記コンピューティングシステムに、請求項１または請求項１８に記載の方法を実行させるように構成される、コンピュータプログラム。
  28. 請求項１または請求項１８に記載の方法を実行するための手段を備える装置。
  29. 装置であって、
    少なくとも１つのプロセッサと、
    コンピュータプログラムコードを含む少なくとも１つのメモリと、
    を備え、
    前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって実行されるとき、前記装置に請求項１または請求項１８に記載の方法を少なくとも実行させるように構成された、
    装置。
JP2024563256A 2022-04-26 2023-04-26 スプリット計算アーキテクチャの周辺デバイス Active JP7841117B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202263363592P 2022-04-26 2022-04-26
US63/363,592 2022-04-26
PCT/US2023/020049 WO2023212103A1 (en) 2022-04-26 2023-04-26 Peripheral devices in a split-compute architecture

Publications (2)

Publication Number Publication Date
JP2025515605A JP2025515605A (ja) 2025-05-20
JP7841117B2 true JP7841117B2 (ja) 2026-04-06

Family

ID=86387209

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2024563218A Pending JP2025516185A (ja) 2022-04-26 2023-04-26 ウェアラブルデバイス及びコンパニオンデバイスを含むスプリットコンピュートアーキテクチャ
JP2024563256A Active JP7841117B2 (ja) 2022-04-26 2023-04-26 スプリット計算アーキテクチャの周辺デバイス

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2024563218A Pending JP2025516185A (ja) 2022-04-26 2023-04-26 ウェアラブルデバイス及びコンパニオンデバイスを含むスプリットコンピュートアーキテクチャ

Country Status (6)

Country Link
US (5) US20250239008A1 (ja)
EP (3) EP4515361A1 (ja)
JP (2) JP2025516185A (ja)
KR (2) KR20240161829A (ja)
CN (2) CN119013662A (ja)
WO (6) WO2023211803A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250071727A1 (en) * 2023-08-25 2025-02-27 Qualcomm Incorporated Radio frequency map aggregation
US12602105B2 (en) * 2024-02-01 2026-04-14 Google Llc Systems and methods for rendering augmented reality content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017504107A (ja) 2014-01-03 2017-02-02 マカフィー， インコーポレイテッド ウェアラブルデバイスのリソースを節約する機構
JP2020522795A (ja) 2017-05-31 2020-07-30 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼追跡較正技術

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931463B2 (en) * 2001-09-11 2005-08-16 International Business Machines Corporation Portable companion device only functioning when a wireless link established between the companion device and an electronic device and providing processed data to the electronic device
US10061910B2 (en) * 2015-06-09 2018-08-28 Intel Corporation Secure biometric data capture, processing and management for selectively prohibiting access to a data storage component from an application execution environment
US11204808B2 (en) * 2016-12-12 2021-12-21 Intel Corporation Offload computing protocol
US20190068983A1 (en) * 2017-08-25 2019-02-28 Advanced Micro Devices, Inc. Sending a Frame Difference or Raw Chunk Based on a Known Acknowledgement
US10475149B2 (en) * 2017-09-25 2019-11-12 Intel Corporation Policies and architecture to dynamically offload VR processing to HMD based on external cues
US10997943B2 (en) * 2018-03-02 2021-05-04 Facebook Technologies, Llc Portable compute case for storing and wirelessly communicating with an eyewear device
US10861215B2 (en) * 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
US10446119B1 (en) * 2018-08-17 2019-10-15 Qualcomm Incorporated Method for supporting multiple layers in split rendering
US11302055B2 (en) * 2019-04-01 2022-04-12 Apple Inc. Distributed processing in computer generated reality system
US12142265B2 (en) * 2019-06-01 2024-11-12 Apple Inc. Synchronization of remote context data
US11580324B2 (en) * 2019-06-14 2023-02-14 Google Llc Systems and methods for detecting environmental occlusion in a wearable computing device display
US11423171B2 (en) * 2019-12-23 2022-08-23 Intel Corporation Protection of privacy and data on smart edge devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017504107A (ja) 2014-01-03 2017-02-02 マカフィー， インコーポレイテッド ウェアラブルデバイスのリソースを節約する機構
JP2020522795A (ja) 2017-05-31 2020-07-30 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼追跡較正技術

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ｅｄ Ｂｕｒｎｅｔｔｅ，初めてのＡｎｄｒｏｉｄ，第４版，株式会社オライリー・ジャパン，2016年02月25日，ｐ．１７－２１

Also Published As

Publication number Publication date
WO2023211803A1 (en) 2023-11-02
WO2023212111A1 (en) 2023-11-02
US20250028570A1 (en) 2025-01-23
WO2023211957A1 (en) 2023-11-02
US20250231806A1 (en) 2025-07-17
CN119032333A (zh) 2024-11-26
WO2023212108A1 (en) 2023-11-02
CN119013662A (zh) 2024-11-22
WO2023212112A1 (en) 2023-11-02
EP4515361A1 (en) 2025-03-05
JP2025516185A (ja) 2025-05-27
EP4515389A1 (en) 2025-03-05
KR20240161839A (ko) 2024-11-12
WO2023212103A1 (en) 2023-11-02
JP2025515605A (ja) 2025-05-20
US20250239008A1 (en) 2025-07-24
US20250232028A1 (en) 2025-07-17
EP4515365A1 (en) 2025-03-05
KR20240161829A (ko) 2024-11-12
US20250258707A1 (en) 2025-08-14

Similar Documents

Publication Publication Date Title
JP7841117B2 (ja) スプリット計算アーキテクチャの周辺デバイス
CN106687886A (zh) 三维混合现实视口
JP7672271B2 (ja) ヒューマン・インターフェイス・デバイスのレイテンシ決定
US12518490B2 (en) Wrist rotation manipulation of virtual objects
US12469234B2 (en) Robotic learning of assembly tasks using augmented reality
US20220375028A1 (en) Dynamic over-rendering in late-warping
US12352965B2 (en) AR system bending correction
US11961195B2 (en) Method and device for sketch-based placement of virtual objects
JP2018032440A (ja) 制御可能なヘッドセットコンピュータディスプレイ
US20240362743A1 (en) Late warping to minimize latency of moving objects
US20240029197A1 (en) Dynamic over-rendering in late-warping
US20240280355A1 (en) Joint bending estimation
WO2023250257A9 (en) Low latency hand-tracking in augmented reality systems
US12067693B2 (en) Late warping to minimize latency of moving objects
Bhowmik ILLIXR-A: an open source extended reality system for android platforms
WO2026054934A1 (en) Shared 3rd person mobile view
Al-Qasab The concept of visual future: smart glasses using Raspberry Pi
KR20260029952A (ko) 사용자 입력을 식별하기 위한 전자 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20260123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260325

R150 Certificate of patent or registration of utility model

Ref document number: 7841117

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150