JPWO2020075624A1 - 情報処理装置、情報処理方法、情報提供装置、情報提供方法、提示制御装置、提示制御方法および情報処理システム - Google Patents

情報処理装置、情報処理方法、情報提供装置、情報提供方法、提示制御装置、提示制御方法および情報処理システム Download PDF

Info

Publication number
JPWO2020075624A1
JPWO2020075624A1 JP2020550550A JP2020550550A JPWO2020075624A1 JP WO2020075624 A1 JPWO2020075624 A1 JP WO2020075624A1 JP 2020550550 A JP2020550550 A JP 2020550550A JP 2020550550 A JP2020550550 A JP 2020550550A JP WO2020075624 A1 JPWO2020075624 A1 JP WO2020075624A1
Authority
JP
Japan
Prior art keywords
application
information
computing power
information processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020550550A
Other languages
English (en)
Other versions
JP7391029B2 (ja
Inventor
義則 太田
義則 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020075624A1 publication Critical patent/JPWO2020075624A1/ja
Application granted granted Critical
Publication of JP7391029B2 publication Critical patent/JP7391029B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/61Installation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

デバイスの計算能力に関する情報を提供するデバイス情報提供部と、前記計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを取得するアプリケーション取得部と、を備える、情報処理装置が提供される。

Description

本開示は、情報処理装置、情報処理方法、情報提供装置、情報提供方法、提示制御装置、提示制御方法および情報処理システムに関する。
近年、情報提供装置から情報処理装置にダウンロードすべきアプリケーションを情報処理装置での実行に適したアプリケーションに絞り込む(フィルタリングをする)技術が知られている。
例えば、サーバからスマートフォンにダウンロードすべきアプリケーションをスマートフォンでの実行に適したアプリケーションに絞り込む技術が開示されている(例えば、非特許文献1参照)。かかる技術では、スマートフォンが備えるディスプレイのサイズ、スマートフォンが備えるUI(User Interface)、スマートフォンに搭載されているOS(Operating System)のバージョンなどに基づいて絞り込み(フィルタリング)が行われる。
"アプリ マニフェスト"、[online]、平成30年4月25日、特許学会、[平成30年10月2日検索]、インターネット〈URL: https://developer.android.com/guide/topics/manifest/manifest-intro?hl=ja〉
しかし、情報処理装置での実行により適したアプリケーションが情報処理装置にダウンロードされるようにする技術が提供されることが望まれる。
本開示によれば、デバイスの計算能力に関する情報を提供するデバイス情報提供部と、前記計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを取得するアプリケーション取得部と、を備える、情報処理装置が提供される。
また、本開示によれば、プロセッサが、デバイスの計算能力に関する情報を提供することと、前記プロセッサが、前記計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを取得することと、を含む、情報処理方法が提供される。
また、本開示によれば、デバイスの計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定する判定部と、前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを提供する提供部と、を備える、情報提供装置が提供される。
また、本開示によれば、プロセッサが、デバイスの計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定することと、前記プロセッサが、前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを提供することと、を含む、情報提供方法が提供される。
また、本開示によれば、デバイスの計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定する判定部と、前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たさないことに基づいて、所定のアラートの提示を制御する提示制御部と、を備える、提示制御装置が提供される。
また、本開示によれば、プロセッサが、デバイスの計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定することと、前記プロセッサが、前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たさないことに基づいて、所定のアラートの提示を制御することと、を含む、提示制御方法が提供される。
また、本開示によれば、情報処理装置と情報提供装置とを有する情報処理システムであって、前記情報処理装置は、デバイスの計算能力に関する情報を前記情報提供装置に提供するデバイス情報提供部と、前記計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記情報提供装置から前記アプリケーションを取得するアプリケーション取得部と、を備え、前記情報提供装置は、前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定する判定部と、前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを前記情報処理装置に提供する提供部と、を備える、情報処理システムが提供される。
本開示の実施形態に係る情報処理システムの構成例を示す図である。 同実施形態に係るアプリケーション生成装置の機能構成例を示す図である。 同実施形態に係るサーバ装置の機能構成例を示す図である。 同実施形態に係るアプリケーション実行装置の機能構成例を示す図である。 アプリケーション生成装置からサーバ装置に提供される情報の例を示す図である。 アプリケーション実行装置からサーバ装置に提供されるデバイス情報の例を示す図である。 同実施形態に係る情報処理システムのアプリケーション登録時の動作の例を示すフローチャートである。 同実施形態に係る情報処理システムのアプリケーション実行時の動作の例を示すフローチャートである。 認識に必要な条件の例を示す図である。 アプリケーション選択画面の例を示す図である。 コンピュータのハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
0.概要
1.実施形態の詳細
1.1.システム構成例
1.2.アプリケーション生成装置の機能構成例
1.3.サーバ装置の機能構成例
1.4.アプリケーション実行装置の機能構成例
1.5.各種情報の例
1.6.情報処理システムの動作
2.ハードウェア構成例
3.むすび
<0.概要>
まず、本開示の実施形態の概要を説明する。近年、情報提供装置から情報処理装置にダウンロードすべきアプリケーションを情報処理装置での実行に適したアプリケーションに絞り込む(フィルタリングをする)技術が知られている。
例えば、サーバからスマートフォンにダウンロードすべきアプリケーションをスマートフォンでの実行に適したアプリケーションに絞り込む技術が開示されている。かかる技術では、スマートフォンが備えるディスプレイのサイズ、スマートフォンが備えるUI(User Interface)、スマートフォンに搭載されているOS(Operating System)のバージョンなどに基づいて絞り込み(フィルタリング)が行われる。
本開示の実施形態では、情報処理装置での実行により適したアプリケーションが情報処理装置にダウンロードされるようにする技術について主に説明する。より具体的には、情報処理装置の計算能力がどの程度であるかによって、情報処理装置での実行に適したアプリケーションは変化し得ることが想定される。例えば、情報処理装置の計算能力が低いほど、アプリケーションを実行するために必要な計算能力が得られなくなる可能性が高まり、情報処理装置での実行に適したアプリケーションは制限されやすくなる。
例えば、計算能力に関する情報が、アプリケーションの実行に割ける単位時間あたりのサイクル数を含む場合が想定される。アプリケーションの実行に割ける単位時間あたりのサイクル数は、情報処理装置の単位時間あたりのサイクル数から、アプリケーション以外のプログラム(OSなど)の実行に必要な単位時間あたりのサイクル数を差し引いた数であってよい。かかる場合には、アプリケーションの実行に割ける単位時間あたりのサイクル数が不足すると、アプリケーションが正常に実行されなくなってしまう可能性がある。
また、計算能力に関する情報が、アプリケーションの実行に割けるメモリサイズを含む場合も想定される。アプリケーションの実行に割けるメモリサイズは、情報処理装置のメモリサイズから、アプリケーション以外のプログラム(OSなど)の実行に必要なメモリサイズを差し引いたサイズであってよい。かかる場合には、アプリケーションの実行に割けるメモリサイズが不足すると、アプリケーションが正常に実行されなくなってしまう可能性がある。
そこで、本開示の実施形態では、一例として、情報処理装置の計算能力に応じたアプリケーションが情報処理装置にダウンロードされるようにする技術について説明する。
なお、本開示の実施形態に適用可能なアプリケーションの種類は限定されない。しかし、アプリケーションがOSおよびミドルウェアなどを意識せずに実行される場合、アプリケーションが情報処理装置での実行に適しているかは、情報処理装置の計算能力により強く依存し得る。OSおよびミドルウェアなどを意識せずに実行されるアプリケーションの例としては、ニューラルネットワークを利用したアプリケーションなどが想定される。
したがって、以下の説明では、より好適な実施形態として、ニューラルネットワークを利用したアプリケーションが利用される場合を主に想定する。さらに、ニューラルネットワークを利用したアプリケーション以外に、OSおよびミドルウェアなどを意識せずに実行される他のアプリケーションも本開示の実施形態に好適である。
以下の説明では、情報処理装置を「アプリケーション実行装置」とも言う。また、以下の説明では、情報提供装置を「サーバ装置」とも言う。また、以下の説明では、ニューラルネットワークを利用したアプリケーションを「ニューラルネットワークアプリケーション」とも言う。
以上、本開示の実施形態の概要について説明した。
<1.実施形態の詳細>
続いて、本開示の実施形態の詳細について説明する。
[1.1.システム構成例]
まず、図面を参照しながら、本開示の実施形態に係る情報処理システムの構成例について説明する。図1は、本開示の実施形態に係る情報処理システムの構成例を示す図である。図1に示したように、本開示の実施形態に係る情報処理システム1は、アプリケーション生成装置10、サーバ装置20、アプリケーション実行装置30および端末装置40を有する。
アプリケーション生成装置10、サーバ装置20およびアプリケーション実行装置30は、ネットワークに接続されており、ネットワークを介して互いに通信可能である。なお、図1に示した例では、サーバ装置20とネットワークを介して通信可能なアプリケーション生成装置10およびアプリケーション実行装置30が1台ずつ存在している。しかし、サーバ装置20とネットワークを介して通信可能なアプリケーション生成装置10およびアプリケーション実行装置30の少なくともいずれか一方は、複数存在してもよい。
アプリケーション実行装置30と端末装置40とは、通信を行うことが可能である。例えば、アプリケーション実行装置30と端末装置40とは、無線通信(例えば、近距離無線通信など)を行うことが可能であってよい。しかし、アプリケーション実行装置30と端末装置40とは、有線による通信が可能であってもよい。あるいは、端末装置40もネットワークに接続されている場合、アプリケーション実行装置30と端末装置40とは、ネットワークを介して通信可能であってもよい。
アプリケーション生成装置10は、例えば、コンピュータ(例えば、ワークステーションなど)によって構成される。アプリケーション生成装置10は、アプリケーションの開発者によって利用され、アプリケーションの開発者による操作に基づいて(あるいは自動的に)アプリケーションを生成する。例えば、アプリケーション生成装置10は、学習に必要なデバイスと接続されており、学習に必要なデバイスから得られたデータに基づいて学習を行うことによって、アプリケーション(学習済みのニューラルネットワークアプリケーション)を生成(構築)する。
図1には、アプリケーション生成装置10が、学習に必要なデバイスの例としてのカメラ121と接続されており、カメラ121から得られた画像データに基づいて学習を行う例が示されている。かかる例では、アプリケーション生成装置10によって生成されたアプリケーション(学習済みのニューラルネットワークアプリケーション)の実行によって、画像データに含まれている被写体の認識が行われる。しかし、学習に必要なデバイスは、カメラ121に限定されない。
例えば、学習に必要なデバイスは、マイクロフォン(以下、単に「マイク」とも言う。)であってもよい。このとき、アプリケーション生成装置10は、マイクから得られた音データに基づいて学習を行えばよい。かかる場合には、アプリケーション生成装置10によって生成されたアプリケーション(学習済みのニューラルネットワークアプリケーション)の実行によって、音データに含まれている音声データの発話者の認識が行われる。あるいは、学習に必要なデバイスは、カメラおよびマイクとは異なるセンサであってもよい。
このように、本開示の実施形態では、アプリケーションの実行によって何らかの対象(例えば、画像データに含まれている被写体、音データに含まれている音声データの発話者など)を認識する処理が行われる場合を想定する。しかし、アプリケーションの実行によって行われる処理は限定されない。すなわち、以下の説明において利用されている「認識」という文言は、適宜に「アプリケーションの実行」という文言に置き換えられてもよい。
アプリケーション生成装置10は、アプリケーション(学習済みのニューラルネットワークアプリケーション)を生成すると、生成したアプリケーションを、ネットワークを介してサーバ装置20に登録する。このとき、アプリケーション生成装置10は、生成したアプリケーションの特徴データ(アプリケーションを含む)を、ネットワークを介してサーバ装置20に登録する。アプリケーションの特徴データについては、後に詳細に説明する。
サーバ装置20は、例えば、コンピュータによって構成される。サーバ装置20は、アプリケーション生成装置10からアプリケーションの特徴データ(アプリケーションを含む)の登録を受け付ける。サーバ装置20は、登録を受け付けたアプリケーションの特徴データを保存する。
また、サーバ装置20は、計算能力に応じたアプリケーションをアプリケーション実行装置30に提供する。より具体的には、サーバ装置20は、アプリケーション実行装置30からアプリケーション実行装置30の計算能力に関する情報を受け付けると、アプリケーション実行装置30の計算能力に関する情報が、アプリケーションに応じた計算能力に関する条件を満たすか否かを判定する。サーバ装置20は、アプリケーション実行装置30の計算能力に関する情報が、アプリケーションに応じた計算能力に関する条件を満たす場合に、当該アプリケーションをアプリケーション実行装置30に提供する。これによって、アプリケーション実行装置30での実行により適したアプリケーションがアプリケーション実行装置30にダウンロードされるようになる。
アプリケーション実行装置30は、例えば、コンピュータによって構成される。アプリケーション実行装置30は、ユーザによって利用され、ユーザによる操作(例えば、動作モードをアップデートモードにする操作)に基づいて(あるいは自動的に)、サーバ装置20に接続し、自身の計算能力に関する情報をサーバ装置20に提供する。アプリケーション実行装置30は、自身の計算能力に応じたアプリケーションをサーバ装置20からダウンロードすると、ダウンロードしたアプリケーションを実行する。より具体的には、アプリケーション実行装置30は、自身の計算能力に関する情報が、アプリケーションに応じた計算能力に関する条件を満たすことに基づいて、当該アプリケーションをサーバ装置20からダウンロードして実行する。
アプリケーション実行装置30は、認識に利用可能なデバイス(アプリケーションの実行に利用可能なデバイスを有している。認識に利用可能なデバイスは、認識に利用される各種データを検出する。ここで、搭載デバイスの種類は限定されないが、搭載デバイスは、カメラを含んでもよいし、マイクを含んでもよいし、カメラおよびマイクとは異なるセンサを含んでもよい。以下では、認識に利用可能なデバイスを単に「搭載デバイス」とも言う。
図1に示した例では、アプリケーション実行装置30が、搭載デバイスの例としてカメラ321を有している。このとき、アプリケーション実行装置30は、アプリケーションの実行によって、カメラ321によって得られた画像データに含まれている被写体を認識する。また、アプリケーション実行装置30は、搭載デバイスの一例としてのマイク322を有している。このとき、アプリケーション実行装置30は、アプリケーションの実行によって、マイク322によって得られた音データに含まれている音声データの発話者を認識する。
その他、アプリケーション実行装置30は、アプリケーション実行装置30を動作させるために必要な電力を供給するバッテリ390を有している。また、アプリケーション実行装置30は、ダウンロードすべきアプリケーションをさらに絞り込むために端末装置40を利用し得る。端末装置40は、典型的にはスマートフォンであってよいが、タブレット端末であってもよいし、携帯電話であってもよいし、PC(Personal Computer)であってもよいし、他の電子機器であってもよい。以下では、アプリケーション実行装置30を「認識デバイス」と言う場合もある。
以上、本開示の実施形態に係る情報処理システム1の構成例について説明した。
[1.2.アプリケーション生成装置の機能構成例]
続いて、本開示の実施形態に係るアプリケーション生成装置10の機能構成例について説明する。図2は、本開示の実施形態に係るアプリケーション生成装置10の機能構成例を示す図である。図2に示したように、アプリケーション生成装置10は、制御部110、検出部120、操作部130、記憶部140、通信部160および提示部170を有している。
制御部110は、アプリケーション生成装置10の各部の制御を実行する。制御部110は、例えば、1または複数のCPU(Central Processing Unit;中央演算処理装置)などによって構成されていてよい。制御部110がCPUなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。制御部110は、かかる処理装置によってプログラムが実行されることによって実現され得る。制御部110は、判定部111、提示制御部112およびアプリケーション登録処理部113を有している。これらのブロックの詳細は後に説明する。
検出部120は、学習に必要なデバイスを含んで構成され、学習に必要なデバイスによって学習に必要なデータを検出する。上記したように、学習に必要なデバイスは特定のデバイスに限定されない。例えば、学習に必要なデバイスは、カメラを含んでもよいし、マイクを含んでもよいし、カメラおよびマイクとは異なるセンサを含んでもよい。検出部120によって検出された学習に必要なデータは、制御部110に提供され、アプリケーション(学習済みのニューラルネットワークアプリケーション)の生成(構築)に利用される。
操作部130は、開発者による操作の入力を受け付ける機能を有する。本開示の実施形態においては、操作部130がマウスおよびキーボードを含む場合を主に想定する。しかし、操作部130は、マウスおよびキーボードを含む場合に限定されない。例えば、操作部130は、タッチパネルを含んでもよいし、タッチパッドを含んでもよいし、スイッチを含んでもよいし、レバーを含んでもよいし、ボタンを含んでもよい。また、操作部130は、開発者の音声を検出するマイクを含んでもよいし、開発者の視線を検出するイメージセンサを含んでもよい。
記憶部140は、メモリを含んで構成され、制御部110によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部140は、制御部110による演算のためにデータを一時的に記憶する。記憶部140は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。
通信部160は、通信回路を含んで構成され、ネットワークに接続されたサーバ装置20から、ネットワークを介してデータを受信する機能を有する。また、通信部160は、サーバ装置20にネットワークを介してデータを送信する機能を有する。
提示部170は、開発者に対して情報を提示する機能を有する。提示部170の種類は限定されない。例えば、提示部170は、開発者に視認可能な表示を行うことが可能なディスプレイを含んでよく、ディスプレイは、液晶ディスプレイであってもよいし、有機EL(Electro−Luminescence)ディスプレイであってもよいし、他のディスプレイであってもよい。あるいは、提示部170は、開発者に触覚を提示する触覚提示装置を含んでもよいし、開発者に音を提示するスピーカを含んでもよい。
以上、本開示の実施形態に係るアプリケーション生成装置10の機能構成例について説明した。
[1.3.サーバ装置の機能構成例]
続いて、本開示の実施形態に係るサーバ装置20の機能構成例について説明する。図3は、本開示の実施形態に係るサーバ装置20の機能構成例を示す図である。図3に示したように、サーバ装置20は、制御部210、記憶部260および通信部270を有している。
制御部210は、サーバ装置20の各部の制御を実行する。制御部210は、例えば、1または複数のCPU(Central Processing Unit;中央演算処理装置)などによって構成されていてよい。制御部210がCPUなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。制御部210は、かかる処理装置によってプログラムが実行されることによって実現され得る。制御部210は、情報取得部211、判定部212およびアプリケーション提供部213を有している。これらのブロックの詳細は後に説明する。
記憶部260は、メモリを含んで構成され、制御部210によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部260は、制御部210による演算のためにデータを一時的に記憶する。記憶部260は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。
通信部270は、通信回路を含んで構成され、ネットワークに接続されたアプリケーション生成装置10およびアプリケーション実行装置30から、ネットワークを介してデータを受信する機能を有する。また、通信部270は、アプリケーション生成装置10およびアプリケーション実行装置30にネットワークを介してデータを送信する機能を有する。
以上、本開示の実施形態に係るサーバ装置20の機能構成例について説明した。
[1.4.アプリケーション実行装置の機能構成例]
続いて、本開示の実施形態に係るアプリケーション実行装置30の機能構成例について説明する。図4は、本開示の実施形態に係るアプリケーション実行装置30の機能構成例を示す図である。図4に示したように、アプリケーション実行装置30は、制御部310、検出部320、操作部330、記憶部340、通信部360および提示部370を有している。
制御部310は、アプリケーション実行装置30の各部の制御を実行する。制御部310は、例えば、1または複数のCPU(Central Processing Unit;中央演算処理装置)などによって構成されていてよい。制御部310がCPUなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。制御部310は、かかる処理装置によってプログラムが実行されることによって実現され得る。制御部310は、デバイス情報提供部311、アプリケーション取得部312およびアプリケーション実行部313を有している。これらのブロックの詳細は後に説明する。
検出部320は、搭載デバイス(認識に利用可能なデバイス)を含んで構成され、搭載デバイスによって認識に必要なデータを検出する。上記したように、搭載デバイスは特定のデバイスに限定されない。例えば、搭載デバイスは、カメラを含んでもよいし、マイクを含んでもよいし、カメラおよびマイクとは異なるセンサを含んでもよい。検出部320によって検出された認識に必要なデータは、制御部310に提供され、認識に利用される(アプリケーションの実行に利用される)。
操作部330は、ユーザによる操作の入力を受け付ける機能を有する。本開示の実施形態においては、操作部330がボタンを含む場合を主に想定する。しかし、操作部330は、ボタンを含む場合に限定されない。例えば、操作部330は、タッチパネルを含んでもよいし、タッチパッドを含んでもよいし、スイッチを含んでもよいし、レバーを含んでもよいし、マウスを含んでもよいし、キーボードを含んでもよい。また、操作部330は、ユーザの音声を検出するマイクを含んでもよいし、ユーザの視線を検出するイメージセンサを含んでもよい。
記憶部340は、メモリを含んで構成され、制御部310によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部340は、制御部310による演算のためにデータを一時的に記憶する。記憶部340は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。
通信部360は、通信回路を含んで構成され、ネットワークに接続されたサーバ装置20から、ネットワークを介してデータを受信する機能を有する。また、通信部360は、サーバ装置20にネットワークを介してデータを送信する機能を有する。
提示部370は、ユーザに対して情報を提示する機能を有する。提示部370の種類は限定されない。例えば、提示部370は、ユーザに視認可能な表示を行うことが可能なディスプレイを含んでよく、ディスプレイは、液晶ディスプレイであってもよいし、有機EL(Electro−Luminescence)ディスプレイであってもよいし、他のディスプレイであってもよい。あるいは、提示部370は、ユーザに触覚を提示する触覚提示装置を含んでもよいし、ユーザに音を提示するスピーカを含んでもよい。
以上、本開示の実施形態に係るアプリケーション実行装置30の機能構成例について説明した。
[1.5.各種情報の例]
図5および図6を参照しながら、情報処理システム1によって利用される各種情報の例について説明する。図5は、アプリケーション生成装置10からサーバ装置20に提供される情報の例を示す図である。図5を参照すると、アプリケーション生成装置10からサーバ装置20に提供される情報の例としてアプリケーションの特徴データが示されている。アプリケーションの特徴データは、アプリケーション生成装置10によってニューラルネットワークアプリケーションの生成が終わると、アプリケーション生成装置10によって自動的に取得される。
アプリケーションの特徴データは、図5に示すように、アプリケーション番号、アプリケーション名、認識に必要な搭載デバイスの種類(アプリケーションの実行に必要な搭載デバイスの種類)、認識に必要な計算サイクル数(アプリケーションの実行に必要な計算サイクル数)、認識を開始してから完了するまでの許容時間(アプリケーションの実行開始から終了までの許容時間)、認識に必要なメモリサイズ(アプリケーションの実行に必要なメモリサイズ)、ニューラルネットワークアプリケーションのサイズ、ニューラルネットワークアプリケーション本体、クラス分類名、および、クラス分類詳細を含む。
アプリケーション名は、アプリケーションを一意に特定可能な情報である。例えば、アプリケーション名は、学習に利用されるデータセットの名称であってよく、MNIST(Mixed National Institute of Standards and Technology database)であってもよいし、ImageNetであってもよいし、他の名称であってもよい。
クラス分類名は、認識結果として得られるクラス分類の名称(すなわち、アプリケーションの実行によって得られる実行結果の種類)であってよい。例えば、クラス分類名は、アプリケーション名がMNISTである場合、数字認識などであってよい。あるいは、クラス分類名は、アプリケーション名がImageNetである場合、ギター認識などであってよい。
クラス分類詳細は、認識結果として得られるクラス分類の詳細(認識対象の名称)であってよい。例えば、クラス分類詳細は、アプリケーション名がMNISTである場合、「0」、「1」、・・・、「9」といった具体的な数字であってよい。あるいは、クラス分類詳細は、アプリケーション名がImageNetである場合、「Stratocaster」、「Telecaster」、「Mustang」、「Les Paul」などといった具体的なギター名であってもよい。
アプリケーション生成装置10(および他のアプリケーション生成装置)それぞれは、アプリケーションを生成すると、生成したアプリケーションの特徴データをサーバ装置20に提供する。サーバ装置20は、このようにしてアプリケーション生成装置10(および他のアプリケーション生成装置)それぞれから提供されたアプリケーションの特徴データを、アプリケーション情報データベース(DB)に登録する。
図6は、アプリケーション実行装置30からサーバ装置20に提供されるデバイス情報の例を示す図である。図6を参照すると、アプリケーション実行装置30からサーバ装置20に提供されるデバイス情報の例が示されている。デバイス情報は、ユーザによる操作(例えば、動作モードをアップデートモードにする操作)に基づいて(あるいは自動的に)、アプリケーション実行装置30によって自動的に取得され、アプリケーション実行装置30からサーバ装置20に提供される。
デバイス情報は、図6に示すように、認識デバイス番号、搭載デバイスの種類(アプリケーションの実行に利用可能なデバイスの種類)、認識デバイスが認識に割ける(認識デバイスがアプリケーションの実行に割ける)計算リソース(計算サイクル数/秒)、認識デバイスが認識に割ける(認識デバイスがアプリケーションの実行に割ける)メモリサイズ、1サイクルあたりの消費電力および許容消費電力を含む。
ここで、認識デバイスが認識に割ける計算リソース(計算サイクル数/秒)は、上記した「計算能力に関する情報」の例に該当し得る。また、認識デバイスが認識に割けるメモリサイズも、上記した「計算能力に関する情報」の例に該当し得る。さらに、1サイクルあたりの消費電力も、上記した「計算能力に関する情報」の例に該当し得る。
アプリケーション実行装置30(または他のアプリケーション実行装置)は、ユーザによる操作(例えば、動作モードをアップデートモードにする操作)に基づいて(あるいは自動的に)、サーバ装置20に接続し、自身のデバイス情報をサーバ装置20に提供する。サーバ装置20は、このようにしてアプリケーション実行装置30(または他のアプリケーション実行装置)から提供されたデバイス情報を、デバイス情報データベース(DB)に登録する。また、サーバ装置20は、デバイス情報に応じたアプリケーションをアプリケーション実行装置30(または他のアプリケーション実行装置)に返信する。
以上、情報処理システム1によって利用される各種情報の例について説明した。
[1.6.情報処理システムの動作]
図7〜図10を参照しながら、本開示の実施形態に係る情報処理システム1の動作の例について説明する。
(アプリケーション登録時の動作)
図7は、本開示の実施形態に係る情報処理システム1のアプリケーション登録時の動作の例を示すフローチャートである。なお、図7に示したフローチャートは、本開示の実施形態に係る情報処理システム1によるアプリケーション登録時の動作の一例を示すに過ぎない。したがって、本開示の実施形態に係る情報処理システム1によるアプリケーション登録時の動作は、図7に示した例に限定されない。
図7に示されたように、アプリケーション生成装置10は、アプリケーションの開発者による操作に基づいて(あるいは自動的に)アプリケーションを生成する(S11)。ここで、サーバ装置20には、アプリケーション実行装置30(または他のアプリケーション実行装置)のデバイス情報が既にアップロードされている場合が想定される。したがって、アプリケーション生成装置10は、サーバ装置20にアップロードされたデバイス情報を参照しながら、アプリケーションを生成するのが望ましい。これによって、アプリケーションの開発効率が向上し得る。
具体的には、アプリケーション生成装置10において、判定部111は、アプリケーションの開発者による操作に基づいて(あるいは自動的に)、通信部160を介してデバイスリスト要求をサーバ装置20に送信する(S12)。サーバ装置20において、通信部270は、デバイスリスト要求を受信する(S13)。そして、通信部270は、デバイス情報データベース(DB)から1または複数のデバイス情報が取得された場合、当該1または複数のデバイス情報を、デバイスリストとしてアプリケーション生成装置10に送信(返信)する(S14)。アプリケーション生成装置10において、判定部111は、通信部160を介してデバイスリストをサーバ装置20から受信する(S15)。
なお、サーバ装置20からアプリケーション生成装置10に返信される1または複数のデバイス情報は、デバイス情報データベース(DB)に登録されている全部のデバイス情報であってもよいし、開発者によって指定されたアプリケーション実行装置30のデバイス情報だけに限定されてもよい。判定部111は、デバイスリストの各デバイス情報が認識に必要な条件(アプリケーションの実行に必要な条件)を満たすか否かを判定する(S16)。認識に必要な条件は限定されない。
図9は、認識に必要な条件の例を示す図である。図9を参照すると、認識に必要な条件の例として、「搭載デバイスに関する条件」「メモリサイズに関する条件」「処理時間に関する条件」「消費電力に関する条件」が示されている。本開示の実施形態では、認識に必要な条件が、これらの条件の全部を含む場合を主に想定する。しかし、認識に必要な条件は、これらの条件の一部のみを含んでもよい。また、認識に必要な条件は、「アプリケーションのサイズに関する条件」を含んでもよい。「アプリケーションのサイズに関する条件」は、通信負荷を考慮し、アプリケーションのサイズが閾値以下であるという条件であってよい。
ここで、「メモリサイズに関する条件」は、認識に必要な計算能力に関する条件(アプリケーションの実行に必要な計算能力に関する条件)の例に該当し得る。また、「処理時間に関する条件」も、認識に必要な計算能力に関する条件(アプリケーションの実行に必要な計算能力に関する条件)の例に該当し得る。さらに、「消費電力に関する条件」も、認識に必要な計算能力に関する条件(アプリケーションの実行に必要な計算能力に関する条件)の例に該当し得る。
「搭載デバイスに関する条件」は、搭載デバイスの種類に関する条件に相当し得る。この「搭載デバイスに関する条件」を搭載デバイスの種類が満たしていればよい。具体的には、図9に示したように、「搭載デバイスに関する条件」は、アプリケーションの特徴データ(図5)の「認識に必要な搭載デバイスの種類(Required Device)」の集合が、デバイス情報(図6)の「搭載デバイスの種類(Equipped Device)」の集合に含まれるという条件であってよい。かかる条件が満たされるアプリケーション実行装置は、認識に必要なデータを検出可能である。
「メモリサイズに関する条件」は、認識デバイスが認識に割けるメモリサイズに関する条件に相当し得る。この「メモリサイズに関する条件」を認識デバイスが認識に割けるメモリサイズが満たしていればよい。具体的には、図9に示したように、「メモリサイズに関する条件」は、アプリケーションの特徴データ(図5)の「認識に必要なメモリサイズ(Required Memory)」が、デバイス情報(図6)の「認識デバイスが認識に割けるメモリサイズ(Available Total Memory)以下であるという条件であってよい。かかる条件が満たされるアプリケーション実行装置は、認識に必要なメモリサイズを有している。
「処理時間に関する条件」は、認識デバイスが認識に割ける計算リソース(計算サイクル数/秒)に関する条件に相当し得る。この「処理時間に関する条件」を認識デバイスが認識に割ける計算リソース(計算サイクル数)が満たしていればよい。
具体的には、「処理時間に関する条件」は、アプリケーションの特徴データ(図5)の「認識に必要な計算サイクル数(Calculation Cycle)」と、デバイス情報(図6)の「認識デバイスが認識に割ける計算リソース(計算サイクル数/秒)(Calculation Capability)」とに基づく処理時間(より具体的には、図9に示したように、「認識に必要な計算サイクル数(Calculation Cycle)」を「認識デバイスが認識に割ける計算リソース(計算サイクル数/秒)(Calculation Capability)」で除して得られる処理時間)が、アプリケーションの特徴データ(図5)の「認識を開始してから完了するまでの許容時間(Expectation Processing Time)」以下であるという条件であってよい。かかる条件が満たされるアプリケーション実行装置は、認識に必要な計算リソースを有している。
「消費電力に関する条件」は、認識デバイスが認識に消費する電力に関する条件に相当し得る。この「消費電力に関する条件」を認識デバイスが認識に消費する電力が満たしていればよい。
具体的には、「消費電力に関する条件」は、アプリケーションの特徴データ(図5)の「認識に必要な計算サイクル数(Calculation Cycle)」と、デバイス情報(図6)の「1サイクルあたりの消費電力(Cycle per power)」とに基づく消費時間(より具体的には、図9に示したように、「認識に必要な計算サイクル数(Calculation Cycle)」に「1サイクルあたりの消費電力(Cycle perpower)」を乗じて得られる消費電力)が、デバイス情報(図6)の「許容消費電力(Acceptablemaximum power)」以下であるという条件であってよい。かかる条件が満たされるアプリケーション実行装置は、許容消費電力以下の電力で認識を行うことができる。
認識に必要な条件(図9に示した例では、「搭載デバイスに関する条件」「メモリサイズに関する条件」「処理時間に関する条件」「消費電力に関する条件」)の一つでも満たされないデバイス情報を提供したアプリケーション実行装置は、アプリケーションの実行に適していないと言える。一方、認識に必要な条件の全部が満たされたデバイス情報を提供したアプリケーション実行装置は、アプリケーションの実行に適していると言える。
提示制御部112は、これらの条件が満たされるか否かの判定に基づく判定結果が提示部170によって提示されるように制御し、提示部170は、提示制御部112による制御に従って判定結果を提示する(S17)。例えば、提示制御部112は、上記した「搭載デバイスに関する条件」「メモリサイズに関する条件」「処理時間に関する条件」「消費電力に関する条件」の一つでも満たされないデバイス情報がある場合に、所定のアラートが提示部170によって提示されるように制御してもよい。
アラートの種類は限定されない。例えば、アラートは所定の表示(例えば、所定のテキスト、所定の画像など)を含んでもよいし、所定の音を含んでもよい。また、提示制御部112は、満たされていない条件に対応する各項目(デバイス情報における項目およびアプリケーションの特徴データにおける項目)およびその値が所定のアラートとともに提示されるように提示部170を制御してもよい。
アプリケーション生成装置10において、アプリケーション登録処理部113は、アプリケーションの開発者による操作に基づいて(あるいは自動的に)アプリケーションの特徴データ(アプリケーションを含む)を、通信部160を介してサーバ装置20に送信(登録)する(S18)。サーバ装置20において、通信部270は、アプリケーションの特徴データを受信すると(S19)、アプリケーションの特徴データをアプリケーション情報データベース(DB)に追加する。
(アプリケーション実行時の動作)
図8は、本開示の実施形態に係る情報処理システム1のアプリケーション実行時の動作の例を示すフローチャートである。なお、図8に示したフローチャートは、本開示の実施形態に係る情報処理システム1によるアプリケーション実行時の動作の一例を示すに過ぎない。したがって、本開示の実施形態に係る情報処理システム1によるアプリケーション実行時の動作は、図8に示した例に限定されない。
図8に示されたように、アプリケーション実行装置30において、デバイス情報提供部311は、ユーザによる操作(例えば、動作モードをアップデートモードにする操作)に基づいて(あるいは自動的に)、サーバ装置20に接続し、自身のデバイス情報を、通信部360を介してサーバ装置20に送信(提供)する(S31)。サーバ装置20においては、情報取得部211は、アプリケーション実行装置30からデバイス情報を、通信部270を介して受信(取得)する(S32)。
判定部212は、情報取得部211によって受信されたデバイス情報とアプリケーション情報データベース(DB)とに基づいて、デバイス情報がアプリケーションごとに認識に必要な条件(各アプリケーションの実行に必要な条件)を満たすかを判定する(S33)。ここで、判定部212によって用いられる「認識に必要な条件」については、アプリケーション生成装置10における判定部111によって用いられる「認識に必要な条件」と同様であってよいため、詳細な説明は割愛する。
認識に必要な条件(図9に示した例では、「搭載デバイスに関する条件」「メモリサイズに関する条件」「処理時間に関する条件」「消費電力に関する条件」)の一つでも満たされないアプリケーションは、アプリケーション実行装置30での実行に適していないと言える。一方、認識に必要な条件の全部が満たされたアプリケーションは、アプリケーション実行装置30での実行に適していると言える。
アプリケーション提供部213は、認識に必要な条件の全部が満たされたアプリケーションの特徴データ(図5)のうち、アプリケーション名、クラス分類およびクラス分類詳細をアプリケーション情報データベース(DB)から取得する。さらに、アプリケーション提供部213は、認識に必要な条件の全部が満たされたアプリケーションの特徴データ(図5)の「認識に必要な計算サイクル数(Calculation Cycle)」と、デバイス情報(図6)の「認識デバイスが認識に割ける計算リソース(計算サイクル数/秒)(Calculation Capability)」とに基づく上記した処理時間を計算する。
アプリケーション提供部213は、認識に必要な条件の全部が満たされたアプリケーションに関する情報(アプリケーション名、クラス分類、クラス分類詳細および処理時間)のリストを、通信部270を介してアプリケーションリストとしてアプリケーション実行装置30に送信する(S34)。アプリケーションリストにはアプリケーション番号も付加されている。なお、本開示の実施形態では、アプリケーションに関する情報が、アプリケーション名、クラス分類、クラス分類詳細および処理時間の全部を含む場合を主に想定する。しかし、アプリケーションに関する情報は、アプリケーション名、クラス分類、クラス分類詳細および処理時間の一部のみを含んでもよい。
アプリケーション実行装置30において、アプリケーション取得部312は、通信部360を介してアプリケーションリストを受信(取得)する(S35)。そして、アプリケーション取得部312は、アプリケーションリストが端末装置40の表示装置によって表示されるように制御する。端末装置40の表示装置は、アプリケーション取得部312による制御に従ってアプリケーションリストを表示する。
図10は、アプリケーション選択画面の例を示す図である。図10を参照すると、アプリケーション選択画面G10が示されている。アプリケーション選択画面G10には、認識に必要な条件の全部が満たされたアプリケーションに関する情報(アプリケーション名、クラス分類、クラス分類詳細および処理時間)のリストがアプリケーションリストとして表示されている。
ユーザは、アプリケーションリストを参照して、端末装置40の入力装置を介してアプリケーション実行装置30に実行させたいアプリケーションを選択し、端末装置40の入力装置を介して実行ボタンB11を選択する。アプリケーション取得部312は、選択されたアプリケーションに対応する番号(アプリケーション番号)を選択結果として、通信部360を介してサーバ装置20に送信する(S37)。選択結果には、認識デバイス番号も付される。なお、ユーザによって端末装置40の入力装置を介して戻るボタンB12が選択されれば、アプリケーション選択画面G10の前画面に遷移される。
サーバ装置20において、アプリケーション提供部213は、通信部270を介して選択結果を受信し(S38)、選択結果(選択されたアプリケーション番号)に対応するアプリケーション(アプリケーション本体)を、通信部270を介して認識デバイス番号に対応するアプリケーション実行装置30に送信(返信)する(S39)。アプリケーション実行装置30において、アプリケーション取得部312は、通信部360を介してアプリケーションを受信(取得)する(S40)。
アプリケーション実行部313は、アプリケーションをインストールしてアプリケーション実行装置30を再起動させ、動作モードをアプリケーション実行モードに移行させる。そして、アプリケーション実行部313は、アプリケーションを実行する(アプリケーションに基づく認識を開始する)(S41)。
以上、本開示の実施形態に係る情報処理システム1の動作の例について説明した。
<2.ハードウェア構成例>
次に、図11を参照しながら、本開示の実施形態に係るアプリケーション生成装置10、サーバ装置20およびアプリケーション実行装置30それぞれのハードウェア構成例の一例としてコンピュータ90のハードウェア構成例について説明する。図11は、コンピュータ90のハードウェア構成例を示すブロック図である。なお、アプリケーション生成装置10、サーバ装置20およびアプリケーション実行装置30それぞれのハードウェアウェア構成は、図11に示したハードウェア構成例と完全に一致していなくてもよい(例えば、図11に示したハードウェア構成例から不要な構成は削除されてもよい)。
図11に示されるように、コンピュータ90は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、コンピュータ90は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含む。さらに、コンピュータ90は、撮像装置933、およびセンサ935を含む。コンピュータ90は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、コンピュータ90内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、コンピュータ90の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、コンピュータ90に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置933も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro−Luminescence)ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置917は、コンピュータ90の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置917は、周囲を明るくするためライトなどを含んでもよい。
ストレージ装置919は、コンピュータ90の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、コンピュータ90に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器をコンピュータ90に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、コンピュータ90と外部接続機器929との間で各種のデータが交換され得る。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えばコンピュータ90の筐体の姿勢など、コンピュータ90自体の状態に関する情報や、コンピュータ90の周辺の明るさや騒音など、コンピュータ90の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
<3.むすび>
以上説明したように、本開示の実施形態によれば、デバイスの計算能力に関する情報を提供するデバイス情報提供部と、前記計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを取得するアプリケーション取得部と、を備える、情報処理装置が提供される。かかる構成によれば、情報処理装置での実行により適したアプリケーションが情報処理装置にダウンロードされるようになる。
また、アプリケーション生成装置は、情報提供装置にアップロードされたデバイス情報を参照しながら、アプリケーションを生成するのが望ましい。これによって、アプリケーションの開発効率が向上し得る。例えば、アプリケーション生成装置において、提示制御部は、計算能力に関する条件の一つでも満たされないデバイス情報がある場合に、所定のアラートが提示部によって提示されるように制御してもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、認識に必要な条件が満たされたアプリケーションのうち、アプリケーションリストに基づいてユーザによって選択されたアプリケーションがアプリケーション実行装置30によって取得される場合を主に説明した。しかし、アプリケーションリストに基づくアプリケーションの選択は、ユーザの代わりにアプリケーション実行装置30によって自動的に行われてもよい。
例えば、アプリケーション実行装置30において、アプリケーション取得部312は、検出部320によって検出されたデータ(検出データ)から環境情報を得ることが可能である場合、アプリケーションに関する情報のリスト(アプリケーションリスト)と環境情報とに基づいて、アプリケーションを選択してもよい。例えば、アプリケーション取得部312は、アプリケーションリストに基づいて環境情報に適合するアプリケーションを選択してもよい。そして、アプリケーション取得部312は、選択したアプリケーションをサーバ装置20から通信部360を介して取得してもよい。
例えば、アプリケーションに関する情報のリスト(アプリケーションリスト)が、認識に必要な搭載デバイスの種類を含んでいる場合、アプリケーション取得部312は、環境情報に対応する搭載デバイスの種類と認識に必要な搭載デバイスの種類とが適合する場合に、アプリケーションを選択してもよい。
例えば、アプリケーション取得部312は、環境情報が昼の時間帯を示す場合、かつ、昼の時間帯に対応する搭載デバイスの種類がカメラである場合には、認識に必要な搭載デバイスの種類がカメラであるアプリケーションを選択してもよい。一方、アプリケーション取得部312は、環境情報が夜の時間帯を示す場合、かつ、夜の時間帯に対応する搭載デバイスの種類がマイクである場合には、認識に必要な搭載デバイスの種類がマイクであるアプリケーションを選択してもよい。
例えば、環境情報はどのようにして得られてもよい。例えば、アプリケーション実行装置30のカメラによって得られた画像データの輝度が第1の閾値よりも高い場合に、環境情報が昼の時間帯を示すと判定され、画像データの輝度が第2の閾値よりも低い場合に、環境情報が夜の時間帯を示すと判定されてもよい。
また、上記では、ユーザまたはアプリケーション実行装置30によって1つのアプリケーションが選択され、実行される場合について主に説明した。しかし、アプリケーション実行装置30のリソースが不足しなければ、複数のアプリケーションが同時に選択されてサーバ装置20から取得され、アプリケーション実行部313によって並行して実行されてもよい。すなわち、複数のアプリケーションについて認識に必要な条件が統合されたとしても、統合後の条件が満たされる場合には、当該複数のアプリケーションが同時に選択されてサーバ装置20から取得され、アプリケーション実行部313によって並行して実行されてもよい。
例えば、アプリケーション取得部312は、複数のアプリケーションの実行に必要な計算能力に関する条件を足し合わせたとしても、当該足し合わせた後の条件を計算能力に関する情報が満たす場合に、複数のアプリケーションを取得してもよい。そして、アプリケーション実行部313は、当該複数のアプリケーションを並行して実行してもよい。このとき、同一の搭載デバイスに対する競合を防ぐため、複数のアプリケーションの間において、認識に必要な搭載デバイスの種類は異なっているのが望ましい。例えば、一方は、認識に必要な搭載デバイスの種類がカメラであるアプリケーションであり、他方は、認識に必要な搭載デバイスの種類がマイクであるアプリケーションであってもよい。
また、上記では、認識に必要な条件が満たされたアプリケーションのうち、アプリケーションリストに基づいて選択されたアプリケーションがアプリケーション実行装置30によって取得される場合を主に説明した。しかし、アプリケーションリストに基づくアプリケーションの選択は、適宜に省略されてもよい。すなわち、サーバ装置20において、判定部212によって認識に必要な条件が満たされたと判定されたアプリケーションが、アプリケーション実行装置30に提供され、アプリケーション実行装置30のアプリケーション取得部312によって取得されてもよい。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記した制御部110が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。同様に、ハードウェアを制御部210が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。また、ハードウェアを、制御部310が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
また、例えば、上記した各装置の機能が実現されれば、各装置の構成の位置は特に限定されない。アプリケーション生成装置10またはアプリケーション実行装置30における各構成の一部または全部はサーバ装置20によって行われてもよい。具体的な一例として、アプリケーション生成装置10における判定部111は、サーバ装置20に存在していてもよい(例えば、サーバ装置20の判定部212と共通化されていてもよい)。また、アプリケーションリストに基づいてアプリケーションを選択する構成は、アプリケーション実行装置30の代わりにサーバ装置20に存在していてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
デバイスの計算能力に関する情報を提供するデバイス情報提供部と、
前記計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを取得するアプリケーション取得部と、
を備える、情報処理装置。
(2)
前記計算能力に関する情報は、前記デバイスが前記アプリケーションの実行に割ける単位時間あたりのサイクル数を含み、
前記計算能力に関する条件は、前記単位時間あたりのサイクル数と前記アプリケーションの実行に必要なサイクル数とに基づく処理時間が許容時間以下であるという条件を含む、
前記(1)に記載の情報処理装置。
(3)
前記計算能力に関する情報は、前記デバイスが前記アプリケーションの実行に割けるメモリサイズを含み、
前記計算能力に関する条件は、前記アプリケーションの実行に必要なメモリサイズが前記アプリケーションの実行に割けるメモリサイズ以下であるという条件を含む、
前記(1)または(2)に記載の情報処理装置。
(4)
前記計算能力に関する情報は、前記デバイスの1サイクルあたりの消費電力を含み、
前記計算能力に関する条件は、前記1サイクルあたりの消費電力と前記アプリケーションの実行に必要なサイクル数とに基づく消費電力が許容消費電力以下であるという条件を含む、
前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(5)
前記アプリケーション取得部は、前記アプリケーションの実行に利用可能なデバイスの種類が前記アプリケーションの実行に必要なデバイスの種類に関する条件をさらに満たすことに基づいて、前記アプリケーションを取得する
前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記アプリケーションは、ニューラルネットワークを利用したアプリケーションを含む、
前記(1)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記アプリケーション取得部は、前記計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションに関する情報を取得し、前記アプリケーションに関する情報に基づいて前記アプリケーションが選択された場合に、前記アプリケーションを取得する、
前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記アプリケーション取得部は、前記アプリケーションに関する情報が表示されるように表示装置を制御し、ユーザによって前記アプリケーションが選択された場合に、前記アプリケーションを取得する、
前記(7)に記載の情報処理装置。
(9)
前記アプリケーションに関する情報は、前記アプリケーションの実行によって得られる実行結果の種類を含む、
前記(7)に記載の情報処理装置。
(10)
前記アプリケーション取得部は、前記アプリケーションに関する情報と環境情報とに基づいて前記アプリケーションが選択された場合に、前記アプリケーションを取得する、
前記(7)に記載の情報処理装置。
(11)
前記アプリケーションに関する情報は、前記アプリケーションの実行に必要なデバイスの種類を含み、
前記アプリケーション取得部は、前記環境情報に対応するデバイスの種類と前記アプリケーションの実行に必要なデバイスの種類とが適合する場合に、前記アプリケーションを選択する、
前記(10)に記載の情報処理装置。
(12)
前記情報処理装置は、前記アプリケーションを実行するアプリケーション実行部を備える、
前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記アプリケーション取得部は、前記計算能力に関する情報が複数のアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記複数のアプリケーションを取得する、
前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
プロセッサが、デバイスの計算能力に関する情報を提供することと、
前記プロセッサが、前記計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを取得することと、
を含む、情報処理方法。
(15)
デバイスの計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定する判定部と、
前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを提供する提供部と、
を備える、情報提供装置。
(16)
プロセッサが、デバイスの計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定することと、
前記プロセッサが、前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを提供することと、
を含む、情報提供方法。
(17)
デバイスの計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定する判定部と、
前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たさないことに基づいて、所定のアラートの提示を制御する提示制御部と、
を備える、提示制御装置。
(18)
前記提示制御装置は、前記アプリケーションを情報提供装置に登録するアプリケーション登録処理部を備える、
前記(17)に記載の提示制御装置。
(19)
プロセッサが、デバイスの計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定することと、
前記プロセッサが、前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たさないことに基づいて、所定のアラートの提示を制御することと、
を含む、提示制御方法。
(20)
情報処理装置と情報提供装置とを有する情報処理システムであって、
前記情報処理装置は、
デバイスの計算能力に関する情報を前記情報提供装置に提供するデバイス情報提供部と、
前記計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記情報提供装置から前記アプリケーションを取得するアプリケーション取得部と、
を備え、
前記情報提供装置は、
前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定する判定部と、
前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを前記情報処理装置に提供する提供部と、
を備える、情報処理システム。
1 情報処理システム
10 アプリケーション生成装置
110 制御部
111 判定部
112 提示制御部
113 アプリケーション登録処理部
120 検出部
121 カメラ
130 操作部
140 記憶部
160 通信部
170 提示部
20 サーバ装置
210 制御部
211 情報取得部
212 判定部
213 アプリケーション提供部
260 記憶部
270 通信部
30 アプリケーション実行装置
310 制御部
311 デバイス情報提供部
312 アプリケーション取得部
313 アプリケーション実行部
320 検出部
321 カメラ
322 マイク
330 操作部
340 記憶部
360 通信部
370 提示部
390 バッテリ
40 端末装置

Claims (20)

  1. デバイスの計算能力に関する情報を提供するデバイス情報提供部と、
    前記計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを取得するアプリケーション取得部と、
    を備える、情報処理装置。
  2. 前記計算能力に関する情報は、前記デバイスが前記アプリケーションの実行に割ける単位時間あたりのサイクル数を含み、
    前記計算能力に関する条件は、前記単位時間あたりのサイクル数と前記アプリケーションの実行に必要なサイクル数とに基づく処理時間が許容時間以下であるという条件を含む、
    請求項1に記載の情報処理装置。
  3. 前記計算能力に関する情報は、前記デバイスが前記アプリケーションの実行に割けるメモリサイズを含み、
    前記計算能力に関する条件は、前記アプリケーションの実行に必要なメモリサイズが前記アプリケーションの実行に割けるメモリサイズ以下であるという条件を含む、
    請求項1に記載の情報処理装置。
  4. 前記計算能力に関する情報は、前記デバイスの1サイクルあたりの消費電力を含み、
    前記計算能力に関する条件は、前記1サイクルあたりの消費電力と前記アプリケーションの実行に必要なサイクル数とに基づく消費電力が許容消費電力以下であるという条件を含む、
    請求項1に記載の情報処理装置。
  5. 前記アプリケーション取得部は、前記アプリケーションの実行に利用可能なデバイスの種類が前記アプリケーションの実行に必要なデバイスの種類に関する条件をさらに満たすことに基づいて、前記アプリケーションを取得する
    請求項1に記載の情報処理装置。
  6. 前記アプリケーションは、ニューラルネットワークを利用したアプリケーションを含む、
    請求項1に記載の情報処理装置。
  7. 前記アプリケーション取得部は、前記計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションに関する情報を取得し、前記アプリケーションに関する情報に基づいて前記アプリケーションが選択された場合に、前記アプリケーションを取得する、
    請求項1に記載の情報処理装置。
  8. 前記アプリケーション取得部は、前記アプリケーションに関する情報が表示されるように表示装置を制御し、ユーザによって前記アプリケーションが選択された場合に、前記アプリケーションを取得する、
    請求項7に記載の情報処理装置。
  9. 前記アプリケーションに関する情報は、前記アプリケーションの実行によって得られる実行結果の種類を含む、
    請求項7に記載の情報処理装置。
  10. 前記アプリケーション取得部は、前記アプリケーションに関する情報と環境情報とに基づいて前記アプリケーションが選択された場合に、前記アプリケーションを取得する、
    請求項7に記載の情報処理装置。
  11. 前記アプリケーションに関する情報は、前記アプリケーションの実行に必要なデバイスの種類を含み、
    前記アプリケーション取得部は、前記環境情報に対応するデバイスの種類と前記アプリケーションの実行に必要なデバイスの種類とが適合する場合に、前記アプリケーションを選択する、
    請求項10に記載の情報処理装置。
  12. 前記情報処理装置は、前記アプリケーションを実行するアプリケーション実行部を備える、
    請求項1に記載の情報処理装置。
  13. 前記アプリケーション取得部は、前記計算能力に関する情報が複数のアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記複数のアプリケーションを取得する、
    請求項1に記載の情報処理装置。
  14. プロセッサが、デバイスの計算能力に関する情報を提供することと、
    前記プロセッサが、前記計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを取得することと、
    を含む、情報処理方法。
  15. デバイスの計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定する判定部と、
    前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを提供する提供部と、
    を備える、情報提供装置。
  16. プロセッサが、デバイスの計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定することと、
    前記プロセッサが、前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを提供することと、
    を含む、情報提供方法。
  17. デバイスの計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定する判定部と、
    前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たさないことに基づいて、所定のアラートの提示を制御する提示制御部と、
    を備える、提示制御装置。
  18. 前記提示制御装置は、前記アプリケーションを情報提供装置に登録するアプリケーション登録処理部を備える、
    請求項17に記載の提示制御装置。
  19. プロセッサが、デバイスの計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定することと、
    前記プロセッサが、前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たさないことに基づいて、所定のアラートの提示を制御することと、
    を含む、提示制御方法。
  20. 情報処理装置と情報提供装置とを有する情報処理システムであって、
    前記情報処理装置は、
    デバイスの計算能力に関する情報を前記情報提供装置に提供するデバイス情報提供部と、
    前記計算能力に関する情報がアプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記情報提供装置から前記アプリケーションを取得するアプリケーション取得部と、
    を備え、
    前記情報提供装置は、
    前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすか否かを判定する判定部と、
    前記デバイスの計算能力に関する情報が前記アプリケーションの実行に必要な計算能力に関する条件を満たすことに基づいて、前記アプリケーションを前記情報処理装置に提供する提供部と、
    を備える、情報処理システム。
JP2020550550A 2018-10-11 2019-10-03 情報処理装置、情報処理方法および情報処理システム Active JP7391029B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018192448 2018-10-11
JP2018192448 2018-10-11
PCT/JP2019/039137 WO2020075624A1 (ja) 2018-10-11 2019-10-03 情報処理装置、情報処理方法、情報提供装置、情報提供方法、提示制御装置、提示制御方法および情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2020075624A1 true JPWO2020075624A1 (ja) 2021-09-24
JP7391029B2 JP7391029B2 (ja) 2023-12-04

Family

ID=70165231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020550550A Active JP7391029B2 (ja) 2018-10-11 2019-10-03 情報処理装置、情報処理方法および情報処理システム

Country Status (6)

Country Link
US (1) US20210342201A1 (ja)
JP (1) JP7391029B2 (ja)
KR (1) KR20210070984A (ja)
CN (1) CN112771496A (ja)
DE (1) DE112019005091T5 (ja)
WO (1) WO2020075624A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11282686A (ja) * 1998-03-30 1999-10-15 Hitachi Ltd ネットワークコンピュータシステム
JP2001014454A (ja) * 1999-06-29 2001-01-19 Sharp Corp 画像処理装置
JP2011258011A (ja) * 2010-06-09 2011-12-22 Sharp Corp ソフトウェア提供システム、ソフトウェア実行装置、格納方法、コンピュータプログラム及び記録媒体
JP2014170442A (ja) * 2013-03-05 2014-09-18 Ricoh Co Ltd 情報処理システム、情報処理装置及びプログラム
JP2018081404A (ja) * 2016-11-15 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 識別方法、識別装置、識別器生成方法及び識別器生成装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014063450A (ja) * 2012-08-27 2014-04-10 Sony Corp 携帯端末、情報処理装置、および情報処理方法
US9678549B2 (en) * 2015-09-28 2017-06-13 International Business Machines Corporation Selectively uploading applications to a mobile device based on power consumption
US20190286989A1 (en) * 2018-03-15 2019-09-19 Polarr, Inc. Distributed neural network model utilization system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11282686A (ja) * 1998-03-30 1999-10-15 Hitachi Ltd ネットワークコンピュータシステム
JP2001014454A (ja) * 1999-06-29 2001-01-19 Sharp Corp 画像処理装置
JP2011258011A (ja) * 2010-06-09 2011-12-22 Sharp Corp ソフトウェア提供システム、ソフトウェア実行装置、格納方法、コンピュータプログラム及び記録媒体
JP2014170442A (ja) * 2013-03-05 2014-09-18 Ricoh Co Ltd 情報処理システム、情報処理装置及びプログラム
JP2018081404A (ja) * 2016-11-15 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 識別方法、識別装置、識別器生成方法及び識別器生成装置

Also Published As

Publication number Publication date
DE112019005091T5 (de) 2021-08-12
WO2020075624A1 (ja) 2020-04-16
JP7391029B2 (ja) 2023-12-04
KR20210070984A (ko) 2021-06-15
CN112771496A (zh) 2021-05-07
US20210342201A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
CN109327608B (zh) 歌曲分享的方法、终端、服务器和系统
EP3547107B1 (en) Method for providing information mapped between a plurality of inputs and electronic device for supporting the same
CN109618192B (zh) 播放视频的方法、装置、系统和存储介质
US11531702B2 (en) Electronic device for generating video comprising character and method thereof
WO2022156598A1 (zh) 蓝牙连接方法、装置和电子设备
US11231842B2 (en) Method for changing the size of the content displayed on display and electronic device thereof
CN112116690A (zh) 视频特效生成方法、装置及终端
CN110134902B (zh) 资料信息生成方法、装置及存储介质
CN109218620B (zh) 基于环境亮度的拍照方法、装置、存储介质及移动终端
CN114168369A (zh) 日志显示方法、装置、设备及存储介质
CN112181915A (zh) 执行业务的方法、装置、终端和存储介质
JP7391029B2 (ja) 情報処理装置、情報処理方法および情報処理システム
CN111742556A (zh) 用于共享实时内容数据的电子设备
CN111522483B (zh) 多媒体数据分享方法、装置、电子设备及存储介质
US20200244750A1 (en) System for processing user data and controlling method thereof
CN113609387A (zh) 播放内容推荐方法、装置、电子设备及存储介质
JP6171416B2 (ja) 機器制御システム、及び機器制御方法
CN112132472A (zh) 资源管理方法、装置、电子设备及计算机可读存储介质
CN111429106A (zh) 资源转移凭证的处理方法、服务器、电子设备及存储介质
CN110569064A (zh) 接口标识生成方法、装置、设备及存储介质
CN112308104A (zh) 异常识别方法、装置及计算机存储介质
CN111488895A (zh) 对抗数据生成方法、装置、设备及存储介质
JP2016170790A (ja) 撮像装置
US20190265991A1 (en) Method for interworking between host application and assistant application and electronic device supporting the same
CN113344618A (zh) 资源管理方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231121

R150 Certificate of patent or registration of utility model

Ref document number: 7391029

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150