WO2019069905A1

WO2019069905A1 - 情報処理装置、制御方法、及びプログラム

Info

Publication number: WO2019069905A1
Application number: PCT/JP2018/036840
Authority: WO
Inventors: 英夫飯塚; 剛早川; 潔池浦
Original assignee: Ｎｅｃソリューションイノベータ株式会社
Priority date: 2017-10-04
Filing date: 2018-10-02
Publication date: 2019-04-11
Also published as: US20200257928A1; CN111183436A; JPWO2019069905A1; JP6828971B2; US11113562B2; CN111183436B

Abstract

情報処理システム（２０００）は、判断対象について所定判断を行い、第１結果又は第２結果のいずれかを出力する。第１装置（２１００）と第２装置（２２００）は、互いに異なる方法で所定判断を行う。第１装置（２１００）は、判断対象について所定判断を行うために、判断結果を第１結果とすることが正しい確率を表す指標値（判断確度）を算出する。第１装置（２１００）は、判断確度が第１閾値より大きい場合、判断結果として第１結果を出力し、判断確度が第２閾値より小さい場合、判断結果として第２結果を出力する。判断確度が第２閾値以上かつ第１閾値以下である場合、第１装置（２１００）は、判断対象についての所定判断を第２装置（２２００）に要求する。第１装置（２１００）は、第２装置（２２００）によって出力された判断結果に基づいて、第１閾値と第２閾値の少なくとも一方を更新する。

Description

情報処理装置、制御方法、及びプログラム

　本発明は情報処理装置、制御方法、及びプログラムに関する。

　判断対象のデータについて、コンピュータを用いて種々の判断を行う技術が開発されている。例えば特許文献１は、監視カメラの画像を用いて、水路の水位が所定の水位に達しているか否かを判断する技術を開示している。

特開２０１７－１４３３７９号公報

　本発明者は、判断対象のデータについて判断を行うための新たな技術を開発した。本発明の目的の一つは、判断対象のデータについて判断を行うための新たな技術を提供することである。

　本発明の情報処理装置は、１）判断対象についての所定判断の結果を第１結果とすることが正しい確率を表す判断確度を算出し、算出した判断確度に基づいて、判断対象について所定判断を行う判断手段を有する。判断手段は、判断確度が第１閾値より大きい場合、所定判断の結果として第１評価を出力し、判断確度が第２閾値（第１閾値＞第２閾値）より小さい場合、所定判断の結果として第２結果を出力する。
　さらに、本発明の情報処理装置は、２）判断確度が第２閾値以上第１閾値以下である場合に、第１の他装置に対し、判断対象についての所定判断を要求する第１要求を送信する要求手段と、３）第１の他装置による所定判断の結果に基づいて第１閾値及び第２閾値の少なくとも一方を更新する更新手段と、を有する。
　第１の他装置は、判断手段とは異なる方法で所定判断を行う。

　本発明の情報処理システムは、第１装置と第２装置を有する。第１装置は、前述した本発明の情報処理装置に相当する。第２装置は、前述した第１の他装置に相当する。第２装置は、要求手段から第１要求を受信したことに応じ、第１装置の判断手段とは異なる方法で判断対象について所定判断を行い、所定判断の結果を第１装置へ送信する判断手段を有する。

　本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）判断対象についての所定判断の結果を第１結果とすることが正しい確率を表す判断確度を算出し、算出した判断確度に基づいて、判断対象について所定判断を行う判断ステップを有する。判断ステップにおいて、判断確度が第１閾値より大きい場合、所定判断の結果として第１評価を出力し、判断確度が第２閾値（第１閾値＞第２閾値）より小さい場合、所定判断の結果として第２結果を出力する。
　当該制御方法は、さらに、２）判断確度が第２閾値以上第１閾値以下である場合に、第１の他装置に対し、判断対象についての所定判断を要求する第１要求を送信する要求ステップと、３）第１の他装置による所定判断の結果に基づいて第１閾値及び第２閾値の少なくとも一方を更新する更新ステップと、を有する。
　第１の他装置は、判断ステップとは異なる方法で所定判断を行う。

　本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

　本発明によれば、判断対象のデータについて判断を行うための新たな技術が提供される。

　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１の情報処理システムの動作の概要を説明するための図である。実施形態１の情報処理システムの機能構成を例示する図である。第１装置と第２装置の対応関係を例示する図である。第１装置を実現するための計算機を例示する図である。第２装置を実現するための計算機を例示する図である。第１装置と第２装置の具体例を示す図である。実施形態１の第１装置によって実行される処理の流れを例示するフローチャートである。部分範囲を例示する図である。閾値の更新を例示する第１の図である。閾値の更新を例示する第２の図である。実施形態２の情報処理システムの機能構成を例示する図である。

　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［実施形態１］
＜概要＞
　図１は、実施形態１の情報処理システム２０００の動作の概要を説明するための図である。以下で説明する情報処理システム２０００の動作は、情報処理システム２０００の理解を容易にするための例示であり、情報処理システム２０００の動作は以下の例に限定されるわけではない。情報処理システム２０００の動作の詳細やバリエーションについては後述する。

　情報処理システム２０００は、判断対象について所定判断を行うシステムである。判断対象や所定判断には、様々なものを採用しうる。例えば判断対象は、監視カメラによって生成された監視映像である。この場合、所定判断は、例えば、監視映像に特定の人（指名手配犯など）が含まれるかどうかの判断である。

　情報処理システム２０００は、第１装置２１００と第２装置２２００を有する。第１装置２１００と第２装置２２００は、互いに異なる方法で、判断対象について所定判断を行う。情報処理システム２０００は、判断対象について、「まずは第１装置２１００が所定判断を行い、必要に応じて第２装置２２００も所定判断を行う」という動作をする。このような動作をさせる理由としては、例えば、「第２装置２２００が第１装置２１００よりも所定判断を高い精度で行うことができる一方で、第２装置２２００が第１装置２１００よりも所定判断に長い時間を要する」といった理由などがありうる。ただし、情報処理システム２０００に上述の動作をさせる理由は任意であり、例示した理由に限定されない。

　情報処理システム２０００は、判断対象について所定判断を行い、その判断結果として、第１結果又は第２結果のいずれかを出力する。例えば「監視映像に指名手配犯が含まれるか否か」という所定判断を行う場合、情報処理システム２０００は、「含まれる」又は「含まれない」のいずれかを出力する。例えばこの場合、「含まれる」を第１結果とし、「含まれない」を第２結果とする。

　第１装置２１００は、判断対象について所定判断を行う。そのために、第１装置２１００は、判断結果を第１結果とすることが正しい確率を表す指標値（以下、判断確度）を算出する。例えば第１装置２１００が行う所定判断が、監視映像に指名手配犯が含まれるかどうかを判断する処理であるとする。また、「含まれる」が第１結果であるとする。さらに、第１装置２１００による所定判断が、「監視映像に含まれる人の顔と指名手配犯の顔との類似度を所定のアルゴリズムで算出し、その類似度を出力する」という判断モデルを利用して行われるとする。この場合、例えば第１装置２１００は、上記判断モデルによって出力される類似度を、判断確度として算出する。

　第１装置２１００は、判断確度を第１閾値又は第２閾値と比較する。具体的には、第１装置２１００は、判断確度が第１閾値より大きい場合、判断結果として第１結果を出力する。また、第１装置２１００は、判断確度が第２閾値より小さい場合、判断結果として第２結果を出力する。ここで、第２閾値は、第１閾値より小さい値である。そして、判断確度が第２閾値以上かつ第１閾値以下である場合、第１装置２１００は、判断対象についての所定判断を第２装置２２００に要求する。

　例えば前述した、「監視映像に含まれる人の顔と指名手配犯の顔との類似度を所定のアルゴリズムで算出し、その類似度を出力する」という判断モデルを利用して、監視映像に指名手配犯が含まれるか否かを判断するとする。上記判断モデルによって出力される類似度が第１閾値より大きい場合、第１装置２１００は、監視映像に指名手配犯が含まれることを表す第１結果を出力する。上記判断モデルによって出力される類似度が第２閾値より小さい場合、第１装置２１００は、監視映像に指名手配犯が含まれないことを表す第２結果を出力する。上記判断モデルによって出力される類似度が第２閾値以上第１閾値以下である場合、第１装置２１００は、第２装置２２００に所定判断を要求する。

　第２装置２２００は、第１装置２１００からの要求に応じ、判断対象について所定判断を行い、第１結果及び第２結果のいずれか一方を出力する。例えば第２装置２２００は、監視映像に指名手配犯が含まれるか否かの判断を、第１装置２１００が利用する判断モデルとは別の判断モデルを利用して行う。

　第２装置２２００による評価が行われた場合、情報処理システム２０００による評価の結果は、第２装置２２００によって出力された評価結果となる。一方、第２装置２２００による評価が行われなかった場合、情報処理システム２０００による評価の結果は、第１装置２１００によって出力された評価結果となる。

　さらに、第２装置２２００による判断の結果は、第１閾値及び第２閾値の少なくとも一方の更新に利用される。第１装置２１００は、第２装置２２００によって出力された判断結果に基づいて、第１閾値と第２閾値の少なくとも一方を更新する。第１装置２１００は、第２装置２２００によって所定判断が行われる度に第１閾値又は第２閾値を更新してもよいし、第２装置２２００によって行われた複数回の所定判断の結果に基づいて、第１閾値又は第２閾値を更新してもよい。

＜作用効果＞
　第１装置２１００は、判断対象について所定判断を行うために、その判断結果を第１結果とすることが正しい確率を表す指標値である判断確度を算出する。この判断確度が十分に大きい場合（すなわち、第１閾値より大きい場合）、信頼性が十分に高い判断結果として第１結果を出力できる。また、判断確度が十分に小さい場合（すなわち、第２閾値より小さい場合）、信頼性が十分に高い判断結果として、第２結果を出力できる。

　しかしながら、判断確度が十分に大きくなく、なおかつ十分に小さくもない場合（すなわち、判断確度が第２閾値以上かつ第１閾値以下の場合）、第１装置２１００による判断だけでは、判断結果の信頼性が十分でない可能性がある。そこでこのような場合、情報処理システム２０００は、第２装置２２００に判断対象について所定判断を行わせ、その判断結果を情報処理システム２０００による判断の結果として出力する。

　このように、情報処理システム２０００では、第１装置２１００による判断の結果の信頼性が十分である場合には、第１装置２１００による判断の結果が出力され、第１装置２１００による判断の結果の信頼性が十分でない可能性がある場合には、第２装置２２００による判断結果が出力される。こうすることで、情報処理システム２０００において第２装置２２００が利用される機会を少なくしつつ、情報処理システム２０００から信頼性の高い判断結果を出力することができる。よって、情報処理システム２０００による所定判断に要する時間を短くしたり、情報処理システム２０００によって利用される計算機資源の量を少なくしたりしながら、情報処理システム２０００による所定判断の結果の信頼性を高くすることができる。

　さらに本実施形態の第１装置２１００は、第２装置２２００によって出力された判断結果に基づいて、第１閾値と第２閾値の少なくとも一方を更新する。ここで、第１閾値と第２閾値は、「第１装置２１００による判断の結果が信頼性の高いものといえる判断確度の数値範囲」を定める閾値であるといえる。具体的には、判断確度の数値範囲全体のうち、第１閾値より大きい数値範囲と、第２閾値より小さい数値範囲が、第１装置２１００による判断の結果が信頼性の高いものと言える判断確度の数値範囲である。

　前述したように第２装置２２００は第１装置２１００よりも高い精度で所定判断を行う。そこで情報処理システム２０００は、第２装置２２００による所定判断の結果を利用することで、第１装置２１００による所定判断の結果の信頼性を検証し、その検証結果に応じて、第１装置２１００による所定判断が信頼性の高いものといえる判断確度の数値範囲を更新する。この更新により、第１装置２１００による所定判断が信頼性の高いものといえる判断確度の数値範囲を適切に拡大していくことで、情報処理システム２０００による所定判断の結果の信頼性を保ちながら、第２装置２２００が利用される機会を減らすることができる。すなわち、情報処理システム２０００による所定判断の結果の信頼性を保ちながら、情報処理システム２０００による所定判断に要する時間や情報処理システム２０００によって利用される計算機資源の量を削減することができる。

　以下、本実施形態の情報処理システム２０００についてさらに詳細に説明する。

＜情報処理システム２０００の機能構成の例＞
　図２は、実施形態１の情報処理システム２０００の機能構成を例示する図である。情報処理システム２０００は、第１装置２１００及び第２装置２２００を有する。第１装置２１００は、判断部２１２０、要求部２１４０、及び更新部２１６０を有する。判断部２１２０は、判断対象について判断確度を算出することで、所定判断を行う。前述した通り、判断確度が第１閾値より大きい場合、判断結果は第１結果となる。判断確度が第２閾値より小さい場合、判断結果は第２結果となる。ここで、第２閾値は第１閾値より小さい。要求部２１４０は、判断確度が第２閾値以上第１閾値以下である場合に、判断対象についての所定判断を求める第１要求を、第２装置２２００へ送信する。更新部２１６０は、第２装置２２００による判断の結果に基づいて、第１閾値及び第２閾値の少なくとも一方を更新する。

　第２装置２２００は、判断部２２２０を有する。判断部２２２０は、要求部２１４０の要求に応じて、判断対象について所定判断を行い、その判断結果を出力する。

　ここで、情報処理システム２０００は、第１装置２１００と第２装置２２００をそれぞれ複数有していてもよい。この場合において、第１装置２１００と第２装置２２００との対応関係は、１対１であってもよいし、１対多であってもよいし、多対１であってもよい。第１装置２１００と第２装置２２００との対応関係が１対１又は多対１である場合、第１装置２１００が第１要求の送信先にできる第２装置２２００は、複数の第２装置２２００のうち、予め対応づけられている１つの第２装置２２００のみである。一方、第１装置２１００と第２装置２２００との対応関係が１対多である場合、第１装置２１００は、第１要求の送信先を、対応づけられている複数の第２装置２２００のいずれかとすることができる。

　図３は、第１装置２１００と第２装置２２００の対応関係を例示する図である。図３の上段の例において、第１装置２１００と第２装置２２００とは、多対１で対応づけられている。例えば第１装置２１００－１は、複数の第２装置２２００のうち、第２装置２２００－１に対してのみ、第１要求を送信できる。前述したように、第１装置２１００と第２装置２２００との対応関係が１対１である場合についても同様である（図示せず）。

　これに対し、図３の下段の例では、第１装置２１００と第２装置２２００とが、１対多で対応づけられている。例えば第１装置２１００－１は、第１要求を、第２装置２２００－１と第２装置２２００－２のいずれに対して送信してもよい。

＜第１装置２１００のハードウエア構成＞
　第１装置２１００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、第１装置２１００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

　図４は、第１装置２１００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。その他にも例えば、計算機１０００は、前述した監視映像を生成するカメラに内蔵されている計算機であってもよい。計算機１０００は、第１装置２１００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

　計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。ただし、ストレージデバイス１０８０は、RAM など、主記憶装置を構成するハードウエアと同様のハードウエアで構成されてもよい。

　入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

　ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。第１装置２１００を実現する計算機１０００は、ネットワークを介して、第２装置２２００を実現する計算機（後述する計算機５０００）と接続されている。

　ストレージデバイス１０８０は、第１装置２１００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。また、第１閾値及び第２閾値は、ストレージデバイス１０８０に記憶されている。

＜第２装置２２００のハードウエア構成＞
　第２装置２２００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、第２装置２２００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

　図５は、第２装置２２００を実現するための計算機５０００を例示する図である。計算機５０００は任意の計算機である。例えば計算機５０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機５０００は、第２装置２２００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

　計算機５０００は、バス５０２０、プロセッサ５０４０、メモリ５０６０、ストレージデバイス５０８０、入出力インタフェース５１００、及びネットワークインタフェース５１２０を有する。バス５０２０、プロセッサ５０４０、メモリ５０６０、ストレージデバイス５０８０、入出力インタフェース５１００、及びネットワークインタフェース５１２０はそれぞれ、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０と同様である。

　ただし、ストレージデバイス５０８０には、第２装置２２００を実現するためのプログラムモジュールが記憶されている。例えば前述した通り、第１装置２１００と第２装置２２００は、互いに異なる方法で所定判断を行う。そのため、ストレージデバイス５０８０に記憶されている、所定判断に利用されるプログラムモジュール（判断部２２２０を実現するプログラムモジュール）は、ストレージデバイス１０８０に記憶されている、所定判断に利用されるプログラムモジュール（要求部２１４０による指標値の評価を実現するプログラムモジュール）と異なるものである。

＜第１装置２１００と第２装置２２００の具体例＞
　図６は、第１装置２１００と第２装置２２００の具体例を示す図である。図６において、第１装置２１００は、監視対象を撮像して監視映像を生成する監視カメラである。第２装置２２００は、この監視カメラと通信可能に接続されているサーバ装置である。このような構成によれば、例えば、監視カメラによって生成される監視映像について、まずは監視カメラ自身で所定判断を行う。例えば前述したように、監視映像に特定の人物が含まれるか否かの判断が行われる。そして、監視映像を生成した監視カメラ自身では信頼性の高い判断を行うことができない場合（判断確度が第１閾値以上かつ第２閾値以下である場合）に、その監視映像についての所定判断がサーバ装置で行われる。このようにすることで、監視映像の処理をできる限り監視カメラ自身に行わせつつ、システム全体としての判断結果の信頼性を高くすることができる。

　なお、図６に示した構成はあくまで例示であり、第１装置２１００と第２装置２２００はカメラとサーバ装置に限定されない。また、判断対象も監視映像に限定されない。

＜処理の流れ＞
　図７は、実施形態１の第１装置２１００によって実行される処理の流れを例示するフローチャートである。判断部２１２０は、判断対象を取得する（Ｓ１０２）。判断部２１２０は、判断対象について判断確度を算出することで、所定判断を行う（Ｓ１０４）。判断確度が第１閾値より大きい場合、判断部２１２０は、第１結果を出力する（Ｓ１０６）。判断確度が第２閾値より小さい場合、判断部２１２０は、第２結果を出力する（Ｓ１０８）。指標値が第２閾値以上第１閾値以下である場合、要求部２１４０は、第２装置２２００に対して第１要求を送信する（Ｓ１１０）。

　判断部２２２０は、第１要求を受信する（Ｓ１１２）。判断部２２２０は、判断対象について所定判断を行う（Ｓ１１４）。判断部２２２０は、判断結果を送信する（Ｓ１１６）。

　要求部２１４０は、第２装置２２００から判断結果（第１要求に対する応答）を受信する（Ｓ１１８）。要求部２１４０は、受信した判断結果を出力する（Ｓ１２０）。更新部２１６０は、第２装置２２００による判断結果を用いて、第１閾値及び第２閾値の少なくとも一方を更新する（Ｓ１２２）。

＜判断対象の取得：Ｓ１０２＞
　判断部２１２０は、判断対象を取得する（Ｓ１０２）。具体的には、判断部２１２０は、判断対象を表す任意のデータを取得する。以下、判断対象を表すデータを、判断対象データと呼ぶ。例えば判断対象が前述した監視映像である場合、判断対象データは、監視映像を表すビデオデータである。判断部２１２０は、判断対象データが記憶されている記憶装置にアクセスして判断対象データを取得する方法や、他の装置から送信される判断対象データを受信する方法など、任意の方法で判断対象データを取得してよい。

＜判断部２１２０と判断部２２２０による判断：Ｓ１０４、Ｓ１１４＞
　判断部２１２０と判断部２２２０はいずれも、判断対象について所定判断を行う。この所定判断としては、任意の判断を扱うことができる。例えば所定判断は、前述した、監視映像に特定の人が含まれるか否かの判断である。その他にも例えば、所定判断は、監視映像に不審な行動をしている人物が含まれるか否かという判断である。

　判断部２１２０と判断部２２２０は、互いに異なる方法で所定判断を行う。ここで、判断部２２２０は、判断部２１２０よりも高い精度で所定判断を行う。例えば判断部２１２０と判断部２２２０は、それぞれ異なる判断モデルを利用して所定判断を行う。判断モデルの構築には、ディープラーニングなどの機械学習を利用する方法など、既存の様々な方法を利用することができる。以下、判断部２１２０が利用する判断モデルを第１モデルと呼び、判断部２２２０が利用する判断モデルを第２モデルと呼ぶ。

　例えば判断部２２２０は、判断部２１２０が利用する判断モデルよりも精度の高い判断モデルを利用する。例えば第１モデルと第２モデルがいずれも、ニューラルネットワークを利用した判断モデルであるとする。この場合、第２モデルのニューラルネットワークの階層の深さを、第１モデルのニューラルネットワークの階層の深さよりも深くする。その他にも例えば、第１モデルと第２モデルがいずれも、映像から人を表す画像領域の特徴量を１つ以上抽出する判断モデルであるとする。この場合、第２モデルによって抽出される特徴量の数を、第１モデルによって抽出される特徴量の数よりも多くする。

　ここで、第１モデルは判断確度を算出する。判断確度は、判断結果を第１結果とすることが正しい確率を表す指標値である。例えば「監視映像に特定の人が含まれるか否か」という所定判断について、判断結果が「含まれる」という第１結果とすることが正しい確率を表す判断確度は、監視映像に含まれる人と特定の人との類似度である。このように判断結果の確度を出力する判断モデルとしては、種々の既知のモデルを利用することができる。

＜第１要求の送信：Ｓ１１０＞
　要求部２１４０は、第２装置２２００に対して第１要求を送信する。第１要求には、判断対象を特定できるデータを含める。例えば要求部２１４０は、第１要求に判断対象データを含める。その他にも例えば、要求部２１４０は、判断対象データを表すファイルの名称及び判断対象データが記憶されている記憶装置の名称など、判断対象データを取得するために必要な情報を第１要求に含めるようにしてもよい。後者の場合、第２装置２２００は、判断対象データが記憶されている記憶装置にアクセスして、判断対象データを取得する。

＜第１要求に対する応答の受信：Ｓ１１８＞
　第１装置２１００は、第１要求に対する応答を受信する（Ｓ１１８）。この応答には、第２装置２２００によって行われた所定判断の判断結果が含まれる。受信した判断結果は、第１閾値又は第２閾値の更新に利用される。これらの閾値を更新する具体的な方法については後述する。

＜判断結果の出力：Ｓ１０６、Ｓ１０８、Ｓ１２０＞
　情報処理システム２０００による所定判断の結果は、第１装置２１００又は第２装置２２００によって出力される（Ｓ１０６、Ｓ１０８、Ｓ１２０）。第２装置２２００によって所定判断が行われた場合、情報処理システム２０００による所定判断の結果は、第２装置２２００によって出力された判断結果となる。一方、第２装置２２００によって所定判断が行われなかった場合、情報処理システム２０００による所定判断の結果は、第１装置２１００によって出力された判断結果となる。

　情報処理システム２０００による所定判断の結果を出力する方法は任意である。例えば情報処理システム２０００による所定判断の結果は、第１装置２１００に対して所定判断を要求した装置に対して出力される。その他にも例えば、情報処理システム２０００による判断の結果は、ディスプレイ装置などの出力装置を用いて出力されてもよい。

　ここで、第２装置２２００によって所定判断が行われた場合、その判断結果は、第１装置２１００によって出力されてもよいし、第２装置２２００によって出力されてもよい。前者の場合、第１装置２１００は、Ｓ１１８で受信した判断結果を出力する。

＜閾値の更新：Ｓ１２２＞
　更新部２１６０は、第２装置２２００による評価の結果を用いて、第１閾値及び第２閾値の少なくとも一方を更新する（Ｓ１２２）。例えば更新部２１６０は、以下の方法で第１閾値や第２閾値を更新する。

　更新部２１６０は、第２閾値を下限値とし、第１閾値を上限値とする数値範囲（以下、閾値範囲）について、第１部分範囲と第２部分範囲を定める。第１部分範囲は、上限値が第１閾値と等しく、下限値が第２閾値よりも大きい数値範囲である。第２部分範囲は、下限値が第２閾値と等しく、上限値が第１閾値よりも小さい数値範囲である。図８は、部分範囲を例示する図である。図８において、符号１０、２０、３０で表される領域はそれぞれ、閾値範囲、第１部分範囲、及び第２部分範囲を表す。第１部分範囲２０と第２部分範囲３０を定める具体的な方法については後述する。

　更新部２１６０は、第１部分範囲２０と第２部分範囲３０を用いて、閾値の更新を行う。例えば更新部２１６０は、判断確度が第１部分範囲２０に含まれており、なおかつ第２装置２２００による判断の結果が第１結果であれば、第１閾値を、第１部分範囲２０の下限値と等しい値に変更する。こうすることで、第１装置２１００による判断結果が第１結果となる判断確度の範囲に第１部分範囲２０が追加される。

　同様に、更新部２１６０は、判断確度が第２部分範囲３０に含まれており、なおかつ第２装置２２００による判断の結果が第２結果であれば、第２閾値を、第２部分範囲３０の上限値と等しい値に変更する。こうすることで、判断結果が第２結果となる判断確度の範囲に第２部分範囲３０が追加される。

　図９と図１０は、閾値の更新を例示する図である。図９の例では、第１閾値が、第１部分範囲２０の下限値と等しい値に更新されている。一方、図１０の例では、第２閾値が、第２部分範囲３０の上限値と等しい値に変更されている。

　上述の例では１回の所定判断の結果に基づいて閾値が更新されている。しかし更新部２１６０は、複数回行われた所定判断の結果に基づいて閾値を更新してもよい。例えば更新部２１６０は、所定回数以上の所定判断において、判断確度が第１部分範囲２０に含まれていてなおかつ第２装置２２００による判断の結果が第１結果であった場合に、第１閾値を、第１部分範囲２０の下限値と等しい値に変更する。同様に、更新部２１６０は、所定回数以上の所定判断において、判断確度が第２部分範囲３０に含まれていてなおかつ第２装置２２００による判断の結果が第２結果であった場合に、第２閾値を、第２部分範囲３０の上限値と等しい値に変更する。

　第１部分範囲２０と第２部分範囲３０を定める方法は様々である。例えば更新部２１６０は、閾値範囲１０をｎ個（ｎは２以上の整数）の領域に分割することで、第１部分範囲２０と第２部分範囲３０を定める。具体的には、更新部２１６０は、閾値範囲１０をｎ個に分割することで得られる領域のうち、上限値が第１閾値である領域を第１部分範囲２０とする。また、更新部２１６０は、閾値範囲１０をｎ個に分割することで得られる領域のうち、下限値が第２閾値である領域を第２部分範囲３０とする。

　その他にも例えば、閾値範囲１０の大きさに対する第１部分範囲２０の大きさの割合と、閾値範囲１０の大きさに対する第２部分範囲３０の大きさの割合とを、予め定めておく。更新部２１６０は、この予め定められている割合を用いて、第１部分範囲２０と第２部分範囲３０を算出する。

　例えば、閾値範囲１０の大きさに対する第１部分範囲２０の大きさの割合と、閾値範囲１０の大きさに対する第２部分範囲３０の大きさの割合を、いずれも 10% と定めておく。この場合、第１部分範囲２０は、その上限値が第１閾値と等しく、その大きさが閾値範囲１０の大きさの 10% である数値範囲となる。また、第２部分範囲３０は、その下限値が第２閾値と等しく、その大きさが閾値範囲１０の大きさの 10% である数値範囲となる。なお、第１部分範囲２０と第２部分範囲３０の大きさは互いに異なっていてもよい。

　更新部２１６０が閾値の更新を行うタイミングは様々である。例えば更新部２１６０は、閾値の更新を行った後、第２装置２２００によって所定回数以上の所定判断が行われた場に、再度閾値の更新を行う。その他にも例えば、更新部２１６０は、閾値の更新を行った後、所定時間が経過した場合に、再度閾値の更新を行う（すなわち、定期的に閾値の更新が行われる）。

＜判断モデルの更新＞
　情報処理システム２０００は、判断部２０２０によって利用される第１モデルや判断部２２２０によって利用される第２モデルを更新する機能を有していてもよい。例えば、情報処理システム２０００による所定判断の対象とされた判断対象データを記憶装置に蓄積していき、蓄積された各判断対象データを用いて教師データを生成し、生成された教師データを用いて第１モデルや第２モデルを更新する。教師データは、「判断対象データ、正解の判断結果」という組み合わせで表される。ここで、教師データを利用して判断モデルを更新する技術には、既存の技術を利用することができる。

　判断対象データに対する正解の判断結果は、例えば人手で生成される。その他にも例えば、第２モデルよりもさらに高い精度で所定判断を行う第３モデルを有する第３装置を用意しておき、蓄積された判断対象データについて第３モデルで所定判断を行うことで、教師データを生成してもよい。この場合、正解とする判断結果は、第３モデルによって出力される判断結果である。

［実施形態２］
　図１１は、実施形態２の情報処理システム２０００の機能構成を例示する図である。以下で説明する点を除き、実施形態２の情報処理システム２０００は、実施形態１の情報処理システム２０００と同様の機能を有する。

　実施形態２の情報処理システム２０００は、第１装置２１００によって行われた閾値の更新の妥当性を評価する機能を有する。そのために、第１装置２１００は、第２要求部２１８０を有する。第２要求部２１８０は、更新部２１６０による第１閾値又は第２閾値の更新の妥当性について評価を求める要求（以下、第２要求）を送信する。

　情報処理システム２０００は、上記妥当性の評価を行う評価部２３００を有する。評価部２３００は、第２装置２２００に含まれてもよいし、第２装置２２００以外の装置に含まれてもよい。後者の場合、情報処理システム２０００は、第１装置２１００と第２装置２２００に加え、評価部２３００を有する第３装置を有する。以下の例では、第２装置２２００が評価部２３００を有すると仮定して説明を行う。

＜評価部２３００による評価＞
　評価部２３００は、閾値の更新後に判断部２１２０が扱った判断対象について判断部２１２０にも所定判断を行わせ、それぞれから出力される判断結果を比較することで、閾値の更新の妥当性を検証する。以下、その方法を具体的に説明する。

　評価部２３００は、閾値の更新後に判断部２１２０が扱った複数の判断対象それぞれを表す判断対象データを取得する。また、評価部２３００は、各判断対象データに対応付けて、その判断対象データについて判断部２１２０が出力した判断結果も取得する。すなわち、評価部２３００は、「判断対象データ、判断部２１２０が出力した判断結果」の組み合わせを複数取得する。以下、この組み合わせを表すデータを、評価用データと呼ぶ。

　さらに評価部２３００は、取得した評価用データに含まれる各判断対象データについて、第２装置２２００にも所定判断を行わせる。こうすることで、評価部２３００は、各判断対象データについて、判断部２１２０と第２装置２２００のそれぞれから出力された判断結果を得る。

　評価部２３００は、判断部２１２０が出力した判断結果と判断部２２２０が出力した判断結果との一致度合いに基づいて、閾値の更新の妥当性を評価する。例えば評価部２３００は、取得した全ての判断対象データについて、判断部２１２０と判断部２２２０とが同じ判断結果を出力している場合に、閾値の更新が妥当であると判定する。一方、いずれかの判断対象データについて、判断部２１２０と判断部２２２０とが互いに異なる判断結果を出力している場合、評価部２３００は、閾値の更新が妥当でないと判定する。

　その他にも例えば、評価部２３００は、取得した判断対象データの内、所定割合の判断データについて判断部２１２０と判断部２２２０とが同じ判断結果を出力している場合に、閾値の更新が妥当であると判定する。一方、判断部２１２０と判断部２２２０とが同じ判断結果を出力した判断データの割合が、所定の割合未満である場合、評価部２３００は、閾値の更新が妥当でないと判定する。このケースでは、判断部２１２０による判断に、ある程度の誤りが含まれることが許容されている。

　上記判定を行うために、評価部２３００は、第１装置２１００から評価用データを取得する。そのために、判断部２１２０は、閾値の更新後に判断対象について所定判断を行った際、その判断結果を用いて評価用データを生成し、生成した評価用データを記憶装置に記憶させておく。第２要求部２１８０は、上記記憶装置に記憶されている複数の評価用データを第２要求に含めて、評価部２３００に送信する。

　なお前述したとおり、評価部２３００は、第２装置２２００以外の装置に含まれていてもよい。この場合、評価部２３００が含まれる装置には、判断部２２２０と同様に、判断部２１２０よりも高い精度で所定判断を行える判断部を設けておく。そして、評価部２３００は、この判断部による判断結果と、判断部２１２０による判断結果とを、上述した方法と同様の方法で比較することで、閾値の更新の妥当性を評価する。

＜評価部２３００による評価に基づく閾値の更新等＞
　更新部２１６０は、評価部２３００による評価の結果に基づいて、閾値の更新を行う。例えば更新部２１６０は、評価部２３００による評価の結果が、閾値の更新が妥当でないことを示す場合、その閾値を更新前の値に戻す。例えば評価部２３００による評価の結果が、第１閾値の更新が妥当でないことを示すとする。この場合、更新部２１６０は、第１閾値を更新前の値に戻す。同様に、評価部２３００による評価の結果が、第２閾値の更新が妥当でないことを示すとする。この場合、更新部２１６０は、第２閾値を更新前の値に戻す。このように第１閾値や第２閾値を更新前の値に戻せるようにするため、第１閾値や第２閾値を更新した際に、更新前の第１閾値や第２閾値の値を記憶部に記憶させておく。

　その他にも例えば、更新部２１６０は、評価部２３００による評価の結果が、閾値の更新が妥当でないことを示す場合、閾値の更新の度合いを小さくするように、閾値を補正してもよい。例えば評価部２３００による判断の結果が、第１閾値の更新が妥当でないことを示すとする。この場合、更新部２１６０は、第１閾値を、更新前の値よりも小さく、更新後の値よりも小さい値に補正する。この補正は、例えば以下の数式（１）に基づいて行われる。

　Th1 は、補正後の第１閾値を表す。Th1b は更新前の第１閾値を表す。 Th1a は更新後の第１閾値を表す。αは所定の定数（0<α<1）である。

　同様に、評価部２３００による所定判断の結果が、第２閾値の更新が妥当でないことを示すとする。この場合、更新部２１６０は、第２閾値を、更新前の値よりも大きく、更新後の値よりも小さい値に補正する。この補正は、例えば以下の数式（２）に基づいて行われる。

　Th2 は、補正後の第２閾値を表す。Th2b は、更新前の第２閾値を表す。 Th2a は、更新後の第２閾値を表す。βは所定の定数（0<β<1）である。βはαと同じ値であってもよいし、異なる値であってもよい。

　第２要求部２１８０が第２要求を送信するタイミングは任意である。例えば第２要求部２１８０は、更新部２１６０によって閾値の更新が行われたタイミングで、第２要求を送信する。

　ただし、第２要求部２１８０は、情報処理システム２０００によって行われる所定判断を妨げないタイミングで第２要求を送信することが好適である。例えば情報処理システム２０００のネットワークが逼迫している状況で第２要求を送信してしまうと、第２装置２２００に評価を行わせるために必要な第１要求の送信を妨げてしまう可能性があり、ひいては情報処理システム２０００による所定判断を遅らせてしまう可能性がある。

　そこで例えば、第２要求部２１８０は、第１装置２１００と第２装置２２００の間を流れるネットワークトラフィックの量が少ないか否か（例えば、所定値以下であるか否か）を判定する。第１装置２１００と第２装置２２００の間を流れるネットワークトラフィックの量が所定値以下である場合、第２要求部２１８０は、第２要求を送信する。一方、第１装置２１００と第２装置２２００の間を流れるネットワークトラフィックの量が所定値以下でない場合、第２要求部２１８０は、第２要求の送信を遅延する。例えば第２要求部２１８０は、所定時間後に再度、第１装置２１００と第２装置２２００の間を流れるネットワークトラフィックの量が所定値以下であるか否かを判定し、所定値以下であれば第２要求を送信する。なお、二つの装置の間のトラフィック量を計測する技術には、既存の技術を利用することができる。

　その他にも例えば、第２要求部２１８０は、第２装置２２００が消費している計算機資源が少ないか否かを判定する。第２装置２２００が消費している計算機資源の量が少ない場合、第２要求部２１８０は、第２要求を送信する。一方、第２装置２２００が消費している計算機資源の量が少なくない場合、第２要求部２１８０は、第２要求の送信を遅延する。例えば第２要求部２１８０は、所定時間後に再度、第２装置２２００が消費している計算機資源の量が少ないか否かを判定し、少なければ第２要求を送信する。

　ここで、計算機が消費している計算機資源の量が少ないか否かを判定する技術には、既存の技術を利用することができる。例えば第２要求部２１８０は、第２装置２２００から、第２装置２２００が有する１つ以上の計算機資源について、その使用量を表す指標値（CPU 使用率やメモリ使用率など）を取得する。さらに第２要求部２１８０は、取得した指標値を用いて、第２装置２２００が消費している計算機資源の多さを表す総合的な指標値を算出する。そして第２要求部２１８０は、算出した総合的な指標値が所定値以下である場合に、第２装置２２００が消費している計算機資源の量が少ないと判定し、算出した総合的な指標値が所定値より大きい場合に、第２装置２２００が消費している計算機資源の量が少なくないと判定する。なお、第２装置２２００が消費している計算機資源の量が少ないか否かの判定は、第２装置２２００によって行われてもよい。この場合、第１装置２１００は、第２装置２２００によって行われた判定の結果を取得する。

　なお、前述したように、第１装置２１００は複数の第２装置２２００と接続されていてもよい。この場合、例えば第２要求部２１８０は、複数の第２装置２２００の中から、第１装置２１００との間のネットワークにおけるトラフィック量が所定値以下である第２装置２２００を特定し、特定された第２装置２２００に対して第２要求を送信してもよい。その他にも例えば、第２要求部２１８０は、複数の第２装置２２００の中から、計算機資源の使用量が少ない第２装置２２００を特定し、特定された第２装置２２００に対して第２要求を送信してもよい。

　第１装置２１００との間のネットワークにおけるトラフィック量が所定値以下である第２装置２２００や、計算機資源の使用量が少ない第２装置２２００が複数存在することもある。この場合、第２要求部２１８０は、トラフィック量が最少である第２装置２２００や、計算機資源の使用量が最少である第２装置２２００に対して第２要求を送信することが好適である。

　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態を組み合わせた構成や、上記以外の様々な構成を採用することもできる。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．　判断対象についての所定判断の結果を第１結果とすることが正しい確率を表す判断確度を算出し、前記算出した判断確度に基づいて、前記判断対象について前記所定判断を行う判断手段を有し、
　前記判断手段は、前記判断確度が第１閾値より大きい場合、前記所定判断の結果として第１評価を出力し、前記判断確度が第２閾値（前記第１閾値＞前記第２閾値）より小さい場合、前記所定判断の結果として第２結果を出力し、
　前記判断確度が前記第２閾値以上前記第１閾値以下である場合に、第１の他装置に対し、前記判断対象についての前記所定判断を要求する第１要求を送信する要求手段と、
　前記第１の他装置による前記所定判断の結果に基づいて前記第１閾値及び前記第２閾値の少なくとも一方を更新する更新手段と、を有し、
　前記第１の他装置は、前記判断手段とは異なる方法で前記所定判断を行う、情報処理装置。
２．　前記更新手段は、
　　上限値が前記第１閾値と等しくなおかつ下限値が前記第２閾値より大きい第１部分範囲と、下限値が前記第２閾値と等しくなおかつ上限値が前記第１閾値より小さい第２部分範囲とを定め、
　　前記判断確度が前記第１部分範囲に含まれている場合、前記第１の他装置による前記所定判断の結果に基づいて前記第１閾値を更新し、
　　前記判断確度が前記第２部分範囲に含まれている場合、前記第１の他装置による前記所定判断の結果に基づいて前記第２閾値を更新する、１．に記載の情報処理装置。
３．　前記更新手段は、下限値が前記第２閾値と等しくなおかつ上限値が第１閾値と等しい数値範囲をｎ個（ｎは２以上の整数）の部分範囲に分割した場合において、上限値が最も大きい部分範囲を前記第１部分範囲とし、下限値が最も小さい部分範囲を前記第２部分範囲とする、２．に記載の情報処理装置。
４．　前記判断手段は、それぞれ異なる前記判断対象について前記所定判断を行い、
　前記更新手段は、
　　所定数以上の前記判断対象それぞれについて、前記算出された判断確度が前記第１部分範囲に含まれていてなおかつ前記第１の他装置による前記所定判断の結果が前記第１結果であった場合に、前記第１閾値を前記第１部分範囲の下限値と等しい値に更新し、
　　所定数以上の前記判断対象それぞれについて、前記算出された判断確度が前記第２部分範囲に含まれていてなおかつ前記第１の他装置による前記所定判断の結果が前記第２結果であった場合に、前記第２閾値の前記第２部分範囲の上限値と等しい値に更新する、２．に記載の情報処理装置。
５．　前記更新手段は、前記第１閾値又は前記第２閾値を更新した後に、前記第１の他装置によって所定回数以上前記所定判断が行われたとき、又は前記第１閾値又は前記第２閾値を更新した時から所定時間経過したときに、再度前記第１閾値又は前記第２閾値を更新する、１．乃至４．いずれか一つに記載の情報処理装置。
６．　前記更新手段による前記第１閾値又は前記第２閾値の更新の妥当性について評価を求める第２要求を第２の他装置へ送信する第２要求手段を有する、１．乃至５．いずれか一つに記載の情報処理装置。
７．　前記更新手段は、前記第２要求に対する前記第２の他装置からの応答が、前記第１閾値又は前記第２閾値の更新が妥当でないことを示す場合、更新した前記第１閾値又は前記第２閾値を元の値に戻す、６．に記載の情報処理装置。
８．　前記更新手段は、
　　前記第２要求に対する前記第２の他装置からの応答が、前記第１閾値の更新が妥当でないことを示す場合、前記第１閾値を、更新前の前記第１閾値よりも小さくなおかつ更新後の前記第１閾値よりも大きい値に補正し、
　　前記第２要求に対する前記第２の他装置からの応答が、前記第２閾値の更新が妥当でないことを示す場合、前記第２閾値を、更新前の前記第２閾値よりも大きくなおかつ更新後の前記第２閾値よりも小さい値に補正する、６．に記載の情報処理装置。
９．　前記第２要求手段は、前記第２の他装置が消費している計算機資源が少ないとき、又は当該情報処理装置と前記第２の他装置との間で流れるネットワークトラフィックの量が少ないときに、前記第２の他装置へ前記第２要求を送信する、６．乃至８．いずれか一つに記載の情報処理装置。
１０．
　第１装置と第２装置を有する情報処理システムであって、
　前記第１装置は、
　　判断対象についての所定判断の結果が第１結果とすることが正しい確率を表す判断確度を算出し、前記算出した判断確度に基づいて、前記判断対象について前記所定判断を行う判断手段を有し、
　　前記判断手段は、前記判断確度が第１閾値より大きい場合、前記所定判断の結果として第１結果を出力し、前記判断確度が第２閾値（前記第１閾値＞前記第２閾値）より小さい場合、前記所定判断の結果として第２結果を出力し、
　　前記判断確度が前記第２閾値以上前記第１閾値以下である場合に、前記第２装置に対し、前記判断対象についての前記所定判断を要求する第１要求を送信する要求手段と、
　　前記第２装置による前記所定判断の結果に基づいて前記第１閾値及び前記第２閾値の少なくとも一方を更新する更新手段と、を有し、
　前記第２装置は、
　　前記要求手段から前記第１要求を受信したことに応じ、前記第１装置の前記判断手段とは異なる方法で前記判断対象について前記所定判断を行い、前記所定判断の結果を前記第１装置へ送信する判断手段を有する、情報処理システム。
１１．　コンピュータによって実行される制御方法であって、
　判断対象についての所定判断の結果を第１結果とすることが正しい確率を表す判断確度を算出し、前記算出した判断確度に基づいて、前記判断対象について前記所定判断を行う判断ステップを有し、
　前記判断ステップにおいて、前記判断確度が第１閾値より大きい場合、前記所定判断の結果として第１結果を出力し、前記判断確度が第２閾値（前記第１閾値＞前記第２閾値）より小さい場合、前記所定判断の結果として第２結果を出力し、
　前記判断確度が前記第２閾値以上前記第１閾値以下である場合に、第１の他装置に対し、前記判断対象についての前記所定判断を要求する第１要求を送信する要求ステップと、
　前記第１の他装置による前記所定判断の結果に基づいて前記第１閾値及び前記第２閾値の少なくとも一方を更新する更新ステップと、を有し、
　前記第１の他装置は、前記判断ステップとは異なる方法で前記所定判断を行う、制御方法。
１２．　前記更新ステップにおいて、
　　上限値が前記第１閾値と等しくなおかつ下限値が前記第２閾値より大きい第１部分範囲と、下限値が前記第２閾値と等しくなおかつ上限値が前記第１閾値より小さい第２部分範囲とを定め、
　　前記判断確度が前記第１部分範囲に含まれている場合、前記第１の他装置による前記所定判断の結果に基づいて前記第１閾値を更新し、
　　前記判断確度が前記第２部分範囲に含まれている場合、前記第１の他装置による前記所定判断の結果に基づいて前記第２閾値を更新する、１１．に記載の制御方法。
１３．　前記更新ステップにおいて、下限値が前記第２閾値と等しくなおかつ上限値が第１閾値と等しい数値範囲をｎ個（ｎは２以上の整数）の部分範囲に分割した場合において、上限値が最も大きい部分範囲を前記第１部分範囲とし、下限値が最も小さい部分範囲を前記第２部分範囲とする、１２．に記載の制御方法。
１４．　前記判断ステップにおいて、それぞれ異なる前記判断対象について前記所定判断を行い、
　前記更新ステップにおいて、
　　所定数以上の前記判断対象それぞれについて、前記算出された判断確度が前記第１部分範囲に含まれていてなおかつ前記第１の他装置による前記所定判断の結果が前記第１結果であった場合に、前記第１閾値を前記第１部分範囲の下限値と等しい値に更新し、
　　所定数以上の前記判断対象それぞれについて、前記算出された判断確度が前記第２部分範囲に含まれていてなおかつ前記第１の他装置による前記所定判断の結果が前記第２結果であった場合に、前記第２閾値の前記第２部分範囲の上限値と等しい値に更新する、１２．に記載の制御方法。
１５．　前記更新ステップにおいて、前記第１閾値又は前記第２閾値を更新した後に、前記第１の他装置によって所定回数以上前記所定判断が行われたとき、又は前記第１閾値又は前記第２閾値を更新した時から所定時間経過したときに、再度前記第１閾値又は前記第２閾値を更新する、１１．乃至１４．いずれか一つに記載の制御方法。
１６．　前記更新ステップによる前記第１閾値又は前記第２閾値の更新の妥当性について評価を求める第２要求を第２の他装置へ送信する第２要求ステップを有する、１１．乃至１５．いずれか一つに記載の制御方法。
１７．　前記更新ステップにおいて、前記第２要求に対する前記第２の他装置からの応答が、前記第１閾値又は前記第２閾値の更新が妥当でないことを示す場合、更新した前記第１閾値又は前記第２閾値を元の値に戻す、１６．に記載の制御方法。
１８．　前記更新ステップにおいて、
　　前記第２要求に対する前記第２の他装置からの応答が、前記第１閾値の更新が妥当でないことを示す場合、前記第１閾値を、更新前の前記第１閾値よりも小さくなおかつ更新後の前記第１閾値よりも大きい値に補正し、
　　前記第２要求に対する前記第２の他装置からの応答が、前記第２閾値の更新が妥当でないことを示す場合、前記第２閾値を、更新前の前記第２閾値よりも大きくなおかつ更新後の前記第２閾値よりも小さい値に補正する、１６．に記載の制御方法。
１９．　前記第２要求ステップにおいて、前記第２の他装置が消費している計算機資源が少ないとき、又は当該制御方法と前記第２の他装置との間で流れるネットワークトラフィックの量が少ないときに、前記第２の他装置へ前記第２要求を送信する、１６．乃至１８．いずれか一つに記載の制御方法。
２０．　１１．乃至１９．いずれか一つに記載の制御方法に記載の各ステップをコンピュータに実行させるプログラム。

　この出願は、２０１７年１０月４日に出願された日本出願特願２０１７－１９４４９９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

　判断対象についての所定判断の結果を第１結果とすることが正しい確率を表す判断確度を算出し、前記算出した判断確度に基づいて、前記判断対象について前記所定判断を行う判断手段を有し、
　前記判断手段は、前記判断確度が第１閾値より大きい場合、前記所定判断の結果として第１結果を出力し、前記判断確度が第２閾値（前記第１閾値＞前記第２閾値）より小さい場合、前記所定判断の結果として第２結果を出力し、
　前記判断確度が前記第２閾値以上前記第１閾値以下である場合に、第１の他装置に対し、前記判断対象についての前記所定判断を要求する第１要求を送信する要求手段と、
　前記第１の他装置による前記所定判断の結果に基づいて前記第１閾値及び前記第２閾値の少なくとも一方を更新する更新手段と、を有し、
　前記第１の他装置は、前記判断手段とは異なる方法で前記所定判断を行う、情報処理装置。
　前記更新手段は、
　　上限値が前記第１閾値と等しくなおかつ下限値が前記第２閾値より大きい第１部分範囲と、下限値が前記第２閾値と等しくなおかつ上限値が前記第１閾値より小さい第２部分範囲とを定め、
　　前記判断確度が前記第１部分範囲に含まれている場合、前記第１の他装置による前記所定判断の結果に基づいて前記第１閾値を更新し、
　　前記判断確度が前記第２部分範囲に含まれている場合、前記第１の他装置による前記所定判断の結果に基づいて前記第２閾値を更新する、請求項１に記載の情報処理装置。
　前記更新手段は、下限値が前記第２閾値と等しくなおかつ上限値が第１閾値と等しい数値範囲をｎ個（ｎは２以上の整数）の部分範囲に分割した場合において、上限値が最も大きい部分範囲を前記第１部分範囲とし、下限値が最も小さい部分範囲を前記第２部分範囲とする、請求項２に記載の情報処理装置。
　前記判断手段は、それぞれ異なる前記判断対象について前記所定判断を行い、
　前記更新手段は、
　　所定数以上の前記判断対象それぞれについて、前記算出された判断確度が前記第１部分範囲に含まれていてなおかつ前記第１の他装置による前記所定判断の結果が前記第１結果であった場合に、前記第１閾値を前記第１部分範囲の下限値と等しい値に更新し、
　　所定数以上の前記判断対象それぞれについて、前記算出された判断確度が前記第２部分範囲に含まれていてなおかつ前記第１の他装置による前記所定判断の結果が前記第２結果であった場合に、前記第２閾値の前記第２部分範囲の上限値と等しい値に更新する、請求項２に記載の情報処理装置。
　前記更新手段は、前記第１閾値又は前記第２閾値を更新した後に、前記第１の他装置によって所定回数以上前記所定判断が行われたとき、又は前記第１閾値又は前記第２閾値を更新した時から所定時間経過したときに、再度前記第１閾値又は前記第２閾値を更新する、請求項１乃至４いずれか一項に記載の情報処理装置。
　前記更新手段による前記第１閾値又は前記第２閾値の更新の妥当性について評価を求める第２要求を第２の他装置へ送信する第２要求手段を有する、請求項１乃至５いずれか一項に記載の情報処理装置。
　前記更新手段は、前記第２要求に対する前記第２の他装置からの応答が、前記第１閾値又は前記第２閾値の更新が妥当でないことを示す場合、更新した前記第１閾値又は前記第２閾値を元の値に戻す、請求項６に記載の情報処理装置。
　前記更新手段は、
　　前記第２要求に対する前記第２の他装置からの応答が、前記第１閾値の更新が妥当でないことを示す場合、前記第１閾値を、更新前の前記第１閾値よりも小さくなおかつ更新後の前記第１閾値よりも大きい値に補正し、
　　前記第２要求に対する前記第２の他装置からの応答が、前記第２閾値の更新が妥当でないことを示す場合、前記第２閾値を、更新前の前記第２閾値よりも大きくなおかつ更新後の前記第２閾値よりも小さい値に補正する、請求項６に記載の情報処理装置。
　前記第２要求手段は、前記第２の他装置が消費している計算機資源が少ないとき、又は当該情報処理装置と前記第２の他装置との間で流れるネットワークトラフィックの量が少ないときに、前記第２の他装置へ前記第２要求を送信する、請求項６乃至８いずれか一項に記載の情報処理装置。
　第１装置と第２装置を有する情報処理システムであって、
　前記第１装置は、
　　判断対象についての所定判断の結果が第１結果とすることが正しい確率を表す判断確度を算出し、前記算出した判断確度に基づいて、前記判断対象について前記所定判断を行う判断手段を有し、
　　前記判断手段は、前記判断確度が第１閾値より大きい場合、前記所定判断の結果として第１結果を出力し、前記判断確度が第２閾値（前記第１閾値＞前記第２閾値）より小さい場合、前記所定判断の結果として第２結果を出力し、
　　前記判断確度が前記第２閾値以上前記第１閾値以下である場合に、前記第２装置に対し、前記判断対象についての前記所定判断を要求する第１要求を送信する要求手段と、
　　前記第２装置による前記所定判断の結果に基づいて前記第１閾値及び前記第２閾値の少なくとも一方を更新する更新手段と、を有し、
　前記第２装置は、
　　前記要求手段から前記第１要求を受信したことに応じ、前記第１装置の前記判断手段とは異なる方法で前記判断対象について前記所定判断を行い、前記所定判断の結果を前記第１装置へ送信する判断手段を有する、情報処理システム。
　コンピュータによって実行される制御方法であって、
　判断対象についての所定判断の結果を第１結果とすることが正しい確率を表す判断確度を算出し、前記算出した判断確度に基づいて、前記判断対象について前記所定判断を行う判断ステップを有し、
　前記判断ステップにおいて、前記判断確度が第１閾値より大きい場合、前記所定判断の結果として第１結果を出力し、前記判断確度が第２閾値（前記第１閾値＞前記第２閾値）より小さい場合、前記所定判断の結果として第２結果を出力し、
　前記判断確度が前記第２閾値以上前記第１閾値以下である場合に、第１の他装置に対し、前記判断対象についての前記所定判断を要求する第１要求を送信する要求ステップと、
　前記第１の他装置による前記所定判断の結果に基づいて前記第１閾値及び前記第２閾値の少なくとも一方を更新する更新ステップと、を有し、
　前記第１の他装置は、前記判断ステップとは異なる方法で前記所定判断を行う、制御方法。
　前記更新ステップにおいて、
　　上限値が前記第１閾値と等しくなおかつ下限値が前記第２閾値より大きい第１部分範囲と、下限値が前記第２閾値と等しくなおかつ上限値が前記第１閾値より小さい第２部分範囲とを定め、
　　前記判断確度が前記第１部分範囲に含まれている場合、前記第１の他装置による前記所定判断の結果に基づいて前記第１閾値を更新し、
　　前記判断確度が前記第２部分範囲に含まれている場合、前記第１の他装置による前記所定判断の結果に基づいて前記第２閾値を更新する、請求項１１に記載の制御方法。
　前記更新ステップにおいて、下限値が前記第２閾値と等しくなおかつ上限値が第１閾値と等しい数値範囲をｎ個（ｎは２以上の整数）の部分範囲に分割した場合において、上限値が最も大きい部分範囲を前記第１部分範囲とし、下限値が最も小さい部分範囲を前記第２部分範囲とする、請求項１２に記載の制御方法。
　前記判断ステップにおいて、それぞれ異なる前記判断対象について前記所定判断を行い、
　前記更新ステップにおいて、
　　所定数以上の前記判断対象それぞれについて、前記算出された判断確度が前記第１部分範囲に含まれていてなおかつ前記第１の他装置による前記所定判断の結果が前記第１結果であった場合に、前記第１閾値を前記第１部分範囲の下限値と等しい値に更新し、
　　所定数以上の前記判断対象それぞれについて、前記算出された判断確度が前記第２部分範囲に含まれていてなおかつ前記第１の他装置による前記所定判断の結果が前記第２結果であった場合に、前記第２閾値の前記第２部分範囲の上限値と等しい値に更新する、請求項１２に記載の制御方法。
　前記更新ステップにおいて、前記第１閾値又は前記第２閾値を更新した後に、前記第１の他装置によって所定回数以上前記所定判断が行われたとき、又は前記第１閾値又は前記第２閾値を更新した時から所定時間経過したときに、再度前記第１閾値又は前記第２閾値を更新する、請求項１１乃至１４いずれか一項に記載の制御方法。
　前記更新ステップによる前記第１閾値又は前記第２閾値の更新の妥当性について評価を求める第２要求を第２の他装置へ送信する第２要求ステップを有する、請求項１１乃至１５いずれか一項に記載の制御方法。
　前記更新ステップにおいて、前記第２要求に対する前記第２の他装置からの応答が、前記第１閾値又は前記第２閾値の更新が妥当でないことを示す場合、更新した前記第１閾値又は前記第２閾値を元の値に戻す、請求項１６に記載の制御方法。
　前記更新ステップにおいて、
　　前記第２要求に対する前記第２の他装置からの応答が、前記第１閾値の更新が妥当でないことを示す場合、前記第１閾値を、更新前の前記第１閾値よりも小さくなおかつ更新後の前記第１閾値よりも大きい値に補正し、
　　前記第２要求に対する前記第２の他装置からの応答が、前記第２閾値の更新が妥当でないことを示す場合、前記第２閾値を、更新前の前記第２閾値よりも大きくなおかつ更新後の前記第２閾値よりも小さい値に補正する、請求項１６に記載の制御方法。
　前記第２要求ステップにおいて、前記第２の他装置が消費している計算機資源が少ないとき、又は当該制御方法と前記第２の他装置との間で流れるネットワークトラフィックの量が少ないときに、前記第２の他装置へ前記第２要求を送信する、請求項１６乃至１８いずれか一項に記載の制御方法。
　請求項１１乃至１９いずれか一項に記載の制御方法に記載の各ステップをコンピュータに実行させるプログラム。