JP6651086B1 - 画像分析プログラム、情報処理端末、及び画像分析システム - Google Patents

Abstract

【課題】専門の技術スタッフが、カメラの設置位置や設置角度の調整を行うことなく、ユーザが容易にカメラを設置できる画像分析プログラム、情報処理端末及び画像分析システムを提供する。【解決手段】方法は、ＮＮモデルによる推論処理の精度を測定して（Ｓ４）、測定した推論処理の精度に基づいて、この推論処理の精度を向上させるためのインストラクションをユーザに報知する（Ｓ５、Ｓ６、及びＳ８）。このインストラクションに基づいて、ユーザが、スマートフォンのカメラの設置位置や設置角度を調整することにより、専門の技術スタッフが、カメラの設置場所に赴いて、カメラの設置位置や設置角度の調整を行うことなく、適切なＮＮモデルの推論精度を得ることができる。【選択図】図６

Description

本発明は、画像分析プログラム、情報処理端末、及び画像分析システムに関する。

従来から、店舗等の屋内に、監視カメラや、いわゆるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）カメラ等のカメラを配して、これらのカメラで撮影したフレーム画像に映り込んだ人等の物体を、学習済物体検出用ニューラルネットワーク等で検出し、検出した物体の認識を、学習済物体認識用ニューラルネットワークを用いて行うようにした装置やシステムが知られている（例えば、特許文献１参照）。

特開２０１８−０９３２８３号公報

ところが、上記特許文献１に記載されたような従来のカメラで撮影した人等の物体の検出及び認識を行う装置やシステムでは、ＡＩカメラ等のカメラの設置に非常に手間がかかるという問題があった。具体的には、この種の装置やシステムの導入時には、専門の技術スタッフが、カメラの設置場所に赴いて、（逆光になるのを避けるために光源を考慮した、）カメラの設置位置（撮影位置）及び設置角度（撮影方向）の調整を行い、適切な学習済物体検出用ニューラルネットワーク又は学習済物体認識用ニューラルネットワークの推論処理の精度（推論精度）を担保できるようにする必要があった。

本発明は、上記課題を解決するものであり、専門の技術スタッフが、カメラの設置場所に赴いて、カメラの設置位置や設置角度の調整を行うことなく、適切な学習済物体検出用又は学習済物体認識用ニューラルネットワークの推論精度を得ることができるようにして、ユーザが容易にカメラを設置することを可能にする画像分析プログラム、情報処理端末、及び画像分析システムを提供することを目的とする。

上記課題を解決するために、本発明の第１の態様による画像分析プログラムは、カメラを備えた情報処理端末を、前記カメラからの入力画像に映り込んだ物体を検出するための学習済物体検出用ニューラルネットワークモデルを含む、１つ以上の学習済ニューラルネットワークモデルを用いて、前記カメラからの入力画像を分析する画像分析部と、前記１つ以上の学習済ニューラルネットワークモデルのうち、いずれかの学習済ニューラルネットワークモデルによる推論処理の精度を測定する推論精度測定部と、前記カメラの設置位置及び設置角度を推定するカメラ位置方向推定部と、前記カメラからの入力画像を表示するための表示装置と、前記表示装置に表示された前記カメラからの入力画像に対して、前記物体の検出位置を指定するための操作部と、前記推論精度測定部による測定の結果、測定した推論処理の精度が所定の値に満たない場合、前記カメラ位置方向推定部により推定された前記カメラの設置位置及び設置角度と、前記操作部により指定された前記物体の検出位置とに基づいて、前記推論処理の精度を向上させるための指示情報をユーザに報知する報知部として機能させる。

この画像分析プログラムにおいて、前記学習済物体検出用ニューラルネットワークモデルによる検出物体は、人又は顔であり、前記指示情報は、前記学習済物体検出用ニューラルネットワークモデルによって前記人又は顔を検出するのに適した設置位置又は設置角度に前記カメラを動かすことを、前記ユーザに促す指示情報であってもよい。

この画像分析プログラムにおいて、前記報知部は、前記指示情報を前記表示装置に表示することにより、前記指示情報をユーザに報知してもよい。

本発明の第２の態様による画像分析プログラムは、カメラを備えた情報処理端末を、前記カメラからの入力画像に人又は顔の画像を重畳させる画像重畳部と、前記画像重畳部により重畳させた人又は顔の画像を、１つ以上の学習済ニューラルネットワークモデルを用いて分析する画像分析部と、前記１つ以上の学習済ニューラルネットワークモデルのうち、いずれかの学習済ニューラルネットワークモデルによる推論処理の精度を測定する推論精度測定部と、前記推論精度測定部により測定された推論処理の精度に基づいて、この推論処理の精度を向上させるための指示情報をユーザに報知する報知部として機能させる。

この画像分析プログラムにおいて、前記指示情報は、前記いずれかの学習済ニューラルネットワークモデルによる推論処理を行うのに適した設置位置又は設置角度に前記カメラを動かすことを、前記ユーザに促す指示情報であってもよい。

この画像分析プログラムにおいて、前記報知部は、前記指示情報を表示装置に表示することにより、前記指示情報をユーザに報知してもよい。

この画像分析プログラムにおいて、前記画像重畳部は、前記入力画像に重畳させる人又は顔の画像における人の属性及び数を、種々の属性及び数に経時的に変化させ、前記画像分析部は、前記経時的に変化させた属性及び数の人又は顔の画像を前記入力画像に重畳させた種々の画像を、次々に分析し、前記報知部は、前記経時的に変化させた属性及び数の人又は顔の画像を前記入力画像に重畳させた種々の画像について、前記推論精度測定部により測定された推論処理の精度に基づいて、前記推論処理の精度を向上させるための指示情報をユーザに報知してもよい。

本発明の第３の態様による情報処理端末は、カメラと、前記カメラからの入力画像に映り込んだ物体を検出するための学習済物体検出用ニューラルネットワークモデルを含む、１つ以上の学習済ニューラルネットワークモデルを用いて、前記カメラからの入力画像を分析する画像分析部と、前記１つ以上の学習済ニューラルネットワークモデルのうち、いずれかの学習済ニューラルネットワークモデルによる推論処理の精度を測定する推論精度測定部と、前記カメラの設置位置及び設置角度を推定するカメラ位置方向推定部と、前記カメラからの入力画像を表示するための表示装置と、前記表示装置に表示された前記カメラからの入力画像に対して、前記物体の検出位置を指定するための操作部と、前記推論精度測定部による測定の結果、測定した推論処理の精度が所定の値に満たない場合、前記カメラ位置方向推定部により推定された前記カメラの設置位置及び設置角度と、前記操作部により指定された前記物体の検出位置とに基づいて、前記推論処理の精度を向上させるための指示情報をユーザに報知する報知部とを備える。

この情報処理端末において、前記学習済物体検出用ニューラルネットワークモデルによる検出物体は、人又は顔であり、前記指示情報は、前記学習済物体検出用ニューラルネットワークモデルによって前記人又は顔を検出するのに適した設置位置又は設置角度に前記カメラを動かすことを、前記ユーザに促す指示情報であってもよい。

この情報処理端末において、前記報知部は、前記指示情報を前記表示装置に表示することにより、前記指示情報をユーザに報知してもよい。

この情報処理端末において、前記操作部は、ポインティングデバイスであり、前記報知部は、前記推論精度測定部により測定された推論処理の精度に加えて、前記カメラ位置方向推定部により推定された前記カメラの設置位置及び設置角度と、前記ポインティングデバイスにより指定された前記人又は顔の検出位置とに基づいて、前記指示情報を求めてもよい。

本発明の第４の態様による情報処理端末は、カメラと、前記カメラからの入力画像に人又は顔の画像を重畳させる画像重畳部と、前記画像重畳部により重畳させた人又は顔の画像を、１つ以上の学習済ニューラルネットワークモデルを用いて分析する画像分析部と、前記１つ以上の学習済ニューラルネットワークモデルのうち、いずれかの学習済ニューラルネットワークモデルによる推論処理の精度を測定する推論精度測定部と、前記推論精度測定部により測定された推論処理の精度に基づいて、この推論処理の精度を向上させるための指示情報をユーザに報知する報知部とを備える。

この情報処理端末において、前記指示情報は、前記いずれかの学習済ニューラルネットワークモデルによる推論処理を行うのに適した設置位置又は設置角度に前記カメラを動かすことを、前記ユーザに促す指示情報であってもよい。

この情報処理端末において、前記情報処理端末は、前記カメラからの入力画像を表示する表示装置をさらに備え、前記報知部は、前記指示情報を前記表示装置に表示することにより、前記指示情報をユーザに報知してもよい。

この情報処理端末において、前記画像重畳部は、前記入力画像に重畳させる人又は顔の画像における人の属性及び数を、種々の属性及び数に経時的に変化させ、前記画像分析部は、前記経時的に変化させた属性及び数の人又は顔の画像を前記入力画像に重畳させた種々の画像を、次々に分析し、前記報知部は、前記経時的に変化させた属性及び数の人又は顔の画像を前記入力画像に重畳させた種々の画像について、前記推論精度測定部により測定された推論処理の精度に基づいて、前記推論処理の精度を向上させるための指示情報をユーザに報知してもよい。

本発明の第５の態様による画像分析システムは、前記のいずれかの情報処理端末と、前記情報処理端末への前記学習済ニューラルネットワークモデルのインストールを含む、前記情報処理端末の管理を行う管理サーバとを備える。

本発明の第２の態様による画像分析プログラム、及び第４の態様による情報処理端末によれば、１つ以上の学習済ニューラルネットワークモデルのうち、いずれかの学習済ニューラルネットワークモデルによる推論処理の精度を測定して、測定した推論処理の精度に基づいて、この推論処理の精度を向上させるための指示情報をユーザに報知するようにした。この報知された指示情報に基づいて、ユーザが、情報処理端末のカメラの設置位置（撮影位置）や設置角度（撮影方向）を調整することにより、専門の技術スタッフが、カメラの設置場所に赴いて、カメラの設置位置や設置角度の調整を行うことなく、適切な学習済ニューラルネットワークモデル（学習済物体検出用ニューラルネットワーク又は学習済物体認識用ニューラルネットワーク）の推論精度を得ることができる。従って、ユーザが容易にカメラを設置することができる。
また、本発明の第１の態様による画像分析プログラム、及び第３の態様による情報処理端末によれば、１つ以上の学習済ニューラルネットワークモデルのうち、いずれかの学習済ニューラルネットワークモデルによる推論処理の精度を測定して、測定した推論処理の精度が所定の値に満たない場合、推定したカメラの設置位置及び設置角度と、操作部により指定された物体の検出位置とに基づいて、推論処理の精度を向上させるための指示情報をユーザに報知するようにした。この報知された指示情報に基づいて、ユーザが、情報処理端末のカメラの設置位置（撮影位置）や設置角度（撮影方向）を調整することにより、専門の技術スタッフが、カメラの設置場所に赴いて、カメラの設置位置や設置角度の調整を行うことなく、適切な学習済ニューラルネットワークモデル（学習済物体検出用ニューラルネットワーク又は学習済物体認識用ニューラルネットワーク）の推論精度を得ることができる。従って、ユーザが容易にカメラを設置することができる。

また、本発明の第５の態様による画像分析システムによれば、上記の効果に加えて、管理サーバを用いて、情報処理端末への学習済ニューラルネットワークモデル（学習済物体検出用ニューラルネットワーク及び学習済物体認識用ニューラルネットワーク）のインストールを含む、情報処理端末の管理を行うことができる。

本発明の第１の実施形態のスマートフォンを含む、画像分析システムの概略の構成を示すブロック構成図。 同スマートフォンの概略のハードウェア構成を示すブロック図。 同スマートフォンにおける主なソフトウェアの構成図。 同スマートフォンにおけるＳｏＣの機能ブロック構成図。 同スマートフォン（のカメラ）の設置方法の例を示す説明図。 同スマートフォンにおける、インストラクションを用いたカメラの設置位置及び設置角度の調整処理の一例を示すフローチャート。 同スマートフォンにおける顔検出モデルによる推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラの設置位置及び設置角度の調整処理の説明図。 同スマートフォンにおける、インストラクションを用いたカメラの設置位置及び設置角度の調整処理の他の例を示すフローチャート。 同スマートフォンにおける人物検出モデルによる推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラの設置位置及び設置角度の調整処理の説明図。 同スマートフォンにおける人物検出モデルによる推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラの設置位置及び設置角度の調整処理の説明図。 同スマートフォンにおける人物検出モデルによる推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラの設置位置及び設置角度の調整処理の説明図。 同スマートフォンにおける人物検出モデルによる推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラの設置位置及び設置角度の調整処理の説明図。 同スマートフォンにおける人物検出モデルによる推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラの設置位置及び設置角度の調整処理の説明図。 同スマートフォンにおける人物検出モデルによる推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラの設置位置及び設置角度の調整処理の説明図。 本発明の第２の実施形態のスマートフォンにおけるＳｏＣの機能ブロック構成図。 同スマートフォンにおけるＳｏＣの各機能ブロックと、３Ｄモデル重畳部による３次元コンピュータグラフィックス（３ＤＣＧ）の人の画像の作成に必要なファイルを示すブロック図。 同スマートフォンにおける、インストラクションを用いたカメラの設置位置及び設置角度の調整処理の例を示すフローチャート。 同スマートフォンにおける顔認識モデルによる（性別・年齢推定処理の）推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラの設置位置及び設置角度の調整処理の説明図。 同スマートフォンにおけるタッチパネル上に表示される状況選択メニュー画面を示す図。 同スマートフォンにおける顔認識モデルによる推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラの設置位置及び設置角度の調整処理の説明図。 同スマートフォンにおける顔認識モデルによる推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラの設置位置及び設置角度の調整処理の説明図。 同スマートフォンにおける顔認識モデルによる推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラの設置位置及び設置角度の調整処理の説明図。 同スマートフォンにおける顔認識モデルによる推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラの設置位置及び設置角度の調整処理の説明図。

以下、本発明を具体化した実施形態による画像分析プログラム、情報処理端末、及び画像分析システムについて、図面を参照して説明する。図１は、本発明の第１の実施形態による情報処理端末であるスマートフォン１（すなわち、本発明の第１の実施形態による画像分析プログラムである画像分析アプリケーション（図２参照）がインストールされた情報処理端末）を含む、画像分析システム１０の概略のブロック構成図である。図１に示すように、画像分析システム１０は、住居等の各設置エリアに設置されたスマートフォン１と、クラウドＣ上のＡＩ分析サーバ３及びスマホ管理サーバ４（請求項における「管理サーバ」）とを備えている。各スマートフォン１は、動画を撮影可能なディジタルカメラであるカメラ２を備えている。

上記のＡＩ分析サーバ３は、スマートフォン１における画像分析アプリケーションを用いた物体認識結果に基づいて、例えば、各エリアにおける人物の行動を分析し、分析結果の情報を、マーケティングや防犯等の種々の用途のアプリケーションが使い易いデータに変換して出力する。なお、上記のスマートフォン１（における画像分析アプリケーション）からの物体認識結果は、個人情報を含まない文字列データにして、ＡＩ分析サーバ３に送られる。また、上記のスマホ管理サーバ４は、各設置エリアに設置されたスマートフォン１の管理を行う。具体的には、スマホ管理サーバ４は、各種の物体認識（物体検出を含む）のタイプに応じた多数の画像分析アプリケーションを格納したハードディスク等の画像分析アプリストレージ５を備えており、各スマートフォン１への画像分析アプリケーションのインストールや、各スマートフォン１における画像分析アプリケーションの実行管理を行うことができる。

次に、図２を参照して、スマートフォン１のハードウェア構成と、スマートフォン１にインストールされた画像分析アプリケーション２１について、説明する。スマートフォン１は、上記のカメラ２に加えて、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）１１と、タッチパネル１４（請求項における「表示装置」、及び「ポインティングデバイス」）と、スピーカ１５と、各種のデータやプログラムを記憶するメモリ１６と、通信部１７と、二次電池１８と、充電端子１９とを備えている。ＳｏＣ１１は、装置全体の制御及び各種演算を行うＣＰＵ１２と、学習済物体検出用ニューラルネットワークモデル（以下、「物体検出用ＮＮモデル」という）、及び学習済物体認識用ニューラルネットワークモデル（以下、「物体認識用ＮＮモデル」という）の推論処理等に用いられるＧＰＵ１３とを備えている。また、タッチパネル１４は、ユーザが、タッチパネル１４上に表示されたカメラ２からの入力画像に対して、人又は顔の検出位置を指定するためのポインティングデバイスとして用いられる。

上記のメモリ１６に格納されるプログラムには、スマホ管理サーバ４からスマートフォン１にダウンロードされてインストールされた画像分析アプリケーション２１や、後述するスマホ分析ＯＳプログラム２０が含まれている。通信部１７は、通信ＩＣとアンテナを備えている。スマートフォン１は、通信部１７とネットワークとを介して、ＡＩ分析サーバ３及びスマホ管理サーバ４と接続されている。また、二次電池１８は、リチウムイオン電池等の、充電により繰り返し使用することが可能な電池であり、ＡＣ／ＤＣコンバータにより直流電力に変換した後の商用電源からの電力を、蓄電して、スマートフォン１の各部に供給する。

また、図２に示すスマートフォン１の画像分析アプリケーション２１は、スマホ管理サーバ４の画像分析アプリストレージ５に格納された、多種類の画像分析アプリケーションの一例である。画像分析アプリストレージ５に格納された画像分析アプリケーションの各々は、カメラ２からの入力画像に映り込んだ物体を検出するための物体検出用ＮＮモデルを含む、１つ以上のＮＮモデルと、これらのＮＮモデルの制御用スクリプトとを含んだパッケージ・プログラムである。このスクリプトには、上記の１つ以上のＮＮモデルの使い方（処理の順番）と、上記の１つ以上のＮＮモデルのうち、いずれかのＮＮモデルによる推論処理の精度測定処理と、この推論処理の精度を向上させるためのインストラクション（請求項における「指示情報」）の表示処理等が記載されている。図２に示す例の画像分析アプリケーション２１は、顔検出モデル２２、顔認識モデル２３、スクリプト２４、及びＡＲアプリケーション２５を含んでいる。

上記の顔検出モデル２２は、カメラ２から取得した画像に含まれる顔を検出する物体検出用ＮＮモデルである。顔認識モデル２３は、顔検出モデル２２で検出した顔に基づいて、検出した顔を有する人の性別・年齢を推定する物体認識用ＮＮモデルである。スクリプト２４は、上記の顔検出モデル２２及び顔認識モデル２３の処理手順、顔検出モデル２２による推論処理の精度測定処理、及び顔検出モデル２２による推論処理の精度を向上させるためのインストラクションの表示処理等を記述した制御用の簡易なプログラムである。また、ＡＲアプリケーション２５は、ＡＲＫｉｔ（ｉＰｈｏｎｅ（登録商標）・ｉＰａｄ（登録商標）向けのＡＲ対応アプリケーションのためのフレームワーク）等の既存の技術を用いたＡＲエンジン用のプログラムである。

次に、図３を参照して、スマートフォン１における主なソフトウェアの構成について説明する。図３に示すように、スマートフォン１における主なソフトウェアは、物体検出認識モデル３１と、簡単設置ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）３２と、ＡＲエンジン３３と、スマホ分析ＯＳ３４である。図３では、各ソフトウェアのプロセスを示している。図３における物体検出認識モデル３１のプロセスは、図２に示す画像分析アプリケーション２１の例における顔検出モデル２２及び顔認識モデル２３のプログラムに対応する。図３中の簡単設置ＵＩ３２のプロセスは、図２中のスクリプト２４のプログラムの一部に対応する。図３中のＡＲエンジン３３のプロセスは、図２中のＡＲアプリケーション２５のプログラムに対応する。図３中のスマホ分析ＯＳ３４は、図２中のスマホ分析ＯＳプログラム２０に対応する。

図４は、上記のスマートフォン１におけるＳｏＣ１１の機能ブロックを示す。スマートフォン１（のＳｏＣ１１）は、機能ブロックとして、画像分析部４１と、推論精度測定部４２と、報知部４３と、カメラ位置方向推定部４４とを備えている。なお、ＳｏＣ１１における機能ブロックのうち、推論精度測定部４２と、報知部４３と、カメラ位置方向推定部４４の機能は、ＣＰＵ１２により実現され、画像分析部４１の機能は、ＣＰＵ１２とＧＰＵ１３により実現されている。

上記の画像分析部４１は、カメラ２からの入力画像に映り込んだ物体（人や顔等）を検出するための物体検出用ＮＮモデルを含む、１つ以上の（学習済）ＮＮモデル（図２の例では、顔検出モデル２２や顔認識モデル２３）を用いて、カメラ２からの入力画像を分析する。推論精度測定部４２は、上記の１つ以上のＮＮモデルのうち、いずれかのＮＮモデルによる推論処理の精度を測定する。報知部４３は、推論精度測定部４２により測定された推論処理の精度に基づいて、この推論処理の精度を向上させるためのインストラクションをユーザに報知する。より具体的に言うと、報知部４３は、上記のＮＮモデルによる推論処理の精度を向上させるためのインストラクションをタッチパネル１４に表示することにより、上記のインストラクションをユーザに報知する。上記のインストラクションは、物体検出用ＮＮモデルによって人又は顔を検出するのに適した設置位置又は設置角度にカメラ２を動かすことを、ユーザに促すインストラクションである。

また、カメラ位置方向推定部４４は、カメラ２からの入力画像に基づいて、カメラ２の設置位置及び設置角度を推定する。報知部４３は、推論精度測定部４２により測定された推論処理の精度に加えて、カメラ位置方向推定部４４により推定されたカメラ２の設置位置及び設置角度と、タッチパネル１４により指定された人又は顔の検出位置とに基づいて、上記のインストラクションを求める（決定する）。なお、カメラ位置方向推定部４４は、カメラ２からの映像の他、加速度センサー、角加速度センサー、その他スマートフォン１の移動を感知することが可能なセンサー等を用いて、カメラ位置方向計算の精度を向上させてもよい。また、カメラ位置方向推定部４４は、カメラ２からの映像を用いず、加速度センサー、角加速度センサー、その他スマートフォン１の移動を感知することが可能なセンサー等の出力値のみを用いてカメラ位置方向推定の計算を行ってもよい。

図５は、上記のスマートフォン１（のカメラ２）の設置方法の例を示す。この例では、スマートフォン１（のカメラ２）をイベント会場の入口に設置する場合の例を示す。図５に示す例では、スマートフォン１は、容易に形状を変えることが可能なフレキシブルアーム５１を有するスマホホルダ５２に保持されており、フレキシブルアーム５１の一端に設けられたクリップ５３を用いて、イベントの案内用プレート５４に取り付けられている。上記のフレキシブルアーム５１を変形させることにより、スマートフォン１のカメラ２は、その設置位置及び設置角度を変更する事が可能である。また、図５には示していないが、スマートフォン１の充電端子１９（図２参照）に接続された電源コードが、ＡＣ／ＤＣコンバータを介して商用電源に接続されている。なお、図５に示す例では、スマホホルダ５２がフレキシブルアーム５１の一端に、取り付け用のクリップ５３を有する場合の例を示したが、スマホホルダ５２は、フレキシブルアーム５１の一端に、マグネット等の取り付け具を有する構成であってもよい。また、スマートフォン１のカメラ２に、広角レンズを、クリップ等で取り付けてもよい。

次に、図６及び図７を参照して、上記のＮＮモデルによる推論処理の精度を向上させるためのインストラクションの一例と、このインストラクションを用いたカメラ２の設置位置及び設置角度の調整処理について、説明する。この例では、上記のインストラクションは、顔検出モデル２２（図２参照）による推論処理の精度を向上させるための簡単なインストラクションである。

ユーザが、スマートフォン１のタッチパネル１４に表示された分析処理（認識処理）の候補の中から、所望の処理（人の性別・年齢推定）を選択すると（Ｓ１）、スマートフォン１（の主にＣＰＵ１２）は、選択した処理に応じたＮＮモデル（顔検出モデル２２及び顔認識モデル２３（図２参照））と、これらのＮＮモデル用のスクリプト２４を、スマホ管理サーバ４からダウンロードする（Ｓ２）。次に、ユーザが、スマートフォン１のカメラ２を大体の位置（本来の人の顔の検出位置（例えば、建物の入り口）をある程度撮影できそうな位置）に設置して、画像分析アプリケーション２１（図２参照）を起動する（Ｓ３）。すると、スマートフォン１のＣＰＵ１２は、画像分析アプリケーション２１のスクリプト２４を実行して、例えば、「所望の検出位置に人を立たせてください」というメッセージをタッチパネル１４に表示した後、現在の設置位置及び設置角度におけるカメラ２からの入力画像（撮影画像）に対する顔検出モデル２２による推論処理の精度の測定（Ｓ４）を開始する。

上記Ｓ４の測定処理の結果、測定した推論処理の精度が所定の値に満たない場合（人の顔に分類される確率が所定の値以上の物体が検出できなかった場合は）、スマートフォン１のＣＰＵ１２（の報知部４３）は、顔検出モデル２２による推論が失敗したと判定して（Ｓ５でＮＯ）、人の顔の検出に適した位置にカメラ２を移動させる（より正確には、人の顔の検出に適した設置位置及び設置角度にカメラ２を動かす）ように、ユーザに指示する（Ｓ６）。具体的には、スマートフォン１のＣＰＵ１２は、顔検出モデル２２による推論が失敗したと判定したときは、画像分析アプリケーション２１のスクリプト２４に従って、図７の上部に示すように、タッチパネル１４に、顔検出失敗を表す赤枠６１（図７中に破線で示す）と、「枠の中に顔が収まるようにカメラを動かしてください」というメッセージ６４を表示する。

スマートフォン１のＣＰＵ１２（の報知部４３）は、顔検出モデル２２による推論が成功するまで、上記のメッセージ６４と赤枠６１を、タッチパネル１４に表示し続ける。これに対して、ユーザが、赤枠６１内に顔６２が収まるようにカメラ２の設置位置及び設置角度を調整して（Ｓ７）、測定した推論処理の精度が、一定時間（例えば３秒間）所定の値以上になると（人の顔に分類される確率が所定の値以上の物体が検出できると）、スマートフォン１のＣＰＵ１２（の報知部４３）は、顔検出モデル２２による推論が成功したと判定して（Ｓ５でＹＥＳ）、図７の下部に示すように、タッチパネル１４に、顔検出成功を表す緑枠６３（図７中に実線で示す）と、「調整が完了しました」というメッセージ６５を表示する（Ｓ８）。このように、ユーザは、タッチパネル１４に表示された、顔検出モデル２２による推論処理の精度を向上させるためのインストラクション（赤枠６１、緑枠６３、メッセージ６４、及びメッセージ６５）を見ながら、所望の検出位置に立たせた人の顔を正確に検出できる位置にカメラ２を設置するために、カメラ２の設置位置と設置角度を試行錯誤して調整することができる。なお、スマートフォン１のＣＰＵ１２（の報知部４３）は、タッチパネル１４内に、現在の推論処理精度を図示（例えば、精度が高い程塗りつぶし領域が大きくなるバー型のレベルメーターを表示）することで、どのようにすれば推論処理精度が上がるかを、ユーザに直感的に示すようにしてもよい。

次に、図８のフローチャートに加えて、図９乃至図１４を参照して、上記のＮＮモデルによる推論処理の精度を向上させるためのインストラクションの他の例と、このインストラクションを用いたカメラ２の設置位置及び設置角度の調整処理について、説明する。この例では、上記のインストラクションは、店舗における来店者をカウントするための人検出用ＮＮモデルによる推論処理の精度を向上させるためのインストラクションであり、上記図６及び図７に示す例と比べて、丁寧な（推論処理の結果だけではなく、カメラ２の設置位置及び設置角度の調整の仕方を示すメッセージを含む）インストラクションである。また、この例では、画像分析アプリケーション２１に含まれるＮＮモデルは、人検出用ＮＮモデル（以下、「人物検出モデル」という）と、ベクトル化モデルである。ベクトル化モデルは、人物検出モデルで検出した人の画像に対してベクトル化処理を行う物体認識用ＮＮモデルである。このベクトル化モデルを用いて、人物検出モデルで検出した人の画像に対してベクトル化処理を行うことにより、カメラ２により別々のタイミングで撮影した人が同一人物であるか否かを判別することができる。すなわち、カメラ２が例えば１秒毎に５回映像を撮影し、これら撮影画像毎に人物検出処理及びベクトル化処理を行うことで、当該撮影画像に映りこんだ人物を追跡する（同一人物に同一ＩＤを付与することで、当該人物の移動を観測する）ことが可能となる。

ユーザが、スマートフォン１のタッチパネル１４に表示された分析処理の候補の中から、所望の処理（来店者カウント）を選択すると（Ｓ１１）、スマートフォン１のＣＰＵ１２は、選択した処理に応じたＮＮモデル（人物検出モデル、及びベクトル化モデル）と、これらのＮＮモデル用のスクリプトを、スマホ管理サーバ４からダウンロードする（Ｓ１２）。次に、ユーザが、スマートフォン１のカメラ２を大体の位置（来店者をある程度撮影できそうな位置（店舗の入口をある程度撮影できそうな位置））に固定設置して、画像分析アプリケーション２１を起動する（Ｓ１３）。すると、スマートフォン１のＣＰＵ１２は、画像分析アプリケーション２１のスクリプトを実行して、ユーザに検出位置（検出対象となる人が現れる位置）を指定させるためのメッセージを、タッチパネル１４上に表示する（Ｓ１４）。例えば、スマートフォン１のＣＰＵ１２は、現在のカメラ映像を（フレーム）画像として取得し、あわせてカメラ設置位置と設置角度、及び当該画像内の床面の三次元座標を推定した後、図９に示すように当該カメラ映像の画像の上に重畳させて、「線（１）を引いてください」というメッセージ７０や、図１０に示す「線（２）を引いてください」というメッセージ７３を、タッチパネル１４上に表示する。

なお、カメラ設置位置と設置角度の推定は、ＡＲアプリケーション２５（図２参照）を用いて、カメラ位置方向推定部４４により、カメラ２で取得した各フレーム画像から特徴点を抽出し、各フレーム画像間の特徴点の動きから、カメラ２の３次元の設置位置と設置角度を推定する。この特徴点は、フレーム画像中の物のエッジ等に相当する点（ポイント）であり、光源（照明）の向きが変わっても、特徴が変わり難い部分である。また、上記の画像内の床面の三次元座標も、ＡＲアプリケーション２５を用いて、カメラ２で取得した各フレーム画像から特徴点を抽出し、各フレーム画像間の特徴点の動きから推定する。

図９に示すように、「線（１）を引いてください」というメッセージ７０が表示された時には、ユーザは、このメッセージに従って、自分の指Ｆでタッチパネル１４上をなぞることにより、線（１）に対応する線７１を、タッチパネル１４に表示されたカメラ２からの入力画像に書き込む。

また、図１０に示すように、「線（２）を引いてください」というメッセージ７３が表示された時には、ユーザは、このメッセージに従って、自分の指Ｆでタッチパネル１４上をなぞることにより、線（２）に対応する線７２を、タッチパネル１４に表示されたカメラ２からの入力画像に書き込む。

上記の画像への線７１、７２の書き込み処理が完了すると、スマートフォン１のＣＰＵ１２（の報知部４３）は、例えば、「カメラの設置位置と設置角度を調整してください」というメッセージを表示して、ユーザにカメラ２の設置位置と設置角度の調整を促す。ユーザによるカメラ２の設置位置と設置角度の調整後、スマートフォン１のＣＰＵ１２は、現在のカメラ映像の（フレーム）画像を取得し、併せて当該画像から、カメラ２の設置位置・設置角度を再度推定する（Ｓ１５）。なお、以下の処理は、カメラ２の設置位置と設置角度を微調整しながら、繰り返し実施することを想定しており、当該カメラ映像の画像の再取得とカメラ２の設置位置・設置角度の再推定は、当該繰り返しの度に実施される。

スマートフォン１のＣＰＵ１２は、画像分析アプリケーション２１のスクリプトを実行して、例えば、「線（１）の上に立ってください」というメッセージをタッチパネル１４に表示した後、現在の設置位置及び設置角度におけるカメラ２からの入力画像（撮影画像）における、線（１）上の画像に対する人物検出モデルによる推論処理の精度の測定を行う（Ｓ１６）。

上記Ｓ１６の測定処理の結果、測定した推論処理の精度が所定の値に満たない場合（人に分類される確率が所定の値以上の物体が検出できなかった場合）は、スマートフォン１のＣＰＵ１２は、人物検出モデルによる推論が失敗したと判定して（Ｓ１７でＮＯ）、Ｓ１５で推定したカメラ２の設置位置及び設置角度と、タッチパネル１４で指定された人の検出位置（線７１の位置）とに基づいて、（光源の影響を考慮した）人の検出に適した設置位置及び設置角度にカメラ２を動かすように、ユーザに指示する（Ｓ１８）。具体的には、スマートフォン１の報知部４３は、例えば、図１１に示すように、現在のカメラ２の設置位置及び設置角度では、線（１）上の人７４ａの足下しか撮影することができず、線（１）上の人７４ａを人物検出モデルで検出することができない場合には、図１２に示すように、「カメラの位置を高くし、水平方向に傾けて下さい」というメッセージ７６を、タッチパネル１４に表示する。スマートフォン１の報知部４３は、上記Ｓ１６で測定した推論処理の精度に加えて、Ｓ１５で推定したカメラ２の設置位置及び設置角度と、タッチパネル１４で指定された人の検出位置（線７１の位置）とに基づいて、上記のインストラクション（メッセージ７６）を求める。

上記のメッセージ７６に従って、ユーザが、カメラ２の設置位置を高くし、設置角度を水平方向に傾けて、カメラ２が線（１）上の人７４ａの全体を撮影できるように調整し（Ｓ１９）、測定した推論処理の精度が所定の値以上になると（人に分類される確率が所定の値以上の物体が検出できると）、スマートフォン１のＣＰＵ１２は、続いて、「線（２）の上に立ってください」というメッセージをタッチパネル１４に表示する。そして、スマートフォン１のＣＰＵ１２は、現在の設置位置及び設置角度におけるカメラ２からの入力画像（撮影画像）における、線（２）上の画像に対する人物検出モデルによる推論処理の精度の測定を行う（Ｓ１６）。この測定処理の結果、測定した推論処理の精度が所定の値に満たない場合は、上記Ｓ１８及びＳ１９と同様な処理が行われる。

上記の測定処理の結果、線（１）上の画像と線（２）上の画像の両方に対する人物検出モデルによる推論処理の精度が所定の値以上になると（図１３に示す線（１）上の人７４ａと線（２）上の人７４ｂの両方を検出できるようになると）、スマートフォン１のＣＰＵ１２（の報知部４３）は、人物検出モデルによる推論が成功したと判定して（Ｓ１７でＹＥＳ）、図１４に示すように、タッチパネル１４に、「調整が完了しました」というメッセージ７７を表示する（Ｓ２０）。このように、スマートフォン１の報知部４３は、人物検出モデルによる推論処理の精度を向上させるための（ユーザによるカメラ２の設置位置と設置角度の調整をサポートするための）インストラクション（メッセージ７０、７３、７６、７７等）を、タッチパネル１４上に表示する。なお、図１３における７５ａ、７５ｂは、それぞれ、線（１）における人７４ａに対応するバウンディングボックスと、線（２）における人７４ｂに対応するバウンディングボックスである。

上記Ｓ２０における調整完了のメッセージ７７の表示後に、ユーザが、スマートフォン１のタッチパネル１４から、来店者カウントの処理の実行を指示すると、スマートフォン１の画像分析部４１は、人物検出モデルを用いて、線（１）における人７４ａと線（２）における人７４ｂを検出した後、ベクトル化モデルを用いて、線（１）の位置で検出した人７４ａと線（２）の位置で検出した人７４ｂとが同一人物であるか否かを判別する。そして、スマートフォン１のＣＰＵ１２は、線（１）の位置で検出した人７４ａと線（２）の位置で検出した人７４ｂとが同一人物であった場合には、その（認識）結果を、ＡＩ分析サーバ３に送信する。ＡＩ分析サーバ３は、スマートフォン１から、線（１）の位置と線（２）の位置で同一人物を検出したという認識結果を受信すると、該当の店舗における来店者の数をカウントアップする。

上記のように、本実施形態の画像分析アプリケーション２１及びスマートフォン１によれば、画像分析アプリケーション２１に含まれるＮＮモデルのうち、いずれかのＮＮモデル（「顔検出」の例では、顔検出モデル２２、「来店者カウント」の例では、人物検出モデル）による推論処理の精度を測定して、測定した推論処理の精度に基づいて、この推論処理の精度を向上させるためのインストラクションをユーザに報知（タッチパネル１４に表示）するようにした。この報知されたインストラクションに基づいて、ユーザが、スマートフォン１のカメラ２の設置位置（撮影位置）や設置角度（撮影方向）を調整することにより、専門の技術スタッフが、カメラ２の設置場所に赴いて、カメラ２の設置位置や設置角度の調整を行うことなく、適切なＮＮモデル（「顔検出」の例では、顔検出モデル２２及び顔認識モデル２３、「来店者カウント」の例では、人物検出モデル及びベクトル化モデル）の推論精度を得ることができる。従って、ユーザが容易にカメラ２を設置することができる。

また、本実施形態のスマートフォン１によれば、ＳｏＣ１１の報知部４３は、推論精度測定部４２により測定された推論処理の精度に加えて、カメラ位置方向推定部４４により推定されたカメラ２の設置位置及び設置角度と、タッチパネル１４により指定された人等の検出位置とに基づいて、ＮＮモデルの推論処理の精度を向上させるためのインストラクションを求めるようにした。これにより、推論処理の結果の報知だけではなく、カメラ２の設置位置及び設置角度の調整の仕方を示す報知を行うことができる。従って、ユーザがより容易にカメラ２を設置することができる。

また、本実施形態の画像分析システム１０によれば、上記の効果に加えて、スマホ管理サーバ４を用いて、スマートフォン１への（ＮＮモデルを含む）画像分析アプリケーション２１のインストールを含む、スマートフォン１の管理を行うことができる。

次に、図１５乃至図２３を参照して、本発明の第２の実施形態のスマートフォン１について説明する。図１５は、第２の実施形態のスマートフォン１におけるＳｏＣ１１の機能ブロックを示す。第２の実施形態のスマートフォン１におけるＳｏＣ１１は、３Ｄモデル重畳部８１（請求項における「画像重畳部」）を備えている点以外は、第１の実施形態のＳｏＣ１１と同様である。３Ｄモデル重畳部８１は、カメラ２で取得したフレーム画像（カメラ２からの入力画像）に、３次元コンピュータグラフィックス（３ＤＣＧ）で作成した人の画像を重畳させる。ここで、３次元コンピュータグラフィックスは、コンピュータに物体の形状、カメラの向きと位置、光源の強度と位置などの情報を入力して、コンピュータにプログラムで画像を計算・生成させる手法を言う。第１の実施形態では、画像分析部４１が、カメラ２からの入力画像（に映り込んだ人や顔）を直接分析したが、第２の実施形態では、画像分析部４１が、３Ｄモデル重畳部８１によりカメラ２からの入力画像（フレーム画像）に重畳された３ＤＣＧの人の画像を分析する。なお、３Ｄモデル重畳部８１が行う処理の詳細については、後述する。また、図１５における３Ｄモデル重畳部８１以外の機能ブロックについては、図４中の各ブロックと同じ符号を付して、その説明を省略する。

図１６は、上記図１５で示したＳｏＣ１１中の各機能ブロックと、３Ｄモデル重畳部８１による３ＤＣＧの人の画像の作成に必要なファイルについて示している。

次に、図１７のフローチャートに加えて、図１６及び図１８乃至図２３を参照して、第２の実施形態のスマートフォン１における、上記第１の実施形態と同様なインストラクションを用いたカメラ２の設置位置及び設置角度の調整処理について、説明する。この例では、上記のインストラクションは、顔認識モデル２３（図２参照）による推論処理の精度を向上させるためインストラクションである。ここで、顔認識モデル２３は、図６及び図７に示す例の場合と同様に、顔検出モデル２２で検出した顔に基づいて、検出した顔を有する人の性別・年齢を推定する物体認識用ＮＮモデル（性別・年齢認識用ＮＮモデル）である。

図１７では、フローチャートが長くなるため、省略しているが、この調整処理では、Ｓ２１の処理を行う前に、図６におけるＳ１乃至Ｓ３、又は図８におけるＳ１１乃至Ｓ１３に対応する処理を行う。すなわち、ユーザが、スマートフォン１のタッチパネル１４に表示された分析処理（認識処理）の候補の中から、所望の処理（人の性別・年齢推定）を選択すると（図６のＳ１に相当）、スマートフォン１（の主にＣＰＵ１２）は、選択した処理に応じたＮＮモデル（顔検出モデル２２及び顔認識モデル２３（図２参照））と、これらのＮＮモデル用のスクリプト２４を、スマホ管理サーバ４からダウンロードする（図６のＳ２に相当）。次に、ユーザが、スマートフォン１のカメラ２を大体の位置（来店者の顔を撮影できそうな位置（店舗の入口を撮影できそうな位置））に設置して、画像分析アプリケーション２１（図２参照））を起動する（図６のＳ３に相当）。すると、スマートフォン１のＣＰＵ１２は、画像分析アプリケーション２１のスクリプトを実行して、ユーザに人の位置（検出及び認識対象となる顔を有する人の位置）を指定させるためのメッセージを、タッチパネル１４上に表示する（図１７のＳ２１）。例えば、スマートフォン１のＣＰＵ１２は、現在のカメラ映像を（フレーム）画像として取得し、あわせてカメラ設置位置と設置角度、及び当該画像内の床面の三次元座標を推定した後、図１８に示す「人の位置のラインを引いてください」というメッセージ８８を、タッチパネル１４上に表示する。

なお、第１の実施形態の場合と同様に、カメラ設置位置と設置角度の推定は、ＡＲアプリケーション２５（図２参照）を用いて、カメラ位置方向推定部４４により、カメラ２で取得した各フレーム画像から特徴点を抽出し、各フレーム画像間の特徴点の動きから、カメラ２の３次元の設置位置と設置角度を推定する方法により行う。

図１８に示すように、「人の位置のラインを引いてください」というメッセージ８８が表示された時には、ユーザは、このメッセージに従って、自分の指Ｆでタッチパネル１４上をなぞることにより、人の位置のライン８９を、タッチパネル１４に表示されたカメラ２からの入力画像に書き込む。

上記の入力画像へのライン８９の書き込み処理が完了すると、スマートフォン１のＣＰＵ１２は、タッチパネル１４上に、ユーザが、カメラ２の撮影個所を通過すると想定している客層（の状況）を選択するための状況選択メニュー画面８６（図１９参照）を表示する。この状況選択メニュー画面８６には、図１９に示すように、「家族連れが多い」、「若者が多い」、「子供が多い」、「老人が多い」、「子供を抱いた母親含む」、「雑多」等の多種の客層（の状況）を選択するための選択ボタン８７（８７ａ〜８７ｆ等）が設けられている。なお、上記の「雑多」は、色んな属性の人がたくさん来る（例えば、カメラ２の撮影画像に、１０〜６０代の男女が１０〜２０人映り込む）という客層（の状況）を表す。

ユーザが、上記の状況選択メニュー画面８６に表示された多種の選択ボタン８７の中から、スマートフォン１のカメラ２の設置個所の客層（の状況）に応じた複数の選択ボタン８７を選択すると（Ｓ２２）、ＳｏＣ１１の３Ｄモデル重畳部８１は、ユーザが選択した客層（の状況）に応じて、画面表示する人の３Ｄモデルの画像（３次元コンピュータグラフィックス（３ＤＣＧ）で作成した人のモデルの画像）を、図１６に示す３ＤモデルＤＢ８３から読み取る。そして、３Ｄモデル重畳部８１は、３ＤモデルＤＢ８３から読み取った３Ｄモデルの画像と、環境データファイル８４からランダムに（適当に）読み取った光の環境（「光源」及び「陰影」）（のデータ）と、カメラ位置方向推定部４４で推定したカメラ２の向きと位置とに基づいて、３ＤモデルＤＢ８３から読み取った１人以上の人の３Ｄモデルの画像を、カメラ２の向きと位置とに応じて調整した上で、環境データファイル８４から読み取ったランダムな光の環境における上記の調整後の３Ｄモデルの画像を、カメラ２からの入力画像に重畳して、この重畳画像をタッチパネル１４上に表示させる（Ｓ２３）。

次に、上記のＳ２３で述べた３Ｄモデルの画像の重畳処理の詳細について、説明するが、その前に、図１６に示す３ＤモデルＤＢ８３、環境データファイル８４、及び状況データファイル８５の各々に格納されたデータについて、説明する。

まず、３ＤモデルＤＢ８３には、性別、年齢、体形等の各種の属性を有する多種類の人の３Ｄモデルの画像データが、一人分ずつ格納されている。すなわち、３ＤモデルＤＢ８３に格納されている３Ｄモデルの画像データの各々は、例えば、１人の「３０代のやせ型高身長の女性」の３Ｄモデルの画像データである。一方、上記の状況データファイル８５には、状況選択メニュー画面８６における各選択ボタン８７に対応した各客層の状況データが格納されている。状況データファイル８５には、例えば、「家族連れ」を表現する（客層の）状況データとして、例えば、「１人の３０代〜５０代の平均的体形の女性＋１人の３０代〜５０代の平均的体形の男性＋１人の５〜１５歳の平均的体形の男子＋１人の５〜１５歳の平均的体形の女子」の状況データが格納されている。また、上記の環境データファイル８４には、光の環境（「光源」及び「陰影」）のデータが格納されている。このうち、「光源」のデータは、光源の「位置・向き／光の強さ／色」で定義される発光源のデータである。例えば、光源が「蛍光灯」である場合には、（光源が）「頭上より下方向／光の強さは〜ｃｄ（カンデラ）／白色」というように定義される発光源のデータである。また、「陰影」は、上記の「光源」に対応した陰影のデータである。ただし、上記の環境データファイル８４に格納されている光の環境のデータのうち、「陰影」（のデータ）は、スマートフォン１のＣＰＵ１２及びＧＰＵ１３の処理能力が高く、上記の「光源」（のデータ）から、「光源」に対応した陰影をリアルタイムレンダリングすることが可能な場合は、データとして保有する必要はない。ここで、「陰影」の「リアルタイムレンダリング」とは、予め用意された陰影の情報により３ＤＣＧの画像を描画するのではなく、リアルタイムに高速で陰影の計算を行い３ＤＣＧの画像を描画することを意味する。

従って、例えば、Ｓ２２の選択処理において、ユーザが、状況選択メニュー画面８６における、「家族連れが多い」という状況の選択ボタン８７ａを選択すると、上記のＳ２３で述べた３Ｄモデル画像の重畳処理の詳細は、以下のようになる。すなわち、３Ｄモデル重畳部８１は、状況データファイル８５から、「家族連れ」に対応する「１人の３０代〜５０代の平均的体形の女性＋１人の３０代〜５０代の平均的体形の男性＋１人の５〜１５歳の平均的体形の男子＋１人の５〜１５歳の平均的体形の女子」の状況データを読み取る。そして、３Ｄモデル重畳部８１は、上記の状況データに基づいて、３ＤモデルＤＢ８３から、１人の「３０代〜５０代の平均的体形の女性」の３Ｄモデルの画像と、１人の「３０代〜５０代の平均的体形の男性」の３Ｄモデルの画像と、１人の「５〜１５歳の平均的体形の男子」の３Ｄモデルの画像と、１人の「５〜１５歳の平均的体形の女子」の３Ｄモデルの画像とを読み出して、これらの３Ｄモデルの画像を組み合わせて、「家族連れ」の３Ｄモデルの画像を作成する。次に、３Ｄモデル重畳部８１は、上記の「家族連れ」の３Ｄモデルの画像を、カメラ位置方向推定部４４で推定したカメラ２の向きと位置とに応じて調整した上で、環境データファイル８４からランダムに読み取った光の環境（ランダムな光源の「位置・向き／光の強さ／色」と陰影）における、上記の調整後の「家族連れ」の３Ｄモデル画像を、カメラ２からの入力画像に重畳して、図２０に示すように、この重畳画像をタッチパネル１４上のライン８９の位置に表示させる。なお、上記の重畳画像の（３Ｄモデルの画像）における人の向き（人の描画方向）は、上記のライン８９の向きに応じて変化する。また、上記の人の向き（人の描画方向）は、３Ｄモデルの画像における人の数が複数の場合には、全員が同じ向きではなく、各人の向きは、数十度程度、ランダムに異なる。例えば、図１８及び図２０におけるライン８９を、これらの図における垂直方向に引いた場合には、上記の重畳画像の（３Ｄモデルの画像）における人９１ａ〜９１ｄは、横から見た向きに描画されるが、全員が同じ向きではなく、各人の向きには、ある程度のばらつきが生じる。

上記Ｓ２３の最初の重畳画像（ユーザが状況選択メニュー画面８６で最初に選択した選択ボタン８７の客層の状況に対応する３Ｄモデルの画像（例えば、「家族連れ」の３Ｄモデルの画像）を、環境データファイル８４からランダムに読み取った最初の光の環境で生成し、この３Ｄモデルの画像をカメラ２からの入力画像に重畳した画像）の表示が完了すると、スマートフォン１のＣＰＵ１２（の報知部４３）は、例えば、「カメラの設置位置と設置角度を調整してください」というメッセージを表示して、ユーザにカメラ２の設置位置と設置角度の調整を促す。ユーザによるカメラ２の設置位置と設置角度の調整後、スマートフォン１のＣＰＵ１２は、現在のカメラ映像の（フレーム）画像を取得し、併せて当該画像から、カメラ２の設置位置・設置角度を再度推定する（Ｓ２４）。

そして、スマートフォン１の画像分析部４１は、画像分析アプリケーション２１のスクリプトを実行して、現在のカメラ２の設置位置及び設置角度における、上記の重畳画像中の３Ｄモデルの人に対する（顔検出モデル２２による）顔検出処理と（顔認識モデル２３による）性別・年齢推定処理とを実行する（Ｓ２５）。この後、スマートフォン１のＣＰＵ１２（の推論精度測定部４２）は、顔認識モデル２３による性別・年齢推定の推論処理の精度の測定を行う（Ｓ２６）。

上記Ｓ２６の測定処理の結果、測定した推論処理の精度が所定の値に満たない場合（男女のいずれに分類される確率も所定の値に満たない場合、又はいずれの年齢（又は年齢層）に分類される確率も所定の値に満たない場合）は、スマートフォン１のＣＰＵ１２（の報知部４３）は、顔認識モデル２３による推論が失敗したと判定して（Ｓ２７でＮＯ）、光源の影響を考慮して、顔の認識（性別・年齢推定）に適した設置位置及び設置角度にカメラ２を動かすように、ユーザに指示する（Ｓ２８）。なお、上記の測定した推論処理の精度が所定の値に満たない場合には、上記の重畳画像中の３Ｄモデルの人（例えば、図２０中の３Ｄモデルの人９１ａ〜９１ｄ）の各々に対する顔認識モデル２３による性別・年齢推定の結果が、これらの３Ｄモデルの人の各々について設定した性別・年齢と異なる場合が、含まれる。

具体的には、スマートフォン１の報知部４３は、例えば、図２０に示すように、現在のカメラ２の設置位置及び設置角度では、ライン８９上の人９１ｃの顔の検出及び認識（性別・年齢推定）はできるが、ライン８９上の人９１ａ、９１ｂ、及び９１ｄの顔の検出及び認識ができない場合には、図２１に示すように、「光源の影響を考慮して、全員の顔の認識に適した位置及び角度に、カメラを動かして下さい」というメッセージ９３を、タッチパネル１４に表示する。なお、図２０乃至図２３における９２ａ〜９２ｄの各々は、それぞれ、上記の３Ｄモデルの人９１ａ〜９１ｄの各々の顔に対応するバウンディングボックスである。また、顔認識モデル２３による推論が失敗した場合に（Ｓ２７でＮＯ）、報知部４３がユーザに行う指示は、Ｓ２４で推定したカメラ２の設置位置及び設置角度と、タッチパネル１４で指定された人の位置（ライン８９の位置）とに基づいて、（光源の影響を考慮した）顔の検出に適した具体的な設置位置及び設置角度にカメラ２を動かすようにする指示であってもよい。この場合には、報知部４３がユーザに行う指示は、第１の実施形態の図１２に示すメッセージ７６と類似したメッセージ（例えば、「光源の影響を考慮した上で、カメラの位置を高くし、水平方向に傾けて下さい」というメッセージ）になる。

上記のＳ２８における指示に従って、ユーザが、光源の影響を考慮して、顔の認識（性別・年齢推定）に適した設置位置及び設置角度にカメラ２を動かす（カメラ２の位置と角度を調整する）と（Ｓ２９）、スマートフォン１のＣＰＵ１２は、上記Ｓ２４のカメラ２の設置位置・設置角度の推定と、上記Ｓ２５の顔検出処理及び（顔認識モデル２３による）性別・年齢推定処理と、上記Ｓ２６の顔認識モデル２３による性別・年齢推定の推論処理の精度測定を、再度実行する。そして、顔認識モデル２３による性別・年齢推定の推論処理の精度が所定の値以上になると（男女のいずれかに分類される確率、及びいずれかの年齢（又は年齢層）に分類される確率が所定の値以上であって、上記の重畳画像中の３Ｄモデルの人の各々（の顔）に対する顔認識モデル２３による性別・年齢推定の結果が、これらの３Ｄモデルの人の各々について設定した性別・年齢と同じになると）、スマートフォン１のＣＰＵ１２は、現在表示されている重畳画像中の３Ｄモデルの人に対する顔認識モデル２３による推論が成功したと判定して（Ｓ２７でＹＥＳ）、Ｓ３０の判定処理に移る。

Ｓ３０の判定処理では、全パターンの重畳画像中の３Ｄモデルの人についての顔認識モデル２３による推論が成功したか否かを判定する。ここで、「全パターンの重畳画像」とは、ユーザが状況選択メニュー画面８６で選択した全ての選択ボタン８７の客層の状況に対応する３Ｄモデルの画像を、環境データファイル８４からランダムに読み取った４〜５個の光の環境（データ）で生成し、これらの３Ｄモデルの画像をカメラ２からの入力画像に重畳した画像の全てを意味する。すなわち、「全パターンの重畳画像」とは、当該カメラ２の設置個所において想定される複数の客層の状況に対応する３Ｄモデルの画像の各々を、環境データファイル８４に格納された光の環境データに含まれる、ランダムな４〜５個の光の環境（光源の「位置・向き／光の強さ／色」と陰影）で生成し、これらの３Ｄモデルの画像をカメラ２からの入力画像に重畳した画像の全てを意味する。

Ｓ３０の判定処理において、全パターンの重畳画像中の３Ｄモデルの人に対する顔認識モデル２３による推論が終了していない（成功していない）場合には（Ｓ３０でＮＯ）、ＳｏＣ１１の３Ｄモデル重畳部８１は、上記の重畳画像における人の３Ｄモデルの画像と、（環境データファイル８４からランダムに読み取った）光の環境の少なくともいずれかを変更する（Ｓ３１）。すなわち、３Ｄモデル重畳部８１は、ユーザが状況選択メニュー画面８６で選択した、ある選択ボタン８７の客層の状況に対応する３Ｄモデルの画像に基づく重畳画像を、環境データファイル８４からランダムに読み取った所定の数（例えば、４〜５個）の光の環境のうち、全ての環境において、未だ生成していない場合には、上記の重畳画像における人の３Ｄモデルの画像は変更せず、上記の光の環境のみを変更する。一方、３Ｄモデル重畳部８１は、ユーザが状況選択メニュー画面８６で選択した、ある選択ボタン８７の客層の状況に対応する３Ｄモデルの画像に基づく重畳画像を、環境データファイル８４からランダムに読み取った所定の数の光の環境のうち、全ての環境において、既に生成済の場合は、上記の重畳画像における人の３Ｄモデルの画像を変更する。

すなわち、３Ｄモデル重畳部８１は、入力画像に重畳させる人の３Ｄモデルの画像における、人の性別、年齢等の属性及び人数を、ユーザが状況選択メニュー画面８６で選択した種々の客層の状況に対応する属性及び人数に経時的に変化させると共に、これらの３Ｄモデルの画像の生成に用いる光の環境を、環境データファイル８４からランダムに読み取った所定の数（例えば、４〜５個）の光の環境に経時的に変化させながら、ある光の環境における、ある３Ｄモデルの画像に基づく重畳画像についての顔認識モデル２３による性別・年齢推定の推論処理を繰り返す。

スマートフォン１のＣＰＵ１２は、Ｓ３０の判定処理において、全パターンの重畳画像中の３Ｄモデルの人（の顔）に対する顔認識モデル２３による推論が終了（成功）するまで、上記Ｓ２４乃至Ｓ３１の処理を繰り返す。そして、全パターンの重畳画像中の３Ｄモデルの人（の顔）に対する顔認識モデル２３による推論が終了（成功）すると（Ｓ３０でＹＥＳ）、スマートフォン１のＣＰＵ１２（の報知部４３）は、図２３に示すように、タッチパネル１４に、「調整が完了しました」というメッセージ９４を表示する（Ｓ３２）。

上記のように、スマートフォン１の報知部４３は、顔認識モデル２３による推論処理の精度を向上させるための（ユーザによるカメラ２の設置位置と設置角度の調整をサポートするための）インストラクション（メッセージ８８、９３等）を、タッチパネル１４上に表示する。

なお、上記のインストラクションの表示は、下記のリアルタイム式又はコマンド式のいずれの方式で行っても良い。リアルタイム式の場合は、上記図１７のフローチャート等に示した、「３Ｄモデルの画像を入力画像に重畳した重畳画像をタッチパネル上に表示」−＞「重畳画像（における顔）を認識」−＞「インストラクション（ユーザへの指示）を表示」の処理が、リアルタイムに実施される（自動的に繰り返される）ので、ユーザは、リアルタイムに更新されるインストラクション（指示）に従って、カメラ２の設置位置や設置角度を調整すればよい。これに対して、コマンド式の場合は、ユーザが、スマートフォン１のカメラ２を大体の位置と角度に設定して、スマートフォン１のチェックボタンを押すと、上記の「３Ｄモデルの画像を入力画像に重畳した重畳画像をタッチパネル上に表示」−＞「重畳画像（における顔）を認識」−＞「インストラクションを表示」の処理が、実行される。このインストラクション（指示）に従って、ユーザが、カメラ２の設置位置や設置角度を調整した後、チェックボタンを押すと、上記の処理（３Ｄモデルの画像の重畳表示、画像（の顔）認識、及びインストラクション表示）が繰り返されるので、ユーザが、このインストラクションに従って、カメラ２の設置位置や設置角度を再調整した後、再度チェックボタンを押すという処理を、「調整が完了しました」というメッセージ９４が表示されるまで、繰り返すという流れになる。

上記のリアルタイム式の方が、ユーザフレンドリーであるが、スマートフォン１のコンピュータリソースを相当消費するため、処理能力が高くないスマートフォン１の場合は、上記のコマンド式の方が、システムのセッテイングをし易いと思われる。

上記のように、第２の実施形態のスマートフォン１及び画像分析アプリケーション２１（以下、「第２の実施形態のスマートフォン１等」と略す）によれば、上記第１の実施形態のスマートフォン１及び画像分析アプリケーション２１が有する効果に加えて、以下の効果を有する。すなわち、第２の実施形態のスマートフォン１等によれば、画像分析部４１が、３Ｄモデル重畳部８１によりカメラ２からの入力画像（フレーム画像）に重畳された３ＤＣＧの人の画像を、１つ以上の学習済ＮＮモデル（顔検出モデル２２及び顔認識モデル２３）を用いて分析して、推論精度測定部４２が、上記の１つ以上の学習済ＮＮモデルのうち、いずれかの学習済ＮＮモデル（顔認識モデル２３）による推論処理の精度を測定し、報知部４３が、上記の推論処理の精度に基づいて、この推論処理の精度を向上させるための指示情報をユーザに報知するようにした。これにより、第２の実施形態のスマートフォン１等によれば、上記第１の実施形態と異なり、実際に、人が、撮影位置に立ったり、ライン上を移動しなくても、３ＤＣＧの人に対する学習済ＮＮモデルによる推論処理の精度に基づいて、この推論処理の精度を向上させるための指示情報をユーザに報知することができる。従って、第２の実施形態のスマートフォン１等によれば、実際に、人が、撮影位置に立ったり、ライン上を移動しなくても、ユーザが、スマートフォン１のカメラ２の設置位置（撮影位置）や設置角度（撮影方向）を容易に調整することができる。

また、第２の実施形態のスマートフォン１等によれば、３Ｄモデル重畳部８１は、入力画像に重畳させる人の３Ｄモデルの画像における、人の性別、年齢等の属性及び人数を、ユーザが状況選択メニュー画面８６で選択した種々の客層の状況に対応する属性及び人数に経時的に変化させ、画像分析部４１は、上記の経時的に変化させた属性及び数の人の画像を入力画像に重畳させた種々の画像を、次々に分析するようにした。これにより、報知部４３が、種々のパターンの属性及び人数の画像の分析（顔の検出又は認識）に強い設置位置及び設置角度にカメラ２を動かすように、ユーザに促すことができる。

また、第２の実施形態のスマートフォン１等によれば、３Ｄモデル重畳部８１は、上記のように、入力画像に重畳させる人の３Ｄモデルの画像における、人の性別、年齢等の属性及び人数を、種々の属性及び人数に経時的に変化させるだけではなく、これらの３Ｄモデルの画像の生成に用いる光の環境を、環境データファイル８４からランダムに読み取った所定の数（例えば、４〜５個）の光の環境に経時的に変化させる。そして、画像分析部４１は、上記の所定の数（例えば、４〜５個）の光の環境における、種々の属性及び数の人の画像を入力画像に重畳させた種々の重畳画像を、次々に分析するようにした。これにより、報知部４３が、種々の光の環境における、種々のパターンの属性及び人数の画像の分析に強い設置位置及び設置角度にカメラ２を動かすように、ユーザに促すことができる。

変形例：
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。

変形例１：
上記第１の実施形態では、推論精度測定部４２が、物体検出用ＮＮモデル（顔検出モデル２２及び人物検出モデル）の推論処理の精度を測定し、報知部４３が、物体検出用ＮＮモデルの推論処理の精度を向上させるためのインストラクションをユーザに報知する場合の例を示したが、推論精度測定部が、物体認識用ＮＮモデル（顔認識モデル及びベクトル化モデル等）の推論処理の精度を測定し、報知部が、物体認識用ＮＮモデルの推論処理の精度を向上させるためのインストラクションをユーザに報知するようにしてもよい。

変形例２：
上記の各実施形態では、ＮＮモデルの推論処理の精度を向上させるためのインストラクションをタッチパネル１４に表示することにより、インストラクションをユーザに報知したが、ＮＮモデルの推論処理の精度を向上させるためのインストラクションを、スマートフォンのスピーカを用いて、音声でユーザに報知するようにしてもよい。

変形例３：
上記の各実施形態では、ＮＮモデルの推論処理の精度を向上させるためにタッチパネル１４に表示されるインストラクション（指示情報）が、表示画像中の枠（赤枠６１、及び緑枠６３）、又はメッセージ（メッセージ６４、６５、７０、７３、７６、７７、８８、９３等）である場合の例を示したが、タッチパネル等の表示装置に表示されるインストラクションは、これに限られない。例えば、上記の赤枠の代わりに、表示画面上におけるマーク等を点滅させ、緑枠の代わりに、表示画面上におけるマーク等を点灯させてもよい。また、上記図１２に示すようなカメラを動かす方向を示す（文字情報の）メッセージを表示する代わりに、カメラを動かす方向を示す矢印を表示するようにしてもよい。

変形例４：
上記の各実施形態では、スマートフォン１が、内蔵のＧＰＵ１３を用いて、各ＮＮモデルの推論処理等を行う場合の例を示したが、スマートフォン１が、内蔵のＧＰＵ１３の代わりに、外付けのＤＮＮ推論用拡張チップを用いて、各ＮＮモデルの推論処理を行ってもよいし、内蔵のＧＰＵ１３と外付けのＤＮＮ推論用拡張チップの両方を用いて、各ＮＮモデルの推論処理を行ってもよい。

変形例５：
上記の各実施形態では、請求項における情報処理端末が、スマートフォン１である場合の例を示したが、情報処理端末は、これに限られず、例えば、カメラを備えたタブレット型コンピュータであってもよい。

変形例６：
上記第２の実施形態では、請求項における「人の属性」が、主に、性別、年齢、体形（身長等の体格）である場合の例について示したが、「人の属性」は、これに限られず、例えば、服装や持ち物を含んでもよい。また、上記第２の実施形態では、入力画像に重畳させる３Ｄモデルの画像における人の属性及び人数と、この３Ｄモデルの画像の生成に用いる光の環境とを、次々と変更した（変化させた）が、上記の入力画像に重畳させる３Ｄモデルの画像における人の属性及び人数と、光の環境に加えて、入力画像に重畳させる３Ｄモデルの画像における人の向きを、次々と変更しても良い。これにより、報知部４３が、種々の人の向きのパターンに強い設置位置及び設置角度にカメラ２を動かすように、ユーザに促すことができる。

変形例７：
上記第２の実施形態では、図１７のフローチャート等に示したように、「３Ｄモデルの画像を入力画像に重畳した重畳画像をタッチパネル上に表示」−＞「重畳画像（における）顔を認識」−＞「インストラクション（ユーザへの指示）を表示」の処理を繰り返す。従って、例えば、２００ミリ秒毎に、表示される３Ｄモデルの人の画像と、光の環境が変化するので、タッチパネル上に表示される画像が、かなりちらつく。この画面のちらつきを回避するために、ランダムな光の環境における３Ｄモデルの画像を、カメラからの入力画像に重畳した重畳画像を、実際にタッチパネル上に表示するのではなく、この重畳画像を、図１６に示すグラフィックスメモリ８２における、オフスクリーンメモリ（オフスクリーンバッファ）に出力して、このオフスクリーンメモリに格納した重畳画像（における顔）を、画像分析部（の顔認識モデル）が認識するようにしてもよい。

１ スマートフォン（情報処理端末）
２ カメラ
４ スマホ管理サーバ（管理サーバ）
１０ 画像分析システム
１４ タッチパネル（表示装置、ポインティングデバイス）
２１ 画像分析アプリケーション（画像分析プログラム）
２２ 顔検出モデル（学習済物体検出用ニューラルネットワークモデル）
４１ 画像分析部
４２ 推論精度測定部
４３ 報知部
４４ カメラ位置方向推定部
６１ 赤枠（「指示情報」の一部）
６３ 緑枠（「指示情報」の一部）
６４、６５、７０、７３、７６、７７、８８、９３ メッセージ（「指示情報」の一部）
８１ ３Ｄモデル重畳部（画像重畳部）
９１ａ〜９１ｄ ３Ｄモデルの人（人又は顔の画像）

Claims (16)

1. カメラを備えた情報処理端末を、
   前記カメラからの入力画像に映り込んだ物体を検出するための学習済物体検出用ニューラルネットワークモデルを含む、１つ以上の学習済ニューラルネットワークモデルを用いて、前記カメラからの入力画像を分析する画像分析部と、
   前記１つ以上の学習済ニューラルネットワークモデルのうち、いずれかの学習済ニューラルネットワークモデルによる推論処理の精度を測定する推論精度測定部と、
   前記カメラの設置位置及び設置角度を推定するカメラ位置方向推定部と、
   前記カメラからの入力画像を表示するための表示装置と、
   前記表示装置に表示された前記カメラからの入力画像に対して、前記物体の検出位置を指定するための操作部と、
   前記推論精度測定部による測定の結果、測定した推論処理の精度が所定の値に満たない場合、前記カメラ位置方向推定部により推定された前記カメラの設置位置及び設置角度と、前記操作部により指定された前記物体の検出位置とに基づいて、前記推論処理の精度を向上させるための指示情報をユーザに報知する報知部
   として機能させるための画像分析プログラム。
2. 前記学習済物体検出用ニューラルネットワークモデルによる検出物体は、人又は顔であり、
   前記指示情報は、前記学習済物体検出用ニューラルネットワークモデルによって前記人又は顔を検出するのに適した設置位置又は設置角度に前記カメラを動かすことを、前記ユーザに促す指示情報であることを特徴とする請求項１に記載の画像分析プログラム。
3. 前記報知部は、前記指示情報を前記表示装置に表示することにより、前記指示情報をユーザに報知することを特徴とする請求項１又は請求項２に記載の画像分析プログラム。
4. カメラを備えた情報処理端末を、
   前記カメラからの入力画像に人又は顔の画像を重畳させる画像重畳部と、
   前記画像重畳部により重畳させた人又は顔の画像を、１つ以上の学習済ニューラルネットワークモデルを用いて分析する画像分析部と、
   前記１つ以上の学習済ニューラルネットワークモデルのうち、いずれかの学習済ニューラルネットワークモデルによる推論処理の精度を測定する推論精度測定部と、
   前記推論精度測定部により測定された推論処理の精度に基づいて、この推論処理の精度を向上させるための指示情報をユーザに報知する報知部
   として機能させるための画像分析プログラム。
5. 前記指示情報は、前記いずれかの学習済ニューラルネットワークモデルによる推論処理を行うのに適した設置位置又は設置角度に前記カメラを動かすことを、前記ユーザに促す指示情報であることを特徴とする請求項４に記載の画像分析プログラム。
6. 前記報知部は、前記指示情報を表示装置に表示することにより、前記指示情報をユーザに報知することを特徴とする請求項４又は請求項５に記載の画像分析プログラム。
7. 前記画像重畳部は、前記入力画像に重畳させる人又は顔の画像における人の属性及び数を、種々の属性及び数に経時的に変化させ、
   前記画像分析部は、前記経時的に変化させた属性及び数の人又は顔の画像を前記入力画像に重畳させた種々の画像を、次々に分析し、
   前記報知部は、前記経時的に変化させた属性及び数の人又は顔の画像を前記入力画像に重畳させた種々の画像について、前記推論精度測定部により測定された推論処理の精度に基づいて、前記推論処理の精度を向上させるための指示情報をユーザに報知することを特徴とする請求項４乃至請求項６のいずれか一項に記載の画像分析プログラム。
8. カメラと、
   前記カメラからの入力画像に映り込んだ物体を検出するための学習済物体検出用ニューラルネットワークモデルを含む、１つ以上の学習済ニューラルネットワークモデルを用いて、前記カメラからの入力画像を分析する画像分析部と、
   前記１つ以上の学習済ニューラルネットワークモデルのうち、いずれかの学習済ニューラルネットワークモデルによる推論処理の精度を測定する推論精度測定部と、
   前記カメラの設置位置及び設置角度を推定するカメラ位置方向推定部と、
   前記カメラからの入力画像を表示するための表示装置と、
   前記表示装置に表示された前記カメラからの入力画像に対して、前記物体の検出位置を指定するための操作部と、
   前記推論精度測定部による測定の結果、測定した推論処理の精度が所定の値に満たない場合、前記カメラ位置方向推定部により推定された前記カメラの設置位置及び設置角度と、前記操作部により指定された前記物体の検出位置とに基づいて、前記推論処理の精度を向上させるための指示情報をユーザに報知する報知部とを備える情報処理端末。
9. 前記学習済物体検出用ニューラルネットワークモデルによる検出物体は、人又は顔であり、
   前記指示情報は、前記学習済物体検出用ニューラルネットワークモデルによって前記人又は顔を検出するのに適した設置位置又は設置角度に前記カメラを動かすことを、前記ユーザに促す指示情報であることを特徴とする請求項８に記載の情報処理端末。
10. 前記報知部は、前記指示情報を前記表示装置に表示することにより、前記指示情報をユーザに報知することを特徴とする請求項９に記載の情報処理端末。
11. 前記操作部は、ポインティングデバイスであり、
    前記報知部は、前記推論精度測定部により測定された推論処理の精度に加えて、前記カメラ位置方向推定部により推定された前記カメラの設置位置及び設置角度と、前記ポインティングデバイスにより指定された前記人又は顔の検出位置とに基づいて、前記指示情報を求めることを特徴とする請求項１０に記載の情報処理端末。
12. カメラと、
    前記カメラからの入力画像に人又は顔の画像を重畳させる画像重畳部と、
    前記画像重畳部により重畳させた人又は顔の画像を、１つ以上の学習済ニューラルネットワークモデルを用いて分析する画像分析部と、
    前記１つ以上の学習済ニューラルネットワークモデルのうち、いずれかの学習済ニューラルネットワークモデルによる推論処理の精度を測定する推論精度測定部と、
    前記推論精度測定部により測定された推論処理の精度に基づいて、この推論処理の精度を向上させるための指示情報をユーザに報知する報知部とを備える情報処理端末。
13. 前記指示情報は、前記いずれかの学習済ニューラルネットワークモデルによる推論処理を行うのに適した設置位置又は設置角度に前記カメラを動かすことを、前記ユーザに促す指示情報であることを特徴とする請求項１２に記載の情報処理端末。
14. 前記情報処理端末は、前記カメラからの入力画像を表示する表示装置をさらに備え、
    前記報知部は、前記指示情報を前記表示装置に表示することにより、前記指示情報をユーザに報知することを特徴とする請求項１３に記載の情報処理端末。
15. 前記画像重畳部は、前記入力画像に重畳させる人又は顔の画像における人の属性及び数を、種々の属性及び数に経時的に変化させ、
    前記画像分析部は、前記経時的に変化させた属性及び数の人又は顔の画像を前記入力画像に重畳させた種々の画像を、次々に分析し、
    前記報知部は、前記経時的に変化させた属性及び数の人又は顔の画像を前記入力画像に重畳させた種々の画像について、前記推論精度測定部により測定された推論処理の精度に基づいて、前記推論処理の精度を向上させるための指示情報をユーザに報知することを特徴とする請求項１２乃至請求項１４のいずれか一項に記載の情報処理端末。
16. 前記請求項８乃至請求項１５のいずれか一項に記載の情報処理端末と、
    前記情報処理端末への前記学習済ニューラルネットワークモデルのインストールを含む、前記情報処理端末の管理を行う管理サーバとを備える画像分析システム。