JP7361233B1 - システム、方法、およびプログラム - Google Patents

Abstract

【課題】精度とコストとのバランスをとりつつ、商品の在庫状況を把握する。【解決手段】本開示の一例としてのシステムは、カメラにより撮影された映像を解析するシステムであって、ユーザの指示に応じてエリアを設定し、エリア全体の面積と、エリアのうち商品が存在する部分の面積を計測し、エリア全体の面積と、部分の面積に基づいて、エリアにおける前記商品の充足率を算出し、充足率に関する出力を行う。【選択図】図２

Description

本開示は、システム、方法、およびプログラムに関する。

従来、スーパーやコンビニエンスストアなどの小売店舗の売場をカメラにより撮影することで得られた映像を解析することで、商品棚に配置された個々の商品の数量を特定し、商品の在庫状況（または欠品状況）を把握する技術が知られている。

特開２０１９－０４０２２７号公報

しかしながら、一般に、商品棚には様々な商品が配置されるため、商品棚に配置された個々の商品の数量をＡＩ等により正確に特定するためには、商品棚に配置されうる様々な商品に関する膨大なデータの準備などを含む様々な工程が必要となり、膨大なコストがかかる。これに対して、個々の商品の数量を正確に特定することまでは必要なく、商品の在庫状況をおおよその精度で把握できれば十分である、というニーズが存在する。

そこで、本開示が解決しようとする課題の一つは、精度とコストとのバランスをとりつつ、商品の在庫状況を把握することが可能なシステム、方法、およびプログラムを提供することである。

本開示の一例としてのシステムは、カメラにより撮影された映像を解析するシステムであって、ユーザの指示に応じてエリアを設定し、エリア全体の面積と、エリアのうち商品が存在する部分の面積を計測し、エリア全体の面積と、部分の面積に基づいて、エリアにおける商品の充足率を算出し、充足率に関する出力を行う。

また、本開示の他の一例としての方法は、カメラにより撮影された映像を解析するための方法であって、ユーザの指示に応じてエリアを設定することと、エリア全体の面積と、エリアのうち商品が存在する部分の面積を計測することと、エリア全体の面積と、部分の面積に基づいて、エリアにおける商品の充足率を算出することと、充足率に関する出力を行うことと、を含む。

また、本開示のさらに他の一例としてのプログラムは、カメラにより撮影された映像を解析するためのプログラムであって、ユーザの指示に応じてエリアを設定することと、記エリア全体の面積と、エリアのうち商品が存在する部分の面積を計測することと、エリア全体の面積と、部分の面積に基づいて、エリアにおける商品の充足率を算出することと、充足率に関する出力を行うことと、を少なくとも１つのコンピュータに実行させるための、プログラムである。

図１は、実施形態にかかるシステムの機能的構成を示した例示的かつ模式的なブロック図である。 図２は、実施形態にかかるシステムにおいて実行される処理の流れを示した例示的かつ模式的なシーケンス図である。 図３は、実施形態にかかる条件の設定を説明するための例示的かつ模式的な図である。 図４は、実施形態にかかるエリアの登録・編集を説明するための例示的かつ模式的な図である。 図５は、実施形態にかかる検知処理の詳細な流れを示した例示的かつ模式的なフローチャートである。 図６は、実施形態にかかる検知処理の結果の表示態様の一例を示した例示的かつ模式的な図である。 図７は、実施形態にかかる検知処理の結果の表示態様の他の一例を示した例示的かつ模式的な図である。 図８は、実施形態にかかる検知処理の結果の表示態様のさらに他の一例を示した例示的かつ模式的な図である。 図９は、実施形態にかかる検知処理の結果のダウンロードを説明するための例示的かつ模式的な図である。 図１０は、実施形態にかかる検知処理に用いられうる学習モデルの作成手順の流れを示した例示的かつ模式的なシーケンス図である。 図１１は、実施形態にかかる学習モデルの作成の流れにおいてエンドユーザ側に表示されるメニュー画面の一例を示した例示的かつ模式的な図である。 図１２は、実施形態にかかる学習モデルの作成の流れにおいてエンドユーザ側に表示される申し込み画面の一例を示した例示的かつ模式的な図である。 図１３は、実施形態にかかる学習モデルの作成の流れにおいてプラットフォーマー側に表示される設定画面を示した例示的かつ模式的な図である。 図１４は、実施形態にかかる学習モデルの作成の流れにおいてプラットフォーマー側に表示される収集データ確認画面の一例を示した例示的かつ模式的な図である。 図１５は、実施形態にかかる学習モデルの作成の流れにおいてプラットフォーマー側に表示されるアノテーション結果確認画面の一例を示した例示的かつ模式的な図である。 図１６は、実施形態にかかる学習モデルの作成の流れにおいてプラットフォーマー側に表示される学習結果確認画面の一例を示した例示的かつ模式的な図である。 図１７は、実施形態にかかる学習モデルの作成の流れにおいてエンドユーザ側に表示されるステータス確認画面の一例を示した例示的かつ模式的な図である。 図１８は、実施形態にかかる学習モデルの作成の流れにおいてエンドユーザ側に表示されるステータス確認画面の他の一例を示した例示的かつ模式的な図である。 図１９は、実施形態にかかる学習モデルの作成の流れにおいてエンドユーザ側に表示されるデプロイ対象カメラ確認画面の一例を示した例示的かつ模式的な図である。 図２０は、実施形態にかかる学習モデルの作成の流れにおいてエンドユーザ側に表示されるデプロイ画面の一例を示した例示的かつ模式的な図である。 図２１は、実施形態にかかるカメラ、クラウドプラットフォーム、およびユーザ端末に含まれる情報処理装置のハードウェア構成を示した例示的かつ模式的なブロック図である。

以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に制限されるものではない。

＜実施形態＞
図１は、実施形態にかかるシステム１００の機能的構成を示した例示的かつ模式的なブロック図である。

図１に示されるように、実施形態にかかるシステム１００は、カメラ１１０と、クラウドプラットフォーム１２０と、ユーザ端末１３０と、を含む。

カメラ１１０は、機能モジュールとして、撮影部１１１と、検知部１１２と、通信部１１３と、を含む。また、クラウドプラットフォーム１２０は、機能モジュールとして、通信部１２１と、記録部１２２と、画像情報生成部１２３と、を含む。また、ユーザ端末１３０は、機能モジュールとして、入力受付部１３１と、通信部１３２と、表示再生部１３３と、を含む。

カメラ１１０は、たとえば店舗などに設置され、ネットワーク経由でクラウドプラットフォーム１２０と通信可能に接続される。また、クラウドプラットフォーム１２０は、ネットワーク経由でユーザ端末１３０と通信可能に接続される。これにより、カメラによって撮影された映像（および当該映像に基づいて検出される情報）は、クラウドプラットフォーム１２０を介してユーザ端末１３０に提供され、店舗のＤＸに利用される。

たとえば、店舗のＤＸに利用される技術の一例として、従来、スーパーやコンビニエンスストアなどの小売店舗の売場をカメラにより撮影することで得られた映像を解析することで、商品棚に配置された個々の商品の数量を特定し、商品の在庫状況（または欠品状況）を把握する技術が知られている。

しかしながら、一般に、商品棚には様々な商品が配置されるため、商品棚に配置された個々の商品の数量をＡＩ等により正確に特定するためには、商品棚に配置されうる様々な商品に関する膨大なデータの準備などを含む様々な工程が必要となり、膨大なコストがかかる。これに対して、個々の商品の数量を正確に特定することまでは必要なく、商品の在庫状況をおおよその精度で把握できれば十分である、というニーズが存在する。

そこで、実施形態では、図１に示される各機能モジュールが次の図２に示されるような流れで動作することで、精度とコストとのバランスをとりつつ、商品の在庫状況を把握することが実現される。

図２は、実施形態にかかるシステム１００において実行される処理の流れを示した例示的かつ模式的なシーケンス図である。なお、図２では、簡単化のため、クラウドプラットフォーム１２０が単にクラウド１２０として表現されている。

まず、ユーザ端末１３０を用いてカメラ１１０に対して各種の条件の設定を行うための設定処理について説明する。詳細は後述するが、条件とは、たとえば、カメラ１１０が複数設置されている場合にどのカメラ１１０の映像に着目して在庫状況の検知を行うか、および、当該映像のどのエリアを対象として在庫状況の検知を行うか、などに関する条件である。

設定処理においては、まず、ステップＳ２０１において、ユーザ端末１３０の入力受付部１３１は、下記の図３および図４に示されるようなＵＩ（ユーザインターフェース）を介したユーザの操作に基づく条件の設定を受け付ける。

図３は、実施形態にかかる条件の設定を説明するための例示的かつ模式的な図である。

図３に示される画像３００は、ユーザによる条件の設定に関する操作を受け付けるＵＩの一例である。この画像３００は、８つの領域３１０、３２０、３３０、３４０、３５０、３６０、３７０、および３８０を含む。

領域３１０には、カメラ１１０が複数設置されている場合にどのカメラ１１０の映像に着目して在庫状況の検知を行うかの選択を受け付けるインターフェースが表示される。また、領域３２０には、検知の結果をどのような態様で出力するかの選択を受け付けるインターフェースが表示される（詳細は後述する）。また、領域３３０には、在庫状況の検知を行う対象のエリアの設定を受け付けるインターフェースが表示される。当該インターフェースでは、予め登録されたエリアの一覧がプルダウンメニューで表示され、その中から、ユーザの選択に応じて、在庫状況の検知を行う対象のエリアが設定されうる。エリアの登録は、たとえば右上の「エリアの登録・編集」をクリックすることで表示される、次の図４に示されるようなＵＩを介したユーザの操作に基づいて行われうる。

図４は、実施形態にかかるエリアの登録・編集を説明するための例示的かつ模式的な図である。図４に示される画像４０１は、ユーザによるエリアの設定に関する操作を受け付けるＵＩの一例である。画像４０１の左側には、設定済のエリア名が一覧表示されるとともに、設定可能なエリア数（またはライン数）の上限値と現在設定済のエリア数とを示す情報、および新たなエリアを登録するための新規作成ボタン４０３が表示される領域４０２が設けられる。各領域４０２の左側にある色が付されたアイコンは、領域４０１Ａに表示された画像４００内に設定されたエリアの色と連動しており、これをクリックして色を選択することで、エリア毎に所望の色を設定することが可能である。また、各領域４０２の右側にある「削除」ボタンは、これをクリックすることで対応するエリアを削除することが可能である。領域４０２の中から１つをクリックして選択すると、その名称と画像４００内の対応するエリアが共に強調表示され、選択されていることが識別可能となる。エリアが選択された状態で、画像４００内の対応するエリアをクリック／ドラッグ等すると、そのエリアの位置や形を変更することが可能である。

また、画像４０１の右側の領域４０１Ａには、一例として、在庫状況の検知を行う対象のエリアとして８つのエリア４１１～４１８を含む画像４００が表示されている。ユーザは、領域４０１Ａに対して左側に設けられた新規作成ボタン４０３をクリックした後、画像４００上でドラッグ＆ドロップ操作などを行うことにより、所望の位置、大きさ、および形のエリアを設定することが可能である。たとえば、エリアの頂点を順次クリックしていき、最後の頂点でダブルクリックすることにより、それらの頂点を結ぶエリアが設定されうる。エリアの形は、四角形のみならず所望の形で設定可能である。その他、実施形態では、画像４００を利用して、たとえばエリアの境界線のようなラインを任意に設定することも可能である。設定されたラインは、当該ラインを介した人の出入りの検知に利用することが可能である。

図３に戻り、領域３４０には、現在の設定内容を識別するための名前の入力を受け付けるインターフェースが表示される。また、領域３５０には、在庫状況の検知を行う対象の商品の価格の入力を受け付けるインターフェースが表示される。設定名や商品価格は、図４のエリア登録時に、各エリアに対応付けて設定可能としてもよい。また、領域３６０には、在庫状況を示す数値としての充足率に関して設定すべき複数の閾値の入力を受け付けるインターフェースが表示される。下限値は、充足率が下限値を下回ったこと、たとえば商品棚の中の商品が少なくなったことの検知に利用することができ、上限値は、充足率が上限値を上回ったこと、たとえば返却品を入れる棚がいっぱいになったことの検知に利用することができる。また、基準値は、充足率と基準値との差分（幅）が一定以上になったこと、たとえば工場や物流施設などにおけるライン上の商品の上振れまたは下振れの検知に利用することができる。また、領域３７０には、領域３６０のインターフェースを用いた閾値の設定の参考となる値、たとえば過去何年かにおける平均の充足率、が表示される。なお、領域３８０には、充足率が閾値に達したことの通知をどのタイミング（たとえば時間帯、曜日、日付など）で行うかの設定を受け付けるインターフェースが表示される。このような通知は、メール、プッシュ通知、放送、パトライト（登録商標）、パトランプ、サイネージ、モニター、またはこれらの１以上の組み合わせを用いて行われうる。なお、これらの通知は基本的には充足率が各閾値（上限値／下限値／基準値）に達したときに行うが、更に充足率と各閾値との差に応じて段階的に行ってもよい。例えば、各エリアの充足率をモニターで一覧表示する場合、充足率が下限値より高くその差が一定以上のときは「十分な在庫があります」、充足率が下限値より高いがその差が一定未満になったときは「品出しの準備をしてください」、充足率が下限値に達し又はそれ以下になったときは「今すぐ品出ししてください」、といったメッセージを各エリアの映像とともに対応付けて表示する。

図２に戻り、ステップＳ２０１における条件の設定が終了すると、ステップＳ２０２において、ユーザ端末１３０の通信部１３２は、設定された条件をクラウドプラットフォーム１２０に送信する。そして、クラウドプラットフォーム１２０の通信部１２１は、ユーザ端末１３０により送信された条件を受信する。

そして、ステップＳ２０３において、クラウドプラットフォーム１２０の通信部１２１は、ユーザ端末１３０から受信した条件をカメラ１１０に転送する。そして、カメラ１１０の通信部１１３は、クラウドプラットフォーム１２０により送信された条件を受信する。

そして、ステップＳ２０４において、カメラ１１０の検知部１１２は、クラウドプラットフォーム１２０から受信した条件を、以下で説明する撮影処理に利用するために保存する。このようにして、設定処理が終了する。

次に、カメラ１１０による映像の撮影と、当該映像に基づく各種の情報の検知と、を含む撮影処理について説明する。

撮影処理においては、まず、ステップＳ２１１において、カメラ１１０の撮影部１１１は、映像を撮影する。そして、ステップＳ２１２において、カメラ１１０の検知部１１２は、上述した設定処理において行われた設定に基づいて映像を解析し、エリア内における商品の充足率の算出を含む検知処理を実行する。充足率の検知処理は、たとえば次の図５に示されるような流れで実行される。

図５は、実施形態にかかる検知処理の詳細な流れを示した例示的かつ模式的なフローチャートである。

図５に示されるように、実施形態では、まず、ステップＳ５０１において、検知部１１２は、撮影部１１１により撮影された映像（カメラ画像）を取得する。そして、ステップＳ５０２において、検知部１１２は、上述した設定処理において行われた設定に基づいて、カメラ画像から、充足率の検知の対象となるエリアを抽出する。

そして、ステップＳ５０３において、検知部１１２は、ステップＳ５０２で抽出されたエリアから、人が存在する部分、つまり人が写っている領域を除外する。そして、ステップＳ５０４において、検知部１１２は、ステップＳ５０３の処理を経たエリアの全体の面積と、当該エリアのうち商品が存在している第１部分の面積と、当該エリアのうち商品が存在していない第２部分の面積と、のうち少なくとも２つを算出し、算出した少なくとも２つの面積に基づいて、エリアにおける商品の充足率を算出する。より具体的に、検知部１１２は、エリア全体の面積と第１部分の面積との差（または比）と、エリア全体の面積と第２部分の面積との差（または比）と、第１部分の面積と第２部分の面積との差（または比）と、のうち少なくとも１つを、商品の充足率として算出する。このようにして、図２のステップＳ２１２における検知処理が実行される。

図２に戻り、ステップＳ２１２が終了すると、ステップＳ２１３において、カメラ１１０の通信部１１３は、ステップＳ２１１において撮影された映像と、ステップＳ２１２における検知処理の結果とを、クラウドプラットフォーム１２０に送信する。映像には、撮影した時刻が対応付けられ、検知結果には、充足率がステップＳ２０１で設定された各種の条件を満たすと判断された時刻が含まれる。なお、検知結果は、充足率がステップＳ２０１で設定された条件を満たすときのみならず、それ以外のときにも送信されうる。そして、クラウドプラットフォーム１２０の通信部１２１は、カメラ１１０により送信された情報を受信する。

そして、ステップＳ２１４において、クラウドプラットフォーム１２０の記録部１２２は、カメラ１１０から受信した映像および検知結果を記録する。そして、ステップＳ２１５において、クラウドプラットフォーム１２０の画像情報生成部１２３は、充足率の検知結果に関する情報をユーザに通知するために、たとえば次の図６に示されるような画像情報を生成する。このようにして、撮影処理が終了する。

図６は、実施形態にかかる検知処理の結果の表示態様の一例を示した例示的かつ模式的な図である。

図６に示される画像６００は、検知処理の結果がタイムライン形式で表示されるＵＩの一例である。このＵＩは、後述する確認処理においてユーザ端末１３０に提供されうる。

画像６００の下側には、タイムラインが表示される領域７０１が設けられる。このタイムラインは、映像において上述したステップＳ２０１（図２参照）で設定された条件が成立したタイミング、たとえば上述した検知処理において算出された充足率が閾値に達したタイミング、を時系列で識別可能に示すものである。ここでいう識別可能とは、たとえばタイムラインにおいて条件を満たすタイミングに色付きの帯やフラグなどを付けて表示する態様を意味する。色が付される場合、その色は前述したエリアの登録・編集において設定した色と同じ色に対応しうる。

その他、画像６００には、撮影部１１１により撮影された映像が、上述したステップＳ２０１（図２参照）で設定されたエリアが区別可能な態様で加工された画像６１０が表示される。各エリアには、商品の価格や充足率、エリア名などが重畳して表示される。また、画像６００には、各エリアの登録・編集を行うための領域６２１～６２３（図４の領域４０２と略同様）や、画像６１０内に表示されたエリアに充足率、エリア名、商品価格を重畳して表示するか否かを切り替えるためのインターフェース６３１～６３３が表示される。

なお、実施形態にかかる検知処理の結果は、上記の図６に示される表示態様の他、次の図７に示されるような表示態様でも表示されうる。

図７は、実施形態にかかる検知処理の結果の表示態様の他の一例を示した例示的かつ模式的な図である。

図７に示される画像７００は、商品の充足率の時間推移をヒストグラム形式で表すＵＩの一例である。このＵＩは、後述する確認処理においてユーザ端末１３０に提供されうる。

画像７００は、カメラ１１０が複数設置されている場合にどのカメラ１１０のどのエリアの映像に基づいて検知された充足率の時間推移を表示するかの選択を受け付けるインターフェースが表示される領域７１０を含む。領域７１０では、充足率の表示対象とするカメラとエリアを選択することが可能である。エリアの選択は、例えば６１０のような画像のサムネイルを空いた領域に表示し、その中から所望のエリアをクリック等することにより行ってもよい。なお、ここでは複数のエリアを選択することも可能であり、その場合は各エリアに対応するヒストグラムを透過式で重ね合わせて表示する。このとき、各ヒストグラムの色は、サムネイル上の各エリアの色と対応させると見やすい。また、画像７００は、検知の結果をどのような態様で出力するかの選択を受け付けるインターフェースが表示される領域７２０を含む。領域７２０において「充足率推移」が選択されると、商品の充足率の時間遷移を示すヒストグラムを含む領域７３０が画像７００内に表示される。

なお、図７に示される例では、領域７３０に、商品の充足率の時間遷移を示すヒストグラムとともに、上述した図３に示される画像３００を用いて設定された閾値（上限値、下限値、および基準値）などが表示されている。また、領域７３０には、上述した図４に示される画像４００を用いて設定されたラインを介した人の出入りの検知結果をさらに表示するか否かを切り替えるためのインターフェースが表示される領域７３１が設けられている。ラインを介した人の出入りの検知結果は、たとえば次の図８に示されるような表示態様で表示されうる。また、領域７３０には、前述のヒストグラムのノイズ（前後の値との差が極端に大きい値）を除去するためのインターフェースが表示される領域７３２が設けられている。また、領域７３０には、前述のヒストグラムを平滑化（ベジエ曲線等を利用）するためのインターフェースが表示される領域７３３が設けられている。

その他、所定の日時またはユーザの指示に応じた任意のタイミングで、商品の充足率が０％または１００％のとき（このうち何れか一方でも両方でもよい）のキャリブレーションを実行する機能を設けてもよい。これは、映像解析の精度等により、例えば商品の充足率を計測する対象領域に実際には商品が全く置かれていないにも関わらず充足率が０％を上回ってしまったり、逆に対象領域に実際には商品が目一杯置かれているにも関わらず充足率が１００％を下回ってしまったりする状況に対応するためである。具体的には、キャリブレーションを行うためのボタン７３４を設け、それをクリックすることによりキャリブレーションの設定画面（不図示）へと遷移する。この設定画面では、カメラとエリアを選択し、０％や１００％といった対象値を指定し、日時指定（時刻／日／曜日／月等から１つ以上の条件を組み合わせ可能）または即時実行（ユーザ指示したタイミングで即実行）を指示することができる。この設定に基づいて、キャリブレーションが実行される。

図８は、実施形態にかかる検知処理の結果の表示態様のさらに他の一例を示した例示的かつ模式的な図である。

図８に示される画像８００は、ラインを介した人の出入りの検知結果を商品の充足率の時間推移とともに表すＵＩの一例である。このＵＩは、後述する確認処理においてユーザ端末１３０に提供されうる。

画像８００は、上述した図７に示される領域７１０および７２０とそれぞれ同様の領域８１０および８２０を含む。そして、画像８００は、ラインを介した人の出入りの検知結果を示すヒストグラムと、商品の充足率の時間推移を示す折れ線グラフと、が表示される領域８３０を含む。この領域８３０には、上述した図７に示される領域７３０と同様、上述した図３に示される画像３００を用いて設定された閾値（上限値、下限値、および基準値）も表示されている。なお、各閾値の表示をON／OFFするためのボタンを設け、これに対応して各閾値の表示の有無を切り替えてもよい。また、領域８３０は、ラインを介した人の出入りの検知結果を表示するか否かを切り替えるためのインターフェースが表示される、上述した図７に示される領域７３１と同様の領域８３１も設けられている。

なお、実施形態において、上述したような検知処理の結果は、クラウドプラットフォーム１２０において記録されうるが、ユーザの便宜のため、検知処理の結果をユーザ端末１３０にダウンロード可能に構成しておくことが望まれる。この場合、検知処理の結果のダウンロードは、たとえば次の図９に示されるようなＵＩを用いて実行されうる。

図９は、実施形態にかかる検知処理の結果のダウンロードを説明するための例示的かつ模式的な図である。

図９に示される画像９００は、クラウドプラットフォーム１２０により生成されるＵＩの一例である。このＵＩは、後述する確認処理においてユーザ端末１３０に提供されうる。

画像９００は、カメラ１１０が複数設置されている場合にどのカメラ１１０の映像に基づいて検知された充足率の時間推移を表示するかの選択を受け付けるインターフェースが表示される領域９１０を含む。また、画像９００は、検知の結果をどのような態様で出力するかの選択を受け付けるインターフェースが表示される領域９２０を含む。領域９２０において「ＣＳＶ ＤＬ」が選択されると、検知処理の結果をユーザ端末１３０にダウンロードするための操作を受け付ける領域９３０が画像９００内に表示される。ユーザは、この領域９３０には、ダウンロードする対象の映像（カメラ画像）のサムネイルや、ダウンロードを開始するためのボタンなどが表示される。なお、領域９２０において「外部Ａｐｐ」を選択すれば、検知の結果を外部システムに送信することも可能である。

図２に戻り、上述した撮影処理において撮影される映像および検知される情報を確認するための確認処理について説明する。

確認処理においては、まず、ステップＳ２２１において、ユーザ端末１３０の入力受付部１３１は、上述した撮影処理において撮影される映像および検知される情報を確認するためのユーザの操作に基づく確認要求を受け付ける。

そして、ステップＳ２２２において、ユーザ端末１３０の通信部１３２は、受け付けた確認要求をクラウドプラットフォーム１２０に送信する。そして、クラウドプラットフォーム１２０の通信部１２１は、ユーザ端末１３０により送信された確認要求を受信する。

そして、ステップＳ２２３において、クラウドプラットフォーム１２０の画像情報生成部２２３は、ユーザ端末１３０から受信した確認要求に応じて、上述した撮影処理において生成した各種の画像情報を読み出す。

そして、ステップＳ２２４において、クラウドプラットフォーム１２０の通信部１２１は、ステップＳ２２３において読み出された画像情報をユーザ端末１３０に送信する。そして、ユーザ端末１３０の通信部１３２は、クラウドプラットフォーム１２０により送信された画像情報を受信する。

そして、ステップＳ２２５において、ユーザ端末１３０の表示再生部１３３は、クラウドプラットフォーム１２０から受信した画像情報をディスプレイ（不図示）に表示する。画像情報は、たとえば上述した図６～図９に示されるような態様で表示される。

そして、ステップＳ２２６において、ユーザ端末１３０の入力受付部１３１は、上述した画像情報に基づいてユーザが所望のタイミングの映像を選択（指定）する操作としての選択指示を受け付ける。

そして、ステップＳ２２７において、ユーザ端末１３０の通信部１３２は、受け付けた選択指示をクラウドプラットフォーム１２０に送信する。そして、クラウドプラットフォーム１２０の通信部１２１は、ユーザ端末１３０により送信された選択指示を受信する。

そして、ステップＳ２２８において、クラウドプラットフォーム１２０の画像情報生成部２２３は、ユーザ端末１３０から受信した選択指示に応じて、上述した撮影処理において記録した映像を読み出す。たとえば、画像情報生成部２２３は、ステップＳ２２６で選択（指定）されたタイミングの映像を読み出す。

そして、ステップＳ２２９において、クラウドプラットフォーム１２０の通信部１２１は、ステップＳ２２８において読み出された映像をユーザ端末１３０に送信する。そして、ユーザ端末１３０の通信部１３２は、クラウドプラットフォーム１２０により送信された映像を受信する。

そして、ステップＳ２３０において、ユーザ端末１３０の表示再生部１３３は、クラウドプラットフォーム１２０から受信した映像をディスプレイ（不図示）上で再生する。たとえば、表示再生部１３３は、図６に示される画像６１０のような形で映像を再生する。このようにして、確認処理が終了する。

ところで、上述したような検知処理は、カメラ画像の入力に応じて充足率を出力するように予めトレーニングされた学習モデルを用いて実現することも可能である。以下、図１０～図２０を参照して、上述したような検知処理に用いられうる学習モデルの作成手順の一例について説明する。

図１０は、実施形態にかかる検知処理に用いられうる学習モデルの作成手順の流れを示した例示的かつ模式的なシーケンス図である。

図１０に示されるように、実施形態では、まず、ステップＳ１０１１において、学習モデルの提供を望むエンドユーザは、プラットフォーマーに対して学習モデルを発注する。学習モデルの発注に際しては、まず、次の図１１に示されるような画像がエンドユーザ側に表示される。

図１１は、実施形態にかかる学習モデルの作成の流れにおいてエンドユーザ側に表示されるメニュー画面の一例を示した例示的かつ模式的な図である。

図１１に示される画像１１００は、学習モデルの発注に際して最初にエンドユーザ側に表示されるメニュー画面である。この画像１１００は、学習モデルの作成の申し込みを開始するためのボタン１１０１と、発注した学習モデルの作成の進捗状況を確認するためのボタン１１０２と、エンドユーザ側で管理しているカメラであって、発注した学習モデルをデプロイ可能なカメラを確認するためのボタン１１０３と、を含む。ボタン１１０１が操作されると、次の図１２に示されるような画像１２００がエンドユーザ側に表示される。

図１２は、実施形態にかかる学習モデルの作成の流れにおいてエンドユーザ側に表示される申し込み画面の一例を示した例示的かつ模式的な図である。

図１２に示される画像１２００は、上述した図１１に示されるボタン１１０１の操作に応じて画像１１００から切り替わって表示される申し込み画面である。この画像１２００は、発注する学習モデルに学習させるデータの取得元のカメラ、学習モデルの名称、および学習モデルに検知させる対象を指定するためのインターフェースが表示される領域１２１０を含む。エンドユーザは、領域１２１０を用いて各種情報を指定した上で、申し込みボタン１２２０を操作することで、プラットフォーマーに対して学習モデルを発注する。

図１０に戻り、エンドユーザにより学習モデルが発注されると、プラットフォーマーは、ステップＳ１０２１において、学習モデルに学習させるデータを収集する。データの収集に際しては、次の図１３に示されるような画像１３００がプラットフォーマー側に表示される。

図１３は、実施形態にかかる学習モデルの作成の流れにおいてプラットフォーマー側に表示される設定画面を示した例示的かつ模式的な図である。

図１３に示される画像１３００は、発注を受けた学習モデルに学習させるデータを収集するにあたりプラットフォーマーが各種の設定を行うための設定画面である。この画像１３００は、発注内容、つまり上述した図１２に示される領域１２１０でエンドユーザにより指定された各種の情報が表示される領域１３１０と、データを取得するタイミング（取得期間、取得間隔、取得時間、曜日）に関するプラットフォーマーの設定を受け付けるインターフェースが表示される領域１３２０と、を含む。プラットフォーマーは、領域１３１０に表示された情報を確認した上で領域１３２０を介して設定を行い、開始ボタン１３３０を操作することで、発注を受けた学習モデルに学習させるデータの収集を開始する。

図１０に戻り、学習モデルに学習させるデータが収集されると、プラットフォーマーは、ステップＳ１０２２において、収集したデータに基づく学習を開始する。学習の開始に際しては、次の図１４に示されるような画像１４００がプラットフォーマー側に表示される。

図１４は、実施形態にかかる学習モデルの作成の流れにおいてプラットフォーマー側に表示される収集データ確認画面の一例を示した例示的かつ模式的な図である。

図１４に示される画像１４００は、収集が完了した学習用のデータをプラットフォーマーに確認させるための収集データ確認画面である。この画像１４００は、収集されたデータがサムネイル画像として一覧表示される領域１４１０を含む。プラットフォーマーは、領域１４１０に表示されたサムネイル画像を確認し、問題なければ、「Ａ社に送信」というボタン１４２０を操作することで、収集されたデータに対するアノテーションをＡ社に依頼する。なお、ここでは、一例として、アノテーションを外注する例について説明するが、アノテーションは、外注を行うことなくプラットフォーマーが自ら実施してもよい。

アノテーションが完了すると、次の図１５に示されるような画像１５００がプラットフォーマー側に表示される。

図１５は、実施形態にかかる学習モデルの作成の流れにおいてプラットフォーマー側に表示されるアノテーション結果確認画面の一例を示した例示的かつ模式的な図である。

図１５に示される画像１５００は、アノテーションの結果をプラットフォーマーに確認させるためのアノテーション結果確認画面である。この画像１５００は、アノテーションされたデータがサムネイル画像として一覧表示される領域１５１０を含む。プラットフォーマーは、領域１５１０に表示されたサムネイル画像を確認し、問題なければ、「学習を開始」というボタン１５２０を操作することで、アノテーションされたデータを教師データとして用いて学習モデルの学習を開始する。

そして、図１０に戻り、プラットフォーマーは、ステップＳ１０２３において、収集したデータに基づく学習を完了する。学習が完了した際には、次の図１６に示されるような画像１６００がプラットフォーマー側に表示される。

図１６は、実施形態にかかる学習モデルの作成の流れにおいてプラットフォーマー側に表示される学習結果確認画面の一例を示した例示的かつ模式的な図である。

図１６に示される画像１６００は、学習を経た学習モデルの性能をプラットフォーマーに確認させるための学習結果確認画面である。この画像１６００は、学習を経た学習モデルの性能としての精度が円グラフとして表示される領域１６１０を含む。プラットフォーマーは、領域１６１０に表示された円グラフを確認し、問題なければ、「完了」というボタン１６２０を操作することで、学習モデルをフィックスする。

なお、実施形態では、学習モデルの作成の進捗状況が、適時、エンドユーザ側で確認することが可能である。つまり、図１０に戻り、エンドユーザは、ステップＳ１０１２において、プラットフォーマー側での学習モデルの作成（ステップＳ１０２１～Ｓ１０２３）の進捗状況を確認することができる。このような進捗状況の確認は、次の図１７に示されるような画像１７００をよって行われうる。

図１７は、実施形態にかかる学習モデルの作成の流れにおいてエンドユーザ側に表示されるステータス確認画面の一例を示した例示的かつ模式的な図である。

図１７に示される画像１７００は、カメラごとの学習モデルの作成の進捗状況の一覧をエンドユーザに確認させるためのステータス確認画面である。この画像１７００は、上述した図１１に示される画像１１００のボタン１１０２の操作に応じてエンドユーザ側に表示されうる。エンドユーザは、画像１７００を用いて、発注した学習モデルの進捗状況としての「ステータス」を、学習モデルに学習させるデータの取得元としてのカメラの名称（設置位置）、学習モデルの名称、および学習モデルの発注を申し込んだ日とともに確認することができる。

なお、学習モデルの作成の進捗状況の確認は、次の図１８に示されるような画像１８００によっても行われうる。

図１８は、実施形態にかかる学習モデルの作成の流れにおいてエンドユーザ側に表示されるステータス確認画面の他の一例を示した例示的かつ模式的な図である。

図１８に示される画像１８００は、ある１つの学習モデルの作成の進捗状況を今後の予定とともにエンドユーザに確認させるためのステータス確認画面である。エンドユーザは、画像１８００を用いて、学習モデルの発注の申し込み日、学習モデルに学習させるデータの収集の開始日、アノテーションが行われる日、アノテーションされたデータに基づく学習が行われる日、および学習が完了した学習モデルの利用を開始できる日を確認することができる。

図１０に戻り、プラットフォーマー側での学習モデルの作成が完了すると、エンドユーザは、ステップＳ１０１３において、作成された学習モデルをカメラに対してデプロイする。デプロイに際しては、まず、次の図１９に示されるような画像１９００がエンドユーザ側に表示される。

図１９は、実施形態にかかる学習モデルの作成の流れにおいてエンドユーザ側に表示されるデプロイ対象カメラ確認画面の一例を示した例示的かつ模式的な図である。

図１９に示される画像１９００は、上述した図１１に示される画像１１００のボタン１１０３の操作に応じてエンドユーザ側に表示されるデプロイ対象カメラ確認画面である。エンドユーザは、画像１８００を用いて、エンドユーザ側で管理しているカメラであって、発注した学習モデルをデプロイ可能なカメラを確認する。そして、エンドユーザは、次の図２０に示されるような画像２０００を用いて、カメラに対する学習モデルのデプロイを実施する。

図２０は、実施形態にかかる学習モデルの作成の流れにおいてエンドユーザ側に表示されるデプロイ画面の一例を示した例示的かつ模式的な図である。

図２０に示される画像２０００は、上述した図１９に示される画像１９００において「編集」というボタンが操作されることに応じてエンドユーザ側に表示されるデプロイ画面である。エンドユーザは、画像２０００を用いて、デプロイを行う対象のカメラの情報を確認し、デプロイボタン２０１０を操作することで、対象のカメラに対して学習モデルのデプロイを実施する。

以上説明したように、実施形態にかかるシステム１００は、カメラ１１０により撮影された映像を解析するように構成される。システム１００は、ユーザの指示に応じてエリアを設定し、当該エリア全体の面積と、エリアのうち商品が存在する部分の面積と、を計測する。そして、システム１００は、エリア全体の面積と、エリアのうち商品が存在する部分の面積と、に基づいて、エリアにおける商品の充足率を算出し、算出した充足率に関する出力を行う。このような構成によれば、エリア全体の面積と、エリアのうち商品が存在する部分の面積と、に基づいて、商品の充足率を概算的に求めることができる。これにより、個々の商品の数量を正確に特定するための様々な工程および膨大なコストを必要とすることなく、商品の在庫状況をおおよその精度で把握することができるので、精度とコストとのバランスをとりつつ、商品の在庫状況を把握することができる。

最後に、上述した実施形態にかかるシステム１００を構成するカメラ１１０、クラウドプラットフォーム１２０、およびユーザ端末１３０に含まれるハードウェア構成について説明する。実施形態において、カメラ１１０、クラウドプラットフォーム１２０、およびユーザ端末１３０は、たとえば次の図２１に示されるようなハードウェア構成を有する情報処理装置２１００を含むように構成される。

図２１は、実施形態にかかるカメラ１１０、クラウドプラットフォーム１２０、およびユーザ端末１３０に含まれる情報処理装置２１００のハードウェア構成を示した例示的かつ模式的なブロック図である。

なお、図２１は、カメラ１１０、クラウドプラットフォーム１２０、およびユーザ端末１３０において実質的に共通するハードウェア構成のみを示したものである。このため、カメラ１１０、クラウドプラットフォーム１２０、およびユーザ端末１３０の実際のハードウェア構成は、図２１に示されている以外の部分で様々に異なる点について留意されたい。

図２１に示されるように、情報処理装置２１００は、プロセッサ２１１０と、メモリ２１２０と、ストレージ２１３０と、入出力インターフェース（Ｉ／Ｆ）２１４０と、通信インターフェース（Ｉ／Ｆ）２１５０と、を備えている。これらのハードウェアは、バス２１６０に接続されている。

プロセッサ２１１０は、たとえばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）として構成され、情報処理装置２１００の各部の動作を統括的に制御する。

メモリ２１２０は、たとえばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含み、プロセッサ２１１０により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ２１１０がプログラムを実行するための作業領域の提供などを実現する。

ストレージ２１３０は、たとえばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を含み、各種のデータを不揮発的に記憶する。

入出力インターフェース２１４０は、たとえばキーボードおよびマウスなどのような入力装置（不図示）から情報処理装置２１００へのデータの入力と、たとえば情報処理装置２１００からディスプレイおよびスピーカなどのような出力装置（不図示）へのデータの出力と、を制御する。

通信インターフェース２１５０は、情報処理装置２１００が他の装置と通信を実行することを可能にする。

実施形態にかかるカメラ１１０、クラウドプラットフォーム１２０、およびユーザ端末１３０が有する各機能モジュール（図１参照）は、それぞれの情報処理装置２１００のプロセッサ２１１０がメモリ２１２０またはストレージ２１３０に予め記憶された情報処理プログラムを実行した結果として、ハードウェアとソフトウェアとの協働による機能モジュール群として実現される。ただし、実施形態では、図１に示される機能モジュール群のうち一部または全部が、専用に設計された回路のようなハードウェアのみによって実現されてもよい。

なお、上述した情報処理プログラムは、必ずしもメモリ２１２０またはストレージ２１３０に予め記憶されている必要はない。たとえば、上述した情報処理プログラムは、フレキシブルディスク（ＦＤ）のような各種の磁気ディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のような各種の光ディスクなどといった、コンピュータで読み取り可能な媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

また、上述した情報処理プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、上述した情報処理プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。

＜変形例＞
上述した実施形態では、検知処理により商品の充足率を算出する構成が例示されている。しかしながら、変形例として、商品の充足率に替えて、商品の不足率を算出する構成も考えられる。たとえば、充足率がパーセンテージで表される場合、充足率と不足率との関係は、充足率＋不足率＝１００という関係である。なお、本発明において、充足率の意味は、広義では不足率も含むものとする。

以上、本開示の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ システム
１１０ カメラ
１１１ 撮影部
１１２ 検知部
１１３ 通信部
１２０ クラウドプラットフォーム
１２１ 通信部
１２２ 記録部
１２３ 画像情報生成部
１３０ ユーザ端末
１３１ 入力受付部
１３２ 通信部
１３３ 表示再生部

Claims (10)

1. カメラにより撮影された映像を解析するシステムであって、
   ユーザの指示に応じてエリアを設定し、
   前記エリアにおける前記商品の充足率を算出し、
   前記充足率の上限値を設定し、
   前記充足率と前記上限値との関係が視覚的に認識できるように、前記充足率の時間推移を示すグラフとともに前記上限値を表示する、
   システム。
2. カメラにより撮影された映像を解析するシステムであって、
   ユーザの指示に応じてエリアを設定し、
   前記エリアにおける前記商品の充足率を算出し、
   前記充足率の基準値を設定し、
   前記充足率と前記基準値との関係が視覚的に認識できるように、前記充足率の時間推移を示すグラフとともに前記基準値を表示する、
   システム。
3. 前記充足率の下限値を設定し、
   前記充足率と前記下限値の関係が視覚的に認識できるように、前記充足率の時間推移を示すグラフとともに前記下限値を表示することで、前記充足率に関する出力を行う、
   請求項１又は２に記載のシステム。
4. ユーザの指示に応じてラインを設定し、
   前記グラフにおいて、前記ラインを通過した人の数を更に表示する、
   請求項１又は２に記載のシステム。
5. 前記映像を解析する際に、人が存在する部分を除外する、
   請求項１又は２に記載のシステム。
6. 前記充足率の精度を上げるためのキャリブレーションを行う、
   請求項１又は２に記載のシステム。
7. カメラにより撮影された映像を解析するための方法であって、
   ユーザの指示に応じてエリアを設定することと、
   前記エリアにおける前記商品の充足率を算出することと、
   前記充足率の上限値を設定することと、
   前記充足率と前記上限値との関係が視覚的に認識できるように、前記充足率の時間推移を示すグラフとともに前記上限値を表示することと、
   を含む、方法。
8. カメラにより撮影された映像を解析するための方法であって、
   ユーザの指示に応じてエリアを設定することと、
   前記エリアにおける前記商品の充足率を算出することと、
   前記充足率の基準値を設定することと、
   前記充足率と前記基準値との関係が視覚的に認識できるように、前記充足率の時間推移を示すグラフとともに前記基準値を表示することと、
   を含む、方法。
9. カメラにより撮影された映像を解析するためのプログラムであって、
   ユーザの指示に応じてエリアを設定することと、
   前記エリアにおける前記商品の充足率を算出することと、
   前記充足率の上限値を設定することと、
   前記充足率と前記上限値との関係が視覚的に認識できるように、前記充足率の時間推移を示すグラフとともに前記上限値を表示することと、
   を少なくとも１つのコンピュータに実行させるための、プログラム。
10. カメラにより撮影された映像を解析するためのプログラムであって、
    ユーザの指示に応じてエリアを設定することと、
    前記エリアにおける前記商品の充足率を算出することと、
    前記充足率の基準値を設定することと、
    前記充足率と前記基準値との関係が視覚的に認識できるように、前記充足率の時間推移を示すグラフとともに前記基準値を表示することと、
    を少なくとも１つのコンピュータに実行させるための、プログラム。

Images