JP6893278B1 - 情報処理装置、方法及びコンピュータプログラム - Google Patents

Abstract

【課題】動画において物体が追加された現象を検知するために用いられる、情報処理装置、方法及びコンピュータプログラムを提供する。【解決手段】情報処理装置内のプロセッサは、動画供給源から、１つの画像を対象画像として取得し、対象画像に対して微分処理を施すことにより線分画像を生成し、線分画像の画素値に第１比率を乗じた値と、既に生成された第１蓄積画像の画素値に第３比率を乗じた値とを合算して、新たな第１蓄積画像を生成し、線分画像の画素値に第２比率を乗じた値と、既に生成された第２蓄積画像の画素値に、第４比率を乗じた値とを合算して、新たな第２蓄積画像を生成し、第１蓄積画像から第２蓄積画像を減ずることにより差分画像を生成する。差分画像に基づく参照値が、旧差分画像に基づく最大参照値より大きいときに、動画供給源から新たな１つの画像を取得して保存画像として保存する。【選択図】図２Ａ

Description

本件出願に開示された技術は、動画において追加された物体を検知するために用いられる、情報処理装置、方法及びコンピュータプログラムに関する。

現在、過去の画像と現在の画像とを比較して変化を検知する背景差分技術が知られている（特許文献１〜特許文献８）。

特開２０２０−９５５５４号公報 特開２０２０−３０７６８号公報 特開２０２０−１０６２５７号公報 特開２０１９−１３３２８６号公報 特開２０１９−１２５２６９号公報 特開２０１７−２２００２０号公報 特開平７−３３６６９４号公報 特開平７−３３４６８３号公報

昨今、動画において新たな物体が入ってきた現象を自動的に認識する手法が必要とされている。
そこで、本件出願に開示された様々な実施形態は、動画において物体が追加された現象を検知するために用いられる、情報処理装置、方法及びコンピュータプログラムを提供する。

一態様に係る情報処理装置は、「少なくとも１つのプロセッサを具備する情報処理装置であって、該少なくとも１つのプロセッサが、動画を構成する複数の画像をフレームレートに従って順次出力する動画供給源から、該複数の画像のうちの１つの画像を対象画像として取得し、該対象画像について一連の処理を実行した後に、前記動画供給源から前記複数の画像のうちの別の１つの画像を対象画像として取得し、該対象画像について前記一連の処理を実行する、という動作を繰り返すことが可能であり、前記一連の処理が、前記対象画像に対して微分処理を施すことにより該対象画像に存在する物体の輪郭を抽出した線分画像を生成すること、複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に第１比率を乗じた値と、該線分画像より前の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第１比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第１蓄積画像を生成すること、前記複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に前記第１比率より小さい第２比率を乗じた値と、該線分画像より前の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第２比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第２蓄積画像を生成すること、前記新たな第１蓄積画像から前記新たな第２蓄積画像を減ずることにより差分画像を生成すること、及び、前記差分画像に基づく参照値が、前記線分画像より前のいずれかの線分画像について生成された旧差分画像に基づく最大参照値より大きいときに、前記動画供給源から新たな１つの画像を取得して保存画像として保存し、前記差分画像において第１閾値を上回る画素値を有する複数の画素全体を外側から囲む領域に関する領域情報を保存し、前記差分画像に基づく前記参照値を前記最大参照値として更新すること、を含む」ことができる。
一態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、該少なくとも１つのプロセッサが、動画を構成する複数の画像をフレームレートに従って順次出力する動画供給源から、該複数の画像のうちの１つの画像を対象画像として取得し、該対象画像について一連の処理を実行した後に、前記動画供給源から前記複数の画像のうちの別の１つの画像を対象画像として取得し、該対象画像について前記一連の処理を実行する、という動作を繰り返すことが可能であり、前記一連の処理が、前記対象画像に対して微分処理を施すことにより該対象画像に存在する物体の輪郭を抽出した線分画像を生成すること、複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に第１比率を乗じた値と、該線分画像より前の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第１比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第１蓄積画像を生成すること、前記複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に前記第１比率より小さい第２比率を乗じた値と、該線分画像より前の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第２比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第２蓄積画像を生成すること、前記新たな第１蓄積画像から前記新たな第２蓄積画像を減ずることにより差分画像を生成すること、及び、前記差分画像に基づく参照値が、前記線分画像より前のいずれかの線分画像について生成された旧差分画像に基づく最大参照値より大きいときに、前記動画供給源から新たな１つの画像を取得して保存画像として保存し、前記差分画像において閾値を上回る画素値を有する複数の画素全体を外側から囲む領域に関する領域情報を保存し、前記差分画像に基づく前記参照値を前記最大参照値として更新すること、を含む」ことができる。
一態様に係るコンピュータプログラムは、「少なくとも１つのプロセッサにより実行されることにより、動画を構成する複数の画像をフレームレートに従って順次出力する動画供給源から、該複数の画像のうちの１つの画像を対象画像として取得し、該対象画像について一連の処理を実行した後に、前記動画供給源から前記複数の画像のうちの別の１つの画像を対象画像として取得し、該対象画像について前記一連の処理を実行する、という動作を繰り返す、ように前記少なくとも１つのプロセッサを機能させ、前記一連の処理が、前記対象画像に対して微分処理を施すことにより該対象画像に存在する物体の輪郭を抽出した線分画像を生成すること、複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に第１比率を乗じた値と、該線分画像より前の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第１比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第１蓄積画像を生成すること、前記複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に前記第１比率より小さい第２比率を乗じた値と、該線分画像より前の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第２比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第２蓄積画像を生成すること、前記新たな第１蓄積画像から前記新たな第２蓄積画像を減ずることにより差分画像を生成すること、及び、前記差分画像に基づく参照値が、前記線分画像より前のいずれかの線分画像について生成された旧差分画像に基づく最大参照値より大きいときに、前記動画供給源から新たな１つの画像を取得して保存画像として保存し、前記差分画像において閾値を上回る画素値を有する複数の画素全体を外側から囲む領域に関する領域情報を保存し、前記差分画像に基づく前記参照値を前記最大参照値として更新すること、を含む」ことができる。
一態様に係るスマートレジカートは、「少なくとも１つのプロセッサを具備するスマートレジカートであって、該少なくとも１つのプロセッサが、動画を構成する複数の画像をフレームレートに従って順次出力する撮像部から、該複数の画像のうちの１つの画像を対象画像として取得し、該対象画像について一連の処理を実行した後に、前記撮像部から前記複数の画像のうちの別の１つの画像を対象画像として取得し、該対象画像について前記一連の処理を実行する、という動作を繰り返すことが可能であり、前記一連の処理が、前記対象画像に対して微分処理を施すことにより該対象画像に存在する物体の輪郭を抽出した線分画像を生成すること、複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に第１比率を乗じた値と、該線分画像より前の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第１比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第１蓄積画像を生成すること、前記複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に前記第１比率より小さい第２比率を乗じた値と、該線分画像より前の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、前記第２比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第２蓄積画像を生成すること、前記新たな第１蓄積画像から前記新たな第２蓄積画像を減ずることにより差分画像を生成すること、及び、前記差分画像に基づく参照値が、前記線分画像より前のいずれかの線分画像について生成された旧差分画像に基づく最大参照値より大きいときに、前記第１撮像部から新たな１つの画像を取得して保存画像として保存し、前記差分画像において第１閾値を上回る画素値を有する複数の画素全体を外側から囲む領域に関する領域情報を保存し、前記差分画像に基づく前記参照値を前記最大参照値として更新すること、を含む」ことができる。
別の態様に係る方法は、「スマートレジカートに搭載されるコンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、該少なくとも１つのプロセッサが、動画を構成する複数の画像をフレームレートに従って順次出力する撮像部から、該複数の画像のうちの１つの画像を対象画像として取得し、該対象画像について一連の処理を実行した後に、前記撮像部から前記複数の画像のうちの別の１つの画像を対象画像として取得し、該対象画像について前記一連の処理を実行する、という動作を繰り返すことが可能であり、前記一連の処理が、前記対象画像に対して微分処理を施すことにより該対象画像に存在する物体の輪郭を抽出した線分画像を生成すること、複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に第１比率を乗じた値と、該線分画像より前の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第１比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第１蓄積画像を生成すること、前記複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に前記第１比率より小さい第２比率を乗じた値と、該線分画像より前の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第２比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第２蓄積画像を生成すること、前記新たな第１蓄積画像から前記新たな第２蓄積画像を減ずることにより差分画像を生成すること、及び、前記差分画像に基づく参照値が、前記線分画像より前のいずれかの線分画像について生成された旧差分画像に基づく最大参照値より大きいときに、前記撮像部から新たな１つの画像を取得して保存画像として保存し、前記差分画像において閾値を上回る画素値を有する複数の画素全体を外側から囲む領域に関する領域情報を保存し、前記差分画像に基づく前記参照値を前記最大参照値として更新すること、並びに、を含む」ことができる。
別の態様に係るコンピュータプログラムは、「スマートレジカートに搭載される少なくとも１つのプロセッサにより実行されることにより、動画を構成する複数の画像をフレームレートに従って順次出力する撮像部から、該複数の画像のうちの１つの画像を対象画像として取得し、該対象画像について一連の処理を実行した後に、前記撮像部から前記複数の画像のうちの別の１つの画像を対象画像として取得し、該対象画像について前記一連の処理を実行する、という動作を繰り返す、ように前記少なくとも１つのプロセッサを機能させ、前記一連の処理が、前記対象画像に対して微分処理を施すことにより該対象画像に存在する物体の輪郭を抽出した線分画像を生成すること、複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に第１比率を乗じた値と、該線分画像より前の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１．０から前記第１比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第１蓄積画像を生成すること、前記複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に前記第１比率より小さい第２比率を乗じた値と、該線分画像より前の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第２比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第２蓄積画像を生成すること、前記新たな第１蓄積画像から前記新たな第２蓄積画像を減ずることにより差分画像を生成すること、及び、前記差分画像に基づく参照値が、前記線分画像より前のいずれかの線分画像について生成された旧差分画像に基づく最大参照値より大きいときに、前記撮像部から新たな１つの画像を取得して保存画像として保存し、前記差分画像において閾値を上回る画素値を有する複数の画素全体を外側から囲む領域に関する領域情報を保存し、前記差分画像に基づく前記参照値を前記最大参照値として更新すること、を含む」ことができる。

図１は、一実施形態に係る情報処理装置１００のハードウェア構成の一例を示すブロック図である。 図２Ａは、図１に示した情報処理装置１００により行われる動作の一例を示すフロー図である。 図２Ｂは、図２Ａに示すフローの一部の演算内容を詳細に示す模式図である。 図３は、図１に示した情報処理装置１００により生成される線分画像の一例を示す模式図である。 図４は、図１に示した情報処理装置１００により生成される画像が変化する様子の一例を示す模式図である。 図５は、図１に示した情報処理装置１００により生成された２値化画像に残存する画素を囲む矩形を決定する方法の一例を説明する模式図である。 図６は、図１に示した情報処理装置１００により算出された矩形の面積が変化する様子の一例を示す模式図である。 図７は、図１に示した情報処理装置１００により算出された矩形の面積が変化する様子の別の例を示す模式図である。 図８は、図１に示した情報処理装置１００により生成される各種の画像の一例を示す模式図である。 図９は、図１に示した情報処理装置１００により行われる動作の別の例を示すフロー図である。 図１０は、図１に示した情報処理装置１００を搭載したスマートレジカート１０００の構成の一例を模式的に示す斜視図である。 図１１は、図１０に示したスマートレジカート１０００により行われる動作の一例を示すフロー図である。 図１２は、図１０に示したスマートレジカート１０００の表示装置１０４０に表示される保存画像及び未スキャン投入警告情報の具体例を示す模式図である。

以下、添付図面を参照して様々な実施形態を説明する。なお、図面において共通した構成要素には同一の参照符号が付されている。また、或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面が必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。

１．一実施形態に係る情報処理装置の概要
まず、一実施形態に係る情報処理装置の概要を説明する。
一実施形態に係る情報処理装置は、主に、動画供給源から供給される動画において新たに生じた物体（商品等）を検知し、そのように検知された物体の画像を取得して履歴情報として保存することを、１つの目的とすることができる。ここで、「動画供給源から供給される動画」は、以下に例示する動画のうちの少なくとも１つを含むことができる。
・当該情報処理装置に搭載及び／又は接続されたカメラにより撮像及び出力される動画
・カメラにより撮像及び出力され、通信回線を介して受信される動画
・コンピュータ（サーバ装置等）から通信回線を介して受信される動画
・当該情報処理装置の内部及び／又は外部における任意の場所（コンピュータ及び／又は記録媒体等）に記録された動画ファイルを、動画視聴アプリケーション等を用いて実行することにより受信される動画

上記特許文献１〜上記特許文献８に記載された従来の背景差分技術は、カメラにより撮像された２枚の静止画の間において変化した領域を識別する技術に過ぎない。すなわち、上記従来の背景差分技術は、過去に撮像されたカメラ画像（自然画）と現在のカメラ画像（自然画）とを加算／減算することにより、差分領域を特定する技術に過ぎない。

したがって、このような従来の背景差分技術には、特定された差分領域が、人間の身体の一部（手や腕等）に対応するのか、人間の身体の一部（手や腕等）の影に対応するのか、人間により握持された物体（商品等）に対応するのかを判別する機能は、存在しない。さらに、上記従来の背景差分技術は、外部から指定された複数枚の静止画の差分領域を特定するものであるので、動画には対応することができない。

一方、一実施形態に係る情報処理装置は、主に、次の２つの特徴を有することができる。なお、これらの特徴の詳細については後に詳述する。
まず第１に、上記情報処理装置は、動画を扱うことを前提とした新規な背景差分技術を用いることにより、現在画像と過去画像とを動的に作り出すことができる。ここで、現在画像とは、動画供給源から供給される画像に生じた変化をより早く反映した画像をいい、過去画像とは、動画供給源から供給される画像に生じた変化をより遅く反映した画像をいう。これにより、上記情報処理装置は、望ましい画像（例えば、動画供給源から供給される動画において、新たに生じた物体が写り、その物体に対してその物体を握持している人間の身体やその影等が写っていない画像）を動画供給源から取得するタイミングを、自動的に識別することができる（これに対して、上記従来の背景差分技術は、与えられた複数枚の静止画（現在画像／過去画像）間において変化した領域を抽出することしかできない）。

第２に、上記情報処理装置は、動画供給源から供給される動画において新たに物体（商品等）が生じた際に、その物体が静止したこと（静止物体）を検知することができる。これにより、上記情報処理装置は、その物体が静止したタイミングで、動画供給源からその物体が写る画像を取得することができる。これにより、上記情報処理装置は、動きのある物体（動きブレ、手や腕、これらの影等）の写り込みを排除した、静止した後の物体が写る画像を、動画供給源から取得することができる。

このような特徴は、簡潔にいえば、例えば、次に示す処理を用いることにより実現可能である。なお、これらの処理の詳細については、図面を参照して後に詳述する。

まず、第１に、一実施形態に係る情報処理装置は、動画を構成する複数の画像をフレームレートに従って順次出力する動画供給源から、これら複数の動画のうちの１つの画像（静止画）を対象画像として取得することができる。さらに、上記情報処理装置は、対象画像に対して微分処理（線分抽出処理）を実行することができる。これにより、上記情報処理装置は、対象画像に写る各物体の輪郭が抽出された線分画像を生成することができる。
ここで、対象画像に写る移動物体にはブレが生じるため、線分画像では、そのような移動物体の輪郭は、抽出されにくくなる。
なお、ここでは、対象画像から線分画像を生成するために、一実施形態では、微分処理が用いられるが、別の実施形態では、その他の処理を用いることも可能である。

第２に、上記情報処理装置は、上記のように生成された線分画像を時間軸方向で積分することにより、蓄積画像を取得することができる。これにより、蓄積画像では、静止物の輪郭の値はそのまま残り、移動物の輪郭は消えるか又は薄くなる。

さらに具体的には、上記情報処理装置は、各々が相互に異なる加算比率を用いる２種類の積分器を使用することにより、同一の線分画像を用いて２種類の蓄積画像を生成することができる。２種類の積分器は、短蓄積分器（第１積分器）及び長蓄積分器（第２積分器）を含むことができる。

各積分器は、新たに生成すべき蓄積画像の対象画素の画素値を、現在の線分画像の当該対象画素の画素値に或る比率（比率Ａ）を掛けた値と、これまでに生成された蓄積画像の当該対象画素の画素値に別の比率（１.０−比率Ａ）を掛けた値と、を加算することにより、新たな蓄積画像を生成する、という点において共通する。但し、短蓄積分器は、比率Ａとして、長蓄積分器が用いるものよりも大きい比率（後に説明する第１比率）を用い、長蓄積分器は、比率Ａとして、短蓄積分器が用いるものよりも小さい比率（後に説明する第２比率）を用いることができる。これにより、短蓄積分器は、新しい変化（例えば、移動する物体の動き）を、長蓄積分器よりも早く反映した蓄積画像（第１蓄積画像）を生成し、長蓄積分器は、新しい変化（例えば、移動する物体の動き）を、短蓄積分器よりも遅く反映した蓄積画像（第２蓄積画像）を生成することができる。

第３に、上記情報処理装置は、同一の線分画像を用いて短蓄積分器により生成された第１蓄積画像から、同一の線分画像を用いて長蓄積分器により生成された第２蓄積画像を減ずることにより、上記線分画像について差分画像を生成することができる。本発明者は、動画供給源から供給される動画において、新たな物体が生じた後、その物体が静止した直後付近において、この差分画像に基づく参照値は概ね最大になる性質に着目した。そこで、上記情報処理装置は、差分画像に基づく参照値を監視し、この参照値が最大になるポイントで、動画供給源から新たな画像を取得して保存画像として保存することができる。この保存画像には、それまで移動していた物体が静止した状態で写ることとなる。

なお、差分画像に基づく参照値としては、第１の例として、この差分画像に含まれる各画素の画素値を合計した値を用いることができる。また、差分画像に基づく参照値としては、第２の例として、各画素の画素値を閾値に基づいて２値化した差分画像において、画素値が１である各画素全体を外側から囲む領域の面積を用いることができる。ここで、差分画像を２値化することは、差分画像の各画素について、その画素値が規定閾値（基準値）以上である場合には、当該画素の画素値を「１」に設定し、その画素値が規定閾値（基準値）未満である場合には、当該画素の画素値を「０」に設定することであり得る。

２．一実施形態に係る情報処理装置の構成
次に、一実施形態に係る情報処理装置の構成を説明する。
一実施形態に係る情報処理装置は、動画供給源から出力される動画において新たに生じた物体を検知するために用いられ得る。この情報処理装置は、スマートフォン、携帯電話、パーソナルコンピュータ、マイクロコンピュータ、スーパーコンピュータ、携帯情報端末、端末装置及びサーバ装置等を、これらに限定することなく含むことができる。このような情報処理装置は、例えば、この情報処理装置にインストールされた特定のアプリケーション（ソフトウェア又はソフトウェアとミドルウェアとの組み合わせ）を実行することにより、動画供給源から出力される動画において新たに生じた物体を検知する動作を実行することができる。

２−１．ハードウェア構成
図１は、このような情報処理装置のハードウェア構成の一例を示すブロック図である。図１に示すように、情報処理装置１００は、主に、中央処理装置１０１と、主記憶装置１０２と、入出力（Ｉ／Ｏ）インタフェイス装置１０３と、入力装置１０４と、補助記憶装置１０５と、出力装置１０６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続され得る。

中央処理装置１０１は、「ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）」と称され、主記憶装置１０２に記憶されている命令及びデータに対して演算を行い、その演算の結果を主記憶装置１０２に記憶させることができる。さらに、中央処理装置１０１は、入出力インタフェイス装置１０３を介して、入力装置１０４、補助記憶装置１０５及び出力装置１０６等を制御することができる。情報処理装置１００は、１又はそれ以上のこのような中央処理装置１０１を含むことが可能である。

主記憶装置１０２は、「メモリ」と称され、入力装置１０４、補助記憶装置１０５及び通信網１０等から、入出力インタフェイス装置１０３及び中央処理装置１０１を介して受信した命令及びデータ、並びに、中央処理装置１０１の演算結果を記憶することができる。主記憶装置１０２は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシュメモリ等を、これらに限定することなく含むことができる。

補助記憶装置１０５は、主記憶装置１０２よりも大きな容量を有する記憶装置である。上記特定のアプリケーション等を構成する命令及びデータ（コンピュータプログラム）を記憶することができる。この補助記憶装置１０５は、中央処理装置１０１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）を、入出力インタフェイス装置１０３を介して主記憶装置１０２に送信することができる。補助記憶装置１０５は、磁気ディスク装置及び／又は光ディスク装置等をこれらに限定することなく含むことができる。

入力装置１０４は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ等をこれらに限定することなく含むものである。センサは、後述するように、１又はそれ以上のカメラ等をこれらに限定することなく含むことができる。

出力装置１０６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができる。

このようなハードウェア構成にあっては、中央処理装置１０１は、補助記憶装置１０５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置１０２にロードし、ロードした命令及びデータを演算することができる。よって、中央処理装置１０１は、入出力インタフェイス装置１０３を介して出力装置１０６を制御し、或いはまた、入出力インタフェイス装置１０３及び通信網１０を介して、他の装置との間で様々な情報の送受信を行うことができる。

これにより、情報処理装置１００は、インストールされた特定のアプリケーション等を実行することにより、動画供給源から出力される動画において新たに生じた物体を検知することに関連する動作を実行することができる。かかる動作については、図面を参照して後述する。

なお、情報処理装置１００は、中央処理装置１０１に代えて又は中央処理装置１０１とともに、１又はそれ以上のマイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含むこともできる。

また、通信網１０は、携帯電話網、無線ネットワーク、固定電話網、インターネット、イントラネット（登録商標）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又は、イーサネットネットワークを、これらに限定することなく含むことができる。ここで、無線ネットワークには、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、（ＩＥＥＥ ８０２.１１ａ／ｂ／ｎといったような）ＷｉＦｉ、ＷｉＭａｘ、衛星、レーザー、赤外線を介したＲＦ接続が含まれ得る。

３．情報処理装置１００の動作の一例
次に、一実施形態に係る情報処理装置１００により行われる動作の一例を、図２Ａ及び図２Ｂを同時に参照して説明する。図２Ａは、図１に示した情報処理装置１００により行われる動作の一例を示すフロー図である。図２Ｂは、図２Ａに示すフローの一部の演算内容を詳細に示す模式図である。なお、図２Ａ及び図２Ｂにおいて、同一のフローに対して同一の参照符号が付されている。

以下、便宜上、基本的に図２Ａ及び図２Ｂに示すフローに沿いつつも、途中で他の図面を参照した後に再度図２Ａ及び図２Ｂに戻ることを繰り返しながら、上記動作の具体例を説明することに留意されたい。

まず、ステップ（以下「ＳＴ」という。）２００において、情報処理装置１００は、入力装置１０４、ここでは、一例として図示しないカメラから出力される動画を取得することができる。具体的には、情報処理装置１００は、動画を構成する複数の画像（静止画）を任意のフレームレート（例えば毎秒３０枚／毎秒６０枚等）に従って順次出力する入力装置（カメラ）１０４に接続されている。情報処理装置１００は、カメラ１０４から、上記複数の画像のうちの１つの画像（静止画）を対象画像として取得する度に、以下の経路（Ａ）〜経路（Ｃ）のうちのいずれかの経路を辿る動作を実行することができる。
（Ａ）ＳＴ２００〜ＳＴ２１４を実行した後、ＳＴ２２０を実行して、ＳＴ２００に戻る動作
（Ｂ）ＳＴ２００〜ＳＴ２１４を実行した後、ＳＴ２１６及びＳＴ２１８を実行して、ＳＴ２００に戻る動作
（Ｃ）ＳＴ２００〜ＳＴ２１４を実行した後、ＳＴ２２０を実行した結果、ＳＴ２２２及びＳＴ２２４を実行して、ＳＴ２００に戻る動作

情報処理装置１００は、経路（Ａ）〜経路（Ｃ）のうちのいずれかの経路を辿った後にＳＴ２００に戻ったときには、このＳＴ２００において、カメラ１０４から、上記複数の画像のうちの次の１つの画像を対象画像として取得することができる。ここで、「次の１つの画像」は、前回カメラ１０４から取得した画像の直ぐ後に続く（すなわち１番目に続く）１つの画像であってもよいし、前回カメラから取得した画像から２番目以降に続く１つの画像であってもよい。

なお、好ましい実施形態においては、情報処理装置１００は、十分な性能を有するＣＰＵ１０１を搭載することができる。この場合には、情報処理装置１００は、経路（Ａ）〜経路（Ｃ）のうちのいずれの経路についても、十分に高速に実行することが可能である。よって、情報処理装置１００は、カメラ１０４により出力される上記複数の画像の「各々」について、順次、経路（Ａ）〜経路（Ｃ）のうちのいずれかの経路を辿る動作を実行することができる。

一方、別の実施形態においては、情報処理装置１００は、コスト等を考慮して、より低い性能を有するＣＰＵ１０１を搭載することもあり得る。この場合には、情報処理装置１００は、経路（Ａ）〜経路（Ｃ）のうちのいずれかの経路について、十分に高速に実行することができない可能性がある。よって、情報処理装置１００は、カメラ１０４により出力される上記複数の画像のうちの一部のみについて（すなわち間欠的に）、順次、経路（Ａ）〜経路（Ｃ）のうちのいずれかの経路を辿る動作を実行することができる。

ＳＴ２０２では、情報処理装置１００は、ＳＴ２００において取得した対象画像に対して微分処理を施すことにより、すなわち、対象画像を微分器に通すことにより、線分画像を生成することができる。生成された線分画像は、対象画像に写る各物体の輪郭線を示す情報を含むことができる。ＳＴ２０２において生成される線分画像の具体例について、図３を参照して説明する。図３は、図１に示した情報処理装置１００により生成される線分画像の一例を示す模式図である。

図３において、左方には、ＳＴ２００において取得された対象画像３００Ａが示され、右方には、ＳＴ２０２において生成された線分画像３００Ｂが示されている。例えば、対象画像３００Ａに写る物体３１０に着目すると、線分画像３００Ｂは、物体３１０の輪郭線に対応する画素において大きい画素値を有し、物体３１０の輪郭線に囲まれる部分に対応する画素において小さい画素値を有することができる。物体３１０は、静止している物体であるため、線分画像３００Ｂにおいて、物体３１０の輪郭線は微分処理を経てもくっきりと表れる。これに対して、動いている物体（図示せず）の輪郭線及びその物体の影（図示せず）の輪郭線は、動きブレを含むため、微分処理を経ることによって薄くなる。

このような線分画像の性質についてさらに図４を参照して説明する。図４は、図１に示した情報処理装置１００により生成される画像が変化する様子の一例を示す模式図である。図４には、３つの対象画像４００Ａ、４００Ｂ、４００Ｃからそれぞれ３つの線分画像４１０Ａ、４１０Ｂ、４１０Ｃが生成され、これら３つの線分画像から蓄積画像４２０が生成され、蓄積画像４２０から２値化画像４３０が生成される様子が例示されている。

まず、対象画像４００Ａ、４００Ｂ、４００Ｃに着目する。対象画像４００Ａ、４００Ｂ、４００Ｃは、入力装置（カメラ）１０４から情報処理装置１００により、それぞれ、第１のタイミング、第２のタイミング及び第３のタイミングにおいて取得された画像である。物体４０２は、静止しているため、対象画像４００Ａ〜４００Ｃにおいて静止した状態で写っている。移動している手４０４は、対象画像４００Ａでは位置４０４Ａのみにおいて写り、対象画像４００Ｂでは位置４０４Ｂのみにおいて写り、対象画像４００Ｃでは位置４０４Ｃのみにおいて写る。

次に、線分画像４１０Ａ、４１０Ｂ、４１０Ｃに着目する。物体４０２は静止しているため、その輪郭線（微分値）４１２は、線分画像４１０Ａ、４１０Ｂ、４１０Ｃのいずれにおいても、同一の位置においてくっきりと表れる。これに対して、手４０４は移動している。よって、手４０４の輪郭線（微分値）は、線分画像４１０Ａでは、位置４１０Ａのみにおいて薄く表れ、線分画像４１０Ｂでは、位置４１０Ｂのみにおいて薄く表れ、線分画像４１０Ｃでは、位置４１０Ｃのみにおいて薄く表れる。

なお、蓄積画像４２０及び２値化画像４３０については、後述する。
以上、図３及び図４を参照して、線分画像の具体例について説明した。

図２Ａ及び図２Ｂに戻り、次に、ＳＴ２０４では、情報処理装置１００は、ＳＴ２０２において生成された線分画像に対して第１積分処理を実行することにより、すなわち、線分画像を第１積分器（短蓄積分器）に通すことにより、蓄積画像（第１蓄積画像）を生成することができる。

具体的には、図２Ｂに示すように、第１積分器（短蓄積分器）２０４は、例えば、第１乗算器２０４Ａと、減算器２０４Ｂと、第２乗算器２０４Ｃと、加算器２０４Ｄと、を含むことができる。

第１乗算器２０４Ａは、微分器２０２により出力された線分画像（Ｎ番目の線分画像）に含まれる複数の対象画素の各々の画素値に対して第１比率を乗ずることができる。減算器２０４Ｂは、例えば１.０から第１比率を減じた比率を出力することができる。

第２乗算器２０４Ｃは、その時点で第１積分器（短蓄積分器）２０４により生成された第１蓄積画像（Ｎ−１番目の線分画像に基づいて生成された第１蓄積画像）に含まれる複数の対象画素の各々の画素値に対して、減算器２０４Ｂからの比率（１.０−第１比率）を乗ずることができる。

加算器２０４Ｄは、上記複数の対象画素に含まれる対象画素ごとに、第１乗算器２０４Ａにより出力される画素値（Ｎ番目の線分画像におけるその対象画素の画素値×第１比率）と、第２乗算器２０４Ｃにより出力される画素値（Ｎ−１番目の線分画像に基づいて生成された第１蓄積画像におけるその対象画素の画素値×（１.０−第１比率））と、を加算することができる。これにより、加算器２０４Ｄは、上記複数の対象画素を含む新たな第１蓄積画像を生成することができる。

このようにして、情報処理装置１００は、複数の対象画素の各々について、Ｎ番目の線分画像に含まれる当該対象画素の画素値に第１比率（例えば０.０７）を乗じた値と、Ｎ−１番目の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１.０から第１比率を減じた比率（例えば０.９３）を乗じた値と、を合算することにより得られた画素値を、新たな第１蓄積画像の当該対象画素の画素値とすることができる。これにより、情報処理装置１００は、Ｎ番目の線分画像と、Ｎ−１番目の線分画像について生成された第１蓄積画像と、を用いて、新たな第１蓄積画像、すなわち、Ｎ番目の線分画像についての第１蓄積画像を生成することができる。

ここでは、一例として、第１比率が０.０７である場合について説明したが、第１比率は、後述する第２比率より大きい任意の比率（０より大きく１未満の比率）とすることができる。この場合、第１比率を大きく設定することにより、第１蓄積画像は、より速い変化（動き）を検知及び反映することができる。一方、第１比率を小さく設定することにより、第１蓄積画像は、より速い変化（動き）を無視して反映しないようにすることができる。情報処理装置１００が用いられる用途・アプリケーションに応じて、第１比率を設定することができる。

ここでは、Ｎ番目の線分画像についての第１蓄積画像を生成するために、Ｎ番目の線分画像に含まれるすべての画素（Ｎ−１番目の第１蓄積画像に含まれるすべての画素）の各々について、その画素の画素値に第１比率を乗じた値と、Ｎ−１番目の線分画像に含まれるその画素の画素値に、１.０から第１比率を減じた比率を乗じた値と、を合算した画素値を、新たな第１蓄積画像に含まれるその画素の画素値とする場合について説明した。すなわち、「複数の対象画素」が、Ｎ番目の線分画像（Ｎ−１番目の線分画像）に含まれるすべての画素である場合について説明した。しかし、別の実施形態では、「複数の対象画素」は、Ｎ番目の線分画像（Ｎ−１番目の線分画像）に含まれる一部の画素であってもよい。すなわち、Ｎ番目の線分画像についての第１蓄積画像を生成するために、Ｎ番目の線分画像に含まれるすべての画素及びＮ−１番目の線分画像に含まれるすべての画素を用いることは必須ではなく、Ｎ番目の線分画像に含まれる一部の画素及びＮ−１番目の線分画像に含まれる当該一部の画素のみを用いることも可能である。ここでいう一部の画素は、例えば、Ｎ番目の線分画像（Ｎ−１番目の線分画像）に含まれるすべての画素から、当該線分画像の外縁部分に存在する複数の画素（全体として略ロ字状に延びる複数の画素）を除いた画素であってもよい。

このように生成される第１蓄積画像（短蓄画像）の具体例について、先に示した図４を参照する。図４に示された蓄積画像４２０は、第１蓄積画像の一例として捉えることも可能である。第一蓄積画像４２０は、３つの線分画像４１０Ａ、４１０Ｂ、４１０Ｃを順次第１積分器（短蓄積分器）に通すことにより生成された画像である。

第１蓄積画像４２０では、静止している物体４０２の輪郭線（微分値）４１２は、線分画像４１０Ａ〜４１０Ｃに比べて、ほとんど変化しない。一方、移動している手４０４の輪郭線（微分値）は、第１蓄積画像４２０では、線分画像４１０Ａ〜４１０Ｃに比べて、さらに小さくなる。したがって、第１蓄積画像４２０では、移動している手４０４の輪郭線は、線分画像４１０Ａ〜４１０Ｃに比べて、さらに薄く映る。このような第１蓄積画像４２０は、２値化処理を施されることによって、図４に例示された２値化画像４３０のように、手のみを消し去ることが可能になる。
以上、第１蓄積画像の具体例について説明した。

再度図２Ａ及び図２Ｂに戻り、次に、ＳＴ２０６では、情報処理装置１００は、ＳＴ２０２において生成された線分画像に対して第２積分処理を実行することにより、すなわち、線分画像を第２積分器（長蓄積分器）に通すことにより、蓄積画像（第２蓄積画像）を生成することができる。

具体的には、図２Ｂに示すように、第２積分器（長蓄積分器）２０６は、例えば、第１乗算器２０６Ａと、減算器２０６Ｂと、第２乗算器２０６Ｃと、加算器２０６Ｄと、を含むことができる。

第１乗算器２０６Ａは、微分器２０２により出力された線分画像（Ｎ番目の線分画像）に含まれる複数の対象画素の各々の画素値に対して第２比率を乗ずることができる。減算器２０６Ｂは、例えば１.０から第２比率を減じた比率を出力することができる。

第２乗算器２０６Ｃは、その時点で第２積分器（長蓄積分器）２０６により生成された第２蓄積画像（Ｎ−１番目の線分画像に基づいて生成された第２蓄積画像）に含まれる複数の対象画素の各々の画素値に対して、減算器２０６Ｂからの比率（１.０−第２比率）を乗ずることができる。

加算器２０６Ｄは、上記複数の対象画素に含まれる対象画素ごとに、第１乗算器２０６Ａにより出力される画素値（Ｎ番目の線分画像におけるその対象画素の画素値×第２比率）と、第２乗算器２０６Ｃにより出力される画素値（Ｎ−１番目の線分画像に基づいて生成された第２蓄積画像におけるその対象画素の画素値×（１.０−第２比率））と、を加算することができる。これにより、加算器２０６Ｄは、上記複数の対象画素を含む新たな第２蓄積画像を生成することができる。

このようにして、情報処理装置１００は、複数の対象画素の各々について、Ｎ番目の線分画像に含まれる当該対象画素の画素値に第２比率（例えば０.０４）を乗じた値と、Ｎ−１番目の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、１.０から第２比率を減じた比率（例えば０.９６）を乗じた値と、を合算することにより得られた画素値を、新たな第２蓄積画像の当該対象画素の画素値とすることができる。これにより、情報処理装置１００は、Ｎ番目の線分画像と、Ｎ−１番目の線分画像について生成された第２蓄積画像と、を用いて、新たな第２蓄積画像、すなわち、Ｎ番目の線分画像についての第２蓄積画像を生成することができる。

ここでは、一例として、第２比率が０.０４である場合について説明したが、第２比率は、上述した第１比率より小さい任意の比率（０より大きく１未満の比率）とすることができる。

ここでは、Ｎ番目の線分画像についての第２蓄積画像を生成するために、Ｎ番目の線分画像に含まれるすべての画素（Ｎ−１番目の第２蓄積画像に含まれるすべての画素）の各々について、その画素の画素値に第２比率を乗じた値と、Ｎ−１番目の線分画像に含まれるその画素の画素値に、１.０から第２比率を減じた比率を乗じた値と、を合算した画素値を、新たな第２蓄積画像に含まれるその画素の画素値とする場合について説明した。すなわち、「複数の対象画素」が、Ｎ番目の線分画像（Ｎ−１番目の線分画像）に含まれるすべての画素である場合について説明した。しかし、別の実施形態では、「複数の対象画素」は、Ｎ番目の線分画像（Ｎ−１番目の線分画像）に含まれる一部の画素であってもよい。すなわち、Ｎ番目の線分画像についての第２蓄積画像を生成するために、Ｎ番目の線分画像に含まれるすべての画素及びＮ−１番目の線分画像に含まれるすべての画素を用いることは必須ではなく、Ｎ番目の線分画像に含まれる一部の画素及びＮ−１番目の線分画像に含まれる当該一部の画素のみを用いることも可能である。ここでいう一部の画素は、例えば、Ｎ番目の線分画像（Ｎ−１番目の線分画像）に含まれるすべての画素から、当該線分画像の外縁部分に存在する複数の画素（全体として略ロ字状に延びる複数の画素）を除いた画素であってもよい。この場合、第２蓄積画像における「複数の対象画素」は、第１蓄積画像における「複数の対象画素」と一致することが望ましい。

ＳＴ２０４において情報処理装置１００により生成された第１蓄積画像とＳＴ２０６において情報処理装置１００により生成された第２蓄積画像とを比較すると、第１蓄積画像の生成に使用される第１比率は、第２蓄積画像の生成に使用される第２比率よりも大きい。この結果、同一の線分画像について生成された第１蓄積画像は、その線分画像に生じた変化に対してより早く反応し、同一の線分画像について生成された第２蓄積画像は、その線分画像に生じた変化に対してより遅く反応する。すなわち、同一の線分画像について生成された第１蓄積画像は、その線分画像に新たに追加された物体をより早く表し、同一の線分画像について生成された第２蓄積画像は、その線分画像に新たに追加された（新たに入ってきた）上記物体をより遅く表す。このような性質に基づいて、情報処理装置１００は、第１蓄積画像を現在画像として利用し、第２蓄積画像を過去画像として利用することができる。ここで、現在画像とは、動画供給源から供給される画像に生じた変化をより早く反映した画像をいい、過去画像とは、動画供給源から供給される画像に生じた変化をより遅く反映した画像をいう。

次に、ＳＴ２０８において、情報処理装置１００は、ＳＴ２０４において生成された同一の線分画像についての第１蓄積画像（短蓄画像）から、ＳＴ２０６において生成された当該同一の線分画像についての第２蓄積画像（長蓄画像）を減ずることにより、当該同一の線分画像についての差分画像を生成することができる。

具体的には、情報処理装置１００は、例えば、Ｎ番目の線分画像についての第１蓄積画像及びＮ番目の線分画像についての第２蓄積画像を用いる場合には、第１蓄積画像に含まれる複数の対象画素（例えば、１９２０×１２００の対象画素）に含まれる１番目の対象画素の画素値から、第２蓄積画像に含まれる１番目の対象画素の画素値を減ずることにより得られた画素値を、Ｎ番目の線分画像についての差分画像に含まれる１番目の対象画素の画素値とすることができる。

同様に、情報処理装置１００は、第１蓄積画像に含まれる上記複数の対象画素に含まれる２番目の対象画素の画素値から、第２蓄積画像に含まれる２番目の対象画素の画素値を減ずることにより得られた画素値を、Ｎ番目の線分画像についての差分画像に含まれる２番目の対象画素の画素値とすることができる。

このように、情報処理装置１００は、上記複数の対象画素の各々について、Ｎ番目の線分画像について生成された第１蓄積画像の当該対象画素の画素値から、Ｎ番目の線分画像について生成された第２蓄積画像の当該対象画素の画素値を減ずることにより、Ｎ番目の線分画像についての差分画像を生成することができる。

一実施形態では、差分画像の各画素の画素値は、例えば８ビットで表現され得る。すなわち、差分画像の各画素の画素値は、例えば０〜２５５の範囲にある値を有することができる。

このような差分画像は、動画供給源から供給される画像に生じた変化をより早く反映した画像である現在画像から、動画供給源から供給される画像に生じた変化をより遅く反映した過去画像を差し引くことにより生成された画像である。これにより、差分画像は、動画供給源から供給される画像において変化が生じた部分のみを取り出して写す画像であるということができる。

なお、上記「複数の対象画素」は、一実施形態では、Ｎ番目の線分画像についての第１蓄積画像（及び第２蓄積画像）に含まれるすべての画素とすることができる。別の実施形態では、上記「複数の対象画素」は、Ｎ番目の線分画像についての第１蓄積画像（及び第２蓄積画像）に含まれる一部の画素とすることもできる。

次に、ＳＴ２１０において、情報処理装置１００は、差分画像を規定閾値（基準値）に基づいて２値化することにより、２値化画像を生成することができる。具体的には、情報処理装置１００は、差分画像の各画素について、その画素値が規定閾値（基準値）以上である場合には、当該画素の画素値を「１」に設定し、その画素値が規定閾値（基準値）未満である場合には、当該画素の画素値を「０」に設定することができる。このように生成された２値化画像の各画素の画素値は「１」又は「０」である。

ここで、２値化画像の具体例について、先に用いた図４を参照して説明する。図４に関連して上述したように、線分画像４１０Ａ、４１０Ｂ、４１０Ｃでは、静止している物体４１２の輪郭線（微分値）はくっきり表れ、移動している手４０４の輪郭線（微分値）は薄くなる。また、第１蓄積画像（短蓄画像）４２０では、静止している物体４１２の輪郭線はそのまま残り、移動している手４０４の輪郭線はさらに薄くなっている。このようにして、第１蓄積画像４２０では、静止している物体４１２の輪郭線の強さと、移動している手４０４の輪郭線の強さとの差は、大きくなっている。

ここで、第１蓄積画像（短蓄画像）４２０と、第２蓄積画像（長蓄画像）（図示せず）との間に生じた変化が、物体４１２が新たに置かれたことである場合には、差分画像は、主に、静止している物体４１２の輪郭線を写している。この差分画像が移動している手４０４の薄くなった輪郭線を写していたとしても、この差分画像では、静止している物体４１２の輪郭線の強さと、移動している手４０４の輪郭線の強さとの差が大きくなっている。したがって、このような差分画像を規定閾値（基準値）に基づいて２値化することにより生成される２値化画像４３０では、移動している手４０４の輪郭線は「０」に設定され、静止している物体４１２の輪郭線は「１」に設定される。これにより、２値化画像４３０では、静止している物体４１２の輪郭線と移動している手４１２の輪郭線とが、正確にかつ安定的に分離されることになる。したがって、図４に例示するように、２値化画像４３０は、専ら静止している物体４１２の輪郭線のみを含むことができる。

再度図２Ａに戻り、次に、ＳＴ２１２において、情報処理装置１００は、２値化画像において残存する画素を囲う矩形を決定することができる。すなわち、情報処理装置１００は、２値化画像において画素値「１」を有する画素全体を囲う矩形を決定することができる。ここで、２値化画像において画素値「１」を有する画素は、図４に示した例では、物体４１２の輪郭線に対応する各画素である。さらに、情報処理装置１００は、このように決定した矩形の面積を算出することができる。

ＳＴ２１２において情報処理装置１００が行う具体的な情報処理の一例について、図５を参照して説明する。図５は、図１に示した情報処理装置１００により生成された２値化画像に残存する画素全体を外側から囲む領域(例えば矩形)を決定する方法の一例を説明する模式図である。

まず、情報処理装置１００は、２値化画像において画素値「１」を有する画素（図５の例では、物体５００の輪郭線５０２）の座標値をスキャンすることにより、このような画素値「１」を有する画素について、ｘ座標の最大値及び最小値、並びに、ｙ座標の最大値及び最小値を抽出することができる。

次に、情報処理装置１００は、（ｘ座標の最小値，ｙ座標の最小値）−（ｘ座標の最大値，ｙ座標の最大値）という形式により、画素値「１」を有する画素を囲う矩形５１０を定義することができる。このような矩形５１０に関する情報、すなわち、例えば（ｘ座標の最小値，ｙ座標の最小値）−（ｘ座標の最大値，ｙ座標の最大値）を、矩形情報（領域情報）ということができる。

さらに、情報処理装置１００は、（ｘの最大値−ｘの最小値）×（ｙの最大値−ｙの最小値）により、矩形５１０の面積を算出することができる。
なお、図５に示した例では、「２値化画像に残存する画素全体を外側から囲む領域」が、ｘ軸に平行に延びる２本の線と、ｙ軸に平行に延びる２本の線と、により形成される。しかし、「２値化画像に残存する画素全体を外側から囲む領域」は、２値化画像に残存する画素全体を外側から囲む限りにおいて、３本以上の線により形成されるものであってもよい。
また、図５に示した例は単なる一例に過ぎず、情報処理装置１００は、物体５００の輪郭線５０２により囲まれる領域の面積自体を算出してもよい。

以上、ＳＴ２１２において情報処理装置１００により行われる処理の例について説明した。

再度図２Ａに戻り、次に、ＳＴ２１４以降において、情報処理装置１００は、ＳＴ２１２で算出された矩形の面積に基づいた処理を実行することができる。このような矩形の面積に基づいた処理を行う理由について、図６及び図７を参照して説明する。図６は、図１に示した情報処理装置１００により算出された矩形の面積が変化する様子の一例を示す模式図である。図７は、図１に示した情報処理装置１００により算出された矩形の面積が変化する様子の別の例を示す模式図である。

図６には、時間の経過とともに、第１蓄積画像（短蓄画像）の各画素の画素値の合計値６００、及び、第２蓄積画像（長蓄画像）の各画素の画素値の合計値６０２が変化する様子が示されている。

動画供給源から供給される画像において、人間の手に握持された物体（対象物）が置かれる動作が写されている場合について考える。図４を参照して上述したように、第１蓄積画像（短蓄画像）では、移動している人間の手の輪郭線及び移動している物体の輪郭線は、薄くなる。したがって、人間の手及び対象物が生じた時点６１０から、人間の手により対象物が置かれた時点６１６までの期間６１２、すなわち、人間の手及びこれに握持された対象物が移動している間の期間６１２においては、第１蓄積画像（短蓄画像）では、人間の手及び対象物の輪郭線は、ボケた状態になり、はっきりした状態にはならない。これにより、期間６１２においては、第１蓄積画像の各画素の画素値の合計値６００は、小さい。この結果、第１蓄積画像（短蓄画像）の各画素の画素値の合計値６００と第２蓄積画像（長蓄画像）の各画素の画素値の合計値６０２との差分は小さい。

しかし、対象物が置かれることにより静止した後にあっては、図４を参照して上述したように、対象物の輪郭線はクリアになりはっきりした線分となる。したがって、時点６１６付近以降の期間６１４にあっては、合計値６００は、増加していく。一方、第２蓄積画像の生成に用いられる第２比率は、上述したように、第１蓄積画像の生成に用いられる第１比率より小さい。この結果、この期間６１４では、合計値６００と合計値６０２との差分が拡大していく。この例では、時点６１８において、合計値６００と合計値６０２との差分は最大となる。この後、合計値６００は、最大値６０４に到達するとその値６０４を維持することになる。

この後、第２蓄積画像の各画素の画素値の合計値６０２は、第１蓄積画像の各画素の画素値の合計値６００に比べて、より遅くすなわちより長い時間をかけて、最大値６０４に到達する。これにより、合計値６００と合計値６０２との差分は０になる。

このような第１蓄積画像及び第２蓄積画像の性質を利用すれば、人間の手により対象物が置かれた直後のタイミングを検知することが可能である。一実施形態では、情報処理装置１００は、合計値６００から合計値６０２を減じた値が最大である時点６１８を、対象物が置かれた直後のタイミングとして検知することができる。この時点６１８又はこの時点６１８の付近において入力装置（カメラ）１０４から取得したカメラ画像は、対象物を握持する手が写り込まない対象物のみを写す画像になっている。

合計値６００から合計値６０２を減じた値は、差分画像の各画素の画素値を合計した値に略等しい。ＳＴ２１２で算出される矩形の面積は、上述したように差分画像に残存する画素の画素値に基づいて生成されている。よって、矩形の面積は、合計値６００から合計値６０２を減じた値（差分画像の各画素の画素値を合計した値）の増加（又は減少）に応じて、増加（又は減少）するといえる（この理由により、図６の縦軸は「矩形の面積」として記載されている）。このようにして、情報処理装置１００は、矩形の面積が最大である時点６１８を、物体が置かれた直後のタイミングとして検知することができる。

ここで、情報処理装置１００は、ある対象画像について矩形の面積を算出した時点（図２Ａに示したＳＴ２１２）においては、その矩形の面積が最大値であるか否かを判定することはできない。なぜならば、その対象画像について算出された矩形の面積は、次回以降にＳＴ２００で取得される対象画像について算出される矩形の面積より小さい可能性があるからである。

したがって、情報処理装置１００は、図７に示す手法により、矩形の面積の最大値を決定することができる。図７において、縦軸は矩形の面積を示し、横軸は時間を示す。なお、期間７００及び期間７１０にあっては、物体が移動しているため、矩形の面積は小さくなっている。

情報処理装置１００は、或る対象画像についてＳＴ２１２で算出した矩形の面積が、前回以降の対象画像について算出した矩形の面積の最大値より大きいと、ＳＴ２１４において判定する度に、上記或る対象画像について算出した矩形の面積を最大値として上書き保存することができる。図７に示す例では、情報処理装置１００は、矩形の面積を示す曲線において楕円状の記号が付されたタイミングで、当該対象画像について算出した矩形の面積を最大値として上書き保存することができる。この後、矩形の面積が閾値（最小値）７０２以下となった時点７０４において、情報処理装置１００は、それまでに最大値として保存されている矩形の面積を、最終的な最大値として決定することができる。

その後も同様に、情報処理装置１００は、矩形の面積を示す曲線において楕円状の記号が付されたタイミングで、当該対象画像について算出した矩形の面積を最大値として上書き保存することができる。この後、矩形の面積が閾値（最小値）７０２以下となった時点７１２において、情報処理装置１００は、それまでに最大値として保存されている矩形の面積を、最終的な最大値として決定することができる。

以上、情報処理装置１００が矩形の面積に基づいた処理を行う理由について説明した。

再度図２Ａに戻り、ＳＴ２１４では、情報処理装置１００は、ＳＴ２１２で算出した矩形の面積が、過去に算出した矩形の面積、すなわち、前回以前の差分画像に基づいて算出された矩形の面積よりも大きいか否かを判定することができる。

情報処理装置１００は、ＳＴ２１２で算出した矩形の面積が過去に算出した矩形の面積より大きいと判定した場合には、処理は後述するＳＴ２１６に移行する。一方、情報処理装置１００は、ＳＴ２１２で算出した矩形の面積が過去に算出した矩形の面積以下であると判定した場合には、処理は後述するＳＴ２２０に移行する。

ＳＴ２１６では、情報処理装置１００は、その時点において入力装置（カメラ）１０４から出力される画像（最新カメラ画像）を取得することができる。次に、ＳＴ２１８において、情報処理装置１００は、ＳＴ２１６で取得した画像を保存画像として保存（更新）することができる。さらに、情報処理装置１００は、ＳＴ２１２で決定した矩形（図５に例示した矩形５１０）に関する情報、すなわち、例えば（ｘ座標の最小値，ｙ座標の最小値）−（ｘ座標の最大値，ｙ座標の最大値）を、矩形情報（領域情報）として保存（更新）することができる。さらにまた、情報処理装置１００は、ＳＴ２１２で算出した矩形の面積を最大値として保存（更新）することができる。この後、処理は、上述したＳＴ２００に戻る。

一方、（ＳＴ２１２で算出した矩形の面積が過去に算出した矩形の面積以下であると判定した場合には）ＳＴ２２０において、情報処理装置１００は、ＳＴ２１２で算出した矩形の面積が閾値（最小値）以下となっているか否かを判定することができる。

情報処理装置１００は、ＳＴ２１２で算出した矩形の面積が閾値（最小値）を上回ると判定した場合には、処理は上述したＳＴ２００に戻る。

一方、情報処理装置１００は、ＳＴ２１２で算出した矩形の面積が閾値（最小値）以下になっていると判定した場合には、処理はＳＴ２２２に移行する。

ＳＴ２２２において、情報処理装置１００は、規定サイズ以上の矩形情報（領域情報）が保存されている場合には、現時点において保存されている保存画像及び矩形情報（領域情報）を、出力装置１０６に出力すべき情報として決定することができる。一実施形態では、情報処理装置１００は、現時点において保存されている保存画像及び矩形情報（領域情報）を、出力装置１０６に出力することができる。

次に、ＳＴ２２４において、情報処理装置１００は、保存情報、すなわち、保存画像、矩形情報（領域情報）及び矩形の面積の最大値を、すべてクリア（消去）することができる。この後、処理は上述したＳＴ２００に戻る。

以上、図２Ａ及び図２Ｂに示したフローに沿って、情報処理装置１００により行われる動作の一例について説明した。

４．情報処理装置１００により生成される各種画像の具体例
次に、先に参照した図２Ａ及び図２Ｂに示すフローにおいて情報処理装置１００により生成される各種の画像の一例について、図２Ａ及び図２Ｂに加えて、図８を参照して簡単に説明する。図８は、図１に示した情報処理装置１００により生成される各種の画像の一例を示す模式図である。

ここでは、動画供給源から出力される画像において、図３に示した物体３１０が新たな物体として人間の手により投入（配置）される場合について簡単に説明する。

図８において、上段には、同一の線分画像を用いてＳＴ２０４で生成された第１蓄積画像（短蓄画像）８００Ａ、及び、同一の線分画像を用いてＳＴ２０６で生成された第２蓄積画像（長蓄画像）８００Ｂが例示されている。上述したように、短蓄積分器は、長蓄積分器に用いられる第２比率よりも大きい第１比率を用いるため、新たに投入された物体の輪郭線を、第１蓄積画像８００Ａにおいて、より早く反映することができる。別言すれば、長蓄積分器は、短蓄積分器に用いられる第１比率よりも小さい第２比率を用いるため、新たに投入された物体の輪郭線を、第２蓄積画像８００Ｂにおいて、より遅く反映することができる。第１蓄積画像８００Ａは、現在画像として用いられ、第２蓄積画像８００Ｂは、過去画像として用いられる。

図８において、中段左方には、ＳＴ２０８で生成された差分画像８１０が例示されている。差分画像８１０は、第１蓄積画像８００Ａから第２蓄積画像８００Ｂを差し引くことにより、投入された物体の輪郭線を取り出すことができる。

図８において、中段右方には、ＳＴ２１０で生成された２値化画像８２０が例示されている。２値化画像８２０では、２値化処理によって、背景ノイズに対応する画素には画素値「０」が付与されることによって、かかる背景ノイズが除去されている。さらに、２値化画像８２０では、２値化処理によって、投入された物体の輪郭線に対応する画素には画素値「１」が付与されることによって、当該物体の輪郭線がより明確に写っている。

図８において、下段には、ＳＴ２１８で保存されたカメラ画像（保存画像）８３０が例示されている。一実施形態では、保存画像８３０には、矩形情報（領域情報）８３２が反映され得る。すなわち、保存画像８３０と矩形情報（領域情報）とは組み合わせて保存（更新）され得る。別の実施形態では、保存画像８３０と矩形情報（領域情報）とは、それじれ、別々に保存（更新）され得る。

また、さらに別の実施形態では、保存画像８４０は、ＳＴ２１６で取得したカメラ画像から、矩形情報（領域情報）により識別される矩形部分のみが切り出された画像であり得る。この保存画像８４０もまた、保存画像と矩形情報（領域情報）とが組み合わせて保存（更新）された１つの形態である。

なお、図８に例示された保存画像８３０及び保存画像８４０は、最終的な保存画像として決定される画像である。これらの画像は、図６に示したような、第１蓄積画像６００の各画素の画素値の合計値６００から第２蓄積画像６０２の各画素の画素値の合計値６０２を減じた値が最大となったタイミング、別言すれば、ＳＴ２１２で算出した矩形の面積が最大となったタイミングにおいて、入力装置（カメラ）１０４から取得された最新のカメラ画像である。このようなタイミングにおいて取得された最新のカメラ画像では、投入された物体には、動いている手やその影などが入り込んでいないことが理解される。これにより、保存画像８３０において矩形情報（領域情報）により特定される部分８３２、及び、保存画像８４０には、動いている手やその影などが写り込んでいないことが分かる。

５．情報処理装置１００の変形例
上述した様々な実施形態では、２値化画像において残存する画素全体を外側から囲む矩形の面積が最大となるタイミングを用いて、物体が置かれた直後のタイミングを検出する場合について説明した。「２値化画像において残存する画素全体を外側から囲む矩形の面積」は、差分画像を２値化することにより生成された２値化画像に基づいているため、「差分画像に基づく参照値」の一態様（第１の態様）である。
別の実施形態では、差分画像の各画素の画素値を合計した値（以下「差分合計値」という。）が最大となるタイミングを用いて、物体が置かれた直後のタイミングを検出することも可能である。この「差分合計値」もまた、「差分画像に基づく参照値」の一態様（第２の態様）である。なお、「差分画像に基づく参照値」は、これらの態様に限定されず、第１の態様の一部を変更・修正した態様、第２の態様の一部を変更・修正した態様、及び／又は、これらの態様とは異なる他の任意の態様、を含むことができる。

以下、差分画像の差分合計値が最大となるタイミングを用いて、物体が置かれた直後のタイミングを検出する場合について、図９を参照して簡単に説明する。図９は、図１に示した情報処理装置１００により行われる動作の別の例を示すフロー図である。

図９に示す動作のうち図２Ａに示した動作とは異なる部分のみについて説明する。ＳＴ９０２において、情報処理装置１００は、ＳＴ２０８で生成した差分画像の各画素の画素値を合計することにより、差分合計値を算出することができる。

ＳＴ９０４において、情報処理装置１００は、図２Ａに示したＳＴ２１０及びＳＴ２１２におけるものと同様の動作を実行することができる。但し、情報処理装置１００は、２値化画像において残存する画素を囲う矩形の面積を算出する必要はない。なお、情報処理装置１００は、ＳＴ９０４における動作を、図９に例示したタイミングに代えて、次のいずれかのタイミングで実行することも可能である。
・ＳＴ２０８とＳＴ９０２との間のタイミング
・ＳＴ９０６とＳＴ２１６との間のタイミング
・ＳＴ２１６とＳＴ９０８との間のタイミング

ＳＴ９０６において、情報処理装置１００は、差分合計値が過去に算出した差分合計値、すなわち、前回以前の差分画像に基づいて算出された差分合計値よりも大きいか否かを判定することができる。

ＳＴ９０８では、情報処理装置１００は、図２Ａに示したＳＴ２１８におけるものと基本的に同一の動作を行うことができる。但し、情報処理装置１００は、矩形の面積を最大値として保存することに代えて、ＳＴ９０２で算出した差分合計値を最大値として保存（更新）することができる。

ＳＴ９１０において、情報処理装置１００は、ＳＴ９０２で算出した差分合計値が閾値（最小値）以下となっているか否かを判定することができる。

ＳＴ９１２において、情報処理装置１００は、図２Ａに示したＳＴ２２４におけるものと基本的に同一の動作を行うことができる。但し、情報処理装置１００は、矩形の面積の最大値をクリアすることに代えて、差分合計値の最大値をクリアすることができる。

以上説明したように、様々な実施形態によれば、情報処理装置１００は、動画を構成する複数の画像をフレームレートに従って順次出力する動画供給源から取得した対象画像を用いて、第１蓄積画像（現在画像）及び第２蓄積画像（過去画像）を動的に作り出し、第１蓄積画像から第２蓄積画像を減じた差分画像に基づく参照値が最大値となるタイミング（又はその付近のタイミング）で、動画供給源から最新の画像を取得することができる。このようなタイミングで取得した最新の画像は、動画に新たな物体が入ってきた後、その物体が静止した直後のタイミング（又はその付近のタイミング）における画像である。よって、このように取得した最新の画像においては、上記新たな物体に対して、動きのある物体（その物体を握持する手や腕、又は、それらの影等）が写り込んでいない。したがって、上記新たな物体が静止した状態にある画像を取得することができる。
なお、差分画像に基づく参照値が最大値となるタイミングでカメラから取得する画像だけでなく、そのようなタイミングを基準として前後一定時間以内にあるタイミングにカメラから取得する画像であっても、上記新たな物体に対して、動きのある物体（その物体を握持する手や腕、又は、それらの影等）が写り込んでいない画像である可能性がある。したがって、本件出願に開示される情報処理装置１００において、差分画像に基づく参照値が最大値となるタイミングとは、前後一定時間以内という幅を含むものであり得る。このような一定時間は、情報処理装置１００が用いられる用途・アプリケーションに応じて適当に設定可能又は更新可能である。

６．情報処理装置１００の応用例
上述した様々な実施形態に係る情報処理装置１００は、以下に例示する用途・アプリケーションに対して、これらに限定することなく適用することも可能である。
（１）空港等における特定の場所（手荷物検査場所、ロビー、待合室等）を撮像する動画において乗客の手荷物等が出現したことを検知すること、及び／又は、そのような手荷物等が静止した直後の画像（特にその手荷物等を囲む領域のみを写す画像）を取得すること
（２）工場等に設けられた特定の生産ラインを撮像する動画において加工対象物が出現したことを検知すること、及び／又は、そのような加工対象物が静止した直後の画像（特にその加工対象物等を囲む領域のみを写す画像）を取得すること
（３）建物、会場等を撮像する動画において訪問者が出現したことを検知すること、及び／又は、そのような訪問者が静止した直後の画像（特にその訪問者を囲む領域のみを写す画像）を取得すること
（４）手術を受ける人体を撮影する動画において物体（臓器又は異物等）が出現したことを検知すること、及び／又は、その物体が静止した直後の画像（特にその物体を囲む領域のみを写す画像）を取得すること
（５）スマートレジカートのカゴを撮像する画像において新たな商品等が出現したことを検知すること、及び／又は、そのような商品等が静止した直後の画像（特にその商品等を囲む領域のみを写す画像）を取得すること
（６）その他、任意の場所又は領域を撮像する画像において新たな物体が出現したことを検知すること、及び／又は、そのような物体が静止した直後の画像（特にその物体を囲む領域のみを写す画像）を取得すること

７．情報処理装置１００の具体的な適用例
上述した様々な実施形態に係る情報処理装置１００をスマートレジカートに適用した場合について、説明する。

昨今、スーパーマーケット及びディスカウントショップ等で購入者がスマートレジカートを用いて商品の搬送及び購入を行うことができる。購入者は、商品を購入する際には、その商品に付されたバーコードをスマートレジカートに設けられたスキャナに読み取らせるというスキャン操作を行う必要がある。購入者がこのようなスキャン操作を行うことにより、スマートレジカートに設けられた情報処理装置がその商品に関する決済処理を自動的に実行することができる。このように、購入者は、購入したい商品に対するスキャン操作を行ってから、その商品をスマートレジカートに搭載されたカゴに入れる必要がある。

しかし、購入者は、購入したい商品に対するスキャン操作を行うことを忘れ、そのままその商品をカゴに入れてしまう可能性がある。現在、このように購入したい商品に対するスキャン操作を忘れたままその商品をカゴに入れた行為に対して、購入者が気付く術がない。

したがって、一実施形態に係るスマートレジカートは、商品がカゴに投入されたことを自動的に検知するとともに、スキャン操作を行わずに投入された商品の画像を取得して、購入者に対してその画像を用いた警告を行う。

図１０は、図１に示した情報処理装置１００を搭載したスマートレジカート１０００の構成の一例を模式的に示す斜視図である。図１０に示すように、スマートレジカート１０００は、主に、台車１０１０と、台車１０１０の上に着脱自在に搭載可能なカゴ１０２０と、台車１０１０の把手１０１２に取り付けられたバーコードスキャナ１０３０と、台車１０１０の把手１０１２に取り付けられた表示装置１０４０と、を含むことができる。

また、スマートレジカート１０００は、上述した情報処理装置１００を例えば表示装置１０４０の内部に有することができる。

さらにまた、スマートレジカート１０００は、カゴ１０２０の内部を撮像可能な図示しないカメラ（撮像部）１０２５を含むことができる。カメラ１０２５は、例えば、表示装置１０４０におけるカゴ１０２０の内部に対向する位置に固定され得る。カメラ１０２５は、情報処理装置１００に対して電気的に接続される。

台車１０１０は、地面に対向して回動可能に設けられた例えば４つのキャスターを有することができる。これにより、台車１０１０は、その把手１０１２を購入者により押圧されることにより又は引っ張られることにより、移動することができる。

また、台車１０１０は、地面に対して所定の角度（例えば１５度）を成して、相互に距離をおいて延びる複数のフレーム１０１４を有することができる。台車１０１０は、これら複数のフレーム１０１４の上にカゴ１０２０を載置することができる。

バーコードスキャナ１０３０は、商品に付されたバーコードや２次元コード等を読み取ることにより、商品の識別情報等を取得することができる。バーコードスキャナ１０３０に代えて、バーコード等を撮像することが可能な撮像手段（カメラ）を用いることも可能である。このようなバーコードスキャナ１０３０は、情報処理装置１００に電気的に接続される。

表示装置１０４０は、購入者に対して様々な情報を表示することができる。表示装置１０４０は、例えば、バーコードスキャナ１０３０等により取得された識別情報に対応する商品に関する情報（商品の名称、商品の値段、及び／又は、商品の消費期限等）を表示することができる。このような表示装置１０４０もまた、情報処理装置１００に電気的に接続される。

次に、上記構成を有するスマートレジカート１０００（に組み込まれた情報処理装置１００）により実行される動作の具体例について、図１１を参照して説明する。図１１は、図１０に示したスマートレジカート１０００により行われる動作の一例を示すフロー図である。

まず、ＳＴ１１００では、情報処理装置１００は、動画を構成する複数の画像をフレームレートに従って順次出力する動画供給源であるカメラ１０２５から、上記複数の画像のうちのいずれか１つの画像（静止画）を取得することができる。ＳＴ１１００における動作は、上述した図２Ａ又は図９におけるＳＴ２００と同様である。

情報処理装置１００は、ＳＴ１１００においてカメラ１０２５から１つの画像（静止画）を取得する度に、後述するＳＴ１１０２以降の動作を実行して、ＳＴ１１００に戻ることができる。

ＳＴ１１０２では、情報処理装置１００は、図２Ａ又は図９を参照して上述した動作を実行することができる。これにより、ＳＴ１１０４では、情報処理装置１００は、図２ＡのＳＴ２１４において「ＹＥＳ」を選択した場合にＳＴ２１８において、又は、図９のＳＴ９０６において「ＹＥＳ」を選択した場合にＳＴ９０８において、保存画像を保存（更新）することができる。

情報処理装置１００は、図２ＡのＳＴ２２０に関連して上述したように、矩形の面積が閾値（最小値）以下になったときに、又は、図９のＳＴ９１０に関連して上述したように、差分合計値が閾値（最小値）以下になったときに、カゴ１０２０に投入された商品が静止したことを検知することができる。

このようにして、ＳＴ１１０６では、情報処理装置１００は、商品が投入されたか否かを判定することができる。情報処理装置１００が商品は投入されていないと判定した場合には、処理は上述したＳＴ１１００に戻る。一方、情報処理装置１００は商品が投入されたと判定した場合には、処理はＳＴ１１０８に移行する。

ＳＴ１１０８では、情報処理装置１００は、商品が投入される前に、商品に付されたバーコード等に対するバーコードスキャナ１０３０による読み取り操作（スキャン操作）が行われたか否かを判定することができる。このような判定は、例えば次の手法により実行可能である。

情報処理装置１００は、商品に付されたバーコード等に対するバーコードスキャナ１０３０による読み取り（スキャン）が実行される度に、その時間を最新読み取り時間として更新（記憶）することができる。これにより、最新読み取り時間は、常に、バーコードスキャナ１０３０による読み取り（スキャン）が最後に実行された時間を記憶することができる。情報処理装置１００は、新たに投入された商品が静止したことを検知した時間（以下「検知時間」という。）が、最新読み取り時間から起算して基準時間が経過した後の時間を示す場合には、商品がカゴ１０２０に投入される前にこの商品に対するスキャン操作が行われていない、すなわち、商品に対するスキャン操作がなされることなくこの商品がカゴ１０２０に投入されたと判定することができる。これに対して、情報処理装置１００は、上記検知時間が、最新読み取り時間から起算して基準時間が経過する前の時間を示す場合には、商品が投入される前にこの商品に対するスキャン操作が行われた、すなわち、商品に対するスキャン操作がなされた後に基準時間が経過する前にこの商品がカゴ１０２０に投入されたと判定することができる。

上記検知時間は、図２ＡのＳＴ２１４において、矩形の面積がそれまでの最大値より大きいと判定された時間等、又は、図９のＳＴ９０６において、差分合計値がそれまでの最大値より大きいと判定された時間等であり得る。図２Ａの場合には、情報処理装置１００が、ＳＴ２１８において矩形情報及びカメラ画像とともにこのような検知時間を保存（更新）することができる。また、図９の場合には、情報処理装置１００が、ＳＴ９０８において矩形情報及びカメラ画像とともにこのような検知時間を保存（更新）することができる。

なお、一般的な利用者は、商品に対するスキャンを行った時点から０.５秒〜１０秒の時間が経過する前に、その商品をカゴに投入する傾向がある事実に鑑み、基準時間は、０.５秒〜１０秒の範囲の時間に設定することができる。より好ましくは、基準時間は、１秒〜５秒の範囲の時間に設定することも可能である。

ＳＴ１１０８において、情報処理装置１００が、商品がカゴ１０２０に投入される前に商品に対するスキャン操作が行われたと判定した場合には、処理は上述したＳＴ１１００に戻る。一方、情報処理装置１００が、商品がカゴ１０２０に投入される前に商品に対するスキャン操作が行われなかったと判定した場合には、処理はＳＴ１１１０に移行する。

ＳＴ１１１０では、情報処理装置１００は、参照値が閾値以下となったときに（図２ＡのＳＴ２２０においてＹＥＳの場合、又は、図９のＳＴ９１０においてＹＥＳの場合）、既に保存画像が保存されている場合には、この保存画像（例えば、図８に示した保存画像８３０又は保存画像８４０）を、表示装置１０４０に表示（出力）することができる。これに代えて又はこれに加えて、情報処理装置１００は、商品に対するスキャン操作が行われることなく商品がカゴ１０２０に投入された旨を示す警告に関する情報（未スキャン投入警告情報）を、表示装置１０４０に表示（出力）することもできる。

図１２の上段には、情報処理装置１００が、図８に示した保存画像８４０に組み合わせて、「未スキャン品です！」という未スキャン投入警告情報１２００を、表示装置１０４０に表示する例が示されている。図１２の下段には、情報処理装置１００が、図８に示した保存画像８３０に組み合わせて、「未スキャン品です！」という未スキャン投入警告情報１２００を、表示装置１０４０に表示する例が示されている。

図１２に戻り、次に、ＳＴ１１１２では、情報処理装置１００は、購入者により商品に対するスキャン操作又はキャンセル操作が行われたか否かを判定することができる。情報処理装置１００が、スキャン操作又はキャンセル操作が行われていないと判定した場合には、処理はＳＴ１１１２に戻る。一方、情報処理装置１００が、スキャン操作又はキャンセル操作が行われたと判定した場合には、処理はＳＴ１１１４に移行する。

ＳＴ１１１４では、情報処理装置１００は、保存画像及び未スキャン投入警告情報を消去するように、表示装置１０４０を制御することができる。この後、処理は上述したＳＴ１１００に戻る。

このように、スマートレジカート１０００に搭載された情報処理装置１００は、最後に商品に対するスキャン操作が実行された時間から基準時間が経過した後に、商品の投入が検知された場合には、商品に対するスキャン操作が行われることなくその商品がカゴ８２０に投入されたとみなして、利用者に対して商品に対するスキャン操作を促すメッセージを表示装置１０４０に表示することができる。これにより、商品に対するスキャン操作を行うことなくその商品をカゴ１０２０に投入するという購入者による誤操作を抑えることができる。

上述した様々な実施形態は、矛盾又は不都合の生じない限りにおいて、相互に組み合わせて用いることが可能である。

上述した様々な実施形態では、第１蓄積画像を生成するために、第１比率と、１.０から第１比率を減じた比率（１.０−第１比率）とを用い、第２蓄積画像を生成するために、第１比率より小さい第２比率と、１.０から第２比率を減じた比率（１.０−第２比率）とを用いる場合について説明した。ここで、コンピュータは、２進数を扱うため、厳密には第１比率と（１.０−第１比率）との合計値が必ずしも１.０になるとは限らない。例えば、第１比率は、浮動小数点型の変数として「０.１」に設定された場合、例えば小数点以下１７ビットで表示させると「０.１０００００００００００００００１」となり、１.０から第１比率を減じた比率は「０.９０００００００００００００００２」となることもあり得る（これらの数値は一例に過ぎない）。同様に、厳密には第２比率と（１.０−第２比率）との合計値が必ずしも１.０になるとは限らない。
本件出願（特許請求の範囲を含む）において、「第１比率」及び「１.０から第１比率を減じた比率」は、これら２つの比率の合計値が正確に１.０になるように、定められた値であってもよいし、又は、これら２つの比率の合計値がおおむね１.０になるように、定められた値であってもよい。同様に、「第２比率」及び「１.０から第２比率を減じた比率」は、これら２つの比率の合計値が正確に１.０になるように、定められた値であってもよいし、又は、これら２つの比率の合計値がおおむね１.０になるように、定められた値であってもよい。

ここで、「第１比率」と「１.０から第１比率を減じた比率」との合計値が「おおむね１.０」であるとは、これら２つの比率の合計値が、正確には１.０にはならないが、「動画において物体が追加された現象を検知する」という目的を実質的に達成することが可能となるような範囲にあることをいうものとすることができる。同様に、「第２比率」と「１.０から第２比率を減じた比率」との合計値が「おおむね１.０」であるとは、これら２つの比率の合計値が、正確には１.０にはならないが、「動画において物体が追加された現象を検知する」という目的を実質的に達成することが可能となるような範囲にあることをいうものとすることができる。

本明細書に開示された様々な方法のいずれもが、コンピュータにより読み取り可能な１又はそれ以上の媒体（例えば、１又はそれ以上の光学媒体ディスク、複数の揮発性メモリ部品、又は、複数の不揮発性メモリ部品といったような、非一時的なコンピュータにより読み取り可能な記憶媒体）に記憶された、コンピュータにより実行可能な複数の命令を用いて実装され、さらに、コンピュータにおいて実行され得る。ここで、上記複数の揮発性メモリ部品は、例えばＤＲＡＭ又はＳＲＡＭを含む。また、上記複数の不揮発性メモリ部品は、例えばハードドライブ及びソリッドステートドライブ（ＳＳＤ）を含む。さらに、上記コンピュータは、例えば、計算を行うハードウェアを有するスマートフォン及び他のモバイル装置を含む、市場において入手可能な任意のコンピュータを含む。

本明細書において開示された技術を実装するためのこのようなコンピュータにより実行可能な複数の命令のいずれもが、本明細書において開示された様々な実施形態の実装の間において生成され使用される任意のデータとともに、１又はそれ以上のコンピュータにより読み取り可能な媒体（例えば、非一時的なコンピュータにより読み取り可能な記憶媒体）に記憶され得る。このようなコンピュータにより実行可能な複数の命令は、例えば、個別のソフトウェアアプリケーションの一部であり得るか、又は、ウェブブラウザ若しくは（リモート計算アプリケーションといったような）他のソフトウェアアプリケーションを介してアクセス又はダウンロードされるソフトウェアアプリケーションの一部であり得る。このようなソフトウェアは、例えば、（例えば市場において入手可能な任意の好適なコンピュータにおいて実行されるエージェントとしての）単一のローカルコンピュータにおいて、又は、１又はそれ以上のネットワークコンピュータを用いて、ネットワーク環境（例えば、インターネット、ワイドエリアネットワーク、ローカルエリアネットワーク、（クラウド計算ネットワークといったような）クライアントサーバネットワーク、又は、他のそのようなネットワーク）において、実行され得る。

明確化のために、ソフトウェアをベースとした様々な実装のうちの特定の選択された様々な態様のみが記載されている。当該分野において周知である他の詳細な事項は省略される。例えば、本明細書において開示された技術は、特定のコンピュータ言語又はプログラムに限定されない。例えば、本明細書において開示された技術は、Ｃ、Ｃ＋＋、Ｊａｖａ、又は、他の任意の好適なプログラミング言語で記述されたソフトウェアにより実行され得る。同様に、本明細書において開示された技術は、特定のコンピュータ又は特定のタイプのハードウェアに限定されない。好適なコンピュータ及びハードウェアの特定の詳細な事項は、周知であって、本明細書において詳細に説明する必要はない。

さらには、このようなソフトウェアをベースとした様々な実施形態（例えば、本明細書において開示される様々な方法のいずれかをコンピュータに実行させるための、コンピュータにより実行可能な複数の命令を含む）のいずれもが、好適な通信手段により、アップロードされ、ダウンロードされ、又は、リモート方式によりアクセスされ得る。このような好適な通信手段は、例えば、インターネット、ワールドワイドウェブ、イントラネット、ソフトウェアアプリケーション、ケーブル（光ファイバケーブルを含む）、磁気通信、電磁気通信（ＲＦ通信、マイクロ波通信、赤外線通信を含む）、電子通信、又は、他のそのような通信手段を含む。

本明細書において記載される、様々なシステム、方法及び装置は、いかなる方法によっても限定されるものとして解釈されるべきではない。実際には、本開示は、開示された様々な実施形態の各々、これら様々な実施形態を相互に組み合わせたもの、及び、これら様々な実施形態の一部を相互に組み合わせたもの、のうちのあらゆる新規な特徴及び態様に向けられている。本明細書において記載される、様々なシステム、方法及び装置は、特定の態様、特定の特徴、又は、このような特定の態様と特定の特徴とを組み合わせたものに限定されないし、本明細書に記載される物及び方法は、１若しくはそれ以上の特定の効果が存在すること又は課題が解決されることを、要求するものでもない。さらには、本明細書において記載された様々な実施形態のうちの様々な特徴若しくは態様、又は、そのような特徴若しくは態様の一部は、相互に組み合わせて用いられ得る。

以上のように、様々な態様によれば、動画において物体が追加された現象を検知するために用いられる、情報処理装置、方法及びコンピュータプログラムを提供することができる。

１００ 情報処理装置
１０１ 中央処理装置
１０２ 主記憶装置
１０３ Ｉ／Ｏインタフェイス装置
１０４ 入力装置
１０５ 補助記憶装置
１０６ 出力装置
１０００ スマートレジカート
１０１０ 台車
１０２０ カゴ
１０２５ カメラ（撮像部）
１０３０ バーコードスキャナ
１０４０ 表示装置

Claims (17)

1. 少なくとも１つのプロセッサを具備する情報処理装置であって、
   該少なくとも１つのプロセッサが、
   動画を構成する複数の画像をフレームレートに従って順次出力する動画供給源から、該複数の画像のうちの１つの画像を対象画像として取得し、該対象画像について一連の処理を実行した後に、前記動画供給源から前記複数の画像のうちの別の１つの画像を対象画像として取得し、該対象画像について前記一連の処理を実行する、という動作を繰り返すことが可能であり、
   前記一連の処理が、
   前記対象画像に対して微分処理を施すことにより該対象画像に存在する物体の輪郭を抽出した線分画像を生成すること、
   複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に第１比率を乗じた値と、該線分画像より前の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第１比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第１蓄積画像を生成すること、
   前記複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に前記第１比率より小さい第２比率を乗じた値と、該線分画像より前の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第２比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第２蓄積画像を生成すること、
   前記新たな第１蓄積画像から前記新たな第２蓄積画像を減ずることにより差分画像を生成すること、及び、
   前記差分画像に基づく参照値が、前記線分画像より前のいずれかの線分画像について生成された旧差分画像に基づく最大参照値より大きいときに、前記動画供給源から新たな１つの画像を取得して保存画像として保存し、前記差分画像において第１閾値を上回る画素値を有する複数の画素全体を外側から囲む領域に関する領域情報を保存し、前記差分画像に基づく前記参照値を前記最大参照値として更新すること、
   を含むことを特徴とする情報処理装置。
2. 前記一連の処理が、
   前記差分画像に基づく前記参照値が第２閾値以下となったときに、前記保存画像及び前記領域情報を、出力すべき情報として決定すること、
   を含む、請求項１に記載の情報処理装置。
3. 前記差分画像に基づく前記参照値は、該差分画像に含まれる各画素の画素値を合計した値である、請求項１又は請求項２に記載の情報処理装置。
4. 前記差分画像に基づく前記参照値は、各画素の画素値を前記第１閾値に基づいて２値化した前記差分画像において画素値が１である各画素全体を外側から囲む領域の面積である、請求項１又は請求項２に記載の情報処理装置。
5. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項１から請求項４のいずれかに記載の情報処理装置。
6. コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、
   該少なくとも１つのプロセッサが、
   動画を構成する複数の画像をフレームレートに従って順次出力する動画供給源から、該複数の画像のうちの１つの画像を対象画像として取得し、該対象画像について一連の処理を実行した後に、前記動画供給源から前記複数の画像のうちの別の１つの画像を対象画像として取得し、該対象画像について前記一連の処理を実行する、という動作を繰り返すことが可能であり、
   前記一連の処理が、
   前記対象画像に対して微分処理を施すことにより該対象画像に存在する物体の輪郭を抽出した線分画像を生成すること、
   複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に第１比率を乗じた値と、該線分画像より前の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第１比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第１蓄積画像を生成すること、
   前記複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に前記第１比率より小さい第２比率を乗じた値と、該線分画像より前の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第２比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第２蓄積画像を生成すること、
   前記新たな第１蓄積画像から前記新たな第２蓄積画像を減ずることにより差分画像を生成すること、及び、
   前記差分画像に基づく参照値が、前記線分画像より前のいずれかの線分画像について生成された旧差分画像に基づく最大参照値より大きいときに、前記動画供給源から新たな１つの画像を取得して保存画像として保存し、前記差分画像において閾値を上回る画素値を有する複数の画素全体を外側から囲む領域に関する領域情報を保存し、前記差分画像に基づく前記参照値を前記最大参照値として更新すること、
   を含むことを特徴とする方法。
7. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項６に記載の方法。
8. 少なくとも１つのプロセッサにより実行されることにより、
   動画を構成する複数の画像をフレームレートに従って順次出力する動画供給源から、該複数の画像のうちの１つの画像を対象画像として取得し、該対象画像について一連の処理を実行した後に、前記動画供給源から前記複数の画像のうちの別の１つの画像を対象画像として取得し、該対象画像について前記一連の処理を実行する、という動作を繰り返す、
   ように前記少なくとも１つのプロセッサを機能させ、
   前記一連の処理が、
   前記対象画像に対して微分処理を施すことにより該対象画像に存在する物体の輪郭を抽出した線分画像を生成すること、
   複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に第１比率を乗じた値と、該線分画像より前の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第１比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第１蓄積画像を生成すること、
   前記複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に前記第１比率より小さい第２比率を乗じた値と、該線分画像より前の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第２比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第２蓄積画像を生成すること、
   前記新たな第１蓄積画像から前記新たな第２蓄積画像を減ずることにより差分画像を生成すること、及び、
   前記差分画像に基づく参照値が、前記線分画像より前のいずれかの線分画像について生成された旧差分画像に基づく最大参照値より大きいときに、前記動画供給源から新たな１つの画像を取得して保存画像として保存し、前記差分画像において閾値を上回る画素値を有する複数の画素全体を外側から囲む領域に関する領域情報を保存し、前記差分画像に基づく前記参照値を前記最大参照値として更新すること、
   を含むことを特徴とするコンピュータプログラム。
9. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項８に記載のコンピュータプログラム。
10. 少なくとも１つのプロセッサを具備するスマートレジカートであって、
    該少なくとも１つのプロセッサが、
    動画を構成する複数の画像をフレームレートに従って順次出力する撮像部から、該複数の画像のうちの１つの画像を対象画像として取得し、該対象画像について一連の処理を実行した後に、前記撮像部から前記複数の画像のうちの別の１つの画像を対象画像として取得し、該対象画像について前記一連の処理を実行する、という動作を繰り返すことが可能であり、
    前記一連の処理が、
    前記対象画像に対して微分処理を施すことにより該対象画像に存在する物体の輪郭を抽出した線分画像を生成すること、
    複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に第１比率を乗じた値と、該線分画像より前の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第１比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第１蓄積画像を生成すること、
    前記複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に前記第１比率より小さい第２比率を乗じた値と、該線分画像より前の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、前記第２比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第２蓄積画像を生成すること、
    前記新たな第１蓄積画像から前記新たな第２蓄積画像を減ずることにより差分画像を生成すること、及び、
    前記差分画像に基づく参照値が、前記線分画像より前のいずれかの線分画像について生成された旧差分画像に基づく最大参照値より大きいときに、前記撮像部から新たな１つの画像を取得して保存画像として保存し、前記差分画像において第１閾値を上回る画素値を有する複数の画素全体を外側から囲む領域に関する領域情報を保存し、前記差分画像に基づく前記参照値を前記最大参照値として更新すること、
    を含むことを特徴とするスマートレジカート。
    
11. 前記一連の処理が、
    物品に付されたバーコードがバーコードスキャナにより読み取られた読み取り時間を記憶すること、並びに、
    前記読み取り時間から基準時間が経過した後に、前記差分画像に基づく前記参照値が第２閾値以下となったときに、既に保存画像が保存されている場合には、前記保存画像及び前記領域情報を表示部に出力すること、を含む、請求項１０に記載のスマートレジカート。
12. 前記一連の処理が、
    前記保存画像及び前記領域情報を前記表示部に出力した後に、前記バーコードスキャナによる読み取りが実行されたときに、前記表示部における前記保存画像の表示を終了すること、
    を含む、請求項１１に記載のスマートレジカート。
13. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項１０から請求項１２のいずれかに記載のスマートレジカート。
14. スマートレジカートに搭載されるコンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、
    該少なくとも１つのプロセッサが、
    動画を構成する複数の画像をフレームレートに従って順次出力する撮像部から、該複数の画像のうちの１つの画像を対象画像として取得し、該対象画像について一連の処理を実行した後に、前記撮像部から前記複数の画像のうちの別の１つの画像を対象画像として取得し、該対象画像について前記一連の処理を実行する、という動作を繰り返すことが可能であり、
    前記一連の処理が、
    前記対象画像に対して微分処理を施すことにより該対象画像に存在する物体の輪郭を抽出した線分画像を生成すること、
    複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に第１比率を乗じた値と、該線分画像より前の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第１比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第１蓄積画像を生成すること、
    前記複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に前記第１比率より小さい第２比率を乗じた値と、該線分画像より前の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第２比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第２蓄積画像を生成すること、
    前記新たな第１蓄積画像から前記新たな第２蓄積画像を減ずることにより差分画像を生成すること、及び、
    前記差分画像に基づく参照値が、前記線分画像より前のいずれかの線分画像について生成された旧差分画像に基づく最大参照値より大きいときに、前記撮像部から新たな１つの画像を取得して保存画像として保存し、前記差分画像において閾値を上回る画素値を有する複数の画素全体を外側から囲む領域に関する領域情報を保存し、前記差分画像に基づく前記参照値を前記最大参照値として更新すること、並びに、
    を含むことを特徴とする方法。
15. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項１４に記載の方法。
16. スマートレジカートに搭載される少なくとも１つのプロセッサにより実行されることにより、
    動画を構成する複数の画像をフレームレートに従って順次出力する撮像部から、該複数の画像のうちの１つの画像を対象画像として取得し、該対象画像について一連の処理を実行した後に、前記撮像部から前記複数の画像のうちの別の１つの画像を対象画像として取得し、該対象画像について前記一連の処理を実行する、という動作を繰り返す、
    ように前記少なくとも１つのプロセッサを機能させ、
    前記一連の処理が、
    前記対象画像に対して微分処理を施すことにより該対象画像に存在する物体の輪郭を抽出した線分画像を生成すること、
    複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に第１比率を乗じた値と、該線分画像より前の線分画像について既に生成された第１蓄積画像に含まれる当該対象画素の画素値に、１．０から前記第１比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第１蓄積画像を生成すること、
    前記複数の対象画素の各々について、前記線分画像に含まれる当該対象画素の画素値に前記第１比率より小さい第２比率を乗じた値と、該線分画像より前の線分画像について既に生成された第２蓄積画像に含まれる当該対象画素の画素値に、１.０から前記第２比率を減じた比率を乗じた値と、を合算した画素値を有する、新たな第２蓄積画像を生成すること、
    前記新たな第１蓄積画像から前記新たな第２蓄積画像を減ずることにより差分画像を生成すること、及び、
    前記差分画像に基づく参照値が、前記線分画像より前のいずれかの線分画像について生成された旧差分画像に基づく最大参照値より大きいときに、前記撮像部から新たな１つの画像を取得して保存画像として保存し、前記差分画像において閾値を上回る画素値を有する複数の画素全体を外側から囲む領域に関する領域情報を保存し、前記差分画像に基づく前記参照値を前記最大参照値として更新すること、
    を含むことを特徴とするコンピュータプログラム。
17. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項１６に記載のコンピュータプログラム。

Images