JP7363163B2 - 監視装置、監視方法、および、プログラム、並びに、監視システム - Google Patents

Description

本開示は、物体の監視等に関する。

複数人で焼肉を食べるとき、自分のものとして認識していた肉が他の人に取られてしまうことがある。そこで人は自分が食べたい肉を自ら周りに主張するか、自分の肉を見張っておき、速やかに食べる必要がある。

卓上の所有物を監視する技術としては次のものがある。特許文献２には、テーブルや座席から荷物が移動された場合に警告を出力するオーダー端末による荷物監視方法が開示されている。特許文献２には、本人であることが確認された場合に荷物監視モードの解除を行うことが開示されている。

なお、本開示に関連する技術として、特許文献１には、置き去り又は持ち去りの行為者特定のための参考情報を迅速に提供する置き去り又は持ち去り検知システムが開示されている。

特開２０１２－２３５３００号公報 特開２０１４－１２３２４０号公報

特許文献１の開示において、物の置き去りの行為者と持ち去りの行為者が異なる場合に、持ち去りの行為者がその物を持ち去る正当な権利を有しているかなどを判断することができない。

特許文献２において、複数人で同じテーブルを利用する際に、例えば一人が席を外し、一人が席に残っている間、「テーブルに人がいる」と認識されるので、荷物監視モードに移行することができない。また特許文献２は、複数人で同じテーブルを利用する際に、同じテーブルの人が監視領域内の荷物を移動させる場合に対応していない。

したがって、本開示は、物を監視する際に、物体と人の関連付けをし、関連付けの変更を可能にする監視装置を提供することを目的とする。

本開示に係る監視装置は、画像から認識された物体に関する物体情報と、前記画像から認識された人に関する人情報に基づいて、前記物体を扱っている人を特定する人特定手段と、前記物体と前記物体を扱っている人を関連付けて前記物体の所有者を設定する設定手段と、を備え、前記設定手段は、前記物体の所有者が設定されていない場合、特定された前記物体を扱っている人を前記物体の所有者として初期設定する初期設定手段と、前記物体の所有者が設定されている場合、前記物体を譲渡する行動を示す譲渡行動情報に基づいて、前記物体を扱っている人と異なる人に前記所有者を変更する変更手段と、を有する。

本開示に係る監視方法は、画像から認識された物体に関する物体情報と、前記画像から認識された人に関する人情報に基づいて、前記物体を扱っている人を特定する人特定処理と、前記物体と前記物体を扱っている人を関連付けて前記物体の所有者を設定する設定処理と、を備え、前記設定処理は、前記物体の所有者が設定されていない場合、特定された前記物体を扱っている人を前記物体の所有者として初期設定する初期設定処理と、前記物体の所有者が設定されている場合、前記物体を譲渡する行動を示す譲渡行動情報に基づいて、前記物体を扱っている人と異なる人に前記所有者を変更する変更処理と、を有する。

本開示に係るプログラムは、画像から認識された物体に関する物体情報と、前記画像から認識された人に関する人情報に基づいて、前記物体を扱っている人を特定する人特定処理と、前記物体と前記物体を扱っている人を関連付けて前記物体の所有者を設定する設定処理と、をコンピュータに実行させ、前記設定処理は、前記物体の所有者が設定されていない場合、特定された前記物体を扱っている人を前記物体の所有者として初期設定する初期設定処理と、前記物体の所有者が設定されている場合、前記物体を譲渡する行動を示す譲渡行動情報に基づいて、前記物体を扱っている人と異なる人に前記所有者を変更する変更処理を含む。

本開示によれば、物を監視する際に、物体と人の関連付けをし、物体と人の関連付けを変更することができる。

図１は、第１実施形態に係る監視装置の構成を示す図である。 図２は、物体とその周囲の人を撮影した画像の一例を示す図である。 図３は、第１実施形態における物体情報の一例を示す図である。 図４は、第１実施形態における人情報の一例を示す図である。 図５は、第１の実施形態における人特定情報の一例を示す図である。 図６は、第１実施形態における譲渡物体情報の一例を示す図である。 図７は、第１実施形態における所有者情報の一例を示す図である。 図８は、第１実施形態に係る監視装置１０の動作の一例を示すフローチャートである。 図９は、監視装置１０のステップＳ１０２の処理の一例を示すフローチャートである。 図１０は、物体の周囲の人が常時含まれない画像の一例を示す図である。 図１１は、第２実施形態において物体を扱っている人を識別する手法を説明する図である。 図１２は、第２実施形態における物体情報の一例を示す図である。 図１３は、第２実施形態において出現位置を用いた人情報の一例を示す図である。 図１４は、第２実施形態において手の特徴を用いた人情報の一例を示す図である。 図１５は、第３実施形態における監視装置２０の構成を示す図である。 図１６は、第３実施形態における人物情報７１０の一例を示す図である。 図１７は、第３実施形態における設定部２３の動作の一例を示すフローチャートである。 図１８は、第３実施形態におけるステップＳ２０３の処理を示すフローチャートである。 図１９は、第４実施形態に係る監視システムの構成を示すブロック図である。 図２０は、第４実施形態の監視システムが利用される卓を示す図である。 図２１は、卓撮影カメラ５１で撮影された画像の一例を示す図である。 図２２は、第４実施形態における物体情報の一例を示す図である。 図２３は、プロジェクションマッピングにより、肉片に顔の映像を投影した例を示す図である。 図２４、第４実施形態における情報端末の画面を示す図である。 図２５は、第４実施形態における監視システムの動作を示すフローチャートである。 図２６は、第４実施形態におけるステップＳ３０５の処理の一例を示すフローチャートである。 図２７は、肉と所有者と消費者の履歴の一例を示す図である。 図２８は、卓撮影カメラ５１で撮影された画像の他の例を示す図である。 図２９は、監視装置として機能するコンピュータのハードウェア構成の一例を示す図である。

以下に、図面を参照して、本開示の実施形態について詳しく説明する。なお、各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。

＜第１実施形態＞
［構成］
第１実施形態に係る監視装置について図面を用いて説明する。図１は第１実施形態に係る監視装置の構成を示す図である。第１実施形態に係る監視装置１０は、物体の周囲に複数の人が配置されるときに、物体の所有者の設定に利用される。監視装置１０は、人特定部１２と、設定部１３とを有する。設定部１３は、初期設定部１４と変更部１５とを有する。

人特定部１２は、画像から認識された物体と人に基づいて、物体を扱っている人を特定する。画像から認識された物体と人は、物体と人をカメラで撮像した画像から既知の画像認識技術によって生成される情報であり、物体情報と人情報が含まれる。物体情報には、画像認識された物体の物体識別ＩＤ（identifier）が含まれ、人情報には、画像認識された人の人識別ＩＤが含まれる。人識別ＩＤは人識別子とも呼ばれる。物体を扱っている人とは、例えば、物体に触れている人、物体を移動させている人、又は、物体の形を変化させている人などが含まれる。

図２は、物体とその周囲の人を撮影した画像の一例を示す図である。図２に示す画像Ｐは、実線で示される３つの物体とその周囲の４人の人を上方又は斜め上方からから撮影した画像である。画像Ｐから、画像認識装置（図示せず）によって、３つの物体は、破線で示す物体Ａ、物体Ｂ、物体Ｃと識別され、４人の人は、破線で示す人Ｗ、人Ｘ、人Ｙ、人Ｚと識別される。画像Ｐにおいて、人Ｗ、人Ｘ、人Ｙ、人Ｚは、少なくとも頭部又は胴体を含む。

画像認識装置は、さらに、画像Ｐにおいて認識された物体Ａ、物体Ｂ、物体Ｃが存在する領域をそれぞれの物体領域として、認識された人Ｗ、人Ｘ、人Ｙ、人Ｚが存在する領域をそれぞれの人領域として算出する。物体領域と人領域は、例えば、画像Ｐに画像座標系を適用し、座標集合として算出される。例えば、画像認識装置は、画像Ｐにおける物体Ａの物体領域として、物体Ａが占有する領域の座標集合、あるいは、物体Ａの外縁の座標集合を算出する。物体Ｂと物体Ｃの物体領域、人Ｗ、人Ｘ、人Ｙ、人Ｚの人領域の座標も同様に算出される。

図３は、画像Ｐに関する物体情報の一例を示す図である。図４は、画像Ｐに関する人情報の一例を示す図である。物体情報と人情報は、例えば、監視装置１０と通信可能に接続された画像認識装置（図示せず）から送信される。なお、画像認識装置は、画像における人の手の領域を含めて人を識別し、人の手の領域を含めて人領域を算出する。例えば、図２の人Ｗでは、人の手の領域を含めて人が識別され、人Ｗの手の領域を含めて人領域の座標が算出される。

図２に示す画像Ｐは、上面から人が全て映るように撮影された領域となっているがこれに限られない。他の人と識別できるのであれば、人の一部分であってもよい。カメラから送信される画像Ｐが更新される度に、更新された画像Ｐから認識された物体と人に関する物体情報と人情報が、画像認識装置から監視装置１０に送信される。

人特定部１２は、画像中で人が物体を扱っていることを検知し、物体を扱っている人を特定する。具体的には、人特定部１２は、人の手を含む人領域が物体の物体領域と交わる場合、人が物体を扱っていると検知し、物体領域と重なる人領域に関連する人識別ＩＤから物体を扱っている人を特定する。図２の例では、人特定部１２が、人領域（領域Ｗ１）の座標が物体Ａの物体領域（領域Ａ１）と重なっていることを検知すると、領域Ｗ１の人が物体Ａを触っていると検知し、領域Ｗ１に関連する人識別ＩＤ（人Ｗ）を特定する。図５は、第１の実施形態における人特定情報の一例を示す図である。図５において、物体Ａを扱っている人として人Ｗが物体Ａに関連付けされ、物体Ｃを扱っている人として人Ｘが物体Ｃに関連付けされている。人特定部１２は、物体を扱っている人として、物体識別ＩＤと人識別ＩＤを関連付けた人特定情報を設定部１３に送信する。

また、人特定部１２は、画像から認識された人の動作に基づいて、物体を譲渡する行動を検出し譲渡行動情報を生成してもよい。物体を譲渡する行動とは、例えば、認識された人の手、又は、人の顔や胴体の向き、視線の動きなどである。人の手の動きは、譲渡する物体、譲渡先の人を示すジェスチャーである。譲渡する物体を示すジェスチャーは、例えば、物体を人差し指で指差す動きである。譲渡先の人を示すジェスチャーは、例えば手のひらを広げて譲渡先の人を指し示す動きである。

図６は、第１実施形態における譲渡物体情報の例を示す図である。図中、物体Ｃは譲渡対象となる物体識別ＩＤを表し、人Ｘは譲渡行動を示す人の人識別ＩＤを表し、人Ｙは譲渡先となる人の物体識別ＩＤを表す。人特定部１２は、譲渡行動情報を生成して設定部１３の変更部１５に送信する。

設定部１３は初期設定部１４と変更部１５を備え、人特定情報、又は、譲渡行動情報に基づいて物体の所有者を設定して、物体の所有者情報を生成する。生成された所有者情報は、例えば、物体の所有者情報を報知するための報知装置（図示せず）に出力される。図７は、第１実施形態における所有者情報の一例を示す図である。

所有者情報に物体の所有者が設定されていない場合、初期設定部１４は、人特定情報に基づき物体の所有者を設定する。具体的には、人特定部１２で物体を扱っている人が特定されると、初期設定部１４は、その物体に所有者が設定されているか所有者情報を確認する。物体の所有者が設定されていない場合、初期設定部１４は、人特定部１２が特定した人を、認識された物体の所有者として初期設定する。

一方、所有者情報に物体の所有者が設定されていると、変更部１５は、人特定情報で示された物体に対する譲渡行動情報の受信を確認する。譲渡行動情報を受信している場合、変更部１５は、物体を譲渡する行動を示す譲渡行動情報に基づいて物体の所有者の設定を変更する。具体的には、変更部１５は、所有者が設定された物体に対し、譲渡行動情報に基づいて、譲渡元を示す人から譲渡先を示す人に物体の所有者を変更して、所有者情報を更新する。図７に示す所有者情報の例では、物体Ｃの所有者が人Ｘと設定されているときに、変更部１５は、人Ｘが物体Ｃを人Ｙに譲渡することを示す譲渡行動情報に基づいて、物体Ｃの所有者を領域Ｘ１の人Ｘから領域Ｙ１の人Ｙに変更する。

上記の例では、人特定部１２で生成された譲渡行動情報に基づき物体の所有者の設定を変更する例を用いて説明したが、これに限られない。例えば、監視装置１０に通信可能に接続された情報端末（図示せず）から送信される譲渡行動情報であってもよい。情報端末は、譲渡対象、譲渡元の人、譲渡先の人を音声入力又はキー入力等で受け付けて譲渡行動情報を生成して監視装置１０に送信する。音声は、例えば、物体の周囲にいる人の会話などである。なお、監視装置１０は、画像認識装置を含む構成であってもよい。画像認識装置は、単に識別部とも呼ばれる。情報端末の各種機能については後述する。

［動作］
次に、第１実施形態に係る監視装置の動作について図面を用いて説明する。図８は、第１実施形態に係る監視装置１０の動作を示すフローチャートである。

監視対象となる物体とその周囲の複数の人が、カメラ（図示せず）で撮像される。撮像された画像は、画像認識装置（図示せず）によって物体とその周囲の人が認識され、物体情報と人情報が生成される。監視装置１０は、画像認識装置から画像から認識された物体と人に関する物体情報と人情報を受信する。

人特定部１２は、物体情報と人情報が示す画像から認識された物体と人に基づいて、物体を扱っている人を特定する（ステップＳ１０１）。設定部１３は、画像から認識された物体の所有者を設定し（ステップＳ１０２）、物体の所有者を示す所有者情報を生成する。設定部１３において、物体の所有者を設定する処理は、人特定情報に基づく初期設定と、譲渡行動情報に基づく物体の所有者の変更とに分けられる。

図９は、ステップＳ１０２の設定処理の例を示すフローチャートである。ステップＳ１０２の設定処理において、初期設定部１４は、認識された物体に対して所有者が設定されているか所有者情報を確認する（ステップＳ１０２１）。

所有者情報に物体の所有者が設定されていない場合（ステップＳ１０２１のＮｏ）、初期設定部１４は、人特定部１２が特定した物体を扱っている人を、認識された物体の所有者として初期設定する（ステップＳ１０２２）。

所有者情報に物体の所有者が設定されている場合（ステップＳ１０２１のＹｅｓ）、変更部１５は、認識された物体の譲渡行動があるか確認する（ステップＳ１０２３）。具体的には、変更部１５は、画像認識装置から物体の譲渡行動を示す譲渡行動情報を受信しているか確認する。

物体の譲渡行動がある場合（ステップＳ１０２３のＹｅｓ）、変更部１５は、譲渡行動情報に基づいて物体の所有者の設定を変更する（ステップＳ１０２４）。例えば、変更部１５は、人Ｘの人が物体Ｃの所有者であると設定されている場合、物体Ｃの所有者を人Ｙとする譲渡行動情報に基づいて、所有者情報における物体Ｃの所有者を人Ｙに変更する。物体の譲渡行動がない場合（ステップＳ１０２３のＮｏ）、変更部１５は処理を終了する。

［効果］
第１実施形態に係る監視装置１０によれば、物を監視する際に、物体と人の関連付けをし、関連付けの変更を可能にする。第１の実施形態の監視装置１０は、人特定部１２が物体とその物体を扱っている人を特定し、設定部１３が、物体を扱っている人を物体の所有者として設定することで、物体と人を関連付けて監視する。さらに設定部１３は、物体の譲渡行動を示す物体譲渡情報に基づいて物体の所有者を変更することで、物体を取り扱っていない人をその物体の所有者に変更できる。

＜第２実施形態＞
次に第２実施形態に係る監視装置について図面を用いて説明する。第２実施形態の監視装置は、監視対象となる物体に対して、物体の周囲に人が常時含まれていない画像を用いて物体を扱っている人を特定し、物体の所有者を設定する例である。図１０は、物体の周囲に人が常時含まれていない画像の一例を示す図である。図１０に示す画像Ｑにおいて、物体の周囲の人は画像Ｑの外に存在している。図１０に示すように、物体と人の手が撮像された画像Ｑの場合、第１の実施形態の例では手の画像から人を認識して物体を扱っている人を識別することが難しい。

このため、第２実施形態では、画像認識装置（図示せず）が画像Ｑにおいて物体を扱っている人の手が画像Ｑの領域の端から現れる出現位置に基づいて、画像領域外に存在する人を識別する。

図１１は、第２実施形態において画像領域外に存在する人を識別する手法を説明する図である。図１１には２つの物体と１つの人の手が含まれる。画像Ｑの頂点をＦ、Ｇ、Ｈ、Ｉとすると、画像Ｑは、辺ＦＧ、辺ＧＨ、辺ＨＩ、辺ＩＦで囲まれた領域となる。

人の手の出現位置は、物体を扱っている人の手が、画像ＦＧＨＩを表す４つの辺のどの位置から出現しているかを示す情報である。具体的には、物体を扱っている人の手が画像Ｑの辺ＧＫから出現していること示す情報である。なおＫは、辺ＧＨを分割する点である。辺ＧＨを分割する点は複数あってもよい。画像Ｑにおいて同一の辺から出現する手は同一の人の手として識別し、出現位置に関連する情報を人識別ＩＤとして用いる。

図１２は、第２実施形態における物体情報の一例を示す図である。図１２に示す物体識別ＩＤは画像Ｑから画像認識により生成される。物体領域の領域Ｄ１、領域Ｅ１は第１実施形態と同様に画像Ｑの画像座標系を用いて算出される。図１３は、第２実施形態において人の手の出現位置を用いた人情報の一例を示す図である。図中、画像Ｑの領域外の人ＧＫの手について、画像Ｑ内の手領域を領域ＧＫ２とすると、領域ＧＫ２は、画像Ｑの画像座標系を用いて算出される。出現位置の線分ＧＫは画像認識と画像Ｑの画像座標系により生成される。また人識別ＩＤ（例えばＧＫ０）は手の出現位置の違いに基づき生成される。

上記では、人の手が画像領域の端から現れる出現位置に基づいて人を識別しているが、これに限られない。例えば、画像Ｑから人識別ＩＤが抽出できない場合、画像Ｑに現れる人の手の特徴に基づいて人の手を識別して手識別ＩＤを生成し、これを人識別ＩＤとして用いてもよい。人の手の特徴は、既知の画像認識により手（服の一部を含む）の色、形、手の稼働域などに基づき手の特徴量が生成される。図１４は、第２実施形態において手の特徴を用いた人情報の一例を示す図である。図中、人領域の領域ＧＫ３は出現位置の場合と同様に画像座標系で生成され、人識別ＩＤ（手識別ＩＤ）の例であるＨＷ０は、画像Ｑで認識される人の手の特徴量ＦＨＷに基づいて生成される。手の出現位置で人を識別する場合は、その人の配置場所が固定されていることが前提となる。例えば、卓の周囲にいる人が席替えすると物体を扱っている人が誤って特定される可能性があり、監視装置１０の信頼性が低下する。一方、手の特徴で人認識する場合は、画像Ｑの画像領域外にいる人の配置場所が変わっても、人の手の特徴量に基づき人識別されるため、監視装置１０の信頼性の低下を抑制できる。

第２実施形態の画像認識装置は、上述のように画像Ｑを画像認識して物体情報、人情報を生成し、図１２、図１３、又は、図１４に示すような物体情報、人情報を監視装置１０に送信する。第２実施形態の監視装置１０において、第１実施形態の監視装置１０と同様、物体情報、人情報に基づき画像から認識された物体を扱っている人（人の手）を検知し、物体の周囲に配置された人（人の手）の位置を用いて物体を扱っている人を特定することができる。なお、第２実施形態の監視装置１０における人特定部１２、設定部１３の構成とその動作は第１実施形態の監視装置１０と同様であり、詳細な説明は省略する。

［効果］
第２実施形態に係る監視装置１０によれば、物を監視する際に、物体と人の関連付けをし、関連付けの変更を可能にする。第２の実施形態の監視装置１０は、第１実施形態と同様に人特定部１２が物体とその物体を扱っている人を特定し、設定部１３が、物体を扱っている人を物体の所有者として設定することで、監視装置１０は、物体と人を関連付けて監視する。さらに設定部１３は、物体の譲渡行動を示す物体譲渡情報に基づいて物体の所有者を変更することで、物体を取り扱っていない人をその物体の所有者に変更できる。

さらに、第２実施形態に係る監視装置１０によれば、物体とその周囲にいる人の画像で人の一部だけ撮像された画像であっても、物体を扱っている人を特定することができる。

＜第３実施形態＞
＜構成＞
第３実施形態に係る監視装置の構成について図面を用いて説明する。図１５は、第３実施形態に係る監視装置の構成を示すブロック図である。監視装置２０は、人物情報受付部２１、人特定部２２、設定部２３と、を有する。人特定部２２と設定部２３は、第１実施形態の監視装置１０における人特定部１２と設定部１３と同等の機能を有する。

人物情報受付部２１は、人物情報７１０を受け付ける。人物情報７１０は、監視装置２０に通信可能に接続された外部装置（図示せず）で生成され、監視装置２０に送信される。外部装置は、例えば、画像認識装置（図示せず）あるいは情報端末（図示せず）である。図１６は、第３実施形態における人物情報７１０の一例を示す図である。人識別ＩＤ７２０は、物体の周囲に配置された複数の人を識別する識別情報であり、図中、人Ｗ、人Ｘ、人Ｙ、人Ｚで表される。人配置７３０は、物体の周囲に配置された人の配置場所を示す情報である。図中、配置Ｗ０、配置Ｘ０、配置Ｙ０、配置Ｚ０で表される。人配置は、例えば、座席のように予め人の配置場所が定められているものであってもよい。人物情報７１０に含まれる名前、顔情報は物体の周囲にいる人に固有の固有情報である。固有情報は、名前、顔情報以外であってもよい。

外部装置が画像認識装置である場合、画像認識装置は、物体の周囲に配置された人を撮像した画像を画像認識した結果に基づき、人物情報７１０を生成する。画像認識によって画像から顔の特徴量を取得できれば人物情報７１０に顔情報が含まれる。画像認識した結果、物体の周囲に配置された人の位置又は領域を人配置７３０として取得できれば、画像認識装置は、監視装置２０に送信される人物情報７１０に人配置７３０を含めることができる。その場合、人配置７３０は第１実施形態と同様、画像座標系によって算出される人領域を用いることもできる。

外部装置が入力機能を備える情報端末である場合、物体の周囲に配置された人によって情報端末に人物情報７１０の一部が入力される。情報端末により入力される人物情報７１０の例は、物体に周囲に配置された人に関する人配置７３０と人の名前である。例えば、情報端末は、画像認識装置、又は、監視装置から人識別ＩＤ、人配置に関する人情報を取得し、人情報に基づいて情報端末の画面に物体の周囲にいる人識別ＩＤとその配置を表示する。情報端末は、表示された人識別ＩＤと人配置に対して物体の周囲にいる人が関連する名前又は人配置を入力させて、人識別ＩＤと名前、人配置を関連付けする。

人特定部２２は、画像認識装置から物体情報、人情報を受付ける。人特定部２２は、人物情報受付部２１が受け付けた人物情報７１０と画像認識装置（図示せず）から受け付けた物体情報と人情報に基づいて、物体を扱っている人を特定する。人特定部２２による物体を扱っている人の特定は、第１実施形態の人特定部１１と同様に、画像座標系における物体識別ＩＤごとの物体領域と人識別ＩＤごとの人領域との重なりによって物体を扱っている人の人識別ＩＤを特定する。

設定部２３は、物体の所有者を設定し、設定された所有者情報を出力する。設定部２３の初期設定部２４は、人特定部２２が特定した人識別ＩＤを参照し、人情報の人識別ＩＤと物体情報の物体ＩＤとを関連付けることで、物体の所有者を初期設定する。例えば初期設定部２４は、配置Ｗ０にいる人Ｗ（ＡＡさん）を物体Ｃの所有者として設定する。設定部２３が有する変更部２５は、所有者として設定された人と異なる人に所有者の設定を変更する。例えば変更部２５は、所有者の設定を人Ｘ（ＡＡさん）から人Ｙ（ＢＢさん）へと変更する。

［動作］
第３実施形態に係る監視装置２０の動作について図面を用いて説明する。図１７は、第３実施形態に係る監視装置２０の動作を示すフローチャートである。

人物情報受付部２１は、監視装置２０に通信可能に接続された外部装置から人物情報を受け付ける（ステップＳ２０１）。外部装置は情報端末又は画像認識装置である。

監視対象となる物体とその周囲の複数の人が、カメラ（図示せず）で撮像される。撮像された画像は、画像認識装置（図示せず）によって物体とその周囲の人が認識され、物体情報と人情報が生成される。監視装置１０は、画像認識装置から画像から認識された物体と人に関する物体情報と人情報を受信する。

人特定部１２は、物体情報と人情報が示す画像から認識された物体と人に基づいて、物体を扱っている人を特定する（ステップＳ２０２）。設定部２３は、画像から認識された物体の所有者を設定し（ステップＳ２０３）、物体の所有者を示す所有者情報を生成する。設定部１３において、物体の所有者を設定する処理は、人特定情報に基づく初期設定と、譲渡行動情報に基づく物体の所有者の変更とに分けられる。

図１８は、ステップＳ２０３の設定処理の例を示すフローチャートである。ステップＳ２０２の設定処理において、初期設定部２４は、認識された物体に対して所有者が設定されているか所有者情報を確認する（ステップＳ２０２１）。

所有者情報に物体の所有者が設定されていない場合（ステップＳ２０３１のＮｏ）、初期設定部２４は、人特定部２２が特定した物体を扱っている人を、認識された物体の所有者として初期設定する（ステップＳ２０３２）。

所有者情報に物体の所有者が設定されている場合（ステップＳ２０３１のＹｅｓ）、変更部２５は、認識された物体の譲渡行動があるか確認する（ステップＳ２０３３）。具体的には、変更部２５は、画像認識装置から物体の譲渡行動を示す譲渡行動情報を受信しているか確認する。

物体の譲渡行動がある場合（ステップＳ２０３３のＹｅｓ）、変更部２５は、譲渡行動情報に基づいて物体の所有者の設定を変更する（ステップＳ２０３４）。更に人物情報受付部２１で受け付けた人物情報に人情報の追加情報があれば、追加情報を物体の所有者情報に追加する。物体の譲渡行動がない場合（ステップＳ２０３３のＮｏ）、変更部２５は処理を終了する。

［効果］
第３実施形態に係る監視装置２０によれば、第１の実施形態と同様に、物を監視する際に、物体と人の関連付けをし、関連付けの変更を可能にする。監視装置２０は、人特定部２２が物体とその物体を扱っている人を特定し、設定部２３が、物体と物体を扱っている人物体の所有者として設定することで、物体と人を関連付けて監視する。さらに設定部２３は、物体の譲渡行動を示す物体譲渡情報に基づいて物体の所有者を変更することで、物体を取り扱っていない人をその物体の所有者に変更できる。

第３実施形態に係る監視装置２０によれば、人物情報受付部２１が、人物情報を受け付け、設定部２３は人と物体を関連付けて物体の所有者を設定するため、物体の所有者に対するより詳細な情報を関連付けることが可能となる。

＜第４実施形態＞
次に、第４実施形態に係る監視システムについて図面を用いて説明する。第４実施形態の監視システムは、第３実施形態の監視装置２０を焼肉店における卓上の物体の監視に適用した例である。第４実施形態では、監視装置２０による監視対象として焼肉網（以下、単に網と記す）の上で、焼かれる肉を例に説明する。なお、監視対象は肉以外、野菜、魚などの食べ物でもよい。

以下の実施の形態に記載されている構成要素は例示であり、本開示の技術範囲をそれらに限定する趣旨のものではない。

図１９は、第４実施形態に係る監視システムの構成を示すブロック図である。図１９に示す監視システム１００は、第３実施形態に係る監視装置２０と、報知部３０と、警告部４０、カメラ５０、認識部６０と、記憶部７０を備える。監視装置２０、報知部３０、警告部４０、カメラ５０、認識部６０、記憶部７０のそれぞれは、通信ネットワークを介して接続される。監視システム１００の監視装置２０は、第１、第２実施形態の監視装置１０に置き換えられてもよい。監視装置２０は、店舗のバックヤード等に配置されるサーバ内に設置されてもよい。

図２０は、第４実施形態の監視システムが利用される卓を示す図である。図２０に示す卓上には、監視対象となる肉を焼くための網Ａが配置されている。図２０は卓の周りに４人が着席し、焼き網の上で食材を調理して料理を食べる例である。焼き網は金属板や鍋などで代替されてもよい。図中に示すトングの数は例示であり、これに限られない。トングは着席した人数分より多くても少なくてもよい。人はトング以外の調理器具を用いてもよい。

［構成の概要］
報知部３０は、監視装置２０の設定部２３から出力される物体の所有者情報に基づき、報知情報を報知する。報知部３０は、例えば、表示装置である。物体の周りの人たちは、報知部３０から報知される報知情報によって物体の所有者を知ることができる。物体の周りの人は、他人が所有する物体を扱わないように気を付けることができる。図２０の例では、報知部３０は、設定部２３から出力される肉の所有者を報知情報として報知する。

なお、報知部３０から報知される報知情報は、物体の所有者情報に限られない。物体に関する他の情報を報知してもよい。例えば、監視装置２０は、卓上の肉を撮像した画像に基づく肉の焼き加減の情報を取得できれば、報知部３０を介して肉の焼き加減を卓の周りの人たちに報知してもよい。

警告部４０は、監視装置２０の人特定部２２において物体を扱っていると特定された人が、当該物体の所有者として所有者情報に設定された人と一致しない場合、音声又は表示を用いて警告する。図２０の例では、警告部４０の警告により、肉を扱っている人は、自分の所有でない肉を扱っていることを知ることが可能になる。

カメラ５０は、物体又は人を撮像して画像データを生成する。カメラ５０は、例えば、図２０に示すように卓上の物体を上から撮像する任意の位置に設置される、卓撮影カメラ５１である。図２１は、卓撮影カメラ５１で撮影された画像の一例を示す図である。図２１は、簡略化のためトングの描画は略されている。図２１では、卓上の網Ａの複数の肉と人の手までが画像領域となっているが、これに限られない。

カメラ５０として、卓撮影カメラ５１に加えて、顔撮影カメラ５２を設置してもよい。顔撮影カメラ５２の設置は、例えば、図２１に示すように卓の周りの人の顔を撮像できる任意の位置でよい。顔撮影カメラ５２で撮影した画像は、人識別情報７２０の顔情報の抽出、又は、顔認証に用いられる。

認識部６０は、カメラ５０で撮影した画像から、既知の画像認識技術により、画像内の物体及び物体を囲む複数の人を認識する。認識部６０はカメラ５０又は監視装置２０に備えられてもよい。図２１の例で卓撮影カメラ５１によって撮影される物体は、網Ａ上の肉となる。認識部６０は、図２１の画像から２つの人の手および３片の肉を認識し、認識された各肉に物体識別情報として、肉ＩＤ（肉Ａ、肉Ｂ、肉Ｃ）を生成する。認識部６０は、トング、箸などの掴持手段と人の手をそれぞれ分けて認識してもよく、掴持手段含めて人の手として認識してもよい。

また、認識部６０は、画像座標系を用いて、画像から認識された物体および人に対する、物体領域情報および人領域情報を生成する。図２１に示す画像では、認識部６０は、物体領域情報として肉ごとの領域（領域１、領域２、領域３）および人の手の領域を算出する。認識部６０は、画像から認識した肉ごとに物体識別ＩＤと物体領域を関連付けて物体情報として出力する。さらに、認識部６０は、画像から認識された人（又は掴持手段を含む）ごとに人識別ＩＤと、画像座標系を用いた人の人領域（人配置）を関連付けて人情報として出力する。

図２２は、認識部６０が送信する物体情報の一例を示す図である。図２２において、肉には肉ＩＤ（物体識別ＩＤ）として、肉Ａ、肉Ｂ、肉Ｃが付され、肉領域（物体領域）として領域１、領域２、領域３が付されている。認識部６０は、例えば、画像から肉の特徴を抽出し、抽出した肉の特徴に基づき、記憶部７０に記憶された該当するメニューの品を認識する。この場合、記憶部７０には、メニューの品、肉ＩＤ（物体識別ＩＤ）、肉の特徴が関連付けて記憶されているものとする。認識部６０は、卓における注文履歴に基づきメニューの品（肉の種類）を絞り込んでから認識してもよい。図２２上、物体情報では、肉Ａはカルビ、肉Ｂはホルモンとして関連付けされている。

焼いている肉は、網上に載せられた時間により画像が変化する。認識部６０は、機械学習を用いて、肉の見た目（例えば、色、形）が変化しても、その肉の肉ＩＤ（物体識別ＩＤ）を変えないものとる。認識部６０は肉の焼き具合に関する情報を生成してもよい。認識部６０は、焼き加減による変化を認識することで、見た目が変化する肉を移動させても、同一の肉ＩＤの肉領域をトレースすることができる。

記憶部７０は各種必要な情報を記憶する。記憶部７０は監視装置２０に設けられてもよいし、各種装置に分散して設けられてもよい。

［構成の詳細］
監視システム１００の各構成に対し、以下のような態様が適用される。報知部３０は、投影機であってもよい。投影機は、プロジェクションマッピングにより肉の所有者として人物情報７１０に含まれる情報を、肉上又は肉の周辺に投影する。人物情報７１０に含まれる名前を表す情報を肉の周辺に投影してもよい。また人物情報７１０の人配置を卓の席配置として表すことができるのであれば肉の所有者の席配置を投影してもよい。

報知部３０は、卓に設置された表示部を有する情報端末、あるいは、スマートグラスなどのウェアラブル端末であってもよい。スマートグラスは拡張現実技術を用いて、人物情報７１０が肉上又は肉の周辺に見えるように表示してもよい。

警告部４０は、人特定部２２が肉を扱っている人と特定された人が、当該肉の所有者情報と一致しない場合、警告をする。警告部４０は、肉の所有者以外が肉に接触した場合に、取り間違いの警告をしてもよいし、肉が網から取り除かれた時に取り間違いの警告をしてもよい。

警告部４０はスピーカー、トングに設けられた振動装置、投影機、卓にある注文端末のディスプレイであってもよい。投影機を警告部４０として用いる例を図１７に示す。図１７は、プロジェクションマッピングにより、肉片に顔の映像を投影した例を示す図である。
プロジェクションマッピングによる投影は顔の映像以外でもよく、例えば、肉片の周辺に吹き出しの映像を投影してもよい。吹き出しの映像は肉が発話しているように擬人的に表現させてもよい。図１７の例では、警告部４０は、肉Ｂの所有者でない人の手Ｃによって肉Ｂが扱われていることに対して、怒りの表情を示す顔の映像と「私の肉だよ」という吹き出し映像を投影して警告を行っている。なお、プロジェクションマッピングによって肉又は肉周辺に顔等の映像を投影する場合、監視装置２０が取得する認識部６０からの物体情報に含まれる物体領域（肉領域）に基づいて顔等の映像が投影される。

また、警告部４０は、投影機とスピーカーを組み合わせることにより、顔の映像を投影しつつ、吹き出しの内容を映像の代わり音声として出力してもよい。肉に投影する顔の映像は、顔撮影カメラ５２で撮影した肉の所有者の顔のデータを用いて生成してもよい。

記憶部７０は、例えば、物体識別ＩＤと物体領域を含む物体情報を記憶する。また、記憶部７０は、人物情報受付部２１が受け付けた人物情報７１０を記憶する。人物情報７１０は、例えば、名前、ニックネーム、符号、番号、色、顔情報、アバター等のいずれかが含まれていてもよい。人物情報７１０が顔情報、名前等を含む場合、顔情報と名前等を記憶部７０に保持しておくことで、同一の人が再度来店した場合、顔情報に基づく名前等を抽出することで人物情報７１０に含まれる名前を登録する必要がなくなる。さらに記憶部７０は肉の所有者情報を記憶する。

人特定部２２は、認識部６０において人が肉を扱う動作が検出されると、肉を扱う人を特定する。肉を扱う動作とは、例えばトング等を用いて肉に接触する動作、肉を移動させる動作、肉を裏返す動作などである。例えば、人特定部２２は、認識部６０で認識された、人の手の領域と肉領域と、記憶部７０に記憶された、人物情報７１０及び物体情報に基づいて、肉を扱う人を特定する。

人特定部２２は、肉を扱う人をより確実に特定するために、さらに、顔撮影カメラ５２を用いて、顔認証を行ってもよい。顔認証を行うと、席替えにより人の席位置が変わった場合も肉を扱う人をより正確に特定することができる。

例えば、人特定部２２は、人の手の領域に基づく代わりに、認識部６０で認識された各人に固有の印に基づき、各人を特定してもよい。各人に固有の印とは例えば、人の手首につけられたリストバンド、手の甲に付されたマークなどである。人特定部２２はさらに、人の手の動きに基づいて、各人を特定してもよい。

初期設定部２４は、肉の所有者が設定されていない場合、人特定部２２が特定した人を、肉の所有者として初期設定し、変更部２５は、肉の所有者が設定されている場合、譲渡行動情報に基づいて、肉の所有者を変更する。以下に各種類の譲渡行動情報に基づいて肉の所有者を変更する場合について説明する。

（視線推定）
画像から認識される人の視線の動きに関する情報を、譲渡行動情報として用いる場合について説明する。人特定部２２は、肉Ｂの所有者（ＢＢ）が肉Ｂに触れていることを特定する。認識部６０は、ＢＢが視線を一定時間別の人（ＡＡ）に向けていることを推定すると、変更部２５は人ＡＡを肉Ｂの所有者として設定する。認識部６０は顔撮影カメラ５２によって撮像された画像から人Ｍの両目の瞳の位置を特定することで、視線を推定する。認識部６０は推定した視線の先に座る人Ｍ’を、譲渡先として推定する。変更部２５は、認識部６０が、ＢＢが譲渡先の人物（ＡＡ）と視線を合わせていることを推定すると、所有者の設定を変更する構成としてもよい。

（会話）
次に、人の音声に関する情報を、譲渡行動情報として用いる場合について説明する。認識部６０はマイク等からの音声に基づいて、人の会話を一般的な音声認識方法によって認識する。例えば、肉Ｂの所有者（ＢＢ）が肉Ｂに触れている状態で「ＡＡさん、どうぞ。」などと肉Ｂを譲渡することを表す内容を発話する。認識部６０がＢＢの発話が認識すると、変更部２５は肉Ｂの所有者をＢＢからＡＡに変更する。変更部２５は、肉Ｂの譲受人であるＡＡが「ＢＢさん、ありがとう。」などと肉を受け取ることを承諾する内容の発話が認識されてから、設定を変更する構成としてもよい。

（ジェスチャー）
次に、画像から認識される人の手の動きに関する情報を、譲渡行動情報として用いる場合について説明する。上記の視線推定と音声認識の例では肉と人とが物理的に接触した状態で設定の変更のための動作を行っている。しかし肉と人の物理的な接触は必ずしも必要ではない。変更部２５は、肉の所有者が、別の人に自らの所有する肉の所有権を譲渡するジェスチャーをすることで設定を変更する構成としてもよい。

（情報端末）
次に、譲渡行動情報として外部装置から入力された情報を用いる場合について説明する。外部装置とは卓に設置された、外部装置は、例えば、注文用タブレットなどの情報端末である。図２４は所有者の設定の変更に関する入力を受け付ける情報端末の画面を示す。図２４に示すように、情報端末の表示部は、網上にある肉を表示し、各肉上に各肉に関連付けられている人を表示する。表示部はカメラ５０で撮像した画像を表示してもよいし、撮像され認識された物体をオブジェクトで代替して表示してもよい。

情報端末の操作部を用いて、肉に関連付けられる人が変更される。操作部は、表示部の上面を覆うように透明電極を格子状に配置した感圧式（抵抗膜圧式）のタッチパネルであり、手指やタッチペン等によるタッチ操作を検出する。なお、操作部は、感圧式に限らず、他の静電容量式、光学式、電磁誘導方式等であってもよい。表示部は、人が肉を情報端末上で選択した後、プルダウンメニューを開いて表示してもよい。

監視装置２０の変更部２５は、人が所有者を選択したら新たな所有者を設定してもよい。顔撮影カメラ５２を用いて、肉の所有者が操作しなければ、その肉の所有者を変更できないこととしてもよい。

カメラ５０は、レンズとＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサといった撮像素子を備え、例えばＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）カメラ等のネットワークカメラである。ネットワークカメラは、たとえば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信機能を有し、通信ネットワーク、すなわちルータなどの中継装置（不図示）を介してサーバに接続される。

ここで、画像データは、静止画および動画の少なくともいずれかであってよい。データ形式、ファイル形式、ファイルサイズ、画像サイズ、画像の解像度、動画のフレームレート等も特に限定されず、カメラ５０およびサーバの仕様、規格、性能等、あるいは、画像解析の処理能力、精度等に応じて様々な形式のものを採用し得る。カメラ５０は監視カメラ、デジタルカメラ、携帯電話等、撮影機能を備えた任意の電子機器とすることができる。カメラ５０とサーバは直接接続されてもよいし、上記したように通信ネットワークなどを介して接続されてもよい。また、カメラ５０により撮像された画像データは、記憶部７０に記憶されてもよい。そして、サーバは、記憶部７０から画像データを読み出してもよい。あるいは、カメラ５０が画像認識処理機能を有し、認識結果をサーバに送信する構成としてもよい。

また、カメラ５０からサーバへの画像の送信のタイミングは、リアルタイム配信、例えば、ストリーミング配信であってもよいし、所定間隔で所定期間分の画像を送信してもよい。この送信タイミングは、カメラ５０又はサーバのメモリ容量、通信容量、画像処理能力、及び、カメラ５０とサーバ間の通信状況等に基づいて、適宜選択されてもよいし、又は、状況変化に応じて変更されてもよい。

［動作］
第４実施形態に係る監視システムの動作について図面説明する。図２５は、第４実施形態に係る監視システム１００の動作を示すフローチャートである。

カメラ５０の卓撮影カメラ５１は、卓上の肉と卓の周りの複数の人を撮影した卓画像を認識部６０に送信する。

監視装置２０の人物情報受付部２１は、人物情報７１０を受け付ける（ステップＳ３０１）。人物情報７１０は、入店時に入口付近に設置されたカメラで撮像された顔画像に基づいて認識部６０によって生成されてもよく、卓上に設置された情報端末３０に入力された情報に基づいて生成されてもよい。

認識部６０は、画像から肉および人の手あるいはトングを認識する（ステップＳ３０２）。認識部６０は肉および人の手あるいはトングが移動した場合、その位置を追跡する。認識部６０は、人の手を認識する場合、手の領域と肉の領域から、人が物を触っていることを認識する（ステップＳ３０３）。

人特定部２２は、認識部６０において人が肉を扱うことが検出されると、肉扱う人を特定する（ステップＳ３０４）。認識部６０は、網上の卓上カメラ５１に映る人の手あるいは焼用トングが、どの席の人のものであるかを、人物情報７１０と撮像された画像の人の手領域に基づいて特定する。

設定部２３は、肉の所有者の設定の有無を判定する（ステップＳ３０５）。図２６は、第４実施形態におけるステップＳ３０５の処理の一例を示すフローチャートである。初期設定部２４は、所有者の設定がない場合、肉の所有者を初期設定する（ステップＳ３０６）。変更部２５は、所有者の設定がある場合、譲渡行動情報に基づいて、所有者の設定を変更する（ステップＳ３０７）。設定部２３は設定に関する情報を出力する。報知部３０は設定部２３が設定した肉の所有者の設定に関する情報を報知する（ステップＳ３０８）。

警告部４０は人特定部で特定された人が所有者であるか否かを判定する。肉の取違が発生した場合、警告部４０は警告をする（ステップＳ３０９）。

監視システム１００は、肉が食べられると肉の追跡を終了する。

［効果］
焼肉において、好みの焼き加減や食べたいタイミングは、人によって異なっている。複数人で焼肉を食べるとき、自分のものと認識して焼いていた肉が他の人に食べられてしまうことがある。したがって、肉を一枚ずつ監視し、肉の所有者を管理する必要がある。

本実施形態におけるシステムにより、各人は自分のものと認識している肉が他の人に食べられる心配なく、自分のタイミングで焼肉を食べることができる。

複数人で焼肉を食べるとき、代表者が肉を焼き、肉を管理する場合がある。初期設定部により最初に肉を焼き始めた人が、肉の所有者として初期設定される。本実施形態に係るシステムにより、肉の所有者を変更することができ、各肉の所有者の管理が容易となる。

［その他の機能］
監視システム１００は、さらに以下の変形例に示す機能を有していてもよい。
＜変形例１：食べた肉のカウント＞
卓内の人が食べた肉の種類及び量のデータは、履歴として記憶部７０に記録することができる。図２７は、肉と所有者と消費者の履歴の一例を示す図である。

認識部６０は、網から肉が取り除かれ時に、肉の追跡を終了してもよい。この場合、記憶部７０は、肉を取り除いた人物が「肉を食べた人物である」又は「肉の消費者である」として記録する。網から取り除いた後に肉を譲渡する場合、情報端末上で肉の消費者の変更を可能としてもよい。認識又は追跡においてミスがあり、食べた肉の記録に誤りがある場合、情報端末で記憶部７０の記録を修正できるようにしてもよい。

認識部６０は、網から人の前のお皿などに肉が移動したときに肉の追跡を終了してもよい。この場合、記憶部７０は、自分の前に置かれた取り皿に肉を置かれたことを認識された人が「肉を食べた人物である」として記憶する。顔撮影カメラ５２を用いる場合、肉が口の中に入るまで肉を追跡してもよい。この場合、記憶部７０は、肉を口の中に入れた人が「肉を食べた人物である」として記憶する。

＜変形例２：履歴に基づく推薦＞
監視システム１００は、卓内の人が食べた物の履歴に基づいて、その卓又は卓の特定の人に応じて、嗜好やおすすめ品の分析を行ってもよい。監視システム１００は各人が食べた物の履歴に基づいて好みの傾向を判定する。情報端末の表示部は判定した好みに合わせて、推薦品を表示する。

＜変形例３：履歴に基づく会計＞
さらに、監視システム１００は、卓内の人が食べた肉の種類及び量のデータの履歴に基づいて、各人の支払額を算出できるようにしてもよい。表示部は算出された各人の支払額を表示する。

通常の焼肉店では、各人が食べた量は管理されていないため、小食な人や大食いの人が卓にいる場合に、会計の際に合計金額を人数で均等に割ると、一人当たりの支払額が食べた量に見合わないため、不平等となる。変形例３の監視システムを利用することで、各人が食べた量を管理でき、各人ごとに金額を割り出した決済が可能になる。

また卓に置かれたオーダー端末は会計機能を有していてもよい。オーダー端末を用いて決済をすることで店舗の省人化が可能になる。

＜変形例４：店員と区別＞
認識部６０は、画像から認識する人のうち、客と店員とを区別するようにしてもよい。認識部６０は客と店員の区別は客同士の区別と同様に、人の手の領域に基づいて、所定領域の人の手は店員であると判断してもよい。認識部６０は、客と異なるトングを用いる、又は、手袋や軍手をつける店員を、客のトング又は手と異なって認識してもよい。認識部６０は店員の制服を認識してもよい。

第１実施形態の警告部４０は、所有者が設定された肉に、店員以外の人が触れた場合に警告を発する。監視システムは店員が物に触れる場合は監視を開始せず、客が物に触れてから監視を開始するようにしてもよい。

変形例４の監視システムによれば、店員が肉を途中まで焼く場合、肉を店員に関連付けないことが可能になる。

＜変形例５：所定時間以内の所有者の設定＞
変形例５の監視システムは、代表者が肉を途中まで焼く場合、代表者に肉を関連付けない。例えば、店員が運んできた肉を一人が全員分まとめて網の上に配置した方が、効率がよい場合がある。そこで最初に網の上に肉を置くために肉に触れた人は、肉の所有として設定されない構成としてもよい。設定部２３は、網の上に肉が置かれた後に、所定の条件を満たす人、例えば肉を一定時間以上触った人に肉を関連付けてもよい。

変形例５の監視システムによれば、代表者が肉を途中まで焼く場合に所有者の変更をする必要がなくなる。

＜変形例６：食べ頃の報知＞
報知部３０は、食べ頃などのタイミングについても報知してもよい。報知部３０はまだ肉が焼けていないことや、焦げてしまうことなど、焼け具合の報知をしてもよい。図１６に示すようにデータベースには肉の焼け具合が記憶される。肉の焼け具合は画像認識によって判断する。プロジェクションマッピングを用いた報知の例を図１７に示す。図１６において肉Ａは焦げそうになっている。そこで図１７において、肉Ａには困った表情の顔が投影され、肉は「焦げそう」と発話するように吹き出しが投影されている。

例えばホルモンは生焼けであったり焼き過ぎたりし、焼き加減が分かりにくい。変形例６によれば、人はタイミングを逃さずに肉を食べることが可能になる。

さらに、肉には部位ごとにおいしい焼き方がある。そこで焼け具合の警告として、裏返すタイミング、あるいは、肉を網に押し付けるタイミングを警告してもよい。

＜その他の適用例＞
第４実施形態の監視システム１００は、焼肉の監視だけでなく、荷物の監視にも適用できる。図２８は、卓撮影カメラ５１で撮影された画像の他の例を示している。図２８において、荷物として携帯電話が撮影されている。

食事の際に自分の所有する携帯電話や腕時計を卓上に置く人がいる。携帯電話などの所有物を置いて席を外すと不安であるが、身に付けて移動するのは面倒な場合がある。そこで第３実施形態のシステムを用いて、食べ物以外の所有物も監視することができる。

また第３実施形態の設定部２３の機能を用いて荷物の所有者を変更することで、例えば携帯端末を同じ卓の人に預けることが可能になる。

第４実施形態の監視システム１００は、他にも工場における工具、棚の収納物、冷蔵庫の食べ物、空港の荷物の監視に用いることができる。

＜ハードウェアの説明＞
また、上記した各実施形態に示した手順は、監視装置１０、２０として機能するコンピュータ（図２９の９０００）に、監視装置１０、２０としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図２９ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インターフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図２９のＣＰＵ９０１０にて、監視プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメーターの更新処理を実施させればよい。

上記した各実施形態に示した監視装置の各部（処理手段、機能）は、監視装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。

本願発明は以上に説明した実施形態に限定されるものではない。以上に説明した実施形態の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のように記載されうるが、以下には限られない。

（付記１）
画像から認識された物体に関する物体情報と、前記画像から認識された人に関する人情報に基づいて、前記物体を扱っている人を特定する人特定手段と、
前記物体と前記物体を扱っている人を関連付けて前記物体の所有者を設定する設定手段と、を備え、
前記設定手段は、
前記物体の所有者が設定されていない場合、特定された前記物体を扱っている人を前記物体の所有者として初期設定する初期設定手段と、
前記物体の所有者が設定されている場合、前記物体を譲渡する行動を示す譲渡行動情報に基づいて、前記物体を扱っている人と異なる人に前記所有者を変更する変更手段と、を有する監視装置。

（付記２）
前記物体情報は、前記物体の領域を示す物体領域を含み、
前記人情報は、前記人の領域を示す人領域を含み、
前記人特定手段は、前記物体領域と前記人領域の重なりに基づいて、前記人による前記物体の扱いを検知する、
付記１に記載の監視装置。

（付記３）
前記物体情報は、前記物体を識別するための物体識別子を更に含み、
前記人情報は、前記人を識別するための人識別子を更に含み、
前記人特定手段は、前記物体領域と前記人領域の重なりに基づいて、前記物体を扱っている人を特定する、
付記２に記載の監視装置。

（付記４）
前記画像から前記人と前記物体を認識して前記物体情報と前記人情報を生成する認識手段、を更に備え、
前記認識手段は、前記画像に人の一部が撮像されている場合、前記人の一部の特徴に基づいて前記人識別子を生成する、
付記１乃至３のいずれか１つに記載の監視装置。

（付記５）
前記認識手段は、前記画像された認識された人の顔の特徴を示す顔情報を生成し、前記人情報に含める
付記４に記載の監視装置。

（付記６）
前記譲渡行動情報は、前記画像から認識される前記物体の所有者による譲渡行動を示す動作に関する情報、譲渡行動を示す音声に関する情報、又は、外部装置から入力された譲渡行動を示す情報のいずれかである、
付記１乃至５のいずれか１つに記載の監視装置。

（付記７）
付記１乃至６のいずれか１つの監視装置と、
前記物体を扱っている人が、前記物体の所有者として設定されていない場合、警告をする警告手段と、
を備える監視システム。

（付記８）
付記１乃至７のいずれか１つの監視装置と、
前記画像を撮像するカメラと、
前記物体の所有者に関する情報を報知する報知手段と、
を備える監視システム。

（付記９）
画像から認識された物体に関する物体情報と、前記画像から認識された人に関する人情報に基づいて、前記物体を扱っている人を特定する人特定処理と、
前記物体と前記物体を扱っている人を関連付けて前記物体の所有者を設定する設定処理と、を含み、
前記設定処理は、
前記物体の所有者が設定されていない場合、特定された前記物体を扱っている人を前記物体の所有者として初期設定する初期設定処理と、
前記物体の所有者が設定されている場合、前記物体を譲渡する行動を示す譲渡行動情報に基づいて、前記物体を扱っている人と異なる人に前記所有者を変更する変更処理と、を有する監視方法。

（付記１０）
画像から認識された物体に関する物体情報と、前記画像から認識された人に関する人情報に基づいて、前記物体を扱っている人を特定する人特定処理と、
前記物体と前記物体を扱っている人を関連付けて前記物体の所有者を設定する設定処理と、をコンピュータに実行させ、
前記設定処理は、
前記物体の所有者が設定されていない場合、特定された前記物体を扱っている人を前記物体の所有者として初期設定する初期設定処理と、
前記物体の所有者が設定されている場合、前記物体を譲渡する行動を示す譲渡行動情報に基づいて、前記物体を扱っている人と異なる人に前記所有者を変更する変更処理を含む、プログラム。

（付記１１）
画像における複数の焼肉と複数の人を認識する認識手段と、
前記認識された焼肉と前記認識された人に基づいて、前記焼肉を扱っている人を特定するとともに、前記焼肉と人を関連付けする人特定手段と、
前記焼肉を扱っている人が、前記焼肉に関連付けされていない場合に警告する警告部と、
を備える監視装置。

１０、２０ 監視装置
１２、２２ 人特定部
１３、２３ 設定部
１４、２４ 初期設定部
１５、２５ 変更部
２１ 人物情報受付部
４０ 警告部
５０ カメラ
６０ 認識部
７０ 記憶部

Claims (10)

1. 画像から認識された物体に関する物体情報と、前記画像から認識された人に関する人情報に基づいて、前記物体を扱っている人を特定する人特定手段と、
   前記物体と前記物体を扱っている人を関連付けて前記物体の所有者を設定する設定手段と、を備え、
   前記物体の所有者が設定されていない場合、前記設定手段は、特定された前記物体を扱っている人を前記物体の所有者として初期設定し、
   前記物体の所有者が設定されている場合、
   前記人特定手段は、前記物体の所有者が手で前記物体を指し示すジェスチャーと、前記物体の譲渡先の人を指し示すジェスチャーとを、前記物体を譲渡する譲渡行動として前記画像から検出し、検出した前記譲渡行動を示す譲渡行動情報を生成し、
   前記設定手段は、前記譲渡行動情報に基づいて、設定されている所有者から前記譲渡先の人に前記物体の所有者を変更する、
   監視装置。
2. 前記物体情報は、前記物体の領域を示す物体領域を含み、
   前記人情報は、前記人の領域を示す人領域を含み、
   前記人特定手段は、前記物体領域と前記人領域の重なりに基づいて、前記人による前記物体の扱いを検知する、
   請求項１に記載の監視装置。
3. 前記物体情報は、前記物体を識別するための物体識別子を更に含み、
   前記人情報は、前記人を識別するための人識別子を更に含み、
   前記人特定手段は、前記物体領域と前記人領域の重なりに基づいて、前記物体を扱っている人を特定する、
   請求項２に記載の監視装置。
4. 前記画像から前記人と前記物体を認識して前記物体情報と前記人情報を生成する認識手段、を更に備え、
   前記認識手段は、前記画像に人の一部が撮像されている場合、前記人の一部の特徴に基づいて前記人識別子を生成する、
   請求項３に記載の監視装置。
5. 前記認識手段は、前記画像から認識された人の顔の特徴を示す顔情報を生成し、前記人情報に含める
   請求項４に記載の監視装置。
6. 前記設定手段は、前記物体の所有者が設定されている場合、前記画像から認識される前記物体の所有者による譲渡行動を示す動作に関する情報、譲渡行動を示す音声に関する情報、又は、外部装置から入力された譲渡行動を示す情報のいずれかに基づいて、前記物体を扱っている人と異なる人に、前記物体の所有者を変更する
   請求項１乃至５のいずれか１項に記載の監視装置。
7. 請求項１乃至６のいずれか１項の監視装置と、
   前記物体を扱っている人が、前記物体の所有者として設定されていない場合、警告をする警告手段と、を備える監視システム。
8. 請求項１乃至６のいずれか１項の監視装置と、
   前記画像を撮像するカメラと、
   前記物体の所有者に関する情報を報知する報知手段と、を備える監視システム。
9. 画像から認識された物体に関する物体情報と、前記画像から認識された人に関する人情報に基づいて、前記物体を扱っている人を特定する人特定処理と、
   前記物体の所有者が設定されていない場合、特定された前記物体を扱っている人を前記物体の所有者として初期設定する初期設定処理と、
   前記物体の所有者が設定されている場合、前記物体の所有者が手で前記物体を指し示すジェスチャーと、前記物体の譲渡先の人を指し示すジェスチャーとを、前記物体を譲渡する譲渡行動として前記画像から検出する検出処理と、
   検出した前記譲渡行動を示す譲渡行動情報を生成する生成処理と、
   前記譲渡行動情報に基づいて、設定されている所有者から前記譲渡先の人に前記物体の所有者を変更する変更処理と、
   を含む監視方法。
10. 画像から認識された物体に関する物体情報と、前記画像から認識された人に関する人情報に基づいて、前記物体を扱っている人を特定する人特定処理と、
    前記物体の所有者が設定されていない場合、特定された前記物体を扱っている人を前記物体の所有者として初期設定する初期設定処理と、
    前記物体の所有者が設定されている場合、前記物体の所有者が手で前記物体を指し示すジェスチャーと、前記物体の譲渡先の人を指し示すジェスチャーとを、前記物体を譲渡する譲渡行動として検出する検出処理と、
    検出した前記譲渡行動を示す譲渡行動情報を生成する生成処理と、
    前記譲渡行動情報に基づいて、設定されている所有者から前記譲渡先の人に前記物体の所有者を変更する変更処理と、
    をコンピュータに実行させるプログラム。

Images