JP6788710B1 - 画像出力装置及び画像出力方法 - Google Patents

Abstract

【課題】店舗等の場所にいる人間のプライバシーを保護しながら、該場所の状況を示す画像を提供できるようにする。【解決手段】本発明の一実施形態に係る画像出力装置１は、撮像装置による撮像範囲に含まれる場所のレイアウトに対応するレイアウトを表す基準画像を記憶する記憶部１２と、撮像装置が撮像した撮像画像を取得する取得部１１１と、取得部１１１が取得した撮像画像に基づいて、撮像画像の中で人間がいる人間位置を特定する特定部１１３と、基準画像に、特定部１１３が特定した人間位置を示す図形を重畳して出力する出力部１１５と、を有する。【選択図】図２

Description

本発明は、店舗等の場所の状況を示す画像を出力する画像出力装置及び画像出力方法に関する。

特許文献１には、店舗内の撮像画像を解析してテーブル及び椅子の数及び位置を検出するとともに、顧客の有無を検出することによって、空席情報を提供するシステムが開示されている。

国際公開第２０１８／１１６３５９号

特許文献１に記載されたシステムは、撮像画像上に空席を示すアイコンを重畳して表示する。撮像画像には、店舗内の顧客が写っている可能性がある。そのため、空席を示すアイコンを重畳した撮像画像を不特定の相手に公開することは、プライバシー保護の観点から好ましくないという問題がある。

本発明はこれらの点に鑑みてなされたものであり、店舗等の場所にいる人間のプライバシーを保護しながら、該場所の状況を示す画像を提供できるようにすることを目的とする。

本発明の第１の態様の画像出力装置は、撮像装置による撮像範囲に含まれる場所のレイアウトに対応するレイアウトを表す基準画像を記憶する記憶部と、前記撮像装置が撮像した撮像画像を取得する取得部と、前記取得部が取得した前記撮像画像に基づいて、前記撮像画像の中で人間がいる人間位置を特定する特定部と、前記基準画像に、前記特定部が特定した前記人間位置を示す図形を重畳して出力する出力部と、を有する。

前記特定部は、前記撮像画像に基づいて、前記撮像画像の中で座席がある座席位置を特定し、前記出力部は、前記人間位置を示す第１図形と、前記座席位置を示す、前記第１図形とは異なる第２図形とを、前記基準画像に重畳して出力してもよい。

前記特定部は、過去に特定した前記人間位置に基づいて、前記撮像画像の中で座席がある座席位置を特定し、前記出力部は、前記人間位置を示す第１図形と、前記座席位置を示す、前記第１図形とは異なる第２図形とを前記基準画像に重畳して出力してもよい。

前記特定部は、前記撮像画像に基づいて、前記人間の属性を特定し、前記出力部は、前記属性に基づいて、前記人間位置を示す前記図形の表示態様を変化させてもよい。

前記出力部は、前記特定部が特定した前記人間の人数が変化した場合に、前記基準画像に前記図形を重畳して出力してもよい。

前記出力部は、前記撮像装置が設置されている場所に予め関連付けられた情報端末へ、前記基準画像に前記図形を重畳して送信してもよい。

前記画像出力装置は、情報端末から閲覧要求を受信する受信部をさらに有し、前記出力部は、前記閲覧要求を送信した前記情報端末へ、前記基準画像に前記図形を重畳して送信してもよい。

前記取得部は、前記受信部が前記閲覧要求を受信した場合に、前記撮像装置から前記撮像画像を取得してもよい。

前記画像出力装置は、前記撮像画像に対して、前記撮像装置が設置されている場所の構造物を抽出する加工をすることによって、前記基準画像を生成する生成部をさらに有してもよい。

前記記憶部は、所定の期間内に前記撮像装置が撮像した撮像画像を、前記基準画像として予め記憶してもよい。

本発明の第２の態様の画像出力方法は、プロセッサが実行する、撮像装置による撮像範囲に含まれる場所のレイアウトに対応するレイアウトを表す基準画像を記憶部に記憶させるステップと、前記撮像装置が撮像した撮像画像を取得するステップと、前記取得するステップが取得した前記撮像画像に基づいて、前記撮像画像の中で人間がいる人間位置を特定するステップと、前記基準画像に、前記特定するステップが特定した前記人間位置を示す図形を重畳して出力するステップと、を有する。

本発明によれば、店舗等の場所にいる人間のプライバシーを保護しながら、該場所の状況を示す画像を提供できるという効果を奏する。

実施形態に係る画像出力システムの模式図である。 実施形態に係る画像出力システムのブロック図である。 撮像装置が設置されている店舗を説明するための模式図である。 例示的な基準画像を示す図である。 例示的な撮像画像を示す図である。 登録画面及びメッセージ画面を表示部上に表示している情報端末の正面図である。 例示的な状況画像を示す図である。 実施形態に係る画像出力システムが実行する画像出力方法のシーケンス図である。

［画像出力システムＳの概要］
図１は、本実施形態に係る画像出力システムＳの模式図である。画像出力システムＳは、画像出力装置１と、撮像装置２と、情報端末３とを含む。画像出力システムＳは、その他のサーバ、端末等の機器を含んでもよい。

画像出力装置１は、撮像装置２が撮像した撮像画像に基づいて、店舗等の場所の状況を示す画像を出力するコンピュータである。画像出力装置１は、インターネット、ローカルエリアネットワーク等のネットワークを介して、撮像装置２及び情報端末３と通信可能である。

撮像装置２は、店舗等の場所に設けられており、所定の撮像範囲を撮像する１つ以上の撮像部を含む装置である。撮像装置２の撮像範囲（すなわち撮像の向き及び拡大倍率）は変更可能であってもよい。撮像装置２は、撮像部を用いて撮像した撮像画像を、画像出力装置１へ送信する。

情報端末３は、ユーザの操作を受け付けるとともに、様々な情報を表示する通信端末である。ユーザは、例えば店舗の顧客又は従業員である。情報端末３は、例えばスマートフォン、タブレット端末等の携帯端末、又はパーソナルコンピュータである。情報端末３は、ユーザによる操作を受け付け可能なタッチパネル等の操作部と、情報を表示可能な液晶ディスプレイ等の表示部とを有する。

本実施形態に係る画像出力システムＳが画像を出力する処理の概要を以下に説明する。画像出力装置１は、撮像装置２による撮像範囲に含まれる場所のレイアウト（配置）に対応するレイアウトを表す基準画像を、予め記憶部に記憶させる。基準画像は、店舗等におけるテーブルや椅子等の設備のレイアウトと同一の又は近似したレイアウトを表す画像である。

次に画像出力装置１は、撮像装置２が撮像した撮像画像を取得する。画像出力装置１は、撮像画像の中で人間がいる位置である人間位置を特定する。人間位置を特定するために、画像出力装置１は、既知の画像認識技術（人物検出技術）を用いる。

そして画像出力装置１は、記憶部に記憶された基準画像に、特定した人間位置を示す図形を重畳することによって、店舗等の場所の状況を示す状況画像を生成し、生成した状況画像を情報端末３に出力する。人間位置を示す図形は、例えば円形、楕円形、矩形等の所定の形状を有するアイコンである。

このような構成により、画像出力装置１は、実際の店舗等の場所のレイアウトと同一の又は近似したレイアウトの基準画像上に、人間の有無を示す情報を出力する。そのため、画像出力装置１は、店舗等の場所において、該場所にいる人間のプライバシーを保護しながら、該場所における状況を示す情報（例えば空席の割合や混雑の度合い）を、情報端末３を有するユーザに提供できる。

［画像出力システムＳの構成］
図２は、本実施形態に係る画像出力システムＳのブロック図である。図２において、矢印は主なデータの流れを示しており、図２に示していないデータの流れがあってよい。図２において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に分かれて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

画像出力装置１は、制御部１１と、記憶部１２とを有する。制御部１１は、取得部１１１と、生成部１１２と、特定部１１３と、受信部１１４と、出力部１１５とを有する。記憶部１２は、基準画像記憶部１２１を有する。

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１２は、制御部１１が実行するプログラムを予め記憶している。記憶部１２は、画像出力装置１の外部に設けられてもよく、その場合にネットワークを介して制御部１１との間でデータの授受を行ってもよい。基準画像記憶部１２１は、撮像装置２による撮像範囲に含まれる場所のレイアウトに対応するレイアウトを表す基準画像を記憶する。基準画像記憶部１２１は、記憶部１２上の記憶領域であってもよく、あるいは記憶部１２上で構成されたデータベースであってもよい。

制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１２に記憶されたプログラムを実行することにより、取得部１１１、生成部１１２、特定部１１３、受信部１１４及び出力部１１５として機能する。制御部１１の機能の少なくとも一部は電気回路によって実行されてもよい。また、制御部１１の機能の少なくとも一部は、制御部１１がネットワーク経由で実行されるプログラムを実行することによって実現されてもよい。

本実施形態に係る画像出力システムＳは、図２に示す具体的な構成に限定されない。画像出力装置１、撮像装置２及び情報端末３は、それぞれ１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。また、画像出力装置１及び撮像装置２は一体化されてもよい。画像出力装置１は、単一のコンピュータによって構成されてもよく、互いに連携する複数のサーバによって構成されてもよく、コンピュータ資源の集合であるクラウドによって構成されてもよい。

［画像出力方法の説明］
以下、本実施形態に係る画像出力システムＳが実行する画像出力方法を詳細に説明する。図３は、撮像装置２が設置されている店舗を説明するための模式図である。撮像装置２は、店舗内で顧客又は従業員が座る又は立つ位置を含む撮像範囲を撮像できるように配置される。図３の例では、飲食店の中に、撮像装置２が設置されている。１つの場所に、複数の撮像装置２が設けられてもよい。

まず、画像出力装置１が基準画像を生成する処理を説明する。画像出力装置１において、取得部１１１は、撮像装置２に対して撮像指示を送信する。取得部１１１は、撮像装置２が撮像した撮像画像を取得する。

生成部１１２は、取得部１１１が取得した撮像画像に対して、所定の画像処理を行うことによって、撮像装置２による撮像範囲に含まれる場所のレイアウト（配置）に対応するレイアウトを表す基準画像を生成し、基準画像記憶部１２１に記憶させる。基準画像が表す範囲は、撮像装置２による撮像範囲と同一である。

図４は、例示的な基準画像Ａを示す図である。基準画像Ａは、個人を特定可能な情報を含んでおらず、店舗内のテーブル等の構造物の概形を表している。生成部１１２は、撮像画像に対して、撮像装置２が設置されている場所の構造物を抽出する加工（例えば、撮像画像中の構造物の輪郭線のみを残す加工）をすることによって、基準画像を生成する。これにより、生成部１１２は、撮像画像から顧客等の個人を特定可能な情報を除去し、店舗内のレイアウトを表す基準画像を生成できる。

別の方法として、生成部１１２は、店舗の閉店時間等、店舗内に顧客がいない期間に撮像された撮像画像を、基準画像として用いてもよい。この場合に、生成部１１２は、店舗内に顧客がいない所定の期間内に、撮像指示を撮像装置２へ送信する。生成部１１２は、撮像画像を撮像装置２から取得し、基準画像として基準画像記憶部１２１に記憶させる。これにより、生成部１１２は、撮像画像を加工することなく、顧客等の個人を特定可能な情報が含まれていない状態における店舗内のレイアウトを表す基準画像を生成できる。

基準画像記憶部１２１は、画像出力装置１の外部で生成された、撮像装置２による撮像範囲に含まれる場所のレイアウトに対応するレイアウトを表す基準画像（例えば手作業で生成された基準画像）を予め記憶してもよい。この場合には、画像出力装置１において生成部１１２が基準画像を生成する必要がない。

次に、画像出力装置１が撮像画像の中で人間の位置を特定する処理を説明する。画像出力装置１は、上述の基準画像が基準画像記憶部１２１に記憶されていることを条件として、状況画像を出力する処理を行う。

画像出力装置１において、取得部１１１は、撮像装置２が撮像した撮像画像を取得する。取得部１１１は、所定の時間間隔で、又は所定の時刻に、撮像装置２に撮像指示を送信することによって、撮像画像を取得する。また、取得部１１１は、後述の受信部１１４が情報端末３から閲覧要求を受信したことを契機として撮像装置２に撮像指示を送信することによって、撮像画像を取得してもよい。

また、取得部１１１は、撮像装置２が所定の時間間隔で又は所定の時刻に自動的に撮像した撮像画像を取得してもよい。また、取得部１１１は、予め設定された店舗の開店日及び開店時間に自動的に撮像画像を取得してもよい。また、取得部１１１は、撮像装置２が赤外線センサ等によって人間を検知したことを契機として自動的に撮像した撮像画像を取得してもよい。

特定部１１３は、取得部１１１が取得した撮像画像に基づいて、撮像画像の中で人間がいる人間位置を特定する。例えば特定部１１３は、撮像画像に対して既知の画像認識技術（人物検出技術）を適用することによって、撮像画像に含まれている人間を検出し、人間を検出した座標の範囲を、人間位置として特定する。また、記憶部１２に空席状況を判定する必要のある範囲（例えばカウンターの外側、テーブルの周囲等）を予め記憶しておき、特定部１１３は、該範囲内のみにおいて人間位置を特定してもよい。これにより、画像出力装置１は、空席状況を判定する必要のある範囲に人間がいるかを判定することができる。

図５は、例示的な撮像画像Ｂを示す図である。図５は、特定部１１３が撮像画像Ｂの中で特定した人間位置を破線で表している。図５においては、撮像画像Ｂの中で、２人の顧客と、１人の従業員とが検出されている。

さらに特定部１１３は、撮像画像において検出した１人以上の人間それぞれの属性を特定してもよい。人間の属性は、例えば性別や年齢等、人間の概略的な特徴を示す情報である。この場合に、特定部１１３は、画像認識技術において人間を属性ごとに区別して検出することによって、人間の属性を特定する。これにより、画像出力装置１は、どのような性別や年齢の人間が店舗にいるかの情報を含む状況画像を出力することができる。

また、特定部１１３は、撮像画像において検出した人間が従業員であるか否かを、人間の属性として特定してもよい。この場合に、記憶部１２に従業員の服装（ユニフォーム）を予め記憶しておき、特定部１１３は、画像認識技術において人間が従業員の服装を着用していることを検出した場合に、人間が従業員であると特定する。また、記憶部１２に従業員が位置し得る範囲（例えばカウンターの内側、レジの前等）を予め記憶しておき、特定部１１３は、人間の位置が該範囲内である場合に、該人間が従業員であると特定してもよい。これにより、画像出力装置１は、従業員が適切に配置されているかを分析するための情報を含む状況画像を出力することができる。

さらに特定部１１３は、撮像画像の中で座席がある座席位置を特定してもよい。この場合に、特定部１１３は、撮像画像に対して既知の画像認識技術（物体検出技術）を適用することによって、撮像画像に含まれている座席（例えば椅子やソファ）を検出し、座席を検出した座標の範囲を、座席位置として特定する。

特定部１１３が撮像画像に基づいて人間位置、人間の属性及び座席位置を特定する方法は、上述の具体的な方法に限られず、その他の方法であってもよい。例えば特定部１１３は、過去に特定した人間位置に基づいて、座席位置を特定してもよい。この場合に、特定部１１３は、異なる複数の撮像画像において特定した人間位置を集計する。そして特定部１１３は、複数の撮像画像の中で所定回数以上特定された人間位置の下方における所定の大きさの座標の範囲を、座席位置として特定する。このように、特定部１１３は、人間が頻繁にいる位置に座席があると推定することにより、座席の検出処理を行うことなく座席の位置を推定できる。

次に、画像出力装置１が状況画像を出力する処理を説明する。情報端末３において、顧客であるユーザは、撮像装置２が設置されている場所（店舗）を登録するための操作を行う。図６（ａ）は、情報端末３が店舗を登録するための登録画面を表示部上に表示している情報端末３の正面図である。登録画面は、例えばメッセージサービス、ＳＮＳ（Social Networking Service）等のアプリケーションソフトウェアによって提供される。

ユーザが登録画面上で店舗を登録するための操作（例えば所定のボタンの押下）を行うと、情報端末３は、店舗を識別するための店舗ＩＤと、情報端末３を識別するための端末ＩＤとを、画像出力装置１へ送信する。画像出力装置１において、受信部１１４は、情報端末３から受信した店舗ＩＤ及び端末ＩＤを関連付けて記憶部１２に記憶させる。店舗ＩＤ及び端末ＩＤの関連付けは、画像出力装置１の外部に設けられたデータベースや、画像出力装置１とは異なるメッセージサービスやＳＮＳの管理装置によって行われてもよい。これにより、情報端末３は、撮像装置２が設置されている場所に予め関連付けられる。

店舗の登録を行った後に、情報端末３において、顧客であるユーザは、登録した店舗の状況画像の閲覧要求を送信するための操作を行う。図６（ｂ）は、情報端末３が店舗との間でメッセージを送受信するためのメッセージ画面を表示部上に表示している情報端末３の正面図である。メッセージ画面は、例えばメッセージサービス、ＳＮＳ等のアプリケーションソフトウェアによって提供される。

ユーザがメッセージ画面上で閲覧要求を送信するための操作（例えば「空席」等の所定のキーワードを含むメッセージの入力）を行うと、情報端末３は、端末ＩＤを含む閲覧要求を、画像出力装置１へ送信する。その後、情報端末３は、後述の出力部１１５が出力する状況画像Ｃを受信し、表示部上に表示する。

画像出力装置１において、受信部１１４は、情報端末３から閲覧要求を受信する。受信部１１４が閲覧要求を受信した場合に、出力部１１５は、基準画像記憶部１２１に記憶された基準画像に、特定部１１３が特定した人間位置を示す図形を重畳することによって、店舗の状況を示す状況画像を生成する。そして出力部１１５は、生成した状況画像を、閲覧要求を送信した情報端末３へ送信する。

図７（ａ）、図７（ｂ）は、例示的な状況画像Ｃを示す図である。図７（ａ）の例では、状況画像Ｃは、基準画像Ａに重畳された、特定部１１３が特定した人間位置を示す図形Ｃ１を含む。例えば図形Ｃ１は、円形、楕円形、矩形等の所定の形状を有するアイコンである。これにより、ユーザは、店舗内にいる人間の数及び配置を、個人を特定することなく知ることができる。

図７（ｂ）の例では、状況画像Ｃは、基準画像Ａに重畳された、特定部１１３が特定した人間位置を示す第１図形Ｃ１と、特定部１１３が特定した座席位置を示す、第１図形Ｃ１とは異なる第２図形Ｃ２とを含む。出力部１１５は、第１図形Ｃ１と第２図形Ｃ２とを、互いに異なる表示態様（例えば異なる形状）で出力する。これにより、ユーザは、店舗内にいる人間の位置と、店舗内の座席の位置とを一見して知ることができる。

さらに出力部１１５は、特定部１１３が特定した人間の属性に応じて、第１図形Ｃ１の表示態様（例えば色）を変化させる。例えば出力部１１５は、人間が従業員である場合と顧客である場合とで異なる色の第１図形Ｃ１を出力し、また人間の性別及び年齢層ごとに異なる色の第１図形Ｃ１を出力する。これにより、ユーザは、店舗内にどのような人間がいるかを容易に把握することができる。

受信部１１４が閲覧要求を受信していない場合であっても、予め設定された店舗の開店日及び開店時間になった場合、特定部１１３が特定した人間の数が変化した場合、あるいは画像出力装置１において所定の操作が行われた場合に、出力部１１５は、店舗の状況画像Ｃを生成し、店舗に関連付けられた１つ又は複数の情報端末３（すなわち店舗を登録した情報端末３）へ送信してもよい。これにより、ユーザが情報端末３を用いていちいち閲覧要求を送信する操作を行わなくても、画像出力装置１は、店舗の状況画像Ｃを、店舗に予め関連付けられた情報端末３へ送信することができる。

また、受信部１１４が前回ユーザから閲覧要求を受信した際の空席率や混雑度を記憶部１２が記憶しておき、その後所定時間内に空席率や混雑度が変化した場合に、出力部１１５は状況画像Ｃを該ユーザの情報端末３へ送信してもよい。その際に、出力部１１５は、状況画像Ｃに加えて、「○名様の空席が出ました」のような文字列を含むメッセージを送信してもよい。これにより、画像出力装置１は、例えばユーザが閲覧要求を送信した際に空席がない場合であっても、自動的に空席状況の変動をユーザに通知し、ユーザの来店を促すことができる。

出力部１１５は、第１の情報端末３においてユーザが店舗へ入店したことを示す操作を行った場合に、第１の情報端末３とは異なる第２の情報端末３へ、状況画像Ｃを送信してもよい。第２の情報端末３は、例えばメッセージサービス、ＳＮＳ等によって、第１の情報端末３に予め関連付けられている端末である。これにより、画像出力装置１は、店舗に入店したユーザの友人等に、店舗の状況を通知し、来店を促すことができる。

出力部１１５は、状況画像Ｃに加えて、空席率又は空席数を出力してもよい。この場合に、出力部１１５は、特定部１１３が特定した座席（座席位置）の数と、特定部１１３が特定した人間（人間位置）の数とに基づいて、空席率又は空席数を算出し、情報端末３へ送信する。このとき出力部１１５は、特定部１１３が特定した従業員でない人間の数を用いて空席率又は空席数を算出してもよい。情報端末３は、図６（ｂ）に示すように、状況画像Ｃとともに空席率又は空席数を表示部上に表示する。これにより、画像出力装置１は、状況画像Ｃに加えて、空席の割合を数値としてユーザに通知することができる。

また、記憶部１２に基準画像の中でカウンター席の範囲、テーブル席の範囲等を予め記憶しておき、出力部１１５は、カウンター席やテーブル席ごとに空席数を出力してもよい。これにより、画像出力装置１は、席ごとにどのくらいの空席数があるかをユーザに通知することができる。

出力部１１５は、状況画像Ｃに加えて、店舗の従業員又は管理者が設定したメッセージを、情報端末３へ送信してもよい。メッセージは、例えば空席が多い場合に「○時までビールが１００円」のような文字列を含む。また、店舗の従業員又は管理者は、メッセージを表示可能な期間を設定してもよい。情報端末３は、表示部において、状況画像Ｃの周辺又は状況画像Ｃの上に、受信したメッセージを表示する。受信したメッセージに表示可能な期間が設定されている場合には、情報端末３は、該メッセージを該期間内にのみ表示する。これにより、画像出力装置１は、状況画像Ｃだけでなく店舗からのメッセージをユーザに通知することができる。

さらに画像出力装置１は、メッセージサービス、ＳＮＳ等の管理装置を介して、情報端末３との間でメッセージの授受を行ってもよい。例えばユーザがメッセージ画面上で「予約」というキーワードを含むメッセージを入力すると、情報端末３は、入力されたメッセージを、画像出力装置１へ送信する。画像出力装置１において、受信部１１４が「予約」というキーワードを含むメッセージを受信すると、出力部１１５は、「時間、人数を入力してください」というメッセージを、情報端末３へ送信する。

その後、受信部１１４が時間及び人数を含むメッセージを受信し、店舗の従業員又は管理者が予約を承諾するための操作を行うと、出力部１１５は、「予約完了」というメッセージを、情報端末３へ送信する。一方、店舗が満席である場合等に店舗の従業員又は管理者が予約を承諾しないための操作を行うと、出力部１１５は、状況画像Ｃの送信を中止し、あるいは「満席」というメッセージを状況画像Ｃに重畳して情報端末３へ送信する。これにより、画像出力装置１は、状況画像Ｃをユーザに通知するだけでなく、ユーザとの間で予約等を目的としたメッセージの授受を行うことができる。

さらに画像出力装置１は、複数の店舗の中から、ユーザが指定した条件を満たす店舗の状況画像Ｃを、ユーザが有する情報端末３へ送信してもよい。例えばユーザがメッセージ画面上で場所、人数、店舗のカテゴリ等を示す条件を入力すると、情報端末３は、入力された条件を、画像出力装置１へ送信する。画像出力装置１において、受信部１１４が条件を受信すると、出力部１１５は、条件の場所（例えば銀座）の周辺で条件のカテゴリ（例えば居酒屋）に合致する複数の店舗の空席数を取得し、取得した空席数が条件の人数以上である１つ又は複数の店舗を抽出する。そして出力部１１５は、抽出した１つ又は複数の店舗の状況画像Ｃを、情報端末３へ送信する。これにより、画像出力装置１は、ユーザが指定した条件を満たす店舗の状況を、ユーザに通知することができる。

本実施形態において、画像出力システムＳは、例示的に飲食店等の店舗の状況画像を出力しているが、その他の場所にも適用できる。例えば画像出力システムＳは、商品の販売店の状況画像を出力することによって、販売店の混雑度をユーザに通知できる。また、例えばホテル、旅館、シェアオフィス等の施設の状況画像を出力することによって、施設内の部屋、トイレ、浴室等の空き状況をユーザに通知できる。このように、本実施形態に係る画像出力システムＳは、人間が出入りする任意の場所を対象として、場所の状況を示す状況画像を出力することができる。

［画像出力方法のシーケンス］
図８は、本実施形態に係る画像出力システムＳが実行する画像出力方法のシーケンス図である。画像出力装置１において、取得部１１１は、撮像装置２に対して撮像指示を送信する。取得部１１１は、撮像装置２が撮像した撮像画像を取得する。生成部１１２は、取得部１１１が取得した撮像画像に対して、所定の画像処理を行うことによって、撮像装置２による撮像範囲に含まれる場所のレイアウトに対応するレイアウトを表す基準画像を生成し、基準画像記憶部１２１に記憶させる（Ｓ１１）。

画像出力装置１において、取得部１１１は、撮像装置２が撮像した撮像画像を取得する（Ｓ１２）。特定部１１３は、取得部１１１が取得した撮像画像に基づいて、撮像画像の中で人間がいる人間位置を特定する（Ｓ１３）。

情報端末３において、顧客であるユーザは、撮像装置２が設置されている場所（店舗）を登録するための操作を行う（Ｓ１４）。ユーザが情報端末３を用いて所定の操作を行うと、情報端末３は、店舗を識別するための店舗ＩＤと、情報端末３を識別するための端末ＩＤとを、画像出力装置１へ送信する。画像出力装置１において、受信部１１４は、情報端末３から受信した店舗ＩＤ及び端末ＩＤを関連付けて記憶部１２に記憶させる。これにより、情報端末３は、撮像装置２が設置されている場所に予め関連付けられる。

情報端末３において、顧客であるユーザは、登録した店舗の状況画像の閲覧要求を送信するための操作を行う（Ｓ１５）。ユーザが情報端末３を用いて所定の操作を行うと、情報端末３は、端末ＩＤを含む閲覧要求を、画像出力装置１へ送信する。ステップＳ１２〜Ｓ１３とステップＳ１４〜Ｓ１５とは、並行して行われてもよく、逆の順序で行われてもよい。

画像出力装置１において、受信部１１４は、情報端末３から閲覧要求を受信する。受信部１１４が閲覧要求を受信した場合に、出力部１１５は、基準画像記憶部１２１に記憶された基準画像に、特定部１１３が特定した人間位置を示す図形を重畳することによって、店舗の状況を示す状況画像を生成する（Ｓ１６）。ここで出力部１１５は、人間の属性や座席位置を示す情報を含む状況画像を生成してもよい。そして出力部１１５は、生成した状況画像を、閲覧要求を送信した情報端末３へ送信する（Ｓ１７）。情報端末３は、画像出力装置１が送信した状況画像を、表示部上に表示する（Ｓ１８）。

［実施形態の効果］
本実施形態に係る画像出力システムＳにおいて、画像出力装置１は、実際の店舗等の場所のレイアウトに対応するレイアウトの基準画像上に、人間の有無を示す情報を重畳して出力する。そのため、画像出力装置１は、店舗等の場所において、該場所にいる人間のプライバシーを保護しながら、該場所における状況を示す情報を、情報端末３を有するユーザに提供できる。

また、基準画像の範囲と撮像画像の範囲とが同一であるため、画像出力装置１は、撮像画像で特定された人間位置を、基準画像上にそのまま投影できる。そのため、撮像装置２による撮像範囲を店内のマップと対応付ける作業が不要であるため、画像出力システムＳを店舗等の場所に容易に導入することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

画像出力装置１及び情報端末３のプロセッサは、図８に示す画像出力方法に含まれる各ステップ（工程）の主体となる。すなわち、画像出力装置１及び情報端末３のプロセッサは、図８に示す画像出力方法を実行するためのプログラムを記憶部から読み出し、該プログラムを実行して画像出力システムＳの各部を制御することによって、図８に示す画像出力方法を実行する。図８に示す画像出力方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。

Ｓ 画像出力システム
１ 画像出力装置
２ 撮像装置
３ 情報端末
１１ 制御部
１１１ 取得部
１１２ 生成部
１１３ 特定部
１１４ 受信部
１１５ 出力部
１２ 記憶部
１２１ 基準画像記憶部

Claims (11)

1. 撮像装置による撮像範囲に含まれる場所のレイアウトに対応するレイアウトを表す基準画像を記憶する記憶部と、
   前記撮像装置が撮像した撮像画像を取得する取得部と、
   前記取得部が取得した前記撮像画像に基づいて、前記撮像画像の中で人間がいる人間位置を特定する特定部と、
   前記基準画像に、前記特定部が特定した前記人間位置を示す図形を重畳して出力する出力部と、
   を有し、
   前記特定部は、前記撮像画像に基づいて、前記撮像画像の中で座席がある座席位置を特定し、
   前記出力部は、前記人間位置を示す第１図形と、前記座席位置を示す、前記第１図形とは異なる第２図形とを、前記基準画像に重畳して出力する、
   画像出力装置。
2. 撮像装置による撮像範囲に含まれる場所のレイアウトに対応するレイアウトを表す基準画像を記憶する記憶部と、
   前記撮像装置が撮像した撮像画像を取得する取得部と、
   前記取得部が取得した前記撮像画像に基づいて、前記撮像画像の中で人間がいる人間位置を特定する特定部と、
   前記基準画像に、前記特定部が特定した前記人間位置を示す図形を重畳して出力する出力部と、
   を有し、
   前記特定部は、過去に特定した前記人間位置に基づいて、前記撮像画像の中で座席がある座席位置を特定し、
   前記出力部は、前記人間位置を示す第１図形と、前記座席位置を示す、前記第１図形とは異なる第２図形とを前記基準画像に重畳して出力する、
   画像出力装置。
3. 情報端末から、当該情報端末を識別するための端末識別情報を含む閲覧要求を受信する受信部をさらに有し、
   前記記憶部は、前記端末識別情報と、前記撮像装置が設置されている場所である店舗を識別するための店舗識別情報とを関連付けて記憶し、
   前記出力部は、前記閲覧要求を送信した前記情報端末へ、前記記憶部において前記閲覧要求が含む前記端末識別情報に関連付けられた前記店舗識別情報に対応する前記店舗の前記基準画像に前記図形を重畳して送信する、
   請求項１又は２に記載の画像出力装置。
4. 前記出力部は、前記受信部が前記閲覧要求を受信した時点から前記店舗の空席状況が変動した場合に、前記閲覧要求を送信した前記情報端末へ、前記基準画像に前記図形を重畳して送信する、
   請求項３に記載の画像出力装置。
5. 前記取得部は、前記受信部が前記閲覧要求を受信した場合に、前記撮像装置から前記撮像画像を取得する、請求項３又は４に記載の画像出力装置。
6. 前記特定部は、前記撮像画像に基づいて、前記人間の属性を特定し、
   前記出力部は、前記属性に基づいて、前記人間位置を示す前記図形の表示態様を変化させる、請求項１から５のいずれか一項に記載の画像出力装置。
7. 前記出力部は、前記特定部が特定した前記人間の人数が変化した場合に、前記基準画像に前記図形を重畳して出力する、請求項１から６のいずれか一項に記載の画像出力装置。
8. 前記撮像画像に対して、前記撮像装置が設置されている場所の構造物を抽出する加工をすることによって、前記基準画像を生成する生成部をさらに有する、請求項１から７のいずれか一項に記載の画像出力装置。
9. 前記記憶部は、所定の期間内に前記撮像装置が撮像した撮像画像を、前記基準画像として予め記憶する、請求項１から７のいずれか一項に記載の画像出力装置。
10. プロセッサが実行する、
    撮像装置による撮像範囲に含まれる場所のレイアウトに対応するレイアウトを表す基準画像を記憶部に記憶させるステップと、
    前記撮像装置が撮像した撮像画像を取得するステップと、
    前記取得するステップが取得した前記撮像画像に基づいて、前記撮像画像の中で人間がいる人間位置を特定するステップと、
    前記基準画像に、前記特定するステップが特定した前記人間位置を示す図形を重畳して出力するステップと、
    を有し、
    前記特定するステップでは、前記撮像画像に基づいて、前記撮像画像の中で座席がある座席位置を特定し、
    前記出力するステップでは、前記人間位置を示す第１図形と、前記座席位置を示す、前記第１図形とは異なる第２図形とを、前記基準画像に重畳して出力する、
    画像出力方法。
11. プロセッサが実行する、
    撮像装置による撮像範囲に含まれる場所のレイアウトに対応するレイアウトを表す基準画像を記憶部に記憶させるステップと、
    前記撮像装置が撮像した撮像画像を取得するステップと、
    前記取得するステップが取得した前記撮像画像に基づいて、前記撮像画像の中で人間がいる人間位置を特定するステップと、
    前記基準画像に、前記特定するステップが特定した前記人間位置を示す図形を重畳して出力するステップと、
    を有し、
    前記特定するステップでは、過去に特定した前記人間位置に基づいて、前記撮像画像の中で座席がある座席位置を特定し、
    前記出力するステップでは、前記人間位置を示す第１図形と、前記座席位置を示す、前記第１図形とは異なる第２図形とを前記基準画像に重畳して出力する、
    画像出力方法。

Images