JP3737301B2

JP3737301B2 - POS terminal device

Info

Publication number: JP3737301B2
Application number: JP02903799A
Authority: JP
Inventors: 隆広阿久津
Original assignee: 株式会社日立インフォメーションテクノロジー
Priority date: 1999-02-05
Filing date: 1999-02-05
Publication date: 2006-01-18
Anticipated expiration: 2019-02-05
Also published as: JP2000227976A

Description

【０００１】
【発明の属する技術分野】
この発明は、ＰＯＳ端末装置に関し、詳しくは、ＰＯＳ端末装置（以下ＰＯＳ端末）を利用して商品の精算（チェックアウト）を行い、店舗コントローラ等により各ＰＯＳ端末の管理をするスーパーマーケット（以下スーパー）等の量販店において、万引きや不正処理、強盗などをはじめとする各種の犯罪を防止するのために、あるいはその資料を提供する１つして買い物客の監視映像を明確な形で容易に得ることができるようなＰＯＳ端末装置に関する。
【０００２】
【従来の技術】
スーパー等の量販店におけるショピングカートあるいは手提げ買い物かごなどを利用したショピングシステムとしては、買い物容器、多数のＰＯＳ端末、多数のＰＯＳ端末を管理する店舗コントローラから構成される商品販売管理システムがあり、この種のショッピングシステムを導入している店舗が増加しつつある。従来、この種のスーパー等の量販店などでは、万引き等の犯罪防止のために監視カメラを店舗天井に近い位置に設置する監視システムを設けているところが多い。通常、この種の監視カメラシステムは、ＰＯＳシステムとは独立していて監視カメラと映像処理をするコンピュータ、そしてビデオテープレコーダ等を用いて、店内の映像を表示し、自動的にその映像を長時間記録するシステムである。
【０００３】
また、店舗コントローラを有するＰＯＳシステムと監視カメラのシステムとを組み合わせたシステムとしては、特公昭６０−２３３８３号に示されるように、スイッチの切替により監視カメラからの信号をＰＯＳ端末の表示部に表示できるものがある。また、特開平３−２５６９９号に示される技術では、ＰＯＳ端末にビデオデッキを接続して、ＰＯＳ端末の画面上に監視カメラの映像を映し出して同時にビデオデッキに記録する構成をみることができる。特開平８−１２４０２５号に開示される技術では、ＰＯＳ端末の操作に支障を与えることなく、監視カメラのビデオ映像を表示部に表示し、さらに記憶済みの映像を再生表示できるシステムが開示されている。
この種のものは、万引き等を主体として監視が行われるものであるが、これとは別に強盗等に対処するものとして、特開平１０−１０５８３０号では、ＰＯＳ端末の異常事態発生時など、あるいはドロアの強制開放検出時に、店舗本部の端末に自動的に通知するシステムをみることができ、これには、フロアに監視カメラが設置されていて異常事態発生時に映像を採取することが記述されている。
この特開平１０−１０５８３０号を除いた前記いずれの場合も監視カメラは、特定の監視範囲をカバーするために、また監視状態を明らかにするために、依然としＰＯＳシステムとはて独立していて天井等の目立つ場所に設置されているのが普通である。
これらとは別に特別に秘匿状態で設置する監視カメラもあるが、このような監視カメラでは監視範囲が固定され、監視目的が制限されている。
【０００４】
【発明が解決しようとする課題】
従来の天井等の監視カメラは、万引き等の防止には効果があるが、強盗などの場合には監視カメラの設置位置がＰＯＳ端末の設置位置から離れているために多数のＰＯＳ端末を設けると、監視が不十分となる問題がある。特に、天井等の場合には撮影角度が制限されているために、監視対象者の容姿や音声などが十分記録できない。しかも、監視カメラの位置が明確になっているので、監視カメラが破壊されたり、あるいは映像採取が回避される可能性も高い。
特開平１０−１０５８３０号のものは監視カメラをフロアに置く分、天井よりは映像が得やすいが、それでも、ＰＯＳ端末に対面しあるいは対応する顧客の位置は、そのときどきで変化するのでカメラの設置位置により固定的に得られる映像では鮮明な映像が得られない場合も多々ある。しかも、異常事態発生時に動作する関係から即応した鮮明な映像が得られない問題が残されている。
この発明の目的は、このような従来技術の問題点を解決するものであって、監視対象者が監視カメラを意識することなく鮮明な映像を採取することができるＰＯＳ端末を提供することにある。
【０００５】
【課題を解決するための手段】
このような目的を達成するためのこの発明のＰＯＳ端末の特徴は、チェックアウトにおいて売上げ内容を表示する顧客用売上表示部を有するＰＯＳ端末装置において、売上表示部に設けられた撮像装置および対人感知センサと、この対人感知センサによる人の検出に応じて売上表示部からの視野において前記撮像装置で撮像して撮像装置により採取された映像を再生できる形態で記録する記録処理手段とを備え、対人感知センサが、売上表示部の前に人が立ったときにその人を検出し、その人が売上表示部の前からいなくなったときにその人の検出を停止する検出範囲を持つものである。
【０００６】
【発明の実施の形態】
このように、ＰＯＳ端末装置の顧客用売上表示部に撮像装置および対人感知センサを設けることで、その位置や方向が実質的に顧客と対面関係あるいはそれに近い状態に位置付けされるので、顧客の顔を中心とした容姿を明確に得ることができる。しかも、売上表示部に撮像装置および対人感知センサを搭載するので、撮像装置は、目立つことはなく、外観上秘匿状態で配置することが容易であり、精算する人のチェックアウト状態を確実に検出できる。
その結果、多数のＰＯＳ端末を設けても、それぞれにおいて独立かつ独自に監視が可能となり、天井等の場合のように撮影角度が制限されることもなく、監視カメラが破壊される危険性も回避される。また、ＰＯＳ端末に搭載されることにより個別にそれぞれの異常事態発生時に即応した鮮明な映像がリアルタイムに得られ易い。
さらに、音声等の同時採取も容易になる。
【０００７】
【実施例】
図１は、この発明のＰＯＳ端末を適用した一実施例の外観図、図２は、図１のＰＯＳ端末の内部構成を示すブロック図、図３は、その監視処理のフローチャート、図４は、顧客用の売上表示部の構成の説明図である。
図１において、１０は、ＰＯＳ端末であり、１はそのＰＯＳ端末本体、２はその顧客用の売上表示部、３は売上表示部２に設けられた監視カメラ（ＴＶカメラ等の撮像装置）、４は、監視カメラ３に隣接して設けられたマイクロホン（以下マイク）、５は、人が顧客用の売上表示部２の前に立ったこと（所定の距離範囲に入ったこと）を検出する近接の対人感知センサであり、顧客用の売上表示部２の前から人がいなくなったときにその検出信号が停止する。
なお、対人感知センサ５としては、焦電型赤外線センサをはじめとして各種の光学センサを用いることができる。
【０００８】
ＰＯＳ端末本体１は、ショピングカートあるいは手提げ買い物かごにある顧客が買った商品を、例えば、バーコードリーダ等で商品名、価格などをチェックし、検索して売上げ登録内容、必要に応じて商品名などを売上表示部２に表示する。さらに、累算し、小計、合計等を算出し、精算をする、いわゆるチェックアウト処理を実行して、チェックアウトの処理内容あるいはチェックアウト時に必要な情報を得るために各種情報を店舗本部端末（店舗コントローラ）７に転送し、店舗本部端末（店舗コントローラ）７とデータ交換をする。
顧客用の売上表示部２には監視カメラ３とマイク４、そして対人感知センサ５とが内蔵されているが、これらは、図では、それらを説明の都合上明示しているが、実際には、内側透過性で外側からは見えにくい半透明あるいは半透過性のフィルム等でコーティングされたパネルがはめ込まれ、図示するように表示面からは目立たない周辺部にそれらが配置され、かつ秘匿された状態になっている。
なお、９ａは、オペレータであり、９ｂは、顧客である。顧客９ｂは、顧客用売上表示部２の内容を確認する都合上、その位置や方向が実質的に売上表示部２と対面関係あるいはそれに近い状態に位置し、これにより監視カメラ３も同様な関係が維持される。
ＰＯＳ端末本体１は、対人感知センサ５の検出に応じて監視カメラ３からの映像を採取し、マイク４から得られる音声信号を同時に採取して所定期間あるいは一定期間、これらの情報を記録する。そして、特定のスイッチの投入あるいはドロアの強制開放の検出信号に応じてＰＯＳ端末本体１は、店舗本部端末装置（あるいは店舗コントローラ）７あるいは警察署端末８に通信回線６を介して映像と音声の情報を転送する。これにより店舗本部端末（店舗コントローラ）７では、送られた映像を割込み処理により監視ディスプレイ７１上に再生し、会話音声をスピーカ７２により再生する。一方、警察署端末８においてもそれは同様であり、設定条件あるいは必要に応じて転送された前記の映像と音声を割込み処理により監視ディスプレイ８１に映像を再生し、音声をスピーカ８２により得る。
【０００９】
このような処理をするＰＯＳ端末本体１の内部構成を図２に示す。以下、その構成を説明する。
ＰＯＳ端末本体１は、ＭＰＵ１１と、メモリ１２、ハードディスク１３、印字処理部１４、入力処理部１５、ドロア制御部１６、カメラインタフェース１７、マイクインタフェース１８、表示制御部１９、センサインタフェース２０、そして回線制御部２１がバス２２を介して相互に接続されている。ドロア制御部１６は、ドロア機構部２３の各種機構を制御するとともに、ドロアが強制開放されたときに検出するセンサ（図示せず）を有している。また、回線制御部２１は、通信回線６を介して店舗本部端末（あるいは店舗コントローラ）７と警察署端末８とにそれぞれ接続されている。
【００１０】
売上表示部２には、液晶、あるいはＬＥＤ等の表示器２ａが設けられている。この売上表示部２の高さは、通常、顧客と対面する高さに設定されいる。そこで、これに内蔵された監視カメラ３とマイク４は、容姿や音声を確実に捕らえることができる。また、対人感知センサ５の検出感度もこの位置に設置されることで良好に人の有無を検出できる。なお、監視カメラ３としては広角のレンズが装着されたものを使用し、後続する人の一部が映るようにするとよく、マイク４も指向性の広いものを使用するとよい。ただし、対人感知センサ５の検出範囲と指向性については、対面あるいは近接した人についてその有無が確実に検出されるように、それぞれのＰＯＳ端末の空間配置と人との関係において、それぞれの実状に応じて補正設定できるようにする。
監視カメラ３は、カメラインタフェース１７を介してＰＯＳ端末本体１に接続され、マイク４は、マイクインタフェース１８を介して、対人感知センサ５はセンサインタフェース２０を介してＰＯＳ端末本体１にそれぞれ接続されている。ここで、マイクインタフェース１８は、Ａ／Ｄ変換回路を内蔵していてマイク４から得られるアナログ信号をデジタル化してＭＰＵ１１の制御に応じてバス２２に送出する。カメラインタフェース１７は、監視カメラ３から直接デジタル値の１フレーム分の画像データを順次受けてそれをバス２２を介してＭＰＵ１１に順次転送する。ＭＰＵ１１は、これらのデータを所定のタイミングで得て、後述する処理をしてハードディスク１８に順次記憶していく。また、表示器２ａは、表示制御部１９を介して制御され、ＰＯＳ端末本体１からのデータに応じてその都度の売上げ金額、商品名などを表示する。
メモリ１２には、ＭＰＵ１１が実行する処理プログラムとして、チェックアウト処理プログラム１２１、監視処理プログラム１２２、映像／音声圧縮記録処理プログラム１２３、解凍／再生処理プログラム１２４等が設けられている。
【００１１】
次に、ＰＯＳ端末本体１の監視動作について説明するが、チェックアウト処理については周知であるので割愛する。
監視動作においては、対人感知センサ５による検出信号を受けてセンサ割込みにより監視処理がスタートする。このとき、チェックアウト処理プログラム１２１あるいはメインプログラムから監視処理プログラム１２２がコールされ、これがＭＰＵ１１により実行される。この場合、時分割のパラレル処理でチェックアウト処理プログラム１２１の処理の実行と並行して監視処理プログラム１２２が実行される。したがって、チェックアウト処理には影響を与えない。
監視処理プログラム１２２は、対人感知センサ５の検出信号が発生した時点でコールされてＭＰＵ１１により実行され、ハードディスク１３に圧縮された映像データと音声データとを記録し、店舗本部端末装置（あるいは店舗コントローラ）７に映像データと音声データを送信する処理をする。そして、対人感知センサ５の検出信号がなくなったときには、記録の停止と映像データ等の送信を終了する。
なお、音声についてはデータ量が少ないので、圧縮してもしなくてもよい。そこで、以下の説明では音声データの圧縮については特に述べない。
映像／音声圧縮記録処理プログラム１２３は、監視処理プログラム１２２によりコールされてＭＰＵ１１により実行され、監視カメラ３から得られる映像データを圧縮し、さらに音声データを合成した記録用のデータを生成する。
解凍／再生処理プログラム１２４は、同様に監視処理プログラム１２２によりコールされてＭＰＵ１１により実行され、ハードディスク１３に記録された圧縮データを再生する時に元の映像データに戻して再生する処理をする。
【００１２】
以下、図３に従って監視処理の流れについて説明する。
さて、売上表示部２の前に人が立つと、対面状態となり、これにより対人感知センサ５が検出信号を発生する。この信号が発生すると、発生した時点でセンサインタフェース２０はＭＰＵ１１に対して割込み信号を発生させる。これによりセンサ割込みとなり、ＭＰＵ１１は、センサ割込みにより監視処理プログラム１２２を実行して、まず、カメラインタフェース１７を介して監視カメラ３に駆動信号を送出して監視カメラ３を作動させる（ステップ１０１）。次に、マイクインタフェース１８を介してマイク４に駆動信号を送出してマイク４を動作させる（ステップ１０２）。そしてカメラインタフェース１７とマイクインタフェース１８とからバス２２を介して映像と音声のデジタルデータを受けてメモリ１２のワーク領域に一旦記憶して映像／音声圧縮記録処理プログラム１２３をコールし、映像データについては、例えば、ＭＰＥＧの処理によりデータ圧縮をして音声データを挿入して記録データの生成処理をし、生成されたデータをメモリ１２に記憶する（ステップ１０３）。ここで、監視処理プログラム１２２にリターンして、この生成された音声と映像のデータをメモリ１２から読み出してハードディスク１８へ記録し（ステップ１０４）、店舗本部端末装置（あるいは店舗コントローラ）７へと送信する（ステップ１０５）。
【００１３】
次に、ロックされたドロアが強制的にドロアが開放されたか、あるいはその他の異常事態に通じる特定な異常信号（例えば、ＰＯＳ端末に設置された特定のキーが操作されたことによる）が発生したか否かを判定し（ステップ１０６）、ＮＯであれば、次にセンサが人を感知しなくなったか否かについて、センサインタフェース２０のセンサの検出信号の有無を示す状態フラグを参照して判定する（ステップ１０７）。ここで検出信号が有りとなって（状態フラグ“１”）、ＮＯとなると、ステップ１０３へと戻り、圧縮データが生成され、ステップ１０４で次の１フレームのデータをハードディスク１３に記憶するとともに、ステップ１０５で新しい１フレームの映像を店舗本部端末装置７に送出する。このことを繰り返して、ステップ１０７の判定において人を感知しなくなったとき、検出信号がなし（状態フラグ“０”）となってＹＥＳとなり、記録媒体への記録処理を停止する（ステップ１０８）。そして、マイク４の駆動を停止する信号をマイクインタフェース１８に送出してマイク４の作動を停止させる（ステップ１０９）。次に、監視カメラ３の駆動を停止する信号をカメラインタフェース１７に送出して監視カメラ３の作動を停止させる（ステップ１１０）。
なお、店舗本部端末装置７に伝送さあれる映像は、圧縮前の映像あるいは圧縮された映像のいずれであってもよく、圧縮された映像が伝送されるときには店舗本部端末装置７側で解凍されることになる。また、センサインタフェース２０は、対人感知センサ５が検出信号を発生しているときに、検出状態フラグを“１”にセットし、検出信号が停止したときにこの検出状態フラグを“０”にリセットする。
【００１４】
ここで、ステップ１０６の判定において、ＹＥＳとなり、ロックされたドロアが強制的に開放されり、あるいは異常事態を示すような異常信号が発生したときには、ステップ１１１へと移り、店舗本部端末装置７に警報信号を送出し、ステップ１１２において発生している異常信号が警察端末８へ連絡すべき異常か否かの判定を行い、ここでＮＯとなるとステップ１０３へと戻る。これにより、記録され続け、その映像が店舗本部端末装置７に送られ続ける。
前記ステップ１１２の判定でＹＥＳとなると、異常信号が警察端末８へ連絡すべき異常であることになり、今回の対人感知センサ５の検出信号に応じてすでにハードディスク１３に記録されている圧縮された記録映像についてハードディスク１３から読出して（ステップ１１３）、解凍／再生処理プログラム１２４をコールする。そして記録された音声を含めて映像データが解凍され（ステップ１１４）、解凍された映像と音声データとが警察端末８へ送信される（ステップ１１５）。そしてステップ１０３へと戻る。
なお、前記の警察端末８へ連絡する異常信号は、特定の条件が成立しない限りは解除されない。そのため、その異常信号が発生したときには、ステップ１１２の判定はＹＥＳとなり続け、前記の処理ループが繰り返されることになる。なお、ステップ１１２でＮＯとなると、ステップ１０３へと処理を戻す。
この場合、警察端末８への送信は、すでに記憶された映像についてその圧縮を解凍してからであるが、監視カメラ４から得られる現在の圧縮前の映像を送出してもよい。
【００１５】
以上のような動作を繰り返すものであるが、特に、ステップ１０３からステップ１０７までの繰り返し処理により人を感知しなくなったか否かが、μsecからｍsecオーダ程度の短期間の周期で定期的に対人センサ５の検出信号の有無により監視がなされるので、ある人のチェックアウトが終了して次の人に移ったときにもスムーズに検出終了と次の検出が行われる。
なお、映像／音声圧縮記録処理プログラム１２３の処理は、専用の画像変換処理ボートをカメラインタフェース１７に設けるようにすれば、ステップ１０３の処理は不要になる。
【００１６】
図３の右側に示す特定キー割込み入力スタート処理１２０は、ＰＯＳ端末オペレータが手動操作で映像記録を行う場合であって、例えば、監視キー等を押すとか、特定の操作をしたときに、監視カメラを作動させる場合である。これにより、対人感知センサ５に関係なく、任意のタイミングで監視処理プログラム１２２をコールして監視映像を採取することができる。その結果、前記の対人感知センサ５とは別に随時ＰＯＳ端末オペレータの判断により必要な映像と音声とを記録することができる。
なお、この処理の場合には、前記のステップ１０６の判定における特定な異常信号を同時に発生するようにしてもよい。このような手動操作の場合には、ステップ１０６の判定でＹＥＳ条件が成立し、ステップ１１１へと処理が移行する。また、割込みスタート処理１２０の場合には、ステップ１０７の対人感知センサ５による検出に換えてステップ１０７ａの処理をする。
すなわち、前記のステップ１０６でＮＯとなると、ステップ１０７ａにおいて、映像記録の停止を示す特定のＰＯＳ操作（監視記録を停止する特定のキーの入力操作）をオペレータがしたか否かの判定を行う。この判定でＮＯとなったときに、ステップ１０３へと戻る。この判定でＹＥＳとなったときには、ステップ１０８へと移り、映像記録の停止をする。これにより必要な期間分の映像が採取される。
【００１７】
ところで、ステップ１０６の判定において、ＹＥＳとされる、ドロアが強制的に開放、あるいは異常事態を示すような異常信号が発生する。そこで、ステップ１０６の位置からステップ１１５までの処理は、監視カメラ３が動作中であることあるいは映像記録中であることを条件として前記のステップ１０６で判定する信号が検出されたときに、この信号検出の割込み処理スタートにより、割込み処理レベルの高い緊急割込み処理として前記の処理とは別のプログラム処理として設けることができる。このような割込みレベルの高い処理プログラムとすることで、緊急事態に対応することができる。
【００１８】
図４は、監視カメラの撮像部分の説明図である。通常の監視カメラあるいはＣＣＤ型のカメラを用いる場合に、前面にレンズが装着されるので、監視カメラというイメージを払拭できない。そこで、図４に示すような構造の撮像面をもつ顧客用の売上表示部２を形成することで監視カメラ３が容易に秘匿状態になる。
図４は、売上表示部２の前面を示すものであって、２ｂが表示部２ａを形成する数字等の表示素子部であり、１２個の表示素子１Ｄ，２Ｄ，…，１２Ｄがそれぞれが１桁の数字を示すセグメントあるいは、ｎ×ｍドット、例えば、９×１２のドット表示部を形成して、全体が表示器２ａとして所定の間隔おきに２行、１２列に配列されている。それぞれ表示素子１Ｄ，２Ｄ，…，１２Ｄの間には、ＣＣＤの二次元イメージセンサ１Ｓ，２Ｓ，…，５Ｓ，６Ｓ，８Ｓ，…，１０Ｓが挿入され、これらイメージセンサと表示素子とが交互に２行に直線状に分散配置されている。
直線状に２行に分散配置された各イメージセンサ１Ｓ，２Ｓ，…，５Ｓ，６Ｓ，８Ｓ，…，１０Ｓは、駆動回路２ｂにより駆動されて採取され、それぞれの検出イメージ信号は、パノラマ映像合成回路２ｃにおいて各イメージセンサ１Ｓ〜１１Ｓの映像データがパノラマ合成されて通常の１画面（１フレーム）のイメージデータに編集され、ＰＯＳ端末本体１のカメラインタフェース１７に送出される。
なお、各イメージセンサ１Ｓ〜１０Ｓの表面に薄い広角レンズを張り付けて、表示素子によりセンサ間隔が空くことにより発生する上下左右の間隔のずれた映像の抜けがないようにオーバーラップした映像を採取し、それらの端部が重ね合わさる状態で採取する。このことにより映像の切断が防止できる。この場合、各イメージセンサにより検出される端部の映像は重なるような形態で映像を採取し、パノラマ映像合成回路２ｃで重ね合わせ部分の処理して連続する映像となるようにすることができる。
【００１９】
以上説明してきたが、図３に示す監視処理フローにおいて、ステップ１０６のＮＯからステップ１０７までの間にタイマ監視処理を加えて、一定監視の監視が終了してタイムアウトしたときに、ステップ１０８に移るようにしてもよい。これにより最初の人が検出されていても映像の記録と送信とが一定期間で終了する。次の新しい検出信号が発生するまで割込みが発生しないので、次の人の監視に容易に移ることができ、採取画像のデータ量を低減できる。このような場合には、重要な画像はステップ１２０の手動処理スタートにより採取することで、映像記録期間を任意に延ばすことが可能である。
また、このような時間監視を行うことをすれば、対人検出信号は、スタートさせるだけの信号で済み、記録停止のために対人検出信号の状態を監視する必要はない。また、記録停止は、対人検出信号ではなく、他の信号を用いることもできる。
また、実施例では、映像と音声とを採取して監視対象として記録するようにしているが、記録される対象は、映像だけであってもよい。また、採取する装置は、ハードディスクに限定されるものではないが、映像の記録とその記録停止の回数が多くなるので、ＶＴＲなどでは故障が発生し易い。ただし、ＶＴＲなどを監視映像記録装置とした場合には画像圧縮をしないで済むという利点がある。
【００２０】
【発明の効果】
このようにこの発明にあっては、ＰＯＳ端末装置の顧客用売上表示部に撮像装置を設けることで、その位置や方向が実質的に顧客と対面関係あるいはそれに近い状態に位置付けされるので、顧客の顔を中心とした容姿を明確に得ることができる。しかも、表示部に搭載するので、撮像装置は、目立つことはなく、外観上秘匿状態で配置することが容易である。
その結果、多数のＰＯＳ端末を設けても、それぞれにおいて独立かつ独自に監視が可能となり、天井等の場合のように撮影角度が制限されることもなく、監視カメラが破壊される危険性も回避される。また、ＰＯＳ端末に搭載されることにより個別にそれぞれの異常事態発生時に即応した鮮明な映像がリアルタイムに得られ易い。
【図面の簡単な説明】
【図１】図１は、この発明のＰＯＳ端末を適用した一実施例の外観図である。
【図２】図２は、図１のＰＯＳ端末の内部構成を示すブロック図である。
【図３】図３は、その監視処理のフローチャートである。
【図４】図４は、顧客用の売上表示部の構成の説明図である。
【符号の説明】
１…ＰＯＳ端末本体、２…顧客用の売上表示部、
３…監視カメラ（ＴＶカメラ等の撮像装置）、４…マイクロホン、
６…通信回線、７…店舗本部端末装置（あるいは店舗コントローラ）、
８…警察署端末、１０…ＰＯＳ端末、１１…ＭＰＵ、
１２…メモリ、１３…ハードディスク、１４…印字処理部、
１５…入力処理部、１６…ドロア制御部、１７…カメラインタフェース、
１８…マイクインタフェース、１９…表示制御部、
２０…センサインタフェース、２１…回線制御部、
２２…バス、１２…ドロア機構部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a POS terminal device, and more specifically, a supermarket (hereinafter referred to as a supermarket) that uses a POS terminal device (hereinafter referred to as a POS terminal) to check out (check out) products and manages each POS terminal using a store controller or the like. In order to prevent various crimes such as shoplifting, fraudulent processing, burglary, etc., or to provide one of those materials, it is easy to obtain a clear monitoring image of the shopper It is related with the POS terminal device which can do.
[0002]
[Prior art]
As a shopping system using a shopping cart or a hand-held shopping basket at a mass retailer such as a supermarket, there is a merchandise sales management system composed of shopping containers, a large number of POS terminals, and a store controller that manages a large number of POS terminals. The number of stores that have introduced various shopping systems is increasing. Conventionally, mass-market stores such as this type of supermarket often have a monitoring system that installs a monitoring camera near the ceiling of the store to prevent shoplifting and other crimes. Usually, this type of surveillance camera system is independent of the POS system and uses a surveillance camera and a computer that performs video processing, and a video tape recorder or the like to display the video in the store and automatically lengthens the video. It is a time recording system.
[0003]
In addition, as a system combining a POS system having a store controller and a surveillance camera system, as shown in Japanese Patent Publication No. 60-23383, a signal from the surveillance camera is displayed on the display unit of the POS terminal by switching a switch. There is something you can do. In the technique disclosed in Japanese Patent Laid-Open No. 3-25699, a configuration is possible in which a video deck is connected to the POS terminal, and the video of the surveillance camera is displayed on the screen of the POS terminal and simultaneously recorded in the video deck. In the technique disclosed in Japanese Patent Laid-Open No. 8-1224025, there is disclosed a system capable of displaying a video image of a surveillance camera on a display unit and further reproducing and displaying a stored image without hindering the operation of the POS terminal. Yes.
This type of monitoring is mainly performed for shoplifting, etc., but in addition to this, as a countermeasure against robbery etc., in JP-A-10-105830, when an abnormal situation of a POS terminal occurs, or You can see a system that automatically notifies the terminal at the store headquarters when a forced opening of the drawer is detected, which describes that a surveillance camera is installed on the floor and that an image is taken when an abnormal situation occurs Yes.
In any of the above cases except Japanese Patent Laid-Open No. 10-105830, the surveillance camera is still independent of the POS system in order to cover a specific surveillance range and to clarify the surveillance state. It is usually installed in a conspicuous place such as the ceiling.
Apart from these, some surveillance cameras are installed in a concealed state, but such surveillance cameras have a fixed surveillance range and have limited surveillance purposes.
[0004]
[Problems to be solved by the invention]
Conventional surveillance cameras such as ceilings are effective in preventing shoplifting and the like. However, in the case of burglary or the like, the installation position of the surveillance camera is far from the installation position of the POS terminal. There is a problem of insufficient monitoring. In particular, in the case of a ceiling or the like, since the shooting angle is limited, the appearance and sound of the person to be monitored cannot be sufficiently recorded. Moreover, since the position of the surveillance camera is clear, there is a high possibility that the surveillance camera will be destroyed or video collection will be avoided.
Japanese Patent Laid-Open No. 10-105830 is easier to obtain images than the ceiling because the surveillance camera is placed on the floor. However, the position of the customer facing or corresponding to the POS terminal changes from time to time, so the camera is installed. There are many cases in which a clear image cannot be obtained with an image obtained in a fixed manner depending on the position. In addition, there remains a problem in that a clear video that can be immediately responded cannot be obtained due to the relationship that operates when an abnormal situation occurs.
SUMMARY OF THE INVENTION An object of the present invention is to solve such a problem of the prior art, and to provide a POS terminal capable of collecting a clear image without the monitoring subject being aware of the monitoring camera. .
[0005]
[Means for Solving the Problems]
The feature of the POS terminal of the present invention for achieving such an object is that it is for a customer who displays sales contents at checkout. Sales display section In a POS terminal device having Sales display section Imaging device provided in And human sensor And this In response to detection of a human by a human sensor, the image is picked up by the image pickup device in the field of view from the sales display unit. Recording processing means for recording the video collected by the imaging device in a reproducible form The person detection sensor has a detection range that detects the person when the person stands in front of the sales display section and stops detecting the person when the person disappears from the front of the sales display section. Is.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
Thus, for POS terminal device customers Sales display section Imaging device And human sensor By providing the position, the position and direction are positioned substantially in a face-to-face relationship with the customer or in a state close thereto, so that the appearance centered on the customer's face can be clearly obtained. Moreover, Imaging device and personal sensor on sales display Therefore, the imaging device is not conspicuous and can be easily placed in a concealed state. The check-out status of the person who pays can be reliably detected .
As a result, even if a large number of POS terminals are provided, each can be independently and independently monitored, the shooting angle is not limited as in the case of the ceiling, etc., and the risk of destroying the surveillance camera is avoided. Is done. In addition, by being mounted on the POS terminal, it is easy to obtain a clear video in real time in response to each abnormal situation.
Furthermore, simultaneous collection of sounds and the like is facilitated.
[0007]
【Example】
1 is an external view of an embodiment to which the POS terminal of the present invention is applied, FIG. 2 is a block diagram showing an internal configuration of the POS terminal of FIG. 1, FIG. 3 is a flowchart of its monitoring process, and FIG. It is explanatory drawing of a structure of the sales display part for customers.
In FIG. 1, 10 is a POS terminal, 1 is the POS terminal main body, 2 is a sales display section for the customer, 3 is a surveillance camera (imaging device such as a TV camera) provided in the sales display section 2, Reference numeral 4 denotes a microphone (hereinafter referred to as a microphone) provided adjacent to the surveillance camera 3, and 5 detects that a person stands in front of the customer sales display unit 2 (enters a predetermined distance range). It is a proximity human detection sensor, and its detection signal stops when no one is present in front of the customer sales display unit 2.
As the human sensor 5, various optical sensors including a pyroelectric infrared sensor can be used.
[0008]
The POS terminal main body 1 checks the product name, price, etc., for a product purchased by a customer in a shopping cart or hand-held shopping basket, for example, with a barcode reader, etc. Are displayed on the sales display section 2. Furthermore, the store headquarters terminal (accumulates, subtotals, totals, etc.), performs so-called checkout processing, and obtains various information in order to obtain checkout processing contents or information required at checkout. The data is exchanged with the store headquarters terminal (store controller) 7.
The sales display section 2 for the customer has a built-in monitoring camera 3, a microphone 4, and a human sensor 5, which are shown in the figure for convenience of explanation, but in actuality Panels coated with a translucent or semi-transparent film that is transparent on the inside and difficult to see from the outside are inserted, and as shown in the figure, they are placed in a peripheral area that is not conspicuous from the display surface, and is concealed It is in a state.
In addition, 9a is an operator and 9b is a customer. For the convenience of confirming the contents of the sales display unit 2 for customers, the customer 9b is located substantially in a face-to-face relationship with or close to the sales display unit 2, so that the surveillance camera 3 has the same relationship. Is maintained.
The POS terminal main body 1 collects video from the monitoring camera 3 in response to detection by the human sensor 5 and simultaneously collects audio signals obtained from the microphone 4 and records these information for a predetermined period or a predetermined period. Then, in response to a detection signal for turning on a specific switch or forcibly opening the drawer, the POS terminal main body 1 transmits video and audio to the store headquarters terminal device (or store controller) 7 or the police station terminal 8 via the communication line 6. Transfer information. Thereby, in the store headquarters terminal (store controller) 7, the transmitted video is reproduced on the monitor display 71 by interruption processing, and the conversation voice is reproduced by the speaker 72. On the other hand, the same applies to the police station terminal 8, and the video and audio transferred according to the setting conditions or as necessary are reproduced on the monitoring display 81 by interruption processing, and the audio is obtained by the speaker 82.
[0009]
FIG. 2 shows an internal configuration of the POS terminal main body 1 that performs such processing. The configuration will be described below.
The POS terminal main body 1 includes an MPU 11, a memory 12, a hard disk 13, a print processing unit 14, an input processing unit 15, a drawer control unit 16, a camera interface 17, a microphone interface 18, a display control unit 19, a sensor interface 20, and line control. The units 21 are connected to each other via a bus 22. The drawer control unit 16 controls various mechanisms of the drawer mechanism unit 23 and includes a sensor (not shown) that detects when the drawer is forcibly opened. The line control unit 21 is connected to the store headquarters terminal (or store controller) 7 and the police station terminal 8 via the communication line 6.
[0010]
The sales display unit 2 is provided with a display 2a such as a liquid crystal or LED. The height of the sales display unit 2 is normally set to a height facing the customer. Therefore, the surveillance camera 3 and the microphone 4 incorporated therein can surely capture the appearance and sound. Moreover, the presence or absence of a person can be detected satisfactorily by installing the detection sensitivity of the interpersonal sensor 5 at this position. As the surveillance camera 3, a camera equipped with a wide-angle lens may be used so that a part of the following person is reflected, and the microphone 4 having a wide directivity may be used. However, the detection range and directivity of the interpersonal sensor 5 are determined according to the relationship between the spatial arrangement of each POS terminal and the person so that the presence / absence of the person facing or close to the person is reliably detected. Make correction settings accordingly.
The monitoring camera 3 is connected to the POS terminal main body 1 via the camera interface 17, the microphone 4 is connected to the POS terminal main body 1 via the microphone interface 18, and the interpersonal sensor 5 is connected to the POS terminal main body 1 via the sensor interface 20. Each It is connected. Here, the microphone interface 18 incorporates an A / D conversion circuit, digitizes an analog signal obtained from the microphone 4, and sends it to the bus 22 in accordance with the control of the MPU 11. The camera interface 17 sequentially receives image data of one digital value directly from the monitoring camera 3 and sequentially transfers it to the MPU 11 via the bus 22. The MPU 11 obtains these data at a predetermined timing and sequentially stores them in the hard disk 18 by performing the processing described later. The display 2a is controlled via the display control unit 19, and displays the sales amount, the product name, and the like each time according to data from the POS terminal main body 1.
The memory 12 is provided with a checkout processing program 121, a monitoring processing program 122, a video / audio compression recording processing program 123, a decompression / playback processing program 124, and the like as processing programs executed by the MPU 11.
[0011]
Next, the monitoring operation of the POS terminal body 1 will be described, but the check-out process is well known and will be omitted.
In the monitoring operation, the monitoring process is started by the sensor interruption upon receiving the detection signal from the human sensor 5. At this time, the monitoring processing program 122 is called from the checkout processing program 121 or the main program, and is executed by the MPU 11. In this case, the monitoring processing program 122 is executed in parallel with the execution of the processing of the checkout processing program 121 by time-division parallel processing. Therefore, the checkout process is not affected.
The monitoring processing program 122 is called when the detection signal of the human sensor 5 is generated, is executed by the MPU 11, records the compressed video data and audio data on the hard disk 13, and stores the headquarter terminal device (or the store controller). ) 7 performs processing for transmitting video data and audio data. When the detection signal from the human sensor 5 disappears, the stop of recording and the transmission of video data and the like are ended.
In addition, since there is little data amount about an audio | voice, it is not necessary to compress or to compress. Therefore, in the following description, compression of audio data is not particularly described.
The video / audio compression recording processing program 123 is called by the monitoring processing program 122 and executed by the MPU 11, compresses the video data obtained from the monitoring camera 3, and generates recording data by further synthesizing the audio data.
Similarly, the decompression / playback processing program 124 is called by the monitoring processing program 122 and executed by the MPU 11 to perform processing for returning to the original video data and playing back the compressed data recorded on the hard disk 13.
[0012]
Hereinafter, the flow of the monitoring process will be described with reference to FIG.
Now, when a person stands in front of the sales display unit 2, a face-to-face state is established, whereby the person detection sensor 5 generates a detection signal. When this signal is generated, the sensor interface 20 causes the MPU 11 to generate an interrupt signal when the signal is generated. As a result, a sensor interruption occurs, and the MPU 11 executes the monitoring processing program 122 by the sensor interruption, and first sends a drive signal to the monitoring camera 3 via the camera interface 17 to operate the monitoring camera 3 (step 101). Next, a drive signal is sent to the microphone 4 via the microphone interface 18 to operate the microphone 4 (step 102). Then, video and audio digital data is received from the camera interface 17 and the microphone interface 18 via the bus 22 and temporarily stored in the work area of the memory 12, and the video / audio compression processing program 123 is called. For example, data compression is performed by MPEG processing and audio data is inserted to generate recording data, and the generated data is stored in the memory 12 (step 103). Here, the process returns to the monitoring processing program 122, and the generated audio and video data is read from the memory 12, recorded on the hard disk 18 (step 104), and transmitted to the store headquarters terminal device (or store controller) 7. (Step 105).
[0013]
Next, the locked drawer was forcibly opened, or a specific abnormal signal (for example, a specific key installed on the POS terminal was operated) leading to another abnormal situation occurred. (Step 106), if NO, whether or not the sensor no longer senses a person is determined with reference to a status flag indicating the presence or absence of a sensor detection signal in the sensor interface 20. (Step 107). If the detection signal is present (status flag “1”) and the determination is NO, the process returns to step 103 to generate compressed data. In step 104, the next one frame of data is stored in the hard disk 13. In step 105, a new one-frame video is sent to the store headquarter terminal device 7. By repeating this, when no person is detected in the determination in step 107, the detection signal is not present (status flag “0”) and the determination is YES, and the recording process to the recording medium is stopped (step 108). Then, a signal for stopping the driving of the microphone 4 is sent to the microphone interface 18 to stop the operation of the microphone 4 (step 109). Next, a signal for stopping the driving of the monitoring camera 3 is sent to the camera interface 17 to stop the operation of the monitoring camera 3 (step 110).
Note that the video transmitted to the store headquarter terminal device 7 may be either an uncompressed video or a compressed video, and is decompressed on the store headquarter terminal device 7 side when the compressed video is transmitted. It will be. The sensor interface 20 sets the detection state flag to “1” when the human sensor 5 generates a detection signal, and resets the detection state flag to “0” when the detection signal stops. To do.
[0014]
Here, when the determination in step 106 is YES and the locked drawer is forcibly opened or an abnormal signal indicating an abnormal situation is generated, the process proceeds to step 111 where the store headquarter terminal device 7 An alarm signal is transmitted, and it is determined whether or not the abnormality signal generated in step 112 is an abnormality to be reported to the police terminal 8. If the answer is NO here, the process returns to step 103. As a result, recording continues and the video continues to be sent to the store headquarter terminal device 7.
If the determination in step 112 is YES, the abnormal signal is an abnormality to be reported to the police terminal 8, and the hard disk has already been detected in accordance with the detection signal of the personal sensor 5 at this time. 13 Is read from the hard disk 13 (step 113), and the decompression / reproduction processing program 124 is called. The video data including the recorded audio is decompressed (step 114), and the decompressed video and audio data are transmitted to the police terminal 8 (step 115). Then, the process returns to step 103.
The abnormal signal for contacting the police terminal 8 is not canceled unless a specific condition is satisfied. Therefore, when the abnormal signal is generated, the determination in step 112 continues to be YES, and the above processing loop is repeated. In addition, when it becomes NO at step 112, the processing is returned to step 103.
In this case, the transmission to the police terminal 8 is after decompressing the already stored video, but the current video before compression obtained from the surveillance camera 4 may be sent out.
[0015]
The above operation is repeated. In particular, whether or not a person has been detected by the repeated processing from step 103 to step 107 is periodically determined based on a short-term period of about μsec to msec. Since the monitoring is performed based on the presence or absence of the detection signal 5, the detection end and the next detection are smoothly performed even when the check-out of a certain person is completed and the next person is transferred.
Note that the processing of the video / audio compression recording processing program 123 does not require the processing in step 103 if a dedicated image conversion processing boat is provided in the camera interface 17.
[0016]
The specific key interrupt input start process 120 shown on the right side of FIG. 3 is a case where the POS terminal operator performs video recording by manual operation. For example, when a monitoring key is pressed or a specific operation is performed, the monitoring camera It is a case where is operated. As a result, regardless of the human sensor 5, the monitoring processing program 122 can be called at any timing to collect a monitoring video. As a result, necessary video and audio can be recorded at any time by the determination of the POS terminal operator, separately from the human sensor 5.
In the case of this processing, a specific abnormal signal in the determination of step 106 may be simultaneously generated. In the case of such a manual operation, the YES condition is satisfied in the determination in step 106, and the process proceeds to step 111. In the case of the interrupt start process 120, the process of step 107a is performed instead of the detection by the human sensor 5 in step 107.
That is, if NO is determined in step 106, it is determined in step 107a whether or not the operator has performed a specific POS operation (input operation of a specific key for stopping monitoring recording) indicating that video recording is stopped. When this determination is NO, the process returns to step 103. When the determination is YES, the process moves to step 108 and video recording is stopped. As a result, images for a necessary period are collected.
[0017]
By the way, in the determination of step 106, an abnormal signal is generated, in which the drawer is forcibly opened or an abnormal situation is indicated. Therefore, the processing from the position of step 106 to step 115 is performed when a signal to be determined in step 106 is detected on condition that the surveillance camera 3 is operating or recording video. By starting the interrupt process for detection, an emergency interrupt process with a high interrupt process level can be provided as a program process different from the above process. Such a processing program with a high interrupt level can cope with an emergency situation.
[0018]
FIG. 4 is an explanatory diagram of the imaging part of the surveillance camera. When a normal surveillance camera or a CCD type camera is used, a lens is attached to the front surface, so the image of the surveillance camera cannot be wiped off. Therefore, by forming the customer sales display unit 2 having an imaging surface having a structure as shown in FIG.
FIG. 4 shows the front of the sales display unit 2, 2 b is a display element unit such as numerals forming the display unit 2 a, and 12 display elements 1 D, 2 D,. A segment indicating a digit or a dot display portion of n × m dots, for example, 9 × 12 is formed, and the whole is arranged as a display 2a in 2 rows and 12 columns at predetermined intervals. 2D image sensors 1S, 2S,..., 5S, 6S, 8S,..., 10S are inserted between the display elements 1D, 2D,. The lines are distributed and arranged in two lines.
Each of the image sensors 1S, 2S,..., 5S, 6S, 8S,..., 10S, which are linearly distributed in two rows, is sampled by being driven by the drive circuit 2b. In the circuit 2c, the video data of each of the image sensors 1S to 11S is panorama synthesized, edited into normal one screen (one frame) image data, and sent to the camera interface 17 of the POS terminal main body 1.
A thin wide-angle lens is attached to the surface of each of the image sensors 1S to 10S, and overlapped images are collected so that there is no omission of images with a gap between the top, bottom, left and right generated by the sensor element being spaced by the display element. The sample is collected in a state where their ends overlap. This can prevent the image from being cut. In this case, it is possible to collect the images in such a manner that the end images detected by the image sensors overlap each other, and the panorama image composition circuit 2c processes the overlapping portions to form continuous images.
[0019]
As described above, in the monitoring process flow shown in FIG. 3, a timer monitoring process is added between NO and step 107 in step 106, and when the constant monitoring is terminated and timed out, the process proceeds to step 108. You may do it. Thereby, even if the first person is detected, the recording and transmission of the video are completed in a certain period. Since no interrupt is generated until the next new detection signal is generated, the next person can be easily monitored, and the data amount of the collected image can be reduced. In such a case, it is possible to arbitrarily extend the video recording period by collecting an important image at the start of manual processing in step 120.
Further, if such time monitoring is performed, the human detection signal is only required to start, and it is not necessary to monitor the state of the human detection signal to stop recording. Further, the recording stop can use other signals instead of the human detection signal.
Also, In the embodiment, video and audio are collected and recorded as a monitoring target. However, the target to be recorded may be only video. In addition, the collecting device is not limited to the hard disk, but since the number of times of video recording and recording stop increases, a failure is likely to occur in a VTR or the like. However, when a VTR or the like is used as a monitoring video recording apparatus, there is an advantage that image compression is not necessary.
[0020]
【The invention's effect】
As described above, according to the present invention, by providing the imaging device in the customer sales display unit of the POS terminal device, the position and direction of the POS terminal device can be positioned in a face-to-face relationship or close to the customer. It is possible to clearly obtain the appearance centering on the face of. And since it mounts in a display part, an imaging device does not stand out and it is easy to arrange | position in an externally concealed state.
As a result, even if a large number of POS terminals are provided, each can be independently and independently monitored, the shooting angle is not limited as in the case of the ceiling, etc., and the risk of the surveillance camera being destroyed is avoided. Is done. In addition, by being mounted on the POS terminal, it is easy to obtain a clear image in real time in response to each abnormal situation.
[Brief description of the drawings]
FIG. 1 is an external view of an embodiment to which a POS terminal according to the present invention is applied.
FIG. 2 is a block diagram showing an internal configuration of the POS terminal shown in FIG.
FIG. 3 is a flowchart of the monitoring process.
FIG. 4 is an explanatory diagram of a configuration of a sales display unit for customers.
[Explanation of symbols]
1 ... POS terminal body, 2 ... Sales display for customer,
3 ... surveillance camera (imaging device such as TV camera), 4 ... microphone,
6 ... Communication line, 7 ... Store headquarters terminal device (or store controller),
8 ... Police station terminal, 10 ... POS terminal, 11 ... MPU,
12 ... Memory, 13 ... Hard disk, 14 ... Print processing section,
15 ... Input processing unit, 16 ... Drawer control unit, 17 ... Camera interface,
18 ... Microphone interface, 19 ... Display control unit,
20 ... sensor interface, 21 ... line control unit,
22 ... Bus, 12 ... Drawer mechanism.

Claims

In a POS terminal device having a customer sales display unit that displays sales details at checkout, an image pickup device and a human detection sensor provided in the sales display unit , and the sales display according to detection of a person by the human detection sensor Recording processing means for recording in a form in which the image picked up by the imaging device and reproduced by the imaging device can be reproduced in the field of view from the section, and the interpersonal sensor is a person standing in front of the sales display section. The POS terminal device has a detection range in which the person is detected when the person stops and the person stops being detected when the person disappears from the front of the sales display unit .

Moreover, the includes a microphones sales display unit, wherein the imaging device is a television camera, said recording processing means, said image by said microphone and said imaging device in accordance with a detection signal of the interpersonal detecting sensor The POS terminal device according to claim 1, wherein voice is collected and the recording is stopped in response to a stop of a detection signal of the human sensor.

The POS terminal device according to claim 2 , further comprising an operation switch, wherein the recording is stopped according to an input signal of the operation switch.

The imaging apparatus includes a plurality of image sensors of a predetermined size, the sales display unit includes a plurality of display elements, the image sensors and the display elements are arranged, and the appearance of the camera is 4. The POS terminal apparatus according to claim 2, which is not recognized.

The POS terminal apparatus according to claim 1, further comprising a communication control unit, wherein the communication control unit transmits a video collected by the imaging apparatus to a data processing apparatus other than the POS terminal apparatus via a communication line.