JPH11175643A

JPH11175643A - 自動取引装置およびその制御方法

Info

Publication number: JPH11175643A
Application number: JP34509297A
Authority: JP
Inventors: Hisao Morikawa; 久雄森川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-12-15
Filing date: 1997-12-15
Publication date: 1999-07-02

Abstract

(57)【要約】【課題】自動取引に係わる情報を利用者に判り易く的
確に伝えることができる信頼性にすぐれた自動取引装置
およびその制御方法を提供する。【解決手段】利用者が弱視者であるかどうかを撮像カ
メラ１０の撮像により認識し、認識結果が弱視者である
場合には、カラー液晶ディスプレイ６の画面の表示パタ
ーンの大きさを拡大したり、レシートへの印刷パターン
の大きさを拡大する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、利用者の操作に
応じた自動取引を行なう自動取引装置およびその制御方
法に関する。

【０００２】

【従来の技術】近年、不特定多数の利用者が使用する自
動化機器が発達している。たとえば、銀行窓口に代わり
現金を預出金する銀行端末いわゆる自動現金預払機（Ａ
ＴＭ）、鉄道の切符を発売する自動券売機、定期券を発
行する自動定期券発行機、目的地を案内する地図案内シ
ステム、図書館の図書検索システムなどが多数設置さ
れ、社会システムとして利用されている。

【０００３】これらの自動取引装置に共通の課題として
あるのが、システムとの対話手段、すなわち入力装置で
ある。自動化機器の機能が高くなるにつれ、入力項目が
複雑化し、また障害者、高齢者など弱者に対する配慮も
大きな課題となっている。

【０００４】最近の自動化機器では、液晶ディスプレイ
やＣＲＴディスプレイなどの表示器を組み合わた接触式
の入力装置が多く使用されている。表示画面の上に、利
用者が指等で接触した位置を検知するシート（一般にタ
ッチパネルと呼ばれる）を貼ったもので、位置検知の技
術としては抵抗シート方式、静電容量方式、赤外線
（光）方式などが知られている。

【０００５】この接触式入力装置の利点は、複雑な入力
項目を複数枚の可変画面に表示し、その中から簡単に項
目を選択できることであり、選択項目が増えたり、ある
いは機能が変更になっても簡単に表示データおよび内部
の入力データの変更のみで対応できる点である。キーボ
ードや釦操作に抵抗のある利用者に容易な操作性を提供
できるという利点もある。

【０００６】

【発明が解決しようとする課題】接触式入力装置の場
合、表示器で操作案内文やキーパターンが表示される
が、その表示は健常者を想定したものである。老人等、
視力の弱い人にとっては、表示内容を読み取れず、操作
に苦労することがある。

【０００７】また、銀行等に設置される自動現金預払機
（ＡＴＭ）の場合、自動取引の内容がレシートに印刷さ
れて利用者に提供されるが、その印刷はやはり健常者を
想定したものである。老人等、視力の弱い人にとって
は、印刷内容を読み取れないことが多い。

【０００８】この発明は上記の事情を考慮したもので、
その目的とするところは、自動取引に係わる情報を利用
者に判り易く的確に伝えることができる信頼性にすぐれ
た自動取引装置を提供することにある。

【０００９】また、この発明の目的は、自動取引に係わ
る情報を利用者に判り易く的確に伝えることができる信
頼性にすぐれた自動取引装置の制御方法を提供すること
にある。

【００１０】

【課題を解決するための手段】第１の発明（請求項１）
の自動取引装置は、自動取引に係わる情報を出力する出
力手段と、利用者の特徴を認識する認識手段と、この認
識手段の認識結果に応じて上記出力手段の出力形態を切
換える制御手段と、を備える。

【００１１】すなわち、自動取引に係わる情報が利用者
の特徴に応じた出力形態で利用者に伝えられる。第２の発明（請求項２）の自動取引装置は、第１の発明
において、認識手段が、利用者を撮像する撮像手段を備
え、撮像した利用者の位置および動きから利用者の視力
が弱いかどうかを認識する。

【００１２】第３の発明（請求項３）の自動取引装置
は、第１の発明において、制御手段が、出力手段の出力
形態の切換えに伴い、利用者の操作に対する操作制限時
間を変更する。

【００１３】第４の発明（請求項４）の自動取引装置
は、自動取引装置に係わる情報を文字として出力する出
力手段と、この出力手段による出力文字を通常文字と拡
大文字とに切換える制御手段と、この制御手段による出
力文字の切換を強制的に実行させるための操作手段と、
を備える。

【００１４】第５の発明（請求項５）の自動取引装置の
制御方法は、自動取引に係わる情報を出力する機能を備
えた自動取引装置において、利用者の特徴を認識し、こ
の認識結果に応じて上記出力の形態を切換える。

【００１５】第６の発明（請求項６）の自動取引装置
は、自動取引に係わる情報を表示する表示手段と、利用
者の特徴を認識する認識手段と、この認識手段の認識結
果に応じて上記表示手段の表示形態を切換える制御手段
と、を備える。

【００１６】すなわち、自動取引に係わる情報が利用者
の特徴に応じた表示形態で利用者に伝えられる。第７の発明（請求項７）の自動取引装置は、第６の発明
において、認識手段が、利用者を撮像する撮像手段を備
え、撮像した利用者の位置および動きから利用者の視力
が弱いかどうかを認識する。

【００１７】第８の発明（請求項８）の自動取引装置
は、第６の発明において、制御手段が、出力手段の出力
形態の切換えに伴い、利用者の操作に対する操作制限時
間を変更する。

【００１８】第９の発明（請求項９）の自動取引装置
は、第６の発明において、制御手段が、認識結果が弱視
者であるとき表示パターンの大きさを拡大する。第１０の発明（請求項１０）の自動取引装置は、第６の
発明において、制御手段が、認識結果が弱視者であると
き、表示パターンを複数の画面に分けて拡大表示する。

【００１９】第１１の発明（請求項１１）の自動取引装
置は、第６の発明において、さらに、制御手段による表
示形態の切換を強制的に実行させるための操作手段を備
える。

【００２０】第１２の発明（請求項１２）の自動取引装
置の制御方法は、自動取引に係わる情報を表示する機能
を備えた自動取引装置において、利用者の特徴を認識
し、この認識結果に応じて上記表示の形態を切換える。

【００２１】第１３の発明（請求項１３）の自動取引装
置は、自動取引に係わる情報を印刷する印刷手段と、利
用者の特徴を認識する認識手段と、この認識手段の認識
結果に応じて上記印刷手段の印刷形態を切換える制御手
段と、を備える。

【００２２】すなわち、自動取引に係わる情報が利用者
の特徴に応じた印刷形態で利用者に伝えられる。第１４の発明（請求項１４）の自動取引装置は、第１３
の発明において、認識手段が、利用者を撮像する撮像手
段を備え、撮像した利用者の位置および動きから利用者
の視力が弱いかどうかを認識する。

【００２３】第１５の発明（請求項１５）の自動取引装
置は、第１３の発明において、制御手段が、出力手段の
出力形態の切換えに伴い、利用者の操作に対する操作制
限時間を変更する。

【００２４】第１６の発明（請求項１６）の自動取引装
置は、第１３の発明において、制御手段が、認識結果が
弱視者であるとき印刷パターンの大きさを拡大する。第１７の発明（請求項１７）の自動取引装置は、第１３
の発明において、制御手段が、認識結果が弱視者である
とき印刷パターンを複数の用紙に分けて拡大印刷する。

【００２５】第１８の発明（請求項１８）の自動取引装
置は、第１３の発明において、さらに、制御手段による
印刷形態の切換を強制的に実行させるための操作手段を
備える。

【００２６】第１９の発明（請求項１９）の自動取引装
置の制御方法は、自動取引に係わる情報を印刷する機能
を備えた自動取引装置において、利用者の特徴を認識
し、この認識結果に応じて上記印刷の形態を切換える。

【００２７】

【発明の実施の形態】以下、この発明の一実施例につい
て図面を参照して説明する。図１において、１は自動取
引装置たとえばＡＴＭの本体で、金融機関の営業店に設
置され、現金の預払い、通帳への記入などを自動で行な
う。この本体１は筐体２によって形成され、筐体２の前
面には水平面、傾斜面、垂直面からなる接客操作盤部３
が設けられる。

【００２８】接客操作盤部３の傾斜面には紙幣入出金口
４および硬貨入出金口９が設けられる。紙幣入出金口４
の開口は扉５によって開閉自在に閉塞される。接客操作
盤部３の水平面には出力手段および表示手段としてたと
えばカラー液晶ディスプレイ６が設けられる。カラー液
晶ディスプレイ６は、本体１の自動取引処理に係わる情
報として操作案内情報や操作キーなどの画像パターンを
表示する。この表示により、利用者に対する操作の誘導
・進行が行なわれる。

【００２９】カラー液晶ディスプレイ６の表示画面上に
は図示していないがタッチパネル入力手段（以下、タッ
チパネルと略称する）が設けられる。タッチパネルは、
カラー液晶ディスプレイ６の表示画面を透過するととも
に、利用者の当該パネル面に対する接触操作およびその
位置を検知する。

【００３０】接客操作盤部３の垂直面にはカード挿入・
レシート発行口７および通帳挿入口８が設けられる。そ
して、接客操作盤部３の傾斜面において、紙幣入出金口
４を挟む位置に一対の撮像カメラ１０，１０が配設され
る。この撮像カメラ１０は、利用者の上半身を撮像する
ためのもので、利用者の位置および距離を捕らえために
２つ用意されている。

【００３１】筐体２の内部には、装置全体を制御する主
制御部２０が設けられるとともに、カード挿入・レシー
ト発行口７と対応する位置に出力手段および印刷手段で
あるところのカードリーダ・レシートプリンタユニット
３１、通帳挿入口８と対応する位置に通帳処理ユニット
３２、紙幣入出金口４と対応する位置に紙幣入出金ユニ
ット３３、硬貨入出金口９と対応する位置に硬貨入出金
ユニット３５がそれぞれ設けられる。

【００３２】制御回路を図２に示す。主制御部２０は、
伝送制御部２１を介してホストコンピュータ（中央処理
装置）４１に通信線接続される。この主制御部２０に、
記憶部２２、フロッピィディスクドライブ２３、リモー
トモニタ２６が接続される。

【００３３】記憶部２２は、制御プログラムを記憶して
いる。フロッピィディスクドライブ２３は、自動取引に
関する各種情報が記録されたフロッピィディスクが挿入
されることによりそれを駆動する。リモートモニタ２６
は、保守員に対する保守用データを表示する。

【００３４】電源部２４は、装置全体の動作電圧を出力
する。また、主制御部２０に、カードリーダ・レシート
プリンタユニット３１、通帳処理ユニット３２、紙幣入
出金ユニット３３、利用者特徴認識部３４、硬貨入出金
ユニット３５、タッチパネル式入力装置３６、音声案内
ユニット３７、内部モニタ３８が接続される。

【００３５】カードリーダ・レシートプリンタユニット
３１は、カード挿入・レシート発行口７に挿入される磁
気カードを受入れてその磁気カード上の磁気情報を読取
るとともに、取引内容に応じたレシートを印刷して発行
し、それをカード挿入・レシート発行口７から送出す
る。

【００３６】通帳処理ユニット３２は、通帳挿入口８に
挿入される通帳を受入れてその通帳上の磁気情報の読取
るとともに、取引内容を通帳に印字し、それを通帳挿入
口８から送出する。

【００３７】紙幣入出金ユニット３３および硬貨入出金
ユニット３５は、本体１内へのセットとリセットが可能
で、出金一時集積部、入金一時集積部、装填庫、入金
庫、金種別金庫、監査部などを備える。

【００３８】利用者認識部３４は、上記撮像カメラ１
０，１０を構成要素として含み、その撮像により得られ
る画像から本体１に対する利用者の位置（距離含む）お
よび動きを把握し、その把握に基づき、利用者の視力が
弱いかどうかを認識する。例えば、利用者が操作盤面部
３に顔を近付けたり、利用者の指がカラー液晶ディスプ
レイ６のタッチパネルに触れるまでの指の動き方、操作
にかかる時間などの相互関係を予め記憶している健常者
データと比較し、認識を行なう。このような認識の仕方
をモーションピクチャー認識と称している。このモーシ
ョンピクチャー認識を行なう利用者認識部３４の具体例
については、図１０ないし図２０により後述する。

【００３９】タッチパネル式入力装置３６は、カラー液
晶ディスプレイ６とタッチパネルを構成要素としてお
り、さらに、タッチパネルの操作位置検知をカラー液晶
ディスプレイ６の表示内容に応じた入力情報として取込
む情報取込手段を備える。

【００４０】音声案内ユニット３７は、利用者に対する
案内情報を音声出力する。内部モニタ３８は、係員用に
設けられており、障害が発生したときにその障害の内容
を表示したり、障害の発生に伴う係員への注意事項など
を表示する。

【００４１】主制御部２０は、主要な機能手段として次
の［１］〜［３］を備える。［１］タッチパネル式入力装置３６からの入力情報に応
じて各種取引を実行する取引手段。

【００４２】［２］利用者特徴認識部３４の認識結果に
応じて、カラー液晶ディスプレイ６の表示形態（出力形
態、出力文字など）およびカードリーダ・レシートプリ
ンタユニット３１の印刷形態（出力形態、出力文字な
ど）を切換えるとともに、この切換えに伴い、利用者の
操作に対する操作制限時間を変更する制御手段。

【００４３】［３］カラー液晶ディスプレイ６の受付メ
ニュー画面（初期画面）において、上記制御手段による
表示形態および印刷形態の切換（および操作制限時間の
変更）を強制的に実行させるための操作手段として、拡
大キーパターンを表示する手段。

【００４４】つぎに、上記の構成の作用を図３のフロー
チャートを参照して説明する。利用者が本体１に近付く
と、利用者の上半身が２つの撮像カメラ１０で撮像され
る。この撮像により得られる画像に基づき、利用者の視
力が弱いかどうかを認識するためのモーションピクチャ
ー認識が実行される（ステップ101 ）。

【００４５】一方、利用者が本体１に近付いた時点で、
カラー液晶ディスプレイ６には図４に示す受付メニュー
画面（初期画面）が表示され、取引選択受付状態となる
（ステップ102 ）。この受付メニュー画面には、預け入
れ（入金）、引き出し（出金）、振り込み、通帳記入、
振り替え、残高照会などの取引内容がそれぞれキーパタ
ーン表示されるとともに、表示形態および印刷形態の切
換を強制的に実行させるための操作手段として拡大キー
パターンが表示される。

【００４６】この受付メニュー画面が表示されている状
態において、利用者が拡大キー表示に触れることなく
（ステップ103 のNO）、モーションピクチャー認識で健
常者（弱視者でない）との認識結果が出た場合（ステッ
プ104 の健常者）、通常モード処理が選定される（ステ
ップ105 ）。この通常モード処理では、カラー液晶ディ
スプレイ６の画面の表示パターンが健常者用の通常の大
きさに維持される。

【００４７】そして、利用者がたとえば『お預け入れ』
のキー表示に触れることにより、入金取引の処理が選択
されて実行される。利用者が『お引き出し』のキー表示
に触れた場合は、出金取引の処理が選択されて実行され
る。

【００４８】図４の受付メニュー画面が表示されている
状態において、モーションピクチャー認識で弱視者との
認識結果が出た場合には（ステップ104 の弱視者）、あ
るいは、利用者が拡大キー表示に触れた場合には（ステ
ップ103 のYES ）、弱視者モード処理が選定される（ス
テップ106 ）。

【００４９】弱視者モード処理では、図５に示すよう
に、カラー液晶ディスプレイ６の画面の表示パターンの
大きさが弱視者用に拡大される。同時に、利用者による
操作ステップごとの操作制限時間いわゆる操作タイムア
ウトが弱視者モードに設定され（時間延長され）、音声
案内が弱視者モードに設定され（より親切な音声案内と
なる）、かつレシートへの印刷様式が弱視者モードに設
定される（印刷文字が拡大される）。これら設定された
弱視者モードに基づき、取引操作の受入れがさなれる
（ステップ107 ）。操作タイムアウトとは、一つの操作
ステップの開始から終了までにかかる時間が基準より長
い場合に取引処理を中断してしまう処理の基準時間のこ
とである。

【００５０】通常モードと弱視者モードの違いの例を図
６、図７、図８に示している。例えば、振込取引では振
込先の名称を文字入力するために五十音文字キーのパタ
ーンが表示されるが、通常モード処理では図６に示すよ
うに全ての五十音文字キーのパターンが一括表示され、
弱視者モード処理では図７と図８に示すように五十音文
字キーのパターンが２つの画面に分けて拡大表示され
る。この２つの画面は、表示キー『すすむ』『もどる』
の操作により交互に切換えることができる。

【００５１】そして、一連の取引処理が終了すると、そ
の取引に係わる情報がご利用控え明細としてレシートに
印刷され、そのレシートが利用者に提供される。とく
に、弱視者モードの場合は、図９に示すように、レシー
トの特定領域たとえば取引重要項目の“金額”欄および
“残高”欄に拡大文字が印刷される（ステップ108 ）。
また、全ての文字を拡大文字で２枚のレシートにわたっ
て印刷して、発行するようにしてもよい。通常モードの
場合、“金額”欄および“残高”欄には他の欄と同じ大
きさの文字が印刷される。

【００５２】このように、利用者が弱視者であるかどう
かを認識し、認識結果が弱視者である場合には、カラー
液晶ディスプレイ６の画面の表示パターンの大きさを拡
大することにより、老人等、視力の弱い人でも表示内容
を確実に読み取ることができる。しかも、操作ステップ
ごとの操作タイムアウトを延長することにより、操作の
途中で取引処理が中断してしまう不具合を極力解消し
て、各操作を最後まで確実に行なわせることができる。

【００５３】また、認識結果が弱視者である場合には、
レシートへの印刷パターンの大きさを拡大することによ
り、老人等、視力の弱い人でもレシートの内容を確実に
読み取ることができる。

【００５４】しかも、認識結果にかかわらず、利用者の
意思によって表示パターンおよび印刷パターンの大きさ
を拡大でき、かつ操作タイムアウトを延長できるので、
利用者にとって便利である。

【００５５】したがって、自動取引に係わる情報を利用
者に判り易く的確に伝えることができ、信頼性にすぐれ
たものとなる。ここで、モーションピクチャー認識を行
なう利用者特徴認識部３４の具体例について図１０ない
し図２０により説明する。

【００５６】利用者特徴認識部３４は、図１０に示すよ
うに、撮像カメラ１０の出力を 256階調のデジタル画像
データに変換するＡ／Ｄ変換器などを有し利用者の上半
身を含む画像を連続的に入力する画像入力部５１、画像
入力部５１により入力された256階調のデジタル画像デ
ータを一時記憶する画像記憶部５２、画像記憶部５２に
記憶された画像から変化領域（人物領域）を抽出すると
ともに人物の頭部の頂上位置、人物領域の重心位置、人
物領域の面積、人物下方部幅、および縦・横方向のプロ
ジェクション（投影画像）を検出する変化領域抽出部５
３、変化領域抽出部５３の出力に基づき、抽出された変
化領域が背景の変化であるか、人物の登場によるもので
あるか、非人物による雑音であるのかを判別する画像変
化判別部５４、画像変化判別部５４の出力に基づき、人
物が近づいているのか遠去かっているのかを判別する人
物接近検知部５５、画像変化判別部５４の出力に基づ
き、人物が画面内に登場したときや退出したときの方向
および人物の位置を検知する人物位置検知部５６、画像
変化判別部５４の出力に基づき、人物が機器に向かって
正面を向いているのか横を向いているのかを検知する人
物振り向き検知部５７、画像変化判別部５４の出力に基
づき、画面内に複数の人物が入った場合の人数を検知す
る複数人物検知部５８、および、これら各部５５〜５８
の各検知結果（人物接近状態、人物位置、人物移動方
向、人物振り向き状態、人数など）から、操作人物の位
置状態や動作状態などを特定して、その操作人物の挙動
を解析する挙動解析部５９によって構成される。

【００５７】すなわち、画像入力部５１により入力され
た 256階調のデジタル画像データを圧縮した上で、一
度、画像記憶部５２に格納する。変化領域抽出部５３
は、画像記憶部５２内の画像から、初期画面を背景画像
とする背景差分画像を生成し、生成した背景差分画像を
２値化することにより、背景に対して変化した領域を抽
出するとともに、人物の頭部の頂上位置、人物領域の重
心位置、人物領域の面積、人物下方部幅、および、縦・
横方向のプロジェクションをそれぞれ検出する。

【００５８】次に、変化領域抽出部５３は、生成した背
景差分２値化画像、検出した人物の頭部の頂上位置、人
物領域の重心位置、人物領域の面積、人物下方部幅、お
よび、縦・横方向のプロジェクションをそれぞれ画像変
化判別部５４に送る。

【００５９】次に、画像変化判別部５４は、変化領域抽
出部５３の出力によって、抽出された変化領域（入力画
像内）の変化が背景の変化であるか、人物の登場による
ものであるか、非人物による雑音であるのかを判別し、
人物の登場による変化領域と判別できたとき、変化領域
抽出部５３から出力された人物の頭部の頂上位置、人物
領域の面積、人物領域の重心位置、および、縦・横方向
のプロジェクションを出力する。

【００６０】次に、人物接近検知部５５は、画像変化判
別部５４から出力される人物の頭部の頂上位置および人
物領域の面積から、人物が近づいているのか遠去かって
いるのかを検知し、その検知結果を出力する。

【００６１】また、人物位置検知部５６は、画像変化判
別部５４から出力される人物領域の重心位置から、人物
が画面内に登場したときや退出したときの方向を検知
し、その検知結果を出力する。

【００６２】また、人物振り向き検知部５７は、画像変
化判別部５４から出力されるプロジェクション（投影画
像）から、操作人物が接客操作面２に向かって正面を向
いているのか横を向いているのかを検知し、その検知結
果を出力する。

【００６３】また、複数人物検知部５８は、画像変化判
別部５４から出力されるプロジェクション（投影画像）
から、画面内に複数の人物が入った場合の人数を検知
し、その検知結果を出力する。

【００６４】次に、挙動解析部５９は、上記各部５５〜
５８の各検知結果（人物接近状態、人物位置、人物移動
方向、人物振り向き状態、人数など）から、操作人物の
位置状態や動作状態などを特定して、その操作人物の挙
動を解析する。

【００６５】以下、各部について詳細に説明する。ま
ず、変化領域抽出部５３の内部処理について図１１に示
すフローチャートを参照して説明する。画像入力部５
１、画像記憶部５２によって得られた画像を縮小画像に
変換（モザイク化）し、その後、初期画面を背景画像と
する背景差分画像を生成する。

【００６６】次に、生成した背景差分画像に対して２値
化処理を行なうことにより、背景に対して変化した領域
（変化領域）を抽出する。次に、この抽出した変化領域
の画像に対して、雑音の除去と穴埋めの処理を行なって
最終的な人物領域（変化領域）を確定する。この処理に
関しては図１２を用いながら説明する。

【００６７】雑音除去処理は、上下左右の４画素が背景
差分２値化した際に一定値以下の値を持つ画素（以降
「０」の画素とする）に対して、中心画素が一定値以上
の値を持つ画素（以降「１」の画素とする）だった場合
に、その中心の画素値を「０」とする（孤立点除去）処
理である。

【００６８】これに対して穴埋め処理は、基本的には人
物領域内に生じる閉じた「０」の画素の領域を埋めるの
であるが、撮像カメラ１０が斜め上向きに設置されてい
るため、人物は画面下方部から登場し、基本的には手を
上げたとき、複数の人物が画面に入っている場合を考慮
して、「穴埋めするのは上方向が一定割合以上（Ｎ％）
閉じている「０」の画素の領域」と定義する。それを実
現するために以下の処理順で行なう。

【００６９】（ａ）基本的に最上部のラインから順に横
方向へ走査していき、「１」→「０」となる場所から
「０」→「１」となる場所までを穴埋めすることにす
る。図１２でいうと、ＡからＢの間がその領域に相当す
る。

【００７０】（ｂ）ただし、「０」が一定幅以上続けて
ある場所は穴埋めしない。（ｃ）実際穴埋めするときに、その穴埋めする部分の１
ライン上の全画素を調べて、もしそこが一定割合以上
（Ｎ％）「１」の画素であったら穴埋めするが、それ以
下であったら（図１２の斜線部分が一定割合以上（Ｎ
％）非人物領域である「０」の画素として判断された
ら）、それは上方が開いている領域として、穴埋め処理
は行なわない。

【００７１】なお、人物領域（変化領域）の面積を調べ
るので、基本的に面積が大きく変わるアルゴリズムだと
都合が悪いため、できるだけ輪郭を保持したまま穴埋め
をしたいために、この方法を用いている。

【００７２】図１３は、この方法によって穴埋めがどう
なるかを示した例である。ここで、穴埋め幅の閾値を
「４」、また上段チェックの閾値Ｎ＝１００（％）とし
たとすると、・Ｃの領域は上段の「１」の割合がＮ＝１００（％）に
満たないため穴埋めされない。

【００７３】・Ｄの領域は上段の「１」の割合がＮ＝１
００（％）に満たすため穴埋めを行なう。・Ｅの領域は上段の「１」の割合がＮ＝１００（％）に
満たしているが幅が広過ぎるため穴埋めしない。

【００７４】こうして穴埋め処理が終了すると、次に、
各種統計的データ（人物の頭部の頂上位置、人物領域の
重心位置、人物領域の面積、人物下方部幅、および、縦
・横方向のプロジェクション）を求める演算を行ない、
その演算結果を画像変化判別部５４に出力する。なお、
各種統計的データを求める演算方法は、従来から周知で
あるので説明は省略する。

【００７５】次に、画像変化判別部５４の内部処理につ
いて説明する。入力画像の変化には、様々な状況が考え
られるのであるが、大きく分けて以下の３つに分けるこ
とができる。

【００７６】(1) 装置利用者の背景で物（人も含む）が
動く (2) 非人物である小物体が画面に入る (3) 撮像カメラが動いたり、照明変化がおきて背景画像
がわかる。

【００７７】これらを見つけるために、以下の条件をチ
ェックして、引っかかったときに背景領域の全体が変化
したと推定する。 (1) 画面全体のブロック数チェック（面積チェック）人物が撮像カメラの前によっぽど近付いた場合を除い
て、画面の大半が変化した場合は、照明の変化や撮像カ
メラの動きによる背景変化と判断し、または、あまりに
も小さ過ぎるときには雑音であると判断するチェック。

【００７８】(2) 最上段のブロック数の最下段との比較
チェック普通に人物が現れた場合、最上段にブロックがくること
はあまりないが、近付いた場合や背の高い人がいた場合
は最上段まで届く。その場合も、最下段のブロック数よ
りは少なくなるであろうということを仮定したチェック
（背景画像が大きく変化したときを抽出する）。

【００７９】(3) 背景差分画像のヒストグラムのピーク
を与える輝度値チェック人物が登場したときは、背景差分画像のヒストグラムの
ピークを与える輝度値はほぼ「０」に近いところにある
が、照明条件が変わったときなどは、濃度が画面全体に
変化するので、ピークを与える輝度値が大きい値にずれ
ることが多いということのチェック。

【００８０】(4) 最下段のブロック数チェック撮像カメラが上向きということで、人物が登場する場合
には必ず最下段に一定幅以上のブロックが存在するとい
うことを仮定したチェック（人物であるかそうでない
か）。

【００８１】以上の条件を用いて、入力画像を上記の３
つに分類する流れを図１４に示す。まず、上記(1) のチ
ェックを行ない、ある閾値ｋ1 以下であったら「変化無
し」とし、また、ある閾値ｋ2 以上であれば背景変化と
する。そこで、適当な面積の変化がおきたら、上記(2)
のチェックを行ない、さらに、ここでも正常な変化とな
ったら、上記(3) のチェックを行ない、ピークを示す濃
度が一定値以上のときには、画面全体の照明が変化した
として、これを背景画像とする。最後に、上記(4) のチ
ェックを行ない、一定以上の幅を最下段で持っていたら
人物と判定し、そうでなければ雑音によるものとして判
定する。

【００８２】次に、人物接近検知部５５の内部処理につ
いて説明する。前述した画像変化判別部５４の処理が終
了した時点で、人物が登場したと判別された場合は、人
物の動きを追跡する必要がある。人物が画面内にいない
と判別された場合には、人物の状態を示す人物距離ステ
ータスをＮＯＮＥと定義する。撮像カメラが斜め上向き
という条件をつけているため、人物が近寄ることによっ
て入力画像内の人物領域は画面下方から上方へと動くよ
うに映る。つまり、頭の頂上位置を追跡することによ
り、上方へ移動したら接近、下方へ移動したら離れてい
ると判断できる。

【００８３】しかし、横方向からの進入が考えられるこ
と、入力画像をモザイク化している関係で、縦方向の解
像度が「３０」程度ということがあるため、それ以外の
情報をも組み込むことが必要である。そこで、画像で人
物と思われる領域（１の領域）の面積の増減を調べ、面
積が増加したら接近、減少したら離れていると判断する
ことができる。その２つを共に考慮して近寄り、離れを
検知する。具体的にいうと、・近付いたと判断する条件（状態：ＮＥＡＲ）面積増加＆（頭の高さ≧直前フレームの頭の位置−１）・遠ざかると判断する条件＊（状態：ＦＡＲ）面積減少＆（頭の高さ≦直前フレームの頭の高さ＋１）・人物と思われる領域が一定面積以上あって、上記の２
つに当てはまらないときは状態：ＳＴＡＹとするなお、縦方向のモザイクのブロックが「３０」というこ
とで、多少人物が前後しても頭の位置が動くとは限らな
いため、頭の高さに関しては条件を緩めており、雑音に
よって１画素程度のぶれが生じるため、１画素分だけ余
裕を持たせている。

【００８４】また、雑音による影響を減らすために、図
１５に示すように、横方向に走査する走査線６１を画面
上部から数本引いて、ある一定幅を持つ変化領域６２が
上の走査線６１から順に調べてどこまで上に上がってい
るかというのを調べる方法も使用する。これは、横方向
のプロジェクションを用いることにより容易に計算でき
る。斜め上向き撮像カメラからの画像ということで、人
物がある程度近付いたときには、上部に位置する走査線
上まで一定幅の変化が起こるはずである。

【００８５】また、人物の接近やいなくなったことの判
定条件であるが、一瞬の判定ミスの影響による誤動作を
なくすため、接近および遠ざかりのそれぞれにＮＥＡＲ
ＣＯＵＮＴ，ＦＡＲＣＯＵＮＴという接近検知カウン
タ、遠ざかり検知カウンタを持たせて、数フレームのデ
ータを見た上での結果から、「人物が装置の前に来
た」、「人物が装置の前からいなくなった」を判断す
る。人物がいないときには常に接近だけを検知し、一度
人物が装置の前に来たら遠去かりだけを検知する。

【００８６】ここで、接近検知カウンタＮＥＡＲＣＯＵ
ＮＴ、遠ざかり検知カウンタＦＡＲＣＯＵＮＴの処理の
流れをそれぞれ図１６、図１７に示す。各カウンタＮＥ
ＡＲＣＯＵＮＴ，ＦＡＲＣＯＵＮＴのカウント値は、最
初は零に設定されているが、フレームごとの接近、遠ざ
かり判定によりカウンタを増減させ（たとえば、近付き
を検知しているとき、ＳＴＡＹ，ＮＥＡＲのときにはカ
ウンタＮＥＡＲＣＯＵＮＴを「＋２」し、ＦＡＲ，ＮＯ
ＮＥのときにはカウンタＮＥＡＲＣＯＵＮＴを「−１」
する）、カウント値が一定の閾値（ＣＯＭＥＭＡＸ，Ａ
ＷＡＹＭＡＸ）に達した時点で初めて撮像カメラの前に
存在している、撮像カメラの前からいなくなったとの判
定を行なう。

【００８７】次に、人物位置検知部５６の内部処理につ
いて説明する。人物領域とされる部分の重心の水平座標
を追跡するとともに、重心の移動を追跡することにより
画面内に人物が入退出したときの方向を調べることがで
きる。人物が画面に入ってきたときは、入ってきた直後
のフレームでの重心の水平座標、人物が画面から出てい
くときは、出る直前のフレームでの重心の水平座標を考
慮し、それが画面全体に対して左側か右側かを検知す
る。この場合、人物が画面中央に存在するときには、無
理矢理左右に決めるのではなく、「中央」という判断を
する。

【００８８】次に、人物振り向き検知部５７の内部処理
について説明する。人物が横を向いたとき、基本的に向
いた方向に頭の位置がずれるため、頭の頂上位置が向い
た方向にずれる。また、斜め上向き撮像カメラという性
質上、画面上では向いた方向側の肩の位置が下がり、逆
側の肩の位置は上に移動する。そのため、向いた方向側
に位置する面積は減少して、逆側に位置する部分の面積
は増加する。

【００８９】これを利用して、操作人物が作業を終了し
て立ち去るときなどに振り向いたことを検知する。ま
た、正面を向いているのか横を向いているのかの判断に
加えて、どの位横を向いているのかも検知したい。そこ
で、頭の頂上の水平座標がわかっているので、そこを基
準に、図１８に示すように、プロジェクション６３の面
積を左右にわけて計算する。基本的に左右がほぼ同じ面
積であるときを正面と判断する。さらに、横を向いてい
る度合いを示す数字が必要であるので、Ｌ：頭の頂上位置から降ろした垂線６４よりも左側に位
置する部分の面積Ｒ：頭の頂上位置から降ろした垂線６４よりも右側に位
置する部分の面積として、振り向き指数α＝Ｌ／（Ｒ＋Ｌ）で表わす。この指数αは「０〜１」の間に位置する数値
であり、「０．５」のときが正面、「１」に近寄れば右
向き、「０」に近寄れば左向きと判断できる。

【００９０】たとえば、「１」に近寄るということは、
与えられた式ではＬの値が増加するということ。つま
り、図１９（ｂ）に示すように、頭の頂上よりも左側に
位置する部分の面積が増えたということで、右に向いた
と判断する。なお、図１９（ａ）は左に向いた場合を示
している。

【００９１】次に、複数人物検知部５８の内部処理につ
いて説明する。ある人物が機器を利用しているときに不
審な人物が接近したり、処理を未完了のまま立ち去ろう
とした瞬間に横から入れ替わりで別の人物が入ってくる
などの場合、複数の人物が存在することを認識できれ
ば、このような事態に対応することができる。

【００９２】図２０に示すように、背景差分二値化画像
に対して縦方向にとったプロジェクションを利用する。
人のいないところではプロジェクションは「０」にな
り、逆に人物がいる所では一定値以上のプロジェクショ
ン値を持つ。そのため、縦方向にとったプロジェクショ
ンを横方向から順に見ていって、一定の閾値以上のひと
かたまりの山を検知したら、それを人物とみなす。複数
の人物を検知するために、プロジェクションの値がある
閾値６５以下のところが一定幅以上続いたら、そこで一
旦人物が切れたと判断し、次に出た山は別の人物とみな
す。この場合、上記閾値６５にマージンを持たせること
で、人物領域が若干重なっていても分離ができる。

【００９３】次に、挙動検出部５９の内部処理について
説明する。挙動検出部５９は、人物接近検知部５５、人
物位置検知部５６、人物振り向き検知部５７、複数人物
検知部５８の各検知結果（人物接近状態、人物位置、人
物移動方向、人物振り向き状態、人数など）から、操作
人物（利用者）の位置状態や動作状態などを特定して、
その操作人物の挙動を解析することにより、下記表１に
示すような各種挙動を検出する。

【００９４】

【表１】

【００９５】すなわち、たとえば、紙幣口の方向に手を
近付ける挙動、硬貨口の方向に手を近付ける挙動、物を
探す挙動、物を取出す挙動、通帳のページを捲る挙動な
どを検出する。このように検出した各種挙動に対する制
御例を下記表２に示す。

【００９６】

【表２】

【００９７】また、挙動検出部５９は、上記した各種挙
動の他に、上記同様に操作人物の挙動を解析することに
より、視覚障害者が行なうあらかじめ定められた挙動に
よるサイン（手振り）をも挙動として検出する。その例
を示すと下記表３のようになる。

【００９８】

【表３】

【００９９】すなわち、たとえば、手を握って上から下
に振り下ろす「確認」のサイン、手を開いて左右に２回
以上振る「取消し」のサイン、手を開いて右上から左下
または左上から右下に振り下ろして戻す「訂正」のサイ
ン、上記した「確認」のサインと「取消し」のサインを
連続的に行なう「視覚障害者であること（視覚障害者モ
ード希望）」のサインなどを検出する。このように検出
した各種挙動によるサインに対する制御例を下記表４に
示す。

【０１００】

【表４】

【０１０１】モーションピクチャー認識の例としては、
他に、特開平9-251542号公報に示されるものがある。な
お、上記実施例では、弱視者モードにおいて、表示パタ
ーンを２つの画面に分けて拡大表示したが、１つの画面
に収まる大きさであれば、必ずしも２つの画面に分ける
必要はない。

【０１０２】また、弱視者モードにおいて、レシートへ
の印刷パターンを特定領域について拡大したが、レシー
ト用紙の紙面に余裕があれば、特定領域に限らず全領域
の印刷パターンを拡大してもよい。レシート用紙の紙面
に余裕がない場合は、印刷パターンを２枚のレシート用
紙に分けて拡大印刷するようにしてもよい。その他、こ
の発明は上記実施例に限定されるものではなく、要旨を
変えない範囲で種々変形実施可能である。

【０１０３】

【発明の効果】以上述べたようにこの発明によれば、自
動取引に係わる情報を出力する出力手段と、利用者の特
徴を認識する認識手段と、この認識手段の認識結果に応
じて上記出力手段の出力形態を切換える制御手段とを備
えたので、自動取引に係わる情報を利用者に判り易く的
確に伝えることができる信頼性にすぐれた自動取引装置
を提供できる。

【０１０４】また、この発明によれば、利用者の特徴を
認識して出力形態を切換える制御を行なうので、自動取
引に係わる情報を利用者に判り易く的確に伝えることが
できる信頼性にすぐれた自動取引装置の制御方法を提供
できる。

【図面の簡単な説明】

【図１】この発明の一実施例の外観斜視図。

【図２】同実施例の制御回路のブロック図。

【図３】同実施例の作用を説明するためのフローチャー
ト。

【図４】同実施例の通常モードで表示される受付メニュ
ー画面を示す図。

【図５】同実施例の弱視者モードで表示される受付メニ
ュー画面を示す図。

【図６】同実施例の通常モードで表示される五十音文字
キーの画面を示す図。

【図７】同実施例の弱視者モードで分割して表示される
五十音文字キーの一方の画面を示す図。

【図８】同実施例の弱視者モードで分割して表示される
五十音文字キーのもう一方の画面を示す図。

【図９】同実施例の弱視者モードにおいて印刷されるレ
シートの例を示す図。

【図１０】同実施例における利用者特徴認識部の具体例
を概略的に示すブロック図。

【図１１】図１０の変化領域抽出部の内部処理を説明す
るためのフローチャート。

【図１２】図１０の変化領域抽出部における穴埋め処理
を説明するための図。

【図１３】図１０の変化領域抽出部における穴埋め処理
の実行例を示す図。

【図１４】図１０の画像変化判別部の内部処理を説明す
るための流れ図。

【図１５】図１０の人物接近検知部の内部処理を説明す
るための図。

【図１６】図１０の人物接近検知部における接近検知カ
ウンタの処理を説明するための流れ図。

【図１７】図１０の人物接近検知部における遠ざかり検
知カウンタの処理を説明するための流れ図。

【図１８】図１０の人物振り向き検知部の処理を説明す
るための図。

【図１９】図１０の人物振り向き検知部の処理を説明す
るための図。

【図２０】図１０の複数人物検知部の処理を説明するた
めの図。

【符号の説明】

１…本体３…接客操作盤部６…カラー液晶ディスプレイ（出力手段、表示手段）１０…撮像カメラ２０…主制御部３１…カードリーダ・レシートプリンタユニット（出力
手段、印刷手段）３４…利用者特徴認識部３６…タッチパネル式入力装置５１……画像入力部５２……画像記憶部５３……変化領域抽出部５４……画像変化判別部５５……人物接近検知部５６……人物位置検知部５７……人物振り向き検知部５８……複数人物検知部５９……挙動解析部。

Claims

【特許請求の範囲】

【請求項１】自動取引に係わる情報を出力する出力手
段と、利用者の特徴を認識する認識手段と、この認識手段の認識結果に応じて前記出力手段の出力形
態を切換える制御手段と、を具備したことを特徴とする自動取引装置。
【請求項２】請求項１記載の自動取引装置において、前記認識手段は、利用者を撮像する撮像手段を備え、撮
像した利用者の位置および動きから利用者の視力が弱い
かどうかを認識することを特徴とする自動取引装置。
【請求項３】請求項１記載の自動取引装置において、前記制御手段は、出力手段の出力形態の切換えに伴い、
利用者の操作に対する操作制限時間を変更することを特
徴とする自動取引装置。
【請求項４】自動取引装置に係わる情報を文字として
出力する出力手段と、この出力手段による出力文字を通常文字と拡大文字とに
切換える制御手段と、この制御手段による出力文字の切換を強制的に実行させ
るための操作手段と、を具備したことを特徴とする自動取引装置。
【請求項５】自動取引に係わる情報を出力する機能を
備えた自動取引装置において、利用者の特徴を認識し、この認識結果に応じて前記出力
の形態を切換えることを特徴とする自動取引装置の制御
方法。
【請求項６】自動取引に係わる情報を表示する表示手
段と、利用者の特徴を認識する認識手段と、この認識手段の認識結果に応じて前記表示手段の表示形
態を切換える制御手段と、を具備したことを特徴とする自動取引装置。
【請求項７】請求項６記載の自動取引装置において、前記認識手段は、利用者を撮像する撮像手段を備え、撮
像した利用者の位置および動きから利用者の視力が弱い
かどうかを認識することを特徴とする自動取引装置。
【請求項８】請求項６記載の自動取引装置において、前記制御手段は、表示手段の表示形態の切換えに伴い、
利用者の操作に対する操作制限時間を変更することを特
徴とする自動取引装置。
【請求項９】請求項６記載の自動取引装置において、前記制御手段は、認識結果が弱視者であるとき、表示パ
ターンの大きさを拡大することを特徴とする自動取引装
置。
【請求項１０】請求項６記載の自動取引装置におい
て、前記制御手段は、認識結果が弱視者であるとき、表示パ
ターンを複数の画面に分けて拡大表示することを特徴と
する自動取引装置。
【請求項１１】請求項６記載の自動取引装置におい
て、前記制御手段による表示形態の切換を強制的に実行させ
るための操作手段をさらに具備したことを特徴とする自
動取引装置。
【請求項１２】自動取引に係わる情報を表示する機能
を備えた自動取引装置において、利用者の特徴を認識し、この認識結果に応じて前記表示
の形態を切換えることを特徴とする自動取引装置の制御
方法。
【請求項１３】自動取引に係わる情報を印刷する印刷
手段と、利用者の特徴を認識する認識手段と、この認識手段の認識結果に応じて前記印刷手段の印刷形
態を切換える制御手段と、を具備したことを特徴とする自動取引装置。
【請求項１４】請求項１３記載の自動取引装置におい
て、前記認識手段は、利用者を撮像する撮像手段を備え、撮
像した利用者の位置および動きから利用者の視力が弱い
かどうかを認識することを特徴とする自動取引装置。
【請求項１５】請求項１３記載の自動取引装置におい
て、前記制御手段は、印刷手段の印刷形態の切換えに伴い、
利用者の操作に対する操作制限時間を変更することを特
徴とする自動取引装置。
【請求項１６】請求項１３記載の自動取引装置におい
て、前記制御手段は、認識結果が弱視者であるとき、印刷パ
ターンの大きさを拡大することを特徴とする自動取引装
置。
【請求項１７】請求項１３記載の自動取引装置におい
て、前記制御手段は、認識結果が弱視者であるとき、印刷パ
ターンを複数の用紙に分けて拡大印刷することを特徴と
する自動取引装置。
【請求項１８】請求項１３記載の自動取引装置におい
て、前記制御手段による印刷形態の切換を強制的に実行させ
るための操作手段をさらに具備したことを特徴とする自
動取引装置。
【請求項１９】自動取引に係わる情報を印刷する機能
を備えた自動取引装置において、利用者の特徴を認識し、この認識結果に応じて前記印刷
の形態を切換えることを特徴とする自動取引装置の制御
方法。