JP7452088B2

JP7452088B2 - 作業支援装置、作業支援方法及びプログラム

Info

Publication number: JP7452088B2
Application number: JP2020030756A
Authority: JP
Inventors: 圭亮太田
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2020-02-26
Filing date: 2020-02-26
Publication date: 2024-03-19
Anticipated expiration: 2040-02-26
Also published as: JP2021135682A

Description

本発明は、作業支援装置、作業支援方法及びプログラムに関する。

近年、複数の収納部を有する収納棚を用いた作業が様々な場面において行われている。複数の収納部それぞれには、作業に関する対象物を収納することが可能である。また、複数の収納部それぞれに収納された対象物は、必要に応じて作業者によって取り出される。例えば、郵便物の配達業務においては、棚を用いた郵便物配達の事前作業が作業者の手作業によって行われる（例えば、特許文献１参照）。このとき、郵便物は、作業に関する対象物の例に該当する。

その他、棚に取り付けられる表示板に関する技術が開示されている（例えば、特許文献２参照）。また、郵便物に記された郵便番号を自動認識し、認識結果に基づいてその郵便物の収納部を決定する技術が開示されている（例えば、特許文献３参照）。さらに、部品組立業務に関する技術として、複数の収納部を有する収納棚を部品倉庫として用い、組み立て手順や採取すべき部品を指示する情報をプロジェクタによって収納棚の所定の部材に投影する技術が開示されている（例えば、特許文献４参照）。

特開２００５－２８８２４０号公報実願平９－４９７３号公報特開２０１２－２４５４９０号公報特開２０１８－４５６６９号公報

しかし、作業者による作業をより効果的に支援することを可能とする技術が提供されることが望まれる。

上記課題を解決するために、本発明のある観点によれば、複数の収納部を備える収納棚への１または複数の対象物の収納完了を検出する検出部と、前記収納完了が検出された場合に撮像された第１の画像を取得する画像取得部と、前記第１の画像を記憶部に記憶させる記憶制御部と、前記第１の画像と前記収納完了が検出された後かつ前記第１の画像が撮像された後に撮像された第２の画像との間に差分が生じた領域が存在するか否かを検出し、前記差分が生じた領域が存在することを検出した場合に、前記差分が生じた領域に対応する収納部を作業者が対象物を取り出した収納部として識別する識別部と、前記対象物が取り出されたと識別された収納部に対応する前記対象物の並び順情報が提示されるように制御する提示制御部と、を備える、作業支援装置が提供される。

前記並び順情報は、前記対象物の宛先が配達ルート順に並べられた情報であってもよい。

前記提示制御部は、住人名の更新が所定の時期よりも現在から近い宛先が存在する場合には、注意を促す情報が提示されるように制御してもよい。

前記収納棚に収納される対象物は、郵便物であってもよい。

前記画像取得部は、前記１または複数の対象物が前記収納棚に収納される前に撮像された第３の画像を取得し、前記識別部は、前記第１の画像と前記第３の画像との間において、前記複数の収納部の少なくともいずれか一つに対応する領域に差分が生じた場合、前記第１の画像と前記第２の画像との間の差分を算出し、前記差分が生じた領域に対応する収納部を作業者が対象物を取り出した収納部として識別してもよい。

前記作業支援装置は、前記差分が生じた領域に取り出し済みフラグを対応付ける記憶制御部を備え、前記識別部は、前記第２の画像の後に撮像された第４の画像と前記第１の画像との間に差分が生じたか否かを、前記取り出し済みフラグが対応付けられた領域を除外して判定してもよい。

前記検出部は、前記作業者によるボタンの押下を前記収納棚への前記収納完了として検出してもよい。

前記検出部は、作業台の台面から前記１または複数の対象物がなくなったことを、前記収納棚への前記収納完了として検出してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、複数の収納部を備える収納棚への１または複数の対象物の収納完了を検出することと、前記収納完了が検出された場合に撮像された第１の画像を取得することと、前記第１の画像を記憶部に記憶させることと、前記第１の画像と前記収納完了が検出された後かつ前記第１の画像が撮像された後に撮像された第２の画像との間に差分が生じた領域が存在するか否かを検出し、前記差分が生じた領域が存在することを検出した場合に、前記差分が生じた領域に対応する収納部を作業者が対象物を取り出した収納部として識別することと、前記対象物が取り出されたと識別された収納部に対応する前記対象物の並び順情報が提示されるように制御することと、を含む、コンピュータによって実行される作業支援方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、複数の収納部を備える収納棚への１または複数の対象物の収納完了を検出する検出部と、前記収納完了が検出された場合に撮像された第１の画像を取得する画像取得部と、前記第１の画像を記憶部に記憶させる記憶制御部と、前記第１の画像と前記収納完了が検出された後かつ前記第１の画像が撮像された後に撮像された第２の画像との間に差分が生じた領域が存在するか否かを検出し、前記差分が生じた領域が存在することを検出した場合に、前記差分が生じた領域に対応する収納部を作業者が対象物を取り出した収納部として識別する識別部と、前記対象物が取り出されたと識別された収納部に対応する前記対象物の並び順情報が提示されるように制御する提示制御部と、を備える作業支援装置として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、作業者による作業をより効果的に支援することを可能とする技術が提供される。

本発明の実施形態に係る作業支援システムの構成の一例を示す図である。制御装置の機能構成例を示す図である。道順組立作業の開始前にセンサ部によって得られた画像の例を示す図である。仕分け作業の完了が検出された場合にセンサ部によって得られたリアルタイム画像の例を示す図である。収納部から郵便部が取り出された直後にセンサ部によって得られたリアルタイム画像の例を示す図である。配達原簿の表示例を示す図である。本発明の実施形態に係る作業支援システムによる処理の流れの一例を示すフローチャートである。作業支援システムのハードウェア構成を示したブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜＜０．背景＞＞
近年、複数の収納部を有する収納棚を用いた作業が様々な場面において行われている。複数の収納部それぞれには、作業に関する対象物を収納することが可能である。また、複数の収納部それぞれに収納された対象物は、必要に応じて作業者によって取り出される。例えば、上記の特許文献１に記載のように、郵便物の配達業務においては、棚を用いた郵便物配達の事前作業が作業者の手作業によって行われる。このとき、郵便物は、作業に関する対象物の例に該当する。

例えば、郵便物配達の事前作業は、以下の（手順１）及び（手順２）に従って行われる。
（手順１）複数の郵便物を同一方面に該当する宛先ごとにまとめる（仕分け作業）。
（手順２）宛先が同一方面に該当する郵便物同士を１件単位で実際の配達ルート順に並べ替える（並べ替え作業）。

ここで、同一方面に該当する宛先には、配達の出発地点を基準として方向が同一または類似する宛先同士が含まれ得る（なお、類似の範囲は特に限定されない）。棚では、複数の収納部それぞれと方面とが対応付けられており、（手順１）では、作業者は、複数の郵便物それぞれを、（宛先が該当する方面に対応する）収納部に収納する。これによって、複数の郵便物が同一方面に該当する宛先ごとにまとめられる。

（手順２）のためには、各収納部（各方面）に対応して、配達ルート順に宛先が並べられた情報を含んだ並び順情報（以下、「配達原簿」とも言う。）が用意されている。作業者は、配達原簿を参照しながら、収納部に収納された郵便物を取り出して配達ルート順に並べ替えた後に、その収納部に戻す作業を、棚の全部の収納部に対して順次に行う。これによって、郵便物配達の事前作業が完了する。なお、以下では、このような郵便物配達の事前作業を「道順組立作業」とも言う。

また、近年では、書状区分機とよばれる機械を用いて、郵便物に記された郵便番号および番地を読み取り、読み取り結果に基づいてその郵便物が収納される収納部を決定することがある（例えば、上記の特許文献３）。これによって、類似する郵便物同士が同じ収納部に収納されるように自動分類される。しかし、機械では対応し切れない大型郵便物の取り込みを行う必要があり、さらに機械による読み取り誤りによる誤分類がないかを目視によって最終確認を行う必要があるため、手作業による郵便物の仕分けは依然として必要とされている。

さらに、上記の特許文献４に記載のように、部品組立業務に関する技術として、複数の収納部を有する収納棚を部品倉庫として用い、組み立て手順や採取すべき部品を指示する情報をプロジェクタによって収納棚の所定の部材に投影する部品組立作業支援システムが知られている。例えば、かかる部品組立作業支援システムと同様なシステムを用いて、配達原簿を表示すれば、作業者は、システムによって表示された配達原簿を参照しながら、道順組立作業を行うことが可能である。

かかる部品組立作業支援システムでは、複数の収納部それぞれに対応する取り出し検知領域があらかじめ設定されている。この取り出し検知領域は、対応する収納部から作業者が部品を取り出そうとしたときに、作業者の手によってその一部または全部が遮蔽される位置に設定されている。そして、カメラの撮像範囲にこれらの取り出し検知領域が収まるような位置及び方向にカメラが設置されている。

まず、作業者によって作業が開始される前には、作業者が撮像範囲に存在しない状態において（即ち、いずれの取り出し検知領域も手および物によって遮蔽がされていない状態において）、カメラによって撮像された画像がマスタ画像としてシステム内に保存される。続いて、作業者によって作業が開始された後にも、カメラによって時系列に沿って連続的に撮像が行われ、撮像された画像（フレーム）がリアルタイム画像として得られる。

部品組立作業支援システムは、システム内に保存されているマスタ画像と、時系列に沿って連続的に得られるリアルタイム画像とを比較する。そして、部品組立作業支援システムは、マスタ画像とリアルタイム画像との間において、差分の生じた取り出し検知領域が存在した場合には、差分の生じた取り出し検知領域に対応する収納部から作業者によって部品が取り出されたと判定する。

ここで、収納部に収納される対象物の大きさによっては、対象物の一部が収納部からはみ出した状態で、対象物が収納部に収納されている場合があり得る。このように対象物の一部が収納部からはみ出した状態においてカメラによってリアルタイム画像が得られた場合、作業者が収納部から対象物を取り出していないにも関わらず、その収納部に対応する取り出し検知領域が対象物の一部によって遮蔽されてしまい、その収納部から対象物が取り出されたと誤判定されてしまう可能性がある。

特に収納部に収納される対象物が郵便物である場合、郵便物の種類には、はがきもあれば様々な大きさの封筒などもあるにも関わらず、郵便物の大きさの上限についての実質的な規定がないという事情がある。さらに、道順組立作業に用いられる棚の設置場所が制限される場合などには、各収納部の大きさをあまり大きくできないという事情もある。したがって、収納部に収納される対象物が郵便物である場合、大きな郵便物が部分的に収納部からはみ出してしまう状況が容易に起こり得る。

以下では、作業者による作業をより効果的に支援することを可能とする技術について主に説明する。より詳細に、本発明の実施形態では、作業者が収納部から対象物を取り出していないにも関わらず、その収納部から対象物が取り出されたと誤判定されてしまう可能性を低減することによって、作業者による作業をより効果的に支援することを可能とする技術について説明する。

なお、以下では、作業者によって行われる作業が道順組立作業である場合について主に説明する。しかし、作業者によって行われる作業は、道順組立作業以外の作業（例えば、部品組立作業など）であってもよい。同様に、以下では、収納部に収納される対象物が郵便物である場合について主に説明する。しかし、収納部に収納される対象物は、郵便物以外の対象物（例えば、部品、荷物など）であってもよい。複数の収納部を備える棚の構成も、作業の種類に応じて適宜に変更されてよい。

＜＜１．構成例＞＞
＜１．１．システム構成例＞
図１は、本実施形態に係る作業支援システム１０の構成の一例を示す図である。図１に示すように、本実施形態に係る作業支援システム１０は、制御装置１１、棚１２、作業台１３、センサ部１４、表示部１５、及びミラー３２を備える。作業支援システム１０は、一例として、道順組立作業が行われる場所（例えば、郵便局など）に設置される。作業支援システム１０は、道順組立作業を行う作業者に対し、様々な情報を提示して、道順組立作業を支援する。

図１に示すように、本明細書及び図面では、棚１２から作業台１３への方向を前方向とし、その逆方向を後方向とし、作業台１３から棚１２を見たときの上下左右の方向を、それぞれ上方向、下方向、左方向、及び右方向とする。

（棚１２）
棚１２は、収納棚として機能する。棚１２は、複数の収納部２１を備える。図１に示した例では、縦方向に４段、横方向に４列、合計１６個の収納部２１が棚１２に設けられている。しかし、棚１２に設けられる収納部２１の数は限定されない。例えば、作業者は、いずれかの収納部２１に手を入れて収納部２１に郵便物を収納することができる。また、作業者は、いずれかの収納部２１に手を入れて収納部２１に収納された郵便物を取り出すことができる。

（作業台１３）
作業台１３は、作業者が道順組立作業に利用する台である。作業台１３は、平坦な台面（上面）を備えている。例えば、その台面は、棚１２の全幅に亘って、水平方向に延在するように配置されている。また、作業台１３は、表示部１５から投影された投影画像が結像される投影可能領域としても機能し得る。作業台１３の台面は、図６に示したように、原簿表示開始ボタン３９、及び配達原簿３８が表示される領域として用いられ得る。しかし、原簿表示開始ボタン３９及び配達原簿３８は、作業台１３とは異なる場所に表示されてもよい。

（センサ部１４）
センサ部１４は、作業者による作業に関する情報をセンシングする機能を有する。以下では、センサ部１４が、可視光を検出するカメラを含んで構成される場合を主に想定する。かかる場合、カメラによる画像の撮像によってセンシングが行われる。しかし、センサの種類は限定されない。例えば、センサは、赤外光を検出するカメラを含んでもよいし、深度情報を得るカメラを含んでもよい。また、センサ部１４は、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）カメラであってもよい。センサ部１４は、センシング結果を示す情報の例として、カメラによって撮像範囲が撮像されて得られた画像を制御装置１１に出力する。

例えば、センサ部１４は、標準的な身長の作業者の頭の高さよりも上の位置（例えば、最上段の収納部２１よりも上方の位置）で、かつ、棚１２の前面よりも前方の位置に配置されるのが望ましい。かかる位置にセンサ部１４が設置されることにより、センサ部１４は、作業支援システム１０の前方に位置する作業者（の一部又は全身）を含む画像を撮像することができる。例えば、図１に示したように、センサ部１４は、ミラー３２を支持する支持フレーム４４に配置されてもよい。

また、図１に示したように、撮像方向が棚１２の方向に向くようにセンサ部１４が配置されるのが望ましい。かかる方向にセンサ部１４が設置されることにより、後にも説明するように、センサ部１４によって撮像された画像に基づいて、作業者によって収納部２１に郵便物が収納されたこと、又は、収納部２１から郵便物が取り出されたことが判定され得る。しかし、センサ部１４の位置は限定されない。

（表示部１５）
表示部１５は、制御装置１１による制御に従って、作業者の作業を支援するための各種情報を表示する機能を有する。本実施形態では、表示部１５が、プロジェクタによって構成される場合を主に想定する。このとき、表示部１５は、いわゆるプロジェクションマッピング技術を用いて、作業台１３の台面に情報（詳しくは、投影画像）を投影する。しかし、表示部１５の形態は特に限定されない。例えば、表示部１５は、後にも説明するように、プロジェクタ以外の表示装置によって構成されてもよい。

図１に示すように、表示部１５は、棚１２の上に配置されている。表示部１５は、ミラー３２に向けて投影光を照射する。表示部１５から照射された投影光は、ミラー３２に反射されて、作業台１３の台面に到達する。即ち、表示部１５は、ミラー３２を介して作業台１３の台面に情報を投影する。さらに、表示部１５は、ミラー３２を介して作業台１３の台面の他の領域にも情報を投影してもよい。

なお、表示部１５は、棚１２の上に限らず、作業台１３の台面に直接投影光が到達する位置（図示しない天井または壁など）に配置されてもよい。その場合、ミラー３２は設けられていなくてもよい。あるいは、表示部１５は、複数配置されてもよく、作業台１３の台面に直接投影光を投影するプロジェクタと、他の領域に直接投影光を投影するプロジェクタとに分かれて配置されてもよい。

（ミラー３２）
図１に示すように、ミラー３２は、一例として、支持フレーム４４によって、標準的な身長の作業者の頭の高さよりも上の位置（例えば、最上段の収納部２１よりも上方の位置）で、且つ、棚１２の前面よりも前方の位置に配置される。具体的には、ミラー３２は、作業台１３の上方でかつ棚１２の斜め上方向に、反射面が表示部１５並びに作業台１３の台面に対向するように配置されている。そして、図１に示すように、ミラー３２は、表示部１５から照射された投影光を、作業台１３の台面に向けて反射する。

ミラー３２は、反射角度が上下方向に変更できるように、支持機構によって回動可能に支持されており、任意の反射角度で固定設置され得る。なお、上記したように、作業台１３の台面に表示部１５からの投影光が直接到達する場合などには、ミラー３２は設けられていなくてもよい。

（制御装置１１）
制御装置１１は、コンピュータによって構成され、作業支援システム１０の動作全般を制御する情報処理装置である。なお、制御装置１１は、作業支援装置の例に該当し得る。

図２は、制御装置１１の機能構成例を示す図である。図２に示したように、制御装置１１は、記憶部１５０及び制御部１６０を備える。以下、図２を参照しながら、記憶部１５０及び制御部１６０の機能について説明する。

（記憶部１５０）
記憶部１５０は、制御部１６０を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、記憶部１５０は、制御部１６０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。例えば、記憶部１５０は、各種データの例として、配達原簿を記憶し得る。配達原簿については、後に説明する。

（制御部１６０）
制御部１６０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などの演算装置を含み、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。演算装置による演算に必要なデータは、記憶部１５０によって適宜記憶される。

制御部１６０は、作業支援システム１０の動作全般を制御する機能を有する。制御部１６０は、画像取得部１６１と、識別部１６３と、提示制御部１６５と、検出部１６７と、記憶制御部１６９とを備える。これらの構成要素の詳細な動作については、後に詳細に説明する。

＜＜２．技術的特徴＞＞
＜２．１．作業支援のための情報提示＞
制御装置１１は、作業者による道順組立作業を支援するための情報提示を制御する。以下、この点について詳しく説明する。

まず、道順組立作業の開始前において（すなわち、作業支援システム１０の動作モードが初期モードである場合において）、提示制御部１６５は、作業台１３の台面に原簿表示開始ボタン３９（図３）が表示されるように表示部１５を制御する（初期モード）。なお、原簿表示開始ボタン３９がハードウェアボタンによって構成される場合などには、原簿表示開始ボタン３９は表示されなくてもよい。センサ部１４は、撮像範囲を撮像する。センサ部１４は、撮像によって得られた画像を制御装置１１に出力する。

図３は、道順組立作業の開始前にセンサ部１４によって得られた画像の例を示す図である。図３を参照すると、一例として道順組立作業の開始前にセンサ部１４によって得られた画像Ｇ１が示されている。道順組立作業前には、まだ作業台１３の台面に郵便物が載置されておらず、棚１２に郵便物が収納されていない。そのため、道順組立作業の開始前の画像Ｇ１には、空の状態の作業台１３及び棚１２が写っている。

なお、図３に示すように、棚１２が備える複数の収納部２１それぞれは、符号「２１」の後に付されたアルファベット２文字により区別され得る。アルファベット１文字目は、収納部２１が配置された段（上から下にかけて１段目はａ、２段目はｂ、３段目はｃ、４段目はｄ）を示す。アルファベット２文字目は、収納部２１が配置された列（左から右にかけて１列目はａ、２列目はｂ、３列目はｃ、４列目はｄ）を示す。例えば、上から３段目、右から２列目の収納部２１は、収納部２１ｃｂである。

また、複数の収納部２１それぞれに対応する取り出し検知領域があらかじめ設定されている。取り出し検知領域も、収納部２１と同様に、符号「２３」の後に付されたアルファベット２文字により区別され得る。符号「２３」の後に付されたアルファベット部分は、その取り出し検知領域に対応する収納部２１のアルファベット部分と同じである。例えば、収納部２１ｃｂに対応する取り出し検知領域の符号は、「２３ｃｂ」である。以下では、取り出し検知領域２３ａａ～２３ｄｄそれぞれを区別せずに、単に「取り出し検知領域２３」と称する場合もある。

図３に示した例では、取り出し検知領域２３がその取り出し検知領域２３に対応する収納部２１の真下の仕切り部分に設定されている。しかし、取り出し検知領域２３が設定される位置は限定されない。即ち、取り出し検知領域２３は、作業者が収納部２１から郵便物を取り出す際に、その収納部２１に対応する取り出し検知領域２３の一部または全部がセンサ部１４から見て作業者の手によって遮蔽され得る位置に設定されればよい。

また、センサ部１４は、図３に示したように、画像Ｇ１に取り出し検知領域２３の全部が収まるような位置及び方向に設置されている。画像取得部１６１は、このようにいずれの取り出し検知領域２３も手および物によって遮蔽がされていない状態の画像Ｇ１をセンサ部１４から取得する。記憶制御部１６９は、画像Ｇ１（第３の画像）がマスタ画像として記憶部１５０に記憶されるように記憶部１５０を制御する。

（手順１仕分け作業）
作業者は、道順組立作業を開始すると、複数の郵便物を作業台１３の台面に載置し、作業台１３の台面に載置された複数の郵便物を、同一方面に該当する宛先ごとにまとめる作業（仕分け作業）を行う（上記の手順１）。より詳細には、複数の収納部２１それぞれと方面とがあらかじめ対応付けられているため、作業者は、複数の郵便物それぞれを、（宛先が該当する方面に対応する）収納部２１に収納する。これによって、複数の郵便物が同一方面に該当する宛先ごとにまとめられる。

このとき、収納部２１と方面との対応関係を作業者が把握しやすいように、収納部２１に対応する領域には、その収納部２１に対応する方面を示す情報（例えば、地区の名称及び建物の名称など）が付されてもよい。かかる方面を示す情報は、表示部１５によって収納部２１に対応する領域に表示されるように、提示制御部１６５によって制御されてもよいし、あらかじめ収納部２１に対応する領域に記されていてもよい。収納部２１に対応する領域は限定されないが、例えば、取り出し検知領域２３と同様に、収納部２１の真下の仕切り部分であってもよい。

作業者によって仕分け作業が開始された後にも、センサ部１４によって時系列に沿って連続的に撮像が行われ、撮像された画像（フレーム）がリアルタイム画像として制御装置１１に出力される。そして、作業者によって仕分け作業が完了すると、検出部１６７によって、作業者による仕分け作業の完了（即ち、棚１２への郵便物の収納完了）が検出される。ここで、仕分け作業の完了は、どのように検出されてもよい。

ここでは、作業者が、仕分け作業の完了後に原簿表示開始ボタン３９を押下する場合を想定する。かかる場合には、検出部１６７は、作業者による原簿表示開始ボタン３９の押下を仕分け作業の完了として検出すればよい。例えば、図３に示したように、原簿表示開始ボタン３９が表示される場合、検出部１６７は、センサ部１４によって得られたリアルタイム画像の原簿表示開始ボタン３９が写る領域の一部または全部が遮蔽された場合に、仕分け作業の完了を検出すればよい。一例として、検出部１６７は、マスタ画像とリアルタイム画像との差分を計算し、画像間の原簿表示開始ボタン３９に対応する領域に差分が生じた場合に、原簿表示開始ボタン３９が写る領域の一部または全部が遮蔽されたと判定してもよい。

あるいは、原簿表示開始ボタン３９とは別に、仕分け作業完了の入力用のボタン（仕分け作業完了ボタン）が設けられていてもよい。かかる場合には、検出部１６７は、作業者による仕分け作業完了ボタンの押下を仕分け作業の完了として検出すればよい。なお、作業完了ボタンは、表示部１５によって表示されてもよいし、ハードウェアボタンであってもよい。

あるいは、検出部１６７は、センサ部１４によって得られたリアルタイム画像に基づいて、ボタン押下以外の事象を仕分け作業の完了として検出してもよい。例えば、検出部１６７は、センサ部１４によって時系列に沿って連続的に撮像された複数の画像に基づいて、仕分け作業の完了を検出してもよい。一例として、検出部１６７は、センサ部１４によって時系列に沿って連続的に撮像された複数の画像に基づいて、作業者の動きの停止を仕分け作業の完了として検出してもよい。

あるいは、棚１２への郵便物の収納完了前には、作業台１３の台面に郵便物が載置されており、棚１２への郵便物の収納完了時には、作業台１３の台面から郵便物が１つもなくなっていることが予想される。そこで、検出部１６７は、作業台１３の台面から郵便物がなくなったことを、仕分け作業の完了として検出してもよい。例えば、検出部１６７は、（郵便物が載置されていない作業台１３の台面が写る）マスタ画像とリアルタイム画像とに基づいて、画像間において作業台１３の台面が写る領域に差分がなくなったことを、仕分け作業の完了として検出してもよい。

図４は、仕分け作業の完了が検出された場合にセンサ部１４によって得られたリアルタイム画像の例を示す図である。図４を参照すると、検出部１６７によって仕分け作業の完了（即ち、棚１２への郵便物の収納完了）が検出された場合にセンサ部１４によって得られたリアルタイム画像Ｇ２（第１の画像）が示されている。なお、このリアルタイム画像Ｇ２は、検出部１６７によって仕分け作業の完了が検出されたリアルタイム画像であってもよいし、検出部１６７によって仕分け作業の完了が検出された後にセンサ部１４によって得られたリアルタイム画像であってもよい。

リアルタイム画像Ｇ２では、収納部２１ａａに、郵便物ｙ１及び郵便物ｙ２が収納されており、収納部２１ａｂに、郵便物ｙ３及び郵便物ｙ４が収納されており、収納部２１ａｃに、郵便物ｙ５及び郵便物ｙ６が収納されている。これらの中で、郵便物ｙ６は、収納部２１ａｃからはみ出しており、収納部２１ａｃに対応する取り出し検知領域２３ａｃの一部を遮蔽してしまっている。

また、リアルタイム画像Ｇ２では、収納部２１ｃｂに、郵便物ｙ７及び郵便物ｙ８が収納されており、収納部２１ｃｃに、郵便物ｙ９及び郵便物ｙ１０が収納されており、収納部２１ｄａに、郵便物ｙ１１、郵便物ｙ１２及び郵便物ｙ１３が収納されている。これらの中で、郵便物ｙ７は、収納部２１ｃｂからはみ出しており、収納部２１ｃｂに対応する取り出し検知領域２３ｃｂの一部を遮蔽してしまっている。同様に、郵便物ｙ９は、収納部２１ｃｃからはみ出しており、収納部２１ｃｃに対応する取り出し検知領域２３ｃｃの一部を遮蔽してしまっている。

検出部１６７によって仕分け作業の完了が検出されると、作業支援システム１０の動作モードが初期モードから原簿表示モードに移行される。作業支援システム１０の動作モードが原簿表示モードである場合においては、センサ部１４によって得られたリアルタイム画像Ｇ２が画像取得部１６１によって取得される。

記憶制御部１６９は、画像取得部１６１によって取得されたリアルタイム画像Ｇ２によって、記憶部１５０によって記憶されているマスタ画像を更新する（上書きする）。なお、マスタ画像保存用の記憶領域とは別に、リアルタイム画像保存用の記憶領域が存在する場合などには、記憶制御部１６９は、リアルタイム画像Ｇ２によってマスタ画像を更新しなくてもよく、リアルタイム画像Ｇ２をリアルタイム画像保存用の記憶領域に記憶させてもよい。

（手順２並び替え作業）
続いて、作業者は、宛先が同一方面に該当する郵便物同士を１件単位で実際の配達ルート順に並べ替える作業（並び替え作業）を行う（上記の手順２）。例えば、作業者が、最初に収納部２１ｃｂに収納されている（宛先が同一方面に該当する）郵便物ｙ７及び郵便物ｙ８を１件単位で実際の配達ルート順に並べ替える場合を想定する。かかる場合には、作業者は、収納部２１ｃｂから郵便物ｙ７及び郵便物ｙ８を取り出す。このとき、収納部２１ｃｂに対応する取り出し検知領域２３ｃｂへの郵便物ｙ７の一部による遮蔽が解除される。

なお、郵便物がはみ出していない収納部２１から作業者が郵便物を取り出す場合も想定される。かかる場合には、作業者によって郵便物が取り出される前には、収納部２１に対応する取り出し検知領域２３が作業者の手によって遮蔽されておらず、作業者によって郵便物が取り出されるときに、収納部２１に対応する取り出し検知領域２３の一部または全部が作業者の手によって遮蔽される。したがって、いずれの場合であっても、画像間において作業者が郵便物を取り出した収納部２１に対応する取り出し検知領域２３に差分が生じる。

画像取得部１６１は、センサ部１４によって時系列に沿って連続的に得られるリアルタイム画像（第２の画像）を取得する。そして、識別部１６３は、記憶部１５０によって記憶されている更新後のマスタ画像（即ち、画像Ｇ２）と、画像取得部１６１によって取得されたリアルタイム画像との差分を計算する。ここで、更新後のマスタ画像との間で差分が計算されるリアルタイム画像は、更新後のマスタ画像の後に、センサ部１４によって得られた画像である。

そして、識別部１６３は、更新後のマスタ画像とリアルタイム画像との間において、差分の生じた取り出し検知領域２３が存在するか否かを検出する。そして、識別部１６３は、更新後のマスタ画像とリアルタイム画像との間において、差分の生じた取り出し検知領域２３が存在した場合、当該差分の生じた取り出し検知領域２３に対応する収納部２１を、作業者によって郵便物が取り出された収納部２１として識別する。

ここでは、更新後のマスタ画像（即ち、棚１２に郵便物が収納された場合に取得された画像Ｇ２）とリアルタイム画像との間において、郵便物ｙ７及び郵便物ｙ８が取り出された取り出し検知領域２３ｃｂにだけ差分が生じる。したがって、識別部１６３は、取り出し検知領域２３ｃｂに対応する収納部２１ｃｂを、作業者が郵便物ｙ７及び郵便物ｙ８を取り出した収納部２１として識別する。本発明の実施形態によれば、作業者によって郵便物が取り出された収納部２１がより精度良く識別され得る。

なお、仮に仕分け作業の開始前に得られたマスタ画像（即ち、画像Ｇ１）が、リアルタイム画像と比較された場合には、画像間において郵便物によって一部または全部が遮蔽された複数の取り出し検知領域２３に差分が生じてしまう。そのため、郵便物によって一部または全部が遮蔽された取り出し検知領域２３に対応する収納部２１が、作業者によって郵便物が取り出された収納部２１として誤って識別されてしまう。

図５は、収納部２１から郵便部が取り出された直後にセンサ部１４によって得られたリアルタイム画像の例を示す図である。図５を参照すると、収納部２１ｃｂから郵便部ｙ７及び郵便物ｙ８が取り出された直後にセンサ部１４によって得られたリアルタイム画像Ｇ３が示されている。作業台１３の台面には、郵便物ｙ７及び郵便物ｙ８が載置されている。作業者は、作業台１３の台面上において、郵便物ｙ７及び郵便物ｙ８を配達ルート順に並び替える。

ここで、作業者が並び替え作業を効率良く（かつ精度良く）行うことを可能とするために、収納部２１（方面）ごとに、配達ルート順に宛先が並べられた情報を含んだ並び順情報（配達原簿）が記憶部１５０によってあらかじめ記憶されている。そして、提示制御部１６５は、識別部１６３によって作業者が郵便物を取り出したと識別された収納部２１ｃｂに対応する配達原簿が表示されるように表示部１５を制御する。

なお、本発明の実施形態では、郵便物の並び替え作業が行われる場合を主に想定している。しかし、郵便物以外の対象物（例えば、荷物など）の並び替え作業が行われてもよい。したがって、提示制御部１６５は、識別部１６３によって作業者が対象物を取り出したと識別された収納部２１に対応する対象物の並び順を含んだ並び順情報が提示されるように表示部１５を制御すればよい。このとき、並び順情報は、作業者によって並べられるべき順序に従って並べられた複数の対象物に関する情報（例えば、対象物の宛先、対象物の名称、または、対象物のＩＤなど）を含んでもよい。

図６は、配達原簿の表示例を示す図である。図６を参照すると、作業台１３の台面に、収納部２１ｃｂから取り出された郵便物ｙ７及び郵便物ｙ８が載置されている。また、提示制御部１６５によって、作業台１３の台面に、収納部２１ｃｂに対応する配達原簿３８が表示されるように表示部１５が制御されている。

配達原簿３８には、方面に関する情報の例としての「Ａ市Ｂ町１丁目２番」が含まれている。方面に関する情報は、各宛先の前半部分に該当する。また、配達原簿３８には、１件目の郵便物の宛先の後半部分「１号」及び住人の名称「鈴木一郎、花子」が含まれ、２件目の郵便物の宛先の後半部分「２号」及び住人の名称「木村太郎」が含まれている。即ち、１件目の郵便物の宛先は、「Ａ市Ｂ町１丁目２番１号」であり、２件目の郵便物の宛先は、「Ａ市Ｂ町１丁目２番２号」である。

なお、配達原簿３８の中には、所定の時期（例えば、現在よりも所定の期間遡った時期など）よりも現在から近い時期に住人が更新された宛先（例えば、住人が引っ越してきてから所定の期間以内の宛先など）が存在する場合がある。このような宛先の郵便物の並び替えには、作業者がより注意を払わなければならないと考えられる（例えば、作業者が自身の記憶だけを頼りに並べ替えをしてしまうと、誤った並べ替えをしてしまう可能性もあり得る）。

そこで、提示制御部１６５は、各宛先に住人名の更新日付が対応付けられている場合には、各宛先に対応する住人名の更新日付に基づいて、住人名の更新が所定の時期よりも現在から近い宛先が存在するか否かを判定してもよい。提示制御部１６５は、住人名が所定の時期よりも現在から近い時期に更新された宛先が存在すると判定した場合には、注意を促す情報が提示されるように制御してもよい。当該宛先に対応して表示されるように表示部１５を制御するとよい。

図６に示した例では、住人「鈴木一郎、花子」が所定の時期よりも現在から近い時期に更新されているため、提示制御部１６５が、注意を促す情報３７を宛先「Ａ市Ｂ町１丁目２番１号鈴木一郎、花子」に対応付けて表示させている。なお、図６に示した例では、注意を促す情報３７は、所定の色によって表示されているが、注意を促す情報３７の態様は、限定されない。例えば、注意を促す情報３７は、更新があってから間もないことを示すメッセージ「Ｎｅｗ」などであってもよい。あるいは、注意を促す情報３７は、所定の音または触覚刺激の出力によって提示されてもよい。

作業者は、配達原簿３８の宛先の並び順と、郵便物ｙ７及び郵便物ｙ８それぞれの宛先とを照らし合わせながら、配達ルート順に郵便物ｙ７及び郵便物ｙ８を並べ替える。そして、作業者は、並び替えた後の郵便物ｙ７及び郵便物ｙ８を元の収納部２１ｃｂに戻す。なお、ここでは、収納部２１ｃｂから取り出された郵便物が２件であるが、実際には１つあたりの収納部２１から取り出される郵便物の件数は、２件よりも多い場合が十分に想定される。

さらに、作業者が郵便物をどの収納部２１に戻せばよいかを把握しやすくするために、提示制御部１６５は、マスタ画像とリアルタイム画像との間に差分が生じた取り出し検知領域２３に対応する領域に、何らかの表示オブジェクト（例えば、所定の色など）が提示されるように表示部１５を制御してもよい。表示オブジェクトの位置は、当該差分が生じた取り出し検知領域２３であってもよい。このとき、提示制御部１６５は、その収納部２１に対応する並べ替え作業が完了したときに、表示オブジェクトを消してよい。

ここで、収納部２１ごとの並べ替え作業の完了は、どのように検出されてもよい。例えば、検出部１６７は、次の収納部２１からの郵便物の取り出し開始を検出することによって（例えば、マスタ画像とリアルタイム画像との間において当該次の収納部２１に対応する取り出し検知領域２３に差分が生じたことを検出することによって）、当該次の収納部２１の一つ前の収納部２１の並べ替え作業の完了を検出してもよい。

あるいは、検出部１６７は、作業台１３の台面から郵便物がなくなったことを、その収納部２１に対応する並び替え作業の完了として検出してもよい。例えば、検出部１６７は、（郵便物が載置されていない作業台１３の台面が写る）マスタ画像とリアルタイム画像とに基づいて、画像間において作業台１３の台面が写る領域に差分がなくなったことを、並び替え作業の完了として検出してもよい。

なお、記憶制御部１６９は、更新後のマスタ画像とリアルタイム画像との間において一度差分が生じた取り出し検知領域２３には、取り出し済みを示すフラグ（取り出し済みフラグ）を対応付けておくのが望ましい。そして、識別部１６３は、更新後のマスタ画像とリアルタイム画像（第２の画像）の後に画像取得部１６１によってセンサ部１４から取得されるリアルタイム画像（第４の画像）との間に差分が生じたか否かを、取り出し済みフラグが対応付けられている取り出し検知領域２３を除外して判定するのが望ましい。

これによって、作業者によって既に郵便物が取り出された収納部２１を、郵便物が取り出された収納部２１として誤って識別してしまう可能性が低減され得る。さらに、これによって、作業者によって郵便物が取り出された収納部２１に関する無駄な計算コストが省略され得る。

記憶制御部１６９は、（上記したように）検出部１６７によって並び替え作業の完了が検出された場合に、並び替え作業が完了した収納部２１に対して、作業完了を示すフラグ（作業完了フラグ）を対応付けてもよい。

作業者は、同様の並べ替え作業を、棚１２の全部の収納部２１に対して順次に行う。これによって、並べ替え作業が完了し、道順組立作業も完了する。例えば、並び替え作業完了ボタンが設けられている場合には、検出部１６７は、作業者による並び替え作業完了ボタンの押下を並び替え作業の完了として検出すればよい。並び替え作業完了ボタンは、表示部１５によって表示されてもよいし、ハードウェアボタンであってもよい。あるいは、上記の原簿表示開始ボタン３９または仕分け作業完了ボタンが、並び替え作業完了ボタンとしても用いられてよい。

あるいは、検出部１６７は、センサ部１４によって得られたリアルタイム画像に基づいて、作業者による並び替え作業完了ボタンの押下以外の事象を並び替え作業の完了として検出してもよい。例えば、検出部１６７は、センサ部１４によって時系列に沿って連続的に撮像された複数の画像に基づいて、並べ替え作業の完了を検出してもよい。一例として、検出部１６７は、センサ部１４によって時系列に沿って連続的に撮像された複数の画像に基づいて、作業者の動きの停止を並べ替え作業の完了として検出してもよい。

あるいは、検出部１６７は、棚１２の全部の収納部２１それぞれに対応する取り出し検知領域２３に、作業完了フラグが対応付けられた場合に、並べ替え作業の完了を検出してもよい。

＜２．２．処理の流れ＞
図７は、本発明の実施形態に係る作業支援システム１０による処理の流れの一例を示すフローチャートである。仕分け作業の開始前においては、まだいずれの取り出し検知領域２３も手および物によって遮蔽がされていない。図７に示すように、制御装置１１において、提示制御部１６５は、作業台１３の台面に原簿表示開始ボタン３９（図３）が表示されるように表示部１５を制御する（Ｓ１１）。そして、センサ部１４は、撮像範囲を撮像する。センサ部１４は、撮像によって得られた画像を制御装置１１に出力する。

画像取得部１６１は、このようにいずれの取り出し検知領域２３も手および物によって遮蔽がされていない状態の画像をセンサ部１４から取得する（Ｓ１２）。記憶制御部１６９は、画像取得部１６１によって取得された画像がマスタ画像として記憶部１５０に記憶されるように記憶部１５０を制御する。作業者は、仕分け作業を開始すると、複数の郵便物それぞれを、（宛先が該当する方面に対応する）収納部２１に収納する。これによって、複数の郵便物が同一方面に該当する宛先ごとにまとめられる。

作業者によって仕分け作業が開始された後にも、センサ部１４によって時系列に沿って連続的に撮像が行われ、撮像された画像（フレーム）がリアルタイム画像として制御装置１１に出力される。そして、検出部１６７は、作業者による仕分け作業の完了（即ち、棚１２への郵便物の収納完了）があったかを検出する。一例として、検出部１６７は、作業者によって原簿表示開始ボタン３９が押下されたか否かによって、仕分け作業が完了したか否かを検出する（Ｓ１４）。

検出部１６７が、作業者によって原簿表示開始ボタン３９が押下されたことを検出しない場合には（Ｓ１４において「ＮＯ」）、動作がＳ１３に移行される。一方、作業者によって仕分け作業が完了して原簿表示開始ボタン３９を押下し、検出部１６７が、作業者によって原簿表示開始ボタン３９が押下されたことを検出した場合には（Ｓ１４において「ＹＥＳ」）、記憶制御部１６９は、センサ部１４によって得られたリアルタイム画像によって、記憶部１５０によって記憶されているマスタ画像を更新する（マスタ画像を再取得する）（Ｓ１５）。

続いて、作業者は、宛先が同一方面に該当する郵便物同士を１件単位で実際の配達ルート順に並べ替える作業（並び替え作業）を行う。画像取得部１６１は、センサ部１４によって時系列に沿って連続的に得られるリアルタイム画像を取得する（Ｓ１６）。そして、識別部１６３は、記憶部１５０によって記憶されている更新後のマスタ画像と、画像取得部１６１によって取得されたリアルタイム画像との差分を計算する。

そして、識別部１６３は、更新後のマスタ画像とリアルタイム画像との間において、差分の生じた取り出し検知領域２３が存在するか否かを検出する（Ｓ１７）。例えば、作業者が収納部２１から郵便物を取り出した場合には、作業者によって郵便物が取り出された収納部２１に対応する取り出し検知領域２３への郵便物による遮蔽が解除される。あるいは、作業者によって郵便物が取り出された収納部２１に対応する取り出し検知領域２３の一部または全部が作業者の手によって遮蔽される。いずれの場合であっても、画像間において作業者が郵便物を取り出した収納部２１に対応する取り出し検知領域２３に差分が生じる。

更新後のマスタ画像とリアルタイム画像との間において、差分の生じた取り出し検知領域２３が存在しない場合（Ｓ１７において「ＮＯ」）、Ｓ１６に動作が移行される。一方、識別部１６３は、更新後のマスタ画像とリアルタイム画像との間において、差分の生じた取り出し検知領域２３が存在した場合（Ｓ１７において「ＹＥＳ」）、当該差分の生じた取り出し検知領域２３に対応する収納部２１を、作業者によって郵便物が取り出された収納部２１として識別する。

このとき、提示制御部１６５は、作業者によって郵便物が取り出された収納部２１に対応する配達原簿が表示されるように表示部１５を制御する（Ｓ１８）。検出部１６７が、作業者による並べ替え作業の完了を検出しない場合（Ｓ１９において「ＮＯ」）、Ｓ１５に動作が移行される。そして、次の収納部２１に収納されている郵便物の並べ替え作業が実施される。一方、検出部１６７が、作業者による並べ替え作業の完了を検出した場合（Ｓ１９において「ＹＥＳ」）、道順組立作業が完了される。

＜＜３．ハードウェア構成＞＞
以上、本発明の各実施形態を説明した。上述した作業支援システム１０により実施される各種の情報処理は、ソフトウェアと、以下に説明する作業支援システム１０のハードウェアとの協働により実現される。

図８は、作業支援システム１０のハードウェア構成を示したブロック図である。作業支援システム１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、作業支援システム１０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインタフェース２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って作業支援システム１０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。ＣＰＵ２０１はＲＡＭ２０３においてソフトウェアに従った処理を行うことにより、上述した制御部１６０の機能を実現し得る。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなど作業者が情報を入力するための入力手段と、作業者による入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。作業者は、該入力装置２０８を操作することにより、作業支援システム１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

また、入力装置２０８は、作業者に関する情報を検出する装置により形成され得る。例えば、入力装置２０８は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。これらの入力装置２０８は、センサ部１４の機能を実現し得る。

表示装置２０９は、例えば、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクタ装置、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。表示装置２０９は、上述した表示部１５の機能を実現し得る。

ストレージ装置２１１は、本実施形態にかかる作業支援システム１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）またはＳＳＤ（ＳｏｌｉｄＳｔｒａｇｅＤｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。当該ストレージ装置２１１は、上述した記憶部１５０の機能を実現し得る。

ドライブ２１２は、記憶媒体用リーダライタであり、作業支援システム１０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２１４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２１４に情報を書き込むこともできる。

ネットワークインタフェース２１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース２１５は、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜＜４．効果＞＞
以上に説明したように、本発明の実施形態によれば、複数の収納部を備える収納棚への１または複数の対象物の収納完了を検出する検出部１６７と、前記収納完了が検出された場合に撮像された第１の画像を取得する画像取得部１６１と、前記第１の画像と前記収納完了が検出された後に撮像された第２の画像との間に差分が生じた場合に、前記差分が生じた領域に対応する収納部を作業者が対象物を取り出した収納部２１として識別する識別部１６３と、を備える、作業支援装置が提供される。

かかる構成によれば、作業者による作業をより効果的に支援することが可能となる。より詳細に、かかる構成によれば、棚に対象物が収納された場合に取得された画像とリアルタイム画像とが比較されるため、画像間において対象物が取り出された領域にだけ差分が生じる。これによって、差分が生じた領域に対応する収納部を、作業者が対象物を取り出した収納部として精度良く識別することが可能となる。

さらに、前記作業支援装置は、前記対象物が取り出されたと識別された収納部に対応する前記対象物の並び順情報が提示されるように制御する提示制御部１６５を備えてもよい。かかる構成によれば、作業者は、提示された並び順情報を見ながら対象物の並び替え作業を効率良く（かつ精度良く）行うことが可能となる。

＜＜５．補足＞＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、記憶制御部１６９が、無条件にマスタ画像を更新する場合を主に想定した。しかし、記憶制御部１６９は、複数の収納部２１のいずれからも郵便物がはみ出していない場合には、マスタ画像を更新しなくてもよい。一方、記憶制御部１６９は、複数の収納部２１の少なくともいずれか一つから郵便物がはみ出している場合に、マスタ画像を更新してもよい。これによって、更新前のマスタ画像がより鮮明である場合などには（例えば、更新後のマスタ画像には、作業者のボタン押下時の手の影が写る可能性もある）、より鮮明なマスタ画像が用いられる可能性を高めることができる。

即ち、記憶制御部１６９は、マスタ画像（第３の画像）とリアルタイム画像Ｇ２（第１の画像）との間において、複数の収納部２１のいずれに対応する取り出し検知領域２３にも差分が生じなかった場合、マスタ画像（第３の画像）を更新しなくてよい。このとき、識別部１６３は、更新されていないマスタ画像（第３の画像）と収納完了が検出された後に撮像されたリアルタイム画像（第２の画像）との間の差分を算出し、差分が生じた取り出し検知領域２３に対応する収納部２１を作業者が郵便物を取り出した収納部２１として識別してもよい。

一方、記憶制御部１６９は、マスタ画像（第３の画像）とリアルタイム画像Ｇ２（第１の画像）との間において、複数の収納部２１の少なくともいずれか一つに対応する取り出し検知領域２３に差分が生じた場合、リアルタイム画像Ｇ２（第１の画像）でマスタ画像を更新してよい。このとき、識別部１６３は、更新後のマスタ画像（第１の画像）と収納完了が検出された後に撮像されたリアルタイム画像（第２の画像）との間の差分を算出し、差分が生じた取り出し検知領域２３に対応する収納部２１を作業者が対象物を取り出した収納部２１として識別してもよい。

あるいは、更新前のマスタ画像（第３の画像）と更新後のマスタ画像（第１の画像）とのいずれと、収納完了が検出された後に撮像されたリアルタイム画像（第２の画像）との間の差分が算出されるべきかについては、取り出し検知領域２３ごとに設定可能であってもよい。例えば、郵便物がはみ出しやすい収納部２１（例えば、大きな郵便物が届きやすい方面など）に対応する取り出し検知領域２３の差分算出には、更新後のマスタ画像（第１の画像）が用いられ、郵便物がはみ出しにくい収納部２１（例えば、あまり大きな郵便物が届かない方面など）に対応する取り出し検知領域２３の差分算出には、更新前のマスタ画像（第３の画像）が用いられるように設定されてもよい。

また、上記では、作業者が手で郵便物を棚１２に収納したり、郵便物を棚１２から取り出したりする場合について主に説明した。しかし、郵便物の収納の仕方、及び取り出し方は、かかる例に限定されない。例えば、作業者が、ロボットアームなどを操作し、ロボットアームによって郵便物を棚１２に収納してもよいし、ロボットアームによって郵便物を棚１２から取り出してもよい。その場合であっても、作業者が手で作業する場合と同様に、作業支援システム１０による処理が実行されればよい。

また、例えば、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：ｎｏｎ－ｔｒａｎｓｉｔｏｒｙｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記憶媒体を用いずに、例えばネットワークを介して配信されてもよい。

また、本明細書において説明した制御装置１１の機能は、複数の装置に分散して実装されてもよい。

１０作業支援システム
１１制御装置（作業支援装置）
１２棚
１３作業台
１４センサ部
１５表示部
１５０記憶部
１６０制御部
１６１画像取得部
１６３識別部
１６５提示制御部
１６７検出部
１６９記憶制御部
２１収納部
２３取り出し検知領域
３１表示部
３２ミラー
３７注意を促す情報
３８配達原簿
３９原簿表示開始ボタン
４４支持フレーム

Claims

複数の収納部を備える収納棚への１または複数の対象物の収納完了を検出する検出部と、
前記収納完了が検出された場合に撮像された第１の画像を取得する画像取得部と、
前記第１の画像を記憶部に記憶させる記憶制御部と、
前記第１の画像と前記収納完了が検出された後かつ前記第１の画像が撮像された後に撮像された第２の画像との間に差分が生じた領域が存在するか否かを検出し、前記差分が生じた領域が存在することを検出した場合に、前記差分が生じた領域に対応する収納部を作業者が対象物を取り出した収納部として識別する識別部と、
前記対象物が取り出されたと識別された収納部に対応する前記対象物の並び順情報が提示されるように制御する提示制御部と、
を備える、作業支援装置。
前記並び順情報は、前記対象物の宛先が配達ルート順に並べられた情報である、
請求項１に記載の作業支援装置。
前記提示制御部は、住人名の更新が所定の時期よりも現在から近い宛先が存在する場合には、注意を促す情報が提示されるように制御する、
請求項２に記載の作業支援装置。
前記収納棚に収納される対象物は、郵便物である、
請求項１～３のいずれか一項に記載の作業支援装置。
前記画像取得部は、前記１または複数の対象物が前記収納棚に収納される前に撮像された第３の画像を取得し、
前記識別部は、前記第１の画像と前記第３の画像との間において、前記複数の収納部の少なくともいずれか一つに対応する領域に差分が生じた場合、前記第１の画像と前記第２の画像との間の差分を算出し、前記差分が生じた領域に対応する収納部を作業者が対象物を取り出した収納部として識別する、
請求項１～４のいずれか一項に記載の作業支援装置。
前記作業支援装置は、前記差分が生じた領域に取り出し済みフラグを対応付ける記憶制御部を備え、
前記識別部は、前記第２の画像の後に撮像された第４の画像と前記第１の画像との間に差分が生じたか否かを、前記取り出し済みフラグが対応付けられた領域を除外して判定する、
請求項１～５のいずれか一項に記載の作業支援装置。
前記検出部は、前記作業者によるボタンの押下を前記収納棚への前記収納完了として検出する、
請求項１～６のいずれか一項に記載の作業支援装置。
前記検出部は、作業台の台面から前記１または複数の対象物がなくなったことを、前記収納棚への前記収納完了として検出する、
請求項１～６のいずれか一項に記載の作業支援装置。
複数の収納部を備える収納棚への１または複数の対象物の収納完了を検出することと、
前記収納完了が検出された場合に撮像された第１の画像を取得することと、
前記第１の画像を記憶部に記憶させることと、
前記第１の画像と前記収納完了が検出された後かつ前記第１の画像が撮像された後に撮像された第２の画像との間に差分が生じた領域が存在するか否かを検出し、前記差分が生じた領域が存在することを検出した場合に、前記差分が生じた領域に対応する収納部を作業者が対象物を取り出した収納部として識別することと、
前記対象物が取り出されたと識別された収納部に対応する前記対象物の並び順情報が提示されるように制御することと、
を含む、コンピュータによって実行される作業支援方法。
コンピュータを、
複数の収納部を備える収納棚への１または複数の対象物の収納完了を検出する検出部と、
前記収納完了が検出された場合に撮像された第１の画像を取得する画像取得部と、
前記第１の画像を記憶部に記憶させる記憶制御部と、
前記第１の画像と前記収納完了が検出された後かつ前記第１の画像が撮像された後に撮像された第２の画像との間に差分が生じた領域が存在するか否かを検出し、前記差分が生じた領域が存在することを検出した場合に、前記差分が生じた領域に対応する収納部を作業者が対象物を取り出した収納部として識別する識別部と、
前記対象物が取り出されたと識別された収納部に対応する前記対象物の並び順情報が提示されるように制御する提示制御部と、
を備える作業支援装置として機能させるためのプログラム。