JP6517726B2 - Pickup device - Google Patents

Pickup device Download PDF

Info

Publication number
JP6517726B2
JP6517726B2 JP2016091316A JP2016091316A JP6517726B2 JP 6517726 B2 JP6517726 B2 JP 6517726B2 JP 2016091316 A JP2016091316 A JP 2016091316A JP 2016091316 A JP2016091316 A JP 2016091316A JP 6517726 B2 JP6517726 B2 JP 6517726B2
Authority
JP
Japan
Prior art keywords
mapping image
unit
articles
information
taken out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016091316A
Other languages
Japanese (ja)
Other versions
JP2017197369A (en
Inventor
三島 健司
健司 三島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Rubber Industries Ltd
Original Assignee
Sumitomo Rubber Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Rubber Industries Ltd filed Critical Sumitomo Rubber Industries Ltd
Priority to JP2016091316A priority Critical patent/JP6517726B2/en
Publication of JP2017197369A publication Critical patent/JP2017197369A/en
Application granted granted Critical
Publication of JP6517726B2 publication Critical patent/JP6517726B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Projection Apparatus (AREA)

Description

物品が収容される複数の収容部が配列された配列面を有する収容具から、所望の物品をピックアップするためのピックアップ装置、システム、方法及びプログラムに関する。   The present invention relates to a pickup device, system, method and program for picking up a desired article from a container having an array surface on which a plurality of containers in which articles are stored are arranged.

従来より、物品が収容される複数の収容部を有する収容具から、物品を正しくピックアップしたいという要望がある。例えば、特許文献1には、調剤薬局において、薬剤棚から処方箋に従って薬剤を誤りなく取り出すことを支援する装置が開示されている。具体的には、薬剤棚の上にモーションセンサが取り付けられており、薬剤師が特定の収容部に手を伸ばすと、モーションセンサにより手の位置が検知される。そして、手を伸ばそうとした収容部内に収容されている薬剤の薬剤名が、薬剤棚の近傍のディスプレイに表示される。これにより、誤った薬剤をピックアップしてしまうことが防止される。   Conventionally, there has been a demand for correctly picking up an article from a container having a plurality of containers in which the article is stored. For example, Patent Document 1 discloses a device that assists a dispensing pharmacy to take out a drug without error from a drug shelf according to a prescription. Specifically, a motion sensor is attached on the medicine rack, and when the pharmacist reaches a specific storage unit, the motion sensor detects the position of the hand. Then, the drug name of the drug contained in the container which the user intends to reach is displayed on the display near the drug shelf. This prevents the wrong drug from being picked up.

また、特許文献2では、保管棚に設けられている複数の保管部の各々に、LEDランプ等の表示器が取り付けられている。そして、取り出すべき物品が保管されている保管部に対応する表示器が点灯することで、取り出すべき物品が指示されるように構成されている。   Moreover, in patent document 2, indicator, such as a LED lamp, is attached to each of the some storage part provided in the storage shelf. Then, the indicator corresponding to the storage unit in which the item to be removed is stored is turned on to indicate the item to be removed.

特許第5492333号公報Patent No. 5492333 gazette 特開2010−116244号公報JP, 2010-116244, A

特許文献1のシステムでは、取り出すべき物品がどの棚に収容されているのか、作業者に分かりにくい。すなわち、自身が手を伸ばした収容部に取り出したい物品が収容されているかを確認することはできるが、そもそも凡その物品の配置が作業者の頭に入っていなければ、効率的にピックアップ作業を行うことができない。この点、特許文献2のシステムでは、表示器の点灯により、作業者は取り出すべき物品が収容されている収容部を知ることができる。しかしながら、各収容部にLEDランプ等の表示器が取り付けられている専用の棚が必要となり、コスト高となり得る。   In the system of Patent Document 1, it is difficult for the operator to know in which shelf the article to be taken out is stored. That is, although it can be confirmed whether or not the article which oneself wants to take out is accommodated in the accommodation part which oneself has reached, if the arrangement of the article is not included in the worker's head in the first place, pick-up operation efficiently It can not be done. In this respect, according to the system of Patent Document 2, the operator can know the storage portion in which the article to be taken out is stored by lighting the display. However, a dedicated shelf on which a display such as an LED lamp is attached to each housing portion is required, which may be expensive.

本発明は、低コストで、複数の収容部を有する収容具から所望の物品を正しく効率的にピックアップすることができるピックアップ装置、システム、方法及びプログラムを提供することを目的とする。   An object of the present invention is to provide a pickup device, a system, a method and a program capable of picking up a desired article from a container having a plurality of containers properly and efficiently at low cost.

本発明の第1観点に係るピックアップ装置は、収容具から所望の物品をピックアップするのを支援するためのピックアップ装置であって、入力受付部と、画像生成部と、映写指示部とを備える。前記収容具は、物品が収容される複数の収容部が配列された配列面を有する。前記入力受付部は、前記収容具から取り出されるべき前記所望の物品又は前記所望の物品が収容されている前記収容部を特定する特定情報の入力を受け付ける。前記画像生成部は、前記特定情報により特定される前記物品又は前記収容部に対応する選択領域が、その他の領域とは異なる態様で表示されるようにマッピング画像を生成する。前記映写指示部は、外部のプロジェクターに前記マッピング画像を映写するように指示する。   A pickup device according to a first aspect of the present invention is a pickup device for assisting in picking up a desired article from a container, and includes an input reception unit, an image generation unit, and a projection instruction unit. The container has an array surface on which a plurality of containers in which articles are stored are arranged. The input receiving unit receives an input of specific information for specifying the desired article to be taken out from the container or the containing unit in which the desired article is stored. The image generation unit generates a mapping image so that the selected area corresponding to the article or the storage unit specified by the specific information is displayed in a mode different from other areas. The projection instructing unit instructs an external projector to project the mapping image.

本発明の第2観点に係るピックアップ装置は、第1観点に係るピックアップ装置であって、動き解析部と、判定部とをさらに備える。前記動き解析部は、前記マッピング画像が映写された後に、インタラクティブプロジェクターである前記プロジェクターにより検知される前記配列面上での動きの情報を解析する。前記判定部は、前記動きの情報に基づいて、前記所望の物品が取り出されたか否かを判定する。   The pickup device according to a second aspect of the present invention is the pickup device according to the first aspect, and further includes a motion analysis unit and a determination unit. The motion analysis unit analyzes information on motion on the array surface detected by the projector, which is an interactive projector, after the mapping image is projected. The determination unit determines whether or not the desired article has been taken out based on the information on the movement.

本発明の第3観点に係るピックアップシステムは、収容具から所望の物品をピックアップするのを支援するためのピックアップシステムであって、プロジェクターと、指示装置とを備える。前記収容具は、物品が収容される複数の収容部が配列された配列面を有する。前記プロジェクターは、前記配列面又はその近傍の少なくとも一方にマッピング画像を映写する。前記指示装置は、前記マッピング画像を生成し、前記プロジェクターに前記マッピング画像を映写するように指示する。前記指示装置は、入力受付部と、画像生成部と、映写指示部とを備える。前記入力受付部は、前記収容具から取り出されるべき前記所望の物品又は前記所望の物品が収容されている前記収容部を特定する特定情報の入力を受け付ける。前記画像生成部は、前記特定情報により特定される前記物品又は前記収容部に対応する選択領域が、その他の領域とは異なる態様で表示されるようにマッピング画像を生成する。前記映写指示部は、前記プロジェクターに前記マッピング画像を映写するように指示する。   A pickup system according to a third aspect of the present invention is a pickup system for assisting in picking up a desired article from a container, and includes a projector and an instruction device. The container has an array surface on which a plurality of containers in which articles are stored are arranged. The projector projects a mapping image on at least one of the array surface or its vicinity. The pointing device generates the mapping image and instructs the projector to project the mapping image. The instruction device includes an input reception unit, an image generation unit, and a projection instruction unit. The input receiving unit receives an input of specific information for specifying the desired article to be taken out from the container or the containing unit in which the desired article is stored. The image generation unit generates a mapping image so that the selected area corresponding to the article or the storage unit specified by the specific information is displayed in a mode different from other areas. The projection instruction unit instructs the projector to project the mapping image.

本発明の第4観点に係るピックアップシステムは、第3観点に係るピックアップシステムであって、前記プロジェクターは、前記配列面の上方、下方及び側方のいずれかに設置される。   A pickup system according to a fourth aspect of the present invention is the pickup system according to the third aspect, wherein the projector is installed either above, below or to the side of the arrangement surface.

本発明の第5観点に係るピックアップ方法は、収容具から所望の物品をピックアップするピックアップ方法であって、以下のステップ(1)〜(3)を含む。前記収容具は、物品が収容される複数の収容部が配列された配列面を有する。
(1)コンピュータを用いて、前記収容具から取り出されるべき前記所望の物品又は前記所望の物品が収容されている前記収容部に対応する選択領域が、その他の領域とは異なる態様で表示されるようにマッピング画像を生成するステップ。
(2)プロジェクターを用いて、前記配列面又はその近傍の少なくとも一方に前記マッピング画像を映写するステップ。
(3)映写された前記選択領域に対応する前記収容部から前記商品を取り出すステップ。
A pickup method according to a fifth aspect of the present invention is a pickup method for picking up a desired article from a container, and includes the following steps (1) to (3). The container has an array surface on which a plurality of containers in which articles are stored are arranged.
(1) Using the computer, the selected area corresponding to the desired item to be removed from the container or the container containing the desired item is displayed in a different manner from the other regions To generate a mapping image.
(2) projecting the mapping image on at least one of the array surface or its vicinity using a projector;
(3) removing the product from the storage unit corresponding to the projected selected area.

本発明の第6観点に係るピックアッププログラムは、収容具から所望の物品をピックアップするのを支援するための物品ピックアッププログラムであって、コンピュータに以下のステップ(1)〜(3)を実行させる。前記収容具は、物品が収容される複数の収容部が配列された配列面を有する。
(1)前記収容具から取り出されるべき前記所望の物品又は前記所望の物品が収容されている前記収容部を特定する特定情報の入力を受け付けるステップ。
(2)前記特定情報により特定される前記物品又は前記収容部に対応する選択領域が、その他の領域とは異なる態様で表示されるようにマッピング画像を生成するステップ。
(3)外部のプロジェクターに前記マッピング画像を映写するように指示するステップ。
A pickup program according to a sixth aspect of the present invention is an article pickup program for assisting in picking up a desired article from a container, and causes a computer to execute the following steps (1) to (3). The container has an array surface on which a plurality of containers in which articles are stored are arranged.
(1) receiving an input of specific information that specifies the desired article to be taken out from the container or the accommodation unit in which the desired article is accommodated;
(2) generating a mapping image such that the selected area corresponding to the article or the storage section specified by the specific information is displayed in a mode different from other areas.
(3) Instructing an external projector to project the mapping image.

本発明によれば、物品が収容された複数の収容部が配列された配列面を有する収容具から、所望の物品をピックアップするピックアップ作業時において、マッピング画像が生成される。このマッピング画像においては、収容具から取り出されるべき物品又は当該物品が収容されている収容部に対応する選択領域が、その他の領域とは異なる態様で表示される。そして、このマッピング画像が収容具の配列面に映写されることにより、取り出されるべき物品が収容されている収容部が指示される。従って、低コストで、複数の収容部を有する収容具から所望の物品を正しく効率的にピックアップすることができる。   According to the present invention, a mapping image is generated at the time of a pickup operation for picking up a desired article from a container having an array surface in which a plurality of containers in which articles are stored are arranged. In this mapping image, an item to be removed from the container or a selected area corresponding to the container in which the item is stored is displayed in a manner different from the other regions. Then, the mapping image is projected on the arrangement surface of the container to indicate the container portion in which the article to be taken out is stored. Therefore, desired articles can be picked up correctly and efficiently from a container having a plurality of containers at low cost.

本発明の一実施形態に係るピックアップシステムの正面図。FIG. 1 is a front view of a pickup system according to an embodiment of the present invention. 収容具及びプロジェクターの配置を示す側面図。The side view which shows arrangement | positioning of a container and a projector. ピックアップシステムの構成を示すブロック図。FIG. 2 is a block diagram showing the configuration of a pickup system. 薬剤位置データベースのデータ構造を示す図。The figure which shows the data structure of a drug position database. ピックアップ処理の流れを示すフローチャート。The flowchart which shows the flow of pickup processing. 薬剤棚の配列面を模式化した格子模様の画像を示す図。The figure which shows the image of the lattice pattern which schematized the arrangement | sequence surface of the drug shelf. マッピング画像を示す図。The figure which shows a mapping image. 変形例に係るマッピング画像を示す図。The figure which shows the mapping image which concerns on a modification. 別の変形例に係るマッピング画像を示す図。The figure which shows the mapping image which concerns on another modification. 別の変形例に係るマッピング画像を示す図。The figure which shows the mapping image which concerns on another modification.

以下、図面を参照しつつ、本発明の一実施形態に係るピックアップ装置、システム、方法及びプログラムについて説明する。本実施形態は、調剤薬局において、処方箋に従って薬剤棚から薬剤を取り出す場面を例に説明される。   Hereinafter, a pickup device, a system, a method and a program according to an embodiment of the present invention will be described with reference to the drawings. The present embodiment will be described by taking, as an example, a situation where a medicine is taken out of a medicine rack according to a prescription in a dispensing pharmacy.

<1.ピックアップシステムの全体構成>
本実施形態に係るピックアップシステム100は、薬剤棚5(収容具)から所望の薬剤をピックアップするピックアップ作業を支援するためのシステムであり、図1に示すとおり、プロジェクター1と、操作端末2とを備える。薬剤棚5は、複数の収容部50を有しており、これらの収容部50には、各々、異なる薬剤が収容されている。本実施形態の薬剤棚5は、調剤薬局で使用される薬剤棚であり、薬剤のピックアップ作業を行う作業者6が、ここから処方箋に従って薬剤を取り出す。これらの収容部50は、上下左右に格子状に配列されており、全体として二次元的な配列面5Aを形成している。配列面5Aは、概ね鉛直面内に広がっており、薬剤棚5の正面に立つ作業者6がいずれの収容部50にもアクセスし易いように構成されている。なお、ここでいう作業者6とは、主として薬剤師であるが、勿論、他の者がピックアップ作業を行うことも想定される。
<1. Overall configuration of pickup system>
The pickup system 100 according to the present embodiment is a system for supporting a pickup operation for picking up a desired medicine from the medicine rack 5 (container), and as shown in FIG. 1, the projector 1 and the operation terminal 2 Prepare. The drug rack 5 has a plurality of storage units 50, and each of the storage units 50 stores different medicines. The drug rack 5 of the present embodiment is a drug rack used in a dispensing pharmacy, and a worker 6 who performs a drug pick-up operation takes out the drug from here according to a prescription. These accommodation units 50 are arranged in a grid form vertically and horizontally, and form a two-dimensional array surface 5A as a whole. The arrayed surface 5A extends generally in the vertical plane, and is configured such that the worker 6 standing in front of the medicine shelf 5 can easily access any of the storage sections 50. In addition, although the worker 6 here is mainly a pharmacist, of course, it is also assumed that another person performs a pick-up operation | work.

本実施形態では、作業者6が操作端末2において取り出すべき薬剤を指定すると、薬剤棚5の配列面5A上においてプロジェクションマッピングが行われる。すなわち、操作端末2によりマッピング画像W2が生成され、当該マッピング画像W2がプロジェクター1により配列面5Aに映写される。これにより、所望の薬剤の収容されている収容部50が、他の収容部50とは異なる態様で照らし出され、作業者6は、所望の薬剤の収容されている収容部50を容易に把握することができる。   In the present embodiment, when the worker 6 designates a medicine to be taken out at the operation terminal 2, projection mapping is performed on the array surface 5 A of the medicine rack 5. That is, the mapping image W2 is generated by the operation terminal 2, and the mapping image W2 is projected on the array surface 5A by the projector 1. As a result, the storage unit 50 in which the desired medicine is stored is illuminated in a manner different from that of the other storage units 50, and the worker 6 easily grasps the storage unit 50 in which the desired medicine is stored. can do.

以下、各部の構成について説明した後、ピックアップ作業の流れについて説明する。   Hereinafter, after describing the configuration of each part, the flow of the pickup operation will be described.

<2.各部の構成>
<2−1.プロジェクター>
本実施形態に係るプロジェクター1は、超短焦点型のプロジェクターであり、至近距離から大型の映像を投影面上に投影することができる。なお、ここでの投影面とは、薬剤棚5の配列面5Aである。従って、図2に示すとおり、プロジェクター1は、薬剤棚5の背面に沿う壁面において薬剤棚5の上方に取り付けられているが、配列面5A全体にマッピング画像W2を映写することができる。そして、このように至近距離からマッピング画像W2が映写されるため、配列面5Aが作業者6の陰に隠れることがなく、作業者6の存在が映写の妨げとならない。
<2. Configuration of each part>
<2-1. Projector>
The projector 1 according to the present embodiment is an ultra-short focus type projector, and can project a large image from a close distance onto a projection surface. Here, the projection plane is the arrangement plane 5A of the medicine rack 5. Therefore, as shown in FIG. 2, the projector 1 is attached above the drug shelf 5 on the wall surface along the back surface of the drug shelf 5, but can project the mapping image W2 on the entire arrangement surface 5A. Then, since the mapping image W2 is projected from the close distance as described above, the array surface 5A is not hidden behind the worker 6, and the presence of the worker 6 does not interfere with the projection.

図3に示すとおり、プロジェクター1は、映写部11、カメラ12、制御部13及び通信部14を備える。本実施形態では、映写部11は、レンズ、プリズム、ミラー等の光学素子からなる光学系を有し、下方において鉛直に延びるように配置される薬剤棚5の配列面5Aにマッピング映像を映写する。カメラ12は、レンズ、プリズム、ミラー等の光学素子からなる光学系、並びにCCD等からなるイメージセンサを有し、投影面である配列面5A全体を捉えた二次元画像を連続的に撮影する。すなわち、カメラ12は、動画を撮影する。制御部13は、CPU、ROM及びRAM等が搭載された回路基板からなり、映写部11、カメラ12及び通信部14の動作を含む、プロジェクター1の全体の動作を制御する。通信部14は、操作端末2のような外部デバイスとの通信を実現する通信インターフェースである。   As shown in FIG. 3, the projector 1 includes a projection unit 11, a camera 12, a control unit 13, and a communication unit 14. In the present embodiment, the projection unit 11 has an optical system including optical elements such as a lens, a prism, and a mirror, and projects the mapping image on the arrangement surface 5A of the medicine shelf 5 disposed to extend vertically downward. . The camera 12 has an optical system including an optical element such as a lens, a prism, and a mirror, and an image sensor including a CCD, and continuously captures a two-dimensional image capturing the entire array surface 5A as a projection plane. That is, the camera 12 shoots a moving image. The control unit 13 includes a circuit board on which a CPU, a ROM, a RAM, and the like are mounted, and controls the overall operation of the projector 1 including the operations of the projection unit 11, the camera 12, and the communication unit 14. The communication unit 14 is a communication interface that realizes communication with an external device such as the operation terminal 2.

プロジェクター1は、インタラクティブプロジェクターであり、上述のカメラ12によりこの双方向性が実現される。すなわち、カメラ12により配列面5Aの動画が撮影され、この動画が通信部14を介して操作端末2に送信される。そして、操作端末2においてこの動画が画像処理されることで、配列面5A上でのモーション、つまりは配列面5A上での作業者6の手の動きが認識される。従って、カメラ12は、配列面5A上での動きの情報を検知するモーションセンサの役割を果たす。   The projector 1 is an interactive projector, and this bidirectionality is realized by the camera 12 described above. That is, a moving image of the array surface 5A is photographed by the camera 12, and this moving image is transmitted to the operation terminal 2 through the communication unit 14. Then, the moving image is subjected to image processing in the operation terminal 2 to recognize the motion on the arrangement surface 5A, that is, the movement of the hand of the worker 6 on the arrangement surface 5A. Therefore, the camera 12 plays a role of a motion sensor that detects information of movement on the array surface 5A.

<2−2.操作端末>
本実施形態に係る操作端末2は、ハードウェアとしては単なる汎用のパーソナルコンピュータであり、例えば、タブレットコンピュータ、スマートフォン、ノート型コンピュータ、デスクトップ型コンピュータとして実現される。図3に示すように、操作端末2は、CD−ROM等のコンピュータで読み取り可能な記録媒体20から、或いはインターネット等のネットワークを介して外部デバイスから、ピックアッププログラム3を汎用のコンピュータにインストールすることにより製造される。ピックアッププログラム3は、作業者6が薬剤棚5から所望の物品をピックアップするのを支援するためのソフトウェアであり、操作端末2に後述する動作を実行させる。
2-2. Operation terminal>
The operation terminal 2 according to the present embodiment is merely a general-purpose personal computer as hardware, and is realized as, for example, a tablet computer, a smartphone, a notebook computer, or a desktop computer. As shown in FIG. 3, the operation terminal 2 installs the pickup program 3 in a general-purpose computer from a computer-readable recording medium 20 such as a CD-ROM or from an external device via a network such as the Internet. Manufactured by The pickup program 3 is software for assisting the worker 6 to pick up a desired article from the medicine rack 5 and causes the operation terminal 2 to execute an operation described later.

操作端末2は、表示部21、入力部22、記憶部23、制御部24、通信部25及び音声出力部26を備える。これらの部21〜26は、バス線を介して接続されており、相互に通信可能である。表示部21は、液晶ディスプレイ等で構成することができ、後述する情報を作業者6に対し表示する。入力部22は、マウス、キーボード、タッチパネル等で構成することができ、操作端末2に対する作業者6からの操作入力を受け付ける。通信部25は、プロジェクター1のような外部デバイスとの通信を実現する通信インターフェースである。音声出力部26は、スピーカー等で構成することができ、後述する音声を作業者6に向けて出力する。   The operation terminal 2 includes a display unit 21, an input unit 22, a storage unit 23, a control unit 24, a communication unit 25, and an audio output unit 26. These units 21 to 26 are connected via a bus line and can communicate with each other. The display unit 21 can be configured by a liquid crystal display or the like, and displays information described later to the worker 6. The input unit 22 can be configured by a mouse, a keyboard, a touch panel, and the like, and receives an operation input from the operator 6 to the operation terminal 2. The communication unit 25 is a communication interface that implements communication with an external device such as the projector 1. The voice output unit 26 can be configured by a speaker or the like, and outputs a voice to be described later to the worker 6.

記憶部23は、ハードディスクやフラッシュメモリ等の不揮発性の記憶装置により構成することができる。記憶部23内には、ピックアッププログラム3が格納されている他、薬剤位置データベース(DB)27が格納されている。薬剤位置DB27には、薬剤棚5の各収容部50の位置を特定する位置情報に関連付けて、当該収容部50に収容されている薬剤を特定する薬剤情報が格納されている。薬剤情報には、薬剤名が含まれる。従って、薬剤位置DB27を参照すれば、薬剤の薬剤名から、当該薬剤が収容されている収容部50の位置を特定することができる。この意味で、薬剤位置DB27は、各収容部50の位置を特定する位置情報だけでなく、各薬剤の位置を特定する位置情報を記憶するデータベースであると言える。   The storage unit 23 can be configured by a non-volatile storage device such as a hard disk or a flash memory. In addition to the pickup program 3 stored in the storage unit 23, a drug position database (DB) 27 is stored. The drug position DB 27 stores drug information for specifying a drug stored in the storage unit 50 in association with position information for specifying the position of each storage unit 50 of the medicine shelf 5. The drug information includes the drug name. Therefore, referring to the drug position DB 27, the position of the storage unit 50 in which the drug is stored can be specified from the drug name of the drug. In this sense, it can be said that the drug position DB 27 is a database that stores not only position information that specifies the position of each storage unit 50 but also position information that specifies the position of each drug.

制御部24は、CPU、ROMおよびRAM等から構成することができる。制御部24は、記憶部23内のピックアッププログラム3を読み出して実行することにより、仮想的に画像生成部24A、映写指示部24B、動き解析部24C、判定部24D及び結果出力部24Eして動作する。各部24A〜24Eの動作の詳細については、後述する。   The control unit 24 can be configured of a CPU, a ROM, a RAM, and the like. The control unit 24 reads and executes the pickup program 3 in the storage unit 23 to virtually operate the image generation unit 24A, the projection instruction unit 24B, the motion analysis unit 24C, the determination unit 24D and the result output unit 24E. Do. The details of the operation of each of the units 24A to 24E will be described later.

図4は、薬剤位置DB27のデータ構造を示す図である。同図に示すように、薬剤位置DB27内には、収容部50の配列における横方向及び縦方向の位置と、薬剤名とが互いに関連付けて格納されている。   FIG. 4 is a diagram showing the data structure of the medicine position DB 27. As shown in FIG. As shown in the figure, in the medicine position DB 27, the positions in the horizontal direction and the vertical direction in the arrangement of the storage units 50 and the medicine names are stored in association with each other.

<3.ピックアップ作業の流れ>
以下、図5を参照しつつ、薬剤のピックアップ作業の流れについて説明する。図5は、ピックアップシステム100による薬剤のピックアップ処理の流れを示すフローチャートである。
<3. Flow of pickup work>
The flow of the drug pickup operation will be described below with reference to FIG. FIG. 5 is a flowchart showing the flow of the drug pickup process by the pickup system 100.

まず、作業者6は、操作端末2上でピックアッププログラム3を起動させる。このとき、図示されない操作画面が、表示部21上に表示される。この操作画面は、作業者6に対し、薬剤棚5から取り出されるべき所望の薬剤を特定する特定情報を、入力部22を介して入力するように促す(ステップS1)。従って、このとき、入力部22は、かかる特定情報の入力を受け付ける入力受付部として機能する。また、本実施形態では、かかる特定情報として、薬剤位置DB27内に格納されている薬剤名の入力を受け付ける。このとき、誤操作を減らすため、薬剤位置DB27内に格納されている薬剤名の一覧を表示し、この中から作業者に所望の薬剤を選択させるように、操作画面を構成することができる。なお、処方箋においてはしばしば複数の薬剤が指定されるため、本実施形態では、操作画面は、複数の薬剤名を入力可能に構成されている。   First, the worker 6 activates the pickup program 3 on the operation terminal 2. At this time, an operation screen (not shown) is displayed on the display unit 21. This operation screen prompts the operator 6 to input, via the input unit 22, specific information for specifying a desired medicine to be taken out from the medicine rack 5 (step S1). Therefore, at this time, the input unit 22 functions as an input receiving unit that receives the input of the specific information. Further, in the present embodiment, the input of the medicine name stored in the medicine position DB 27 is accepted as the specific information. At this time, in order to reduce erroneous operations, a list of drug names stored in the drug position DB 27 can be displayed, and the operation screen can be configured to allow the operator to select a desired drug from among these. In addition, since a plurality of medicines are often designated in the prescription, in the present embodiment, the operation screen is configured to be able to input a plurality of medicine names.

入力部22を介して薬剤名が入力されると、画像生成部24Aは、マッピング画像W2を生成する(ステップS2)。具体的には、画像生成部24Aは、入力された薬剤名をキーとして薬剤位置DB27内を検索し、この薬剤名の薬剤が収容されている収容部50の位置情報を特定する。続いて、画像生成部24Aは、薬剤棚5の配列面5Aの正面図を模式化した格子模様の画像W1を作成する(図6参照)。この画像W1の格子により区切られる四角形の各領域60は、個々の収容部50を表しており、これらの領域60の二次元配列は、収容部50の二次元配列に対応する。そして、画像生成部24Aは、この画像W1上において、特定された位置情報に対応する選択領域60Aが、その他の非選択領域60Bとは異なる態様で表示されるようなマッピング画像W2(図7参照)を生成する。例えば、選択領域60Aに非選択領域60Bよりも、一般に人の注意を喚起する色を付すこともできるし、選択領域60Aの境界のみを枠で囲むこともできる。図7の例では、「C1」,「G2」,「G5」,「M2」の位置情報により特定される収容部50に対応する領域が選択領域60Aであり、非選択領域60Bとは異なる色が付されている。   When the medicine name is input through the input unit 22, the image generation unit 24A generates a mapping image W2 (step S2). Specifically, the image generation unit 24A searches the inside of the medicine position DB 27 using the inputted medicine name as a key, and specifies the position information of the storage unit 50 in which the medicine of the medicine name is accommodated. Subsequently, the image generation unit 24A creates a grid pattern image W1 in which the front view of the arrangement surface 5A of the medicine shelf 5 is schematically illustrated (see FIG. 6). Each rectangular area 60 divided by the grid of the image W1 represents an individual accommodation unit 50, and the two-dimensional arrangement of these areas 60 corresponds to the two-dimensional arrangement of the accommodation units 50. Then, on the image W1, the image generation unit 24A displays the mapping image W2 such that the selected area 60A corresponding to the specified position information is displayed in a mode different from the other non-selected area 60B (see FIG. 7). Generate). For example, the selected area 60A can generally have a color that attracts the attention of a person rather than the non-selected area 60B, or only the border of the selected area 60A can be framed. In the example of FIG. 7, the area corresponding to the storage unit 50 specified by the position information of “C1”, “G2”, “G5”, and “M2” is the selected area 60A, and the color different from the non-selected area 60B. Is attached.

続くステップS3では、映写指示部24Bが、マッピング画像W2を薬剤棚5の配列面5A上に映写するように、プロジェクター1に指示する。具体的には、通信部25を介して、マッピング画像W2がプロジェクター1に送信される。一方、プロジェクター1側では、制御部13が通信部14を介してマッピング画像W2を受信し、これを映写部11を介して配列面5A上に映写させる。これにより、配列面5A上においてプロジェクションマッピングが行われ、配列面5Aを眺める作業者6に、ステップS1で指定された薬剤の収容されている収容部50の位置が指示される。作業者6は、配列面5Aに施されたプロジェクションマッピングによる模様を参考として、所望の薬剤の収容されている収容部50の位置を確認し、そこから薬剤を取り出す。   In the subsequent step S3, the projection instruction unit 24B instructs the projector 1 to project the mapping image W2 on the array surface 5A of the medicine rack 5. Specifically, the mapping image W2 is transmitted to the projector 1 via the communication unit 25. On the other hand, on the side of the projector 1, the control unit 13 receives the mapping image W 2 via the communication unit 14, and projects this on the array surface 5 A via the projection unit 11. Thereby, projection mapping is performed on the array surface 5A, and the position of the storage unit 50 in which the medicine designated at step S1 is stored is instructed to the worker 6 who looks at the array surface 5A. The operator 6 refers to the pattern by projection mapping applied to the array surface 5A to check the position of the container 50 in which the desired medicine is stored, and removes the medicine therefrom.

ステップS3によりマッピング画像W2の映写が開始されると直ちに、カメラ12による配列面5Aの動画撮影が開始される(ステップS4)。プロジェクションマッピングと、この撮影とは、並行に実行される。カメラ12により撮影された動画データは、リアルタイムに通信部14を介して操作端末2に送信される。一方、操作端末2側では、動き解析部24Cが通信部25を介してこの動画データを受信し、これを解析する(ステップS5)。すなわち、動き解析部24Cは、動画データを画像処理することにより手の動きを検知し、作業者6がどの収容部50にアクセスしたのかを判定する。例えば、動き解析部24Cは、作業者6の手が出現し、その手が一定時間以上その周辺に存在した位置を特定し、当該位置に対応する収容部50を特定する。以下では、ステップS5において作業者6がアクセスしたと判定された収容部50を、アクセス収容部50と呼ぶこととする。   As soon as projection of the mapping image W2 is started in step S3, moving image shooting of the array surface 5A by the camera 12 is started (step S4). The projection mapping and this imaging are performed in parallel. Moving image data captured by the camera 12 is transmitted to the operation terminal 2 via the communication unit 14 in real time. On the other hand, on the operation terminal 2 side, the motion analysis unit 24C receives this moving image data via the communication unit 25 and analyzes this (step S5). That is, the motion analysis unit 24C detects the motion of the hand by performing image processing on the moving image data, and determines which housing unit 50 the operator 6 has accessed. For example, the motion analysis unit 24C identifies a position where the hand of the operator 6 appears and the hand is present in the periphery for a predetermined time or more, and identifies the storage unit 50 corresponding to the position. Hereinafter, the accommodation unit 50 determined in step S5 that the worker 6 has accessed will be referred to as an access accommodation unit 50.

ステップS6では、判定部24Dが、薬剤棚5からステップS1で指定された所望の薬剤が取り出されたか否かを判定する。より具体的には、判定部24Dは、アクセス収容部50が、ステップS1で入力された薬剤名の薬剤が収容されている収容部50(以下、正解収容部50という)に一致するか否かを判定する。なお、ステップS1で複数の薬剤名が入力された場合には、複数の正解収容部50が存在する。この場合には、複数の正解収容部50と複数のアクセス収容部50とが完全に一致するか否かが判定される。正解収容部50と一致しないアクセス収容部50が1つでも存在する場合、処理はステップS8に進む。また、一定の時間が経過しても、全ての正解収容部50に対応するアクセス収容部50が特定されない場合にも、処理はステップS8に進む。その他の場合には、ステップS7に進む。なお、簡単のため、図5のフローチャートでは、ステップS3〜S6が順次実行される処理のように示されているが、これらの処理は、図5に示す順番で開始するものの、実際には並列処理される。   In step S6, the determination unit 24D determines whether or not the desired medicine designated in step S1 has been taken out of the medicine rack 5. More specifically, determination unit 24D determines whether access accommodating unit 50 matches accommodating unit 50 (hereinafter, referred to as correct solution accommodating unit 50) in which the medicine having the medicine name input in step S1 is accommodated. Determine In addition, when several chemical | medical agent name is input by step S1, several correct answer accommodating parts 50 exist. In this case, it is determined whether or not the plurality of correct answer accommodating units 50 and the plurality of access accommodating units 50 completely match. If there is even one access accommodating unit 50 that does not match the correct solution accommodating unit 50, the process proceeds to step S8. The process also proceeds to step S8 when the access accommodating unit 50 corresponding to all the correct solution accommodating units 50 is not identified even after a predetermined time has elapsed. Otherwise, the process proceeds to step S7. Although the steps S3 to S6 are shown as processing sequentially executed in the flowchart of FIG. 5 for the sake of simplicity, although these processings start in the order shown in FIG. It is processed.

ステップS7では、結果出力部24Eは、正解画面を表示部21上に表示させるとともに、音声出力部26を介して正解音を出力する。正解画面とは、例えば、正しく薬剤が取り出されたことを示すメッセージを表示する画面である。また、正解音とは、正解であることを想起させるような音(例えば、「ピンポン」)である。このような出力を受けて、作業者6は、ピックアップ作業が正しく行われたことを確認し、作業を完了させる。また、ステップS7に前後して、マッピング画像W2の映写(S3)、配列面5Aの撮影(S4)及び配列面5A上での動きの解析(S5)も終了する。   In step S7, the result output unit 24E displays a correct answer screen on the display unit 21 and outputs a correct sound via the voice output unit 26. The correct answer screen is, for example, a screen that displays a message indicating that the medicine has been correctly extracted. In addition, the correct sound is a sound (for example, “ping pong”) that reminds you of the correct answer. In response to such an output, the operator 6 confirms that the pickup operation has been correctly performed, and completes the operation. Before or after step S7, projection of the mapping image W2 (S3), photographing of the array surface 5A (S4), and analysis of movement on the array surface 5A (S5) are also completed.

一方、ステップS8では、結果出力部24Eは、警告画面を表示部21上に表示させるとともに、音声出力部26を介して警告音を出力する。警告画面とは、例えば、誤った薬剤が取り出されたか、まだ取り出されていない薬剤が存在することを示すメッセージを表示する画面である。ここでは、誤って取り出された薬剤やまだ取り出されていない薬剤の薬剤名及び位置情報も表示される。また、警告音とは、不正解であることを想起させるような音(例えば、「ブー」)である。このような出力を受けて、作業者6は、ピックアップ作業が正しく行われなかったことを確認し、作業の誤りを適宜修正して、作業を完了させる。また、ステップS8に前後して、マッピング画像W2の映写(S3)、配列面5Aの撮影(S4)及び配列面5A上での動きの解析(S5)も終了する。   On the other hand, in step S8, the result output unit 24E displays a warning screen on the display unit 21 and outputs a warning sound via the voice output unit 26. The warning screen is, for example, a screen that displays a message indicating that a wrong drug has been taken out or there is a drug that has not been taken out yet. Here, the drug name and position information of the drug which has been mistakenly removed or not yet removed is also displayed. Also, the warning sound is a sound (for example, "boo") that reminds of an incorrect answer. In response to such an output, the operator 6 confirms that the pickup operation has not been correctly performed, corrects the error of the operation appropriately, and completes the operation. Before or after step S8, projection of the mapping image W2 (S3), photographing of the array surface 5A (S4), and analysis of movement on the array surface 5A (S5) are also completed.

<4.変形例>
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。
<4. Modified example>
As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the said embodiment, A various change is possible unless it deviates from the meaning. For example, the following modifications are possible. Moreover, the gist of the following modifications can be combined as appropriate.

<4−1>
上記実施形態では、薬剤を対象としてピックアップ作業が行われたが、ここでのピックアップシステムによるピックアップ作業の対象となる物品は、薬剤に限られない。同様のシステム及び方法は、任意の物品のピックアップ作業に用いることができる。
<4-1>
In the above embodiment, the pick-up operation is performed on the medicine, but the item to be picked up by the pickup system here is not limited to the medicine. Similar systems and methods can be used to pick up any item.

<4−2>
プロジェクター1の配置は上述したものに限られず、配列面5Aの下方や側方から配列面5A上にマッピング画像W2を映写することができる。また、収容部50が透明に形成されている場合等には、配列面5Aの背面側からマッピング画像の映写を行うこともできる。或いは、配列面5Aに対し作業者6の後方からマッピング画像の映写を行うこともできる。この場合、プロジェクター1は、超短焦点型である必要はない。ただし、作業者6の存在が映写の妨げにならないようにする観点からは、配列面5Aの上方、下方、側方、又は背面側からの映写が好ましい。
<4-2>
The arrangement of the projectors 1 is not limited to that described above, and the mapping image W2 can be projected onto the array surface 5A from below or to the side of the array surface 5A. Moreover, when the accommodating part 50 is formed transparently, projection of a mapping image can also be performed from the back side of 5 A of arrangement surfaces. Alternatively, projection of the mapping image can be performed from behind the worker 6 on the array surface 5A. In this case, the projector 1 does not have to be an ultra short focus type. However, from the viewpoint of preventing the presence of the worker 6 from interfering with the projection, projection from the upper side, the lower side, the side, or the back side of the arrangement surface 5A is preferable.

<4−3>
上記実施形態では、プロジェクター1は、インタラクティブプロジェクターであったが、取り出した薬剤が正しいか否かの確認処理を省略する場合には、プロジェクター1を非インタラクティブプロジェクターとすることができる。
<4-3>
Although the projector 1 is an interactive projector in the above embodiment, the projector 1 can be a non-interactive projector if the process of confirming whether the medicine taken out is correct is omitted.

<4−4>
上記実施形態では、プロジェクター1は、カメラ12が内蔵されたインタラクティブプロジェクターであったが、カメラ12をプロジェクター1から独立した機構とすることができる。すなわち、非インタラクティブプロジェクター1と、これと別個に用意されたカメラ12とを操作端末2に接続した場合にも、上記と同様の確認機能を実現することができる。
<4-4>
Although the projector 1 is an interactive projector in which the camera 12 is incorporated in the above embodiment, the camera 12 can be a mechanism independent of the projector 1. That is, even when the non-interactive projector 1 and the camera 12 prepared separately from this are connected to the operation terminal 2, the same confirmation function as described above can be realized.

また、カメラ12以外の機構を用いて、インタラクティブプロジェクターを構成することもできる。インタラクティブプロジェクターとしては、様々な方式が知られており、このような技術を適宜用いることができる。例えば、インタラクティブプロジェクターを実現する方式として、赤外線方式がある。この方式を採用する場合には、例えば、配列面5Aの端部に沿って赤外線発光及び受光装置を配置し、赤外線の遮られた位置を検出することにより、配列面5A上での動きを検知することができる。また、専用の電子ペンを使用する方式もある。この方式を採用する場合には、例えば、専用の電子ペンを用いて、配列面5A上において薬剤を取り出そうとする収容部50をタッチすると、電子ペンから超音波が発生されるように構成する。そして、配列面5Aの近傍の複数の箇所に超音波受信装置を配置し、超音波の到達時間の差から三角測量法等により、配列面5A上の手の位置を検知することができる。また、カメラを複数の箇所に設置し、三角測量法等により、手の位置を検知することもできる。また、電子ペンに代えて、電子ペンと同様の機能を有する手袋を使用することができる。例えば、指先にスイッチを備える手袋をはめて、薬剤を取り出そうとする収容部50をタッチすると、スイッチが押されて手袋から超音波が発生されるように構成することができる。   In addition, a mechanism other than the camera 12 can be used to configure an interactive projector. Various methods are known as an interactive projector, and such a technology can be used as appropriate. For example, as a system for realizing an interactive projector, there is an infrared system. In the case of adopting this method, for example, the infrared light emitting and receiving device is disposed along the end of the array surface 5A, and the movement on the array surface 5A is detected by detecting the position where the infrared rays are blocked. can do. There is also a method using a dedicated electronic pen. In the case of adopting this method, for example, when the storage unit 50 to which the medicine is to be taken out is touched on the arrangement surface 5A using a dedicated electronic pen, the electronic pen generates an ultrasonic wave. Then, ultrasonic wave receiving devices are arranged at a plurality of locations in the vicinity of the array surface 5A, and the position of the hand on the array surface 5A can be detected from the difference in arrival time of ultrasonic waves by triangulation. In addition, cameras can be installed at a plurality of locations, and the position of the hand can be detected by triangulation or the like. Also, in place of the electronic pen, gloves having the same function as the electronic pen can be used. For example, when the user wears a glove equipped with a switch on the fingertip and touches the container 50 where the medicine is to be taken out, the switch can be pressed to generate an ultrasonic wave from the glove.

<4−5>
上記実施形態のステップS1では、操作端末2は、取り出したい薬剤を特定する薬剤情報の入力を受け付けていたが、収容部50の位置情報のような、取り出したい薬剤が収容されている収容部50を特定する情報の入力を受け付けるようにしてもよい。物品の取り出しにおいて特にミスが発生し易いのは、実際に収容具から薬剤を取り出す場面であると考えられる。従って、操作端末2上で収容部50を特定する作業が必要であったとしても、作業ミスを軽減することができる。
<4-5>
In step S1 of the above embodiment, the operation terminal 2 receives the input of the drug information specifying the drug to be taken out, but the container unit 50 in which the drug to be taken out, such as the position information of the container unit 50, is accommodated. It may be possible to receive an input of information identifying the It is considered that it is a scene where the medicine is actually taken out from the container that a mistake is particularly likely to occur in taking out the article. Therefore, even if it is necessary to specify the receiving unit 50 on the operation terminal 2, it is possible to reduce the operation error.

<4−6>
ピックアッププログラム3は、表計算ソフトを用いて実装することができる。具体的には、例えば、表計算ソフト上で、収容部50の配列に対応するセルの配列を作成する。この場合、各セルが個々の収容部50に対応する。そして、セルが選択されると、当該セルの色等の表示形態が変更されるようにプログラミングしておく。この場合、操作端末2上で取り出したい薬剤の収容されている収容部50に対応するセルを選択した後、かかる画面をプロジェクター1を用いて配列面5A上に映写すれば、取り出したい薬剤の収容されている収容部50が強調表示されるようなプロジェクションマッピンングが実現される。なお、この場合、表計算ソフト上の各セルには、薬剤名等の薬剤情報を表示しておくことが好ましい。この場合、作業者6は、セルの一覧を見て、取り出したい薬剤の薬剤名の表示されたセルを選択するだけで、上述のプロジェクションマッピングが実現される。
<4-6>
The pickup program 3 can be implemented using spreadsheet software. Specifically, for example, on the spreadsheet software, an array of cells corresponding to the array of the storage unit 50 is created. In this case, each cell corresponds to an individual storage unit 50. Then, when a cell is selected, programming is performed so that the display mode such as the color of the cell is changed. In this case, after selecting a cell corresponding to the containing unit 50 containing the drug to be taken out on the operation terminal 2, if the screen is projected on the array surface 5A using the projector 1, the drug to be taken out is contained. Projection mapping is realized such that the container 50 being displayed is highlighted. In this case, it is preferable to display drug information such as a drug name on each cell on the spreadsheet software. In this case, the above-mentioned projection mapping is realized simply by the worker 6 looking at the list of cells and selecting the cell in which the drug name of the drug to be taken out is displayed.

<4−7>
上記実施形態では、取り出したい薬剤の薬剤情報を1つずつ入力するように構成されていた。しかしながら、例えば、複数の薬剤を調合するような場面においては、調合後の薬剤の薬剤情報を入力すると、操作端末2によりこれに必要な複数の薬剤が自動的に決定され、これらの薬剤の収容されている収容部50がプロジェクションマッピングにより指示されるように構成することもできる。この場合、薬剤位置DB27内に、調合される複数の薬剤の薬剤情報と、調合後の薬剤の薬剤情報とを関連付けて記憶させておけばよい。
<4-7>
In the above embodiment, the medicine information of the medicine to be taken out is input one by one. However, for example, in a situation where a plurality of medicines are prepared, when the medicine information of the prepared medicines is input, a plurality of medicines necessary for this are automatically determined by the operation terminal 2, and these medicines are stored. It is also possible to configure the receiving unit 50 being instructed by projection mapping. In this case, medicine information of a plurality of medicines to be prepared and medicine information of the medicine after preparation may be stored in the medicine position DB 27 in association with each other.

また、薬剤情報の入力方法は、上述した例に限られず、例えば、OCRを用いて紙の処方箋を読み取り、読み取った情報から薬剤情報を特定する方法を採用することもできる。或いは、院内処方やレセプト処理、投薬管理等の為に処方箋の情報を管理するシステムに操作端末2を連動させ、これらのシステムから処方箋の情報に含まれる薬剤情報を受け取る方法を採用することもできる。この場合、OCRや上記システムとの通信を行う通信部25が、取り出されるべき所望の物品又はその収容部を特定する特定情報の入力を受け付ける入力受付部として機能する。   Further, the method of inputting the drug information is not limited to the above-described example, and for example, a method of reading a paper prescription using an OCR and identifying the drug information from the read information may be employed. Alternatively, a method may be adopted in which the operation terminal 2 is linked to a system that manages information on prescriptions for hospital prescription, receipt processing, medication management, etc., and medicine information included in information on prescriptions from these systems is received. . In this case, the communication unit 25 that communicates with the OCR or the system functions as an input receiving unit that receives an input of specific information that specifies a desired article to be taken out or its storage unit.

<4−8>
上記実施形態の中で示されたマッピング画像W2は、一例である。例えば、図8に示すように、取り出すべき薬剤の収容されている収容部50が存在する列がどの列であるかを示す行を表示してもよい。図8の例では、かかる行の像W3が、収容部50に対応する格子模様の画像W1(W2)の直上に配置されている。この行の画像W3においては、選択されている収容部50(の横方向の位置)に対応する領域がその他の領域とは異なる態様で表示される。なお、本変形例に代えて又は加えて、取り出すべき薬剤の収容されている収容部50が存在する行がどの行であるかを示す列の像W3を表示してもよい。このような像W3は、薬剤棚5の周囲の壁面等、薬剤棚5の近傍における薬剤棚5以外の対象に映写されるように構成することもできる。また、像W3のみを表示し、画像W1(W2)を表示しないようにすることもできる。
<4-8>
The mapping image W2 shown in the above embodiment is an example. For example, as shown in FIG. 8, a row may be displayed which indicates which column the container 50 containing the medicine to be taken out is present. In the example of FIG. 8, the image W3 of such a row is disposed immediately above the grid pattern image W1 (W2) corresponding to the accommodation unit 50. In the image W3 of this row, the area corresponding to (the position in the lateral direction of) the selected storage unit 50 is displayed in a manner different from the other areas. Instead of or in addition to the present modification, an image W3 of a column may be displayed which indicates which row the container 50 containing the medicine to be taken out is present. Such an image W3 can also be configured to be projected to an object other than the drug shelf 5 in the vicinity of the drug shelf 5, such as a wall surface around the drug shelf 5. In addition, it is possible to display only the image W3 and not to display the image W1 (W2).

<4−9>
複数の処方箋に対応する収容部50を、同時にプロジェクションマッピングにより指示することができる。例えば、図9に示すように、現在行っているピッキング作業の対象となる処方箋に対応する収容部50と、次に行うピッキング作業の対象となる処方箋に対応する収容部50とを、色違い等の異なる態様で同時に表示するマッピング画像W2を映写してもよい。この場合、複数名の作業者6が同時に同じ薬剤棚5に対してそれぞれの作業を行うことも可能になる。また、本変形例においても、マッピング画像W2に代えて又は加えて、像W3を表示してもよい。
<4-9>
The receptacles 50 corresponding to a plurality of prescriptions can be simultaneously instructed by projection mapping. For example, as shown in FIG. 9, the storage unit 50 corresponding to the prescription targeted for the picking operation currently performed and the storage unit 50 corresponding to the prescription targeted for the picking operation performed next are different colors, etc. The mapping image W2 displayed simultaneously in different modes may be projected. In this case, it also becomes possible for a plurality of workers 6 to perform their respective work on the same medicine rack 5 simultaneously. Also, in the present modification, the image W3 may be displayed instead of or in addition to the mapping image W2.

また、図10に示すような例も考えられる。この例でも、図9に示す例と同様に、複数の処方箋に対応する収容部50が、色違い等の異なる態様で同時にプロジェクションマッピングされる。そして、図10の例では、1つの処方箋に複数の薬剤が記載されているような場合において、これらの薬剤に対応する複数の収容部50がプロジェクションマッピングにより同時に指示されるのではなく、1つずつ順番に指示される。つまり、画像生成部24Aが、これらの収容部50を個別に指示するマッピング画像W2を順次生成し、映写指示部24Bが、プロジェクター1にこれらのマッピング画像W2を順次映写させるようにする。これらの収容部50を指示する順番は、映写指示部24Bにより自動的に決定される。例えば、映写指示部24Bは、これらの収容部50の位置情報に基づいて、作業者6が最短の経路で薬剤をピッキングできるような順番を決定し、当該順番に従ってマッピング画像W2が映写されるように制御する。次のマッピング画像W2に切り替えるタイミングも、映写指示部24Bにより決定され、例えば、上述したようなインタラクティブプロジェクターの機能を用いて、作業者6が正しい薬剤を取り出したことが確認された後とすることができる。また、映写指示部24Bは、複数の作業者6による作業が交錯したり、干渉したりしないように収容部50の指示の順番を決定することもできる。なお、1つずつ順番に収容部50を指示してゆく構成は、複数の処方箋に対応する収容部50を同時にプロジェクションマッピングする場合以外にも、勿論採用することができる。また、本変形例においても、マッピング画像W2に代えて又は加えて、像W3を表示してもよい。   Further, an example as shown in FIG. 10 is also conceivable. Also in this example, similarly to the example illustrated in FIG. 9, the accommodation units 50 corresponding to a plurality of prescriptions are simultaneously projection-mapped in different modes such as different colors. And in the example of FIG. 10, in the case where a plurality of medicines are described in one prescription, a plurality of containers 50 corresponding to these medicines are not simultaneously instructed by projection mapping but one. You will be instructed in turn. That is, the image generation unit 24A sequentially generates the mapping images W2 for individually instructing the storage units 50, and the projection instruction unit 24B causes the projector 1 to sequentially project and display the mapping images W2. The order of instructing these accommodation units 50 is automatically determined by the projection instruction unit 24B. For example, the projection instruction unit 24B determines the order in which the worker 6 can pick the medicine along the shortest route based on the position information of the storage unit 50, and the mapping image W2 is projected in accordance with the order. Control. The timing to switch to the next mapping image W2 is also determined by the projection instruction unit 24B, and for example, after confirmation that the operator 6 has taken out the correct medicine using the function of the interactive projector as described above Can. In addition, the projection instruction unit 24B can also determine the order of instructions of the storage unit 50 so that the work by the plurality of workers 6 does not intersect or interfere with each other. The configuration in which the accommodation units 50 are instructed in order one by one can of course be adopted other than the case where the accommodation units 50 corresponding to a plurality of prescriptions are simultaneously projection-mapped. Also, in the present modification, the image W3 may be displayed instead of or in addition to the mapping image W2.

1 プロジェクター
2 操作端末(ピックアップ装置、指示装置)
22 入力部(入力受付部)
24A 画像生成部
24B 映像指示部
24C 動き解析部
24D 判定部
5 薬剤棚(収容具)
5A 配列面
50 収容部
60A 選択領域
100 ピックアップシステム
W2 マッピング画像
1 Projector 2 Operation terminal (pickup device, pointing device)
22 Input unit (input reception unit)
24A image generation unit 24B video instruction unit 24C motion analysis unit 24D determination unit 5 medicine rack (container)
5A array plane 50 accommodation section 60A selection area 100 pickup system W2 mapping image

Claims (5)

物品が収容される複数の収容部が配列された配列面を有する収容具から複数の所望の物品をピックアップするのを支援するためのピックアップ装置であって、
前記収容具から取り出されるべき前記複数の所望の物品又は前記複数の所望の物品が収容されている複数の前記収容部を特定する特定情報の入力を受け付ける入力受付部と、
前記特定情報により特定される前記複数の所望の物品のうち1つ又は前記複数の収容部のうち1つに対応する選択領域が、その他の領域とは異なる態様で表示されるようマッピング画像を、前記複数の所望の物品又は前記複数の収容部の各々について順次生成する画像生成部と、
外部のインタラクティブプロジェクターに前記マッピング画像を映写するように指示する映写指示部と
前記マッピング画像が映写された後に、前記インタラクティブプロジェクターにより検知される前記配列面上での動きの情報を解析する動き解析部と、
前記動きの情報に基づいて、前記所望の物品が取り出されたか否かを判定する判定部と
を備え
前記映写指示部は、前記判定部により前記所望の物品が取り出されたと判定されると、前記インタラクティブプロジェクターに次のマッピング画像を映写するように指示する、
ピックアップ装置。
What is claimed is: 1. A pickup device for assisting in picking up a plurality of desired articles from a container having an array surface in which a plurality of containers in which articles are accommodated are arranged,
An input accepting unit for accepting input of specific information for specifying a plurality of said receiving portions by the plurality of desired article or plurality of desired article to be taken out from the receiving device is housed,
The mapping image is such that a selected area corresponding to one of the plurality of desired articles specified by the specific information or one of the plurality of storage sections is displayed in a manner different from other areas. An image generation unit configured to sequentially generate each of the plurality of desired articles or the plurality of storage units ;
A projection instruction unit that instructs the external interactive projector to project the mapping image ;
A motion analysis unit that analyzes information of motion on the array surface detected by the interactive projector after the mapping image is projected;
A determination unit that determines whether or not the desired item has been taken out based on the information on the movement ;
The projection instructing unit instructs the interactive projector to project the next mapping image when it is determined by the determining unit that the desired article has been taken out.
Pickup device.
物品が収容される複数の収容部が配列された配列面を有する収容具から複数の所望の物品をピックアップするのを支援するためのピックアップシステムであって、
前記配列面又はその近傍の少なくとも一方にマッピング画像を映写するインタラクティブプロジェクターと、
前記マッピング画像を順次生成し、前記プロジェクターに前記マッピング画像を映写するように指示する指示装置と
を備え、
前記指示装置は、
前記収容具から取り出されるべき前記複数の所望の物品又は前記複数の所望の物品が収容されている複数の前記収容部を特定する特定情報の入力を受け付ける入力受付部と、
前記特定情報により特定される前記複数の所望の物品のうち1つ又は前記複数の収容部のうち1つに対応する選択領域が、その他の領域とは異なる態様で表示されるよう前記マッピング画像を、前記複数の所望の物品又は前記複数の収容部の各々について順次生成する画像生成部と、
前記インタラクティブプロジェクターに前記マッピング画像を映写するように指示する映写指示部と
前記マッピング画像が映写された後に、前記インタラクティブプロジェクターにより検知される前記配列面上での動きの情報を解析する動き解析部と、
前記動きの情報に基づいて、前記所望の物品が取り出されたか否かを判定する判定部と
を含み、
前記映写指示部は、前記判定部により前記所望の物品が取り出されたと判定されると、前記インタラクティブプロジェクターに次のマッピング画像を映写するように指示する、
ピックアップシステム。
What is claimed is: 1. A pickup system for assisting in picking up a plurality of desired articles from a container having an array surface in which a plurality of containers in which the articles are accommodated are arranged,
An interactive projector for projecting a mapping image on at least one of the array surface or its vicinity;
And an instruction device for sequentially generating the mapping image and instructing the projector to project the mapping image.
The pointing device is
An input accepting unit for accepting input of specific information for specifying a plurality of said receiving portions by the plurality of desired article or plurality of desired article to be taken out from the receiving device is housed,
The one or selected regions corresponding to the one of the plurality of accommodating portions of the plurality of desired items to be identified by the identification information, the other region the mapping image as displayed in a different manner than the An image generation unit that sequentially generates each of the plurality of desired articles or each of the plurality of storage units ;
A projection instructing unit instructing the interactive projector to project the mapping image ;
A motion analysis unit that analyzes information of motion on the array surface detected by the interactive projector after the mapping image is projected;
Based on the information of the motion, we see contains the <br/> a determination unit configured to determine whether or not the desired article has been removed,
The projection instructing unit instructs the interactive projector to project the next mapping image when it is determined by the determining unit that the desired article has been taken out.
Pickup system.
前記インタラクティブプロジェクターは、前記配列面の上方、下方及び側方のいずれかに設置される、
請求項に記載のピックアップシステム。
The interactive projector is installed either above, below, or to the side of the arrangement surface.
The pickup system according to claim 2 .
物品が収容される複数の収容部が配列された配列面を有する収容具から複数の所望の物品をピックアップするピックアップ方法であって、
コンピュータ、前記収容具から取り出されるべき前記複数の所望の物品のうち1つ又は前記複数の所望の物品が収容されている複数の前記収容部のうち1つに対応する選択領域が、その他の領域とは異なる態様で表示されるようマッピング画像を、前記複数の所望の物品又は前記複数の収容部の各々について順次生成するステップと、
インタラクティブプロジェクター、前記配列面又はその近傍の少なくとも一方に前記マッピング画像を映写するステップと、
映写された前記選択領域に対応する前記収容部から前記所望の物品を取り出すステップと
前記コンピュータが、前記マッピング画像が映写された後に、前記インタラクティブプロジェクターにより検知される前記配列面上での動きの情報を解析するステップと、
前記コンピュータが、前記動きの情報に基づいて、前記所望の物品が取り出されたか否かを判定するステップと、
前記コンピュータにより前記所望の物品が取り出されたと判定されると、前記インタラクティブプロジェクターが、次のマッピング画像を映写するステップと、
を含む、
ピックアップ方法。
A pick-up method for picking up a plurality of desired articles from a container having an array surface in which a plurality of containers in which articles are stored are arranged,
Computer, one or selected areas corresponding to one of said plurality of desired plurality of the receiving portion the articles are accommodated in the plurality of desired article to be taken out from the containing assembly, other Generating sequentially, for each of the plurality of desired articles or the plurality of receptacles, a mapping image that is displayed in a manner different from that of the area;
A step interactive projector, to project the mapped image on at least one of the array surface or the vicinity thereof,
Removing the desired article from the receptacle corresponding to the projected selected area ;
Analyzing the movement information on the array plane detected by the interactive projector after the mapping image is projected;
Determining whether the desired item has been taken out based on the information on the movement;
When the computer determines that the desired item has been removed, the interactive projector projects the next mapping image;
including,
How to pick up.
物品が収容される複数の収容部が配列された配列面を有する収容具から複数の所望の物品をピックアップするのを支援するためのピックアッププログラムであって、
前記収容具から取り出されるべき前記複数の所望の物品又は前記複数の所望の物品が収容されている複数の前記収容部を特定する特定情報の入力を受け付けるステップと、
前記特定情報により特定される前記複数の所望の物品のうち1つ又は前記複数の収容部のうち1つに対応する選択領域が、その他の領域とは異なる態様で表示されるようマッピング画像を、前記複数の所望の物品又は前記複数の収容部の各々について順次生成するステップと、
外部のインタラクティブプロジェクターに前記マッピング画像を映写するように指示するステップと
前記マッピング画像が映写された後に、前記インタラクティブプロジェクターにより検知される前記配列面上での動きの情報を解析するステップと、
前記動きの情報に基づいて、前記所望の物品が取り出されたか否かを判定するステップと、
前記所望の物品が取り出されたと判定されると、前記インタラクティブプロジェクターを用いて、次のマッピング画像を映写するステップと、
をコンピュータに実行させる、
ピックアッププログラム。

A pickup program for assisting in picking up a plurality of desired articles from a container having an array surface in which a plurality of containers in which articles are stored are arranged,
A step of accepting input of specific information for specifying a plurality of said receiving portions by the plurality of desired article or plurality of desired article to be taken out from the receiving device is housed,
The mapping image is such that a selected area corresponding to one of the plurality of desired articles specified by the specific information or one of the plurality of storage sections is displayed in a manner different from other areas. Sequentially generating each of the plurality of desired articles or the plurality of storage units ;
Instructing an external interactive projector to project the mapping image ;
Analyzing information of movement on the array surface detected by the interactive projector after the mapping image is projected;
Determining whether the desired item has been taken out based on the information of the movement;
Projecting the next mapping image using the interactive projector if it is determined that the desired item has been removed;
Run on a computer,
Pickup program.

JP2016091316A 2016-04-28 2016-04-28 Pickup device Active JP6517726B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016091316A JP6517726B2 (en) 2016-04-28 2016-04-28 Pickup device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016091316A JP6517726B2 (en) 2016-04-28 2016-04-28 Pickup device

Publications (2)

Publication Number Publication Date
JP2017197369A JP2017197369A (en) 2017-11-02
JP6517726B2 true JP6517726B2 (en) 2019-05-22

Family

ID=60237349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016091316A Active JP6517726B2 (en) 2016-04-28 2016-04-28 Pickup device

Country Status (1)

Country Link
JP (1) JP6517726B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018203175A1 (en) * 2018-03-02 2019-09-05 Kardex Produktion Deutschland Gmbh Picking device with a virtually located in a workspace image
US11959768B2 (en) 2018-03-29 2024-04-16 Nec Corporation Guidance control device and guidance control method
JP7243373B2 (en) * 2019-03-27 2023-03-22 凸版印刷株式会社 Work support system
JP7262022B2 (en) * 2019-08-28 2023-04-21 パナソニックIpマネジメント株式会社 Projection system and projection method
CN113428547A (en) * 2021-07-29 2021-09-24 湖北物资流通技术研究所(湖北物资流通生产力促进中心) Goods-to-person holographic image sorting workstation and operation method
CN113820910A (en) * 2021-08-16 2021-12-21 上海联影医疗科技股份有限公司 Medical equipment control system
CN113895851A (en) * 2021-09-14 2022-01-07 浙江华眼视觉科技有限公司 Supplementary equipment of selecting of light

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009274832A (en) * 2008-05-15 2009-11-26 Omron Corp Part storage position indicating device and part storage position indicating method
JP6127502B2 (en) * 2012-06-26 2017-05-17 株式会社豊田自動織機 Work support device
JP2015174708A (en) * 2014-03-13 2015-10-05 三協立山株式会社 Picking confirmation system
JP6295758B2 (en) * 2014-03-20 2018-03-20 セイコーエプソン株式会社 Display device and display device control method

Also Published As

Publication number Publication date
JP2017197369A (en) 2017-11-02

Similar Documents

Publication Publication Date Title
JP6517726B2 (en) Pickup device
KR101092909B1 (en) Gesture Interactive Hologram Display Appatus and Method
US11158128B2 (en) Spatial and semantic augmented reality autocompletion in an augmented reality environment
EP3227760B1 (en) Pointer projection for natural user input
US8860688B2 (en) 3D interactive input system and method
JP5762892B2 (en) Information display system, information display method, and information display program
EP3341851B1 (en) Gesture based annotations
JP6240000B2 (en) Picking support apparatus and program
JP7020490B2 (en) Information processing equipment, control methods, and programs
JP2016206973A (en) Multilingual display device, multilingual display system, multilingual display method and multilingual display program
CN107079139A (en) There is no the augmented reality of physical trigger
JP6381361B2 (en) DATA PROCESSING DEVICE, DATA PROCESSING SYSTEM, DATA PROCESSING DEVICE CONTROL METHOD, AND PROGRAM
US20130321579A1 (en) System and Method for Scanning and Analyzing a Users Ergonomic Characteristics
TW201142746A (en) Information processing device, information processing method, and program
KR100929162B1 (en) Interactive hologram information service apparatus and method using gesture
JP5831764B2 (en) Image display apparatus and program
JP2022071104A (en) Image-based deck verification
JP5773003B2 (en) Display control apparatus, display control method, and program
JP5492333B1 (en) Drug picking support system using display
US11295133B2 (en) Interaction display method and interaction display system
JP6686319B2 (en) Image projection device and image display system
KR101247316B1 (en) Security system
CN108196676A (en) Track and identify method and system
US20200302643A1 (en) Systems and methods for tracking
US20210149544A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180731

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180802

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190418

R150 Certificate of patent or registration of utility model

Ref document number: 6517726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250