JP6253619B2 - 電子機器および支援方法 - Google Patents

電子機器および支援方法 Download PDF

Info

Publication number
JP6253619B2
JP6253619B2 JP2015173034A JP2015173034A JP6253619B2 JP 6253619 B2 JP6253619 B2 JP 6253619B2 JP 2015173034 A JP2015173034 A JP 2015173034A JP 2015173034 A JP2015173034 A JP 2015173034A JP 6253619 B2 JP6253619 B2 JP 6253619B2
Authority
JP
Japan
Prior art keywords
electronic device
image
information
light source
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015173034A
Other languages
English (en)
Other versions
JP2017049833A (ja
Inventor
田中 明良
明良 田中
康裕 鹿仁島
康裕 鹿仁島
賢一 道庭
賢一 道庭
広昭 古牧
広昭 古牧
宏樹 熊谷
宏樹 熊谷
隆 須藤
隆 須藤
伸秀 岡林
伸秀 岡林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2015173034A priority Critical patent/JP6253619B2/ja
Priority to US14/979,241 priority patent/US9897810B2/en
Publication of JP2017049833A publication Critical patent/JP2017049833A/ja
Application granted granted Critical
Publication of JP6253619B2 publication Critical patent/JP6253619B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10881Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices constructional details of hand-held scanners
    • G06K7/10891Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices constructional details of hand-held scanners the scanner to be worn on a finger or on a wrist
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

この発明は、電子機器および支援方法に関する。
電子機器、例えば装着者の視線の延長線上に、種々の映像やメッセージ等の情報を提供するウェアラブル装置が実用化されている。この種のウェアラブル装置は、例えば工場内における装着者の作業支援や工程管理、あるいは配送所におけるピッキングの際の装着者の支援のために有益である。
特開2002−288294号公報 特開2015−88175号公報 特開平5−234891号公報
ウェアラブル装置は、装着者に直接的な操作を求めることなく、装着者の位置情報や動作状態、例えばある位置を中心に一定範囲内を動いている、ある位置に留まって反復性のある動きを繰り返している、あるいは留まった位置で動きが無い、等を報知できる。
ウェアラブル装置はまた、装着者の作業を支援するための情報を、映像やメッセージにより、装着者の視線の延長上に、仮想的に表示できる。
反面、ウェアラブル装置が報知する情報をより具体的な内容とするため、ウェアラブル装置の重量や大きさが増大することは、ウェアラブル装置の装着性を低下するのみならず装着者からの離脱(脱落)、等を生じさせる。また、ウェアラブル装置が報知する情報を解析し、装着者を支援するためのシステムが大掛かりとなることやコストが増加することは、今日、許容されがたい。
この発明の目的は、協働する電子機器との間で位置情報や動作状態を共有する電子機器およびその電子機器の支援方法を提供することである。
実施形態の眼鏡型電子機器は、画像表示部と、光源と、信号処理部と、スクリーンと、通信部と、を具備する。画像表示部は、像を生成する。光源は、前記画像表示部が生成する前記像に照明光を与えて照明する。信号処理部は、前記光源による前記照明光を、個体識別情報を含む信号により変調する。スクリーンは、装着者の視線の延長上の所定の位置に位置し、前記光源が照明した前記画像表示部が生成する前記像を表示する。通信部は、前記スクリーンが表示する前記像が示す対象物の情報を、協働する電子機器との間で共有可能に通信する。
実施形態に係る電子機器を認識するシステムの一例を示す。 実施形態に係る電子機器の主要な構成の一例を示す。 実施形態に係る電子機器の主要な構成の一例を示す。 実施形態に係る電子機器を認識するシステムの一例を示す。 実施形態に係る電子機器を認識するシステムの情報管理サーバの主要な構成の一例を示す。 実施形態に係る電子機器を認識するシステムのウェアラブル端末の主要な要素をブロック的に示す。 実施形態に係る電子機器を認識するシステムのシステムコントローラの主要な要素をブロック的に示す。 実施形態に係る電子機器と協働する電子機器の主要な構成の一例を示す。 実施形態に係る電子機器と協働する電子機器の主要な構成の一例を示す。 実施形態に係る電子機器と協働する電子機器の主要な要素をブロック的に示す。 実施形態に係る電子機器が装着者の視線の延長上に表示する表示の一例を示す。 実施形態に係る電子機器が装着者の視線の延長上に表示する表示の一例を示す。 実施形態に係る電子機器を認識するシステムの一例を示す。 実施形態に係る電子機器を認識するシステムの一例を示す。 実施形態に係る電子機器を認識するシステムの一例を示す。 実施形態に係る電子機器を認識するシステムの一例を示す。
以下、図面を参照して、実施の一形態について説明する。
図1は、実施形態に係る電子機器を認識するシステムの一例を示す概略図である。
例えば、工場の部品ヤードや通販会社の商品倉庫もしくは小売業の配送部署(配送所)等においては、任意数の作業スペースもしくはラック(商品棚)A01〜Axy(x,yはともに正の整数)、B01〜Bxy、C01〜Cxy、・・・、X01〜XYxyを含むワークエリア1001内の所定の位置に、システムコントローラ(管理者端末装置)1202を含む。システムコントローラ1202は、ネットワークを通じて情報管理サーバ1201と、有線または無線通信による信号およびまたはデータの受け渡しが可能である。なお、ラック(作業スペース)を含むワークエリア1001は、例えば工場の作業テーブルや生産ライン(組み立てスペース)あるいは、学校の机や会議室の着席位置、等であってもよい。また、ワークエリア1001は、例えば配送所におけるストックエリア(ヤード)であってもよい。
ワークエリア(ストックエリア)1001には、情報管理サーバ1201およびシステムコントローラ1202との間の通信が可能な少なくとも1つの位置情報発信部(センサ無線チップ)1204−1〜1204−n(nは正の整数)が、所定数、位置する。
センサ無線チップ(位置情報発信部)1204(−1〜−n、以下特に識別が必要な場合を除いて1204で代表する)は、図2および図3を用いて説明する作業者用端末(ウェアラブル端末)1100−1〜1100−m(mは正の整数)の位置および個数ならびに向きの変化を、図13−図15を用いて説明する検出方法により、個々に認識(検出)する。従い、ウェアラブル端末(作業者用端末)1100(−1〜−m、以下特に識別が必要な場合を除いて1100で代表する)を検出することによりウェアラブル端末1100を保持した任意数の作業者(装着者)の位置および作業者の数ならびに作業者の状態を検出できる。
個々の作業者(装着者)は、ストックエリア(ワークエリア)1001内を自在に移動することができる。個々の作業者は、予定されている所定の作業を、予定された所定の位置、例えばステーションもしくはそれに準じた収容器あるいは可動式のテーブル、等である作業スペース1242において、実行する。作業スペース1242は、例えば配送所においては、装着者(作業者)とともに移動するカート(台車)、等であってもよい。作業スペース(カート)1242とともに移動する装着者は、図7−図9を用いて後段に説明する、例えばグローブ型の携帯可能な管理装置(入出力装置、あるいは確認器と称する場合もある)501−1〜501−p(pは正の整数)を、自身の一方の手、例えば左手に装着する。管理装置501(−1〜−p、以下特に識別が必要な場合を除いて501で代表する)は、より好ましくは、例えばバーコードリーダとして機能する手のひら(手の甲)一体型のハンディターミナル(端末装置)である。
図2および図3は、ウェアラブル端末の実施の形態の一例を示す概略図である。ウェアラブル端末は、携帯可能な端末装置であって、例えばタブレットPC(Personal Computer)や、スマートフォンであってもよい。ウェアラブル端末はまた、スマートフォン(あるいはタブレットPC)を制御部として関連付けられたスマートフォン(タブレットPC)が受信する情報を、ハンズフリー状態で視認可能に、装着者の視線の延長上(の所定の位置)に表示する(ものであることが好ましい)。なお、ウェアラブル端末は、カメラ機能や音響/音声取得機能あるいは振動検出機能、等の装着者からの意思表示に基づき、所定の指示入力(制御情報)を、取得可能である。装着者の意思表示としては、例えば、カメラ機能を実現するカメラのレンズ部を手で遮る、音響/音声取得機能に対して、手をたたく、もしくは音声により次の表示を求める、振動検出機能に対して、所定の振動を与える、等である。以下、ウェアラブル端末を、装着者(作業者)がハンズフリー状態で利用可能な眼鏡型(ヘッドマウントディスプレイ型であってもよい)、として実施の形態を説明する。
ウェアラブル端末1100は、投光部(表示情報生成部)1102、スクリーン(光路合成部)1106、駆動部(画像表示回路および光源駆動回路、信号処理部と称することもある)1134、無線通信部1136等を含み、例えばボタン電池である電源部1132が供給する電力で動作する。
投光部1102は、無線通信部1136を通じ、例えば図4あるいは図16に示す外部ネットワークNTWと接続する情報管理サーバ1201やシステムコントローラ1202との間で通信すなわち情報の受け渡しを行う。
投光部1102はまた、光源部1104、付加画像表示部1110、ハーフミラー面1112、全反射面1114、出射面1116、レンズ群1120等を含む。投光部1102は、光源部1104が出射する非平行光(発散性の光、以下発散光と称する)1108により、付加画像表示部1110が表示する画像や情報を照明し、その(照明光の)反射光である投影画像を出射(出力)する。
光源部1104は、複数、例えば3個のLED(Light Emitting Diode)の互いに発光色が異なり、それぞれの出力光量を独立して変更可能なLEDを含む調光型白色LED光源(L−cos)であることが好ましい。なお、光源部1104に、調光型白色LED光源を用いることにより、ウェアラブル端末1100の使用環境が、例えばオレンジ色が主体の照明が用いられることの多いクリーンルーム内、等である場合においては、使用環境に応じて発光色を変更することができる。また、光源部1104に、調光型白色LED光源を用いることにより、装着者の見易い表示色を出力することで、装着者が見辛い表示色を出力する場合に比較して、目の疲れやそれに伴う偏頭痛、等の装着者にとって支障となる要因の発生を避けることが可能である。
付加画像表示部1110は、例えば反射型のLCD(Liquid Crystal Display)モジュールであり、駆動部1134による表示制御に基づいて、所定の付加画像を表示する。
光源部1104が出力する光1108は、ハーフミラー面1112で反射されることにより付加画像表示部1110が表示する付加画像を照明し、付加画像に対応した付加画像光(画像光と称する場合もある)として、再び反射される。
駆動部1134はまた、付加画像表示部1110が表示する付加画像(付加画像光)に対応して光源部1104の発光を制御する。
スクリーン1106は、手前側透明屈折体1124、フレネルレンズ形ハーフミラー面1122および奥側透明屈折体1126を有する。
スクリーン1106の付加画像表示部1110で反射した光(画像光)1108は、ハーフミラー面1112と出射面1116を通過し、レンズ群1120により所定の画像サイズが与えられ、光路合成部1106のフレネルレンズ形ハーフミラー面1122に到達する。
スクリーン1106のフレネルレンズ形ハーフミラー面1122に到達した前記レンズ群1120を通過した付加画像光1108の一部は、このフレネルレンズ形ハーフミラー面1122で反射し、付加画像表示部1110上で表示される付加画像(画像光)に対応する虚像を形成する。
スクリーン1106は、(ウェアラブル端末1100を装着した)装着者の視線の延長上に見える像すなわち背景画像の一部を透過し、付加画像に対応した画像光とともに装着者が視認可能に、画像を表示する。
光源部1104から出射し、ハーフミラー面1112を通過した画像光(発散光)1108の一部は、全反射面1114で全反射し、出射面1116で屈折して光源部1104からの(発散光である)漏れ光1118となる。この漏れ光1118は、開口あるいは隙間(誘導部)1128を通って外部へ放出される。
ウェアラブル端末1100はまた、投光部1102の所定の位置、例えば底面部にスピーカ1140、(スライド式)スイッチ1142および(回転式)つまみ1144、等を有する。スイッチ1142は、例えば投光部1102が出射する付加画像光1108の輝度の調整が可能である。つまみ1144は、例えば投光部1102が出射する付加画像光1108の投射角度の調整が可能である。スイッチ1142およびツマミ1144を、異なる動作により調整量を設定可能とすることで、スクリーン1106が投影する付加画像を目視しながら、装着者(ユーザ)が、ブラインドタッチで、輝度および投射角度を調整可能である。すなわち、スイッチ1142を操作することで、ユーザ(装着者)の好みに合わせた付加画像の表示輝度や色調を提供できる。また、ユーザ(装着者)の頭部の形状やサイズに合わせて、最適な位置に付加画像を表示可能に、ツマミ1144による投射角度の調整が可能である。なお、スイッチ1142とツマミ1144による調整対象を逆であっても良いことはもちろんであるし、スイッチ1142とツマミ1144の位置が逆であっても良い。
ウェアラブル端末1100の投光部1102の所定の位置、例えば駆動部1134との接続部から延びるステーの一端部には、装着者の音声(発話)を取得するマイクロフォン(以下マイクと略称する)1148が位置する。
図4は、電子機器および電子機器を認識するシステムの主要な要素をブロック的に示すもので、図1が示すシステムコントローラおよびウェアラブル端末相互の通信(情報およびまたはデータの受け渡し)の一例を示す概略図である。
システムコントローラ1202と個々のウェアラブル端末1100とは、ネットワークNTWを通じて、相互に種々のデータおよび制御信号の受け渡しが可能である。ネットワークNTWには、情報管理サーバ1201が接続する。個々のウェアラブル端末1100は、位置情報発信部1204が出力する位置基準信号を受信して自身の位置を検出(特定)する。個々のウェアラブル端末1100が特定した自身の位置は、装着者すなわち作業者の位置の情報として、作業者ID(装着者を特定する情報)および端末ID(自身を特定する情報)とともに、ネットワークNTWを通じて、情報管理サーバ1201またはシステムコントローラ1202に、一定時間ごとに、ウェアラブル端末1100自身が、報知する。個々のウェアラブル端末1100による自身の位置の情報の送信は、例えば位置情報発信部1204が位置基準信号を出力するタイミングに応じた所定のタイミングであってもよい。
システムコントローラ1202(または情報管理サーバ1201)と個々のウェアラブル端末1100との間の通信は、有線あるいは無線のいずれであっても良い。システムコントローラ1202(情報管理サーバ1201)と個々のウェアラブル端末1100との間の通信は、例えば近距離無線通信であって、IEEE802.11(b/g)等に準拠する、例えばBluetooth(登録商標)/(ブルートゥース(登録商標))であることが好ましい。
個々のウェアラブル端末1100はまた、自身の位置の情報を送信する際に、作業者の状態を情報管理サーバ1201に送信する。
個々のウェアラブル端末1100は、それぞれと紐付けられる(1対1で関連付けられる)コードリーダ501と、近距離無線通信により相互に通信する。近距離無線通信は、例えばブルートゥース(Bluetooth)あるいはZigBee(登録商標)もしくはNFC(Near Field Communication)の少なくとも1つであることが好ましい。なお、コードリーダ501の総数pは、mと同数を含み、mよりも大きい、もしくはmよりも小さい、任意数である。ここで、1つのウェアラブル端末1100に対して同時に2以上のコードリーダが関連付けられることを禁止するが、ウェアラブル端末1100との組み合わせ(関連付け)は、任意である。また、コードリーダ501のそれぞれとウェアラブル端末1100のそれぞれとの関連付け(紐付け)は、随時、変更可能である。なお、コードリーダ501のそれぞれとウェアラブル端末1100のそれぞれとの関連付け(紐付け)の変更は、特段の変更指示(システムコントローラ1201による制御入力)がある場合を除き、一旦認識したウェアラブル端末1100が認識したコードリーダ501との間の関連付けを、次のコードリーダ501との関連付けが指示されるまでの間、維持するものとする。
図5は、図1および図4が示す情報管理サーバの主要な要素をブロックにより示す概略図である。
図5が示す情報管理サーバ1201は、少なくとも制御部201、通信部202および位置情報管理部203および記憶部(データベース)204を含む。
制御部201は、情報管理サーバ全体を制御する。通信部202は、ネットワークNTWと接続し、ネットワーク上に位置するさまざまな機器、例えばとの間の通信すなわち情報の受け渡しを制御する。
位置情報管理部203は、ウェアラブル端末1100およびシステムコントローラ1202から受信した作業者IDと作業者の位置およびまたは管理者(監督者)IDと管理者(監督者)の位置を管理する。監督者あるいは管理者は、それぞれ独立して存在する場合もあるが、兼任である場合もある。例えば、ワークエリアが複数の建物あるいはフロアに跨る場合には、各建物あるいはフロアのそれぞれに監督者が存在し、全体を管理する管理者が1名以上存在する、と考えることができる。
記憶部(データベース)204は、任意のウェアラブル端末1100から受信した作業者ID(端末ID)により特定される作業者が装着したコードリーダ501において受け付けた(読み取った)読み取り対象物の情報や、特定される作業者に対して指示する読み取り対象物の情報、等を保持する。
記憶部(データベース)204はまた、ウェアラブル端末1100を装着した作業者がワークエリア1001内の所定の位置に収納した対象物の情報(収納時にコードリーダ501において読み取る)を、ワークエリア1001内の作業スペースもしくはラック(商品棚)A01〜Axy、B01〜Bxy、C01〜Cxy、・・・、X01〜XYxyの位置情報と関連付けて、保持する。
図6は、図1および図4が示すウェアラブル端末の主要な要素を、ブロックにより示す概略図である。
図6が示すウェアラブル端末1100は、処理装置(CPU)を含む制御部301と制御バスによりそれぞれ接続するROM302、RAM303、状態検出部304、通信モジュール305、投光部(表示情報生成部)1102、カメラ1138、スピーカ1140およびマイクロフォン(以下マイクと略称する)1148を含む。
制御部301は、RAM303をワークメモリとして、ROM302が保持するプログラムに従い、ウェアラブル端末(作業者用端末)全体を制御する。
状態検出部304は、例えば加速度センサやジャイロ(gyroscope)、等のセンサを含み、加速度センサやジャイロが出力する情報に基づいて作業者の状態を検出する。また作業者の状態は別の手法で検出してもよい。ウェアラブル端末1100自身の投光部1102からの位置情報発信部1204が検出可能な光(漏れ光1118)の出射を位置情報発信部1204が検出して、作業者の位置情報を情報管理サーバ1201またはシステムコントローラ1202に報知し、位置の時間変化により作業者の状態を情報管理サーバ1201またはシステムコントローラ1202が検出してもよい。状態検出部304は、例えば装着者の頭部の動作(姿勢の変化)であって、例えば対象物を注視している(一定時間、所定の角度に東部を傾ける)、システムコントローラ(管理者)1202からの指示に応答している(うなずく/首を振る)、あるいは予め決められたジェスチャー、等を検出する。作業者の状態は、図13−図15を用いて説明する検出方法を用いて、ウェアラブル端末1100自身の投光部1102からの位置情報発信部1204が検出可能な光(漏れ光1118)の出射を位置情報発信部1204が検出して、情報管理サーバ1201またはシステムコントローラ1202に報知することも可能である。
通信モジュール305は、ネットワークNTWを通じて情報管理サーバ1201またはシステムコントローラ1202と通信を行う。
カメラ1138は、ウェアラブル端末から見える状況を撮影し、管理者(監督者)の送信要求あるいは(ウェアラブル端末の)装着者である作業者の送信指示に基づいて、情報管理サーバ1201またはシステムコントローラ1202に送信する。スピーカ1140は、例えば管理者(監督者)が送信するメッセージあるいは情報管理サーバ1201が保持する情報を、音声情報として(ウェアラブル端末の)装着者である作業者に通知する(音声情報を再生する)。マイク1148は、システムコントローラ1202から指示に応答する作業者の音声による応答(音声)を受け付け、A−D変換後、通信モジュール305を通じてシステムコントローラ1202に通知する。
図7は、図1および図4が示すシステムコントローラの主要な要素や構成の一例を説明する概略図である。
図7が示すように、システムコントローラ1202は、制御バスおよびデータバスを通じて処理装置(CPU)を含む制御部401と接続するROM402、RAM403、表示部404、通信モジュール405および位置検出部406を含む。
システムコントローラ1202は、図1が示すように、例えばパーソナルコンピュータ(PC)のような固定して利用される固定端末や任意に移動可能なタブレットPC、等であってもよい。システムコントローラ1202は、ハンズフリー対応の表示部(ウェアラブル端末)とタブレットPCやスマートフォン(制御部)とを含み、管理者(あるいは監督者)が(ハンズフリー対応の)表示部を装着した状態で移動できることが好ましい。表示部(ハンズフリー対応)は、より好ましくは、パーソナルコンピュータ(タブレットPC)が受信する情報を、装着者の視線の延長上(の所定の位置)に表示する。
制御部401は、RAM403をワークメモリとして、ROM402が保持するプログラムに従い、システムコントローラ1202を制御する。表示部404は、各種情報、例えば(ウェアラブル端末を介して取得する)作業者の位置や状態(あるいは欠員、例えば急病、等で予定されている位置を離れる)およびジェスチャー、等を表示する。位置検出部406は、システムコントローラ1202が、任意の位置に移動可能な、例えばタブレットPC(もしくはスマートフォン)等である場合に、位置情報発信部1204(−1〜−n)が発信する位置情報を受信し、自身の現在位置を検出(特定)する。システムコントローラ1202は、上述の通り、管理者用のウェアラブル端末1100−x(識別のため「−x」を付する)を表示部として、ウェアラブル端末1100−xと関連付けられた制御部が送信する情報を受け取って管理者に表示(報知)するであってもよい。この場合、管理者用のウェアラブル端末1100−xは、位置情報発信部1204(−1〜−n)が発信する位置情報を受信し、自身の現在位置を検出(特定)する。
上記のようにして検出された管理者(監督者)の位置情報と管理者(監督者)IDは、通信モジュール405によりネットワークNTWを介して、情報管理サーバ1201に送信される。
情報管理サーバ1201は、ネットワークNTWを介して取得した任意の作業者の位置とその状態(必要に応じて管理者(監督者)の位置)を管理する。管理者(監督者)は、システムコントローラ1202から情報管理サーバ1201に問い合わせることで、任意の作業者の位置とその状態を把握することができる。
すなわち、実施形態の認識システムは、情報管理サーバ1201にて上述の情報を集めることで、どの作業者がどの位置に居て、どんな状態にあるのか、を管理することができる。また、実施形態の認識システムは、管理者(監督者)が移動可能である場合、管理者(監督者)の位置を、所定のタイミングで把握することができる。
このように、実施形態の認識システムは、管理者(監督者)および作業者のそれぞれの位置を認識でき、管理者(監督者)の付近にいる作業者や、管理者(監督者)から所定の方向に居る作業者、等の管理者(監督者)との相対的な位置も把握することができる。
また、特定される作業者が装着したコードリーダ501において読み取った読み取り対象物の情報や、特定される作業者に対して指示する読み取り対象物の情報、作業者がワークエリア1001内の所定の位置に収納した対象物の情報、等を管理できる。
図8−図10は、図2および図3を用いて説明したウェアラブル端末と協働して利用可能なするウェアラブル端末の実施の形態の一例を示す概略図である。図8−図10が示すウェアラブル端末は、図2および図3に示したウェアラブル端末により装着者の視線の延長上に表示した対象物あるいは指示に基づいて、装着者が作業もしくは所定の動作を実行する際に用いるコードリーダ(装着型ハンディターミナル装置)の一例を示す。図8−図10が示すウェアラブル端末は、例えば商品(部品)倉庫、等におけるピッキング作業、等において作業者(装着者)が、身体の一部、好ましくは装着者(作業者)の手(もしくは腕)に装着して利用可能なバーコードリーダである。
図8および図9が示すバーコードリーダ(ウェアラブル端末、以下コードリーダグローブ、あるいはグローブリーダと称する場合もある)501は、例えばグローブ型であり、グローブ本体503、装着者の手のひら側となる面(第1面)側の読み取り機構(第1の読み取り機構)505および手の甲の側となる面(第2面)側の読み取り機構(第2の読み取り機構)507を含む。すなわち、バーコードリーダグローブ501は、装着者の手のひら側となる面および手の甲の側となる面の両面に、第1の読み取り機構(第1のバーコードリーダ)505および第2の読み取り機構(第2のバーコードリーダ)507を有する。
それぞれの読み取り機構505および507は、平面形状の読み取り部(リーダ)511、可撓性を有する照明部(光源)521、を含む。また、手の甲の側となる面側の第2の読み取り機構507は、手のひら側となる面側の第1の読み取り機構505が非動作時にのみ動作するよう、第2の読み取り機構507側に読み取り対象物が位置することを検出する、例えば明るさセンサ509、を含む。なお、図8が示すバーコードリーダグローブ501は、装着者の左手に装着することを意図しているが、右手に装着するグローブについても同様の位置関係で、容易に構成できる。また、リーダ(読み取り部)511は、装着者の指(特に中指)が延びる方向と直交する方向が、読み取り方向であることが好ましい。これは、対象物を読み取る際の装着者の自然な手の動きにより、対象物のバーコード部を読み取り可能とする。すなわち、装着者が対象物のバーコードを読み取るために対象物に手(グローブ501)を近づける際に対象物のバーコード部が正立するよう対象物の向きを規定すると、グローブ503により対象物を握るような動作をとることで、バーコード部のバー部(反射率変化領域であって、例えば黒印刷や素材の色そのもの)の配列がグローブ501のリーダ511のスキャン(読み取り)方向と一致しやすくなることと関連付けられる。ガイド部材519は、ラインセンサ515による読み取り範囲を装着者が目視可能に指示する(対象物のバーコードに)グローブ本体503を近接する、もしくはグローブ本体503に対象物のバーコード(表示)領域を近接する際に、バーコードの長さ方向の両端位置を読み取るためのガイド(目安)となる。
リーダ(読み取り部)511は、図9に示す通り、補強部材513、ラインセンサ515、ラインセンサ515、レンチキュラレンズ部517(およびガイド部材519(図8参照)、図9では奥側の1つのみが見える)、等を含む。補強部材513は、グローブ本体503の所定の位置に位置するラインセンサ515と一体にグローブ本体503に固定される。補強部材513は、(対象物の)バーコードからの反射光がラインセンサ515に入射する際に、バーコードの間隔(地肌部およびバー部(反射率変化領域)の間隔)が変化することを抑止する。ラインセンサ515は、照明部(光源)521からの照明光に対応する反射光を受けとり、地肌部およびバー部のそれぞれに対応する輝度信号(明るさ情報)を、出力する。レンチキュラレンズ部517は、光源521が照明した対象物のバーコードからの反射光をラインセンサ515に案内する。
光源(照明部)521は、図9に示す通り、グローブ本体503の所定の位置に位置するラインセンサ515が読み取り対象部のバーコードからの反射光を受光可能に、照明光を出力する。光源521は、例えばLED(Light Emitting Diode)アレイ523とLEDアレイ523を覆って保護するとともに、LEDアレイ523に可撓性を与える保護部材525、等を含む。LEDアレイ523は、任意数のLED素子を含む。保護部材525は、個々のLED素子を保持し、自身の可撓性によりグローブ本体503が装着者の手の動き、等に基づいて変形する場合においても、照明光を出力するために有益である。保護部材525は、個々のLED素子が出力する光の波長に対して透明(透過率90%以上)であり、例えば塩化ビニルや、酢酸ブチルを含み可撓性に富む透明体、等からなる。
図10は、図8および図9に示したバーコードリーダの主要な要素(信号処理部)を、ブロックにより示す概略図である。
図10において、バーコードリーダ501の信号処理部531は、CPU(制御部)532、切り換え制御部533、点灯制御部534、画像処理部535、通信モジュール536、等を含む。
CPU532は、第1および第2のバーコードリーダ505および507の各部の動作を制御するもので、具体的には明るさセンサ509からの入力に基づいて第1および第2のバーコードリーダ505または507の何れか一方を駆動し、以降の(バーコードの)読み取り処理を実行する。
点灯制御部534は、CPU532の制御の下で、第1および第2のバーコードリーダ505または507の何れかの光源521を点灯する。
点灯制御部534により点灯した光源に対応する側のバーコードリーダのラインセンサ515は、光源からの光が対象物のバーコードで反射した光を受光し、受光した光を光電変換したのちA−D変換して、画像処理部535へ出力する。
画像処理部535は、A−D変換されたバーコード情報を解析(符号化)し、バーコード情報に対応する所定の形式の符号列(バーコード情報信号)に変換する。画像処理部535はまた、バーコード情報信号を、通信モジュール536を経由し、ネットワークNTWを通じて、情報管理サーバ1201に供給する。
なお、信号処理部531は、例えば電池による、あるいは充電可能なバッテリ(二次電池)による電源を、グローブ本体503内の任意の位置に有し、バーコードリーダ501単体で動作できることが好ましい。また、信号処理部531の通信モジュール536は、例えばバーコードリーダ501と独立に設けられ、例えば有線にて信号処理部531と接続するものであってもよい。
図11および図12は、図2および図3を用いて説明したウェアラブル端末と図8−図10により説明したグローブリーダとを利用するワークエリア内での作業者の作業への支援(ウェアラブル端末装着者への指示およびグローブリーダからの情報の受けとり)時のウェアラブル端末への表示の一例を示す概略図である。
図11は、図2および図3が示すウェアラブル端末(電子機器)の表示領域に、電子機器と協働する電子機器をさらに装着する装着者の作業の支援のための情報を、装着者の視線の延長上に視認(目視)可能に表示する表示例を示す概略図である。
図11(a)は、例えば図1が示すワークエリア1001内において、特定されたある作業者がウェアラブル端末1100とバーコードリーダ501とを装着した状態でウェアラブル端末1100のスクリーン1106の表示領域1106aが表示する表示の一例を示す。
例えば、特定されたある作業者がウェアラブル端末1100とバーコードリーダ501とを装着した準備完了(スタンバイ)状態において、ウェアラブル端末1100は、スクリーン1106の表示領域1106aに、システムコントローラ1202からの指示に対応する作業支援の情報として、所定の位置(作業エリア)への移動の指示を、表示する。作業者の特定(指定)は、例えばシステムコントローラ(管理者)1202において、準備完了(スタンバイ)状態にある作業者の中から指定するものであってもよいし、予め決められたスケジュール(作業割)に基づいてスタンバイしている作業者からの応答(準備完了)に従うものであってもよい。特定されたある作業者が指定された所定の位置に到達したことは、作業者による所定の応答ジェスチャー(ウェアラブル端末1100からの漏れ光の特定の変化の繰り返し)あるいはマイク1148を用いる到着報告もしくはカメラ1138による特定の動作の認識により、システムコントローラ1202が検出する。
図11(b)は、ネットワークNTWを経由して、特定されたある作業者が指示された所定の位置へ移動したことを検出できた場合に、システムコントローラ1202が、次の作業指示(支援情報)を送信した場合のスクリーン1106の表示領域1106aの表示内容の一例を示す。
システムコントローラ1202は、特定された作業者が指定された所定の位置に到達したことを検出し、ウェアラブル端末1100が表示すべき次の作業支援の情報を、(対応するウェアラブル端末1100に)ネットワークNTWを経由して送信する。ウェアラブル端末1100は、スクリーン1106の表示領域1106aに、システムコントローラ1202からの指示に対応する作業支援の情報として、物品Aの取り出し(ピッキング)の指示を、表示する。
システムコントローラ1202は、ピッキング(物品Aの取り出し)の終了を、作業者が装着するバーコードリーダ501が読み取った物品Aのバーコードのバーコード情報に対応するバーコード情報信号の受信により検出し、引き続く作業の支援情報あるいは作業の終了、等の情報を送信する。なお、バーコードリーダ501におけるバーコードの読み取りは、例えば物品D001のバーコード表示に、第1のコードリーダ505を所定の距離まで近づける、あるいは第2のコードリーダ507の近傍に物品D001のバーコード表示を近づけることで容易に読み取ることができる。
システムコントローラ1202は、作業者がピッキングした物品が正しい(ピッキングを指示した物品である)ことを受信したバーコード情報信号に基づいて判定する。システムコントローラ1202は、ピッキングした物品が指示した物品と異なる場合には、作業(ピッキング)のやり直しを、ウェアラブル端末1100に送信する。
図11(c)は、ネットワークNTWを経由して、特定されたある作業者がピッキングした物品が指示した物品と異なることをシステムコントローラ1202が検出した場合にウェアラブル端末1100に送信するメッセージをスクリーン1106の表示領域1106aが表示する表示の一例を示す。
ウェアラブル端末1100は、システムコントローラ1202から、ピッキングされた物品が指示した(ピッキング対象の)物品と異なることが通知された場合、作業(ピッキング)のやり直しを指示する表示を、スクリーン1106の表示領域1106aに、作業者が視線の延長上で視認(目視)可能に、表示する。
図12は、図2および図3が示すウェアラブル端末(電子機器)の表示領域に、電子機器と協働する電子機器をさらに装着する装着者の作業の支援のための情報を、装着者の視線の延長上に視認(目視)可能に表示する表示例を示す概略図である。
図12(a)は、例えば図1が示すワークエリア1001内において、特定されたある作業者がウェアラブル端末1100とバーコードリーダ501とを装着した状態でウェアラブル端末1100のスクリーン1106の表示領域1106aが表示する表示の一例を示す。
ウェアラブル端末1100は、例えば、バーコードリーダ501により認識した物品をワークエリア1001内の所定の位置に収納する作業の指示を受け付け、スクリーン1106の表示領域1106aに収納位置への移動を、表示する。
図12(b)は、ネットワークNTWを経由して、特定されたある作業者が指示された所定の位置へ移動したことを検出できた場合に、システムコントローラ1202が、次の作業指示(支援情報)を送信した場合のスクリーン1106の表示領域1106aの表示内容の一例を示す。
ウェアラブル端末1100は、スクリーン1106の表示領域1106aに、システムコントローラ1202からの指示に対応する作業支援の情報として、物品D001の収納(ストレージ)の指示を、表示する。このとき、作業者は、収納した物品D001のバーコードを、バーコードリーダ501により読み取る。読み取ったバーコードのバーコード情報は、バーコードリーダ501においてバーコード情報信号に変換後、ネットワークNTWを経由する情報管理サーバ1201との間の通信により、情報管理サーバ1201へ入力され、情報管理サーバ1201の記憶部204が記憶する。バーコードリーダ501におけるバーコードの読み取りは、例えば物品D001のバーコード表示に、第1のコードリーダ505を所定の距離まで近づける、あるいは第2のコードリーダ507の近傍に物品D001のバーコード表示を近づけることで容易に読み取ることができる。
システムコントローラ1202は、物品D001が収納されたことを検出し、引き続く作業の支援情報や作業の終了、等の情報を、作業者が装着しているウェアラブル端末1100に送信する。
図13は、ウェアラブル端末の光源部からの漏れ光を利用する実施形態の検出システムの基本的な考え方を示す概略図である。すなわち、図2および図3が示すウェアラブル端末からの漏れ光を利用することで、ウェアラブル端末(装着者)の位置および装着者の状態を検出することができる。
図13が示す検出システムは、1個以上のウェアラブル端末1100(−1〜−m)、1個以上のセンサ無線チップ1204(−1〜−n)、そして1個のシステムコントローラ1202を含む。またそれらは、相互間の通信により、情報の受け渡しが可能である。相互間の通信は、有線あるいは無線のいずれであっても良いが、例えば近距離無線通信、特にBluetooth(ブルートゥース)であることが好ましい。より好ましくは、それらが互いに、近距離無線通信で連携することで、ウェアラブル端末1100(またはセンサ無線チップ1204)の自由な移動(または配置場所の変更)に影響を受けずに連携動作や連携処理が可能である。
実施形態の検出システムでは、ウェアラブル端末1100の光源部1104が出力する光1108に、個体識別情報すなわち任意数のウェアラブル端末1100を識別可能に、ウェアラブル端末の識別情報(Identification、以下端末IDと称する場合もある)を含む情報を用いて間欠的に変調をかける。(光源部1104が出射する光1108を、端末IDを含む情報信号で変調する。)すなわち、実施形態の検出システムでは、漏れ光1118を利用して、ウェアラブル端末1100を『情報発信源』として利用する。このように、ウェアラブル端末1100に広く知られている表示機能に加えて情報発信機能を持たせることにより、ウェアラブル端末1100の多機能化が実現できる。これにより、ウェアラブル端末1100を含むシステムの多様性を達成できる。
光源部1104の発光量を変調する方法には、例えば発光量をゼロまで落とすチョッパー形変調方式を非利用とし、発光量が低い状態でも所定量以上の発光量を確保できる変調方式を採用する。これにより、装着者の目に対する負担を軽減できる。変調方式としては、例えばDSV(Digital Sum Value)フリーの変調方式(すなわち常に変調後信号のDSVを計算し、適宜ビット反転コードを挿入可能にして直流成分をゼロとする変調方式)を採用する。それにより、比較的ロングレンジでの発光量変化を抑えることができ(巨視的に常に発光量変化をゼロにでき)、装着者の目への負担を、一層軽減できる。
人間の目は、0.02秒程度の変化まで認識できるので、上記変調の基準周波数を10Hz以上、例えば20Hz以上、より好ましくは60Hz以上に設定することで、装着者の目に対する負担を軽減する効果も生まれる。一方、光源部1104に使用されるLEDは、内部インピーダンスと接続容量を持つため、精度良い変調周波数は、100MHz未満、望ましくは10MHz以下が望ましい。従って、実施形態の検出システムにて用いる光源部1104変調の基準周波数は、10Hz〜100MHz、望ましくは10Hz〜10MHzの範囲が好ましい。
また、実施形態の検出システムでは、光源部1104からの発散光である漏れ光1118を利用している。これにより、センサ無線チップ1204が検出する検出光量がウェアラブル端末1100とセンサ無線チップ1204との間の距離δに応じて変化する。この現象を利用すると、ウェアラブル端末1100とセンサ無線チップ1204との間の距離(あるいはセンサ無線チップ1204に対するウェアラブル端末1100の向き)が予測できる。
光源部1104からの漏れ光1118として発散光を使用することにより、上記の光を、比較的広い範囲で検出できる。その結果、比較的少ない数のセンサ無線チップ1204(−1〜−n)を設置するだけでウェアラブル端末1100の位置(ウェアラブル端末1100とセンサ無線チップ1204との間の距離)検出や方向(センサ無線チップ1204に対するウェアラブル端末1100の向き)検出が可能となる。これにより、検出システムを設置するために必要となる設備費用を低減できる。
センサ無線チップ1204が検出した光源部1104からの漏れ光1118(透過光1158)の光量情報は、所定のタイミングで、センサ無線チップ1204からシステムコントローラ1202(または情報管理サーバ1201)へ送信される。システムコントローラ1202は、システムコントローラ1202が収集した(または情報管理サーバ1201に集約された)センサ無線チップ1204からの情報を解析する。これにより、任意のウェアラブル端末1100(−1〜−m)すなわち装着者の位置および装着者の状態が推定可能となる。
なお、図13が示す実施形態では、作業台1206(図1におけるラックもしくは作業スペースA01〜Axy、B01〜Bxy、C01〜Cxy、・・・、X01〜XYxy)上にセンサ無線チップ1204が固定され、ウェアラブル端末1100が移動可能である。しかしそれに限らず、センサ無線チップ1204(及び作業台1206)が移動可能であっても良い。その場合には、センサ無線チップ1204(及び作業台1206)の流通状態を、定位置(固定位置)に配置したウェアラブル端末1100で読み取っても良い。
図14は、実施形態に係る電子機器を認識するシステムの具体的な利用例を説明する概略図である。
図14では、システムコントローラ1202が管理するシステム(図1におけるワークエリア1001)内が、2個のセクション1210−1および1210−2に分割された例として説明する。セクション1210−1および1210−2は、例えば間切りされたパーティション(partition)であってもよい。
図14において、ウェアラブル端末1100−1(第1の装着者)と1100−2(第2の装着者)がセクション1210−1内を移動し、ウェアラブル端末1100−3(第3の装着者)がセクション1210−2内の所定の位置に位置している(概ね一定の位置に留まっている)場合を考える。セクション1210−1内には、4個のセンサ無線チップ(位置情報発信部)1204−1〜1204−4が設置されているものとする。セクション1210−1内の任意のウェアラブル端末1100(−1〜−3)からの光(漏れ光1118)の光量は、個々のセンサ無線チップ1204−1〜1204−4にて検出される。個々のセンサ無線チップ1204−1〜1204−4は、それぞれにおいて検出した光(漏れ光1118)の光量をA−D(Analog - Digital)変換し、光量に対応する光量情報として、所定のタイミングで、近距離無線通信によりシステムコントローラ1202へ送信する。
図14により、装着者の移動に合わせてウェアラブル端末1100−1がセンサ無線チップ1204−1方向へ移動すると同時にウェアラブル端末1100−2の向きが装着者の任意の動作、例えば首振り(うなづき)や頭部の旋回に応じて一時的に変化した場合を考える。この時のシステムコントローラ1202における時系列的な検出情報の変化を図15に示す。
図15では、ウェアラブル端末1100−1〜1100−3のそれぞれの光源部1104からの漏れ光1118(透過光1158)の変調方式として、間欠的な時間変化方式を用いた例を示している。すなわち、ウェアラブル端末1100−1〜1100−3のそれぞれにおいて、変調させるタイミングをずらしている(個々のウェアラブル端末の変調期間をシフトしている)。
図15が示すように、1番めのウェアラブル端末1100−1については、間欠的にウェアラブル端末のID変調期間1304が設定され、それ以外の期間では無変調期間1302となる。1番目のウェアラブル端末1100−1のID変調期間1304内では、同期信号SYNC(図15(l))とウェアラブル端末の識別情報(Identification、以下端末IDとする)が一つの組を構成(1対1で対応)する。その組が複数回(図15が示す例では、センサ無線チップ1204(−1〜−n)の数(n)に合わせた4の倍数回)、繰り返される。
1番目のウェアラブル端末1100−1が無変調期間1302に入ると同時に、2番目のウェアラブル端末1100−2のID変調期間1306が開始する。同様に2番目のウェアラブル端末1100−2が無変調期間1302に入ると同時に、3番目のウェアラブル端末1100−3のID変調期間1308が開始する。
2番目のウェアラブル端末1100−2のID変調期間1306内と3番目のウェアラブル端末1100−3のID変調期間1308内とにおいては、同期信号SYNC(図15(l))と個々のウェアラブル端末1100の識別情報(端末ID)が繰り返し変調される。このように、個々のウェアラブル端末1100の識別情報(端末ID)を変調信号内に乗せることで、システムコントローラ1202内で、その識別情報(端末ID)が検出可能となる。それにより、システムコントローラ1202は、検出タイミングと並行してウェアラブル端末の識別情報(端末ID)を確認できるため、ウェアラブル端末の識別精度が向上する。
上記の例では、ウェアラブル端末1100−1〜1100−3のそれぞれの変調タイミングは、時分割(間欠化)されている。しかし、実施形態の検出システムでは、それに限らず、例えば全てのウェアラブル端末1100−1〜1100−3について、連続的に変調されるものとし、ウェアラブル端末1100−1〜1100−3のそれぞれの変調基準周波数を変化させても良い。また、スペクトル拡散時のそれぞれの周波数スペクトル特性を変化させても良い。
図15(d)〜図15(g)が示すように、センサ無線チップからの情報通信期間1310は、細かく時間分割されている。そして、センサ無線チップ1204−1〜1204−4のそれぞれにおいて、システムコントローラ1202との通信タイミングが、互いにずれる。この通信タイミングは、システムコントローラ1202が管理する。
図14において、初期の時点では、ウェアラブル端末1100−1の光源部1104からの漏れ光1118−1の一部が、センサ無線チップ1204−4に到達する。そのため、初期の時点では、図15(k)に示すように、センサ無線チップ1204−4がウェアラブル端末1100−1の光源部1104からの変調された漏れ光1118−1を検出する。しかし、ウェアラブル端末1100−1がセンサ無線チップ1204−1へ向かって移動するに連れて、センサ無線チップ1204−4が検出するウェアラブル端末1100−1の光源部1104からの漏れ光1118−1の変調信号振幅が減少して行く(図15(k))。一方、センサ無線チップ1204−1が検出するウェアラブル端末1100−1の光源部1104からの漏れ光1118−1の変調信号振幅は、時間の経過と共に増加する。このように、システムコントローラ1202内で、個々のセンサ無線チップ1204(−1〜−n)が検出する変調信号振幅の時間変化を比較することで、検出対象であるウェアラブル端末1100(−1〜−m)の位置の時間変化(移動状態)が推定できる。
一方、初期の時点で、ウェアラブル端末1100−2がセンサ無線チップ1204−3の方向を向いている場合には、光源からの漏れ光1118−2から得られる変調信号振幅は、センサ無線チップ1204−2での検出量よりセンサ無線チップ1204−3での検出量の方が大きい。このとき、例えば装着者が首を振り、一時的にセンサ無線チップ1204−2の方向を向いた場合を考える。すると、センサ無線チップ1204−2が出力する(ウェアラブル端末1100−2の)検出出力は、図15(i)が示すように、光源部1104からの漏れ光1118−2’)に対応して一時的に増加する(その後減少する)。他方、センサ無線チップ1204−3が出力する(ウェアラブル端末1100−2の)検出出力は、図15(j)が示すように、光源部1104からの漏れ光1118−2’)に対応して一時的に減少した後、再度増加する。
このように、システムコントローラ1202内で、個々のセンサ無線チップ1204が検出する変調信号振幅の時間変化を比較することで、(検出対象である)ウェアラブル端末1100(−1〜−m)の向きの時間変化も推定できる。
上記の検出例は、装着者の動きとして、装着者の移動や装着者の首振りである場合の例を示している。しかしそれに限らず、装着者のさまざまな別の行動を利用しても良い。例えば、装着者の手の移動や(装着者による)意図的な上体(身体)のひねり、等により光源部1104からの漏れ光1118−2を、一時的に遮光しても良い。この場合は、全てのセンサ無線チップ1204−1〜1204−4において、共通に(同一の時間帯に)、変調信号振幅の一時的な減少が生じる。このように、全てのセンサ無線チップ1204−1〜1204−4の変調信号振幅の変化の関連性を比較することで、ユーザの異なる行動パターンを識別可能となる。
以上の方法を利用することにより、単なるユーザの行動を把握するだけでなく、ユーザの意思をシステムコントローラ1202に伝えることが可能となる。その結果、システムコントローラ1202から一方的に情報を受け取るだけでなく、ユーザとシステムコントローラ1202との間で、双方向の情報伝達が可能となる。
図16は、電子機器を認識するシステムの主要な要素をブロック的に示すもので、図4が示すウェアラブル端末からシステムコントローラもしくは情報管理サーバへ識別情報(端末ID)を通知する例を示す概略図である。
図16が示す電子機器を認識するシステムにおいては、情報管理サーバ1201およびシステムコントローラ1202は、ネットワークNTWと接続する。ネットワークNTWには、任意数のセンサ無線チップ(位置情報発信部)1204−1〜1204−n(nは正の整数)が接続する。ウェアラブル端末1100−1〜1100−m(mは正の整数)のそれぞれは、図8−図10により説明したグローブリーダ(装着型ハンディターミナル装置)501−1〜501−pと1対1で関連付けられる。
ウェアラブル端末1100−1〜1100−mのそれぞれは、システムコントローラ1202からの出力指示に従い、センサ無線チップ(位置情報発信部)1204−1〜1204−nのそれぞれが所定のタイミングで出力するタイミング信号(ポーリング)を受信する。タイミング信号(ポーリング)は、ウェアラブル端末1100−1〜1100−mのそれぞれが自身の識別情報(端末ID)を出力するタイミングの情報を含む。ウェアラブル端末1100−1〜1100−mのそれぞれは、図15に一例を示したように、受信したタイミング信号が規定する間欠的なID変調期間、すなわち、一定期間毎に所定の長さのオン時間と所定の長さのオフ時間とを繰り返しを含む期間に、自身の識別情報(端末ID)を投光部1102が出力する光1108に重畳する。したがって、投光部1102が出力する光は、ウェアラブル端末1100−1〜1100−mのそれぞれに固有の自身の端末IDを表示可能な特定の信号で変調した光である。任意のセンサ無線チップ1204−1〜1204−nは、ウェアラブル端末1100−1〜1100−mが出力する光1108の漏れ光1118を検出する。個々のセンサ無線チップ1204−1〜1204−nは、検出したウェアラブル端末1100−1〜1100−mの作業者ID(装着者を特定する情報)および端末IDを、ネットワークNTWを通じ、情報管理サーバ1201(またはシステムコントローラ1202)に、一定時間ごとに、報知する。
このように、実施形態の認識システムであり、作業者が装着するウェアラブル端末およびそのウェアラブル端末と協働するコードリーダを用いることで、工場の部品ヤードや、通販会社の商品倉庫もしくは小売業の配送部署等において、作業者の作業の効率を高めることができる。すなわち、作業者(ウェアラブル端末およびそのウェアラブル端末と協働するコードリーダの装着者)は、ウェアラブル端末の表示機構が表示する作業支援情報にを参照しながら、対象の物品を効率よくピッキングできる。また、作業者は、作業支援情報に基づいて作業することにより、誤った物品をピッキングすることから解放される。さらに、物品の収納時は、ウェアラブル端末の表示機構が表示する作業支援情報に従って、システムコントローラからの指示に対応する位置に対象の物品を収納し、コードリーダにより物品の情報を読み取るのみで、その物品のピッキングの効率を高めることが可能に、対象の物品のストレージ(収納)が可能となる。
また、システムコントローラ(監督者用端末)は、特定した(作業を指示した)作業者によるピッキングの状況やピッキングの終了、等の情報を、容易に取得できる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
501(−1〜−p)…コードリーダ(ウェアラブル端末と協働する電子機器)、503…グローブ本体、505…手のひら側リーダ(第1の読み取り部)、507…手の甲側リーダ(第2の読み取り部)、509…明るさセンサ、1100(−1〜−m)…ウェアラブル端末(電子機器)、1102…投光部(表示部)、1108…光(画像光)、1110…付加画像表示部(表示情報生成部)、1118…漏れ光、1128…開口(隙間)、1138…カメラ、1158…透過光、1201、1211…情報管理サーバ、1202…システムコントローラ、1204(−1〜−n)…センサ無線チップ(位置情報発信部)。

Claims (15)

  1. 像を生成する画像表示部と、
    前記画像表示部が生成する前記像に照明光を与えて照明する光源と、
    前記光源による前記照明光を、個体識別情報を含む信号により変調する信号処理部と、
    装着者の視線の延長上の所定の位置に位置し、前記光源が照明した前記画像表示部が生成する前記像を表示するスクリーンと、
    前記スクリーンが表示する前記像が示す対象物の情報を、協働する電子機器との間で共有可能に通信する通信部と、
    を具備する眼鏡型電子機器。
  2. 前記スクリーンは、装着者の視線の延長上に見える背景と前記像を同時に表示する請求項1の眼鏡型電子機器。
  3. 前記光源による前記照明光を、前記スクリーンと異なる方向へ案内する誘導部
    をさらに具備する請求項2の眼鏡型電子機器。
  4. 前記信号処理部は、固体識別情報の送信指示を受信して前記光源による前記照明光を変調する請求項1−3の何れかの眼鏡型電子機器。
  5. 前記画像表示部は、反射型液晶表示素子を含む請求項1−4の何れかの眼鏡型電子機器。
  6. 前記通信部は、前記協働する電子機器が認識する前記対象物の情報と前記像が示す前記対象物の情報とを、通信を通じて比較する請求項1−5の何れかの眼鏡型電子機器。
  7. 前記通信部は、送信指示および前記画像表示部が生成する前記像に対応する画像データの少なくとも一つを受信する請求項1−5の何れかの眼鏡型電子機器。
  8. 像を生成する画像表示部と、前記画像表示部が生成する前記像に照明光を与えて照明する光源と、前記光源による前記照明光を、個体識別情報を含む信号により変調する信号処理部と、装着者の視線の延長上の所定の位置に位置し、前記光源が照明した前記画像表示部が生成する前記像を表示するスクリーンと、前記スクリーンが表示する前記像が示す対象物の情報を、協働する電子機器との間で共有可能に通信する通信部と、を具備する眼鏡型電子機器において、
    装着者の作業の支援に利用可能な情報を前記画像表示部が前記像として生成する支援方法。
  9. 前記スクリーンに、装着者の視線の延長上に見える背景と前記像を同時に表示する請求項8の支援方法。
  10. 前記光源による前記照明光の誘導部からの光を用いて装着者の位置を特定する請求項8または9の支援方法。
  11. 像を生成する画像表示部と、
    前記画像表示部が生成する前記像に照明光を与えて照明する光源と、
    前記光源による前記照明光を、個体識別情報を含む信号により変調する信号処理部と、
    前記画像表示部が生成する前記像が示す対象物の情報を、協働する電子機器との間で共有可能に通信する通信部と、
    を具備する電子機器。
  12. 前記光源が照明した前記画像表示部が生成する前記像を表示するスクリーン
    をさらに具備する請求項11の電子機器。
  13. 前記光源による前記照明光を、前記スクリーンと異なる方向へ案内する誘導部
    をさらに具備する請求項12の電子機器。
  14. 前記信号処理部は、固体識別情報の送信指示を受信して前記光源による前記照明光を変調する請求項11−13の何れかの電子機器。
  15. 前記通信部は、前記協働する電子機器が認識する前記対象物の情報と前記像が示す前記対象物の情報とを、通信を通じて比較する請求項11−14の何れかの電子機器。
JP2015173034A 2015-09-02 2015-09-02 電子機器および支援方法 Active JP6253619B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015173034A JP6253619B2 (ja) 2015-09-02 2015-09-02 電子機器および支援方法
US14/979,241 US9897810B2 (en) 2015-09-02 2015-12-22 Spectacle-type electronic device and assisting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015173034A JP6253619B2 (ja) 2015-09-02 2015-09-02 電子機器および支援方法

Publications (2)

Publication Number Publication Date
JP2017049833A JP2017049833A (ja) 2017-03-09
JP6253619B2 true JP6253619B2 (ja) 2017-12-27

Family

ID=58103629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015173034A Active JP6253619B2 (ja) 2015-09-02 2015-09-02 電子機器および支援方法

Country Status (2)

Country Link
US (1) US9897810B2 (ja)
JP (1) JP6253619B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10875713B2 (en) * 2016-03-04 2020-12-29 Ubimax Gmbh Method for technically supporting a manual order picking process
WO2018047854A1 (ja) * 2016-09-07 2018-03-15 コニカミノルタ株式会社 ピッキング支援装置、ピッキング支援システム、およびピッキング支援方法
US10175489B1 (en) * 2017-07-05 2019-01-08 Microsoft Technology Licensing, Llc Compact optical system with MEMS scanners for image generation and object tracking
CN110824700B (zh) * 2018-08-13 2021-09-28 名硕电脑(苏州)有限公司 固定装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3032369B2 (ja) 1992-01-30 2000-04-17 株式会社フジタ 双方向情報伝送システム
JPH05234891A (ja) 1992-02-20 1993-09-10 Nippon Steel Corp 分子線エピタキシー装置
JP3324945B2 (ja) 1996-11-15 2002-09-17 日本輸送機株式会社 ピッキング作業方法
JP2000354943A (ja) 1999-06-09 2000-12-26 Nippon Telegr & Teleph Corp <Ntt> 作業管理・支援方法、その装置及びそのプログラムを記録した記録媒体
JP2002288294A (ja) 2001-03-26 2002-10-04 Mitsubishi Heavy Ind Ltd 現場支援システム
JP2003015075A (ja) * 2001-06-27 2003-01-15 Nikon Corp 電子眼鏡および眼鏡取付型表示装置
JP2003196681A (ja) 2001-12-26 2003-07-11 Sharp Corp 作業指図システム、作業指図方法及びそれを実現するためのプログラムを格納した記録媒体
JP2003216687A (ja) 2002-01-28 2003-07-31 Yamaha Livingtec Corp 施工支援システム
JP2004102727A (ja) 2002-09-10 2004-04-02 Mitsubishi Heavy Ind Ltd 作業支援システム
TW200704574A (en) * 2005-07-27 2007-02-01 Murata Machinery Ltd Operation system and operation instruction method in operation system
JP2007286317A (ja) * 2006-04-17 2007-11-01 Nikon Corp 装着型ディスプレイ装置
JP2009279193A (ja) 2008-05-22 2009-12-03 Fujifilm Corp 医療機器管理システム
JP2010271928A (ja) 2009-05-21 2010-12-02 Kanto Auto Works Ltd 作業アシストシステム及び作業アシスト方法並びに該作業アシスト方法を記録した記録媒体
JP2011075952A (ja) * 2009-09-30 2011-04-14 Brother Industries Ltd 画像表示装置
JP2011081737A (ja) 2009-10-09 2011-04-21 Toshiba Tec Corp 調理補助端末及びプログラム
JP5193988B2 (ja) 2009-12-03 2013-05-08 東芝テック株式会社 調理補助端末及びプログラム
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP5834439B2 (ja) * 2011-03-24 2015-12-24 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5423716B2 (ja) 2011-03-30 2014-02-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5348192B2 (ja) 2011-07-11 2013-11-20 日本電気株式会社 作業支援システム、端末、方法およびプログラム
US20130293580A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
JP6119228B2 (ja) 2012-12-13 2017-04-26 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム
JP6075083B2 (ja) * 2013-01-25 2017-02-08 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20140240349A1 (en) 2013-02-22 2014-08-28 Nokia Corporation Method and apparatus for presenting task-related objects in an augmented reality display
JP6082272B2 (ja) 2013-02-25 2017-02-15 東京エレクトロン株式会社 支援情報表示方法、基板処理装置の保守支援方法、支援情報表示制御装置、基板処理システム及びプログラム
JP6197366B2 (ja) 2013-05-23 2017-09-20 ソニー株式会社 情報処理装置及び記憶媒体
JP6273861B2 (ja) * 2013-06-28 2018-02-07 富士通株式会社 ウェアラブルデバイス、インタフェース制御方法及びインタフェース制御プログラム
JP6222440B2 (ja) 2013-10-07 2017-11-01 コニカミノルタ株式会社 Ar表示システム、およびar表示装置、情報処理装置、プログラム
JP6008832B2 (ja) * 2013-12-10 2016-10-19 オークラ輸送機株式会社 ピッキングシステム
JP5646108B1 (ja) 2014-08-26 2014-12-24 宮川工機株式会社 木材プレカット工場用業務支援システム

Also Published As

Publication number Publication date
US9897810B2 (en) 2018-02-20
JP2017049833A (ja) 2017-03-09
US20170059867A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
US11789279B2 (en) System and method for virtual image adjustment
JP6253619B2 (ja) 電子機器および支援方法
US20150130355A1 (en) Head-wearable user interface device for lighting related operations
US20170068924A1 (en) Spectacle-type electronic device, work management system, and information management server
CN105334913B (zh) 一种电子设备
JP2017049449A (ja) 電子機器および支援方法
JP7119164B2 (ja) ウェアラブル端末、システム及び表示方法
JP2017049763A (ja) 電子機器、支援システムおよび支援方法
CN204189130U (zh) 一种电子设备
JP6275672B2 (ja) 電子機器および支援方法
JP2018101425A (ja) 電子機器、表示方法及びシステム
KR20150143143A (ko) 웨어러블 디바이스 및 웨어러블 디바이스를 포함하는 조명 시스템
JP2018081697A (ja) システム及びウェアラブル端末
JP6445118B2 (ja) ウェアラブル端末、方法及びシステム
JP6262177B2 (ja) ウェアラブル端末、方法及びシステム
JP7263603B2 (ja) ウェアラブル端末、システム及び表示方法
JP2017050718A (ja) ウェアラブル端末、方法及びシステム
US12135432B2 (en) System and method directed to an eyeglasses-type wearable device
JP2018045707A (ja) システム、方法及びセンサ装置
JP2023076619A (ja) ウェアラブル端末、システム及び表示方法
JP6641055B2 (ja) ウェアラブル端末、システム及び表示方法
JP2018037107A (ja) システム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170209

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171128

R151 Written notification of patent or utility model registration

Ref document number: 6253619

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151