JP7020004B2 - プログラム、情報処理端末及び制御方法 - Google Patents

プログラム、情報処理端末及び制御方法 Download PDF

Info

Publication number
JP7020004B2
JP7020004B2 JP2017171648A JP2017171648A JP7020004B2 JP 7020004 B2 JP7020004 B2 JP 7020004B2 JP 2017171648 A JP2017171648 A JP 2017171648A JP 2017171648 A JP2017171648 A JP 2017171648A JP 7020004 B2 JP7020004 B2 JP 7020004B2
Authority
JP
Japan
Prior art keywords
sign
information
image
display screen
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017171648A
Other languages
English (en)
Other versions
JP2019046396A (ja
Inventor
知徳 入江
靖雄 岡阿彌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2017171648A priority Critical patent/JP7020004B2/ja
Publication of JP2019046396A publication Critical patent/JP2019046396A/ja
Application granted granted Critical
Publication of JP7020004B2 publication Critical patent/JP7020004B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stored Programmes (AREA)

Description

本発明は、プログラム情報処理端末及び制御方法に関する。
従来、情報処理端末に用いられる入出力デバイス等の各種デバイスの小型化により、携帯して使用可能な情報処理端末が実用化されている。また、用途に合ったデバイスを組み合わせて搭載することで、ユーザの業務に係る所望の情報処理を実現することが可能な種々の情報処理端末が開発されている。例えば、入力デバイスとしてバーコードスキャナを備え、バーコードスキャナによるバーコードの読取結果を表示部に表示させたり外部装置に送信したりすることが可能な情報処理端末が、運輸・物流業における荷物の輸送状況の管理や、流通小売業における商品の売上、棚卸等の管理などに用いられている(例えば、特許文献1)。
情報処理端末では、通常、デバイスドライバを介したデバイスの制御及び管理等を行うオペレーティングシステム(以下ではOSと記す)と、ユーザの業務に係る所望の情報処理を行うためのアプリケーションプログラムとが組み込まれている。このうちアプリケーションプログラムは、OS上で動作し、OSを介して各デバイスを制御する。このような構成とすることで、アプリケーションプログラムの開発においてデバイスの制御に係るプログラムを作成する手間を省くことができる。
特開2013-1521号公報
しかしながら、近年、情報処理端末に搭載されるデバイスが多様化しているため、デバイスがOSによりサポートされていない(OSにより制御、管理することができない)場合が増えている。このような場合には、情報処理端末のアプリケーションプログラムの開発者は、デバイスドライバを介して直接デバイスを制御、管理するためのプログラムを、デバイス専用のライブラリを用いて作成して業務プログラムに組み込む必要がある。この結果、アプリケーションプログラムが複雑化するため、アプリケーションプログラムの開発に掛かる手間やコストが増大してしまう。
このように、従来の情報処理端末では、搭載されているデバイスを簡易に制御することができない場合があるという課題がある。
この発明の目的は、より簡易に情報処理端末のデバイスを制御することができるプログラム情報処理端末及び制御方法を提供することにある。
上記課題を解決するため、本発明に係る第1の態様のプログラムは、表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末のコンピュータを、前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段、前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段、前記画像に前記動作標識が含まれていると判別された場合に、所定のコードをスキャンして情報を取得する動作を前記デバイスにより行わせる制御手段、として機能させることを特徴とする。
また、本発明に係る第2の態様のプログラムは、表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末のコンピュータを、前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段、前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段、前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御手段、として機能させ、前記情報処理端末は、複数の前記デバイスを備えており、前記動作標識判別手段は、複数の前記動作標識の各々が前記複数のデバイスのいずれかの動作と対応付けられている動作標識情報に基づいて、前記画像に前記複数の動作標識のうちいずれかの動作標識が含まれているか否かを判別し、前記制御手段は、前記動作標識情報に基づいて、前記複数のデバイスのうち、前記動作標識判別手段により前記画像に含まれていると判別された前記動作標識に対応するデバイスにより前記動作を行わせることを特徴とする。
また、本発明に係る第3の態様のプログラムは、表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末のコンピュータを、前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段、前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段、前記画像に前記動作標識が含まれていると判別された場合に、所定の情報を取得する動作を前記デバイスにより行わせる制御手段、前記所定の情報が取得された場合にこの取得された情報を前記表示画面に表示させる出力制御手段、として機能させることを特徴とする。
また、本発明に係る第1の態様の情報処理端末は、表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段と、前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段と、前記画像に前記動作標識が含まれていると判別された場合に、所定のコードをスキャンして情報を取得する動作を前記デバイスにより行わせる制御手段と、を備えることを特徴とする。
また、本発明に係る第2の態様の情報処理端末は、表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段と、前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段と、前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御手段と、を備える情報処理端末であって、複数の前記デバイスを備え、前記動作標識判別手段は、複数の前記動作標識の各々が前記複数のデバイスのいずれかの動作と対応付けられている動作標識情報に基づいて、前記画像に前記複数の動作標識のうちいずれかの動作標識が含まれているか否かを判別し、前記制御手段は、前記動作標識情報に基づいて、前記複数のデバイスのうち、前記動作標識判別手段により前記画像に含まれていると判別された前記動作標識に対応するデバイスにより前記動作を行わせることを特徴とする。
また、本発明に係る第3の態様の情報処理端末は、表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段と、前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段と、前記画像に前記動作標識が含まれていると判別された場合に、所定の情報を取得する動作を前記デバイスにより行わせる制御手段と、前記所定の情報が取得された場合にこの取得された情報を前記表示画面に表示させる出力制御手段と、を備えることを特徴とする。
また、本発明に係る第1の態様の制御方法は、表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末が実行する制御方法であって、前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得処理と、前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別処理と、前記画像に前記動作標識が含まれていると判別された場合に、所定のコードをスキャンして情報を取得する動作を前記デバイスにより行わせる制御処理と、を含むことを特徴とする。
また、本発明に係る第2の態様の制御方法は、表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末が実行する制御方法であって、前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得処理と、前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別処理と、前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御処理と、を含み、前記情報処理端末は、複数の前記デバイスを備えており、前記動作標識判別処理は、複数の前記動作標識の各々が前記複数のデバイスのいずれかの動作と対応付けられている動作標識情報に基づいて、前記画像に前記複数の動作標識のうちいずれかの動作標識が含まれているか否かを判別し、前記制御処理は、前記動作標識情報に基づいて、前記複数のデバイスのうち、前記動作標識判別処理で前記画像に含まれていると判別された前記動作標識に対応するデバイスにより前記動作を行わせることを特徴とする。
また、本発明に係る第3の態様の制御方法は、表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末が実行する制御方法であって、前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得処理と、前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別処理と、前記画像に前記動作標識が含まれていると判別された場合に、所定の情報を取得する動作を前記デバイスにより行わせる制御処理と、前記所定の情報が取得された場合にこの取得された情報を前記表示画面に表示させる出力制御処理と、を含むことを特徴とする。
本発明によれば、より簡易に情報処理端末のデバイスを制御することができるという効果がある。
情報処理端末の構成を示す斜視図である。 情報処理端末の主要な機能構成を示すブロック図である。 情報処理端末におけるソフトウェアの階層構造を示す図である。 制御支援プログラムの主要な機能を示すブロック図である。 表示部における表示画面の例を示す図である。 動作標識判別部により取得された画像の例を示す図である。 動作標識定義データの内容例を示す図である。 出力部により情報が出力された表示画面の例を示す図である。 デバイス制御支援処理の制御手順を示すフローチャートである。
以下、本発明のプログラム及び情報処理端末に係る実施の形態を図面に基づいて説明する。
図1は、本実施形態の情報処理端末1の構成を示す斜視図である。
図2は、情報処理端末1の主要な機能構成を示すブロック図である。
情報処理端末1は、CPU11(コンピュータ、画像取得手段、動作標識判別手段、制御手段、出力手段、出力標識検出手段、情報表示領域検出手段)と、RAM12(Random Access Memory)と、ROM13(Read Only Memory)と、電源部14と、表示部15と、タッチパネル16(入力手段)と、操作キー17と、通信装置18と、バーコードスキャナ19と、NFC(Near Field Communication:近距離無線通信)装置20と、GPS(Global Positioning System)装置21などを備える。このうち、表示部15、タッチパネル16、操作キー17、通信装置18、バーコードスキャナ19、NFC装置20及びGPS装置21の各々は、所定の機能を有するデバイスを構成する。情報処理端末1の各部は、バス22を介して接続されている。
情報処理端末1は、タッチパネル16や操作キー17に対するユーザの入力操作に応じて、通信装置18、バーコードスキャナ19、NFC装置20又はGPS装置21により外部から情報を取得し、取得した情報や当該情報に対して所定の処理を行った結果を表示部15の表示画面に表示させたり、通信装置18によりデータサーバーといった所定の外部装置に送信したりすることができる。情報処理端末1は、各デバイスとして小型のものを用いることで、ユーザが携帯して使用することができるようになっている。
情報処理端末1は、例えば、運輸・物流業における積荷の輸送状況等の管理、流通小売業における商品の売上、棚卸等の管理、製造業における部品の流動、製品の出荷等の管理、ライフライン業における保守点検結果の入力や送信といった用途に用いることができる。
CPU11は、ROM13に記憶されている各種のプログラムを読み出してRAM12のワークエリアに展開し、当該プログラムに従って情報処理端末1の各部の動作を制御する。
RAM12は、例えば、揮発性のメモリであり、CPU11により読み出された各種プログラムやデータを一時的に格納するワークエリアを有する。
ROM13には、CPU11により実行される各種の制御プログラムやアプリケーションプログラム、設定データなどの各種データが記憶される。具体的には、ROM13には、OS131(オペレーティングシステム)、制御支援プログラム132(プログラム)、業務アプリケーション133、動作標識定義データ134(動作標識情報)、出力標識定義データ135などが記憶されている。
なお、ROM13に代えて、又はROM13に加えて、データの書き込みや消去が可能な記憶部が設けられていても良い。
電源部14は、バッテリーや外部電源の電圧を所定の電圧に変換して情報処理端末1の各部に供給する。
表示部15は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイなどにより構成される。表示部15は、CPU11から出力された制御信号に従って、業務アプリケーション133による処理結果や、タッチパネル16及び操作キー17による入力内容などを表示画面に表示する。
タッチパネル16は、表示部15の表示画面に重ねられて設けられ、表面に対する接触を入力操作として検出して、接触が検出された位置に係る信号をCPU11に出力する。よって、タッチパネル16により、表示部15の表示画面における位置を特定する入力操作を受け付けることができる。タッチパネルとしては、表面が指先などにより接触されることによる内部の導電膜と表面との間の静電容量の変化に基づいて接触を検出する静電容量方式のほか、抵抗膜方式、電磁誘導方式といった各種方式のものを用いることができる。
操作キー17は、テンキーや各種の機能キーを含む物理的な操作ボタンである。当該操作キー17を押下する入力操作がなされると、当該入力操作が所定の信号に変換されてCPU11に出力される。
通信装置18は、ワイヤレスWANモジュールや無線LANモジュール等の、外部との間のデータの送受信を行う装置である。
バーコードスキャナ19は、所定の規則に従って生成されたバーコードを読み取って得られた信号をデコードし、CPU11に出力する。なお、信号のデコード処理の少なくとも一部はCPU11により行われても良い。
本実施形態のバーコードスキャナ19は、レーザースキャナであり、レーザーダイオードからの出射光のバーコードでの反射光を受光して、検出された反射光の強度分布をデジタル信号に変換する。なお、バーコードスキャナ19は、レーザースキャナに限られず、LED光源からの出射光のバーコードでの反射光をCCDにより受光するCCDスキャナなどを用いても良い。また、二次元バーコードを読み取ることが可能なものが用いられても良い。
NFC装置20は、非接触ICカードに埋め込まれたRFタグとの間でRFID(Radio Frequency Identification)方式により近距離無線通信を行い、非接触ICカードの情報を取得してCPU11に出力する。
GPS装置21は、全地球測位システムに係る測位衛星からの送信電波を受信して情報処理端末1の現在位置を取得する。GPS装置21は、受信した送信電波を増幅、周波数変換、復号して必要な情報を取得し、CPU11に出力する。
次に、情報処理端末1におけるデバイスの制御方法について説明する。
図3は、情報処理端末1におけるソフトウェアの階層構造を示す図である。
図3に示されるように、ソフトウェアの最下層には、各デバイス(ハードウェア)に対応するデバイスドライバが設けられている。具体的には、表示部15、タッチパネル16、操作キー17、通信装置18、バーコードスキャナ19、NFC装置20及びGPS装置21の各デバイスにそれぞれ対応して、デバイスドライバ15d~21dが設けられている。
また、これらのデバイスドライバ15d~21dのうち、デバイスドライバ15d~18dの上層にはOS131が設けられ、デバイスドライバ19d~21dの上層には制御支援プログラム132が設けられている。また、OS131及び制御支援プログラム132の上層には、業務アプリケーション133が設けられている。
OS131は、情報処理端末1を動作させるための基本ソフトウェアであり、デバイスドライバ15d~18dにより表示部15、タッチパネル16、操作キー17、通信装置18の動作の制御、管理を行うほか、RAM12における記憶領域の管理や、CPU11により実行されるプロセスの管理などを行い、ユーザや業務アプリケーション133に対して基本的なユーザインターフェースを提供する。
業務アプリケーション133は、情報処理端末1においてユーザの業務に係る所望の情報処理を行うためのアプリケーションプログラムである。業務アプリケーション133は、OS131を介して表示部15を動作させて、所定の表示画面を表示させる。また、業務アプリケーション133は、OS131を介してタッチパネル16及び操作キー17に対する入力操作に係る情報を取得し、当該入力操作に応じてCPU11に所定の処理を行わせ、ステータス情報や処理結果などを表示部15の表示画面に表示させる。また、業務アプリケーション133は、OS131を介して通信装置18を動作させて、上記処理結果などを外部装置に送信させたり、外部装置から必要な情報を受信させたりする。
本実施形態の情報処理端末1に組み込まれたOS131は、バーコードスキャナ19、NFC装置20及びGPS装置21についてはサポートしていない。このため、業務アプリケーション133は、OS131を介してバーコードスキャナ19、NFC装置20及びGPS装置21を動作させることはできない。
そこで、本実施形態では、バーコードスキャナ19、NFC装置20及びGPS装置21の動作の制御について業務アプリケーションを支援するための制御支援プログラム132が、OS131とは別個に設けられている。制御支援プログラム132は、OS131により情報処理端末1が動作している間、常に動作する常駐プログラムである。
以下では、制御支援プログラム132の機能及び動作について説明する。
図4は、制御支援プログラム132の主要な機能を示すブロック図である。
制御支援プログラム132は、動作標識判別部132a、デバイス制御部132b、出力標識検出部132c、テキストボックス検出部132d、出力部132e及びOCR(Optical Character Reader)部132fを有する。制御支援プログラム132は、これらの各部の機能を実現させる手段としてCPU11を機能させる。
以下、図5~図8を用いて制御支援プログラム132の各部の機能について説明する。当該各部の機能は、制御支援プログラム132の各部に従ってCPU11が動作することで実現されるが、以下の図5~図8の説明では、便宜上、制御支援プログラム132の各部を動作主体として説明する。
動作標識判別部132aは、タッチパネル16に対する入力操作により表示部15の表示画面の位置が特定された場合に、当該特定された位置から所定範囲内に表示されている画像を取得し、取得された画像に特定の動作標識が含まれているか否かを判別する。
図5は、表示部15における表示画面の例を示す図である。
図5の表示画面15aは、業務アプリケーション133の動作画面である。すなわち、表示画面15aは、業務アプリケーション133により生成された画像データに基づいてOS131及びデバイスドライバ15dを介して表示部15を動作させることで表示される。表示画面15aは、情報処理端末1の電源を入れて起動した状態で表示部15に表示されるようになっている。
この表示画面15aでは、バーコードスキャナ19によりバーコードの読み取り動作を行わせるためのスキャンボタンB1と、NFC装置20により非接触ICカードの情報を取得させるためのNFCボタンB2と、GPS装置21により情報処理端末1の位置情報を取得させるためのGPSボタンB3と、バーコードスキャナ19、NFC装置20又はGPS装置21により取得された情報を表示可能なテキストボックスTB(情報表示領域)と、が表示されている。
また、スキャンボタンB1の内部には、「スキャン」の文字からなる動作標識Ma1が表示され、NFCボタンB2の内部には、「NFC」の文字からなる動作標識Ma2が表示され、GPSボタンB3の内部には、「GPS」の文字からなる動作標識Ma3が表示されている。また、テキストボックスTBの近傍には、「出力」の文字からなる出力標識Mbが表示されている。以下では、任意の動作標識を指す場合に「動作標識Ma」と記す。
表示画面15aにおけるスキャンボタンB1、NFCボタンB2及びGPSボタンB3は、単なる画像である。したがって、業務アプリケーション133では、これらの各ボタンに対する機能は割り当てられておらず、これらの各ボタンを選択する入力操作がなされても、業務アプリケーション133が何らかの処理を開始させることはない。
他方で、テキストボックスTBは、入力データを取得したりテキストを表示させたりするためにOS131により提供される機能を用いて設けられたものであり、当該テキストボックスTBを選択する入力操作をタッチパネル16又は操作キー17により行った上で、操作キー17からテキスト入力を行うことでテキストデータが表示されるようになっている。
ここで、タッチパネル16に対し、表示画面15aにおける動作標識Ma1の近傍の位置Pを特定する入力操作がなされた場合の動作標識判別部132aの動作を説明する。
動作標識判別部132aは、タッチパネル16に対する入力操作に係るイベントの発生を監視しており、上記の位置Pを特定する入力操作がなされると、当該位置Pから所定範囲(以下、範囲Rと記す)内に表示されている画像を取得する。この処理は、例えばOS131に組み込まれているスクリーンショット機能(画面キャプチャ機能)を使用することで行うことができる。
図6は、動作標識判別部132aにより取得された所定範囲R内の画像の例を示す図である。
動作標識判別部132aは、OCR部132fにより範囲R内の画像に対して文字認識処理を行わせて、当該文字認識処理の結果と、ROM13に記憶されている動作標識定義データ134とに基づいて、範囲R内の画像に特定の動作標識Maが含まれているか否かを判別する。
図7は、動作標識定義データ134の内容例を示す図である。
動作標識定義データ134では、複数の動作標識Maの各々が、バーコードスキャナ19、NFC装置20及びGPS装置21のいずれかの動作(詳しくは、当該動作を行わせるための処理)と対応付けられて記憶されている。本実施形態の動作標識Maは、「スキャン」、「SCAN」、「NFC」、「ICカード」、「GPS」及び「現在地」であり、いずれも文字のみからなる。また、「スキャン」及び「SCAN」の動作標識Maには、バーコードスキャナ19によりバーコードの読取動作を行わせるための処理「Barcode_Scan」が対応付けられて記憶され、「NFC」及び「ICカード」の動作標識Maには、NFC装置20により非接触ICカードの情報を取得する動作を行わせるための処理「NFC_Read」が対応付けられて記憶され、「GPS」及び「現在地」の動作標識Maには、GPS装置21により現在位置情報の取得動作を行わせるための処理「GPS_GetPosition」が対応付けられて記憶されている。
動作標識判別部132aは、範囲R内の文字認識処理の結果得られた文字列が、動作標識定義データ134に示されている動作標識Maのいずれかと一致するか否かを判別する。図5及び図6の例では、動作標識判別部132aは、範囲R内に「スキャン」の文字からなる動作標識Ma1が含まれていると判別する。
なお、範囲Rの大きさは、図5及び図6の例のように範囲Rの画像から一の動作標識Maを特定できるように、表示画面15a内における動作標識Maの大きさや間隔に応じて予め定められる。
制御支援プログラム132のデバイス制御部132bは、動作標識判別部132aによって範囲R内に特定の動作標識Maが含まれていると判別された場合に、当該動作標識Maに対応付けられているデバイスにより、当該動作標識Maに対応付けられた動作を行わせる。図5及び図6の例では、動作標識定義データ134において、「スキャン」の動作標識Ma1にはバーコードスキャナ19によるバーコードの読み取り動作(「Barcode_Scan」)が対応付けられているため、デバイス制御部132bは、デバイスドライバ19dを介してバーコードスキャナ19を動作させてバーコードを読み取らせる。
制御支援プログラム132の出力標識検出部132cは、デバイス制御部132bによるデバイスの動作制御が終了した場合に、表示画面15aの全体の画像データを取得して、当該画像データに対してOCR部132fにより文字認識処理を行わせる。出力標識検出部132cは、文字認識処理の結果と、ROM13に記憶されている出力標識定義データ135とに基づいて、表示画面15a内における、出力標識定義データ135により定義された出力標識Mbの位置を検出する。出力標識定義データ135には、検出対象の出力標識Mbが記憶されている。
本実施形態では、「出力」の文字からなる出力標識Mbが出力標識定義データ135に記憶されており、出力標識検出部132cは、表示画面15a内における「出力」の文字からなる出力標識Mbの位置を検出する。
制御支援プログラム132のテキストボックス検出部132dは、出力標識検出部132cにより検出された出力標識Mbに対応するテキストボックスTBを表示画面15a上で検出する。テキストボックスTBの検出は、表示画面15aのうち出力標識Mbの近傍範囲からテキストボックスTBの形状を特定することで行われる。また、表示画面15aにおいて、出力標識Mbに対する所定の相対位置にテキストボックスTBを設けることとし、出力標識Mbの検出位置と上記所定の相対位置関係とに基づいてテキストボックスTBの位置を特定しても良い。
制御支援プログラム132の出力部132eは、上述したデバイス制御部132bの制御によるデバイスの動作で取得された情報を、テキストボックスTBに表示させるための出力処理を行う。具体的には、テキストボックスTBの位置を特定するタッチパネル16に対する入力操作、及び上記取得された情報に係るテキストデータを入力する操作キー17に対する入力操作をエミュレートすることで、図8に示されるように、OS131を介して表示画面15aのテキストボックスTB内に上記テキストデータ(ここでは、「abc-123456」)を表示させる。
テキストボックスTBに表示されたテキストデータは、業務アプリケーション133により取得されて所定のデータベースに保存され、必要な処理に用いられる。例えば、業務アプリケーション133は、取得したテキストデータを通信装置18により所定の外部装置に送信させたり、当該テキストデータに基づいて所定のデータベースを参照することで必要なデータを取得して表示部15に表示させたりする。
次に、制御支援プログラム132に基づくCPU11によるデバイス制御支援処理の制御手順について説明する。
図9は、デバイス制御支援処理のCPU11による制御手順を示すフローチャートである。デバイス制御支援処理は、表示部15に業務アプリケーション133による表示画面15aが表示された場合に開始される。以下では、制御支援プログラム132に基づいて動作するCPU11を動作主体として説明する。
デバイス制御支援処理が開始されると、CPU11は、タッチパネル16に対する入力操作がなされたか否かを判別する(ステップS101)。タッチパネル16に対する入力操作がなされていないと判別された場合には(ステップS101で“NO”)、CPU11は、再度ステップS101の処理を行う。
タッチパネル16に対する入力操作がなされたと判別された場合には(ステップS101で“YES”)、CPU11は、入力操作がなされた位置Pから所定範囲R内に表示されている画像の画像データを取得する(ステップS102)。
ステップS101及びステップS102では、CPU11は、画像取得手段として機能する。
CPU11は、範囲R内の画像に動作標識Maが含まれるか否かを判別する(ステップS103)。ここでは、CPU11は、ステップS102で取得した画像データに対するOCR機能による文字認識処理の結果と、動作標識定義データ134とに基づいて、動作標識Maが含まれるか否かを判別する。
ステップS103では、CPU11は、動作標識判別手段として機能する。
範囲R内の画像に動作標識Maが含まれていないと判別された場合には(ステップS103で“NO”)、CPU11は、所定のエラー表示を表示画面15aに表示させて(ステップS104)、デバイス制御支援処理を終了させる。
範囲R内の画像に動作標識Maが含まれていると判別された場合には(ステップS103で“YES”)、CPU11は、検出された動作標識Maが「スキャン」又は「SCAN」であるか、「NFC」又は「ICカード」であるか、「GPS」又は「現在地」であるかを判別する(ステップS105)。
検出された動作標識Maが「スキャン」又は「SCAN」(動作標識Ma1)である場合には、CPU11は、デバイスドライバ19dを介してバーコードスキャナ19を起動させてバーコードの読み取り動作を行わせ、読み取り結果を取得する(ステップS106)。
検出された動作標識Maが「NFC」又は「ICカード」(動作標識Ma2)である場合には、CPU11は、デバイスドライバ20dを介してNFC装置20を起動させて非接触ICカードの情報を取得する動作を行わせ、得られたデータを取得する(ステップS107)。
検出された動作標識Maが「GPS」又は「現在地」(動作標識Ma3)である場合には、CPU11は、デバイスドライバ21dを介してGPS装置21を起動させて現在位置の取得動作を行わせ、現在位置に係る情報を取得する(ステップS108)。
ステップS106~ステップS108では、CPU11は、制御手段として機能する。
ステップS106、ステップS107又はステップS108の処理が終了すると、CPU11は、表示画面15aにおいて出力標識Mbを検出する(ステップS109)。ここでは、CPU11は、表示画面15a全体の画像データに対するOCR機能による文字認識処理の結果と、出力標識定義データ135とに基づいて出力標識Mbの位置を検出する。
ステップS109では、CPU11は、出力標識検出手段として機能する。
CPU11は、出力標識Mbの検出結果に基づいてテキストボックスTBを検出する(ステップS110)。ここでは、CPU11は、ステップS109で検出された出力標識Mbの位置に基づいて上述したアルゴリズムによりテキストボックスTBの位置を検出する。
ステップS110では、CPU11は、情報表示領域検出手段として機能する。
CPU11は、ステップS106、ステップS107又はステップS108で取得されたデータを上述の方法でテキストボックスTBに出力する(ステップS111)。
ステップS111では、CPU11は、出力手段として機能する。
ステップS111の処理が終了すると、CPU11は、デバイス制御支援処理を終了させる。
(変形例)
次に、上記実施形態の変形例について説明する。
上記実施形態では、動作標識Ma及び出力標識Mbが文字のみからなる例を用いて説明したが、これに限られず、動作標識Ma及び出力標識Mbは、図形や記号からなる標識であっても良い。また、動作標識Ma及び出力標識Mbは、文字、図形及び記号のうち二以上の組み合わせからなる標識であっても良い。したがって、動作標識Ma及び出力標識Mbは、テキストデータにより表示される文字や記号のほか、画像データにより表示される図形を含んでいても良い。
これらの場合にも、動作標識定義データ134では、表示画面15aにおいて動作標識Maを特定できる態様で動作標識Maが記憶され、各動作標識Maとデバイスの動作とが対応付けられて記憶される。また、出力標識定義データ135では、表示画面15aにおいて出力標識Mbを特定できる態様で出力標識Mbが記憶される。
以上のように、本実施形態に係る制御支援プログラム132は、表示部15と、表示部15の表示画面15a内の位置を特定する入力操作を受け付けるタッチパネル16と、所定の機能を有するデバイス(上記実施形態では、バーコードスキャナ19、NFC装置20又はGPS装置21)と、を備える情報処理端末1のCPU11(コンピュータ)を、表示画面15aにおける、入力操作により特定された位置から所定範囲R内に表示されている画像を取得する画像取得手段、取得された画像に特定の動作標識Maが含まれているか否かを判別する動作標識判別手段、上記画像に動作標識Maが含まれていると判別された場合に、予め当該動作標識Maに対応付けられて定められた動作を上記デバイスにより行わせる制御手段、として機能させる。
このような制御支援プログラム132を情報処理端末1に組み込むことで、より簡易に上記デバイスを制御することができる。すなわち、制御支援プログラム132を情報処理端末1に組み込むことで、業務アプリケーション133は、デバイスを制御するための特別な処理を行うことなく当該デバイスを制御することができる。よって、業務アプリケーション133の開発者は、業務アプリケーション133に、当該デバイスを制御、管理するためのプログラムを組み込む必要がないため、業務アプリケーション133を簡素化することができ、また業務アプリケーション133の開発に掛かる手間やコストを低減することができる。
また、制御支援プログラム132は、表示画面15aの領域R内の画像に動作標識Maが含まれているか否かの判別結果に基づいてデバイスを制御するため、業務アプリケーション133は、表示画面15aの画像に動作標識Maを含ませることによって上記デバイスの制御を可能にすることができる。よって、業務アプリケーション133における上記デバイスの制御に係る部分を飛躍的に簡素化することができる。
また、表示画面15aでは、上記デバイスを動作させるための動作標識Maが表示されるため、上記デバイスを動作させるための入力操作を視覚的、感覚的に分かりやすくすることができる。よって、ユーザは、動作標識Maの近傍の位置を特定する直感的な入力操作で上記デバイスを動作させることができる。
また、制御手段としてのCPU11は、情報を取得する動作を上記デバイスにより行わせ、制御支援プログラム132は、CPU11を、取得された情報を表示画面15aに表示させるための出力処理を行う出力手段として機能させる。これにより、上記デバイスにより取得された情報をユーザに視認させることができ、また業務アプリケーション133は、表示された情報を取得することで当該情報を用いた後続の処理を行うことができる。
また、表示画面15aには、取得された情報を表示可能なテキストボックスTBが設けられ、かつテキストボックスTBに対応する所定の出力標識Mbが表示され、制御支援プログラム132は、CPU11を、表示画面15aにおいて出力標識Mbを検出する出力標識検出手段、出力標識の検出結果に基づいてテキストボックスTBを検出する情報表示領域検出手段、として機能させ、出力手段としてのCPU11は、取得された情報をテキストボックスTB内に表示させるための出力処理を行う。このような構成によれば、制御支援プログラム132は、表示画面15aの画像に含まれる出力標識Mbの検出結果に基づいてテキストボックスTBを検出するため、業務アプリケーション133は、表示画面15aの画像に出力標識Mb及びテキストボックスTBを含ませることによって、上記デバイスにより取得された情報をテキストボックスTBに表示させることができる。よって、業務アプリケーション133の構成をより簡素化することができる。また、ユーザは、情報を表示させる(入力する)ためにテキストボックスTBを選択する必要がないため、ユーザ利便性を高めることができる。また、業務アプリケーション133は、テキストボックスTBに入力されたデータを取得する簡易な処理で、上記デバイスにより得された情報を取得することができる。
また、情報処理端末1は、複数のデバイス(上記実施形態では、バーコードスキャナ19、NFC装置20又はGPS装置21)を備え、判別手段としてのCPU11は、複数の動作標識Maの各々が上記複数のデバイスのいずれかの動作と対応付けられている動作標識定義データ134に基づいて、画像に複数の動作標識Maのうちいずれかの動作標識Maが含まれているか否かを判別し、制御手段としてのCPU11は、動作標識定義データ134に基づいて、上記複数のデバイスのうち、判別手段により画像に含まれていると判別された動作標識Maに対応するデバイスにより上記動作を行わせる。これにより、業務アプリケーション133は、表示画面15a内に複数の動作標識Maを表示させることで、当該複数の動作標識Maに対応付けられた複数のデバイスの制御を可能にすることができる。よって、簡素な構成の業務アプリケーション133によって複数のデバイスを制御することができる。
また、動作標識Maは、文字、図形若しくは記号、又はこれらの組み合わせから構成することができるため、動作標識Maを、ユーザがデバイスとの対応関係を直観的に把握しやすい構成とすることができる。また、情報処理端末1の表示画面15aのデザイン性を高めることができる。
また、情報処理端末1は、複数のデバイス(上記実施形態では、表示部15、タッチパネル16、操作キー17、通信装置18、バーコードスキャナ19、NFC装置20及びGPS装置21)を備え、情報処理端末1には、当該複数のデバイスのうち特定のデバイス(上記実施形態では、バーコードスキャナ19、NFC装置20及びGPS装置21)を除くデバイスの動作の制御を行うOS131が組み込まれており、制御手段としてのCPU11は、上記特定のデバイスをOS131を介さずに制御して上記動作を行わせる。このような構成で制御支援プログラム132を情報処理端末1に組み込むことで、簡易な構成の業務アプリケーション133により、OS131によってサポートされていないデバイスを制御することができる。
また、入力手段として、表示画面15aに重ねられて設けられ、表面への接触を入力操作として受け付けるタッチパネル16を用いることで、ユーザは、直感的な入力操作でデバイスを動作させることができる。
また、上記実施形態に係る情報処理端末1は、表示部15と、表示部15の表示画面15a内の位置を特定する入力操作を受け付けるタッチパネル16と、所定の機能を有するデバイスと、CPU11と、を備え、CPU11は、表示画面15aにおける、入力操作により特定された位置から所定範囲R内に表示されている画像を取得し(画像取得手段)、
取得された画像に特定の動作標識Maが含まれているか否かを判別し(動作標識判別手段)、画像に動作標識Maが含まれていると判別された場合に、予め当該動作標識Maに対応付けられて定められた動作を上記デバイスにより行わせる(制御手段)。このような構成によれば、情報処理端末1に組み込まれる業務アプリケーション133は、デバイスを制御するための特別な処理を行わなくても当該デバイスを制御することができる。よって、より簡易に上記デバイスを制御することができるため、業務アプリケーション133を簡素化することができ、また業務アプリケーション133の開発に掛かる手間やコストを低減することができる。
以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてROM13等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD-ROMやフラッシュメモリ等により構成される可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も本発明に適用される。
なお、上記実施形態における記述は、本発明に係るプログラム及び情報処理端末の実施形態の一例であり、本発明はこれに限定されるものではない。
例えば、動作標識定義データ134において、動作標識Maに対応するデバイスの動作に加え、当該動作のオプション(デバイスを動作させるための処理のオプション)を設定し、デバイス制御部132bが、当該オプションを反映させたデバイスの制御を行うようにしても良い。例えば、バーコードスキャナ19によるバーコードの読み取り動作について、読み取るバーコードの種別やバーコードの最大長さを指定するオプションを動作標識Maに対応付けて設定することで、バーコードの読み取り精度を向上させても良い。
また、制御支援プログラム132により動作標識Maの検出結果に基づいて制御されるデバイスは、バーコードスキャナ19、NFC装置20及びGPS装置21に限られず、カメラ、プリンタ、スピーカー等の、所定の機能を有する種々のデバイスであっても良い。また、上記実施形態における表示部15や通信装置18が制御支援プログラム132により制御されても良い。例えば、範囲R内の画像に所定の動作標識Maが検出された場合に、表示部15に所定の画像を表示させたり、通信装置18によって所定の送信先に所定のデータを送信させたりしても良い。
また、範囲R内に複数の動作標識Maが含まれていた場合に、動作標識判別部132aが所定のアルゴリズムに従って一の動作標識Maを決定するようにしても良い。例えば、複数の動作標識Maのうち、動作標識Maの中心が、入力操作がなされた位置Pに最も近い一の動作標識Maを選択しても良い。また、動作標識定義データ134内で各動作標識Maに優先順位を定めておき、範囲R内に複数の動作標識Maが含まれていた場合に、当該優先順位に従って一の動作標識Maを定めても良い。
また、上記実施形態では、スキャンボタンB1、NFCボタンB2及びGPSボタンG3の枠の中に動作標識Maをそれぞれ表示させる例を用いて説明したが、動作標識Maの表示態様はこれに限られない。動作標識Maの表示態様は、当該動作標識Maが動作標識判別部133aにより判別可能であればどのようなものであっても良く、例えば、操作ボタンを示す枠に囲まれていない態様で表示されていても良い。
また、表示画面15aにおける位置を特定するための入力操作を受け付ける入力手段は、タッチパネル16に限られない。例えば、操作キー17や、各種公知のポインティングデバイスデバイス等により表示画面15aにおける位置を特定するための入力操作が行われても良い。
また、出力部132eによる情報の出力方法は、テキストボックスTBへの出力に限られない。例えば、OS131により提供されるクリップボードにデータをコピーして業務アプリケーション133に受け渡しても良い。
また、表示画面15aは、業務アプリケーション133により生成されたものに限られない。例えば、通信装置18により外部から取得した情報リソース(HTMLファイル等)に基づいてウェブブラウザにより構成された表示画面であっても良い。また、表示画面15aは、GUI(Graphical User Interface)を用いて構成されたものに限られず、CUI(Character User Interface)を用いて構成されたものであっても良い。
また、書き込み可能な記憶部に動作標識定義データ134や出力標識定義データ135を記憶させておき、これらの定義データの追加や変更を行うことができるようにしても良い。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末のコンピュータを、
前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段、
前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段、
前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御手段、
として機能させることを特徴とするプログラム。
<請求項2>
前記制御手段は、情報を取得する前記動作を前記デバイスにより行わせ、
当該プログラムは、前記コンピュータを、前記取得された情報を前記表示画面に表示させるための出力処理を行う出力手段として機能させることを特徴とする請求項1に記載のプログラム。
<請求項3>
前記表示画面には、前記取得された情報を表示可能な情報表示領域が設けられ、かつ前記情報表示領域に対応する所定の出力標識が表示され、
当該プログラムは、前記コンピュータを、
前記表示画面において前記出力標識を検出する出力標識検出手段、
前記出力標識の検出結果に基づいて前記情報表示領域を検出する情報表示領域検出手段、
として機能させ、
前記出力手段は、前記取得された情報を前記情報表示領域内に表示させるための前記出力処理を行うことを特徴とする請求項2に記載のプログラム。
<請求項4>
前記情報処理端末は、複数の前記デバイスを備え、
前記動作標識判別手段は、複数の前記動作標識の各々が前記複数のデバイスのいずれかの動作と対応付けられている動作標識情報に基づいて、前記画像に前記複数の動作標識のうちいずれかの動作標識が含まれているか否かを判別し、
前記制御手段は、前記動作標識情報に基づいて、前記複数のデバイスのうち、前記動作標識判別手段により前記画像に含まれていると判別された前記動作標識に対応するデバイスにより前記動作を行わせることを特徴とする請求項1から3のいずれか一項に記載のプログラム。
<請求項5>
前記動作標識は、文字、図形若しくは記号、又はこれらの組み合わせであることを特徴とする請求項1から4のいずれか一項に記載のプログラム。
<請求項6>
前記情報処理端末は、複数の前記デバイスを備え、
前記情報処理端末には、前記複数のデバイスのうち特定のデバイスを除くデバイスの動作の制御を行うオペレーティングシステムが組み込まれており、
前記制御手段は、前記特定のデバイスを前記オペレーティングシステムを介さずに制御して前記動作を行わせることを特徴とする請求項1から5のいずれか一項に記載のプログラム。
<請求項7>
前記入力手段は、前記表示画面に重ねられて設けられ、表面への接触を前記入力操作として受け付けるタッチパネルであることを特徴とする請求項1から6のいずれか一項に記載のプログラム。
<請求項8>
表示部と、
前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、
所定の機能を有するデバイスと、
前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段と、
前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段と、
前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御手段と、
を備えることを特徴とする情報処理端末。
1 情報処理端末
11 CPU(コンピュータ、画像取得手段、動作標識判別手段、制御手段、出力手段、出力標識検出手段、情報表示領域検出手段)
12 RAM
13 ROM
14 電源部
15 表示部
15a 表示画面
15d~21d デバイスドライバ
16 タッチパネル(入力手段)
17 操作キー
18 通信装置
19 バーコードスキャナ
20 NFC装置
21 GPS装置
22 バス
131 OS
132 制御支援プログラム
132a 動作標識判別部
132b デバイス制御部
132c 出力標識検出部
132d テキストボックス検出部
132e 出力部
132f OCR部
133 業務アプリケーション
134 動作標識定義データ(動作標識情報)
135 出力標識定義データ
B1 スキャンボタン
B2 NFCボタン
B3 GPSボタン
Ma、Ma1~Ma3 動作標識
Mb 出力標識
TB テキストボックス(情報表示領域)

Claims (13)

  1. 表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末のコンピュータを、
    前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段、
    前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段、
    前記画像に前記動作標識が含まれていると判別された場合に、所定のコードをスキャンして情報を取得する動作を前記デバイスにより行わせる制御手段、
    として機能させることを特徴とするプログラム。
  2. 当該プログラムは、前記コンピュータを、
    前記情報が取得された場合にこの取得された情報を前記表示画面に表示させる出力制御手段としてさらに機能させることを特徴とする請求項1に記載のプログラム。
  3. 前記表示画面には、前記取得された情報を表示可能な情報表示領域が設けられ、かつ前記情報表示領域に対応する所定の出力標識が表示され、
    当該プログラムは、前記コンピュータを、
    前記表示画面において前記出力標識を検出する出力標識検出手段、
    前記出力標識の検出結果に基づいて前記情報表示領域を検出する情報表示領域検出手段、
    としてさらに機能させ、
    前記出力制御手段は、前記取得された情報を前記情報表示領域内に表示させることを特徴とする請求項2に記載のプログラム。
  4. 表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末のコンピュータを、
    前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段、
    前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段、
    前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御手段、
    として機能させ、
    前記情報処理端末は、複数の前記デバイスを備えており、
    前記動作標識判別手段は、複数の前記動作標識の各々が前記複数のデバイスのいずれかの動作と対応付けられている動作標識情報に基づいて、前記画像に前記複数の動作標識のうちいずれかの動作標識が含まれているか否かを判別し、
    前記制御手段は、前記動作標識情報に基づいて、前記複数のデバイスのうち、前記動作標識判別手段により前記画像に含まれていると判別された前記動作標識に対応するデバイスにより前記動作を行わせることを特徴とするプログラム。
  5. 表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末のコンピュータを、
    前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段、
    前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段、
    前記画像に前記動作標識が含まれていると判別された場合に、所定の情報を取得する動作を前記デバイスにより行わせる制御手段、
    前記所定の情報が取得された場合にこの取得された情報を前記表示画面に表示させる出力制御手段、
    として機能させることを特徴とするプログラム。
  6. 前記動作標識は、文字、図形若しくは記号、又はこれらの組み合わせであることを特徴とする請求項1から5のいずれか一項に記載のプログラム。
  7. 前記入力手段は、前記表示画面に重ねられて設けられ、表面への接触を前記入力操作として受け付けるタッチパネルであることを特徴とする請求項1から6のいずれか一項に記載のプログラム。
  8. 表示部と、
    前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、
    所定の機能を有するデバイスと、
    前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段と、
    前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段と、
    前記画像に前記動作標識が含まれていると判別された場合に、所定のコードをスキャンして情報を取得する動作を前記デバイスにより行わせる制御手段と、
    を備えることを特徴とする情報処理端末。
  9. 表示部と、
    前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、
    所定の機能を有するデバイスと、
    前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段と、
    前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段と、
    前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御手段と、
    を備える情報処理端末であって、
    複数の前記デバイスを備え、
    前記動作標識判別手段は、複数の前記動作標識の各々が前記複数のデバイスのいずれかの動作と対応付けられている動作標識情報に基づいて、前記画像に前記複数の動作標識のうちいずれかの動作標識が含まれているか否かを判別し、
    前記制御手段は、前記動作標識情報に基づいて、前記複数のデバイスのうち、前記動作標識判別手段により前記画像に含まれていると判別された前記動作標識に対応するデバイスにより前記動作を行わせることを特徴とする情報処理端末。
  10. 表示部と、
    前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、
    所定の機能を有するデバイスと、
    前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段と、
    前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段と、
    前記画像に前記動作標識が含まれていると判別された場合に、所定の情報を取得する動作を前記デバイスにより行わせる制御手段と、
    前記所定の情報が取得された場合にこの取得された情報を前記表示画面に表示させる出力制御手段と、
    を備えることを特徴とする情報処理端末。
  11. 表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末が実行する制御方法であって、
    前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得処理と、
    前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別処理と、
    前記画像に前記動作標識が含まれていると判別された場合に、所定のコードをスキャンして情報を取得する動作を前記デバイスにより行わせる制御処理と、
    を含むことを特徴とする制御方法。
  12. 表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末が実行する制御方法であって、
    前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得処理と、
    前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別処理と、
    前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御処理と、
    を含み、
    前記情報処理端末は、複数の前記デバイスを備えており、
    前記動作標識判別処理は、複数の前記動作標識の各々が前記複数のデバイスのいずれかの動作と対応付けられている動作標識情報に基づいて、前記画像に前記複数の動作標識のうちいずれかの動作標識が含まれているか否かを判別し、
    前記制御処理は、前記動作標識情報に基づいて、前記複数のデバイスのうち、前記動作標識判別処理で前記画像に含まれていると判別された前記動作標識に対応するデバイスにより前記動作を行わせることを特徴とする制御方法。
  13. 表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末が実行する制御方法であって、
    前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得処理と、
    前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別処理と、
    前記画像に前記動作標識が含まれていると判別された場合に、所定の情報を取得する動作を前記デバイスにより行わせる制御処理と、
    前記所定の情報が取得された場合にこの取得された情報を前記表示画面に表示させる出力制御処理と、
    を含むことを特徴とする制御方法。
JP2017171648A 2017-09-07 2017-09-07 プログラム、情報処理端末及び制御方法 Active JP7020004B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017171648A JP7020004B2 (ja) 2017-09-07 2017-09-07 プログラム、情報処理端末及び制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017171648A JP7020004B2 (ja) 2017-09-07 2017-09-07 プログラム、情報処理端末及び制御方法

Publications (2)

Publication Number Publication Date
JP2019046396A JP2019046396A (ja) 2019-03-22
JP7020004B2 true JP7020004B2 (ja) 2022-02-16

Family

ID=65814484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017171648A Active JP7020004B2 (ja) 2017-09-07 2017-09-07 プログラム、情報処理端末及び制御方法

Country Status (1)

Country Link
JP (1) JP7020004B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2023037455A1 (ja) * 2021-09-08 2023-03-16

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014041870A1 (ja) 2012-09-11 2014-03-20 Necカシオモバイルコミュニケーションズ株式会社 電子機器、電子機器の制御方法、及び記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014041870A1 (ja) 2012-09-11 2014-03-20 Necカシオモバイルコミュニケーションズ株式会社 電子機器、電子機器の制御方法、及び記録媒体

Also Published As

Publication number Publication date
JP2019046396A (ja) 2019-03-22

Similar Documents

Publication Publication Date Title
US12003584B2 (en) Mobile computing device with data cognition software
US9727840B2 (en) Package physical characteristic identification system and method in supply chain management
US20180001769A1 (en) System and method for display of information using a vehicle-mount computer
US9710687B2 (en) Method and device for identifying two-dimensional barcodes
US20160179368A1 (en) Intelligent small screen layout and pop-up keypads for screen-only devices
US8840026B2 (en) Information processing apparatus, information processing method, program and information processing system
KR101843431B1 (ko) Pos 단말, pos 시스템 및 pos 단말의 제어 방법
KR20100023830A (ko) Ic 카드 수납 장치, 표시 방법, 데이터 제공 시스템, 서버 장치 및 데이터 제공 방법
JP5003104B2 (ja) アクセス装置及びプログラム
US10860994B2 (en) Information processing device, information processing system, computer readable medium, and control method
JP2016162178A (ja) 物品管理装置
JP7020004B2 (ja) プログラム、情報処理端末及び制御方法
US10867141B2 (en) System and method for augmented reality configuration of indicia readers
US11532146B2 (en) Information processing system, information processing method, and information processing apparatus for assisting input of information
CN107015665B (zh) 用于在显示器上接受触摸输入的符号输入设备和系统
JP6977435B2 (ja) プログラム、情報処理端末及び設定支援方法
US10547351B2 (en) Information processing device, display device, short-range wireless communication system, and method for controlling information processing device
CN108228113B (zh) 信息处理装置、记录介质、打印装置及打印系统
JP6922571B2 (ja) プログラム、情報処理端末及び制御方法
JP6787057B2 (ja) 売上データ処理システム及び売上データ処理方法
JP4543741B2 (ja) グラフ作成装置、プログラムおよび記録媒体
JP6763364B2 (ja) 売上データ処理装置、売上データ処理方法、および、売上データ処理プログラム
JP2006343810A (ja) 自動販売機管理システム
US10042593B2 (en) Printer smart folders using USB mass storage profile
JP2006121203A (ja) 出力システム及び出力先選択装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R150 Certificate of patent or registration of utility model

Ref document number: 7020004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150