先ず、図1において、本発明の撮像対象である印刷装置としてのラベル作成装置を説明する。ラベル作成装置(以下、単に「実機」とも称する)10は、電源ボタン11と、印刷ボタン12と、各種テンキーや英字キー等の操作キー部13と、文字入力時に入力文字等を表示する表示部14と、入力した文字に基づくラベル印刷を実行した際にラベルをカットするためのラベルカットレバー15と、を操作対象部位として備えている。なお、ラベル作成装置10は、例えば、図示しないパーソナルコンピュータとの接続用のUSB接続部や電源接続部等を備え、常時は交換式の電池から電源供給されるようになっている。
また、ラベル作成装置10は、例えば、販売時のパッケージや取扱説明書において、図2に示すように、簡易取扱説明書20によって利用者に操作に関する情報等を認識可能としている。この簡易取扱説明書20は、通常のラベル印刷時における必要最低限の操作に関する取扱説明書又は使用説明書で良く、例えば、電源投入(図2の左上)操作、文字入力操作(図2の右上)、印刷実行操作(図2の左下)、ラベルカット操作(図2の右下)等が印刷されている。ここで、取扱説明書には、例えば、直観的な操作を認識させるため、ラベル作成装置10及び操作する手(又は指)の全部または一部を模した絵や写真を印刷しており、その他の情報等は印刷されていなくても良い。これにより、取扱説明書の記入情報の簡素化並びに頁数の削減に貢献することができる。
図3に示すように、情報端末30には、例えば、スマートフォンが用いられている。この情報端末30は、例えば、表面側に通話等のためのスピーカ部31及びマイク部32と、タッチパネル方式の液晶表示器等のタッチパネル部33と、を有する。なお、情報端末30の裏面側に撮像手段としてのカメラ部34が設けられている。さらに、情報端末30の内部には、通話やインターネット接続のための通信部(図示せず)、各種機能を実行するためのプラグラムを記憶したROM(図示せず)、一時的な情報記録用のRAM(図示せず)、ROMに記憶したプログラムを実行するためのCPU(図示せず)等の公知の情報処理部を備えている。
情報端末30のROMには、ラベル作成装置10の特徴形状部や、コンテンツ又はコンテンツ関連情報及び上述した操作対象部位が操作されたときのラベル作成装置10の動作挙動に係わる動画情報を各操作対象部位に対応づけて記憶している。また、情報端末30のカメラ部34は、撮像した画像をタッチパネル部33に表示するようになっている。
これにより、ラベル作成装置10や簡易取扱説明書20は、例えば、図3に示すように、ラベル作成装置10を情報端末30のカメラ部34で撮像することによって、ラベル作成装置10の外観形状、各種ボタン11,12,13、或いは表示部14やラベルカットレバー15の大きさ、位置、形状等を特徴形状部として識別し、その機種を特定したうえで各種ボタン11,12,13、或いは表示部14やラベルカットレバー15の操作対象部位の説明等をタッチパネル部33にAR表示することができる。なお、AR表示技術そのものは公知の技術を用いている。
具体的には、図4に示すように、情報端末30のカメラ部34で撮像したラベル作成装置10の画像をタッチパネル部33に表示している際に、その撮像対象とROMに記憶した特徴形状部をCPUで比較し、撮像対象がROMに記憶した特徴形状部に含まれるとしたときに、ラベル作成装置10として、タッチパネル部33の表示外観上に直接文章を表示するデモのパターン(例えば、「電源ボタンを押して下さい」等)を示すコンテンツ35を表示する。
また、情報端末30のカメラ部34で撮像したラベル作成装置10の画像をタッチパネル部33に表示している際に、その撮像対象とROMに記憶した特徴形状部とをCPUで比較し、撮像対象がROMに記憶した特徴形状部に含まれているときに、ラベル作成装置10として、表示外観上に対応する捜査対象部位からの引き出した引出線に加えて矩形枠等で囲った「ボタン名」等を表示してタップ待ちとするコンテンツ関連情報36を表示する。
なお、タップは、コンテンツ35、コンテンツ関連情報36、タッチパネル部33に表示している各種ボタン11,12,13等を利用することができる。
この際、カメラ部34のズーム機能や、情報端末30をラベル作成装置10に接近又は離間させることにより、タッチパネル部33に表示している表示外観の大きさやコンテンツ関連情報36等の表示サイズも変更することができる。
また、簡易取扱説明書20を利用した場合には、ラベル作成装置10の印刷画像に加え、操作状態を示す手や指等も特徴形状部として認識する。これにより、情報端末30では、図5に示すように、カメラ部34で撮像した状態そのものを特徴形状部として認識する。
すなわち、情報端末30のROMには、簡易取扱説明書20の特徴形状部や、コンテンツ35又はコンテンツ関連情報36及び上述した操作対象部位が操作されたときのラベル作成装置10の動作挙動に係わる動画情報を各操作対象部位に対応づけて記憶している。
具体的には、図5に示すように、情報端末30のカメラ部34で撮像した画像をタッチパネル部33に表示している際に、その撮像対象とROMに記憶した特徴形状部をCPUで比較し、撮像対象がROMに記憶した特徴形状部に含まれるときに、図6に示すように、ラベル作成装置10と手を模した絵や写真(以下、単に「外観像」とも称する)を、タッチパネル部33の表示外観上に直接文章(例えば、「電源ボタンを押して下さい」等)を表示するデモのパターンを示すコンテンツ35を表示する。
また、情報端末30のカメラ部34で撮像した画像をタッチパネル部33に表示している際に、その撮像対象とROMに記憶した特徴形状部とをCPUで比較し、撮像対象がROMに記憶した特徴形状部に含まれているときに、外観像を、表示外観上に対応する捜査対象部位から引き出した引出線に加えて矩形枠等で囲った「ボタン名」等を表示してタップ待ちとするコンテンツ関連情報36を表示する。
ここで、タッチパネル部33には、例えば、日本語表示ボタン33aと英語表示ボタン33bとが表示されている。これにより、CPUは、常時(又は初期設定)においては日本語によりコンテンツ35やコンテンツ関連情報36等を表示する。また、CPUは、日本語表示状態において、英語表示ボタン33bをタップ操作すると、英語によるコンテンツ35やコンテンツ関連情報36の表示に切り替える。なお、ラベル作成装置10が英語圏用の装置(形状や銘板)である場合、情報端末30のGPS機能を利用して取得した現在位置の母国語が英語圏である場合、情報端末30の言語設定が英語である場合、情報端末30は、これらを切替補助情報として、初期設定又は自動的に切り替えて英語表示とする。
さらに、図7に示すように、コンテンツ関連情報36は、タッチパネル部33に表示した外観像のうち表示部14に相当する部位に、直接文章(例えば、「電源ボタンを押して下さい」等)を一度に又はスクロールによるデモのパターンを示すコンテンツ35を表示する。
また、図8に示すように、コンテンツ関連情報36は、タッチパネル部33に表示した外観像のうち、印刷ボタン12に相当する部位を表示している場合に、図9に示すように、コンテンツ35としての「印刷ボタン」やコンテンツ関連情報36としての「印刷ボタンを押して下さい」、或いは印刷ボタン12を模した外観像等をタップしたときには、図10に示すように、あたかも印刷を実行しているように引き出されるラベルを模した動画情報37を表示する。
さらに、図11に示すように、コンテンツ関連情報36は、タッチパネル部33に表示した外観像のうち、ラベルカットレバー15に相当する部位を表示している場合に、図12に示すように、コンテンツ35を表示する。このコンテンツ35には、例えば、スピーカマーク35aが表示される。そして、このスピーカマーク35aをタップすると、コンテンツ35と同じ内容の音声をスピーカ部31から出力する。
このように、予め定められた、特徴形状部及び操作対象部位(電源ボタン11、印刷ボタン12、操作キー部13、表示部14、ラベルカットレバー15等)、を備えるラベル作成装置10の外観(実機)又は簡易取扱説明書20等の外観像の少なくとも一部を撮像して対応する撮像画像データを生成するカメラ部34と、所望の操作機能及び所望の表示機能を備えたタッチパネル部33と、を有する情報端末30は、プログラムに基づいて各種処理を行うCPUを備えている。
以下、情報端末30のCPUによるメイン処理ルーチンを図13を参照して説明する。
先ず、情報端末30のCPUは、ROMに記憶したプログラムにより、ARモードを起動する(ステップS1)。
次に、情報端末30のCPUは、タッチパネル部33をフルスクリーン表示とするための処理を含むARモードの起動処理中であるスプラッシュスクリーン処理を実行する(ステップS2)。
情報端末30のCPUは、ROMに記憶した特徴形状部に関するデータを取得し、例えばRAMに一時格納する(ステップS3)。なお、特徴形状部に関するデータをRAMに一時記憶したのは、処理速度の確保のためであり、その必要が無い場合にはROMに記憶した特徴形状部に関するデータを直接利用する。
情報端末30のCPUは、カメラ部34を起動し(ステップS4)、カメラ部34で撮像(リアルタイム)したデータから撮像画像データを生成してタッチパネル部33に表示する(ステップS5)。
情報端末30のCPUは、撮像画像データとRAMに一時記憶した特徴形状部に関するデータとを比較して、特徴形状部が撮像画像データに含まれるか否かを判定する(ステップS6)。
なお、このステップS6での比較判定は、特徴形状部が撮像画像データに含まれない場合には、カメラ部34で撮像(リアルタイム)したデータから撮像画像データを生成してタッチパネル部33に表示しつつ、継続して特徴形状部が撮像画像データに含まれるか否かを判定する。
ここで、情報端末30のCPUは、特徴形状部が撮像画像データに含まれている場合には、対応する特徴形状部に含まれる操作対象部位のコンテンツ35又はコンテンツ関連情報36を取得する(ステップ7)。
ここで、情報端末30のCPUは、タッチパネル部33に、カメラ部34で撮像したデータに基づく画像とコンテンツ35又はコンテンツ関連情報36をビデオファイルから作成されたアニメーション化した画像とで、AR表示する。
そして、このAR表示状態において、情報端末30のCPUは、待機状態となる。なお、情報端末30が移動された場合には、上述したステップS5以降のルーチンをリアルタイムで表示する。
次に、図14に基づいて言語切り換えモードの説明をする。なお、この言語切り換えモードは、割り込みモードであって、ステップS9以降のルーチンにおいて、例えば、図6に示すように、日本語表示ボタン33aと英語表示ボタン33bとが表示されているときに割り込み可能となっている。
情報端末30のCPUは、言語切り換え、すなわち、英語表示ボタン33bがタップされたことを認識すると(ステップS11)、現在表示状態のコンテンツ35又はコンテンツ関連情報36の日本語表示を英語表示に切り替え(ステップS12)、実質的にステップS9と同様の画像処理(3D表示)を行って(ステップS13)、待機状態となる。
次に、図15に基づいて、動画再生モードの説明をする。なお、この動画生成モードにおいても、割り込みモードであって、ステップS9以降のルーチンにおいて、例えば、図9に示すように、動画対象であるコンテンツ35を表示しているときに、該当するコンテンツ35や外観像上の印刷ボタン12をタップしたときに割り込み可能となっている。
情報端末30のCPUは、動画対象であるコンテンツ35又は印刷ボタン12を表示しているときに、これらを操作対象部位としてタップされると(ステップS21),RAM(又はROM)から動画データを取得し(ステップS22)、例えば、図10に示すように、あたかも実際の印刷時のラベルが引き出されるような動画の表示を開始する(ステップS23)。
情報端末30のCPUは、例えば、動画再生途中において、動画停止操作、例えば、動画対象であるコンテンツ35又は印刷ボタン12等の操作対象部位が再びタップされたか否かを監視し(ステップS24)、タップされた場合には動画の再生を停止する(ステップS25)。
情報端末30のCPUは、例えば、動画再生途中において、動画停止操作、例えば、動画対象であるコンテンツ35又は印刷ボタン12等の操作対象部位が連続したダブルタップされたか否かを監視し(ステップS26)、ダブルタップされた場合には該当する部分のみの全画面表示用の動画情報をRAMから取得し(ステップS27),例えば、図10の二点鎖線で囲む全画面表示(例えば、二点鎖線33Aで囲む範囲を拡大)に切り替えて動画の再生を継続する(ステップS28)。
そして、情報端末30のCPUは、動画再生が終了するまで、実質的にステップS23又はステップS28を待機し、動画再生が終了した場合には、ステップS10の待機となる。また、ステップS28の全画面表示において、動画再生中に再度のタップがあった場合、元の動画表示サイズに戻るようにすることもできる。
次に、図16に基づいて音声出力モードの説明をする。なお、この音声出力モードは、割り込みモードであって、ステップS9以降のルーチンにおいて、例えば、図12に示すように、スピーカマーク35aが表示されているときに割り込み可能となっている。
情報端末30のCPUは、音声出力、すなわち、スピーカマーク35aがタップされたことを認識すると(ステップS31)、図12に示すように、現在表示状態のコンテンツ35の日本語表示と同一の文字に対応する音声をスピーカ部31から出力して(ステップS32)、待機状態となる。
ところで、上記実施の形態では、例えば、印刷ボタン12に対応する画像をタッチパネル部33に表示しているときに、「印刷ボタンを押して下さい」といったメッセージをコンテンツ35として表示してタップ可能としたものを開示したが、そのメッセージ内容は、より詳細な操作内容等を表示することができる。
例えば、上述したUSB接続部であれば、接続可能な機器(例えば、プリンタや複合機といったラベル作成以外の印刷装置やパーソナルコンピュータ等)の文字や画像を、電源接続部であれば、アダプタの入力(例えば、100V〜240V)や出力(18V)などの規格等の数値を表示することができる。
さらに、上記実施の形態では、ラベル作成装置10の外側を対象としたが、カバーを取り外した状態の内部を対象とすることができる。例えば、電池やラベルカートリッジの交換方法情報、電池やラベルカートリッジの種類や番号といった商品情報、サーマルヘッドに対する危険情報(高温部分)といった各種情報をコンテンツ35として表示することが可能である。
このように、CPUは、カメラ部34により生成された撮像画像データに、特徴形状部が含まれるか否かを判定し(ステップS6)、撮像画像データに特徴形状部が含まれると判定されたことを契機に、操作対象部位に係わるコンテンツ35又はコンテンツ関連情報36及び当該操作対象部位が操作されたときのラベル作成装置10の動作挙動に係わる動画情報37を当該操作対象部位に対応づけて記憶したROMから、対応する操作対象部位が撮像画像データに含まれるコンテンツ35又はコンテンツ関連情報36を取得し(ステップS7)、タッチパネル部33の、コンテンツ35又はコンテンツ関連情報36に係わる操作対象部位を表示した表示領域に対し、操作者によるタップ操作が行われたか否かを判定するタップ判定手順(ステップS21)と、タップ判定手順で表示領域に対しタップ操作が行われたと判定された場合に、ROMに記憶された、当該タップ操作に対応する動画情報37を取得する動画取得手順(ステップS22)と、動画取得手順で取得された動画情報37を表示するようにタッチパネル部33を制御する第1表示制御手順(ステップS23)と、を実行する。
このように、本実施の形態の画像処理プログラムが実行される情報端末30は、カメラ部34と、タッチパネル部33と、ROMと、を備えている。そして、カメラ部34でラベル作成装置10又は簡易取扱説明書20を撮像することにより、ラベル作成装置10又は簡易取扱説明書20の撮像画像に対して所定のコンテンツ35又はコンテンツ35に関連するコンテンツ関連情報36が付加された、新たな画像(AR)が生成され、タッチパネル部33において表示される。
すなわち、ラベル作成装置10の外観又は簡易取扱説明書20の外観像には、ラベル作成装置10の外観形状、各種ボタン11,12,13、或いは表示部14やラベルカットレバー15の大きさ、位置、形状等の特徴形状部と、コンテンツ等35,36が対応付けられる各種ボタン11,12,13ラベルカットレバー15等の所定の操作対象部位とが備えられている。
また、情報端末30のROMには、コンテンツ等35,36と、操作対象部位が操作されたときのラベル作成装置10の動作挙動に係わる動画情報37、例えば、操作対象部位が操作されたときに操作対象部位を含むラベル作成装置10全体がどのように動作するかを表すものとが、操作対象部位に固有に対応付けられた態様で記憶されている。
そして、本実施の形態の画像処理プログラムが情報端末30のCPUで実行されると、まずステップS6の特徴判定手順で、カメラ部34の撮像により生成された撮像画像データの中に、特徴形状部が含まれるか否かが判定される。特徴形状部が含まれており判定が満たされた場合には、これを契機に、ステップS7のコンテンツ取得手順が実行される。
すなわち、本実施の形態においては、ラベル作成装置10の特徴形状部が撮像されることをトリガーとして、以降の各処理が順次行われることとなる。
すなわち、ステップS7のコンテンツ取得手順では、情報端末30のROMに記憶された複数のコンテンツ等35,36のうち、対応する操作対象部位が撮像画像データに含まれるもの、言い替えればカメラ部34の撮像視野範囲内に操作対象部位が存在するものが少なくとも取得される。
そして、タッチパネル部33の、操作対象部位の表示領域を操作者がタップ操作すると、ステップS21のタップ判定手順でタップ操作が行われた旨の判定が行われる。すると、その後のステップS22の動画取得手順で、前述のように情報端末30のROMに記憶されていたタップ操作に対応する動画情報が取得され、ステップS23の第1表示制御手順でその動画情報がタッチパネル部33において表示される。
以上のようにして、本実施の形態においては、ラベル作成装置10の外観又は簡易取扱説明書20の外観像を撮像することで、その撮像画像中に含まれる操作対象部位に、対応する内容のコンテンツ等35,36を併せて表示することができる。さらに、その操作対象部位にタップ操作を行うことで、現実のラベル作成装置10の動作と同様の動作挙動をタッチパネル部33上に表示しシミュレーションすることができる。
これにより、操作者は、ラベル作成装置10の実物やラベル作成装置10の外観を表す写真・図等(簡易取扱説明書20)さえあれば、特に取扱説明書の詳細を読まなくてもラベル作成装置10の操作対象部位の機能、操作方法、警告等の各種情報、及び、その操作対象部位を操作したときの動作挙動を、容易かつわかりやすく知ることができる。この結果、操作者の利便性を向上することができる。
また、カメラ部34により生成された撮像画像データの操作対象部位に対し、情報端末30のCPUにより取得された操作対象部位に対応したコンテンツ35又はコンテンツ関連情報36を付加して、付加後画像データを生成するステップS8の画像生成手順と、ステップS8の画像生成手順で生成された付加後画像データを表示するようにタッチパネル部33を制御するステップS28の第2表示制御手順(ステップS28)と、を備え、ステップS26のタップ判定手順では、付加後画像データを表示したタッチパネル部33の、コンテンツ35又はコンテンツ関連情報36に係わる操作対象部位を表示した表示領域に対し、操作者によるタップ操作が行われたか否かを判定し、ステップS23の第1表示制御手順は、ステップS8の画像生成手順で生成されステップS28の第2表示制御手順で表示された付加後画像データに代えて、ステップS22の動画取得手順で取得された動画情報を表示するようにタッチパネル部33を制御する。
ステップS7のコンテンツ取得手順では、情報端末30のROMに記憶された複数のコンテンツ等35,36のうち、対応する操作対象部位が撮像画像データに含まれるもの、言い替えればカメラ部34の撮像視野範囲内に操作対象部位が存在するものが少なくとも取得される。
その後、ステップS8の画像生成手順において、取得されたコンテンツ等35,36を撮像画像データ中の対応する操作対象部位に付加した、新たな付加後画像データが生成される。これにより、撮像視野範囲内の操作対象部位にこれに対応するコンテンツ等35,36が付加された新たな画像データが生成され、その後のステップS28の第2表示制御手順においてタッチパネル部33において表示される。
そして、コンテンツ等35,36付きで操作対象部位を表示したタッチパネル部33の、操作対象部位の表示領域を操作者がタップ操作すると、ステップS21のタップ判定手順でタップ操作が行われた旨の判定が行われる。すると、その後のステップS22の動画取得手順で、前述のように情報端末30のROMに記憶されていたタップ操作に対応する動画情報が取得され、ステップS23の第1表示制御手順でその動画情報がタッチパネル部33において表示される。
さらに、ステップS22の動画取得手順は、タップ操作に係わる操作対象部位が、操作者が印刷物作成を指示するための印刷ボタン12(に対応する画像)であった場合には、ラベル作成装置10による印刷物作成及び印刷物排出の挙動を含む動画情報を取得する。
これにより、操作者は、実際にラベル作成装置10を動作させなくても、印刷物作成挙動や印刷物排出挙動をタッチパネル部33上でシミュレーションすることができる。この結果、操作者の利便性を確実に向上することができる。
また、例えば、店頭において、パッケージに印刷された写真を利用して印刷のシミュレーションを行うことで、印刷速度の確認等を行うことができるといったように、デモンストレーション用の機器の代用としての利用も可能となる。
また、本実施の形態の情報端末30のCPUは、カメラ部34により生成された撮像画像データに、特徴形状部が含まれるか否かを判定するステップS6の特徴判定手順と、ステップS6の特徴判定手順で撮像画像データに特徴形状部が含まれると判定されたことを契機に、複数のコンテンツ対象部位にそれぞれ係わる複数のコンテンツ35又はコンテンツ関連情報36を各コンテンツ対象部位にそれぞれ対応づけて記憶した情報端末30のROMから複数のコンテンツ35又はコンテンツ関連情報36のうち、対応するコンテンツ対象部位が撮像画像データに含まれるものを少なくとも取得するステップS7のコンテンツ取得手順と、カメラ部34により生成された撮像画像データのコンテンツ対象部位に対し、情報端末30のCPUにより取得されたコンテンツ対象部位に対応したコンテンツ35又はコンテンツ関連情報36を付加して、付加後画像データを生成するステップS8の画像生成手順と、ステップS8の画像生成手順で生成された付加後画像データをタッチパネル部33に表示するステップS9の表示制御手順と、を実行する。
本実施の形態の画像処理プログラムが実行される情報端末30は、カメラ部34と、タッチパネル部33と、ROMと、を備えている。そして、カメラ部34でラベル作成装置10の外観又は簡易取扱説明書20の外観像を撮像することにより、ラベル作成装置10の撮像画像に対して所定のコンテンツ35又はコンテンツ35に関連するコンテンツ関連情報36等が付加された、新たな画像が生成され、タッチパネル部33において表示される。
すなわち、ラベル作成装置10の外観又は簡易取扱説明書20の外観像には、少なくとも1つの特徴形状部と、コンテンツ等35,36がそれぞれ対応付けられる、所定の複数のコンテンツ対象部位とが備えられている。また、複数のコンテンツ等35,36は、それら複数のコンテンツ対象部位にそれぞれ固有に対応付けられた態様で情報端末30のROMに記憶されている。
そして、本実施の形態の画像処理プログラムが情報端末30のCPUで実行されると、まずステップS6の特徴判定手順で、カメラ部34の撮像により生成された撮像画像データの中に、特徴形状部が含まれるか否かが判定される。
特徴形状部が含まれているとの判定が満たされた場合には、これを契機に、ステップS7のコンテンツ取得手順が実行される。すなわち、本実施の形態においては、ラベル作成装置10の特徴形状部が撮像されることをトリガーとして、以降の各処理が順次行われることとなる。
ステップS7のコンテンツ取得手順では、情報端末30のROMに記憶された複数のコンテンツ等35,36のうち、対応するコンテンツ対象部位が撮像画像データに含まれるもの、言い替えればカメラ部34の撮像視野範囲内にコンテンツ対象部位が存在するものが少なくとも取得される。
その後、ステップS8の画像生成手順において、取得されたコンテンツ等35,36を撮像画像データ中の対応するコンテンツ対象部位に付加した、新たな付加後画像データが生成される。
これにより、撮像視野範囲内のコンテンツ対象部位にこれに対応するコンテンツ等35,36が付加された新たな画像データが生成され、その後のステップS9の表示制御手順においてタッチパネル部33において表示される。
以上のようにして、本実施の形態においては、ラベル作成装置10の外観又は簡易取扱説明書20の外観像を撮像するだけで、その撮像画像中に含まれるコンテンツ対象部位ごとに、部位に対応する内容のコンテンツ等35,36を、それぞれ併せて表示することができる。
これにより、操作者は、ラベル作成装置10の実物やラベル作成装置10の外観を表す写真・図等さえあれば、(特に取扱説明書の詳細を読まなくても)1つのラベル作成装置10の複数の部位に係わる機能、操作方法、警告等の各種情報を部位ごとに容易に知ることができ、利便性を向上することができる。
また、ステップS8の画像生成手順は、カメラ部34により生成された撮像画像データのコンテンツ対象部位に対し、コンテンツ関連情報36としてのコンテンツ対象部位の名称を含み、かつ操作者がタップ操作可能な、タップボタンを付加した付加後画像データ(コンテンツ等35,36や印刷ボタン12の画像)を生成する。
これにより、撮像視野範囲内にコンテンツ対象部位の名称表示を兼ねたタップボタンを表示しておき、そのタップボタンがさらにタップ操作されたときにコンテンツ35の内容自体が詳細に表示される、という構成とすることができる。
したがって、コンテンツ35の内容が比較的長文である場合等、コンテンツ35の内容を撮像視野内のコンテンツ対象部位に全文表示することが困難な場合に、特に有効である。
さらに、ステップS8の画像生成手順は、カメラ部34により生成された撮像画像データの時間的変化(例えば、撮影部位が左右にずれて視野が変わる場合)に係わらず、コンテンツ35又はコンテンツ関連情報36とこれに対応するコンテンツ対象部位との位置関係が、略一定に保たれるように、付加後画像データをリアルタイムで生成する。
これにより、カメラ部34による撮影視野が変わり、撮影視野内におけるコンテンツ対象部位が動いたとしても、コンテンツ対象部位のコンテンツ等35,36も同期して一緒に動く。この結果、タッチパネル部33において表示されているコンテンツ対象部位とコンテンツ等35,36との一体感を損なわずに維持することができる。
また、ステップS7のコンテンツ取得手順は、コンテンツ対象部位が操作者により操作される被操作部(印刷ボタン12やラベルカットレバー15等)である場合には、被操作部の操作方法(例えば、ラベルカットレバー15の場合)又は機能(例えば、印刷ボタン12)を含むコンテンツ35又はコンテンツ関連情報36を取得し、コンテンツ対象部位が他機器との接続部(USBや電源用のコネクタ等)である場合には、接続可能な機器情報を含むコンテンツ35又はコンテンツ関連情報36を取得し、コンテンツ対象部位が要注意部位(カッタやサーマルヘッド)である場合には、要注意警告を含むコンテンツ35又はコンテンツ関連情報36を取得する。
これにより、撮像視野に被操作部(例えば、各種操作レバーや開閉カバーや蓋やつまみ等)が含まれるときには被操作部の操作方法や機能を附記して表示することができ、撮像視野に接続部(USBや電源用のコネクタ等)が含まれるときには、その接続部が接続可能な機器名称等を附記して表示することができ、撮像視野に要注意部位(発熱部分や刃物部分等)が含まれるときには部位が要注意である旨の警告を附記して表示することができる。この結果、確実に利便性を向上することができる。
本実施の形態では、予め定められた、特徴形状部及びコンテンツ対象部位(操作レバー等,キーSW,コネクタ,危険部分)、を備えるラベル作成装置10の外観(実機)又は簡易取扱説明書20の外観像(取説に印刷された機器の絵や写真)の少なくとも一部を撮像して対応する撮像画像データを生成するカメラ部34と、所望の表示を行うタッチパネル部33と、操作者が所望の操作を行うための操作手段と、を有する情報端末30のCPUに対し、カメラ部34により生成された撮像画像データに、特徴形状部が含まれるか否かを判定するステップS6の特徴判定手順と、ステップS6の特徴判定手順で撮像画像データに特徴形状部が含まれると判定されたことを契機に、複数種類の言語ごとに用意されたコンテンツ対象部位に係わるコンテンツ35又はコンテンツ関連情報36をコンテンツ対象部位(操作ボタン,キーSW,コネクタ,危険部分)に対応づけて記憶した情報端末30のROMから、対応するコンテンツ対象部位が撮像画像データに含まれるコンテンツ35又はコンテンツ関連情報36を取得するステップS7のコンテンツ取得手順と、カメラ部34により生成された撮像画像データのコンテンツ対象部位に対し、情報端末30のCPUにより取得されたコンテンツ対象部位に対応したコンテンツ35又はコンテンツ関連情報36を付加して、付加後画像データを生成するステップS8の画像生成手順と、ステップS8の画像生成手順で付加後画像データの生成のために付加されるコンテンツ35又はコンテンツ関連情報36の言語種類を選択的に切り替えるステップS11の言語切替手順と、ステップS8の画像生成手順で生成された付加後画像データをタッチパネル部33に表示するステップS9の表示制御手順と、を実行させる。
本実施の形態の画像処理プログラムが実行される情報端末30は、カメラ部34と、タッチパネル部33と、ROMと、を備えている。そして、カメラ部34でラベル作成装置10の外観又は簡易取扱説明書20の外観像を撮像することにより、ラベル作成装置10の撮像画像に対して所定のコンテンツ35又はコンテンツ35に関連するコンテンツ関連情報36が付加された、新たな画像が生成され、タッチパネル部33において表示される。
すなわち、ラベル作成装置10の外観又は簡易取扱説明書20の外観像には、特徴形状部と、コンテンツ等35,36が対応付けられる所定のコンテンツ対象部位が備えられている。また、コンテンツ等35,36は、複数種類の言語ごとにそれぞれ用意されており、コンテンツ対象部位に固有に対応付けられた態様で記憶されている。
そして、本実施の形態の画像処理プログラムが情報端末30のCPUで実行されると、まずステップS6の特徴判定手順で、カメラ部34の撮像により生成された撮像画像データの中に、特徴形状部が含まれるか否かが判定される。
特徴形状部が含まれており判定が満たされた場合には、これを契機に、ステップS7のコンテンツ取得手順が実行される。すなわち、本実施の形態においては、ラベル作成装置10の特徴形状部が撮像されることをトリガーとして、以降の各処理が順次行われることとなる。
ステップS7のコンテンツ取得手順では、情報端末30のROMに記憶された複数のコンテンツ等35,36のうち、対応するコンテンツ対象部位が撮像画像データに含まれるもの、言い替えればカメラ部34の撮像視野範囲内にコンテンツ対象部位が存在するものが少なくとも取得される。
その後、ステップS8の画像生成手順において、取得されたコンテンツ等35,36を撮像画像データ中の対応するコンテンツ対象部位に付加した、新たな付加後画像データが生成される。
これにより、撮像視野範囲内のコンテンツ対象部位にこれに対応するコンテンツ等35,36が付加された新たな画像データが生成され、その後のステップS9の表示制御手順においてタッチパネル部33において表示される。
その際、付加後画像データの生成のために付加されるコンテンツ等35,36の言語種類が、ステップS11の言語切替手順によって選択的に切り替えられる。したがって、タッチパネル部33において表示される新たな画像データ中のコンテンツ等35,36が、複数種類の言語のうちのいずれかに適宜に選択的に切り替え可能である。
以上のようにして、本実施の形態においては、ラベル作成装置10の外観又は簡易取扱説明書20の外観像を撮像するだけで、その撮像画像中に含まれるコンテンツ対象部位に、対応する内容のコンテンツ等35,36を併せて表示することができる。
これにより、操作者は、ラベル作成装置10の実物やラベル作成装置10の外観を表す写真・図等さえあれば、特に取扱説明書の詳細を読まなくてもラベル作成装置10のコンテンツ対象部位の機能、操作方法、警告等の各種情報を容易に知ることができる。
また、その際、コンテンツ等35,36の表示を、複数種類の言語の中から適宜に選択された言語で行うことにより、例えば操作者にとって最も理解しやすい言語で表示を行うことができ、利便性を向上することができる。
また、ステップS11の言語切替手順は、操作手段における操作者の切替操作に応じて、コンテンツ35又はコンテンツ関連情報36の言語種類を選択的に切り替えることができる。
これにより、操作者の意思によって選択された言語でコンテンツ等35,36の表示を行うことができるので、操作者の利便性を確実に向上することができる。
また、情報端末30のCPUに対し、ステップS11の言語切替手順における切替のための切替補助情報(言語設定情報;銘板画像データ;GPS位置情報)をさらに実行させ、ステップS11の言語切替手順は、切替補助情報の内容に応じて、コンテンツ35又はコンテンツ関連情報36の言語種類を選択的に切り替える。
本実施の形態においては、例えば、情報端末30における言語設定情報や、撮像画像データのラベル作成装置10の外観又は簡易取扱説明書20の外観像に含まれる文字(例えばロゴや銘板等)の言語情報や、情報端末30が取得した位置情報(例えばGPS機能により取得されたもの)、等の切替補助情報に基づき、ステップS11の言語切替手順においてコンテンツ等35,36の言語種類の切り替えが自動的に行われる。これにより、操作者が手動操作で言語の選択を行う必要なく、適正な言語でコンテンツ等35,36の表示を行うことができるので、操作者の利便性を確実に向上することができる。
また、ステップS11の言語切替手順は、切替補助情報としての、情報端末30における言語設定情報、撮像画像データのラベル作成装置10の外観又は簡易取扱説明書20の外観像に含まれる文字(ex.銘板)の言語情報、及び、情報端末30が取得した位置情報、のうち少なくとも1つに応じて、コンテンツ35又はコンテンツ関連情報36の言語種類を選択的に切り替える。
これにより、操作者が手動操作で言語の選択を行う必要なく、適正な言語でコンテンツ等35,36の表示を行うことができ、操作者の利便性を確実に向上することができる。
さらに、情報端末30のROMは、複数の仕向地にそれぞれ対応した複数の仕様のラベル作成装置10の各仕様(ex.US仕様,JP仕様)ごとに、コンテンツ35又はコンテンツ関連情報36をコンテンツ対象部位に対応づけて記憶しており、ステップS7のコンテンツ取得手順は、情報端末30のROMに記憶されたコンテンツ35又はコンテンツ関連情報36のうち、撮像画像データのラベル作成装置10の外観又は簡易取扱説明書20の外観像に含まれる文字(例えば、英語圏仕向け品銘板)の言語情報に対応した仕様であるもの(英語表示のコンテンツ35)を取得し、ステップS11の言語切替手順は、切替補助情報としての、情報端末30における言語設定情報(日本人が使用する情報端末30なので日本語設定)に応じて、コンテンツ35又はコンテンツ関連情報36の言語種類を選択的に切り替える。
本実施の形態においては、ラベル作成装置10について、複数の仕向地にそれぞれ対応した複数の仕様(例えばアメリカ向け、日本向け等)が用意されている。そして、情報端末30のROMは、各仕様ごとに、コンテンツ等35,36をコンテンツ対象部位に対応づけて記憶している。
そしてステップS7のコンテンツ取得手順では、撮像画像データに含まれるラベル作成装置10の外観(又は簡易取扱説明書20の外観像)の文字に基づき、その言語種類に対応した仕様に係わるコンテンツ等35,36が取得される。
その一方、ステップS11の言語切替手順では、情報端末30の言語設定に対応するように、取得されたコンテンツ等35,36の言語種類の切替が行われる。
これにより、例えば、アメリカに在住してアメリカ向け仕様のラベル作成装置10を使用している日本人の操作者が自らの持つ情報端末30(言語設定が日本語となっている)で撮像を行うことで、アメリカ向け仕様のラベル作成装置10のコンテンツ等35,36を最初から日本語で表示することができる。このようなきめの細かいコンテンツ等35,36の表示を行うことで、操作者の利便性をさらに確実に向上することができる。
なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
さらに、本発明の印刷装置は、上記ラベル作成装置10に限定されるものではなく、他の各種プリンタや複合機に対応することができる。また、同様に、情報端末30においても、上述したスマートフォンに限定されず、他の携帯電話端末や各種タブレット端末等、撮像機能を備えたものであれば特に限定されるものではない。
また、図13、図14、図15、図16に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。