JP6039387B2 - 表示装置 - Google Patents

Description

本発明は、タッチパネルを備える表示装置に関する。

バーコードシンボル（一次元コードシンボル）は、白線と黒線の配列により、数字、アルファベットおよび制御文字などを符号化したコード情報を表しており、白線と黒線を光学的に読み取って復号化することで、コード化された文字列などのデータを取得できる。バーコードシンボルは、商品などに容易に識別情報を付与できることから、店舗内または倉庫内における商品の識別管理、工場内における生産物の識別管理などに用いられている。ＱＲコードシンボル（２次元コードシンボル）は、一次元バーコードシンボルよりも多くのデータ量を符号化して表すことができ、メールアドレスやＵＲＬ、ひらがな、かたかなおよび漢字などもコード化して表すことができる。

これらのコードシンボルは、たとえば専用の読み取り機で読み取ることができるが、携帯端末装置などでは、コードシンボルをデジタルカメラで撮像し、画像データとして取得して画像処理によってシンボルを読み取り、専用のソフトウェアで復号化してデータを取得することも可能となっている。

特許文献１記載の技術では、ボタンを操作することにより表示部に表示されている２次元コードの内容をテキスト情報に切り換えて表示させることができる。

特開２０１０−１３３７６９号公報

しかしながら、特許文献１に記載されている技術では、２次元コードから取得したテキストの内容を表示するためには、ボタン操作が必要であり、たとえば２次元コードが同一の画像データに複数含まれている場合、含まれている全ての２次元コードをそれぞれテキストとして表示させ、一時的にメモリに記憶させるか、表示させたテキストをユーザが手書きで紙などに書き写し、その後アプリケーションを起動させて、改めてテキストの入力を行う必要があり、コードシンボルから取得した文字列を利用するための操作が極めて繁雑である。

本発明の目的は、コードシンボルから取得した文字列を簡単な操作で利用することができる表示装置を提供することである。

本発明は、画像を表示する表示面を有する表示部と、
前記表示部の表示面に重ねて設けられ、物体が接触した接触位置を検出するタッチパネルと、
制御部であって、
文字列が符号化されたコードシンボルを表すコード画像が、前記表示面に表示されている画像に含まれているかどうかを判断するコード判断部と、
コード画像によって表されたコードシンボルを復号化して文字列を取得する復号化部と、
前記コード判断部に、前記表示面に表示される画像にコード画像が含まれているかどうかを判断させ、コード画像が含まれていれば、前記表示面に画像を表示し、前記タッチパネルが接触位置を検出すると、前記タッチパネルが検出した検出位置が、当該コード画像に対応する位置であるかどうかを判断するタッチ位置判断部と、を含む制御部と、
前記タッチ位置判断部によって、前記タッチパネルが検出した検出位置が、当該コード画像に対応する位置であれば、前記復号化部に、当該コード画像によって表されたコードシンボルを復号化させ、取得した文字列を前記表示面に表示させる表示制御部と、を備え、
前記制御部は、前記コード画像に対応する位置に対するタッチ操作の接触時間が一定時間未満の場合に、前記表示制御部に前記コード画像を復号化することによって取得された文字列または当該文字列に関する情報を表示させ、当該接触時間が一定時間以上の場合に、前記コード画像を復号化することによって取得された文字列によって特定されるソフトウェアを起動する、ことを特徴とする表示装置である。

また本発明の前記制御部は、さらに、
前記復号化部が取得した文字列に、予め定める特定の文字列が含まれているかどうかを判断する文字列判断部と、
前記接触時間が一定時間以上の場合に、前記特定の文字列を入力データとして入力することで、予め定める処理動作を実行する複数のソフトウェアから、前記特定の文字列に応じて１つのソフトウェアを選択してソフトウェアを起動させるソフト起動部と、を含むことを特徴とする。

また本発明において、前記複数のソフトウェアは、電子メールの送受信を実行するメールソフトウェアを含み、
前記ソフト起動部は、前記特定の文字列がメールアドレスのときは、前記メールソフトウェアを選択して起動させることを特徴とする。

また本発明において、前記複数のソフトウェアは、ウェブページを表示するブラウザソフトウェアを含み、
前記ソフト起動部は、前記特定の文字列がＵＲＬのときは、前記ブラウザソフトウェアを選択して起動させることを特徴とする。

また本発明において、前記ソフト起動部は、起動された前記ブラウザソフトウェアにおいて、前記ＵＲＬが示すウェブページにアクセスさせることを特徴とする。

本発明によれば、コード判断部に、表示される画像にコード画像が含まれているかどうかを判断させ、コード画像が含まれていれば、画像を表示させて、タッチパネルが接触位置を検出すると、タッチパネルが検出した検出位置が、当該コード画像に対応する位置であるかどうかを判断する。タッチ位置判断部によって、タッチパネルが検出した検出位置が、当該コード画像に対応する位置であれば、復号化部に、当該コード画像によって表されたコードシンボルを復号化させる。さらに、ユーザによるタッチ操作の時間が一定時間未満、すなわち短押しの場合は、復号化した文字列またはこれに関する情報を表示させ、タッチ操作の時間が一定時間以上、すなわち長押しの場合は復号化した文字列によって特定されるソフトウェアを起動させる。

これにより、ユーザによってタッチパネルのコード画像に対応する位置が短押しされた場合はコードシンボルを復号化した文字列が表示され、長押しされた場合は復号化した文字列によって特定されるソフトウェアが起動されるので、ユーザは、簡単な操作でコード画像の利用方法を選択することができる。

また本発明によれば、文字列判断部に、取得した文字列に特定の文字列が含まれているかどうかを判断させ、上記の特定の文字列が含まれている場合であってユーザから長押しがあったときは、ソフト起動部に、当該特定の文字列に応じた１つのソフトウェアを起動させる。

これにより、ユーザは、タッチパネルのコード画像に対応する位置を長押しするだけで、コードシンボルを復号化した文字列に対応するソフトウェアを起動させることができる。

また本発明によれば、前記ソフト起動部は、前記特定の文字列がメールアドレスの場合であってユーザから長押しがあったときは、メールソフトウェアを選択して起動させる。

これにより、ユーザは、メールアドレスが符号化されたコード画像に対応する位置を長押しするだけで、簡単にメールソフトウェアを起動させることができる。

また本発明によれば、前記ソフト起動部は、前記特定の文字列がＵＲＬの場合であってユーザから長押しがあったときは、ブラウザソフトウェアを選択して起動させる。

これにより、ユーザは、ＵＲＬが符号化されたコード画像に対応する位置を長押しするだけで、簡単にブラウザソフトウェアを起動させることができる。

また本発明によれば、前記ソフト起動部は、起動された前記ブラウザソフトウェアにおいて、前記ＵＲＬが示すウェブページにアクセスさせる。

これにより、ユーザは、ＵＲＬが符号化されたコード画像に対応する位置を長押しするだけで、簡単にウェブページにアクセスさせることができる。

本発明の実施形態である表示装置１の構成を示すブロック図である。 表示装置１によるコード処理を示すフローチャートである。 表示装置１によるコード処理を示すフローチャートである。 ブラウザソフトウェアによるウェブページ表示処理を示す概略図である。 メールソフトウェアによるメール作成処理を示す概略図である。 参照先情報表示処理を示す概略図である。 デコード結果表示処理を示す概略図である。

図１は、本発明の実施形態である表示装置１の構成を示すブロック図である。表示装置１は、表示部２と、表示制御部３と、タブレット部４と、タブレット制御部５と、制御部６と、操作部７と、記憶部８と、スキャナ部９と、通信部１０とを備える。

表示部２は、画像を表示する表示面を有する表示素子であって、たとえばカラー表示可能な液晶表示素子によって実現される。なお、表示部２は、カラー表示または白黒表示可能な透過型液晶表示素子、反射型液晶表示素子、エレクトロルミネッセンス（Electro Luminescence：略称ＥＬ）表示素子のうちいずれか１つによって実現されてもよい。

表示部２は、表示装置１を動作させる基本システムプログラムによって生成された画像を表示するとともに、後述する各種ソフトウェア動作時にソフトウェアが生成する画像、スキャナ部９で読み取って得られた画像などを表示する。本発明では、特に、表示部２にコード画像が表示されているときの動作に特徴を有する。

表示制御部３は、制御部６からの命令により、表示部２の動作を制御して、表示部２に画像を表示させる。

タブレット部４およびタブレット制御部５は、タッチパネルによって実現され、タブレット部４に物体が接触すると、タブレット制御部５が、接触した物体の接触位置を、たとえば座標位置などによって検出して、制御部６に送る。

制御部６は、たとえば、マイクロコンピュータによって実現され、表示装置１の全体の動作を制御する。制御部６は、デコード部６ａおよび表示時間計時部６ｂを含む。

デコード部６ａは、表示部２に表示されている画像に、コードシンボルを表すコード画像が含まれていた場合、そのコード画像のコードシンボルを復号化（デコード）し、符号化（コード化）されていた文字列を取得する。

表示時間計時部６ｂは、表示部２に、後述する参照先情報またはデコード結果が一時的に表示されたときに、これらの表示時間を計時する。

操作部７は、予め機能が割り付けられた複数のキーからなり、ユーザがキーを操作することで、文字列の入力、制御コマンドの入力などを行うことができる。

記憶部８は、表示装置１が動作するために必要なデータを記憶し、各種のプログラム、ソフトウェア、演算結果などを記憶する。記憶部８が記憶するソフトウェアには、たとえば、電子メールの送受信を実行するメールソフトウェア８ａおよびウェブページを表示するブラウザソフトウェア８ｂを含む。

スキャナ部９は、撮像レンズと電荷結合素子（Charge Coupled Device：ＣＣＤ）イ
メージセンサまたは相補形金属酸化膜半導体（Complementary Metal−Oxide Semiconductor：ＣＭＯＳ）イメージセンサなどの撮像素子とを含んで構成される。スキャナ部９は、原稿台に載置された原稿を撮影して原稿画像データを取得し、取得した画像データを制御部６に伝送する。

通信部１０は、インターネット、ＬＡＮ（Local Area Network）などの各種通信網に、有線通信または無線通信により接続し、各種通信網に接続されているウェブサーバなどから画像データ、ＨＴＭＬ（Hyper Text Markup Language）データを取得し、メールサーバと電子メールデータの送受信を行う。

本発明では、コードシンボルとして、一次元コード（バーコード）および２次元コード（ＱＲコード（登録商標））のいずれも同様に扱うことができる。

一次元コードは、数字、アルファベット、漢字、制御文字、句読文字などを、太さが異なる黒線と白線との組合せコードによって表現し、複数の文字からなる文字列をコード化したものである。

２次元コードをシンボル化したＱＲコードシンボルは、明モジュールと暗モジュールとが正方形様に並べられたモジュールの集合であり、符号化領域に配置されたモジュールによって符号化された文字列を表す。

図２Ａ、図２Ｂは、表示装置１によるコード処理を示すフローチャートである。図２Ａ、図２Ｂのフローチャートは、表示制御部３が、表示部２に何らかの画像を表示させようとするときに開始される。

ステップＳ１では、表示部２に表示させようとするデータが、ＨＴＭＬデータであるかどうかを判断する。表示させようとするデータが、ＨＴＭＬデータであれば、ステップＳ４に進み、ＨＴＭＬデータでなければステップＳ２に進む。

ステップＳ２では、スキャナ部９が操作されたかどうかを判断し、スキャナ部９が操作されていればステップＳ３に進み、スキャナ部９が操作されていなければステップＳ１に戻る。

スキャナ部９が操作されていれば、原稿台に載置された原稿をスキャンして原稿画像データの取り込みを行う。

ステップＳ４では、原稿画像データに基づく原稿画像からバーコード画像の抽出を行う。ステップＳ５では、バーコード画像が抽出されたかどうかを判断し、抽出されればステップＳ６に進み、抽出されなければステップＳ１１に進む。ステップＳ１１では、バーコード画像が抽出されなかった旨のエラー表示とともに、ＨＴＭＬデータまたは原稿画像データのいずれかを表示部２に表示させる。

ステップＳ６では、コード画像が表示されている位置を取得し、ＨＴＭＬデータまたは原稿画像データのいずれかを表示部２に表示させる。

ステップＳ７では、タブレット部４に対して、ユーザの指やタッチペンなどの物体によってタッチ操作されたかどうかを判断し、タブレット部４がタッチ操作されていればステップＳ７に進み、タッチ操作されていなければ待機する。

ステップＳ８では、タブレット部４に物体が接触した接触位置が、コード画像が現在表示されている表示位置に対応する位置であるかどうかを判断する。タブレット部４に対する接触位置の座標と、表示部２の表示面における表示位置の座標とは、互いに関連付けられており、制御部６は、タブレット制御部５から出力される接触位置の座標と、現在表示部２の表示面に表示されている画像に含まれるコード画像の表示位置を示す座標とを比較することで、接触位置が、コード画像の表示値に対応する位置であるかどうかを判断することができる。

タブレット部４の接触位置が、コード画像が現在表示されている表示位置に対応する位置であればステップＳ９に進み、コード画像に対応する位置でなければステップＳ１０に進む。

ステップＳ９では、接触位置に対応しているコード画像に基づいて、コード画像で表わされるコードシンボルを復号化し、文字列を取得する。コード画像に基づく文字列の復号化は、既存の復号化技術で実行することができる。コード画像が、一次元コードを表す画像であっても、二次元コードを表す画像であっても、復号化して文字列を取得することが可能である。

ステップＳ１０では、接触位置が、コード画像とは異なる位置であるので、たとえば、フリック操作によるページ送り、スライド操作によるスクロール、シングルタップ操作またはダブルタップ操作によるアイコンの選択、ソフトウェアの起動など、コード画像を復号化する以外の他の処理を行い、ステップＳ７に戻る。

ステップＳ１２では、コード画像に対応する位置に対して行われたタッチ操作におけるタブレット部４への接触時間が一定時間以上であるかどうかを判断する。この判断は、タブレット部４への接触中に、接触位置が変化せずに同じ位置であったか、接触位置が変化したかにかかわらず、タブレット部４への接触時間が一定時間以上であるかどうかを判断する。

タッチ操作の接触時間が一定時間以上であれば、ステップＳ１３に進み、接触時間が一定時間未満であればステップＳ２０に進む。

ステップＳ１３では、取得した文字列にＵＲＬ（Uniform Resource Locator）が含まれているかどうかを判断する。この判断は、コード画像から取得した文字列に、たとえば、「http」、「https」などの文字列やＩＰアドレスが含まれていれば、取得した文字列にＵＲＬが含まれていると判断することができる。取得した文字列にＵＲＬが含まれていればステップＳ１４に進み、ＵＲＬが含まれていなければステップＳ１７に進む。

コード画像から取得した文字列がＵＲＬを含む場合、ステップＳ１４では、ブラウザソフトウェア８ｂを起動させる。

取得した文字列に含まれる特定の文字列（上記ではＵＲＬ）と、起動させるソフトウェアとは、予め対応付けられており、対応関係が記憶部８に記憶されている。表示装置１は、ソフトウェアを複数記憶しているので、コード画像を復号化した文字列に特定の文字列が含まれていた場合は、含まれていた特定の文字列とソフトウェアとの対応関係に基づいて、１つのソフトウェアを選択し、選択したソフトウェアを起動させる。

ステップＳ１４でブラウザソフトウェア８ｂを起動させたのち、ステップＳ１５で、ＵＲＬを入力データとして、ブラウザソフトウェア８ｂに入力し、ＵＲＬが示すウェブサーバにアクセスする。

ステップＳ１６では、アクセスしたウェブサーバから、ブラウザソフトウェア８ｂで表示することが可能なウェブページを受信して、受信したウェブページをブラウザソフトウェア８ｂによって表示部２に表示させる。

図３は、ブラウザソフトウェア８ｂによるウェブページ表示処理を示す概略図である。
表示部２にコード画像Ｂが表示された状態で、ユーザが指でコード画像Ｂに対応する位置を長押しすると、ブラウザソフトウェア８ｂが起動し、さらにブラウザソフトウェア８ｂのＵＲＬ入力ボックス８０に、コード画像Ｂを復号化して得られたＵＲＬが入力される。ブラウザソフトウェア８ｂは、入力されたＵＲＬが示すウェブサーバにアクセスして、入力されたＵＲＬで特定されるウェブページの表示用データをウェブサーバから受信する。受信した表示用データは、ブラウザソフトウェア８ｂによって解析されて、ブラウザソフトウェアの表示領域８１に表示される。

ステップＳ１３で、取得した文字列にＵＲＬが含まれていなかったときは、ステップＳ１７で、取得した文字列に電子メールのメールアドレスが含まれるかどうかについて判断する。この判断は、コード画像から取得した文字列に、たとえば、「＠」を含むドメイン名が含まれていれば、取得した文字列にメールアドレスが含まれていると判断することができる。文字列にメールアドレスが含まれていればステップＳ１８に進み、メールアドレスが含まれていなければステップＳ２０に進む。

コード画像から取得した文字列がメールアドレスを含む場合、ステップＳ１８では、メールソフトウェア８ａを起動させる。

ステップＳ１９では、文字列に含まれるメールアドレスを、電子メールの宛先として設定する。

図４は、メールソフトウェア８ａによるメール作成処理を示す概略図である。
表示部２にコード画像Ｂが表示された状態で、ユーザが指でコード画像Ｂに対応する位置を長押しすると、メールソフトウェア８ａが起動される。起動したメールソフトウェア８ａの機能から新規メールの作成が選択され、新規メールの作成フォームの宛先入力ボックス８２に、コード画像Ｂを復号化して得られたメールアドレスが入力される。この後は、ユーザが操作部７などを操作して、件名ボックス８３に件名を入力し、メール本文入力領域８４に、メール本文を入力して、送信メールを作成したのち、メールソフトウェア８ａによって送信すればよい。

コード画像に対するタッチ操作におけるタブレット部４への接触時間が一定時間未満であった場合、またはコード画像から取得した文字列がＵＲＬでもなく、メールアドレスでもなかった場合、ステップＳ２０で、取得した文字列にＵＲＬが含まれているかどうかを判断する。なお、本ステップでＵＲＬが含まれているかどうかを判断するのは、ステップＳ１２を経由して本ステップに進んだ場合には、文字列にＵＲＬが含まれるかどうかを判断していないためである。したがって、ステップＳ１２を経由した場合には、ステップＳ１３と同様の判断処理を行う。

一方、ステップＳ１３およびステップＳ１７を経由してステップＳ２０に進んだ場合には、ステップＳ１３で文字列にＵＲＬが含まれていないことがすでに判断されているので、具体的な判断処理をすることなく、ＵＲＬが含まれていないと判断してもよい。

ステップＳ２０の判断により、ＵＲＬが含まれていればステップＳ２１に進み、ＵＲＬが含まれていなければステップＳ２３に進む。

ステップＳ２１では、ＵＲＬの参照先情報を取得する。コード画像を復号化した文字列にＵＲＬが含まれていた場合であっても、コード画像に対するタッチ操作が長押しではない場合には、ブラウザソフトウェア８ｂを起動させず、ＵＲＬで表わされるウェブサーバの該当ウェブページまたは該当ウェブページを含むサイトに関する情報を、参照先情報として簡易的に表示する。

ウェブページまたはサイトに関する情報には、たとえば、そのページまたはサイトの安全性、有害性を示す情報、ウェブページの一部の画像を縮小したサムネイル画像、ウェブページから抜粋した一部の文字列などを含む。なお、安全性、有害性を示す情報は、たとえば、コード画像から取得したＵＲＬを、サイトの安全性、有害性を評価する評価サービスを提供するサービス提供サーバに送信し、サービス提供サービスサーバから送信される評価結果を利用することができる。

図５は、参照先情報表示処理を示す概略図である。
表示部２にコード画像Ｂが表示された状態で、ユーザが指でコード画像Ｂに対応する位置をタッチし、タッチ操作の接触時間が一定時間未満であれば、ＵＲＬで表わされるウェブページまたはサイトに関する参照先情報を、コード画像Ｂに重ねるようにして設定された情報表示領域２０に表示させる。

ステップＳ２３では、コード画像を復号化して取得した文字列自体をそのままデコード結果として表示する。

図６は、デコード結果表示処理を示す概略図である。
表示部２にコード画像Ｂが表示された状態で、ユーザが指でコード画像Ｂに対応する位置をタッチし、タッチ操作の接触時間が一定時間未満であれば、コード画像Ｂを復号化して得られた文字列を、コード画像Ｂに重ねるようにして設定されたデコード結果表示領域２１に表示させる。

ステップＳ２４では、参照先情報の表示時間またはデコード結果の表示時間が、所定時間を経過したかどうかを判断し、経過していればステップＳ２５に進んで、表示していた参照先情報またはデコード結果の表示を消去する。表示時間が経過していなければ、経過するまで待機する。

なお、上記では、表示部２に１つのコード画像が表示されている場合について説明したが、複数のコード画像が表示されている場合でも同様のコード処理を行うことができる。たとえば、複数のコード画像のうち、１つのコード画像に対応する位置をタッチしたときは、そのコード画像に対して上記のコード処理を行えばよい。また、参照先情報表示処理およびデコード結果表示処理の場合には、複数のコード画像にタッチした場合には、同時に参照先情報、デコード結果をそれぞれのコード画像に重ねるように表示させてもよい。

以上のように、本発明では、表示部２に表示されているコード画像に対応する位置をタブレット部４でタッチすると、コード画像が表すコードシンボルを復号化して得られた文字列の内容を判断し、判断結果に応じてソフトウェアの起動、文字列自体の表示などを行う。たとえば、ユーザはコード画像を長押しするだけで、コード画像から取得したＵＲＬに基づくウェブページが表示されるので、コード画像から取得した文字列を簡単な操作で利用することができる。

１ 表示装置
２ 表示部
３ 表示制御部
４ タブレット部
５ タブレット制御部
６ 制御部
６ａ デコード部
６ｂ 表示時間計時部
７ 操作部
８ 記憶部
８ａ メールソフトウェア
８ｂ ブラウザソフトウェア
９ スキャナ部
１０ 通信部
２０ 情報表示領域
２１ デコード結果表示領域
８０ ＵＲＬ入力ボックス
８１ 表示領域
８２ 宛先入力ボックス
８３ 件名ボックス
８４ メール本文入力領域
Ｂ コード画像

Claims (5)

1. 画像を表示する表示面を有する表示部と、
   前記表示部の表示面に重ねて設けられ、物体が接触した接触位置を検出するタッチパネルと、
   制御部であって、
   文字列が符号化されたコードシンボルを表すコード画像が、前記表示面に表示されている画像に含まれているかどうかを判断するコード判断部と、
   コード画像によって表されたコードシンボルを復号化して文字列を取得する復号化部と、
   前記コード判断部に、前記表示面に表示される画像にコード画像が含まれているかどうかを判断させ、コード画像が含まれていれば、前記表示面に画像を表示し、前記タッチパネルが接触位置を検出すると、前記タッチパネルが検出した検出位置が、当該コード画像に対応する位置であるかどうかを判断するタッチ位置判断部と、を含む制御部と、
   前記タッチ位置判断部によって、前記タッチパネルが検出した検出位置が、当該コード画像に対応する位置であれば、前記復号化部に、当該コード画像によって表されたコードシンボルを復号化させ、取得した文字列を前記表示面に表示させる表示制御部と、を備え、
   前記制御部は、前記コード画像に対応する位置に対するタッチ操作の接触時間が一定時間未満の場合に、前記表示制御部に前記コード画像を復号化することによって取得された文字列または当該文字列に関する情報を表示させ、当該接触時間が一定時間以上の場合に、前記コード画像を復号化することによって取得された文字列によって特定されるソフトウェアを起動する、ことを特徴とする表示装置。
2. 前記制御部は、さらに、
   前記復号化部が取得した文字列に、予め定める特定の文字列が含まれているかどうかを判断する文字列判断部と、
   前記接触時間が一定時間以上の場合に、前記特定の文字列を入力データとして入力することで、予め定める処理動作を実行する複数のソフトウェアから、前記特定の文字列に応じて１つのソフトウェアを選択してソフトウェアを起動させるソフト起動部と、を含むことを特徴とする請求項１記載の表示装置。
3. 前記複数のソフトウェアは、電子メールの送受信を実行するメールソフトウェアを含み、
   前記ソフト起動部は、前記特定の文字列がメールアドレスのときは、前記メールソフトウェアを選択して起動させることを特徴とする請求項２記載の表示装置。
4. 前記複数のソフトウェアは、ウェブページを表示するブラウザソフトウェアを含み、
   前記ソフト起動部は、前記特定の文字列がＵＲＬのときは、前記ブラウザソフトウェアを選択して起動させることを特徴とする請求項２記載の表示装置。
5. 前記ソフト起動部は、起動された前記ブラウザソフトウェアにおいて、前記ＵＲＬが示すウェブページにアクセスさせることを特徴とする請求項４記載の表示装置。

Images