以下に、図面を参照しながら、この発明の好適な実施の形態を例示的に詳しく説明する。但し、本実施形態に記載されている構成要素の相対配置、表示画面等は、特に特定的な記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
本実施形態では、装置と装置を操作するデバイスにおいて、近距離無線を用いて装置の操作部に対する操作を受け付ける。本実施形態では、近距離無線通信による低速通信部で装置の操作部に対する操作を受け付けてから、無線通信の高速通信部に切り替えてその他の処理を行う。その他の処理としては、例えば、画像データの送信などが挙げられる。具体的には、NFC(Near Field Communication)のような近距離無線通信で、例えば、認証を行い、他の通信方式の無線通信にて通信を引き継ぐハンドオーバの技術を用いて画像データを送信する。
尚、近距離無線通信とは、NFCに代表される、通信範囲が、比較的小さい所定範囲(例えば、1メートル〜数センチ)となる無線通信を意味する。
<基本動作>
図1は無線通信システムの構成を示す図である。
図1に示す無線通信システムは、サーバ装置101と、携帯型通信端末装置200と、装置を操作するデバイスであるスタイラス206と、を有する。サーバ装置101と、情報処理装置の1つである携帯型通信端末装置200は、ネットワーク100を介して接続される。また、携帯型通信端末装置200は、スタイラス206を付属している。
サーバ装置101は、印刷用の画像データを記憶する。また、サーバ装置101は、ユーザIDの管理等の各種機能を提供し、かつ、画像処理アプリケーション等のプログラムを記憶する。
携帯型通信端末装置200は、認証方法及び通信速度が異なる少なくとも2種類以上の無線通信機能を有する装置である。携帯型通信端末装置200は、認証の対象となるデバイスと近距離無線通信できるものであれば特に限定されるものではない。本実施形態では、PDA(Personal Digital Assistant)等の個人情報端末、携帯電話、デジタルカメラ等、印刷対象となるファイルを扱える装置であれば何でも良い。スタイラス206は、認証の対象となるデバイスであり、携帯型通信端末装置200を操作可能なペン型の装置である。スタイラス206と携帯型通信端末装置200は無線通信部で通信が可能である。
ネットワーク100とサーバ装置101は、例えば、有線LANで接続されている。ネットワーク100と携帯型通信端末装置200は、Wireless LAN(以後、WLAN)で接続されている。また、スタイラス206及び携帯型通信端末装置200は、後述するNFCユニットにより、NFC通信が可能である。
図2は携帯型通信端末装置200の外観を示す図である。
本実施形態では、携帯型通信端末装置200として、スマートフォンを例に挙げて説明する。スマートフォンとは、携帯電話の機能の他に、カメラや、ネットブラウザ、メール機能等を搭載した多機能型の携帯電話のことである。携帯型通信端末装置200は、NFCユニット201と、WLANユニット202と、表示部203と、操作部204と、電源キー205を有する。また、携帯型通信端末装置200は、側面にスタイラス収納部207と、スタイラス収納判別スイッチ208を有する。
NFCユニット201は、NFCを用いて通信を行うユニットであり、NFCユニット201を他のNFCユニットに所定距離(例えば、10cm程度)以内に近づけることで通信を行うことができる。
WLANユニット202は、WLANで通信を行うためのユニットであり、携帯型通信端末装置200内に配置されている。表示部203は、例えば、LCD方式の表示機構を備えるディスプレイである。操作部204は、タッチパネル方式の操作機構を備えており、ユーザの押下情報を検知する。また、操作部204は、スタイラス206からの操作を受け付ける受付部として機能する。尚、本実施形態では、表示部203と操作部204が重なるように配置されている。表示部203がボタンアイコンやソフトウェアキーボードの表示を行い、ユーザが操作部204を操作用デバイスであるスタイラス206あるいは指でボタン等を押下すると、ボタン等が押下されたイベントが発行される。電源キー205は、電源のオン及びオフをする際に用いる。
スタイラス206は、携帯型通信端末装置200を操作するデバイスであり、具体的には、操作部204にて操作するためのものである。本実施形態においては、スタイラス206にNFCユニット201と通信可能なNFCユニットが内蔵されている。そのため、スタイラス206のNFCユニットが携帯型通信端末装置200と所定距離範囲内に近接することで発生する電力により、NFCユニット201とスタイラス206のNFCユニットでNFC通信が可能となる。
スタイラス収納部207は、スタイラス206を収納する部分である。操作部204はタッチパネル構成になっているため、スタイラス206や指等の操作用デバイスで操作することができる。スタイラス収納判別スイッチ208は、スタイラス206が収納されたか否かを判別するスイッチである。
図3は携帯型通信端末装置200の構成を示すブロック図である。
携帯型通信端末装置200は、装置のメインの制御を行うメインボード301と、WLAN通信を行うWLANユニット317と、NFC通信を行うNFCユニット318と、Bluetooth(商標登録)通信を行うBTユニット321を有する。
メインボード301において、中央演算処理部(CPU)302は、システム制御部であり、携帯型通信端末装置200の全体を制御する。ROM303は、CPU302が実行する制御プログラムや組込オペレーティングシステム(OS)プログラム等を記憶する。本実施形態では、ROM303に記憶されている各制御プログラムは、ROM303に記憶されている組込OSの管理下で、スケジューリングやタスクスイッチ等のソフトウェア制御を行う。
RAM304は、SRAM(Static RAM)等のメモリで構成され、プログラム制御変数等のデータを記憶し、また、ユーザが登録した設定値や携帯型通信端末装置200の管理データ等のデータを記憶し、各種ワーク用バッファ領域が設けられている。
画像メモリ305は、DRAM(Dynamic RAM)等のメモリで構成され、通信部を介して受信した画像データや、データ蓄積部312から読み出した画像データをCPU302で処理するために一時的に記憶する。ここで、通信部とは、WLANユニット317、NFCユニット318及びBTユニット321を含む通信機能の総称である。
不揮発性メモリ322は、フラッシュメモリ(flash memory)等のメモリで構成され、電源がオフされた後でも保存しておきたいデータを記憶する。不揮発性メモリ322に保存されるデータとしては、例えば、アドレス帳や、メール履歴、発着信履歴、過去に接続したデバイス情報等が挙げられる。尚、このようなメモリ構成はこれに限定されるものではない。例えば、画像メモリ305とRAM304を共有させてもよいし、データ蓄積部312にデータのバックアップ等を行ってもよい。また、本実施形態では、画像メモリ305にDRAMを用いているが、ハードディスクや不揮発性メモリ等の他の既往媒体を使用する場合もあるのでこの限りではない。
データ変換部306は、ページ記述言語(PDL)等の解析や、色変換、画像変換等のデータ変換を行う。電話部307は、電話回線の制御を行い、スピーカ部313を介して入出力される音声データを処理することで電話による通信を実現する。操作部308は、操作部204(図2)の信号を制御する。また、操作部308は、電源キー205やスタイラス収納部スイッチ208からの操作を信号として受け取り、制御を行う。GPS(Global Positioning System)309は、現在の緯度や経度等の位置情報を取得する。表示部310は、表示部203(図2)の表示内容を電子的に制御しており、各種入力操作や、ステータス状況の表示等の各種表示を行うことができる。
カメラ部311は、レンズを介して入力された画像を電子的に記録して符号化する機能を有している。カメラ部311で撮影された画像はデータ蓄積部312に保存される。また、データ蓄積部312にはスタイラス206等の操作用デバイスで操作部308に対して行った操作結果としての画像等のデータ、例えば、スタイラス206で描いた文字や絵等のストロークデータを蓄積することができる。また、これらのデータは、データ変換部306やROM303内のプログラム等で文字の特徴抽出や文字の癖情報の抽出、手書き文字の認識等を行うことができる。具体例は、図7及び図10等で後述する。
スピーカ部313は、電話機能のための音声を入力または出力する機能や、その他、アラーム通知等の機能を実現する。電源部314は、携帯可能な電池及びその制御を行う。電源状態には、電池に残量が無い電池切れ状態、電源キー205を押下していない電源オフ状態、通常起動している起動状態、起動しているが省電力になっている省電力状態がある。
携帯型通信端末装置200には、無線通信するための通信部が3つ搭載されており、WLAN、NFC、BlueTooth(商標登録)で無線通信することができる。これにより、携帯型通信端末装置200は、MFP等の他デバイスとのデータ通信を行う。この通信部では、データをパケットに変換し、他デバイスにパケット送信を行う。逆に、外部の他デバイスからのパケットを、データに変換してCPU302に対して送信する。WLANユニット317、NFCユニット318、及びBTユニット321はそれぞれバスケーブル315、316及び320を介してメインボード301に接続されている。WLANユニット317、NFCユニット318、及びBTユニット321は規格に準拠した通信を実現するためのユニットである。NFCユニットの詳細は、図4を用いて後述する。
メインボード301内の各種構成要素(303〜314、及び322)は、CPU302が管理するシステムバス319を介して、相互に接続される。
図4はNFCユニット318で使用されているNFCユニットの詳細を示すブロック図である。
図4では、NFCユニット318(図3)をNFCユニット400として説明する。NFCユニット400は、NFCコントローラ部401と、アンテナ部402と、デバイス接続部407とを有する。また、NFCコントローラ部401は、RF部403と、送受信制御部404と、NFCメモリ405とを有する。また、NFCユニット400は、電源406と接続されている。
アンテナ部402は、他のNFCデバイス(NFCユニットを搭載するデバイス)から電波やキャリアを受信したり、他のNFCデバイスに電波やキャリアを送信したりする。RF部403は、アナログ信号をデジタル信号に変復調する機能を備える。また、RF部403は、シンセサイザを備えており、バンド、チャネルの周波数を識別し、周波数割当データによるバンド、チャネルの制御を実行する。
送受信制御部404は、送受信フレームの組立及び分解、プリアンブル付加及び検出、フレーム識別等、送受信に関する制御を実行する。送受信制御部404は、NFCメモリ405の制御も行い、各種データやプログラムを読み書きする。NFC通信におけるアクティブモードとして動作する場合、電源406を介して電力の供給を受け、デバイス接続部407を通じてデバイスと通信を行ったり、アンテナ部402を介して送受信されるキャリアにより、通信可能範囲にある他のNFCデバイスと通信する。また、NFC通信におけるパッシブモードとして動作する場合、アンテナ部402を介して他のNFCデバイスからキャリアを受信して電磁誘導により他のNFCデバイスから電力の供給を受け、キャリアの変調により当該他のNFCデバイスとの間で通信を行ってデータを送受信する。
図15はスタイラス206の詳細構成を示すブロック図である。
スタイラス206は、装置のメインの制御を行うメインボード1501と、NFC通信を行うNFCユニット1508を有する。
メインボード1501において、中央演算処理部(CPU)1502は、システム制御部であり、スタイラス206の全体を制御する。ROM1503は、CPU1502が実行する制御プログラムや組込オペレーティングシステム(OS)プログラム等を記憶する。本実施形態では、ROM1503に格納されている各制御プログラムは、ROM1503に格納されている組込OSの管理下で、スケジューリングやタスクスイッチ等のソフトウェア制御を行う。
RAM1505は、SRAM(static RAM)等のメモリで構成され、プログラム制御変数等のデータを格納し、また、ユーザが登録した設定値やスタイラス206の管理データ等のデータを記憶し、各種ワーク用バッファ領域が設けられている。
不揮発性メモリ1509は、フラッシュメモリ(flash memory)等のメモリで構成され、電源がオフされた後でも保存しておきたいデータを記憶する。電源がオフされた後でも保存しておきたいデータについては、詳細は後述する。
スタイラス206には、無線通信するための通信部が搭載されており、NFCで無線通信することができるNFCユニット1508を備える。このNFCユニット1508は、データをパケットに変換し、他デバイスにパケット送信を行う。逆に、外部の他デバイスからのパケットを、データに変換してCPU1502に対して送信する。NFCユニット1508は、バスケーブル1506を介してメインボード1501と接続されている。NFCユニット1508により、スタイラス206は、例えば、通信携帯型端末200と通信可能である。NFCユニット1508は、規格に準拠した通信を実現するためのユニットであり、その詳細は、図4のNFCユニット400と同様であるので説明を省略する。
電源部1504は、スタイラス206の電源のオン/オフを切り替える。これにより、スタイラス206は、NFC通信としてパッシブモードとアクティブモードの両方の実現が可能な構成としている。
メインボード1501内の各種構成要素(1503〜1505、1509)は、CPU1502が管理するシステムバス1507を介して、相互に接続されている。
尚、携帯型通信端末装置200とスタイラス206が通信を行い、データの送受信が可能な構成であれば、スタイラス206の構成はこの限りではない。
図5は携帯型通信端末装置200の表示部203に検索候補ファイルのサムネイルを表示した例を示す図である。
画像検索用の操作画面500において、サムネイル501は、携帯型通信端末装置200内に保存してあるファイルのサムネイルであったり、サーバ装置101内に保存してあるファイルのサムネイルであったりする。検索対象のサムネイル(画像)を押下すると、フォーカス502が表示され、検索対象として選択されたことを示す。検索対象の画像は、複数選択することができ、フォーカス502は表示部203上に複数存在しても良い。サムネイルが一画面で表示しきれない場合はスクロールしてユーザが確認できるようにしても良い。検索対象の画像の選択が終了したら、検索開始キー503が押下されることで画像検索が実行される。
次に、NFC通信について説明する。NFCユニットによる近距離無線通信を行う場合、初めに、RF(Radio Frequency)フィールドを出力して通信を開始する装置をイニシエータと呼ぶ。また、イニシエータの発する命令に応答し、イニシエータとの通信を行う装置をターゲットと呼ぶ。
NFCユニットの通信モードには、パッシブモードとアクティブモードが存在する。パッシブモードでは、ターゲットは、イニシエータの命令に対し、イニシエータの発するRFフィールドに対して負荷変調を行うことで応答する。一方、アクティブモードでは、ターゲットは、イニシエータの命令に対し、ターゲット自らが発するRFフィールドによって応答する。
図6はNFCにおけるパッシブモードとアクティブモードの概念図である。
ここで、図6(a)と図6(b)はパッシブモード、図6(c)と図6(d)はアクティブモードを示している。
図6(a)のように、イニシエータ601からターゲット602にデータ604をパッシブモードで送信する場合、イニシエータ601がRFフィールド603を発生させる。イニシエータ601は、RFフィールド603を自ら変調することで、ターゲット602にデータ604を送信する。
また、図6(b)のように、ターゲット606からイニシエータ605にデータ608をパッシブモードで送信する場合、図6(a)と同様に、イニシエータ605がRFフィールド607を発生させる。ターゲット606は、RFフィールド607に対して負荷変調を行うことで、イニシエータ605にデータ608を送信する。この負荷変調によるデータ送信では、イニシエータ605からのRFフィールドにより、ターゲット606としてのNFCユニット内のコイルに電流が流れる。ターゲット606は、この電流をデータ送信のための電力として用いることできる。よって、例えば、ターゲット606としてのNFCユニットに電力が供給されなくても、NFC規格に則ったデータ送信を行うことができる。
図6(c)のように、イニシエータ609からターゲット610にデータ612をアクティブモードで送信する場合、イニシエータ609がRFフィールド611を発生させる。イニシエータ609は、RFフィールド611を自ら変調することで、ターゲット610にデータ612を送信する。イニシエータ609は、データ送信が完了した後、RFフィールド611の出力を停止する。
また、図6(d)のように、ターゲット614からイニシエータ613にデータ616をアクティブモードで送信する場合、ターゲット614がRFフィールド615を発生させる。ターゲット614は、自らが発するRFフィールド615によってデータ616を送信し、送信が終了したらRFフィールド615の出力を停止する。
図7は携帯型通信端末装置200とスタイラス206を用いて実現する機能の一例を説明する図である。
まず、図7(a)は、携帯型通信端末装置200にスタイラス206を用いてサインを記入して認証を行う例を示している。
サインの認証については様々な手法があるが、ここでは、スタイラス206を用いて、サインエリア701にサインを記入し、その情報から認証を行う。人間が実際に文字を書く際には、人間が文字を書くときの特徴点が存在する。そこで、本実施例では、サイン画像の情報と、ユーザのサインの特徴点情報を用いてサインの認証を行う。スタイラス206の不揮発性メモリ1509に、ユーザのサイン画像とユーザの特徴点情報を予め保存させておく。そして、サインエリア701に、サインが記入されると、スタイラス206で記載された文字の特徴点情報を携帯型通信端末装置200において計算する。
本実施例では、サインの記入が終わった後に、OKボタン702を押下することで、携帯型通信端末装置200で計算により特定したサインの特徴点情報とサイン画像を、スタイラス206に保存してあるサイン画像と特徴点情報を比較して認証を行う。そして、携帯型通信端末装置200は、所定の条件を満たす場合は、サインが正しいと認証し、所定の条件を満たさない場合は、サインを正しいと認証しない。また、スタイラス206にサイン画像と特徴点情報が保存されていない場合は、携帯型通信端末装置200はサインが正しいと認証しない。
また、今回の認証で使用した情報は、今までスタイラス206に保存されている情報とマージを行うことでより認識率の高いデータを作成し、スタイラス206に保存することも可能である。
本実施例においては、スタイラス206と携帯型通信端末装置200が通信を行うことで認証をするだけでなく、スタイラス206で記入したサインをスタイラス206が記憶するサイン情報(サインの特徴点情報とサイン画像)と比較、認証することで、二重の認証ステップが可能となる。尚、この処理の詳細については、図22を用いて後述する。
図7(b)は、スタイラス206を用いて携帯型通信端末装置200においてメール検索をする例を説明する図である。尚、図7(b)は、携帯型通信端末装置200の表示部203にメールのタイトルを表示した例を示している。
表示部203は、メール表示部703と、検索開始キー704とを備える。メール表示部703は、携帯型通信端末装置200内に保存してあるメールのタイトルを表示可能である。このメールの一覧表示は、一画面で表示しきれない場合はスクロールして確認できるようにしても良い。本実施例においては、スタイラス206に保存されている記憶情報に基づいて、メールの検索及び閲覧をすることができる。スタイラス206の不揮発性メモリ1509に、所定の記憶情報を予め保存させておく。そして、スタイラス206に記憶されている記憶情報を携帯型通信端末装置200と通信を行った結果、携帯型通信端末装置200は、その記憶情報を検索条件とみなし、検索開始キー704が押下されることでメール検索を進めることができる。すなわち、スタイラス206のユーザ情報を使用した絞り込み画像検索を実行することができる。この方法により、スタイラス206の記憶情報を通信して使用することで、検索の際に条件設定を簡単に行うことが可能となる。ここで、所定の記憶情報としては、例えば、アドレス等のユーザ情報や顔情報が挙げられる。尚、この処理の詳細については、図23を用いて後述する。
尚、検索開始を押下せずに、メール表示部703の複数のメールからメールを選択して押下すると、選択したメールの内容を閲覧することができる。ここで、本実施例では、絞り込み画像検索を実行することができるものとしたが、さらに、スタイラス206のユーザ情報に基づいて、メールの内容の閲覧や返信を制限するようにしてもよい。例えば、スタイラス206に記憶されているユーザ情報や顔情報と一致する情報を備えるメールのみ閲覧や返信を可能とすることができるようにしてもよい。
図7(c)は携帯型通信端末装置200にスタイラス206を用いて文字を記入することが可能な例を示している。
携帯型通信端末装置200の表示部203は、手書き認識エリア705と、判定表示エリア706とを備える。手書き認識エリア705は、ユーザによりスタイラス206を用いて手書きで記入された文字を認識するエリアである。判定表示エリア706は、手書き認識エリア705に手書きで記入された文字を認識し、その認識結果として判定された文字(テキスト)を表示する。本実施例では、図7(a)におけるサインエリア701と同様に、手書き文字の認識の際に、文字の特徴点を抽出する。尚、予め認識可能な文字の特徴点情報は携帯型通信端末装置200に保存しておく。
そして、スタイラス206により手書き文字認識エリア705に手書きで文字を記入した際に、記入された文字(操作内容)の特徴点を抽出し、携帯型通信端末装置200において計算することにより、文字を認識する。ここで、本実施例では、スタイラス206の不揮発性メモリ1509に、ユーザの文字の特徴点情報、及び特徴点情報に対応した補正情報を予め保存させておく。そして、携帯型通信端末装置200で計算により特定した文字の特徴点情報と、スタイラス206に保存される特徴点情報に基づいて、より高精度に文字認識を行うことができる。スタイラス206を用いてこの文字認識を行う場合には、携帯型通信端末装置200が文字の特徴点を抽出する際に、スタイラス206に記憶されている情報により、その特徴点を補正することができる。スタイラス206において個人の癖や文化の差等のスタイラスを使用する環境に応じて変わる特徴点情報を管理し、補正を行うことにより、文字認識の際により精度の高い結果を出すことができる。
このようにして手書き文字をテキストに変換して入力することができる。後述する図22のフローチャートがサイン認証処理となるが、図22におけるサインを文字と置き換えることで、図7(c)における処理を実現することができる。
図8は携帯型通信端末装置200にスタイラス206を用いて複数種類の表示言語を切り替える例を説明するための図である。
本実施例においては、スタイラス206に使用する言語の言語情報が予め設定されている。図8(a)では、スタイラス206に日本語の言語設定が設定されている場合に表示部203に表示される言語設定画面801である。一方、図8(b)では、スタイラス206に英語の言語設定が設定されている場合に表示部203に表示される言語設定画面802である。ユーザは、言語設定画面801あるいは802を用いて、言語設定(ここでは、日本語と英語)を切り替えることが可能である。言語設定が切り替えられた場合には、携帯型通信端末装置200だけでなく、スタイラス206の言語情報も切り替えることができるようにしてもよい。この処理は、詳細は後述するが、図24のフローチャートでモードの切替を言語設定の切替に置き換えることで実現することができる。
図9は携帯型通信端末装置200の画面の一例を示す図である。本実施例では、スタイラス206により認証が行われた場合、所定のモードで画面表示を行う。例えば、スタイラス206に設定された所定のモード情報が、携帯型通信端末装置200に保存されたモード情報のうちいずれかと一致する場合、対応するモードの画面を表示する。尚、モード情報とは、携帯型通信端末装置200の複数種類の各動作モードを示す情報であり、通常モード(ユーザモード)、工場モード等が挙げられる。また、モード情報は、スタイラス206に保存されており、適宜、設定することができる。
まず、図9(a)は、表示部203に表示される通常モード(ユーザモード)を示す通常画面901である。この通常画面901は、モード情報を備えるスタイラス206で認証が行われている状態で表示される。尚、ここで認証が行われている状態とは、スタイラス206が携帯型通信端末装置200と通信中の状態を指す。ここでの通常画面901は、ログイン画面を表示しているが、通常画面は、これに限定されず、ユーザが操作可能な画面である。
図9(b)は、スタイラス206での認証が実行されていない場合を示している。ここではスタイラス206と通信中ではないため、ロック中である状態を示すロック画面902が表示されている。尚、本実施例では、スタイラス206が通信されていない場合、ロック中である状態を示すロック画面としたるが、通信していない場合に行う表示画面は、これに制限されるものではない。ロック画面902は、図9(a)で示す通常画面との差異があればよい。
図9(c)は、表示部203に表示される工場モードを示す工場画面903を示している。工場モードとは、例えば、通常のユーザが基本的には使用できないモードであり、工場での出荷前チェック等のタイミングで、携帯型通信端末装置200の製造元で使用されるモードである。工場モードでは、例えば、携帯型通信端末装置200の初期値を設定することができる。工場モードと通常モードの切替についての操作は、詳細は後述するが、図24に示すフローにより実現する。
本実施例では、スタイラス206のモード情報は、工場出荷前の初期状態では、工場モードに設定されており、工場画面903に対する出荷前検査等の各種操作が完了して、例えば、工場出荷が可能な状態であることを示す指示入力を行うと、工場モードの設定を通常モードに設定することができる。
図10は携帯型通信端末装置200にスタイラス206を用いて操作している際に、時間経過で振る舞いが異なる例を示す図である。
図10(a)は、表示部203に表示される画面1001である。この画面1001は、携帯型通信端末装置200とスタイラス206との通信が確保されて、認証が済んだため操作画面を操作できる状態を示す画面である。この画面1001は、図9(a)の通常画面901に対応する。
図10(b)は、ログイン状態の操作画面1002、すなわち、ログインを済ませて実際の操作を行う操作画面1002を示している。図10(c)は、図10(b)の操作画面1002に対する操作中にスタイラス206を離して通信が確保できなくなった場合を示す画面1003を示している。この画面1003は、図9(b)のロック画面902に対応する。
図10(d)及び図10(e)はそれぞれ通信が確保できなくなった後に通信が確保された場合、通信が確保できなくなってから経過した時間に応じて表示される操作画面1004及び1005を示している。本実施例では、通信が確保できなくなった後、第1の所定時間(例えば、5秒)以内に通信が確保されて復帰した場合には、図10(c)のように、図10(b)と同様の操作画面1004に戻り、操作の続きを行うことができる。
一方、通信が確保できなくなった後、第1の所定時間経過後に操作に復帰した場合には、図10(e)の画面1005に戻る。この場合には、図10(a)のように、ログイン状態はログオフされ、再度、認証を行う状態に戻る。
このように、スタイラス206を離して通信が確保できなくなった後の経過時間によって、その後の操作に戻る画面が異なるように設定してもよい。この処理に詳細については、図19を用いて後述する。
図11は携帯型通信端末装置200にスタイラス206を用いて、自動ログインを行う例を示す図である。本実施例では、スタイラス206に保存されるユーザ情報に基づいて、自動ログインを行う。
まず、図11(a)は、表示部203に表示されるログイン画面1101を示している。スタイラス206との通信が確立していない状態では、ログイン画面1101は表示されていないが、スタイラス206との通信が確立した際にログイン画面1101が表示される。次に、図11(b)は、ログイン名とパスワードが自動的に入力される場合に表示部203に表示される画面1102を示している。スタイラス206が通信中にさらに一定距離内に入った場合には、スタイラス206に記憶されているユーザ情報、ここでは、ログイン名とパスワードが自動的に携帯型通信端末装置200に送信されて、入力データとして画面1102に入力される。これで、OKボタンを押下すればログインが可能となる。
一方、図11(c)は、図11(b)の場合とは異なり、OKボタンを押下した際にログイン名とパスワードを入力する場合の画面1103を示している。図11(b)と異なる点は、携帯型通信端末装置200から一定距離範囲内にスタイラス206が存在していることと、OKボタンを押下されたことの両方の条件を満足する場合に初めて、スタイラス206に記憶されているログイン名とパスワードが画面1103に入力されることである。図11(c)の場合は、図11(b)の場合より、携帯型通信端末装置200に対してデータが送信されるタイミングが遅くなるが、どちらの場合にしてもログイン名、パスワードをユーザが入力せずにログインが可能となる。
図11(d)は、携帯型通信端末装置200とスタイラス206との通信が確立していない状態、例えば、スタイラス206を携帯型通信端末装置200から離している場合に表示部203に表示される画面1104を示している。この場合、画面1104に示すように、ロック中となり、操作ができない状態となる。以上の処理の詳細については、図17及び図18を用いて後述する。
図12は携帯型通信端末装置200にスタイラス206を用いて表示画像を拡大する例を示す図である。
図12(a)は、携帯型通信端末装置200とスタイラス206との通信が確立していない状態、例えば、携帯型通信端末装置200からスタイラス206を離して通信が確保できなくなった場合に表示部203に表示される画面1201を示している。この場合、画面1201に示すようにロック中となり、携帯型通信端末装置200は操作ができない状態となる。
図12(b)は、スタイラス206と携帯型通信端末装置200が通信中である場合の画面1202を示している。この場合、画面1202に示すように、通信が確立された場合には、画像検索画面を表示する。画面1202において、サムネイルは、携帯型通信端末装置200内に保存してあるファイルのサムネイルであったり、サーバ装置101内に保存してあるファイルのサムネイルであったりする。検索対象の画像の選択が終了したら、検索開始キーが押下されることで画像検索が実行される。
図12(c)は、スタイラス206を用いて携帯型通信端末装置200の操作を行っている場合の操作画面1203を示している。スタイラス206で操作を行っている場合には、画面1202の一部の内容を拡大した操作画面1203が表示される。ここでは、スタイラス206で操作し、かつ一定距離内(ズーム距離内)に入った場合のみ拡大が行われる様子を示している。本実施形態では、スタイラス206がズーム距離内に入った場合、例えば、所定のサムネイルの領域に入った場合、そのサムネイルを拡大表示する。検索対象のサムネイル(画像)を押下すると、フォーカスが表示され、検索対象として選択されたことを示す。ここでは、拡大としているが、拡大以外にも、拡縮を含む変倍、操作画面中の所定領域を反転表示、ブリンク表示等の表示形態を変更することで、所定領域とそれ以外の領域を識別可能に表示するようにしても良い。
図13はスタイラス206の不揮発性メモリ1509の構成を示す図である。
1301は、不揮発性メモリ1509の記憶領域全体を示している。不揮発性メモリ1509は、デバイスデータ1302と、ユーザデータ1305とを有する。デバイスデータ1302は、スタイラス206が操作するデバイスの挙動に影響するデータを記憶している。デバイスデータ1302としては、例えば、言語情報1303、デバイスモード1304、スタイラス情報1305が挙げられる。尚、デバイスデータ1302として、これらは全て保持していなくてもよいし、他のデバイスデータを保持していてもよい。デバイスモード1304は、モード情報であり、ユーザモードや工場モード等のデバイスの動作モードを含む。スタイラス情報1305は、携帯型通信端末装置200がどのスタイラス206で操作されたかのスタイラス情報を意味している。
ユーザデータ1306は、スタイラス206を使用するユーザに関するデータを記憶している。ユーザデータ1306としては、例えば、名前1307、住所1308、メールアドレス1309、電話番号1310、ID1311、メールID1312、パスワード1313、サイン情報1314、筆圧1315、文字太さ1316、フォント1317、文字書き速度1318、文字認識特徴情報1319が挙げられる。尚、ユーザデータ1306として、これらは全て保持していなくてもよいし、他のユーザデータを保持していてもよい。
本実施形態では、1つのスタイラスを1人のユーザが使用するという前提において、ユーザデータ1306を管理する例を挙げているが、スタイラス206で管理できる情報であれば、この限りではない。また、同様に、携帯型通信端末装置200も、図13に示すデバイスデータ及びユーザデータを記憶している。スタイラス206と同様の構成を有することで、スタイラス206と携帯型通信端末装置200の情報のやり取りが可能となる。
図14は携帯型通信端末装置200のNFCメモリ405の構成を示す図である。
1401は、携帯型通信端末装置200のNFCメモリ405の記憶領域全体を示している。NFCメモリ405では、デバイスデータ1402、及びユーザデータ1403を記憶している。その詳細は、図13のスタイラス206の不揮発性メモリに記憶されるデバイスデータ1302、及びユーザデータ1306と同様である。ただし、携帯型通信端末装置200は、スタイラス206が記憶するユーザデータの全てを記憶している必要はない。例えば、ユーザログインに必要な情報であるID1312及びパスワード1313や、自動入力に用いる情報等は、スタイラス206のみが記憶していればよい。
また、本実施例では、NFCメモリ405は、認証キー1404を備えている。これにより、携帯型通信端末装置200の電池残量が無くなった場合でも、パッシブモードでターゲットとして通信するときは、所定の手順で認証キー1404を用いて認証を行うことで、NFCメモリ405内のデータを読み書きすることができる。
尚、図15には図示しないスタイラス206のNFCメモリも同様の構成を有していて、デバイスデータ1402、及びユーザデータ1403と同一内容のデータ(あるいは、スタイラス206の不揮発性メモリに記憶しているデバイスデータ1302、及びユーザデータ1306のコピー)を記憶している。そして、スタイラス206の電池残量が無くなった場合でも、パッシブモードでターゲットとして通信するときは、所定の手順で認証キー1404を用いて認証を行うことで、スタイラス206のNFCメモリ内のデータを読み書きすることができる。
図16はNFCユニットがイニシエータとして動作するためのフローチャートである。
まず、初めに、ステップS1601で、すべてのNFCユニット400(携帯型通信端末装置200のNFCユニット318、スタイラス206のNFCユニット1508)はターゲットとして動作し、イニシエータからの命令を待っている状態になる。ここで、NFCユニット400は、NFC規格による通信を制御するアプリケーションからの要求でイニシエータに切り替わることができる。そこで、ステップS1602で、NFCユニット400は、イニシエータに切り替わるかどうかを判定する。すなわち、アプリケーションからNFCユニット400がイニシエータに切り替わる要求があったかを判定する。NFCユニット400がイニシエータに切り替わらない場合(ステップS1602でNO)、ステップS1601に戻る。一方、NFCユニット400がイニシエータに切り替わる要求に応じることで、NFCユニット400がイニシエータに切り替わる場合(ステップS1602でYES)、ステップS1603に進む。
NFCユニット400がイニシエータに切り替わる要求に応じた場合、ステップS1603で、NFCユニット400のアプリケーションは、アクティブモードまたはパッシブモードのどちらかを選択し、伝送速度を決める。次に、ステップS1604で、イニシエータとしてのNFCユニット400は、自装置以外が出力する外部のRFフィールドの存在を検知する。つまり、外部のRFフィールドが存在するか否かを判定する。外部のRFフィールドが存在する場合(ステップS1604でYES)、イニシエータは自らのRFフィールドは発生させないようにして、RFフィールドが存在しなくなるまで待機する。一方、外部のRFフィールドが存在しない場合(ステップS1604でNO)、ステップS1605に進み、イニシエータとしてのNFCユニット400は、自らのRFフィールドを発生させる。以上のステップを経て、NFCユニット400は、イニシエータとして動作を開始する。
図17は自動ログインの処理を示すフローチャートである。
尚、図17の処理は、携帯型通信端末装置200のCPU302が、ROM303に記憶されているプログラムを読み出し実行することで実現される。また、図17の処理は、特に、図11(b)における自動ログインを実行する場合を示している。
まず、ステップS1700で、CPU302は、スタイラス206と非通信状態である場合に動作するモードを示すロック画面を表示する。ステップS1701で、CPU302は、NFC付きスタイラス206と認証の通信を開始したか判定し、通信を開始したと判定した場合(ステップS1701でYES)、S1702へ進む。尚、通信を開始したと判定しない場合(ステップS1701でNO)、通信を開始したと判定するまで待機する。次に、ステップS1702で、CPU302は、ログイン画面(図11)を表示する。
次に、ステップS1703で、一定距離内にNFC付きスタイラスが存在するか判定する。一定距離内に存在しない場合(ステップS1703でNO)、ステップS1700へ戻る。一方、一定距離内に存在する場合(ステップS1703でYES)、ステップS1704へ進む。
ステップS1704で、CPU302は、スタイラス206が記憶している情報を判定し、携帯型通信端末装置200のログイン情報(ログイン名、パスワード)を有するスタイラスであるか否かを判定する。ログイン情報を有していない場合(ステップS1704でNO)、ステップS1706へ進む。一方、ログイン情報を有している場合(ステップS1704でYES)、ステップS1705へ進む。
ステップS1705で、CPU302は、スタイラス206が記憶しているログイン情報(ログイン名、及びパスワード)を受信し、そのログイン名、パスワードをログイン画面(図11(b))の入力エリアに自動的に入力する。
ステップS1706で、CPU302は、OKボタンを押下された際の処理を行う。本実施形態では、ログインの認証処理が、このOKボタン押下時の処理(所定のボタン操作)に該当する。次に、ステップS1707で、CPU302は、ログイン認証がOKであるか否かを判定する。ログイン認証がOKでない場合(ステップS1707でNO)、ステップS1702へ戻る。一方、ログイン認証がOKである場合(ステップS1707でYES)、ステップS1708に進み、ログイン処理を行う。
尚、スタイラス206が、携帯型通信端末装置200のログイン情報を有していない場合は、ユーザが手入力で、携帯型通信端末装置200の入力エリア(図11(b))に、ログイン名及びパスワードを入力することになる。その上で、ステップS1706の処理を実行する。
図18は自動ログインの処理の別の例を示すフローチャートである。
尚、図18の処理は、携帯型通信端末装置200のCPU302が、ROM303に記憶されているプログラムを読み出し実行することで実現される。また、図18の処理は、特に、図11(c)における自動ログインを実行する場合を示している。
まず、ステップS1800で、CPU302は、スタイラス206と非通信状態である場合に動作するモードを示すロック画面を表示する。次に、ステップS1801で、CPU302は、NFC付きスタイラス206と認証の通信を開始したか判定する。通信を開始したと判定した場合は(ステップS1801でYES)、S1802へ進む。尚、通信を開始したと判定しない場合(ステップS1801でNO)、通信を開始したと判定するまで待機する。次に、ステップS1802で、CPU302は、ログイン画面(図11)を表示する。
ステップS1803で、CPU302は、一定距離内にNFC付きスタイラス206が存在するか否かを判定する。一定距離内に存在しない場合(ステップS1803でNO)、ステップS1800へ戻る。一方、一定距離内に存在する場合(ステップS1803でYES)、ステップS1804へ進む。
ステップS1804で、CPU302は、スタイラス206が記憶している情報を判定し、携帯型通信端末装置200のログイン情報(ログイン名、パスワード)を有するスタイラスである否かを判定する。ログイン情報を有していない場合(ステップS1804でNO)、ステップS1802へ戻る。一方、ログイン情報を有している場合(ステップS1804でYES)、ステップS1805へ進む。
ステップS1805で、OKボタンが押下されたか否かを判定する。OKボタンが押下されていない場合(ステップS1805でNO)、ステップS1802へ戻る。一方、OKボタンが押下された場合(ステップS1805でYES)、ステップS1806へ進む。
ステップ1806で、CPU302は、スタイラス206が記憶している情報をログイン情報(ログイン名、及びパスワード)を受信し、そのログイン名、パスワードをログイン画面(図11(c))の入力エリアに自動的に入力する。
次に、ステップS1807で、CPU302は、ログイン認証がOKであるか否かを判定する。ログイン認証がOKでない場合(ステップS1807でNO)、ステップS1802へ戻る。一方、ログイン認証がOKである場合(ステップS1807でYES)、ステップS1808に進み、ログイン処理を行う。以上で、処理は終了する。
図19はスタイラス206で操作していた場合に、一定時間スタイラスを離した場合の処理を示すフローチャートである。
尚、図19の処理は、携帯型通信端末装置200のCPU302が、ROM303に記憶されているプログラムを読み出し実行することで実現される。また、図19の処理は、特に、図10における処理を実行する場合を示している。
まず、ステップS1901で、CPU302は、スタイラス206と非通信状態である場合に動作するモードを示すロック画面(図10(c))を表示する。この場合、CPU302は、画面だけでなく内部の挙動もそれに合わせて変更する。次に、ステップS1902で、CPU302は、NFC付きスタイラス206と認証の通信を開始したか判定する。NFC付きスタイラス206と認証の通信を開始した場合(ステップS1902でYES)、ステップS1903へ進む。NFC付きスタイラス206と認証の通信が開始しない場合(ステップS1902でNO)、開始するまで待機する。
ステップS1903で、CPU302は、認証が完了すると、画面の表示を操作画面(図10(b))に変更する。次に、ステップS1904で、CPU302は、NFC付きスタイラスで通信中であるか否かを判定する。言い換えれば、S1904で、スタイラスとの通信が途切れていないかを判定する。通信中である場合(ステップS1904でYES)、通信が途切れるまで、この処理を継続する。一方、通信中でない場合(ステップS1904でNO)、ステップS1905へ進む。
ステップS1905で、CPU302は、スタイラス206と非通信状態である場合に動作するモードを示すロック画面を表示する。この場合、CPU302は、ロック画面だけでなく内部の挙動もそれに合わせて変更する。これは、ステップS1901と同様の処理であり、スタイラス206で操作されていない場合の通常画面である。そして、ステップS1906で、CPU302は、NFC付きスタイラス206と認証の通信を開始したか判定する。NFC付きスタイラス206と認証の通信を開始した場合(ステップS1906でYES)、ステップS1907へ進む。NFC付きスタイラス206と認証の通信が開始しない場合(ステップS1906でNO)、開始するまで待機する。すなわち、再度、スタイラス206が近づけられた場合には、CPU302は、認証の通信を開始し、ステップS1907へ進む。
ステップS1907で、CPU302は、ステップS1904にて通信が途切れてからの経過時間が一定時間経過しているか否かを判定する。携帯型通信端末装置200にて予め設定された一定時間を経過していない場合(ステップS1907でNO)、ステップS1909へ進み、CPU302は、ステップS1903で表示していた通信中の画面状態(通常画面)に戻す。図10の例で説明すると、図10(b)から図10(c)を経て図10(d)に進むことを指している。
一方、一定期間経過している場合(ステップS1907でYES)、ステップS1908へ進む。ステップS1908で、CPU302は、操作終了であるか否かを判定する。操作終了でない場合(ステップS1908でNO)、ステップS1903へ戻る。図10の例で説明すると、図10(b)から図10(c)を経て図10(e)に進むことを指している。
一方、操作終了である場合(ステップS1908でYES)、処理を終了する。
以上の処理により、スタイラス206で操作していた場合に、一定期間経過した場合と経過していない場合に、携帯型通信端末装置200挙動を切り替えることができる。このような処理により、セキュリティを保ちつつ、かつユーザビリティを意識した装置の表示操作を実現することができる。
尚、本実施形態では、一定時間を条件として、画面の切替を行っているが、これに限定されない。例えば、ユーザが操作の途中であるか、一旦操作が終了しているか否かを判定できる数値を基準として、同様の制御を実現するようにしても良い。
図20はスタイラス206で操作した場合に、画面の一部がズームされる処理を示すフローチャートである。
尚、図20の処理は、携帯型通信端末装置200のCPU302が、ROM303に記憶されているプログラムを読み出し実行することで実現される。また、図20の処理は、特に、図12における処理を実行する場合を示している。
まず、ステップS2000で、CPU302は、スタイラス206と非通信状態である場合に動作するモードを示すロック画面(図12(a))を表示する。この場合、CPU302は、画面だけでなく内部の挙動もそれに合わせて変更する。次に、ステップS2001で、CPU302は、NFC付きスタイラス206との認証の通信を開始したか判定する。NFC付きスタイラス206と認証の通信を開始した場合(ステップS2001でYES)、ステップS2002へ進む。これは、NFC付きスタイラス206が携帯型通信端末装置200との通信圏内に入った際の挙動である。NFC付きスタイラス206と認証の通信が開始しない場合(ステップS2001でNO)、開始するまで待機する。
ステップS2002で、CPU302は、ステップS2001で認証を行い、その認証が完了すると、操作画面(図12(b))を表示する。尚、ステップS2000〜ステップS2002については認証失敗時の処理は、詳細説明を省略する。
次に、ステップS2003で、CPU302は、NFC付きスタイラスで通信中であるか否かを判定する。言い換えれば、S2003で、スタイラスとの通信が途切れていないかを判定する。通信中である場合(ステップS2003でYES)、S2004へ進む。一方、通信中でない場合(ステップS2003でYES)、ステップS2000へ戻る。
ステップS2004で、CPU302は、スタイラス206がズーム距離内に存在しているか否かを判定する。本実施形態においては、スタイラス206が通信可能な距離の中で、更に、その内側の一定距離内にいるか否かを判定する。ここでは、その内側の一定距離内をズーム距離としている。尚、ズーム距離は、適宜設定すればよく、例えば、画面1202にタッチする距離をズーム距離としてもよいし、画面1202にタッチはしていないがかなり近づいている距離をズーム距離としてもよい。スタイラス206がズーム距離内に存在している場合(ステップS2004でYES)、ステップS2005へ進む。ステップS2005で、CPU302は、操作画面の一部の拡大表示(図12(c))を実行する。このとき、本実施形態では、スタイラス206の距離に最も近い画像を拡大表示する。
一方、スタイラス206がズーム距離内に存在していない場合(ステップS2004でNO)、ステップS2006へ進む。ステップS2006で、CPU302は、操作画面の通常表示を行う。ここでの通常表示とは、拡大表示を行っていない、図12(b)のような表示のことを指している。
ステップS2007で、CPU302は、操作が終了したか否かを判定する。操作が終了していない場合(ステップS2007でNO)、ステップS2004へ戻る。一方、操作が終了している場合(ステップS2007でYES)、処理を終了する。
以上の処理により、スタイラス206の認証での画面と、更に、その内部の一定距離内での挙動(処理内容)を切り替えることが可能となる。
尚、本実施形態では、携帯型通信端末装置200の画面表示をズームする構成を示しているが、これに限定されない。本構成において、通信距離内のさらに一定距離内での挙動を変更させる仕様であればこの限りではない。
図21は携帯型通信端末装置200の内部情報を、携帯型通信端末装置200のNFCメモリに書き込む処理を示すフローチャートである。
NFCメモリからは、携帯型通信端末装置200がハードオフ状態でも情報を読み取ることができる。そのため、予め情報を書き込んでおくことで、通信モードがパッシブモードであり、かつ携帯型通信端末装置200がターゲットである場合、電源をオンにしなくても内部情報を読み取ることができる。
携帯型通信端末装置200が起動状態のとき、まず、ステップS2101で、CPU302は、NFC付きスタイラス206で操作したか否かを判定する。NFC付きスタイラスを使用して操作した場合(ステップS2101でYES)、ステップS2102へ進む。ステップS2102で、CPU302は、NFCメモリに関連属性情報を書き込む。その後、ステップS2101に戻る。
一方、NFC付きスタイラス206で操作していない場合(ステップS2101でNO)、ステップS2103へ進む。ステップS2103で、スタイラス206の保存情報が変更されたか否かを判定する。スタイラス206の保存情報が変更された場合(ステップS2103でYES)、ステップS2104へ進む。ステップS2104で、CPU302は、その保存情報をNFCメモリに書き込む。その後、ステップS2101に戻る。
スタイラス206の保存情報が変更されていない場合(ステップS2103でNO)、ステップS2105へ進む。ステップS2105で、CPU302は、スリープ状態に移行するか否かを判定する。スリープ状態に移行する場合(ステップS2105でYES)、ステップS2107へ進む。ステップS2107で、CPU302は、NFCメモリに関連の属性情報の内部情報を書き込んだ後に、スリープ状態へと移行する。ここで書き込む関連情報の内部情報には、図13で示す情報や、それ以外の関連の情報を指す。また、スタイラス206と携帯型通信端末装置200でやり取りを行う情報であれば、この限りではない。
一方、スリープ状態に移行しない場合(ステップS2105でNO)、ステップS2106へ進む。ステップS2106で、CPU302は、携帯型通信端末装置200の電源キーが押下されたか否かを判定する。電源キーが押下された場合(ステップS2106でYES)、ステップS2107へ進む。ステップS2107で、CPU302は、NFCメモリに携帯型通信端末装置200の内部情報を書き込んだ後に、ハードオフ状態へと移行する。ここで書き込む内部情報は、スリープ状態へ移行するときと同様で良いが、例えば、ハードオフ状態へ移行する時刻等の異なる情報を書き込んでも良い。
一方、電源キーが押下されていない場合(ステップS2106でNO)、ステップS2101に戻る。このような処理により、携帯型通信端末装置200の内部情報を取得する際にスリープ状態やハードオフ状態から復帰しなくてもよい。
尚、これらの処理は、図21に示す順で実行される必要はなく、すべての処理を行わなくても良いので、必要に応じて処理を増減させて良い。また、ここでは逐次処理によって内部情報の書き込み機能を実現しているが、例えば、各条件分岐部分のイベント駆動で行われても良く、その場合の優先度も自由に設定して良い。
また、本実施形態においては、スタイラス206も同様にNFCユニットとNFCメモリを有する構成であるため、同様の処理によって、データを保存しておくことが可能となる。
図22はサイン認証処理を示すフローチャートである。
尚、図22の処理は、携帯型通信端末装置200のCPU302が、ROM303に記憶されているプログラムを読み出し実行することで実現される。また、図22の処理は、特に、図7における処理を実行する場合を示している。
まず、ステップS2201で、CPU302は、スタイラス206と非通信状態である場合に動作するモードを示すロック画面を表示する。この場合、CPU302は、画面だけでなく内部の挙動もそれに合わせて変更する。次に、ステップS2202で、CPU302は、NFC付きスタイラス206との認証の通信を開始したか判定する。NFC付きスタイラス206と認証の通信を開始した場合(ステップS2202でYES)、ステップS2203へ進む。これは、NFC付きスタイラス206が携帯型通信端末装置200との通信圏内に入った際の挙動である。NFC付きスタイラス206と認証の通信が開始しない場合(ステップS2202でNO)、開始するまで待機する。
ステップS2203で、CPU302は、ステップS2202で認証を行い、その認証が完了すると、サイン認証用の操作画面(図7(a))を表示する。尚、ステップS2201〜2203については認証失敗時の処理は、詳細説明は省略する。
ステップS2204で、CPU302は、操作画面(図7(a)に対するサインの入力を検知したか判定する。サインが入力されない場合、S2208へ進む。一方、サインが入力された場合、ステップS2205で、CPU302は、サインを入力したスタイラス206に同じサインの情報があるか否かを判定する。スタイラス206に同じサイン情報がある場合(ステップS2205でYES)、ステップS2206へ進む。ステップS2206で、CPU302は、サイン認証成功と判定する。ステップS2207で、CPU302は、サイン情報の更新を行う。
一方、スタイラス206に同じサイン情報がない場合(ステップS2205でNO)、ステップS2209へ進む。ステップS2209で、CPU302は、サイン認証失敗と判定する。
ステップS2208で、CPU302は、操作が終了したか否かを判定する。操作が終了していない場合(ステップS2208でNO)、ステップS2204へ戻る。一方、操作が終了している場合(ステップS2208でYES)、処理を終了する。
ステップS2207では、今までのサイン情報と現在入力されたサイン情報を比較、融合してサイン情報の更新を行うことにより、入力されたサインの特徴を示す特徴点情報の精度をより向上させることができる。本実施例では、スタイラス206の情報を用いて携帯型通信端末装置200が動作し、さらに、入力されたサインにより特徴点情報が更新される。そして、その後の操作では、更新された特徴点情報を用いて、携帯型通信端末装置200が動作する。このような構成では、成功サンプルを増やすことで、ユーザがスタイラス206で書くときの文字の癖などをより反映したサインの特徴を示す特徴点情報をスタイラス206に保存することができる。これにより、スタイラス206に記憶される特徴点情報に基づいた認証の精度をより向上させることができる。
図23は画像検索処理を示すフローチャートである。
尚、図23の処理は、携帯型通信端末装置200のCPU302が、ROM303に記憶されているプログラムを読み出し実行することで実現される。また、図22の処理は、特に、図5における画像検索処理を実行する場合を示しているが、図7(b)におけるメール検索処理を実行する場合にも適用できる。これ以外にも、検索対象に対して検索条件を入力して、検索対象を検索する検索処理についても同様に適用することができる。
まず、ステップS2301で、通信が行われていない場合には、CPU302は、スタイラス206と非通信状態である場合に動作するモードを示すロック画面を表示する。この場合、CPU302は、画面だけでなく内部の挙動もそれに合わせて変更する。次に、ステップS2302で、CPU302は、NFC付きスタイラス206との認証の通信を開始した場合(ステップS2202でYES)、ステップS2303へ進む。これは、NFC付きスタイラス206が携帯型通信端末装置200との通信圏内に入った際の挙動である。NFC付きスタイラス206と認証の通信が開始しない場合(ステップS2302でNO)、開始するまで待機する。
ステップS2303で、CPU302は、ステップS2302で認証を行い、その認証が完了すると、画像検索用の操作画面(図5)を表示する。尚、ステップS2301〜2303については認証失敗時の処理は、本実施形態での特徴ではないので、その詳細説明を省略する。
ステップS2304で、CPU302は、画像検索の指示の有無を判定する。図5の操作画面500の場合、検索開始キー503の押下の有無で、画像検索の指示の有無を判定する。画像検索の指示がない場合(ステップS2304でNO)、指示があるまで待機する。一方、画像検索の指示がある場合(ステップS2304でYES)、ステップS2305へ進む。
ステップS2305で、CPU302は、スタイラス206にユーザ情報があるか否かを判定する。このユーザ情報とは、例えば、図13に示すユーザ情報である。ユーザ情報がない場合(ステップS2305でNO)、ステップS2308へ進む。ステップS2308で、CPU302は、検索対象の画像の画像検索を実行し、画像検索結果画面を表示する。
一方、ユーザ情報がある場合(ステップS2305でYES)、ステップS2306へ進む。ステップS2306で、CPU302は、スタイラス206のユーザ情報を使用した検索を実行するか否かを判定する。この判定は、データ蓄積部312に保存されている情報によって決定する。例えば、スタイラス206で描いた文字や絵等のストロークデータがある場合には、これを利用した検索を行うことができるので、スタイラス206のユーザ情報を使用した検索を行うと判定する。
判定の結果、スタイラスのユーザ情報を使用した検索を実行しない場合(ステップS2306でNO)、ステップS2308へ進む。一方、スタイラスのユーザ情報を使用した検索を実行する場合(ステップS2306でYES)、ステップS2307へ進む。ステップS2307で、CPU302は、画像検索の表示や検索対象をスタイラスのユーザ情報で絞り込む。そして、ステップS2308で、CPU302は、絞り込んだ検索対象の画像に対して画像検索を実行して、その画像検索結果画面を表示する。
このような処理により、通常の画像検索に加えて、スタイラス206のユーザ情報を使用した絞り込み画像検索を実行することができる。
尚、図23では、画像検索処理について説明しているが、ユーザ情報並びに検索対象が画像であるという点については、メール検索においても、図23の処理を適用できる。また、画像やメールだけでなく、これ以外の他の種類の情報を検索する際に、スタイラス206に保存されている情報を用いて絞り込みを行う場合においても、図23の処理を適用でき、情報の種類はこの限りではない。
図24は携帯型通信端末装置200をスタイラス情報によってモード切替を実行する処理を示すフローチャートである。
尚、図24の処理は、携帯型通信端末装置200のCPU302が、ROM303に記憶されているプログラムを読み出し実行することで実現される。また、図24の処理は、特に、図9における処理を実行する場合を示している。
まず、ステップS2401で、CPU302は、スタイラス206と非通信状態である場合に動作するモードを示すロック画面(図9(b))を表示する。この場合、CPU302は、画面だけでなく内部の挙動もそれに合わせて変更する。次に、ステップS2402で、CPU302は、NFC付きスタイラス206との認証の通信を開始した場合(ステップS2402でYES)、ステップS2403へ進む。これは、NFC付きスタイラス206が携帯型通信端末装置200との通信圏内に入った際の挙動である。NFC付きスタイラス206と認証の通信が開始しない場合(ステップS2402でNO)、開始するまで待機する。
ステップS2403で、CPU302は、ステップS2402で、認証を行い、その認証が完了すると、操作画面(図9(a))を表示する。尚、ステップS2401〜ステップS2403については認証失敗時の処理は、詳細説明を省略する。
ステップS2404で、CPU302は、スタイラス206にモード情報(図13のデバイスモード1304)があるか否かを判定する。モード情報がない場合(ステップS2404でNO)、ステップS2406へ進む。ステップS2406で、CPU302は、ユーザモードの画面表示を実行する。一方、モード情報がある場合(ステップS2404でYES)、ステップS2405へ進む。
ステップS2405で、CPU302は、モード情報が示すモードを判定する。モードがユーザモードである場合、ステップS2406へ進み、CPU302は、ユーザモードの画面表示を行い、ステップS2408へ進む。一方、モードが工場モードである場合、ステップS2407へ進み、CPU302は、工場モードの画面表示を行い、ステップS2408へ進む。
ステップS2408では、CPU302は、モード切替の有無を判定する。尚、モード切替は、例えば、各モードで表示される操作画面で用意されるモード切替コントロール(ボタン、メニュー等)による操作によって実現する。
モード切替がある場合(ステップS2408でYES)、ステップS2404へ戻る。一方、モード切替がない場合(ステップS2408でNO)、ステップS2409で、操作終了である否かを判定する。操作終了でない場合(ステップS2409でNO)、ステップS2404へ戻る。一方、操作終了である場合(ステップS2409でYES)、処理を終了する。
工場での特殊な操作を行う場合には、ユーザにはわからないように独自の認証操作が必要となる。しかしながら、一つ一つに対して認証操作を行うのは負荷となってしまう。これに対し、本実施形態では、スタイラス206に工場モードを記憶させておき、スタイラス206に工場モードが設定されている場合は、このスタイラス206を用いることで、認証操作が不要となる。そして、モード切り替えを行って、ユーザモード(通常モード)とすることにより、ユーザモードの画面を表示することができる。
工場モードを記憶させたスタイラス206を用いることで、一つのスタイラス206を使用すれば複数の装置に対しても一つ一つの操作での認証操作を行うことは必要がない。工場モード用のスタイラスを用いて操作を行うだけで工場モードに入って操作を行うことができ、一つ一つに対しての認証操作が不要となる。
尚、本実施例では、スタイラス206が複数のモード情報を備え、適宜設定可能としたが、これに限定されるものではない。例えば、スタイラス206に保存するモード情報は、1種類でもよい。この場合は、スタイラス206の記憶しているモード情報に応じて、携帯型通信端末装置200に対して操作できる内容が変わる。すなわち、例えば、携帯型通信端末装置200が複数のモードで表示が可能である場合、スタイラス206に応じたモードで表示を行うことができる。言い換えれば、スタイラス206毎に異なるモードで表示ができるように設定することができる。具体的には、例えば、工場用のモード情報を保存するスタイラス206で認証が行われると、工場モードとなり、図9(c)に示すような工場モードを示す工場画面が表示される。また、通常用のモード情報を保存するスタイラス206で認証が行われると、図9(a)に示すような通常モードを示す通常画面が表示される。この場合も図24のフローで処理を行うことができ、ステップS2408は常にNOとなる。
以上説明したように、本実施形態によれば、スタイラスで操作可能な装置の挙動を、スタイラスが保存している情報に従って変更することが可能となり、認証操作やセキュリティの観点で、確実かつ安全な認証処理を実現することができる。また、ユーザビリティ的な観点においてみると、認証操作等の操作における操作回数を削減することができる。
例えば、通信が確立したスタイラスで操作した内容(サイン等のストローク(軌跡)入力)とスタイラス内部に保存されるデータを比較する等の処理によって認証を行う。この方法により、従来のカードリーダでの認証では実現できない、「認証されたデバイスによって認証用データを作成する」という二重の認証を行う構成を実現できる。
また、同様の構成によって、通常のスタイラスでの操作に比べて、認証を行いながらステップ数の少ない方法を提供することができる。
尚、上述した実施形態では、複数の実施例を例に挙げて説明したが、これらの1以上の機能を備えるものであればよい。すなわち、これらのうちいくつかの機能を備えるものとしてもよいし、これらの全ての機能を備えていてもよい。
また、スタイラス206で操作を行い、スタイラス206に保存されている情報で携帯型通信端末の挙動を切り替る構成は、上述したものに限定されるものではない。
また、上述した実施形態では、NFC付きスタイラスと通信中ではない場合は、ロック画面を表示するものとしたが、これに限定されるものではない。例えば、NFC付きスタイラスと通信中ではない場合も操作画面を表示するようにしてもよい。
上述した実施形態では、携帯型通信端末装置200が起動状態となった場合、まず、ロック画面を表示するものとしたが、これに限定されず、携帯型通信端末装置200が起動状態となると、まず、操作画面を表示するようにしてもよい。
尚、本実施形態の機能は以下の構成によっても実現することができる。つまり、本実施形態の処理を行うためのプログラムコードをシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)がプログラムコードを実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することとなり、またそのプログラムコードを記憶した記憶媒体も本実施形態の機能を実現することになる。
また、本実施形態の機能を実現するためのプログラムコードを、1つのコンピュータ(CPU、MPU)で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。