JP6019458B2 - 情報処理方法 - Google Patents

情報処理方法 Download PDF

Info

Publication number
JP6019458B2
JP6019458B2 JP2014529182A JP2014529182A JP6019458B2 JP 6019458 B2 JP6019458 B2 JP 6019458B2 JP 2014529182 A JP2014529182 A JP 2014529182A JP 2014529182 A JP2014529182 A JP 2014529182A JP 6019458 B2 JP6019458 B2 JP 6019458B2
Authority
JP
Japan
Prior art keywords
terminal
display surface
information
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014529182A
Other languages
English (en)
Other versions
JPWO2014024257A1 (ja
Inventor
一紀 酒寄
一紀 酒寄
Original Assignee
パイオニアVc株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニアVc株式会社 filed Critical パイオニアVc株式会社
Publication of JPWO2014024257A1 publication Critical patent/JPWO2014024257A1/ja
Application granted granted Critical
Publication of JP6019458B2 publication Critical patent/JP6019458B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、情報処理方法に関する。
インターネットやローカルエリアネットワーク(LAN:Local Area Network)等のネットワークに接続して各種データを送受信する情報通信端末が広く普及している。
近年、このような情報通信端末として、タッチパネルを備える高機能携帯電話といった、高機能かつ持ち運び可能な携帯型の情報通信端末が広く知られている。
このような情報通信端末の普及により、情報通信端末間での情報の共有や送受信を行う機会が増加している。このため、複数の情報通信端末間でデータの共有・送受信を行うためのシステムが従来から提案されている(例えば、特許文献1)。
特許文献1の構成では、情報通信端末に、その使用者や位置を特定するマーカを予め張り付けておく。そして、予めマーカが張り付けられた情報通信端末を実空間に配置する。この実空間を撮影部で撮影して、マーカを解析することにより、実空間における情報通信端末の位置、使用者および端末情報等を特定する。また、撮影部は、使用者の実空間における操作の内容も撮影し、特定する。これらの特定した情報を用いて、実空間における端末の位置や使用者の操作等を反映させる仮想的な空間である情報空間を形成する処理を行っている。
特開2001−136504号公報
特許文献1の構成では、上述のような処理を行うことにより、複数の情報通信端末を情報空間に取り込み、この情報空間を介して情報通信端末間での直感的な情報のやりとりを実現しようとしている。
しかしながら、情報空間に情報通信端末を取り込むためには、上記マーカを予め作成し、情報通信端末に張り付けておく必要がある。すなわち、自らの情報通信端末を情報空間に取り込ませたい使用者は、この情報通信端末を特定するため情報を、管理者に予め提供する必要がある。また、管理者は、その情報をもとにマーカを作成し、使用者に配布する必要がある。さらに、使用者は、配布されたマーカを自らの情報通信端末に貼り付ける必要がある。このように、マーカの作成および貼り付けといった事前準備が必要であり、煩わしいという問題がある。
また、情報通信端末間で情報の送受信を行うためには、各情報通信端末およびこの情報空間を管理する機器が、相互に通信可能に接続されている必要がある。
したがって、使用者は、他の情報通信端末、情報空間を管理する機器および自らの情報通信端末を通信可能に接続させるために、自らの情報通信端末のIPアドレス等の接続に必要な情報(以下、接続情報ともいう)を、管理者に予め提供する必要がある。そして、管理者は、その接続情報に基づいて、接続の設定を行ったうえで、情報通信端末に貼り付けるマーカと対応付ける作業を行う必要があり、やはり事前準備が煩わしいという問題がある。
すなわち、ある情報通信端末を用いて、他の情報通信端末を操作するためには、予め、これらの情報通信端末が互いに通信可能な接続を行うことができるように設定されている必要がある。しかしながら、従来の情報処理システムを用いた情報処理方法では、接続情報を固定したうえでこの接続情報を管理者に提供し、管理者は、予め提供された接続情報に基づいて接続の設定を行う必要があった。したがって、ある情報通信端末を用いて、他の情報通信端末を操作することは容易ではないという問題があった。
本発明は、上記課題に鑑みてなされたものであり、所定の端末において、容易に他の端末を操作することができる情報処理方法を提供することを1つの目的とする。
本発明の情報処理方法は、画像を表示する第1表示面、操作を検出する操作検出部、および物体の表面の情報を読取る読取部を備える第1端末と、画像を表示する第2表示面を備える第2端末と、が通信可能に接続された情報処理システムにおける情報処理方法であって、前記第2端末が、前記第1端末と前記第2端末とを通信可能にするための接続情報を、前記第2表示面に表示させる接続情報表示ステップと、前記第1端末が、前記第2表示面を前記第1表示面に対向するように前記第1表示面上に配置された前記第2端末を前記操作検出部によって検出する端末検出ステップと、前記第1端末が、前記第1表示面上に配置された前記第2端末の前記第2表示面に表示された前記接続情報を、前記読取部によって読取ることで前記接続情報を取得する読取ステップと、前記第1端末が、前記接続情報を用いて前記第2端末との接続を確立する接続ステップと、前記第1端末が、前記第2端末を前記第1表示面で操作するための第1操作画像を前記第1表示面に表示させる第1操作画像表示ステップと、前記第1端末が、前記第1操作画像に対する操作を前記操作検出部によって検出し、前記第2端末に当該操作に応じた処理を行わせるための処理指示を前記第2端末へ送信する処理指示送信ステップと、前記第2端末が、前記処理指示に応じた処理を行う処理ステップと、を行うことを特徴とする。
本発明の一実施形態に係る情報処理システムの模式図。 前記情報処理システムのブロック図。 前記情報処理システムにおける設置端末の処理を示すフローチャート。 前記設置端末の処理を示すフローチャート。 前記情報処理システムの携帯端末の表示面を示す模式図。 前記設置端末の表示面を示す模式図。 前記設置端末の表示面を示す模式図。 前記設置端末の表示面を示す模式図。 前記携帯端末の処理を示すフローチャート。
以下、本発明に係る情報処理方法を実現する情報処理システムの一実施形態について、説明する。
{情報処理システムの構成}
図1に示すように、情報処理システム1は、第1端末としての設置端末2と、第2端末としての携帯端末4と、サーバ6と、ネットワーク7とを備える。
ネットワーク7は、ローカルエリアネットワークやグローバルネットワーク等のネットワークを形成するための情報通信網であり、無線通信や有線通信により、設置端末2、携帯端末4およびサーバ6を各種情報を通信可能に接続する。
サーバ6は、情報処理システム1を構成するために必要な各種のデータおよびプログラム等を記憶する。また、サーバ6は、インターネットワーク経由で通信する場合など、設置端末2と携帯端末4とが直接通信できない場合は、設置端末2と携帯端末4との通信を仲介する。
なお、情報処理システム1を構成するために必要な各種データおよびプログラム等が設置端末2や携帯端末4に記憶されており、かつ、サーバ6を介して通信を行う必要がない場合は、情報処理システム1は必ずしもサーバ6を備えなくてもよい。
{設置端末の構成}
設置端末2は、図2に示すように、第1表示面としての表示面20を有する表示部21と、操作検出部22と、読取部23と、各種情報通信端末との通信を行う通信手段としての送受信部24と、記憶部25と、設置端末2を制御する制御部30とを備える。
なお、設置端末2は、表示面20が上方を向くテーブル型のものであってもよいし、壁面などに設置されて表示面20が水平方向を向く壁掛け型のものであってもよい。また、設置端末2は、音声出力手段を備えてもよい。
表示部21としては、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ等の各種ディスプレイを用いることができる。
操作検出部22は、人間の指等の指示物が表示面20に接触または近接した場合(以下、指示物等が、表示面20に接触する接触位置に存在する場合と、近接する近接位置に存在する場合とを含めて「表示面20上に存在する」ともいう)、接触位置または近接位置を検出し、検出結果を制御部30に送信する。
操作検出部22は、指示物が表示面20に近接したことを検出可能な赤外線方式のタッチパネルや、指示物が表示面20に接触したことを検出可能な静電容量方式や電磁誘導方式などの各種方式のタッチパネルである。なお、操作検出部22は、タッチパネルに限定されず、例えば、設置端末2に接続されたマウスやキーボード等の、使用者による操作指示を設置端末2に入力可能な各種入力手段でもよい。
読取部23は、表示面20上に配置された物体の表面の情報を読取る。例えば、読取部23は、表示部21の内部に配置された赤外線方式のスキャナ装置やカメラデバイスなどにより構成される。
なお、表示部21および読取部23として、特開平6−186585号公報「液晶パネル及びそれを用いた情報入力装置」に記載されているような、液晶パネルの各画素に光センサーを内蔵し、液晶パネルの表面に置かれた物体を認知することが可能な液晶ディスプレイを用いても良い。すなわち、表示部21として液晶ディスプレイを用い、読取部23として上記光センサーを用いてもよい。このような液晶ディスプレイでは、上記光センサーにより、表示面に置かれた物体の表面の情報を読取ることができる。すなわち、上記光センサーは、読取部23としての機能を有する。また、上記光センサーは、表示面に接触または近接した指示物の接触位置または近接位置を検出することができる。すなわち、上記光センサーは、操作検出部22としての機能をも有する。したがって、上記光センサーを備える液晶ディプレイを用いることにより、タッチパネル等の操作検出部22を別途設けなくとも、指示物が表示面に接触または近接した場合に接触位置または近接位置を検出する操作検出部22と、物体の表面の情報を読取る読取部23との両方の機能を実現させることができる。
送受信部24は、ネットワーク7に接続された他の情報通信端末との間で通信を行う。
記憶部25は、設置端末2を制御するための各種プログラムやデータを記憶する。例えば、記憶部25は、携帯端末4の端末種別を特定するための端末情報を記憶する。
制御部30は、記憶部25に記憶されたプログラムおよびデータをCPU(Central Processing Unit)が処理することにより構成される、表示制御手段31と、コード読取手段32と、操作内容検出手段33と、処理指示生成手段34と、通信制御手段35とを備える。
表示制御手段31は、表示面20に、静止画や動画といったコンテンツを表示させる。また、表示制御手段31は、操作検出部22や送受信部24における入力に基づいて、表示内容を変更する。また、表示制御手段31は、設置端末2と通信可能に接続された携帯端末4を、使用者が表示面20上で操作するための第1操作画像としての操作画像200(図7、図8参照)を表示面20に表示させる。この操作画像200は、携帯端末4の表示面40側の面(以下、「携帯端末4の表示面40側の面」を「携帯端末4の表面」または「表面」ともいう)を表示面20に表示した画像である。すなわち、操作画像200は、表示面20において携帯端末4の表示面40を含む表面を仮想的に再現する画像であり、以下、「携帯端末4の操作画像200」または単に「操作画像200」ともいう。
ここで、操作画像200は、携帯端末4の状態に応じて、少なくとも携帯端末4の表示面40に表示されている、携帯端末4を操作するための第2操作画像としての表示画像400(図7、図8参照)を表示面20において再現する。すなわち、設置端末2は、少なくとも当該表示画像400を操作画像200として表示する。使用者は、実際の携帯端末4に表示されている表示画像400を操作する代わりに、表示面20に表示された操作画像200を操作する。これにより、あたかも実際に携帯端末4を操作しているかのような操作感で、設置端末2を介して、実際の携帯端末4を操作することができる。この処理については、後に詳述する。
コード読取手段32は、表示面20上に配置された携帯端末4の表示面40に表示されている2次元コード8(図5参照)を読取部23に読取らせ、この2次元コード8を解析して、2次元コード8に含まれる接続情報を取得する。この接続情報は、設置端末2と携帯端末4とが通信を行うために必要となる情報を含む。接続情報については後に詳述する。
また、コード読取手段32は、取得した接続情報に含まれる各種の情報を、適宜、制御部30の各手段に送信する。
操作内容検出手段33は、操作検出部22が検出した使用者による表示面20上での操作の内容を検出する。そして、操作内容検出手段33は、検出した操作の内容に応じて、制御部30の各手段に処理指示を行う。
具体的には、操作内容検出手段33は、操作検出部22によって検出された操作の内容が、表示面20上で携帯端末4の操作画像200に対して行われた操作(以下、「表示面20上で携帯端末4の操作画像200に対して行われた操作」を「携帯端末操作」ともいう)であるかを判断する。そして、操作内容検出手段33は、この操作内容が携帯端末操作であると判断した場合、この操作内容に関する情報を処理指示生成手段34に送信する。
また、操作内容検出手段33は、操作検出部22によって検出された操作内容が、表示面20の表示内容を変更させる内容である場合、この操作内容に関する情報を表示制御手段31に送信する。
処理指示生成手段34は、携帯端末操作の操作内容に関する情報を操作内容検出手段33から取得すると、携帯端末操作に対応する処理を携帯端末4に行わせるための処理指示情報を生成する。
ここで、処理指示情報は、携帯端末操作に対応する処理として、携帯端末4に行わせる処理の内容を示す処理内容情報と、この処理を携帯端末4に行わせるために必要なデータ(以下、「付随データ」ともいう)とを含む。
例えば、携帯端末操作の内容が「所定のデータを設置端末2から携帯端末4に転送し、携帯端末4に記憶させる」との内容であった場合、処理指示情報は、この操作内容を示す、すなわち、所定のデータを携帯端末4に記憶させるとの処理内容情報を含む。それに加えて、処理指示情報は、付随データとして所定のデータを含む。
また、例えば、携帯端末操作の内容が、「所定のアプリケーションを起動させる」との内容であった場合、処理指示情報は、携帯端末4に当該アプリケーションを起動させる処理を指示する処理内容情報を含む。それに加えて、処理指示情報は、携帯端末4において当該アプリケーションを起動させた際に、実際に携帯端末4の表示面40に表示される表示画像400を、操作画像200として表示面20に表示させるために必要な情報(例えば、当該アプリケーションにおける使用者の個人設定および画像情報等の各種情報ならびに当該アプリケーションを実行するためのプログラム等であり、以下、「表示情報」ともいう)を携帯端末4から設置端末2に送信させる処理を指示する処理内容情報を含む。
通信制御手段35は、送受信部24を制御して、ネットワーク7や、必要に応じてサーバ6を介した携帯端末4との情報通信を制御する。
具体的には、通信制御手段35は、携帯端末4への接続の許可を求める接続要求情報を携帯端末4に送信するように、送受信部24を制御する。また、通信制御手段35は、接続要求が許可されると携帯端末4との接続を確立する。この接続要求情報は、携帯端末4との接続を要求する接続要求信号と、接続要求が正当であることを携帯端末4(または、サーバ6)に判定させるための判定情報としての接続パスワードと、携帯端末4が設置端末2と通信可能に接続するためのIPアドレスとを含む。なお、サーバ6を介して通信を行う場合、サーバ6において携帯端末4を識別する必要があるので、接続要求情報は、接続対象となる携帯端末4を識別するための端末識別情報を含む。
また、通信制御手段35は、処理指示生成手段34によって生成された処理指示情報を携帯端末4に送信するように、送受信部24を制御する。
さらに、通信制御手段35は、送受信部24が携帯端末4から受信した各種情報を、必要に応じて制御部30の各手段に送信する。
{携帯端末の構成}
携帯端末4は、第2表示面としての表示面40を有する表示部41と、操作検出部42と、操作部43と、送受信部44と、記憶部45と、制御部50とを備える。
なお、携帯端末4として、例えば、タッチパネルを備える高機能携帯端末いわゆるスマートフォン(Smartphone)や、タブレット端末、タブレットPC(Tablet PC)といった、携帯型情報通信端末が例示できる。
表示部41としては、液晶ディスプレイ、有機ELディスプレイ等の各種ディスプレイを用いることができる。
操作検出部42は、人間の指等の指示物が表示面40に接触した場合、接触位置を検出し、検出結果を制御部50に送信する。操作検出部42は、指示物が表示面40に接触したことを検出可能な静電容量方式や電磁誘導方式などの各種方式のタッチパネルである。なお、操作検出部42としては、設置端末2において例示したものと同様のものを用いてもよい。また、操作検出部42としては、携帯端末4に予め設けられている操作ボタン等の各種入力手段を用いてもよい。
操作部43は、使用者による操作指示を制御部50に入力するために携帯端末4の筐体に設けられた操作ボタン(図1参照)等の各種操作入力手段である。操作部43として、操作ボタン以外に、指紋認証を行うための指紋認証装置や、携帯端末4に設けられた、または接続されたキーボードや、接続されたマウス等を用いてもよい。
送受信部44は、ネットワーク7に接続された他の情報通信端末や携帯端末4との間で通信を行う。
記憶部45は、携帯端末4を制御するための各種プログラムやデータを記憶する。例えば、記憶部45は、ネットワーク7を介して設置端末2を携帯端末4に接続するための接続情報としての2次元コード8(図5参照)を生成するための情報を記憶する。
制御部50は、記憶部45に記憶されたプログラムおよびデータをCPUが処理することにより構成される、表示制御手段51と、操作内容検出手段52と、アプリケーション実行手段53と、コード生成手段54と、処理内容特定手段55と、通信制御手段56とを備える。
表示制御手段51は、表示面40に、静止画や動画といったコンテンツを表示させる。また、表示制御手段51は、使用者が表示面40上における操作によって携帯端末4を操作するための表示画像400を表示面40に表示させる。また、表示制御手段51は、操作内容検出手段52や、処理内容特定手段55等の各手段からの指示に基づいて、表示内容(すなわち、表示画像400)を変更する。また、表示制御手段51は、操作検出部42によって検出された、または操作部43の入力に基づく2次元コード8の表示指示に応じて、2次元コード8を表示面40に表示させる。
操作内容検出手段52は、操作検出部42が検出した使用者による表示面40上での操作の内容を検出する。また、操作部43を用いた使用者による操作の内容を検出する。そして、操作内容検出手段52は、検出した操作の内容に応じて、制御部50の各手段に処理指示を行う。
アプリケーション実行手段53は、携帯端末4の記憶部45に記憶されているプログラムに基づいて、携帯端末4において使用可能な各種アプリケーションを実行する。これら各種アプリケーションとは、例えば、メールの作成および送受信を行うメールアプリケーション、文書の作成を行う文書作成アプリケーション、ウェブページを閲覧するためのブラウザおよび音楽を再生・管理するための音楽アプリケーション等である。
コード生成手段54は、2次元コード8の表示指示に応じて、表示面40に表示させるべき2次元コード8を生成する。この2次元コード8は、接続情報を含んでいる。設置端末2は、2次元コード8を読取ることで接続情報を取得する。すなわち、コード生成手段54は、接続情報を設置端末2に伝達可能な1形態として2次元コードを用いる。なお、2次元コード8は、接続情報を設置端末2に伝達可能であればその方式は限定されず、マトリクス型2次元コード、スタック型2次元コード等の各種の方式の2次元コードを用いてよい。
ここで、接続情報は、少なくとも、設置端末2が携帯端末4に通信可能に接続するためのIP(Internet Protocol)アドレスを含む。また、接続情報は、設置端末2からの接続要求が正当な要求であるかを通信制御手段56に判定させるための接続パスワードと、携帯端末4の仕様や形状といった端末種別を設置端末2が特定するための端末情報と、複数の携帯端末4のそれぞれを識別するための端末識別情報と、携帯端末4における使用者による個人的な設定に関する設定情報とを含む。
また、接続パスワードは、コード生成手段54が接続情報を含む2次元コード8を生成する際に併せて生成される。すなわち、コード生成手段54は、パスワード生成手段として機能する。この接続パスワードは、1度の接続要求に対する判定においてのみ有効であり、コード生成手段54が2次元コード8を生成する際にその都度更新される。接続パスワードの生成方法は特に制限されず、各種の生成方法を用いればよい。
また、接続情報は、設置端末2が携帯端末4に接続するためのIPアドレスとして、LANに接続可能な際に用いるローカルIPアドレスと、グローバルネットワーク(インターネットワーク)に接続可能な際に用いるグローバルIPアドレスと、サーバ6を介して通信可能な際に用いるサーバ6のIPアドレスとを含む。
なお、端末識別情報は、複数の携帯端末4が同時に設置端末2と通信可能に接続する場合に、設置端末2が複数の携帯端末4のそれぞれを識別するために用いられる。また、端末識別情報は、サーバ6を介して通信する際に、サーバ6において複数の携帯端末4のそれぞれを識別するために用いられる。
処理内容特定手段55は、設置端末2から送信された処理指示情報に基づいて、携帯端末4が行うべき処理の内容を特定する。
具体的には、処理内容特定手段55は、処理指示情報に含まれる処理内容情報を解析して、指示された処理の内容を特定する。そして、特定した処理の内容に応じて、制御部50の各手段に処理指示を行う。
例えば、解析結果が、「所定のアプリケーションを起動する」との内容であった場合、処理内容特定手段55は、当該アプリケーションを起動する処理指示をアプリケーション実行手段53に送信する。また、解析結果が、「当該アプリケーションを起動させた際に、実際に表示面40に表示されるべき表示内容を操作画像200の仮想表示画像210として表示させるために必要な表示情報を、設置端末2に送信する」との内容であった場合、処理内容特定手段55は、当該表示情報を特定し、これを設置端末2に送信する処理指示を通信制御手段56に送信する。
なお、コード生成手段54および処理内容特定手段55は、設置端末2と携帯端末4との間の情報通信を実現させるために、予め記憶部45に記憶され、使用可能な状態になっている(すなわち、インストールされている)通信用アプリケーションによって実現される。
通信制御手段56は、送受信部44を制御して、ネットワーク7や、必要に応じてサーバ6を介した設置端末2との情報通信を制御する。
具体的には、通信制御手段56は、設置端末2から接続要求を受けると、すなわち、設置端末2から送信された接続要求情報を送受信部44から受け取ると、この接続要求情報に含まれる接続パスワードに基づいて、接続要求が正当な要求か否かを判定する。接続要求が正当な要求である場合、通信制御手段56は、設置端末2との接続を許可して接続を確立する。
また、通信制御手段56は、設置端末2から送信された処理指示情報を、処理内容特定手段55へ送信する。
また、通信制御手段56は、送受信部44が設置端末2から受信した各種情報を、必要に応じて制御部50の各手段に送信する。
{情報処理システムの作用}
次に、情報処理システム1の作用を説明する。
携帯端末4は、使用者の指示に応じて、表示面40に接続情報を含む2次元コード8を表示する。そして、携帯端末4は、その表示面40を設置端末2の表示面20に対向した状態で表示面20上に配置される。設置端末2は、表示面20上に配置された携帯端末4の表示面40に表示されている2次元コード8を読取部23によって読取り、これに含まれる接続情報を取得する。さらに、設置端末2は、取得した接続情報を用いて携帯端末4に接続要求を行い、ネットワーク7を介する(必要に応じてサーバ6をも介する)携帯端末4との接続を確立させ、表示面20の携帯端末4の配置位置の周辺に携帯端末4の操作画像200を表示する。そして、設置端末2は、この操作画像200に対する操作(携帯端末操作)を検出し、操作内容に応じた処理を携帯端末4に行わせるための処理指示情報を携帯端末4に送信する。携帯端末4は、処理指示情報に基づく処理を行い、表示面20上で行われた操作を自らに反映させる。
{設置端末の作用}
以下、情報処理システム1の作用の説明として、先ず、設置端末2の作用を説明する。
なお、以下の説明では、使用者が表示面20上で操作を行ったことを操作検出部22が検出して、検出結果に基づいて制御部30が設置端末2を制御する場合について説明するが、本発明はこれに限定されない。例えば、図示しないマウスやキーボード等の各種入力手段を用いて使用者が行った操作を検出することで、制御部30が設置端末2を制御するようにしてもよい。
また、以下の説明では、基本的に、設置端末2と携帯端末4とがネットワーク7を介して直接通信を行う場合について説明するが、サーバ6を介して通信を行ってもよい。
設置端末2の操作に先立って、使用者は、図5に示すように、携帯端末4の表示面40に2次元コード8を表示させる。そして、図6に示すように、表示面40に2次元コード8が表示されている携帯端末4を設置端末2の表示面20上に、当該表示面20と携帯端末4の表示面40とが対向するように配置する。
そして、図3に示すように、設置端末2の操作内容検出手段33は、操作検出部22の検出結果を参照して、表示面20上に物体が配置されたか否かを判断する(ステップS1)。上述のように使用者が携帯端末4を表示面20上に配置すると(図6参照)、操作検出部22は、物体が表示面20上に配置されたことを検出する。そして、操作内容検出手段33は、検出結果に基づいて、表示面20上に物体が配置されたと判断する。操作内容検出手段33は、物体が表示面20上に配置されたと判断するまでステップS1を繰り返す。
次に、コード読取手段32は、読取部23を用いて、表示面20上に配置された物体から2次元コード8を読取ることができるか否かを判断する(ステップS2)。表示面20上に配置された物体から2次元コード8を読取ることができない場合、制御部50は、ステップS1に戻る。
一方、表示面20上に配置された物体が、表示面40に2次元コード8を表示させている携帯端末4であれば、読取部23は、2次元コード8を読取ることができる。この場合、コード読取手段32は、読取部23に2次元コード8を読取らせて、2次元コード8を取得する(ステップS3)。
次に、コード読取手段32は、読取った2次元コード8を解析して、2次元コード8に含まれる接続情報を取得する(ステップS4)。
次に、通信制御手段35は、送受信部24を制御して、接続情報に基づく接続要求情報を携帯端末4へ送信する(ステップS5)。
接続要求情報を受信した携帯端末4は、接続要求情報に含まれる接続パスワードに基づいて、接続要求が正当であるかを判定し、この接続要求が正当であると判定した場合に接続を許可する。接続が許可されると、設置端末2の通信制御手段35は、携帯端末4との接続を確立する(ステップS6)。
なお、サーバ6を介して通信を行う場合、接続要求の正当性の判定は、サーバ6で行うようにしてもよい。
この場合、サーバ6が接続要求の対象となる携帯端末4を特定する必要があるので、接続要求情報は端末識別情報を含む。そして、ステップS5およびステップS6における接続確立に関する処理は、設置端末2とサーバ6との間で行われる。すなわち、設置端末2は、接続要求情報をサーバ6に送信する。接続要求情報を受信したサーバ6は、接続要求情報に含まれる接続パスワードおよび端末識別情報に基づいて、接続要求が正当か否かを判定する。サーバ6は、接続要求が正当であると判断すると、設置端末2と携帯端末4との接続を確立して通信可能な状態とする。
また、サーバ6を介して通信を行う場合、接続要求の正当性の判定は上述のように携帯端末4で行うようにしてもよい。
携帯端末4との接続が確立すると、表示制御手段31は、携帯端末4の表示面40に表示されている表示画像400を含む操作画像200を表示面20上に配置された携帯端末4の配置位置周辺に表示させる(ステップS7)。
図7に示すように、表示面20上に配置された携帯端末4の周辺に操作画像200が表示されている。操作画像200は、携帯端末4の表示面40に表示されている表示画像400を表示面20に表示した仮想表示画像210と、携帯端末4の操作部43を表示面20に表示した仮想操作部201とを含む。図7に示す仮想表示画像210は、携帯端末4において操作が行われていない時に表示される待機画面を示す画像であり、一例として、各種アイコン211および背景画像で構成される。
また、図7に示すように、携帯端末4は、表示面40側を設置端末2に向けて、設置端末2の表示面20上に配置されている。この携帯端末4の表示面40には、待機画面としての表示画像400が表示されている。この表示画像400は、一例として、図7の点線で示すように、仮想表示画像210の各種アイコン211のそれぞれに対応する各種アイコン401および背景画像で構成される。
すなわち、設置端末2は、表示画像400を仮想表示画像210として表示面20に表示している。したがって、仮想表示画像210は、表示面20において表示画像400を再現するために表示されている。
表示制御手段31は、接続情報に含まれる携帯端末4の端末情報および設定情報に基づいて、携帯端末4の表面および表示画像400を操作画像200として表示面20に表示する。なお、この操作画像200を表示させるために必要な表示情報が記憶部25に記憶されていない場合、設置端末2は携帯端末4やサーバ6からこの情報を適宜取得する。
また、本実施形態では、表示面20に操作画像200を表示する際に、通常、手のひら程度のサイズの携帯端末4を、例えば、A4サイズ程度に拡大して表示する。すなわち、設置端末2の表示面20には、実際の携帯端末4の表示画像400を拡大した仮想表示画像210が表示される。なお、操作画像200を拡大表示する際の拡大率は特に制限されず、携帯端末4のサイズや表示面20のサイズ等に応じて適宜設定してもよい。
次に、図4に示すように、操作内容検出手段33は、操作検出部22が使用者による表示面20上での操作を検出したか否かを判断する(ステップS8)。操作内容検出手段33は、操作検出部22が使用者による表示面20上での操作を検出するまで、ステップS8の処理を繰り返す。
そして、ステップS8において、操作内容検出手段33は、操作検出部22が使用者による操作を検出すると、当該操作が、操作画像200を用いた操作(すなわち、携帯端末操作)であるか否かを判断する(ステップS9)。
ステップS9において、当該操作が携帯端末操作であると判断された場合、操作内容検出手段33は、当該操作の内容を検出し、検出した操作の内容に関する情報を処理指示生成手段34に送信する。処理指示生成手段34は、この操作の内容に応じて携帯端末4に行わせる処理を、携帯端末4に指示するための処理指示情報を生成する。そして、通信制御手段35は、当該処理指示情報を、携帯端末4へと送信させる(ステップS10)。なお、ステップS10において、上記の処理以外にも、操作内容検出手段33は、検出した操作の内容に応じて制御部30の各手段に必要に応じて処理指示を行う。
一方、ステップS9において、携帯端末操作ではないと判断された場合、制御部30は、ステップS10を行わずに後述するステップS11を行う。
ここで、ステップS8〜ステップS10の処理の一例として、操作画像200を用いて、電子メールを作成する処理を説明する。
図7に示すように、仮想表示画像210として表示されているアイコン211のうち、電子メールの作成および送受信を管理するメールアプリケーションのアイコン211を用いてメールアプリケーションの起動指示に対応する操作を表示面20上で行う。操作検出部22は、この起動指示に対応する操作を検出する。この検出結果に基づいて、操作内容検出手段33は、表示面20上で操作画像200を用いた操作が行われ、当該操作がメールアプリケーションの起動指示であることを検出し、この検出結果を処理指示生成手段34に送信するとともに、検出結果に応じた処理指示を制御部30の各手段に送信する。処理指示生成手段34は、操作内容検出手段33の検出結果に応じて、携帯端末4にメールアプリケーションを起動させるための処理指示情報を生成する。通信制御手段35は、生成された処理指示情報を携帯端末4へ送信させる。
一方、処理指示情報を受信した携帯端末4は、処理指示情報に基づいてメールアプリケーションを起動する。
すなわち、携帯端末4は、処理指示情報に基づいて、メールアプリケーションを起動し、表示面40に当該アプリケーションのインターフェースを表示する。それとともに、携帯端末4は、表示面40に表示されるべき内容を設置端末2の表示面20上で再現可能とするために、各種表示情報、および当該アプリケーションにおいて使用者によって行われた設定に関する設定情報等を必要に応じて設置端末2に送信する。
そして、使用者が、表示面20に表示された操作画像200を操作して、メールを作成するための作成画面を仮想表示画像210とする操作画像200を表示面20に表示させる。
図8に示すように、仮想表示画像210は、文字を入力するための入力部212と、入力された文章を表示する文章表示部213とを含む。
入力部212は、文章を入力するための各種文字アイコン(図8では、アルファベット)や、上下左右に入力位置を移動させる移動指示アイコン(不図示)等の、電子メール作成の際の各種の指示を行うためのアイコンを表示する。
文章表示部213は、入力された文章を表示する。
携帯端末4は、表示面40を設置端末2に向けて、設置端末2の表示面20上に配置されている。その表示面40には、設置端末2に表示されている仮想表示画像210と同様の内容の表示画像400が表示されている。この表示画像400は、仮想表示画像210の入力部212および文章表示部213のそれぞれに対応する入力部402および文章表示部403を含む。
使用者は、仮想表示画像210の入力部212に表示された各種のアイコンを操作して、文章を作成する。設置端末2は、操作内容検出手段33によって操作内容を検出し、例えば、文字「A」を入力する操作である場合、当該操作内容に応じて「Aの入力」を行うことを携帯端末4に指示する処理指示情報を携帯端末4に送信する。携帯端末4は、当該処理指示情報に応じて、メールアプリケーションにおいて、「A」を入力する処理を行う。そして、携帯端末4は、「A」が入力された状態を表示画像400の文章表示部403に表示する。そして、携帯端末4は、表示面40に表示するべき表示画像400を、仮想表示画像210として表示面20に表示させるための表示情報を設置端末2に送信する。設置端末2は、当該情報を用いて、仮想表示画像210の文章表示部213に「A」を表示する。
このように、表示面20に表示された操作画像200に対して操作が行われると、当該操作に応じて、設置端末2は、処理指示情報を携帯端末4に送信する。携帯端末4は、この処理指示情報に応じた処理を行う。
次に、図4に示すように、操作内容検出手段33は、携帯端末4が表示面20上から取り除かれたか否かを判断する(ステップS11)。具体的には、操作内容検出手段33は、ステップS6で、接続を確立した際に、表示面20上に配置されている物体が、携帯端末4であると判断し、当該物体が携帯端末4であることを記憶部25に記憶している。そして、操作検出部22の検出結果に基づいて、配置されていた携帯端末4が表示面20上から取り除かれた否かを判断する。
そして、操作内容検出手段33は、ステップS11において、携帯端末4が取り除かれていないと判断した場合、通信処理の終了指示を受けたか否かを判断する(ステップS12)。操作内容検出手段33は、ステップS12において、終了指示を受けていないと判断した場合、ステップS8の処理を行う。
一方で、操作内容検出手段33は、ステップS11において、携帯端末4が取り除かれた、またはステップS12において、終了指示を受けたと判断した場合、携帯端末4との接続を切断し(ステップS13)、通信処理を終了する。具体的に、通信制御手段35は、処理を終了させる終了指示を携帯端末4に送信させるとともに、携帯端末4との接続を終了させる。また、表示制御手段31は、表示面20に表示させていた操作画像200を消去させる。
{携帯端末の作用}
次に、携帯端末4の作用を説明する。
図9に示すように、まず、携帯端末4の通信制御手段56は、2次元コード8の表示指示を受けたか否かを判断する(ステップS21)。使用者が表示面40上で2次元コード8の表示指示に対応する操作を行うと、操作検出部42がこの操作を検出する。この検出結果に基づいて、操作内容検出手段52は、2次元コード8の表示指示を受けたと判断する。操作内容検出手段52は、表示指示を受けるまでステップS21の処理を繰り返す。なお、使用者が操作部43を用いて表示指示を行った場合も操作内容検出手段52は同様の判断を行う。
ステップS21において、操作内容検出手段52が2次元コード8の表示指示を受けたと判断すると、コード生成手段54は、2次元コード8を生成する(ステップS22)。
次に、表示制御手段51は、図5に示すように、表示面40に2次元コード8を表示させる(ステップS23)。
次に、通信制御手段56は、送受信部44を介して設置端末2から送信された接続要求情報を受信したか否かを判断する(ステップS24)。通信制御手段56は、設置端末2から接続要求情報を受信するまで、ステップS24の処理を繰り返す。
そして、通信制御手段56は、ステップS24において、接続要求情報を受信したと判断すると、この接続要求情報から接続パスワードを取得する。そして、通信制御手段56は、この接続パスワードが正しいか否かを判定する(ステップS25)。
通信制御手段56は、接続要求が正当であると判断すると、接続を許可する。そして、通信制御手段56は、設置端末2との接続を確立する(ステップS26)。ステップS26では、表示制御手段51は、設置端末2との接続が確立すると、表示面40に表示させている2次元コード8を消去するとともに、表示面40に待機画面(図7参照)を表示させる(第2操作画像表示ステップ)。
一方、接続パスワードが不正なパスワードである場合、通信制御手段56は、接続要求が不当であると判断して、この接続要求に対する接続を拒否して、処理を終了する。なお、接続要求が不当な場合、ステップS24に戻り、再度、接続要求があるまでステップS24を繰り返すようにしてもよい。
なお、サーバ6を介して通信を行う場合、ステップS24〜ステップS26における接続要求の承認に関する処理は、上述のようにサーバ6で行ってもよいし、携帯端末4で行ってもよい。
次に、通信制御手段56は、ステップS10(図4参照)において設置端末2から送信される処理指示情報を受信したか否かを判断する(ステップS27)。
通信制御手段56は、ステップS27において処理指示情報を受信したと判断した場合、処理指示情報を処理内容特定手段55に送信する。処理内容特定手段55は、この処理指示情報に含まれる処理内容情報を解析して、指示された処理の内容、すなわち表示面20上で操作画像200に対して行われた操作に対応する処理の内容を検出する。そして、処理の内容に応じて、制御部50の各手段に処理指示を行う。そして、制御部50の各手段は、処理内容特定手段55による処理指示に応じた処理を行う(ステップS28)。
一方、ステップS27において、制御部50は、処理指示情報を受信していないと判断した場合、ステップS28の処理を行わずに後述するステップS29を行う。
ステップS28の「処理指示情報に応じた処理」は、例えば、上述のようにメールアプリケーションを起動して、メールの作成を行う処理の場合、携帯端末4は、処理指示情報に応じて、メールアプリケーションを起動し、メールアプリケーションにおいて、文章を入力する処理を行い、入力された文章を表示面40に表示する。また、携帯端末4は、処理指示に応じた処理を行う際に、必要に応じて表示情報を設置端末2に送信する。
このように、ステップS28の「処理指示情報に応じた処理」を行うことにより、使用者によって設置端末2の表示面20上で行われた携帯端末操作に対応する処理が実行され、当該操作が実際の携帯端末4に反映される。それとともに、反映された状態の携帯端末4が操作画像200として表示面20にて再現される。これにより、使用者は、表示面20に表示された操作画像200を用いて携帯端末4を操作するとともに、当該操作に応じて更新された操作画像200を用いて引き続き携帯端末4を操作することができる。
次に、通信制御手段56は、設置端末2から終了指示を受信したか否かを判断し(ステップS29)、終了指示を受信していないと判断した場合、制御部50は、ステップS27の処理を行う。一方、通信制御手段35は、ステップS29において、終了指示を受信したと判断した場合、設置端末2との接続を切断する(ステップS30)。そして、制御部50は、本フローチャートによる処理を終了する。
{実施形態の作用効果}
上述したような実施形態では、以下のような作用効果を奏することができる。
(1)情報処理システム1の携帯端末4は、使用者の指示に応じて、設置端末2との通信を可能にするための2次元コード8を表示面40に表示させる。そして、使用者によって携帯端末4の表示面40を設置端末2の表示面20に対向するように携帯端末4が表示面20上に配置されると、設置端末2は、読取部23によって表示面40に表示された2次元コード8を読取り、コード読取手段32によって解析して接続情報を取得する。その後、設置端末2は、接続情報を用いて携帯端末4との接続を確立する。
このため、使用者は、携帯端末4に2次元コード8の表示指示を行い、携帯端末4を設置端末2の表示面20上に配置するという操作を行うだけで、設置端末2と携帯端末4とを通信可能な状態にすることができる。すなわち、専門的な知識を有していない使用者であっても、事前準備等の煩雑な作業を行うことなく、かつ、容易に、携帯端末4を設置端末2と通信可能な状態にすることができる。
また、情報処理システム1は、接続情報を携帯端末4の表示面40に表示させ、それを設置端末2が読取ることによって取得して、接続を確立させる。
このため、接続に必要な情報、例えば、携帯端末4のIPアドレス等の情報を予め管理者に通知したり、設置端末2に設定したりしなくとも、接続を確立させる度に、適切な接続情報を設置端末2に通知することができる。すなわち、携帯端末4のIPアドレスを固定しておき、かつ、これを予め通知する必要がないので、設置端末2と携帯端末4との接続においてオンデマンドな接続が可能となる。
また、情報処理システム1は、携帯端末4を表示面20で操作するための操作画像200を表示面20に表示させる。この後、設置端末2において、操作画像200に対する操作を操作検出部22によって検出し、検出結果に応じた処理指示情報を携帯端末4へ送信する。そして、携帯端末4において、この処理指示情報に応じた処理を行う。
このため、使用者は、表示面20に表示された携帯端末4の操作画像200を操作することにより、設置端末2を介して実際の携帯端末4を操作することができる。情報処理システム1では、接続を確立させるために、携帯端末4の操作面である表示面40を設置端末2の表示面20に向けて配置する。このような場合、使用者は、この状態において携帯端末4を操作することができない。しかし、情報処理システム1では、携帯端末4の操作画像200を表示面20に表示させるので、使用者は、これを用いて携帯端末4を操作することができる。
以上のように、情報処理システム1は、設置端末2と携帯端末4とを通信可能なオンデマンドな接続を容易に実現するとともに、設置端末2において携帯端末4を操作することを容易とする。
(2)携帯端末4は、当該携帯端末4を操作するための表示画像400を表示面40に表示する。そして、設置端末2は、表示画像400を、携帯端末4を操作するための操作画像200として表示面20に表示する。使用者は、表示面40に表示される表示画像400を再現する操作画像200を表示面20上で操作することで、携帯端末4を操作することができる。このため、使用者は、あたかも携帯端末4を操作しているかのような感覚で操作画像200を操作することで、設置端末2において携帯端末4を操作することができる。
なお、情報処理システム1では、操作画像200は、携帯端末4の表示面40側の面を再現する。すなわち、操作画像200は、携帯端末4に実装されている機能のうち、操作部43によって実現される機能等の表示面40側の面から操作可能な機能を表示面20において利用可能としている。このため、使用者は、操作画像200を操作することで、携帯端末4に実装されている各種の機能を設置端末2において利用することができる。
(3)操作画像200は、表示面20に表示される際に、実際の携帯端末4よりも大きいサイズで表示される。すなわち、設置端末2は、携帯端末4の表示画像400を拡大した画像として、仮想表示画像210を表示面20に表示する。このため、使用者が操作画像200を操作する際に、携帯端末4よりも大きいサイズの操作画像200を操作することになるので、例えば、文字入力を行う際等の誤操作を抑制することができ、操作性を向上させることができる。また、動画や写真といったコンテンツを閲覧する際に、より大きいサイズの画面で閲覧することができ、使用者の興趣を向上させることができる。
(4)携帯端末4は、第1端末から行われる接続要求が正当であることを判定するための接続パスワード(判定情報)を含む2次元コード8(接続情報)を生成し、生成した2次元コード8を表示面40に表示する。そして、設置端末2は、接続パスワードを取得して、接続要求を行う際に携帯端末4に送信する。接続要求を受けた、携帯端末4は、設置端末2から送信された接続パスワードに基づいて接続要求が正当であることを判定する。
これにより、接続確立の際に、接続パスワードを用いる判定を行い、かつ、この接続パスワードを予め管理者に通知する必要がないため、設置端末2と携帯端末4との間で行われる情報通信におけるセキュリティーを向上させることができる。
また、接続パスワードを予め管理者に通知したり、設置端末2に設定しておくという煩雑な作業を行う必要がなく、接続の承認を容易に行うことができる。
(5)携帯端末4は、2次元コード8を生成するごとに、当該2次元コード8に含まれる接続パスワードを更新して、互いに異なる接続パスワードを含む2次元コード8を生成する。
これにより、接続を行う度に新たな接続パスワードが異なる接続パスワードに更新されるため、設置端末2と携帯端末4との間で行われる情報通信におけるセキュリティーを向上させることができる。
(6)設置端末2は、表示面20上に配置されていた携帯端末4が表示面20上から離間したことを検出すると、携帯端末4との接続を切断する。
これにより、携帯端末4が表示面20上から取り除かれると、設置端末2と携帯端末4とにおける接続が切断される。したがって、使用者は、携帯端末4を取り除くだけで設置端末2との接続を切断させることができるので、接続の切断に関して煩雑な作業を行う必要がなく、情報処理システム1を利用することが容易である。また、携帯端末4を取り除くだけで設置端末2との接続が切断されるので、使用者の意図に反して、設置端末2と携帯端末4との間で接続が継続されることを防止することができ、設置端末2と携帯端末4との間で行われる情報通信におけるセキュリティーを向上させることができる。
[変形例]
本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
前記実施形態では、携帯端末4は、設置端末2の表示面20に、その表示面40を対向させた状態で配置されている際、すなわち、設置端末2と携帯端末4との接続が行われている際に、当該表示面40に表示画像400を表示させるとしたが、本発明はこれに限定されない。携帯端末4は、表示画像400を表示面40に表示させず、表示可能な状態とする内部処理を制御部50において行うようにしてもよい。
また、前記実施形態では、「携帯端末操作」として、メールを作成する操作を一例として説明したが、本発明はこれに限定されない。「携帯端末操作」は、実際の携帯端末4に反映可能、すなわち携帯端末4において実現可能な操作であればよい。
例えば、「携帯端末操作」は、設置端末2が保持している画像および音楽等のコンテンツ、ならびにアプリケーション等を携帯端末4に転送する操作でもよい。例えば、設置端末2において、上記コンテンツおよびアプリケーションを操作画像200にドラッグ&ドロップする操作等を転送指示として関連付けておく。そして、設置端末2は、当該操作を検出すると、記憶部25に記憶されている上記コンテンツおよびアプリケーション等を取得し、上記コンテンツおよびアプリケーション等を、携帯端末4に転送するように構成すればよい。
また、「携帯端末操作」は、携帯端末4が保持している上記コンテンツおよびアプリケーション等を設置端末2において再生または実行する操作でもよい。例えば、設置端末2は、携帯端末4の記憶部45に記憶されている上記コンテンツおよびアプリケーション等を取得し、上記コンテンツおよびアプリケーション等を再生または実行するように構成すればよい。アプリケーションを実行する場合は、操作画像200の表示面40に対応する表示領域にアプリケーションが表示されるようにしてもよいし、当該表示領域外に表示されるようにしてもよい。なお、設置端末2は、携帯端末4が予め保持しているコンテンツおよびアプリケーション等のリストやアイコンを取得する。そして、その中から使用者が再生したいコンテンツや、実行したいアプリケーションを選択することにより、選択されたコンテンツに関するデータまたはアプリケーションのみを実際に携帯端末4から取得するようにしてもよい。
また、前記実施形態では、「携帯端末操作」すなわち操作画像200を用いた操作を行う度に(すなわち、リアルタイムに)設置端末2と携帯端末4との間で通信を行って、携帯端末4の状態を更新するとともに、表示面20に表示された操作画像200を更新する処理について説明したが、本発明はこれに限定されない。例えば、メールを作成し、送信する操作を表示面20上で行う場合、設置端末2は、メールアプリケーションの全てまたは一部の機能を操作画像200において実行可能とするプログラムと、携帯端末4の設定情報とを取得する。そして、設置端末2は、このプログラムと設定情報とを用いて、メールアプリケーションのインターフェースを操作画像200として表示させる。そして、設置端末2においてメールの作成操作を実行可能とする。使用者が、操作画像200を操作してメールを作成し、送信指示を行うと、設置端末2は、送信指示を受けたことを処理内容情報とし、作成されたメールのデータを付随データとする処理指示情報を生成し、これを携帯端末4に送信する。携帯端末4は、この処理指示情報に基づいて、設置端末2において作成されたメールを送信する処理を行う。
すなわち、設置端末2において携帯端末4の機能の少なくとも一部を実現させるように構成し、設置端末2において携帯端末4のアプリケーションを実行する。そして、所定のタイミングで設置端末2と携帯端末4との間で通信を行って、「携帯端末操作」に対応する処理を携帯端末4に行わせるように構成してもよい。
また、前記実施形態では、操作画像200の仮想表示画像210を用いて携帯端末4を操作することについて説明したが、本発明はこれに限定されない。携帯端末4が予め備えている任意の機能を表示面20上で実現するようにしてもよい。より具体的には、携帯端末4が指紋認証等の機能を備えている場合、この指紋認証等の機能を表示面20上において実行可能とする操作画像200を表示するように構成してもよい。
この場合、設置端末2は、携帯端末4から送信された端末情報から携帯端末4の端末種別を特定する。設置端末2は、特定した携帯端末4の端末種別に基づいて、携帯端末4の機能を実現させるためのプログラムや画像データ等の各種のデータを、記憶部25または必要に応じてサーバ6から取得する。そして、設置端末2は、これら各種のデータを用いて、指紋認証等の機能を実現可能なように、指紋認証等の機能を実現する仮想操作部201を含む操作画像200を表示面20に表示するように構成すればよい。
また、前記実施形態では、携帯端末4は、2次元コード8の表示指示に応じて、接続パスワードを生成し、接続パスワードを更新するとしたが、本発明はこれに限定されない。例えば、携帯端末4は、所定の期間の経過毎に接続パスワードを更新してもよい。また、所定の動作の検出をきっかけとして更新してもよい。すなわち、携帯端末4は、所定の取決めに応じて接続パスワードを更新し、これを記憶部45に記憶しておいてもよい。
また、例えば、携帯端末4は、予め設定された複数の接続パスワードを記憶部45に記憶しておき、2次元コード8の表示指示に応じて、接続パスワードを適宜選択してもよい。
また、例えば、携帯端末4は、接続パスワードを更新せずに、予め設定された1つの接続パスワードを用いてもよい。
また、前記実施形態では、携帯端末4は、2次元コード8を生成し、表示させるとしたが、本発明はこれに限定されない。例えば、2次元コード8を予め記憶部45に記憶しておき、2次元コード8を表示する際に、記憶されている2次元コード8を取得して、表示させるようにしてもよい。
また、前記実施形態では、接続情報を2次元コードの形式を用いて表示するとしたが、本発明はこれに限定されない。例えば、接続情報の表示形式は、1次元コードであってもよいし、具体的な文字であってもよい。なお、接続情報として2次元コードを用いることにより、接続情報として複数の情報を1つのコードで表現することができる。また、設置端末2が携帯端末4の表示面40に表示された2次元コードを読み取るだけで、煩雑な処理を行うことなく、設置端末2と携帯端末4とを通信可能に接続させることができる。
また、前記実施形態では、操作画像200は、携帯端末4の表示面40側の面(表面)を再現する画像としたが、本発明はこれに限定されない。例えば、携帯端末4の側面側や背面側に、携帯端末4を操作するための操作手段やディスプレイ等が設けられている場合、必要に応じて、携帯端末4の側面や背面を再現する画像を操作画像200として表示面20に表示してもよい。
また、操作画像200は、携帯端末4に端末種別に固有の操作画像200を表示させているが、本発明はこれに限定されない。例えば、携帯端末4の表示画像400に対応する仮想表示画像210のみを用いて行う操作のみを行う場合、すなわち、操作部43によって実現される機能を設置端末2の表示面20上で実行する必要がない場合、操作画像200は、仮想表示画像210とフレームを有する一般的な携帯端末を示す操作画像であってもよい。また、仮想表示画像210のみを操作画像として表示面20に表示させてもよい。この場合、携帯端末4が実装する全ての機能を表示面20上の操作によって実現させることはできないものの、表示面40に表示される表示画像400を仮想表示画像210として表示面20に表示することができる。これにより、使用者は、仮想表示画像210を操作することで、携帯端末4を操作することができる。
また、前記実施形態では、操作画像200を携帯端末4の配置位置の周辺に表示するとしたが、本発明はこれに限定されず、操作画像200を表示面20の任意の位置に表示してもよい。例えば、携帯端末4を表示面20の端部に配置して、操作画像200を表示面20の中央付近に表示するようにしてもよい。これにより、操作画像200の操作を行う際に、操作に関与しない携帯端末4を表示面20の端部に配置させることができ、表示面20の表示領域を有効に活用することができる。
また、前記実施形態では、設置端末2は、表示面20に操作画像200を表示する際に、実際の携帯端末4よりも大きいサイズの操作画像200を表示するように構成したが、本発明はこれに限定されない。すなわち、操作画像200を携帯端末4と同じサイズとなるように表示してもよい。また、設置端末2は、使用者による操作に応じて、操作画像200の表示サイズや表示位置を適宜調整可能に構成されてもよい。
また、前記実施形態では、設置端末2に1つの携帯端末4を接続する構成について説明したが、本発明はこれに限定されない。情報処理システム1は、複数の携帯端末4のそれぞれに2次元コード8を表示させ、これら複数の携帯端末4と設置端末2とを同時に接続するように構成してもよい。この場合であっても、各携帯端末4と設置端末2との間で前記実施形態と同様の処理を行えばよい。なお、この場合、接続情報に端末識別情報を含めることにより設置端末2は、携帯端末4を識別することができる。これにより、例えば、設置端末2は、携帯端末4の操作画像200を表示させる際に、表示面20上における携帯端末4の配置位置近傍に操作画像200を表示させることができる。したがって、複数の使用者が同時に設置端末2を使用する場合であっても、それぞれの使用者が、自分の携帯端末の操作画像がどれであるかを直感的に認識し易くすることができ、誤認を防ぐことができる。
また、前記実施形態では、接続情報は、携帯端末4に接続するためのIPアドレス、接続パスワード、端末情報、端末識別情報および設定情報を含むとしたが、本発明はこれに限定されない。例えば、設置端末2の接続要求の正当性を判定する必要がなければ接続パスワードは不要である。また、サーバ6を介して通信を行う必要がなければ、サーバ6のIPアドレスは不要である。また、端末種別を特定する必要がなければ端末情報は不要である。また、複数の携帯端末4を識別する必要がなければ端末識別情報は不要である。すなわち、接続情報は、設置端末2と携帯端末4との間で情報通信可能な接続を確立させ、情報処理システム1において実現させたい機能を実現可能とするために必要な情報を少なくとも含めばよい。
また、接続要求情報は、接続パスワードおよび端末識別情報を必ずしも含まなくてもよい。設置端末2との接続を確立させるために接続パスワードを使用しない場合は、接続パスワードは不要である。また、サーバ6を介する通信を行わない場合のように、複数の携帯端末4を識別する必要がなければ端末識別情報は不要である。すなわち、接続要求情報は、設置端末2と携帯端末4との間で情報通信可能な接続を確立させるために必要な情報を少なくとも含めばよく、単に接続要求を示す信号であってもよい。
また、前記実施形態において、携帯端末4は、指紋認証やパスワード入力による認証処理を行った後に、2次元コード8を表示させるように構成してもよい。これにより、接続情報を表示させるためにも認証を行う必要があるため、情報処理システム1におけるセキュリティーを向上させることができる。
また、前記実施形態では、設置端末2と携帯端末4とはネットワーク7を介して接続するとしたが、これに限定されず、ネットワーク7を介さずに、例えば、Bluetooth(登録商標)を用いて、設置端末2と携帯端末4とを接続可能に構成してもよい。この場合、Bluetooth(登録商標)による接続を設定するための情報を接続情報に含ませておけばよい。
また、前記実施形態では、設置端末2と接続させる情報通信端末として携帯端末4を用いて説明したが、本発明はこれに限定されない。
例えば、携帯端末4の代わりに、携帯型ゲーム機を用いてもよい。この場合、設置端末2と携帯型ゲーム機とを接続させて、設置端末2の表示面20に携帯型ゲーム機の操作画像を表示させる。そして、この操作画像を操作することにより、実際の携帯型ゲーム機を操作することができる。例えば、携帯型ゲーム機が保持するキャラクターを表示面20上に表示させてゲームを行ったり、ゲームで獲得したアイテムを操作画像にドラッグ&ドロップしたりすることで携帯型ゲーム機に転送させることができる。
このように、接続情報を生成する生成手段、および接続情報を表示する表示部を備える情報通信端末を携帯端末4の代わりに用いることで、前記実施形態と同様の効果を得ることができる。
また、前記実施形態では、携帯端末4を接続させる情報通信端末として設置端末2を用いて説明したが、本発明はこれに限定されない。
例えば、設置端末2の代わりに、デジタルサイネージ(電子看板)を用いてもよい。この場合、デジタルサイネージの表示面に操作画像200を表示させる。そして、操作画像200にデジタルサイネージの表示面に表示されているコンテンツをドラッグ&ドロップする等の操作を行うことができる。
また、例えば、設置端末2の代わりに、カーナビゲーション装置を用いてもよい。この場合でも同様に、カーナビゲーション装置の表示面に表示された操作画像200を操作することにより、携帯端末4を操作することができる。
このように、表示面に対する操作を検出可能な検出手段、接続情報を読取り可能な読取手段および操作指示を入力可能な入力手段を備える各種表示装置や、これら各種表示装置を備えるPC(Personal Computer)等の装置を、設置端末2の代わりに用いることで、前記実施形態と同様の効果を得ることができる。
1…情報処理システム
2…設置端末(第1端末)
4…携帯端末(第2端末)
8…2次元コード(接続情報)
20…設置端末の表示面(第1表示面)
22…操作検出部
23…読取部
40…携帯端末の表示面(第2表示面)
200…携帯端末の操作画像(第1操作画像)
400…表示画像(第2操作画像)

Claims (4)

  1. 画像を表示する第1表示面、操作を検出する操作検出部、および物体の表面の情報を読取る読取部を備える第1端末と、画像を表示する第2表示面を備える第2端末と、が通信可能に接続された情報処理システムにおける情報処理方法であって、
    前記第2端末が、前記第1端末と前記第2端末とを通信可能にするための接続情報を、前記第2表示面に表示させる接続情報表示ステップと、
    前記第1端末が、前記第2表示面を前記第1表示面に対向するように前記第1表示面上に配置された前記第2端末を前記操作検出部によって検出する端末検出ステップと、
    前記第1端末が、前記第1表示面上に配置された前記第2端末の前記第2表示面に表示された前記接続情報を、前記読取部によって読取ることで前記接続情報を取得する読取ステップと、
    前記第1端末が、前記接続情報を用いて前記第2端末との接続を確立する接続ステップと、
    前記操作検出部が、前記第2表示面よりも大きい前記第1表示面上に前記第2端末が配置されたことを検出した場合に、前記第1端末が、前記第2端末を前記第1表示面で操作するための第1操作画像を前記第1表示面に表示させる第1操作画像表示ステップと、
    前記第1端末が、前記第1操作画像に対する操作を前記操作検出部によって検出し、前記第2端末に当該操作に応じた処理を行わせるための処理指示を前記第2端末へ送信する処理指示送信ステップと、
    前記第2端末が、前記処理指示に応じた処理を行う処理ステップと、を行うことを特徴とする情報処理方法。
  2. 画像を表示する第1表示面、操作を検出する操作検出部、および物体の表面の情報を読取る読取部を備える第1端末と、画像を表示する第2表示面を備える第2端末と、が通信可能に接続された情報処理システムであって、
    前記第2端末は、前記第1端末と前記第2端末とを通信可能にするための接続情報を、前記第2表示面に表示させるとともに、前記第1端末から受信した処理指示に応じた処理を行う制御部を有し、
    前記第1端末は、
    前記第2表示面を前記第1表示面に対向するように前記第1表示面上に配置された前記第2端末を前記操作検出部によって検出する検出部と、
    前記第1表示面上に配置された前記第2端末の前記第2表示面に表示された前記接続情報を、前記読取部によって読取ることで前記接続情報を取得する読取部と、
    前記接続情報を用いて前記第2端末との接続を確立する通信制御部と、
    前記操作検出部が、前記第2表示面よりも大きい前記第1表示面上に前記第2端末が配置されたことを検出した場合に、前記第2端末を前記第1表示面で操作するための第1操作画像を前記第1表示面に表示させる表示制御部と、
    を有し、
    前記通信制御部は、前記操作検出部が前記第1操作画像に対する操作を検出した場合に、前記第2端末に当該操作に応じた処理を行わせるための処理指示を前記第2端末へ送信することを特徴とする情報処理システム。
  3. 前記表示制御部は、前記操作検出部が前記第1表示面上に前記第2端末が配置されたことを検出している間に、前記第1操作画像を前記第1表示面に表示させることを特徴とする、
    請求項2に記載の情報処理システム。
  4. 前記第1端末は、複数の前記第2端末と通信可能に接続されており、
    前記表示制御部は、前記操作検出部が前記第1表示面上に前記複数の第2端末のうち少なくとも一つの第2端末が配置されたことを検出した場合に、前記第1表示面における他の前記第2端末よりも検出した前記第2端末に近い位置に前記第1操作画像を表示させることを特徴とする、
    請求項2又は3に記載の情報処理システム。
JP2014529182A 2012-08-07 2012-08-07 情報処理方法 Active JP6019458B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/070082 WO2014024257A1 (ja) 2012-08-07 2012-08-07 情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2014024257A1 JPWO2014024257A1 (ja) 2016-07-21
JP6019458B2 true JP6019458B2 (ja) 2016-11-02

Family

ID=50067543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014529182A Active JP6019458B2 (ja) 2012-08-07 2012-08-07 情報処理方法

Country Status (2)

Country Link
JP (1) JP6019458B2 (ja)
WO (1) WO2014024257A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0962631A (ja) * 1995-08-24 1997-03-07 Hitachi Ltd 共同作業支援システム
JP4416392B2 (ja) * 2002-11-26 2010-02-17 キヤノン株式会社 撮像機器及び無線通信装置
JP2005064966A (ja) * 2003-08-15 2005-03-10 Ricoh Co Ltd 電子会議装置、電子会議システム、電子会議方法、電子会議プログラムおよび記録媒体
JP2009037328A (ja) * 2007-07-31 2009-02-19 Uie Japan:Kk コンテンツデータ移送システム、およびコンテンツ制御装置
JP5137641B2 (ja) * 2008-03-19 2013-02-06 キヤノン株式会社 情報処理装置、画像処理システム及び画像処理方法並びにプログラム
JP2009230579A (ja) * 2008-03-24 2009-10-08 Pioneer Electronic Corp 画面共有システム、画面共有方法、サーバ端末制御プログラム、クライアント端末制御プログラムおよび記録媒体

Also Published As

Publication number Publication date
JPWO2014024257A1 (ja) 2016-07-21
WO2014024257A1 (ja) 2014-02-13

Similar Documents

Publication Publication Date Title
EP2980726B1 (en) Method and apparatus for sharing data
US9836115B2 (en) Information processing device, information processing method, and program
WO2019141174A1 (zh) 未读消息的处理方法及移动终端
WO2019206036A1 (zh) 消息管理方法及终端
WO2021012931A1 (zh) 图标管理方法及终端
US10768881B2 (en) Multi-screen interaction method and system in augmented reality scene
WO2020134744A1 (zh) 图标移动方法及移动终端
US10114543B2 (en) Gestures for sharing data between devices in close physical proximity
JP6253127B2 (ja) 情報提供装置
JP2022107608A (ja) 通信端末、通信システム、送信方法、及びプログラム
KR20140082460A (ko) 복수의 단말들간의 메시지 싱크 방법, 기계로 읽을 수 있는 저장 매체 및 서버
CN111159449B (zh) 一种图像显示方法及电子设备
EP3842906A1 (en) Photograph album presentation method, electronic device and storage medium
WO2020173316A1 (zh) 图像显示方法、终端和移动终端
JP2018022478A (ja) 共有端末、通信システム、画像送信方法、及びプログラム
US11271977B2 (en) Information processing apparatus, information processing system, information processing method, and non-transitory recording medium
WO2014006758A1 (ja) 情報処理方法
US9959034B2 (en) Mobile terminal and method for controlling the same
US10154171B2 (en) Image forming apparatus, cloud server, image forming system, and method for setting connection with image forming apparatus
JP2015070345A (ja) 画像処理装置及び画像処理システム
KR20170001219A (ko) 이동 단말기 및 그의 잠금 해제 방법
US20150249695A1 (en) Transmission terminal, transmission system, transmission method, and recording medium storing transmission control program
WO2023186011A1 (zh) 图像显示方法、装置及电子设备
WO2020083178A1 (zh) 数字图像展示方法、装置、电子设备及存储介质
JP2018046559A (ja) 共有端末、通信システム、通信方法、及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160908

R150 Certificate of patent or registration of utility model

Ref document number: 6019458

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250