以下、開示の技術に係る実施の形態について詳細に説明する。
<機器連携システム:概略構成>
図1は、機器連携システムの概略構成の一例を示す図である。図1に示すように、機器連携システム1は、携帯端末10と、プロジェクタ20−1〜20−2と、画像形成装置30−1〜30−2とを有するように構成される。また、携帯端末10と、プロジェクタ20−1〜20−2と、画像形成装置30−1〜30−2とは、例えば無線LAN(Local Area Network)やBluetooth(登録商標)等の通信ネットワーク2により接続されている。
なお、通信ネットワーク2に接続されている機器は、プロジェクタ20や画像形成装置30に限定されず他の機器であっても良く、通信ネットワーク2に接続されているプロジェクタ20や画像形成装置30の個数もこれに限定されない。また、以下の説明では、プロジェクタ20−1〜20−2は、適宜、プロジェクタ20と称し、画像形成装置30−1〜30−2は、適宜、画像形成装置30と称して説明する。
携帯端末10は、例えばスマートフォン、タブレット端末、携帯電話等であり、例えばユーザによる所定の動作の一例として「振る」等の動作を検知すると、所定の機器と連携し、連携した機器にデータを送信する等の通信を行う。
プロジェクタ20は、例えば画像や動画を投影する投影装置であり、画像形成装置30は、例えばMFP(Multifunction Peripheral)やプリンタ等である。プロジェクタ20と画像形成装置30とは、例えば所定の音(例えば、騒音にならないように可聴帯域外の高周波帯域(例えば18kHz以上)の周波数や、モスキート音、エラー音等を含む)を出力するスピーカ等を有している。
ここで、携帯端末10は、ユーザによる所定の動作の一例として「振る」等の動作を検知すると、データ送信先(例えばIPアドレス等)が指定されているか判断し、データ送信先が指定されている場合にはその送信先に、例えば携帯端末10の画面上に表示されているデータ等を送信する。
一方、携帯端末10は、送信先が指定されていない場合には、周囲の1又は複数の機器により発せられた機器ごとに異なる所定の音(例えば、機器を識別するために機器ごとに対応づけられた所定パターンを含む音や、IPアドレス等の機器のアドレスを特定する情報を含む接続情報音等)に基づき機器連携された機器にデータを送信する。
図1の例では、例えばプロジェクタ20−1〜20−2、画像形成装置30−1〜30−2から、上述した機器ごとに異なる所定の音が発せられている。したがって、携帯端末10は、例えば目の前にある通信したい機器から発せられている所定の音を収集することにより、その機器と容易に通信することが可能となる。
携帯端末10は、プロジェクタ20と機器連携した場合には、例えばプロジェクタ20上に送信したデータを投影させ、画像形成装置30と機器連携した場合には、画像形成装置30に送信したデータを画像形成装置30から印刷出力させる等が可能となる。
なお、機器から所定パターンを含む音を発生させる場合には、予め携帯端末10が所定パターンを含む音声データ(動画を含む)を保持し、その音声データを機器に対応付けた後、それぞれの機器に音声データを送信して再生させると良い。また、機器ごとに機器のアドレスを特定する情報を含む接続情報音を発生させる例については後述する。
<携帯端末10:ブロック>
図2は、本実施形態に係る携帯端末のブロックの一例を示す図である。図2に示すように、携帯端末10は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、記憶手段14と、加速度センサ15と、タッチセンサ16と、タッチパネルディスプレイ17と、マイク18とを有するように構成されている。
CPU11は、携帯端末10全体の制御を行う。CPU11は、例えば各種チップセットを有し、チップセットを介して他の機器と接続する。
ROM12は、例えばプログラムやデータ格納用に用いられる読出専用メモリである。
RAM13は、例えばプログラムやデータ展開用、プリンタ描画用に用いられる書込及び読出可能なメモリである。
記憶手段14は、例えば画像データや音声データ、プログラム、フォントデータ、フォーム等の蓄積を行うためのストレージである。記憶手段14には、各種のアプリケーション19が記憶されている。記憶手段14は、例えば、HDD(Hard Disk Drive)、光ディスク、メモリカード等の一般的に利用されている記憶媒体により構成される。
加速度センサ15は、携帯端末10の動作を検知する。加速度センサ15は、所定の時間間隔で常時パラメータを取得し、例えばXYZの3軸におけるX値、Y値、Z値を取得する。また、加速度センサ15は、例えばX値、Y値、Z値の時間当たりの変化率△X、△Y、△Z、及びX値、Y値、Z値が変化した際のその時間間隔tX、tY、tZの値をそれぞれ取得する。
タッチセンサ16は、タッチパネルディスプレイ17に対する操作を検知する操作手段である。タッチセンサ16は、タッチパネルディスプレイ17に対する接触が検知された際、又は関連するプログラムが指定されたタイミングでパラメータを取得する。取得するパラメータとしては、タッチイベント、タッチパネルディスプレイ17上の接触があった位置の座標(Vx、Vy)、接触のあった位置の数、位置の座標の変化量(△Vx、△Vy)、時間当たりの変化量(tVx、tVy)が含まれている。
タッチパネルディスプレイ17は、各種データ(例えば、プロジェクタ20に投影するデータや、サムネイル画像、テストデータ等)を画面表示したり、ユーザからの操作により所定の入力データを取得するための操作画面を表示したりする。
マイク18は、例えば、上述した所定の音を収集する機能を有する音収集装置の一例である。
アプリケーション19は、例えば外部機器に対する出力制御等を行う機能を有し、操作処理、データ処理、通信処理、出力指示処理等を実行する1又は複数のプログラムを含む。ここで、各プログラムはRAM13にロードされ、CPU11により実行されることにより、操作判定手段40と、データ処理手段41と、通信手段42と、出力指示手段43とが実行される。なお、アプリケーション19は、例えばアプリケーションプログラムが携帯端末10にインストールされることで、各処理の機能が実現される。
操作判定手段40は、例えば加速度センサ15や、タッチセンサ16により得られた値から、携帯端末10の動作やタッチパネルディスプレイ17に対する操作を判定する。操作判定手段40は、例えば加速度センサ15から取得したパラメータにより以下の操作判定を行う。
例えば、操作判定手段40は、X軸、Y軸、Z軸におけるX値、Y値、Z値により携帯端末10の向きを判定し、X軸、Y軸、Z軸における重力加速度△X、△Y、△Zにより、携帯端末10の向きの変更を判定し、ユーザによる携帯端末10の「振る」、「傾ける」等の動作を行ったか否か判定する。また、操作判定手段40は、例えば時間間隔tX、tY、tZにより、携帯端末10を振る回数を判定する。
また、操作判定手段40は、例えばタッチセンサ16から取得したパラメータにより以下の操作判定を行う。
例えば、操作判定手段40は、タッチイベントからタッチパネルディスプレイ17へ触れる又は離す動作があったか、継続して触れているか又は離れているか等を判定する。また、操作判定手段40は、例えば位置の座標(Vx、Vy)から、タッチパネルディスプレイ17に接触した場所、タッチパネルディスプレイ17上のどのデータやボタンが選択されたか等を判定する。
また、操作判定手段40は、接触のあった位置の数から、タッチパネルディスプレイ17に同時に接触した指や、タッチパン等の操作デバイスの本数等を判定し、位置の座標の変化量(△Vx、△Vy)から、タッチパネルディスプレイ17上で指をスライドさせて移動させた距離を判定する。また、操作判定手段40は、時間当たりの変化量(tVx、tVy)から、タッチパネルディスプレイ17での指の移動の速さを判定する。
ここで、操作判定手段40は、携帯端末10の連続する同じ動作パターンを2回以上検知した場合に、例えば「振る」動作が連続して行われたと判定する。このように、操作判定手段40は、例えば携帯端末10を1回振る動作と、2回以上連続して振る動作とを区別することが可能である。
また、操作判定手段40は、重力加速度△X、△Y、△Zの絶対値が所定の閾値以上の場合に、「振る」動作として判定する。また、操作判定手段40は、上述した2回の動作を検知した際の時間間隔tX、tY、tZが所定の時間Tmax秒内であった場合に連続した動作とする。
また、操作判定手段40は、携帯端末10を1回振る動作の途中で、一瞬重力加速度が弱まって再度閾値を超えるような場合、連続して携帯端末10が振られていると判定しないように、閾値以下となった時間がTmin以下の場合は、2回の連続する「振る」動作と判定しない。すなわち、操作判定手段40は、Tmax≧tX、tY、tZ≧Tminで、△X、△Y、△Zの絶対値が所定の閾値以上となった場合に、連続して振る動作があったと判定する。
データ処理手段41は、操作判定手段40が判定した動作パターンに対応して割り振られている処理内容を取得し、データ処理を行う。記憶手段14には、操作判定手段40が判定した動作パターンごとに割り振られた処理内容が記憶されている。例えば、処理内容としては、携帯端末10を「振る」動作に対し、例えばタッチパネルディスプレイ17に表示されているデータ等をプロジェクタ20や画像形成装置30に出力する指示が割り振られている。
ここで、画像形成装置30に対しデータを出力する場合、データ処理手段41は、「振る」動作に応じて印刷用の画像データを生成し、出力指示手段43に指示を送る。すなわち、データ処理手段41は、アプリケーションと連携し、データのうちタッチパネルディスプレイ17に表示する部分データを決定し、タッチパネルディスプレイ17のサムネイル表示領域に部分データのサムネイル画像を表示させる。
例えば、サムネイル表示領域に表示されるサムネイル画像は、指やタッチペン等でタッチパネルディスプレイ17を横又は縦にスライドする操作により、別の部分データのサムネイル画像に切り替えることが可能である。このように、タッチパネルディスプレイ17のサムネイル画像を指でスライドする動作には、例えばサムネイル画像の切り替えという処理が割り当てられている。
なお、データ処理手段41の具体的な処理内容については後述する。
通信手段42は、通信ネットワーク2を介して他の機器と接続したり、他の機器とデータを送受信したりする。通信手段42は、例えば通信ネットワーク2を介して接続されている機器から機器に関する情報(機器情報や機器状態情報等)を受信する。
また、通信手段42は、機器を識別する識別情報として所定パターン(例えば「1111」等の数値に対応して予め設定された可聴帯域外の高周波帯域(例えば18kHz以上)の周波数等)を含む音声データ(動画ファイルを含む)を機器ごとに送信する識別情報送信手段としての機能を有する。
ここで、識別情報とは、機器を識別するための情報であれば良く、上述した所定パターンを含む音声データや、IPアドレス等が異なる周波数を用いて変換された音声データでも良く、予め機器が保持している所定パターンを含む音声データを再生するための出力指示であっても良い。
出力指示手段43は、データ処理手段41からの指示を受け、例えばプロジェクタ20に投影指示や画像形成装置30に印刷指示を行う。
<携帯端末10のデータ処理手段41>
図3は、携帯端末のデータ処理手段が有する各手段の一例を示す図である。図3に示すように、携帯端末10のデータ処理手段41は、送信先判定手段50と、機器検索手段51と、機器特定手段52と、音制御手段53と、音収集手段54と、音出力手段55と、音解析手段56とを有するように構成される。
送信先判定手段50は、操作判定手段40により「振る」動作があったと判定された場合に、例えばユーザにより設定画面等を介して予めデータを送信する送信先(例えばIPアドレス等)が指定されているか否か判断する。
機器検索手段51は、送信先判定手段50により送信先が指定されていないと判定された場合に、例えば通信ネットワーク2を介して機器検索を行う。機器検索手段51は、通信ネットワーク2上で機器検索をする場合には、例えば通信ネットワーク2上で機器情報の取得を要求するためのブロードキャストをしたり、Bluetoothにより検索したりしても良い。なお、機器検索手段51による検索方法は、これに限らず他の通信方式を用いて通信相手を検索しても良い。
機器特定手段52は、記憶手段14から機器を識別するための所定パターンを含む音声データを取得し、機器ごとに音声データを対応付けて送信データテーブルを作成する。また、機器特定手段52は、送信データテーブルを参照し、音解析手段56により解析された所定パターンを用いて、所定の音を発した機器を特定する。
音制御手段53は、音収集手段54による音の収集や、音出力手段55による音の出力、音解析手段56による音の解析を制御する。音制御手段53は、例えば音収集手段54により音データを取得すると、音解析手段56により取得した音データを解析させる。
音収集手段54は、音制御手段53による制御信号により、例えば必要な時、定期的、又は所定のタイミングでマイク18から所定の音を収集し、収集した音を電気信号に変換する。
音出力手段55は、音制御手段53による制御信号により、例えばスピーカ等の音出力装置から所定の音を出力する。
音解析手段56は、音制御手段53による制御信号により、音収集手段54から取得した音データを解析し、解析結果から所定の音に含まれる情報等を抽出する。例えば音解析手段56は、音収集手段54から取得した音データに含まれる所定パターンを抽出することが可能であるが、これに限定されるものではない。
<プロジェクタ20、画像形成装置30:機能ブロック>
図4は、プロジェクタ及び画像形成装置の機能ブロックの一例を示す図である。なお、図4に示す機能ブロックは、本実施形態の機器連携処理に用いられる手段の一例を示している。図4に示すように、プロジェクタ20及び画像形成装置30は、入力手段60と、出力手段(表示出力手段)61と、音制御手段62と、音出力手段63と、通信手段64と、制御手段65とを有するように構成される。
入力手段60は、例えばポインティングデバイスやタッチパネル、ハードキー等から構成され、ユーザ等からの各種指示の開始、終了等の入力を受け付ける。
出力手段61は、例えば入力手段60により入力された内容や、入力内容に基づいて実行された内容、外部からネットワークを介して受信したデータ等の出力等を行う。出力手段61は、例えばプロジェクタ20であれば、壁面、スクリーン等への投影による表示出力を行い、例えば画像形成装置30であれば、紙媒体等への印刷出力等を行う。
音制御手段62は、音出力手段63による音の出力等を制御する。音制御手段62は、例えば携帯端末10から受信した音声データを再生し、再生した音を音出力手段63により出力するよう制御する。
音出力手段63は、音出力手段55と同様の機能を有し、例えばスピーカ等の音出力装置から所定の音を出力する。
通信手段64は、通信ネットワーク2を介して他の機器とデータを送受信する。通信手段65は、例えば携帯端末10と通信ネットワーク2を介して接続するためのIPアドレス等の接続情報を保持する。
制御手段65は、機器全体を制御する。
<プロジェクタ20:ハードウェア構成>
図5は、本実施形態に係るプロジェクタのハードウェア構成の一例を示す図である。図5に示すように、プロジェクタ20は、CPU71と、メモリ72と、不揮発メモリ73と、投影装置74と、映像入力端子75と、ネットワークI/F76と、入力装置77と、スピーカ78とを有するように構成される。
CPU71は、プロジェクタ20全体の処理を制御する演算装置である。
メモリ72は、CPU71による各種処理に必要なデータを記憶する。不揮発メモリ73は、CPU71による各種処理を実現するプログラム等を記憶する。
投影装置74は、携帯端末10から取得したデータ(文書等)を映し出す装置である。投影装置74は、例えば、液晶パネルにより発光した光を、レンズ等を含む光学系で拡大して投影する。なお、投影装置74による投影方法はこれに限られるものではなく、例えばLED(Light Emitting Diode)を光源として用いた方法等に適用可能である。
映像入力端子75は、例えばPC(Personal Computer)等からの映像を受信して投影する際に利用する入力端子である。
ネットワークI/F(インタフェース)76は、通信ネットワーク2を介して携帯端末10と接続し、接続した携帯端末10との間でデータを送受信するためのインタフェースである。
入力装置77は、例えば、ボタン、リモコン受信部、ICカード等から情報を読み取るカードリーダ等により構成され、ユーザによる操作指示を受付ける。なお、入力装置77がキーボードを備えるように構成されても良い。
スピーカ78は、例えば携帯端末10から取得した音声データを再生して所定の音を出力する。
上述した構成を有することにより、プロジェクタ20が所定の音を発生することで、携帯端末10との接続が可能となり、例えば携帯端末10から受信したデータを投影することが可能となる。
<画像形成装置30:ハードウェア構成>
図6は、本実施形態に係る画像形成装置のハードウェア構成の一例を示す図である。図6に示すように、画像形成装置30は、コントローラ80と、スキャナ81と、プリンタ82と、操作パネル83と、スピーカ84と、ネットワークインタフェース85と、ドライバ86とを有するように構成される。
コントローラ80は、CPU90と、RAM91と、ROM92と、HDD93と、NVRAM(Non Volatile RAM)94等を有するように構成される。
CPU90は、RAM68にロードされたプログラムを処理することにより、各種の機能を実現する。
RAM91は、プログラムをロードするための記憶領域や、ロードされたプログラムのワーク領域等として用いられる。ROM92には、各種のプログラムやプログラムによって利用されるデータ等が記録されている。
HDD93には、プログラムやプログラムが利用する各種のデータ等が記録される。NVRAM94には、各種の設定情報等が記録される。
スキャナ81は、原稿より画像データを読み取るためのハードウェア(画像読取手段)である。プリンタ82は、印刷データを印刷媒体(例えば、用紙等)に印刷するためのハードウェア(印刷手段)である。操作パネル83は、ユーザからの入力の受け付けを行うためのボタン等の入力手段や、液晶パネル等の表示手段等を備えたハードウェアである。
スピーカ84は、例えば携帯端末10から取得した音声データの再生により所定の音を出力する。
ネットワークインタフェース85は、LAN等のネットワーク(有線又は無線の別は問わない)に接続するためのハードウェアである。ドライバ86は、記録媒体86に記録されたプログラムを読み取るために利用される。すなわち、画像形成装置30では、ROM92に記録されたプログラムだけでなく、記録媒体87に記録されたプログラムもRAM91にロードされ、実行される。
なお、記録媒体87は、例えば、CD−ROM又はUSB(Universal Serial Bus)メモリ等を含むが、所定のものに限定されず、ドライバ86は、記録媒体87の種類に応じたハードウェアに代替される。
上述した構成を有することにより、画像形成装置30が所定の音を発生することで、携帯端末10との接続が可能となり、例えば携帯端末10から受信したデータを印刷出力することが可能となる。
<機器連携処理>
図7は、本実施形態に係る機器連携処理の流れを示すフローチャートである。図7に示すように、携帯端末10は、操作判定手段40により動作を検知し(S10)、検知した動作が、所定の動作の一例としての「振る」動作か否か判定する(S11)。
携帯端末10は、操作判定手段40により「振る」動作でないと判定すると(S11において、NO)、S10の処理に戻る。また、携帯端末10は、「振る」動作であると判定すると(S11において、YES)、送信先判定手段50により送信先の指定があるか否か判定する(S12)。ここで、送信先に指定がある場合とは、例えばS11の処理前に、ネットワーク機器検索の応答から得られるIPアドレス等が操作画面上でユーザにより指定された場合等が含まれる。
携帯端末10は、送信先判定手段50により送信先の指定があると判定すると(S12において、YES)、通信手段42により指定された送信先と接続処理を行い(S13)、接続した機器で良いかユーザに確認するためのテストデータを送信先に送信する(S14)。
携帯端末10は、S14の処理の後、ユーザから確認を得ると、接続した機器にデータを送信して、処理を終了する。なお、テストデータについては後述する。
一方、携帯端末10は、送信先判定手段50により送信先の指定がないと判定すると(S12において、NO)、機器検索手段51により機器検索を行い、機器情報の取得を要求するブロードキャスト(例えば、Probe Request)等を行う。
次に、携帯端末10は、機器検索手段51により通信ネットワーク2を介して機器から応答(例えばProbe Response)があったか否か判断する(S16)。
携帯端末10は、機器検索手段51により応答があったと判断すると(S16において、YES)、応答に含まれる機器の機種情報に基づき、応答があった機器に対して機器状態の取得要求を送信する。ここで、機種情報には、例えば機器と接続するためのIPアドレスや、機器(例えば、プロジェクタや画像形成装置等)や機器の機種を特定するための情報が含まれる。
次に、携帯端末10は、各機器から得られる機器状態情報(例えば電源のオンオフ状態や入力状態等の情報)に基づき、通信を行う候補となる機器(通信候補の機器)が所定個以上あるか否か判断する(S17)。
ここで、通信候補の機器とは、例えばネットワーク接続可能な状態の機器等を含み、プロジェクタの場合には、投影中の機器にデータを送信しないように投影状態情報から現在投影中でない(使用されていない)機器等を対象とする。また、通信候補の機器に通信したい機器が含まれるように、例えば複数個(3個以上等)の候補があるか判断する。
携帯端末10は、機器検索手段51により通信候補の機器が所定個以上あると判断した場合(S17において、YES)、機器特定手段52により記憶手段14から機器を識別するための所定パターンを含む音声データ(例えば動画ファイルを含む)を取得し、取得した音声データと通信候補の機器とを対応付けた送信データテーブルを作成する(S18)。なお、送信データテーブルの一例は後述する。
次に、携帯端末10は、送信データテーブルに基づき、通信手段42により通信ネットワーク2を介して、機器ごとにそれぞれの機器に対応付けた音声データを送信する(S19)。
次に、携帯端末10は、マイク18を起動し(S20)、音収集手段54により音声を収集したか否か判断する(S21)。
携帯端末10は、音声を収集したと判断すると(S21において、YES)、音解析手段56により収集した音を解析して所定パターンを抽出し、機器特定手段52により抽出した所定パターンがそれぞれの機器に対応付けた音声データに含まれる所定パターンと一致するか否か判断する(特定の機器に該当?)(S22)。
携帯端末10は、機器特定手段52により特定の機器に該当すると判断すると(S22において、YES)、上述の処理で取得した機器情報から特定の機器のIPアドレスを取得し、通信手段42により接続処理を行う(S23)。また、携帯端末10は、S14と同様にテストデータを送信し(S24)、ユーザから確認を得ると接続した機器にデータを送信して、処理を終了する。
なお、上述した機器検索による応答がないと判断した場合(S16において、NO)や、通信候補の機器が所定個以上ないと判断した場合(S17において、NO)には、所定時間経過したか否か判断し(S25)、所定時間経過していないと判断した場合(S25において、NO)には、S16の処理に戻る。
また、所定時間経過したと判断した場合には(S25において、YES)、例えばエラー画面等を表示して、処理を終了する。エラー画面等には、「振る」動作を再試行するよう促すメッセージを通知したり、S16の処理で取得した機器情報のIPアドレスをリスト表示したりして、ユーザにより通信したい機器を手動で選択させても良い。
また、上述の処理で音声を収集していないと判断した場合(S21において、NO)や、特定の機器に該当していないと判断した場合(S22において、NO)にも、所定時間経過したか否か判断し(S26)、所定時間経過していないと判断した場合(S26において、NO)には、S21に処理に戻る。所定時間経過したと判断した場合には(S26において、YES)、処理を終了する。
上述した処理により、携帯端末10の「振る」等の動作の後、所定の機器と容易に通信することが可能となる。
なお、上述したS15の機器検索において、機器情報の取得要求に機器状態の取得要求を含めても良い。また、上述したS15〜S22の処理、すなわち機器検索しながら通信候補の機器が見つかるごとに音声データを送信していく処理を並行して行うことで、効率よく接続処理を行っても良い。
また、上述したS14やS24の処理でテストデータを送信するのは、省略しても良いが、例えば、接続対象の機器がプロジェクタ20であれば、所定の画面をスクリーン上に表示(投影)させることで、接続する機器を確認することが可能となる。すなわち、上述した音を収集して機器を特定する場合には、ノイズが大きいと誤検知の可能性があり、意図しない機器にデータを送信してしまう可能性もある。
したがって、例えば第三者に閲覧されても影響のない所定のテストデータ(例えば、所定の画面データ)を送信し、そのテストデータを表示させることで、通信する機器を確認すると良い。
また、例えば、接続対象の機器が画像形成装置30であれば、ユーザにとって可聴な音を画像形成装置30に発生させるテストデータを送信し、画像形成装置30から発せられる音によりユーザが接続する機器を確認することが可能となる。
上述したように、接続対象の機器がプロジェクタ20であるか画像形成装置30であるか等の機器の種類の違いは、取得する機器情報から判断することが可能である。したがって、携帯端末10は、プロジェクタ20や画像形成装置30に限らず、接続対象の機器の種類に応じたテストデータを保持しておくことで、機器の種類に応じたテストデータを接続対象の機器に送信することが可能となる。
なお、どのようなテストデータを保持するかについては、接続対象の機器が備えている機能に応じて適宜選択することが可能である。したがって、プロジェクタ20であれば画面表示でなければならないわけでなく、音を発する機能を備えていれば可聴音を用いることは可能であるが、ユーザの聴覚により音の発生源を確認するよりも視覚により画面を確認する方が好適な状況であれば、画面表示により確認する方がより利便的である。
また、携帯端末10の操作画面上に、テストデータの送信先の機器と正式に接続して良いかを確認する画面を表示しても良い。
<送信先が指定されている場合>
図8は、送信先が指定されている場合のシーケンスの一例を示す図である。なお、図8の例では、携帯端末10と、プロジェクタ20−1とを用いて説明する。
図8に示すように、携帯端末10は、予めデータを送信する送信先としてプロジェクタ20−1を指定する(S30)。携帯端末10は、「振る」動作を検知すると(S31)、送信先の指定があるか否か判定する(S32)。
ここで、携帯端末10は、プロジェクタ20−1が送信先として指定されていると判断すると、プロジェクタ20−1のIPアドレスに接続し(S33)、テストデータを送信して投影する(S34)。次に、投影したテストデータの画面にタッチパネルディスプレイ17の画面を更新し、送信先がここで良いか否かのユーザからの判断を受け、良いとの確認を得た場合に、実際のデータを用いて画像の投影を行う(S36)。このように、送信先が指定されている場合には、携帯端末10と指定されている送信先(プロジェクタ20−1)とで機器連携が行なわれる。
なお、上述の場合はプロジェクタ20の例で説明したが、画像形成装置30が指定されている場合には、指定されている画像形成装置30との機器連携が行なわれる。
<送信先が指定されていない場合>
図9は、送信先が指定されていない場合のシーケンスの一例を示す図である。なお、図9の例では、携帯端末10と、プロジェクタ20−1〜プロジェクタ20−2とを用いて説明する。
図9に示すように、携帯端末10は、「振る」動作を検知すると(S40)、送信先の指定があるか否か判定する(S41)。携帯端末10は、送信先の指定がないと判断すると、通信ネットワーク2を介して機器検索を行う。
図9の例では、携帯端末10は、通信ネットワーク2を介して、プロジェクタ20−1にブロードキャストを行い(S42)、プロジェクタ20−2にブロードキャストを行う(S43)。
携帯端末10は、プロジェクタ20−1から応答を受信し(S44)、プロジェクタ20−2から応答を受信すると(S45)、それぞれの機器状態を確認するため、プロジェクタ20−1に機器状態の問い合わせを行い(S46)、プロジェクタ20−2に機器状態の問い合わせを行う(S47)。
携帯端末10は、プロジェクタ20−1から機器状態に関する応答を受信し(S48)、プロジェクタ20−2から機器状態に関する応答を受信すると(S49)、それぞれの機器の機器状態に関する応答から、ネットワーク接続可能な機器(上述した通信候補の機器)を判定する(S50)。
例えば、プロジェクタの場合、機器状態情報には、投影中か否かの入力状態や、PJLink等の規格に応じた情報が含まれると良い。投影中のプロジェクタは、既に使用されている可能性が高いため、動画ファイルを用いて音を発生させる場合、動画ファイルが投影されてしまう。そこで、例えば投影中でないプロジェクタを接続可能な機器と判定すると良い。
なお、上述したS42やS43の処理でブロードキャストを行うときに、S46やS47の機器状態の問い合わせを含めるような処理としても良い。
携帯端末10は、機器検索を開始してから所定時間が経過するまでに、通信候補の機器が例えば3個以上あると判定した場合(S51)、通信候補の機器ごとに機器を識別するための所定パターンが異なる音声データ(動画ファイルを含む)を対応付けた送信データテーブルを作成する(S52)。上述したように、通信候補の機器が1個以上ではなく3個以上あるか判定するのは、例えば近くの接続したい機器からの応答がその中に含まれる可能性を高めるためである。
携帯端末10は、送信データテーブルにしたがって、例えば音声データ1をプロジェクタ20−1に送信し(S53)、音声データ2をプロジェクタ20−2に送信する(S54)。
次に、携帯端末10は、マイク18を起動して音収集手段54により音を収集する(S55)。プロジェクタ20−1は、携帯端末10から受信した音声データ1を再生し、再生した所定の音を音出力手段63により出力し(S56)。プロジェクタ20−2は、携帯端末10から送信された音声データ2を再生し、再生した所定の音を音出力手段63により出力する(S57)。
携帯端末10は、音収集手段54により収集した音を解析して、収集した音に含まれる所定パターンを抽出することで所定の音を発した機器を特定する(S58)。
携帯端末10は、例えば最初に又は最も強い音量で収集した音の機器(例えばプロジェクタ20−1)と接続を行い(S59)、テストデータを投影する(S60)。次に、投影したテストデータの画面にタッチパネルディスプレイ17の画面を更新し(S61)、この機器で良いか否かのユーザからの判断を受け、良いとの確認が得られた場合に、実際のデータを用いて画像の投影を行う(S62)。
例えば、携帯端末10が最も近くにある機器と接続したい場合には、最も近くにある機器から発せられる音を最初に又は最も強い音量で収集することになるため、その音に含まれている所定パターンから最も近くにある機器を特定し、その機器と接続して機器連携することが可能となる。
なお、機器を識別するための所定パターンをそれぞれ異なる周波数を用いた音声データとすることで、複数の機器から発せられた音を収集して解析しても良い。また、携帯端末10は、上述した機器情報に含まれたIPアドレス等を異なる周波数を用いて音声データに変換し、変換した音声データをそれぞれのIPアドレスの機器に送信して再生させても良い。この場合には、機器から発せられる音に含まれるIPアドレスを解析して、通信したい機器と接続すると良い。
上述の場合はプロジェクタ20の例で説明したが、画像形成装置30に対しても同様であり、発せられた音に基づき画像形成装置30にデータ送信し印刷出力等を行う。
<送信データテーブル>
図10は、携帯端末が作成する送信データテーブルの一例を示す図である。図10に示すように、携帯端末10は、「機器種別」、「音声データ」等の項目により構成される送信データテーブルを作成する。図10の例では、「機器種別」の例として、例えば「プロジェクタ1」が示され、「プロジェクタ1」を識別する「音声データ」の例として、「音声データ1」が示されている。
携帯端末10は、予め記憶手段14に異なる所定パターンが含まれる音声データが記憶されているため、記憶手段14から音声データを取得して、通信候補の機器と対応付けて送信データテーブルを作成する。図10の例では、通信候補の機器「プロジェクタ1」に対して「音声データ1」が対応付けられている。
携帯端末10は、機器から発せられた音を収集すると、収集した音を解析して所定パターンを抽出し、抽出した所定パターンが含まれている音声データが、例えば「音声データ1」と判断すると、送信データテーブルを参照し、所定の音を発した機器は「プロジェクタ1」と判断する。
上述のように機器検索で得られた機器情報には機器を特定する情報(例えば機器名「プロジェクタ1」)とIPアドレス等が含まれているため、携帯端末10は、機器検索で得られた機器情報を記憶手段14に記憶しておくことで、「プロジェクタ1」のIPアドレスを記憶手段14から取得して接続処理を行うことが可能となる。
<事前処理について>
ここで、本実施形態に係る機器連携処理を行う前に、携帯端末10等で行なわれる事前処理の一例について説明する。図11は、携帯端末の操作画面の推移の一例を示す図である。図11(A)は、携帯端末10の初期画面を示し、図11(B)は、選択されたアプリケーションの画面を示し、図11(C)は、印刷指示画面を示し、図11(D)は、プリンタ設定画面を示す。
図11(A)に示すタッチパネルディスプレイ17上には、記憶手段14に記憶されているアプリケーションがそれぞれ表示されている。例えば、アプリケーションの1つが選択されると、選択されたアプリケーションが起動し、図11(B)に示すように、選択されたアプリケーションの画面が表示される。
すなわち、図11(B)に示すタッチパネルディスプレイ17上には、選択された文書ファイルや画像データ等の選択データ101が表示されている。例えば、データが選択された状態で、図11(B)に示す連携ボタン102が操作されると、図11(C)に示す印刷指示画面が表示されて、選択データ101がデータ処理手段41に出力される。データ処理手段41は、選択データ101を記憶手段14に記憶する。
図11(C)に示す印刷指示画面には、例えばメッセージ部103と、サムネイル表示領域104と、プリンタ設定部105とが含まれている。なお、この画面構成は一例であり、例えば、印刷条件を設定するためのボタン等を含めても良い。
メッセージ部103には、ユーザに対するメッセージが表示される。図11(C)の例では、「振ると印刷します」というメッセージが示されているが、出力先の画像形成装置が選択されていない場合に、「プリンタを選択ください。」といった表示を出す等、適宜変更することが可能である。
サムネイル表示領域104には、選択データ101のサムネイル画像が表示される。選択データ101が、例えば複数ページから構成されている場合は、そのうちの1ページ分、すなわち、部分データのサムネイル画像が表示される。また、サムネイル表示領域104を指でスライドさせて操作した場合、選択データ101が複数ページからなるときには、他のページのサムネイル画像へ切り替えても良い。ここで、データ処理手段41は、サムネイル表示領域104の操作に応じてサムネイル画像を切り替えることにより表示領域選択手段の機能を実現している。
プリンタ設定部105には、印刷出力先の画像形成装置30を決定するための操作画面が表示される。図11(D)は、プリンタ設定部105の一例である。図11(D)に示すプリンタ設定画面では、IPアドレス指定ピッカー106を操作して、直接、画像形成装置30のIPアドレスを指定することにより、出力先の画像形成装置30が決定される。
例えば、プリンタ設定部105を通じて画像形成装置30を決定することにより出力先決定手段の機能が実現される。出力先の画像形成装置30のIPアドレスは、送信先の指定アドレスとして記憶手段14に記憶される。
ここで、サムネイル画像の操作処理の流れについて説明する。この処理は、例えば連携ボタン102の操作により開始する。データ処理手段41は、記憶手段14に選択データ101が記憶されているか判断する。選択データ101が記憶されている場合、データ処理手段41は、選択データ101に基づきサムネイル表示領域104へ表示するサムネイル画像を生成する。
一方、選択データ101が記憶されていない場合、データ処理手段41は、メッセージ部103に「ファイルを選択してください」等のメッセージを表示する。
次に、サムネイル表示領域104に対して操作が行われた場合の処理の流れについて説明する。この処理は、例えばサムネイル表示領域104にサムネイル画像が表示された状態で操作が行われると処理が開始する。
操作判定手段40は、サムネイル表示領域104に表示されたサムネイル画像に対する操作があったか否かを判定する。この操作の判定では、タッチセンサ16が取得したタッチイベント、位置の座標(Vx、Vy)、位置の座標の変化量(△Vx、△Vy)、時間当たりの変化量(tVx、tVy)が用いられる。
サムネイル画像への操作があったと判定した場合、データ処理手段41は、その操作量、すなわち指をタッチパネルディスプレイ17上でスライドさせた移動量とその速度をタッチパネルセンサ16から取得し、どの部分データのサムネイル画像を表示するか決定する。
具体的には、指を大きなストロークで早く動かすほどページ数を多く移動したページが表示領域として決定する。データ処理手段41は、決定した部分データのページのサムネイル画像を生成し、サムネイル表示領域104に表示させる。一方、サムネイル画像への操作がないと判定した場合、処理を終了する。
<印刷条件の設定>
次に、事前処理において設定される印刷条件の一例として、携帯端末10を「振る」動作の回数によって印刷部数を設定する例について説明する。携帯端末10を「振る」動作が行われた場合に、データ処理手段41は、例えば時間をリセットして「0」から計測を開始して、印刷部数を加算していくと良い。計測を開始した時間から所定時間が経過した場合、携帯端末10を「振る」動作が終了したと判断して印刷部数を確定する。例えば、印刷部数は「振る」動作の検知により1つずつ加算していく。
印刷部数が1ページ以上となっている場合、操作判定手段40は、携帯端末10の「振る」動作が行われた際に、タッチセンサ16によってタッチパネルディスプレイ17へのタッチイベントが検知されたか否かを判定し、タッチイベントが検知されていない場合、選択データ101の全ページを印刷するよう印刷条件を設定する。
一方、タッチイベントが検知された場合、データ処理手段41は、選択データ101のうちサムネイル表示領域104に表示中のページのみを印刷するよう印刷条件を設定する。
データ処理手段41は、選択データ101から画像変換した印刷データを作成し、作成した印刷データを印刷部数等の印刷条件とともに出力指示手段43に出力する。
以上に示した携帯端末10によれば、利用者は携帯端末10を「振る」という簡単な動作で外部の出力装置への指示を行うことができ、画面を見ずとも操作可能という点で利用者の利便性の向上を図ることが可能となる。
また、携帯端末10を振った回数によって、印刷部数を設定可能であるため、操作画面が小さく、細かい印刷条件の設定がやりにくい携帯端末10であっても、容易に印刷部数の設定を行うことができる。また、携帯端末10を振った際に、タッチパネルディスプレイ17に触れているかによって、全ページを印刷するか、1ページのみを印刷するかを決めるため、操作画面を見なくとも印刷の範囲の設定が容易に操作可能となる。
なお、例えば連続して「振る」動作があった場合に、部数を変更するのではなく、印刷時の用紙への割付数を変更する、具体的には2回連続して振った場合には「2in1」、3回連続して振った場合には「4in1」の割付設定で印刷するようにしても良い。このような動作パターンに対して割り当てる処理の内容は適宜変更しても良く、例えば両面印刷の有無、カラー/モノクロ印刷の切り替え、ソートの有無、ステープルの有無、仕上げの有無、折の有無等を選択する処理を動作パターンに予め割り当て、記憶手段14に記憶しておいても良い。
<プリンタ設定画面の他の例>
次に、事前処理において設定されるプリンタ設定画面の他の例について説明する。図12は、プリンタ一覧が表示されたプリンタ設定画面の他の例を示す図である。上述した図11の例では、プリンタ設定画面においてIPアドレスからプリンタを決定したが、プリンタの一覧から選択する形式に変更しても良い。
例えば、図12に示すように、携帯端末10から通信可能なプリンタの一覧を自動的に取得し、その一覧から利用者が選択できるようにしても良い。具体的には、携帯端末10にインストールされているプリンタドライバの一覧を取得しても良い。また、プリンタドライバをインストールしなくても、同じネットワーク上に存在するプリンタを取得するようにしても良い。このような方式であれば、IPアドレスを記入する手間が省略されるため、利用者にとってより利便性の高い操作が可能となる。
<他の印刷指示の動作例>
ここで、上述したように、タッチパネルディスプレイ17に接触した状態で携帯端末10を振った場合に、1ページのみ印刷するのではなく、画面上に表示されているデータのみ印刷するように変更しても良い。これは、データがページごとに分割されていない場合に適用される。例えば、WEBブラウザによってHTMLのページを表示する場合等が該当する。また、タッチパネルディスプレイ17への接触の有無にかかわらず、全ページを印刷しても良い。
また、携帯端末10を「振る」動作を検知してからの時間の計測方法であるが、例えば「振る」動作を検知してから次の「振る」動作を検知するまで時間を計測する方法ではなく、1回目の「振る」動作からリセットすることなく計測を継続し、所定時間が経過するまで検知された「振る」動作の回数をカウントし、カウントした値を印刷部数として設定しても良い。
また、印刷指示として操作判定手段40が判定する動作としては、「振る」以外にも例えば「傾ける」等、画面を見なくても操作が可能な動作等を採用しても良い。また、振り方も、上下に振る、左右に振る等、そのバリエーションは適宜変更可能である。
なお、加速度センサ15に加えてジャイロセンサの値も取得するようにしても良い。
携帯端末10と外部機器を接続する回線として無線LAN、Bluetooth等、他の無線回線を選択しても良く、ゲートウェイを介して有線接続された外部機器を選択しても良い。
また、サムネイル表示領域104に表示させる画像の変更を、タッチパネルディスプレイ17への操作ではなく、携帯端末10を左右に振る動作とし、印刷指示を、携帯端末10を上下に振る動作とする等の割り当てをしても良い。
<プロジェクタが選択された場合>
次に、事前処理の一例として、プロジェクタに対する各種条件の設定例について説明する。図13は、プロジェクタ設定画面を含む操作画面の一例を示す図である。図14は、携帯端末の操作方法の一例を示す図である。
図13の例では、機器連携先としてプロジェクタが選択されている例を示す。なお、機器連携先としては、上述した画像形成装置の他、ストレージ等を選択しても良く、携帯端末10を「振る」等の簡単な動作で出力を指示することが可能である。また、図13の例では、プリンタ設定部の代わりに、プロジェクタ設定部107が設けられている。
図14(A)に示すように、携帯端末10を「左右に振る」動作を検知すると、選択されたプロジェクタへ出力が指示される。また、図14(B)に示すように、携帯端末10を「手前に振る」ことでプロジェクタへと出力したデータを拡大し、「奥側に振る」ことでプロジェクタへ出力したデータを縮小するよう指示される。また、図14(C)に示すように、サムネイル表示領域104に触れながら、携帯端末10を「前後に振る」動作が検知されることで、拡大又は縮小が解除されて初期状態のサイズに戻る。
また、上述した印刷条件の設定と同様の動作検知を利用して、プロジェクタ20への表示条件の設定を行うことも可能である。例えば、携帯端末10を「振る」動作の回数によって、スクリーン画面上に表示するページ数を設定したり、タッチイベントの検知の有無に応じて全ページのデータを送信するか、表示中の1ページ分のデータを送信するか設定したりしても良い。
このように、出力装置に応じて「振る」や「傾ける」等の動作に、データの出力態様を変更する処理を割り当てることで、直感的な操作が可能となっている。
また、上述した各手段は、ソフトウェアで実現しても、ハードウェアで実現しても良く、上述した各種処理は、ROM等に予め組み込まれて提供される。なお、上述した各種処理は、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記憶媒体に記憶して提供するように構成しても良い。また、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、インターネット等のネットワーク経由で提供または配布するように構成しても良い。
なお、上述した画像形成装置30を、コピー機能、プリンタ機能、スキャナ機能及びファクシミリ機能のうち少なくとも2つの機能を有する複合機に適用した例を挙げて説明するが、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像形成装置であればいずれにも適用することが可能である。
<接続情報音を用いた機器連携システム>
次に、上述した機器連携システム1における機器連携の他の一例として、接続情報音を用いた機器連携システムの例について説明する。図15は、接続情報音を用いた機器連携システムの他の一例を示す図である。
なお、図15の例は、携帯端末10が所定の動作の一例として「振る」動作の検知し、送信先が指定されていない場合に、機器(ここでは機器の一例としてプロジェクタ20を例に説明する)から出力されている所定の音(例えば、接続情報音)を取得すると、その音に含まれる接続情報に基づいて機器と接続する例である。
また、接続情報音には、例えば接続情報として機器と接続するためのアドレスを特定する情報、例えばLANに接続するためのIPアドレスの他、例えばアドホック接続するためのSSID(Service Set Identifier)とIPアドレス、Bluetoothで接続するためのMAC(Media Access Control)アドレスとパスキー等の情報を埋め込んでも良い。
例えば、接続情報をIPアドレスとした場合には、汎用的な機器で簡単に機能を実現し、接続情報をアドホック接続に用いる情報とした場合には、アクセスポイントを介したネットワーク接続以外の接続が可能となる。
図15の例では、携帯端末10は、「振る」動作を検知すると、マイク18によりプロジェクタ20から出力されている接続情報音を収集し、収集した音の解析により得られる接続情報を用いて、プロジェクタ20と通信ネットワーク2を介して接続する。
上述した場合には、例えば携帯端末10とプロジェクタ20とが異なるサブネットに属していたとしても、携帯端末10は、プロジェクタ20に容易に接続することが可能となる。また、例えばプロジェクタ20が会議室ごとに設置されるプロジェクタであっても、携帯端末10は、接続情報音から得られる接続情報を用いて、プロジェクタ20と容易に通信することが可能となる。
<接続情報音を用いた機器連携システムの構成>
図16は、接続情報音を用いた機器連携システムの構成の一例を示す図である。なお、図16(A)は、携帯端末10のデータ処理手段41が有する各手段を示し、図16(B)は、プロジェクタ20の機能ブロックを示す。
図16(A)に示すように、携帯端末10のデータ処理手段41は、音制御手段53と、音収集手段54と、音出力手段55と、音解析手段56とを有するように構成される。なお、図3に示す手段とは、送信先判定手段50と、機器検索手段51と、機器特定手段52とを有しない点で異なり、ここでは異なる点のみ説明する。
音制御手段53は、音解析手段56により取得した音データを解析させるときに、音収集手段54により得られた音から周囲の雑音を測定し、測定した雑音とプロジェクタ20までの距離等に応じて予め設定された閾値に基づき、解析する音データを制限させても良い。
例えば、プロジェクタ20までの距離が約1mの場合、約50dB以下の音は解析しない等、取得した音の音量により解析させる音データを制限させても良い。これにより、複数の機器から接続情報音を取得した場合でも、携帯端末10と接続したい近くにある機器との距離から所望する機器の接続情報音のみ解析することが可能となる。
音解析手段56は、音収集手段54により得られた音データを解析し、プロジェクタ20から出力された接続情報音に含まれる接続情報を取得したり、プロジェクタ20から出力された識別情報音(プロジェクタID音)に含まれるプロジェクタ20に固有の識別情報を取得したりする。なお、携帯端末10の音解析手段56による音データから接続情報を取り出す方法については後述する。
ここで、携帯端末10は、上述した音解析手段56から得られる接続情報に基づいて、通信手段42により、通信ネットワークを介して接続情報音を発した機器と接続することが可能となる。
図16(B)に示すように、プロジェクタ20は、入力手段60と、出力手段61と、音制御手段62と、音出力手段63と、通信手段64と、制御手段65と、音生成手段66とを有するように構成される。なお、図4に示す機能ブロックとは、音生成手段66を有する点で異なり、異なる点を中心に説明する。
音制御手段62は、音生成手段66により接続情報音を生成させ、音出力手段63により出力させる。ここで、音制御手段62は、予め所定の範囲まで届くように接続情報音の音量に設定しておき、例えば携帯端末10との距離に応じて接続情報音の音量を可変させるように音生成手段66を制御しても良い。例えば、音制御手段62は、携帯端末10から携帯端末10との距離や会議室等の指定があった場合には、その範囲に届くように接続情報音の音量を可変するよう音生成手段66を制御しても良い。
また、音制御手段62は、音収集手段を設けている場合に、音収集手段により取得した周囲の雑音を測定し、測定した雑音や携帯端末10との距離に応じて、接続情報音の音量を可変するように音生成手段66を制御しても良い。
また、音制御手段62は、騒音にならないように可聴帯域外の高周波帯域(例えば18kHz以上)の周波数で接続情報音を生成するよう音生成手段66を制御しても良い。
また、音制御手段62は、自デバイスの種類ごと(例えばプロジェクタ、MFP、タブレット端末、PC等のデバイスの種類ごと)に異なる周波数帯域の周波数で接続情報音を生成するよう音生成手段66を制御しても良い。これにより、携帯端末10の周囲に複数のデバイスがある場合で、携帯端末10による複数のデバイスからの接続情報音の識別が可能となり混同を回避することが可能となる。
音生成手段66は、例えばスピーカ等の音出力手段63から外部に出力する所定の音データを生成する。例えば音生成手段66は、通信手段64から接続情報やプロジェクタ20に固有の識別情報(ID)等を取得して音に埋め込み、接続情報音や識別情報音(プロジェクタID音)を生成する。なお、音生成手段66による音データに接続情報を埋め込む方法については後述する。
上述した構成を有することにより、携帯端末10は、プロジェクタ20から発せられた接続情報音を収集し、収集した接続情報音から得られた接続情報を用いることで、所定範囲にあるプロジェクタ20と通信することが可能となる。
<接続情報音を出力する機器の処理シーケンス>
図17は、接続情報音を出力する機器の処理シーケンスの一例を示す図である。なお、図17の例では、音制御手段62と、音生成手段66と、通信手段64と、音出力手段63とを用いて説明する。
図17に示すように、プロジェクタ装置20の音制御手段62は、音生成手段68に接続情報音の生成を依頼すると(S70)、音生成手段66は、通信手段64から自デバイスの接続情報(プロジェクタ20と接続するための情報)を取得し(S71)、取得した接続情報を音に埋め込み、接続情報音を生成する(S72)。
ここで、音生成手段66は、複数の周波数の音に情報を割り当てるDTMF(Dual−Tone Multi−Frequency)等の手法により接続情報を音に埋め込んだり、後述する手法により接続情報を音に埋め込んだりすることが可能である。
このとき、例えば可聴帯域外となる高周波帯域(例えば18kHz以上)の周波数を用いて情報を音に埋め込んでも良い。この場合には、接続情報音が騒音にならないため、ユーザは意識せずに接続を行うことが可能となる。なお、一般的に用いられる音への情報の埋め込み手法を用いても良い。
音制御手段62は、音生成手段66から接続情報音を生成した通知を受けると、音出力手段63に接続情報音を出力するよう依頼し(S73)、音出力手段63は、接続情報音を出力する。
なお、上述した音制御手段62の処理の開始は、例えば入力手段60からのユーザの入力指示を取得した時、システム起動時、外部機器からのネットワーク通信(無線通信等)による検索に応答した時、外部機器からのネットワーク通信による音声出力指示を受信した時等をトリガーにすると良い。
<接続情報音を解析する携帯端末の処理シーケンス>
図18は、接続情報音を解析する携帯端末の処理シーケンスの一例を示す図である。なお、図18の例では、タッチパネルディスプレイ17と、音制御手段53と、音収集手段54と、音解析手段56と、通信手段42とを用いて説明する。
例えば、ユーザが携帯端末10のタッチパネルディスプレイ17に対してプロジェクタ装置20を検索するための検索開始指示を入力すると、図18に示すように、タッチパネルディスプレイ18から音制御手段53に、プロジェクタ装置20から出力される接続情報音の取得を依頼する(S80)。
音制御手段53は、音収集手段54に音の聞き取りを開始するよう指示し(S81)、音収集手段54は、例えば収集した音を音データに変換して、音解析手段56に出力する(S82)。音解析手段56は、音収集手段54から取得した音データを解析し(S83)、接続情報音に含まれる接続情報を取得すると、通信手段42に取得した接続情報を出力する(S84)。
ここで、音解析手段56は、接続情報音に含まれる接続情報を取得する際、接続情報が上述したDTMFの手法で音に埋め込まれている場合には、複数の特定周波数を含む音をFFT(Fast Fourier Transform:高速フーリエ変換)を用いて解析し、含まれる周波数から接続情報を取り出す。なお、接続情報を取り出す手法は、一般的に用いられている音から情報を取り出す手法や後述する手法を用いても良い。
また、音収集手段54のS82の処理と音解析手段56のS33の処理は、音解析手段56が接続情報を取得するまでループする。通信手段42は、音解析手段56から取得した接続情報を用いてネットワーク経由でプロジェクタ装置20と通信する。
<音データに接続情報を埋め込む手法>
次に、音データに接続情報を埋め込み、上述した接続情報音を生成する具体例について説明する。図19は、音データに接続情報を埋め込む手法を説明する図である。
図19の例では、プロジェクタ20の音生成手段66により、音データに接続情報を埋め込む手法について説明する。なお、図19の例では、例えば数字「94」を音に埋め込む場合の手法を示す。
図19(A)は、周波数f1(Hz)の音がt1時間出力されている図を示している。図19(A)に示すように、プロジェクタ20の音生成手段66が、予め設定された所定周波数f1(Hz)の音を、t1時間出力することで、数字情報の開始合図とする。
図19(B)は、周波数f2(Hz)の音がt2時間ずつ出力されている図を示している。音生成手段66は、例えば、予め設定された所定周波数f2(Hz)の音をt2時間出力すると2進数「1」、周波数f2(Hz)の音を出力しないと2進数「0」として設定しておき、数字「94」を2進数「01011110」に変換する。
音生成手段66は、例えば、図19(A)に示す周波数f1(Hz)の音がt1時間出力された後、図19(B)に示すように周波数f2(Hz)の音を出力しない期間とt2時間出力する期間とを組み合わせることで、数字「94」を変換した2進数「01011110」の情報を音のパターンにより埋め込む。
音生成手段66は、プロジェクタ20のIPアドレスを音に埋め込む場合には、更に音を続けて、例えば4つの数字等を表すと良い。
なお、上述したように、音に埋め込む情報量に応じて音の出力時間も長くなる。したがって、音生成手段66は、例えば音の開始合図の他、音の開始と音の終了が受信側の携帯端末10でも分かるような専用のコードを埋め込んでも良い。携帯端末10の音解析手段56は、音の開始と終了を示すコードを認識することで、その間の音を接続情報として取得することが可能となる。また、受信側がノイズ等の影響により、音による所定パターンを正確に取得できない可能性があるため、本実施形態では、上述した音のパターンを複数回繰り返して出力しても良い。
<音データから接続情報を取り出す方法>
図20は、音データから接続情報を取り出す方法を説明する図である。図20の例では、携帯端末10の音解析手段56により、音データから接続情報を取り出す方法について説明する。なお、図20の例は、横軸が周波数(Hz)を示し、縦軸は音振幅を示している。
上述した図19に示す方法で音に情報が埋め込まれている場合に、携帯端末10の音解析手段56は、音収集手段54から取得した音データに、上述したFFTを掛けて周波数成分を取り出し、例えば周波数f1(Hz)の音が出ているか判断する。
図20に示すように、周波数f1(Hz)の音が出ている場合には、周波数f1(Hz)部分にピークが現れる。また、音解析手段56は、周波数f1(Hz)の音を検知した後、同様にFFTを掛けて周波数f2(Hz)の音が出ているか判断し、周波数f2(Hz)の音がt2時間出力されている場合に「1」、周波数f2(Hz)の音が出力されていない場合に「0」と判断する。
音解析手段56は、上述した解析方法により周波数による音のパターンから音に埋め込まれた数字「01011110」を取得した後、十進数に変換することで、数字「94」を取り出すことが可能となる。なお、音解析手段56は、IPアドレスを取得する場合には、同様に4つの十進数の数字を取り出せば良い。
また、伝送時のノイズ等で埋め込まれた情報を正確に取得できない場合もある。そこで、携帯端末10の音解析手段56は、埋め込まれている情報の認証時にその正確性を向上させるために、同一信号に対して所定回数読み込みを行い、それぞれの解析結果を統計的に判断して数値を取り出すようにしても良い。なお、プロジェクタ20の音制御手段62は、接続情報音を所定回数又は所定時間、同一信号を繰り返し出力するよう制御すると良い。
また、一般的に用いられている誤り検知符号や誤り訂正符号等を用いて取り出す数字の精度を向上させても良い。
<接続情報音を用いて接続する各機器の処理の流れ>
図21は、接続情報音を用いて接続する各機器の処理の流れを示すフローチャートである。なお、図21(A)は、携帯端末10の処理の流れを示すフローチャートであり、図21(B)は、プロジェクタ20の処理の流れを示すフローチャートである。
図21(A)に示すように、携帯端末10は、音収集手段54により周囲の音の聞き取りを開始し(S90)、音解析手段56により音を解析する(S91)。
音解析手段56は、プロジェクタ20から出力された接続情報音を検知したか否か判断し(S92)、接続情報音を検知したと判断した場合(S92において、YES)、接続情報音に含まれる接続情報を取得する(S93)。
次に、音収集手段54は、音の聞き取りを終了し(S94)、通信手段42が接続情報を用いてネットワーク経由でプロジェクタ20に接続し(S95)、処理を終了する。なお、接続情報音を検知していないと判断した場合(S92において、NO)、S91の処理を続ける。
図21(B)に示すように、プロジェクタ20は、音生成手段66により接続情報音を作成すると(S100)、音出力手段63により接続情報音を出力し(S101)、処理を終了する。
上述したように、プロジェクタ20の処理の開始は、例えばタッチパネルディスプレイ17からのユーザの入力指示を取得した時、システム起動時、外部機器からのネットワーク通信(無線通信等)による検索に応答した時、外部機器からのネットワーク通信による音声出力指示を受信した時等をトリガーにすると良い。
<携帯端末10からの要求音により接続情報音を出力する機器連携システムの構成>
図22は、要求音を出力する機器連携システムの構成の一例を示す図である。なお、図22の例は、携帯端末10が所定の動作の一例として「振る」動作の検知し、送信先が指定されていない場合に、通信する機器(ここでは機器の一例としてプロジェクタ20を例に説明する)に対して所定の音(例えば、接続情報音)を出力させるための要求音を出力すると、要求音に応じて機器から出力された所定の音に基づき機器と通信する例である。
図22(A)は、携帯端末10のデータ処理手段41が有する各手段を示し、図22(B)は、プロジェクタ20の機能ブロックを示す。
図22(A)に示すように、携帯端末10のデータ処理手段41は、音制御手段53と、音収集手段54と、音出力手段55と、音解析手段56と、音生成手段57と、音要求手段58とを有するように構成される。なお、上述した図16に示す機能構成と、図22に示す機能構成とを比較すると、図22(A)のデータ処理手段41に、音生成手段57と、音要求手段58とを有する点で異なり、ここでは異なる点のみ説明する。
音制御手段53は、音要求手段58からの指示を受けると、上述した要求音を音生成手段57に生成させ、音生成手段57により生成された要求音を音出力手段55により所定時間出力するように制御する。また、音制御手段53は、音出力手段55からプロジェクタ20に対する要求音が出力された後、規定時間以内にプロジェクタ20から接続情報音の出力がないと判断した場合、規定回数分、要求音を出力するよう音生成手段57を制御する。
音生成手段57は、音制御手段53からの指示を受け、上述した要求音を生成する。ここで、要求音は、例えばプロジェクタ20から出力される接続情報音と重ならない周波数帯域の音で生成すると良い。
音要求手段58は、例えばユーザによるプロジェクタ20を検索するための検索開始指示を、タッチパネルディスプレイ17を介して取得すると、上述した要求音(合図音)を生成するよう、音制御手段53に指示する。
図22(B)に示すように、プロジェクタ20は、入力手段60と、出力手段61と、音制御手段62と、音出力手段63と、通信手段64と、制御手段65と、音生成手段66と、音収集手段67と、音解析手段68と、音生成指示手段69とを有するように構成される。なお、図16(B)に示す機能ブロックとは、音収集手段67と、音解析手段68と、音生成指示手段69とを有する点で異なり、異なる点を中心に説明する。
音制御手段62は、音収集手段67により音データを取得すると、音解析手段68の解析により携帯端末10からの要求音を検知したか否か判断する。また、音制御手段62は、携帯端末10からの要求音を検知したと判断した場合には、音生成指示手段69にその旨を通知する。
また、音制御手段62は、音生成指示手段69からの指示を受けると、音生成手段66に接続情報音を生成させる。なお、音制御手段62は、携帯端末10から取得した要求音の音量に応じて接続情報音の音量を可変するよう音生成手段66を制御しても良い。
音収集手段67は、携帯端末10からの要求音を収集する。
音解析手段68は、音制御手段62からの指示により、音収集手段67から取得した音データを解析して、携帯端末10からの要求音を検知する。
音生成指示手段69は、例えば携帯端末10からの要求音を検知すると、接続情報音を出力するよう音制御手段62を制御する。なお、音生成指示手段69は、ユーザによる入力手段60からの入力、システム起動等を検知する他、例えば赤外線、超音波、可視光センサ等を用いて、携帯端末10を検知した場合に、接続情報音を出力するよう音制御手段62を制御しても良い。
上述した構成により、携帯端末10がプロジェクタ20に要求音を出力し、プロジェクタ20はその要求音を取得すると、接続情報音を出力するため、常に接続情報音を出力する必要がなく、例えば省エネを図ることが可能となる。
<音生成指示手段を設けた機器の処理シーケンス>
図23は、音生成指示手段を設けた機器の処理シーケンスの一例を示す図である。なお、図23の例は、プロジェクタ20における音生成指示手段69と、音制御手段62と、音収集手段67と、音解析手段68と、音生成手段66と、通信手段64と、音出力手段63とによって実行される処理シーケンスの一例を示す。
上述した図17に示す処理と比較して、プロジェクタ20の音生成指示手段69の指示により、携帯端末10から出力された要求音を取得するまでの処理が異なる。図23に示すS117〜S120の処理については、図17に示すS70〜S73の処理と同様であるため、説明を省略する。
図23に示すように、例えばシステムが起動すると、プロジェクタ20の音生成指示手段69は、音制御手段62に音の聞き取りを開始するよう指示し(S110)、音制御手段62は、音収集手段67に音の聞き取り開始指示を出力する(S111)。
音収集手段67は、例えば収集した音を音データに変換して音解析手段68に出力(S112)し、音解析手段68は、音収集手段67から取得した音データを解析する(S113)。音解析手段68は、携帯端末10から要求音を取得すると、音制御手段62に要求音を取得した旨を通知し(S114)、音制御手段62は、音生成指示手段69に要求音を取得した旨を通知する(S115)。
音生成指示手段69は、要求音を取得した旨の通知を受けて、音制御手段62に接続情報音の生成を依頼する(S116)。なお、音収集手段67のS112の処理と音解析手段68のS113の処理は、音解析手段68が携帯端末10から要求音を取得するまでループする。
<音要求手段を設けた携帯端末の処理シーケンス>
図24は、音要求手段を設けた携帯端末の処理シーケンスの一例を示す図である。なお、図24の例は、携帯端末10におけるタッチパネルディスプレイ17と、音要求手段58と、音制御手段53と、音生成手段57と、音出力手段55と、音収集手段54と、音解析手段56と、通信手段42とによって実行される処理シーケンスの一例を示す。
上述した図18に示す処理と比較して、プロジェクタ20の接続情報音を要求する要求音を出力するまでの処理が異なる。図18に示すS125〜S128の処理は、図18に示すS81〜S84の処理と同様であるため、説明を省略する。
例えば、ユーザが携帯端末10のタッチパネルディスプレイ17に対してプロジェクタ20を検索するための検索開始指示を入力すると、タッチパネルディスプレイ17から音要求手段58に要求音の生成を依頼し(S121)、音要求手段58は、音制御手段53に要求音の生成を指示する(S122)。
音制御手段53は、要求音を生成するよう音生成手段57を制御すると(S123)、音生成手段57が、要求音を生成し(S124)、音出力手段55は、要求音を出力する。
<音要求手段を設けた携帯端末の処理の流れ>
図25は、音要求手段を設けた携帯端末の処理の流れを示すフローチャートである。図25の例では、例えば一時的な雑音の影響等により、携帯端末10から出力される要求音をプロジェクタ20が取得できず、接続情報音を出力しない場合に、再度、携帯端末10が要求音を出力して、プロジェクタ20の要求音の取得失敗をリカバリーする。
具体的には、図25に示すように、携帯端末10は、音要求手段58の要求により音生成手段57が作成した要求音を音出力手段55により出力すると(S130)、音制御手段53は、要求音出力回数をプラス1(+1)としてカウントする(S131)。
次に、音収集手段54は、プロジェクタ20から出力される接続情報音の聞き取りを開始し(S132)、音制御手段53は、S130の処理により要求音を出力してから規定時間以内か否か判断する(S133)。
音制御手段53は、要求音を出力してから規定時間以内と判断した場合(S133において、YES)、音解析手段56により音データを解析し(S134)、接続情報音を検知したか判断する(S135)。
音制御手段53は、要求音を出力してから規定時間以内ではないと判断した場合(S133において、NO)、要求音出力回数が規定値以内か否か判断する(S140)。音制御手段53は、要求音出力回数が規定値以内と判断した場合(S140において、YES)、S130の処理に戻る。また、音制御手段53は、規定値以内ではないと判断した場合(S140において、NO)、処理を終了する。
また、音制御手段53は、音解析手段56により接続情報音を検知していないと判断した場合(S135において、NO)、S133の処理を続ける。一方、音制御手段53は、音解析手段56により接続情報音を検知したと判断した場合(S135において、YES)、接続情報音に含まれる接続情報を取得する(S136)。
音収集手段54は、聞き取りを終了し(S137)、通信手段42が接続情報を用いてネットワーク経由でプロジェクタ20に接続する(S138)。
通信手段42は、プロジェクタ20と接続成功か否か判断し(S139)、接続成功と判断した場合(S139において、YES)、処理を終了する。なお、通信手段42は、接続成功と判断しなかった場合(S139において、NO)、S140の処理に戻る。
上述したように、携帯端末10の音制御手段53は、要求音の出力回数を記録しておき、要求音が出力された後、規定時間以内にプロジェクタ20から接続情報音の出力がないと判断した場合には、規定回数分、要求音を出力するように音生成手段57を制御する。
なお、音制御手段53は、S140の処理で要求音の出力回数が規定値を超えた場合に、要求音の音量を調整し、更に音量を上げてからS130の処理に続けても良い。また、音制御手段53は、音収集手段54による聞き取りを制御し、雑音を収集し、収集した雑音やプロジェクタ20までの距離等に応じて音量を調整し、要求音を再出力しても良い。
また、プロジェクタ20の音制御手段69は、携帯端末10からの要求音を取得した後、所定時間内に携帯端末10からの接続がない場合に、接続情報音の音量を調整し、再度出力するように制御することで、携帯端末10の接続情報音の取得失敗や接続の失敗をリカバリーしても良い。
<音生成指示手段を設けた機器の処理の流れ>
図26は、音生成指示手段を設けた機器の処理の流れを示すフローチャートである。図26に示すように、プロジェクタ20は、例えばシステムが起動すると、音生成指示手段69による聞き取り開始指示により、音収集手段67が聞き取りを開始し(S141)、サブ処理を実行する(S142)。
S142のサブ処理では、音制御手段62は、音解析手段68により聞き取った音を解析し(S143)、要求音を検知したか否か判断する(S144)。音制御手段62は、要求音を検知していないと判断した場合(S144において、NO)、S143の処理に戻る。
また、音制御手段62は、要求音を検知したと判断した場合(S144において、YES)、音生成手段66により接続情報音を生成し(S145)、音出力手段63により接続情報音を出力し(S146)、処理を終了する。
なお、プロジェクタ20は、S142のサブ処理において、複数の携帯端末10から要求音が出力されることを想定し、繰り返し要求音の聞き取りを続けると良い。
<接続情報音が出力されるタイミングの例>
図27は、接続情報音が出力されるタイミングについて説明するための図である。図27の例では、携帯端末10が所定の動作の一例として「振る」動作を検知し、送信先が指定されていない場合に、接続情報音によって機器(ここでは機器の一例としてプロジェクタ20を例に説明する)と接続するときの、音生成指示手段69の指示により接続情報音が出力されるタイミングについて説明する。
図27(A)は、接続情報音が出力されるタイミングを、プロジェクタ20の入力手段60からのユーザの入力指示とする場合である。図27(A)の例では、例えば図17のS70の処理の前に、プロジェクタ20の音生成指示手段69が、入力手段60からのユーザの入力指示を検知すると、音制御手段62に接続情報音の作成を指示する。
図27(B)は、システム動作中は、プロジェクタ20から常時、接続情報音が出力され続ける場合を示している。図27(B)の例では、プロジェクタ20の音生成指示手段69が、システムの起動を検知すると、音制御手段62に接続情報音の作成を指示する。
<他の構成を設けた場合>
図28は、機器連携システムに他の構成を設けた例を示す図である。図28(A)は、機器連携システム1に、他の構成として接続情報変換手段110を設けた図を示している。
上述したように、携帯端末10は、プロジェクタ20から出力された接続情報音に含まれるIPアドレス等の接続情報を取得してプロジェクタ20に接続する。
これに対し、図28(A)の例では、接続情報変換手段110にプロジェクタ20に固有の識別情報(プロジェクタID)とプロジェクタ20に接続するための接続情報(IPアドレス等)とを予め紐付けて登録しておく。なお、プロジェクタ20に固有のプロジェクタIDは、例えば二桁の数字等で、プロジェクタ20を一意に見分けられるものであれば良い。
図28(A)に示すように、プロジェクタ20は、固有のプロジェクタIDを音に埋め込んだ識別情報音(プロジェクタID音)を出力すると、携帯端末10が音収集手段54によりプロジェクタID音を取得し、音解析手段56によりプロジェクタID音を解析して、プロジェクタ20に固有のプロジェクタIDを取得する。
ここで、携帯端末10は、通信手段42により、接続情報変換手段110に無線又は有線のネットワークを介して取得したプロジェクタIDを送信し、接続情報変換手段110からプロジェクタIDに紐付けられたプロジェクタ20の接続情報を受信する。また、携帯端末10は、通信手段42により、取得した接続情報を用いてネットワーク経由でプロジェクタ20に接続する。
上述したように、例えばIPアドレス等の接続情報よりも情報量が少ないプロジェクタIDを用いることで、携帯端末10における音解析処理時間の短縮と確実性を向上させることが可能となる。
図28(B)は、機器連携システム1に、他の構成として音解析手段120を設けた図を示している。
上述したように、携帯端末10は、音解析手段56により、プロジェクタ20から出力された接続情報音を解析し、接続情報を取得して、プロジェクタ20に接続する。
これに対し、図28(B)の例では、携帯端末10は、プロジェクタ20から出力された接続情報音を音収集手段54により収集する。また、携帯端末10は、通信手段42により、音解析手段120に無線又は有線のネットワークを介して収集した接続情報音データを送信する。
ここで、音解析手段120は、上述した音解析手段56と同様の機能を有し、携帯端末10から受信した接続情報音データを解析して接続情報を取り出し、携帯端末10に送信する。携帯端末10は、通信手段42により、音解析手段120からプロジェクタ20の接続情報を受信し、受信した接続情報を用いることで、ネットワークを介してプロジェクタ20と接続することが可能となる。
なお、上述した接続情報変換手段110及び音解析手段120は、例えばサーバやクライアント装置等の情報処理装置によって構成されても良く、例えば他の場所に設置されたクラウドサーバ等によって構成されても良い。
上述したように、本実施形態によれば、簡単な操作で、通信を行う機器と容易に接続することが可能となる。なお、本実施形態では、携帯端末との連携先(出力先)がプロジェクタ等の投影装置やMFP等の画像形成装置の例で説明したが、これには限定されず、例えば他の携帯端末、PC(PersonalComputer)等の情報処理装置や、テレビ、その他の機器としても良い。
また、本実施形態では、ユーザが携帯端末を「振る」動作をトリガーとして、携帯端末と機器とを接続したが、トリガーとなる動作はこれに限定されない。例えば、携帯端末のタッチパネルディスプレイをユーザの指でスライドさせる動作であっても良い。このとき、ユーザが出力させたい機器の方向へ指をスライドさせることで、ユーザの直感的な操作により機器と接続させても良い。
また、本実施形態では、接続対象の機器がプロジェクタか画像形成装置かを「振る」動作の違い(例えば縦振りか横振りか)によって判別することが可能であるが、携帯端末が音声認識機能を備えていれば、音声認識により判別することが可能である。
例えば、ユーザが接続対象となる機器の種類(例えば「プロジェクタ」か「プリンタ」)をマイクに向かって発声して、携帯端末を「振る」動作を行うことで、音声認識機能がユーザの発声音を解析して機器の種類を判別し、判別した種類の機器を対象にして機器との接続を行うことが可能である。
例えば、複数種類の機器が検索に応答した時も、携帯端末は応答により取得した機器情報に基づいて判別した種類の機器のみを対象に音接続処理を行うことが可能である。
また、携帯端末は、機器に応じたデータ形式への変換処理を実行しても良い。接続対象の機器が画像形成装置であれば印刷データへ変換し、プロジェクタであれば投影データへ変換した上で接続対象の機器にデータを送信するようにしても良い。
以上、開示の技術の好ましい実施形態について詳述したが、開示の技術に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された開示の技術の要旨の範囲内において、種々の変形、変更が可能である。