JP5949234B2 - サーバ、クライアント端末、およびプログラム - Google Patents

Description

本開示は、サーバ、クライアント端末、およびプログラムに関する。

通常、デジタルカメラやビデオカメラ等の撮像装置においてズーム操作がなされると、望遠機能により遠方に焦点を合わせた画像が撮像される。一方、近年、ズーム位置に応じて目的音を強調するズーム収音技術が提案されている。

例えば、下記特許文献１では、ズーム位置に応じて望遠時に遠方からの目的音を収音するズームマイクロホン装置が開示されている。また、下記特許文献２には、再生時に音声のズームを変更できるマルチチャンネル収音装置が開示されている。

特開２００２−２０４４９３号公報 特開２００６−３３９９９１号公報

しかしながら上述したいずれのズーム収音技術も、単体のマイクロフォンにより実空間において実際に収音した音波に対して雑音抑圧やゲイン制御を行うものであって、ズーム範囲には限界があった。また、上記各特許文献では、音以外に、ズーム位置に応じた触覚（力覚）や匂いを出力することについては考慮されていなかった。

これに対し、どこまでも遠方の音や力覚、匂い等の感覚への刺激をズーム操作に応じて出力することができれば、ユーザは容易に仮想的な世界旅行を体感することができる。

そこで、本開示では、クライアント端末が向いている方向に仮想的に体感ズームし続けることが可能な、新規かつ改良されたサーバ、クライアント端末、およびプログラムを提案する。

本開示によれば、クライアント端末から、前記クライアント端末の位置を示す現在位置情報、および向きを示す方向情報を受信する受信部と、前記クライアント端末の位置から前記方向情報で示される方向に伸びる軸線付近の位置に相当する検知位置情報が付加された感覚データを検索する検索部と、前記検索部により検索された前記感覚データを、前記クライアント端末に送信する送信部と、を備えるサーバを提案する。

本開示によれば、クライアント端末の位置を示す現在位置情報、および向きを示す方向情報を送信する送信部と、前記クライアント端末の位置から前記方向情報で示される方向に伸びる軸線付近の位置に相当する検知位置情報が付加された感覚データを受信する受信部と、前記受信部により受信した前記感覚データを出力するよう制御する出力制御部と、
を備えるクライアント端末を提案する。

本開示によれば、コンピュータに、クライアント端末の位置を示す現在位置情報、および向きを示す方向情報を送信する送信部と、前記クライアント端末の位置から前記方向情報で示される方向に伸びる軸線付近の位置に相当する検知位置情報が付加された感覚データを受信する受信部と、前記受信部により受信した前記感覚データを出力するよう制御する出力制御部と、として機能させるためのプログラムを提案する。

以上説明したように本開示によれば、クライアント端末が向いている方向に仮想的に体感ズームし続けることが可能となる。

本開示の一実施形態による無限ズームシステムの概要を説明するための図である。 本実施形態によるサーバの構成を示すブロック図である。 オーディオデータＤＢに格納されるデータの一例を示す図である。 本実施形態によるオーディオデータの検索方法を説明するための図である。 本実施形態によるクライアント端末の外観を説明するための図である。 本実施形態によるクライアント端末の構成を示すブロック図である。 ズーム速度に応じたオーディオデータの出力制御について説明するための図である。 本実施形態によるズームシステムの動作処理を示すフローチャートである。 本実施形態による無限ズームシステムの他の動作処理を示すフローチャートである。 本実施形態によるズーム操作画面の他の例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による無限ズームシステムの概要
２．基本構成
２−１．サーバ
２−２．クライアント端末
３．動作処理
４．補足
５．まとめ

＜１．本開示の一実施形態による無限ズームシステムの概要＞
まず、本開示の一実施形態による無限ズームシステムの概要について図１を参照して説明する。図１に示すように、本開示の一実施形態による無限ズームシステムは、サーバ１およびクライアント端末２を有する。サーバ１およびクライアント端末２は、ネットワーク３を介して接続することが可能である。

ここで、上述したように、ズーム位置に応じて目的音を強調するズーム収音技術は、単体のマイクロフォンにより実空間において実際に収音した音波に対して雑音抑圧やゲイン制御を行うものであって、ズーム範囲（ズーム距離）に限界があった。また、ズーム位置に応じた触覚（力覚）や匂いを出力することについては何ら考慮されていなかった。

そこで、本開示の一実施形態によれば、どこまでも遠方の音や力覚、匂い等の感覚への刺激をズーム操作に応じて出力することで、ユーザに仮想的な世界旅行を体感させることが可能となる。

例えば、ユーザがクライアント端末２をズームしたい方向に向けて音ズームの操作を行うと、クライアント端末２は、図１に示すように、現在位置情報、方向情報、およびズーム距離をサーバ１に送信し、サーバ１に対してオーディオデータの要求を行う。次いで、サーバ１は、クライアント端末２から受信した情報に基づいて、ズーム位置に応じたオーディオデータを検索し、検索したオーディオデータをクライアント端末２に送信する。そして、クライアント端末２は、受信したオーディオデータをスピーカーから再生（出力）し、ズーム位置の音をユーザに提供することができる。

これにより、例えば、予め世界中で収音されたオーディオデータをサーバ１が検索できるようにすることで、クライアント端末２を向けた方向に仮想的に無限にズームし続けることができる。例えば図１に示すように、ズーム位置に応じた街の音Ｓ１が出力されている場合にズームイン操作を行うと、街の向こうにある海までズーム距離が伸びて、ユーザは海の音Ｓ３を聴くことができる。そして、ユーザがさらにズームイン操作を続けると、海の向こうまでズーム距離が伸びて、ユーザは海外の音Ｓ５を聴くことができる。

このように略水平方向の前方へ仮想的にズームし続けることで、最終的にはズーム位置が地球を一周し、ユーザは世界中の音を聴いて仮想的な世界旅行を体感することができる。また、クライアント端末２が実際に向いている方向にズームすることで、ユーザはズーム位置の方向を直感的に把握することができる。

以上、本開示の一実施形態における無限ズームシステムの概要について説明した。続いて、無限ズームシステムに含まれるサーバ１およびクライアント端末２の構成について詳細に説明する。

なお、図１では、クライアント端末２としてスマートフォンを図示しているが、本実施形態によるクライアント端末２はこれに限定されず、例えばデジタルカメラ、ビデオカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器、望遠鏡、双眼鏡等であってもよい。

＜２．基本構成＞
［２−１．サーバ］
図２は、本実施形態によるサーバ１の構成を示すブロック図である。図２に示すように、サーバ１は、ＣＰＵ１０、ＲＯＭ１１、ＲＡＭ１２、オーディオデータＤＢ（データベース）１３、検索部１４、およびネットワークインターフェース（Ｉ／Ｆ）１５を有する。以下、各構成について説明する。

（オーディオデータＤＢ１３）
オーディオデータＤＢ１３は、収音位置情報等が付加されたオーディオデータを記憶する記憶部である。ここで、オーディオデータＤＢ１３が記憶するデータの一例を図３に示す。

図３に示すように、本実施形態によるオーディオデータＤＢ１３は、各オーディオデータＳ１〜Ｓ３を、収音位置情報Ｐ１〜Ｐ３、分類情報Ｃ１〜Ｃ３、および収音者情報Ｍ１〜Ｍ３と対応付けた状態で記憶する。収音位置情報Ｐは、オーディオデータが収音（検知）された位置（例えば経度、緯度、高度）を示す検知位置情報である。分類情報Ｃは、オーディオデータの分類（例えば街、海、山、観光地、有名スポット等）を示す情報である。収音者情報Ｍは、オーディオデータを収音（取得）した者を示す取得者情報である。

なお、各オーディオデータＳには、図３に示す各情報の他、収音日時や、収音時の天候等の情報が対応付けられていてもよい。

（検索部１４）
検索部１４は、クライアント端末２から受信するクライアント端末２の現在位置情報、方向情報、およびズーム距離情報に基づき、オーディオデータＤＢ１３に格納されているオーディオデータの中から、ズーム位置に対応するオーディオデータを検索する。なお、現在位置情報はクライアント端末２の現在位置（緯度、経度、高度）を示す情報、方向情報はクライアント端末２の向き（向いている方向）を示す情報、ズーム距離情報はクライアント端末２の位置からズーム位置までの距離を示す情報である。ここで、本実施形態による検索部１４の検索方法について図４を参照して具体的に説明する。

図４は、本実施形態によるオーディオデータの検索方法を説明するための図である。図４に示すように、検索部１４は、クライアント端末２の現在位置Ａと、各オーディオデータの収音位置Ｐ１〜Ｐ６の位置関係を認識する。また、検索部１４は、現在位置Ａから方向情報で示される方向Ｄに伸びる軸線Ｌを認識する。さらに、検索部１４は、軸線Ｌ上であって、現在位置Ａから、ズーム距離情報で示されるズーム距離Ｆの位置をズーム位置Ｇとして認識する。この場合、検索部１４は、ズーム位置Ｇ付近に位置する収音位置Ｐ３のオーディオデータを検索結果として出力する。

また、検索部１４は、軸線Ｌ付近であって、現在位置Ａからズーム距離Ｆ内（現在位置Ａとズーム位置Ｇの間）に位置する収音位置Ｐ１のオーディオデータも検索結果として出力してもよい。

なお、本実施形態による検索部１４は、さらにクライアント端末２の仰角、収音位置の現在日時、または収音位置の現在の天候等の情報を取得した場合、これらの情報も考慮して、現在の状況により近い状態で収音されたオーディオデータを検索してもよい。これにより、ユーザは、リアルタイムで世界旅行をしているような体感を得ることができる。

（ネットワークＩ／Ｆ１５）
ネットワークＩ／Ｆ１５は、ネットワーク３を通じてクライアント端末２との間でデータの送受信を行うための通信モジュールである。例えば、本実施形態によるネットワークＩ／Ｆ１５は、位置情報、方向情報、およびズーム距離情報を受信したり、検索部１４により検索された１以上のオーディオデータを送信したりする。

（ＣＰＵ１０、ＲＯＭ１１、およびＲＡＭ１２）
ＲＯＭ１１には、上述した検索部１４によるオーディオデータの検索や、検索したオーディオデータをクライアント端末２にネットワークＩ／Ｆ１５により送信するためのソフトウェアプログラム等が記憶されている。また、ＣＰＵ１０は、ＲＯＭ１１に記憶されている上記ソフトウェアプログラムにしたがって、ＲＡＭ１２をワークエリアとして用いて処理を実行する。

以上、本実施形態によるサーバ１の構成について詳細に説明した。続いて、本実施形態によるクライアント端末２の構成について図５および図６を参照して説明する。

［２−２．クライアント端末］
（外観構成）
図５は、本実施形態によるクライアント端末２の外観を説明するための図である。図５に示すように、クライアント端末２は、前面に表示部３１およびスピーカー２５が設けられる。なお、表示部３１は、操作入力部２６の機能を兼ねたタッチパネルディスプレイであってもよい。

また、表示部３１には、ユーザによるズーム操作を受け付けるための操作画面が表示される。例えば、図５に示すように、ズームイン操作を行うためのＴ（テレ）ボタン２６１およびズームアウト操作を行うためのＷ（ワイド）ボタン２６３が表示される。

また、本実施形態において、クライアント端末２の向きとは、図５に示すように、クライアント端末２の表示部３１が設けられている面から対向する面へ向かう方向Ｄとする。なお、図５で定義する方向Ｄは、クライアント端末２の向きの一例であって、クライアント端末２の他の面（部位）が向いている方向としてもよい。

（内部構成）
図６は、本実施形態によるクライアント端末２の構成を示すブロック図である。図６に示すように、クライアント端末２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２、方向センサ２３、ＧＰＳ測位部２４、スピーカー２５、操作入力部２６、オーディオデータメモリ２９、表示制御部３０、表示部３１、およびネットワークインターフェース（Ｉ／Ｆ）３２を有する。以下、各構成について説明する。

・方向センサ
方向センサ２３は、クライアント端末２の向きを検知し、検知した向きを示す方向情報を出力する。より具体的には、図５に示したように、クライアント端末２の表示部３１が設けられている面から対向する面へ向かう方向を、クライアント端末２の向きとして検知する。なお、上述したように、本実施形態はこれに限定されず、例えば方向センサ２３は、クライアント端末２の他の面や特定の部位が向いている方向を方向情報として出力してもよい。

・ＧＰＳ測位部
ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）測位部２４は、ＧＰＳ衛星からの電波を受信して、クライアント端末２が存在している位置を検知し、検知した現在位置情報（緯度、経度、高度）を出力する。なお、ＧＰＳ測位部２４は、外部からの取得信号に基づいてクライアント端末２の現在位置を検知する位置情報取得部の一例である。クライアント端末２は、ＧＰＳ測位部２４の他、例えばＷｉＦｉ、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により現在位置を検知する位置情報取得部を有してもよい。

・操作入力部
操作入力部２６は、ユーザによる各種操作入力を検出する機能を有する。操作入力部２６は、ボタン、スイッチ、ダイヤル等の物理的なキー群や、表示画面に対するユーザ操作入力を検出するタッチパネル等により実現される。本実施形態による操作入力部２６は、ユーザによるズーム操作入力を検出し、ＣＰＵ２０に出力する。

・スピーカー
スピーカー２５は、ＤＡＣ（デジタルアナログコンバータ）、アンプ（増幅回路）等を有し、オーディオデータに基づいて音を出力（再生）する機能を有する。本実施形態によるスピーカー２５は、ＣＰＵ２０による出力制御にしたがって、ズーム位置に応じた音を再生することができる。

・表示制御部
表示制御部３０は、ＲＯＭ２１のプログラムに基づくＣＰＵ２０による制御にしたがって、表示部３１に表示する表示画面の内容を制御する機能を有する。本実施形態による表示制御部３０は、例えばズーム操作を入力するための操作画面を表示するよう制御する。

・表示部
表示部３１は、表示制御部３０の制御に従って、メニュー画面、各種操作画面等を表示する。表示部３１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などにより実現される。

・ネットワークＩ／Ｆ
ネットワークＩ／Ｆ３２は、ネットワーク３を通じてサーバ１との間でデータの送受信を行なうための通信モジュールである。例えばネットワークＩ／Ｆ３２は、ＧＰＳ測位部２４から出力された現在位置情報、方向センサ２３から出力された方向情報、およびＣＰＵ２０から出力されるズーム距離情報を送信したり、サーバ１により検索されたオーディオデータを受信したりする。

・オーディオデータメモリ
オーディオデータメモリ２９は、例えば、カード型メモリなどのフラッシュメモリが用いられてもよいし、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録媒体であってもよい。さらには、オーディオデータメモリ２９は、このようなリムーバルなメモリ媒体ではなく、ハードディスク装置であってもよい。

また、オーディオデータメモリ２９は、サーバ１から受信するオーディオデータを記憶する。また、オーディオデータメモリ２９は、サーバ１から受信するオーディオデータに付加されている収音位置情報、分類情報、および収音者情報等も併せて記憶してもよい。

・ＣＰＵ
ＣＰＵ２０は、クライアント端末２の各構成を制御する制御部である。また、本実施形態によるＣＰＵ２０は、操作入力部２６により検出されたズーム操作に基づいてズーム距離を判断する。例えばＣＰＵ２０は、Ｔボタン２６１やＷボタン２６３の押圧時間や押圧の強さに応じてズーム距離を算出してもよいし、ユーザが任意で入力した距離をズーム距離としてもよい。なお、本明細書においてズーム距離とは、クライアント端末２の位置からズーム位置（目的音の音源（検知）位置）までの距離を示す。

また、ＣＰＵ２０は、ＧＰＳ測位部２４から出力される現在位置情報、方向センサ２３から出力される方向情報、およびズーム距離を示すズーム距離情報をネットワークＩ／Ｆ３２からサーバ１に送信するよう制御する。

さらに、ＣＰＵ２０は、サーバ１から受信したズーム位置に応じたオーディオデータをスピーカー２５から出力するよう制御する出力制御部として機能する。出力制御部は、例えばズーム位置とオーディオデータの収音位置との相対関係に基づいて、オーディオデータを加工して出力するよう制御してもよい。より具体的には、出力制御部は、オーディオデータの収音位置がズーム位置に近い程、当該オーディオデータの音量を大きくするよう制御する。

また、出力制御部は、上記相対関係に基づいて加工した複数のオーディオデータを合成して出力するよう制御してもよい。例えば、出力制御部は、ズーム位置から遠い収音位置のオーディオデータを、ズーム位置に近い収音位置のオーディオデータより抑圧して出力するよう制御してもよい。

さらに、出力制御部は、ズーム速度に応じてオーディオデータの音量、ピッチ、または再生スピードを制御してもよい。ここで、図７を用いて、ズーム速度に応じたオーディオデータの出力制御について説明する。

図７に示すように、クライアント端末２の現在位置Ａからズーム位置Ｇ付近に位置する収音位置Ｐ３のオーディオデータＳ３を出力する場合、出力制御部は、ズーム速度ｖに応じてオーディオデータＳ３の音量、ピッチ、または再生スピードを制御する。これにより、ユーザは、実際にズーム位置（音源）にユーザ自身が近づいているような体感を得ることができる。

例えば、出力制御部は、収音位置Ｐ３を仮想音源とし、仮想音源からの音波の速さＶおよびズーム速度ｖに基づいてオーディオデータＳ３のピッチを制御することにより、ドップラー効果を模擬することが可能である。

さらに、サーバ１の検索部１４により現在位置Ａとズーム位置Ｇの間に位置する収音位置Ｐ１のオーディオデータＳ１も検索結果として出力され、サーバ１から送信された場合、出力制御部は、オーディオデータＳ１に対しても同様の出力制御を行ってもよい。例えば、出力制御部は、ユーザのズーム操作に応じて、図７に示すように、まず現在位置Ａに近い収音位置Ｐ１のオーディオデータＳ１を再生する（音量、ピッチ、または再生スピードを徐々に上げて再生してもよい）。次に、出力制御部は、オーディオデータＳ１を抑圧し、収音位置Ｐ３のオーディオデータＳ３を再生する（音量、ピッチ、または再生スピードを徐々に上げて再生してもよい）。

・ＲＯＭおよびＲＡＭ
ＲＯＭ２１には、ユーザによるズーム操作に応じてサーバ１に現在位置情報、方向情報、およびズーム距離情報を送信し、サーバ１からズーム位置に応じたオーディオデータを取得してスピーカー２５から出力する制御を行うためのプログラムなどが記憶されている。また、ＲＡＭ２２は、ＲＯＭ２１に記憶されているプログラムをＣＰＵ２０が実行する際にワークエリアとして用いられる。

以上、本開示の一実施形態によるクライアント端末２の構成について詳細に説明した。次に、本実施形態による無限ズームシステムの動作処理について図８を参照して説明する。

＜３．動作処理＞
図８は、本実施形態による無限ズームシステムの動作処理を示すフローチャートである。図８に示すように、まず、ステップＳ１００において、クライアント端末２のＣＰＵ２０は、操作入力部２６によりズーム操作が検出されたか否かを判断する。

次に、ズーム操作が検出された場合（Ｓ１００／Ｙｅｓ）、ステップＳ１０３において、ＣＰＵ２０は、クライアント端末２の現在位置情報、方向情報、およびズーム距離情報を取得する。

次いで、ステップＳ１０６において、クライアント端末２は、現在位置情報、方向情報およびズーム距離情報をサーバ１に送信する。

次に、ステップＳ１０９において、サーバ１の検索部１４は、クライアント端末２から受信した情報に基づいて、ズーム位置に応じたオーディオデータを検索する。

次いで、ステップＳ１１２において、サーバ１は、検索した１以上のオーディオデータをクライアント端末２に送信する。

次に、ステップＳ１１５において、クライアント端末２のＣＰＵ２０（出力制御部）は、受信したオーディオデータをスピーカー２５から再生（出力）するよう制御する。

以上、本実施形態による動作処理について説明した。続いて、本実施形態の補足について説明する。

＜４．補足＞
［４−１．位置および方向に基づく検索］
上記実施形態では、ズーム操作に応じて、クライアント端末２からサーバ１に現在位置情報、方向情報、およびズーム距離情報を送信してオーディオデータを要求しているが、本開示による無限ズームシステムの動作処理はこれに限定されない。例えば、クライアント端末がマイクロフォン（以下、マイクと称す）を有する場合、ズーム操作に応じてマイクで収音したオーディオデータを再生している間に、現在位置情報、および方向情報をサーバ１に送信して遠方のオーディオデータを要求してもよい。以下、図９を参照して具体的に説明する。なお、ここでは、上記実施形態において図６を参照して説明したクライアント端末２の構成に加えて、さらにマイクを有するクライアント端末２’（不図示）を用いて説明する。

図９は、本実施形態による無限ズームシステムの他の動作処理を示すフローチャートである。図９に示すように、まず、ステップＳ１２０において、クライアント端末２’のＣＰＵ２０は、操作入力部２６によりズーム操作が検出されたか否かを判断する。

次いで、ズーム操作が検出された場合（Ｓ１２０／Ｙｅｓ）、ＣＰＵ２０（出力制御部）は、マイクにより収音されるオーディオデータをズーム操作に応じて加工し、スピーカー２５から再生するよう制御する。具体的には、例えば出力制御部は、ズームイン（望遠）操作に応じてクライアント端末２’が向いている方向の音を強調し、ズームイン方向の音が近づいてくるように再生（出力）制御する。

次に、ステップＳ１２３において、ＣＰＵ２０は、クライアント端末２’の現在位置情報および方向情報を取得する。

次いで、ステップＳ１２６において、クライアント端末２’は、現在位置情報および方向情報をサーバ１に送信する。

次に、ステップＳ１２９において、サーバ１の検索部１４は、クライアント端末２’から受信した情報に基づいて、ズーム位置に応じたオーディオデータを検索する。例えば、オーディオデータＤＢ１３に記憶される各オーディオデータの収音位置とクライアント端末２’の現在位置との相対関係が図４に示すような関係の場合、検索部１４は軸線Ｌ付近に位置する収音位置Ｐ１、Ｐ３、Ｐ５のオーディオデータを検索結果として出力する。

次いで、ステップＳ１３２において、サーバ１は、検索した１以上のオーディオデータをクライアント端末２’に送信する。

なお、サーバ１は、検索した１以上のオーディオデータのうち、クライアント端末２’の現在位置に近い収音位置のオーディオデータから順に送信してもよい。また、上記Ｓ１２３〜Ｓ１３２に示す処理は、ステップＳ１２２に示す処理と並列して行われてもよい。

このようにして、クライアント端末２’は、クライアント端末２’が向いている方向上の遠方のオーディオデータを予め取得することができる。

次いで、ステップＳ１３８において、クライアント端末２’のＣＰＵ２０（出力制御部）は、ズームイン操作が継続して行われ、マイクにより収音したオーディオデータの加工が限界になると、サーバ１から受信した遠方のオーディオデータを再生するよう制御する。また、ＣＰＵ２０（出力制御部）は、サーバ１から複数のオーディオデータを受信した場合、クライアント端末２’の現在位置に近い収音位置のオーディオデータから順に再生するよう制御してもよい。

以上、本実施形態による他の動作処理について説明した。なお、この他、マイクを有していない上記クライアント端末２において、図９に示すステップＳ１２３〜Ｓ１３２を行い、クライアント端末２が向いている方向上の遠方のオーディオデータを予め取得するようにしてもよい。この場合、クライアント端末２は、例えばズームイン操作に応じて、クライアント端末２の現在位置に近い収音位置のオーディオデータから順に再生するよう制御する。

［４−２．分類に応じた選別］
次に、サーバ１から受信したオーディオデータに音の分類を示す分類情報が付加されている場合、ＣＰＵ２０（出力制御部）は、当該分類情報を考慮してオーディオデータを選別した上で再生してもよい。例えば、出力制御部は、分類情報に基づいて有名スポットのオーディオデータのみをズーム操作に応じて順次再生してもよい。

［４−３．収音情報等の表示］
次に、オーディオデータにデータの収音者情報（取得者情報）が付加されている場合、表示制御部３０は、収音者情報を表示部３１に表示するよう制御してもよい。また、表示制御部３０は、収音位置情報に基づいて収音位置を表示するよう制御してもよい。収音位置の表示は、地名であってもよいし、地図上で図示してもよい。また、表示制御部３０は、現在位置から収音位置までのズーム距離やズーム倍率を表示部３１に表示するよう制御してもよい。

また、オーディオデータに収音位置で撮像された画像データ（静止画／動画）が付加されている場合、表示制御部３０は、オーディオデータの再生と共に、画像データを表示部３１に表示するよう制御してもよい。

［４−４．ズーム操作画面の他の例］
上記実施形態において、図５を参照してズーム操作画面の一例を示したが、本実施形態によるズーム操作画面はこれに限定されず、例えばカメラをさらに備えるクライアント端末２’’において、スルー画像と共にズームボタンを表示してもよい。

具体的には、図１０に示すように、クライアント端末２’’の後面に設けられたカメラ３３により撮像されたスルー画像３１１が表示部３１にリアルタイムで表示され、さらにズーム操作画面２６０が表示される。ズーム操作画面２６０には、図１０に示すように、ズームダイヤルボタン２６５が表示される。ユーザは、Ｔ方向にズームダイヤルボタン２６５を回すことでズームイン（望遠）操作、Ｗ方向にズームダイヤルボタン２６５を回すことでズームアウト（広角）操作を行うことができる。これにより、ユーザは、聞きたい音の位置（音源）にカメラ３３を向けてフォーカスを合わせ、ズーム操作を行うことができる。

また、サーバ１から受信したズーム位置に応じたオーディオデータに、収音位置で撮像された画像データが付加されている場合、クライアント端末２’’は、スルー画像３１１を当該画像データに切り替えて表示してもよい。

［４−５．力覚データおよび嗅覚データ］
上記実施形態では、ズーム位置に応じた感覚データの一例としてオーディオデータを用いて説明したが、本実施形態による感覚データは、オーディオデータの他、力覚データや嗅覚データであってもよい。

すなわち、本実施形態によるクライアント端末は、クライアント端末が向けられた方向に仮想的にズームし続け、ズーム位置に応じた力覚データや嗅覚データを出力することができる。これにより、例えば予め世界中で検知された力覚データや嗅覚データをサーバ１が検索できるようにすることで、ユーザは、クライアント端末を向けた方向に仮想的に無限にズームし続け、世界中の触覚や匂いを体感することができる。

なお、力覚データや嗅覚データの具体的な出力方法については、本実施形態では特に限定しないが、例えば以下に示すような方法により実現してもよい。

力覚データの出力方法としては、例えば特開２００２−３６６０２５に開示されている触知ピンや、特開２００６−２４２９８６に開示されている変形可能な形状記憶合金等による力覚デバイスにより、力覚データを出力（触感を再現）してもよい。

また、嗅覚データの出力方法としては、予め収納する匂い成分の放出、または匂い生成用の成分を組み合わせて放出する匂い発生デバイスにより、嗅覚データを出力（匂いを再現）してもよい。

以上、感覚データの他の例として、ズーム位置に応じた力覚データや嗅覚データの出力について説明した。なお、クライアント端末は、ズーム速度に応じて、力覚データや嗅覚データの出力強度を制御してもよい。また、力覚データや嗅覚データの他、本実施形態によるズームシステムでは、扇風機等の送風デバイスを用いることで、ズーム位置の風圧や、ズーム速度に応じた風圧を体感させることも可能である。また、本実施形態による無限ズームシステムでは、ズーム位置に応じた複数種類の感覚データを組み合わせて出力してもよい。

さらに、上述した各デバイス（力覚デバイス、匂い発生デバイス、および送風デバイス）が設けられるクライアント端末は、スマートフォンや携帯端末等の他、例えば自動車であってもよい。具体的には、ズーム位置に応じたオーディオデータを車載スピーカーから再生したり、ユーザの身体に接触する座席やハンドルに力覚デバイスを設けてズーム位置の触覚を再現したり、車載空調装置を用いてズーム位置の風圧や気温を再現したりすることが可能である。

＜５．まとめ＞
上述したように、本実施形態による無限ズームシステムでは、クライアント端末が向いている方向上の感覚データをズーム操作に応じて順次出力することにより、あたかも世界旅行をしているかのような体感を提供することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した実施形態では、クライアント端末２はサーバ１からオーディオデータを取得しているが、本実施形態によるオーディオデータの取得先は特定のサーバに限られない。オーディオデータの取得先は、例えばオーディオデータＤＢ１３および検索部１４の機能を有するインターネット上の不特定多数のサーバやＰＣ（パーソナルコンピュータ）であってもよい。

また、本実施形態によるクライアント端末の構成は図６に示す例に限られない。本実施形態によるクライアント端末は、例えば、図６に示す構成に加えて、さらにオーディオデータＤＢ１３および検索部１４に相当する構成を有してもよい。この場合、本実施形態によるクライアント端末は、ズーム位置に応じた遠方のオーディオデータをローカルで検索することができる。

また、上述した実施形態では、ユーザによるズーム操作に応じてズーム位置が変更しているが、本開示によるズーム位置の変更は自動で行われてもよい。例えば、クライアント端末２は、予め設定された所定のズーム速度で、クライアント端末２が向いている方向に対して自動ズームしてもよい。

また、上述した実施形態では、略水平方向においてクライアント端末が向いている方向上における地上のオーディオデータをズーム操作に応じて順次再生する場合を例に説明したが、本実施形態による無限ズームシステムはこれに限定されない。

例えば、クライアント端末が上方を向いている場合、ズーム操作に応じて、上空で収音されたオーディオデータが再生されてもよい。また、クライアント端末が下方を向いている場合、ズーム操作に応じて、地中（または海中）で収音されたオーディオデータや、地球の反対側で収音されたオーディオデータが再生されてもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
クライアント端末から、前記クライアント端末の位置を示す現在位置情報、および向きを示す方向情報を受信する受信部と、
前記クライアント端末の位置から前記方向情報で示される方向に伸びる軸線付近の位置に相当する検知位置情報が付加された感覚データを検索する検索部と、
前記検索部により検索された前記感覚データを、前記クライアント端末に送信する送信部と、
を備える、サーバ。
（２）
前記受信部は、前記クライアント端末の位置からズーム位置までの距離を示すズーム距離情報をさらに受信し、
前記検索部は、前記クライアント端末の位置から前記方向情報で示される方向に伸びる軸線付近であって、かつ前記クライアント端末の位置から前記ズーム距離情報で示される距離周辺の位置に相当する検知位置情報が付加された感覚データを検索する、前記（１）に記載のサーバ。
（３）
前記感覚データは、前記感覚データに付加された前記検知位置情報で示される位置に設置されたセンサにより検知されたデータである、前記（１）または（２）に記載のサーバ。
（４）
前記感覚データは、オーディオデータ、力覚データ、または嗅覚データの少なくともいずれかである、前記（１）〜（３）のいずれか１項に記載のサーバ。
（５）
前記現在位置情報および前記検知位置情報は、緯度経度情報に加え、さらに高度情報を含む３次元位置情報である、前記（１）〜（４）のいずれか１項に記載のサーバ。
（６）
前記感覚データには、前記感覚データの取得者情報が付加される、前記（１）〜（５）のいずれか１項に記載のサーバ。
（７）
前記感覚データには、前記感覚データの分類情報が付加される、前記（１）〜（６）のいずれか１項に記載のサーバ。
（８）
前記感覚データには、前記感覚データの検知位置で撮像された画像データが付加される、前記（１）〜（７）のいずれか１項に記載のサーバ。
（９）
クライアント端末の位置を示す現在位置情報、および向きを示す方向情報を送信する送信部と、
前記クライアント端末の位置から前記方向情報で示される方向に伸びる軸線付近の位置に相当する検知位置情報が付加された感覚データを受信する受信部と、
前記受信部により受信した前記感覚データを出力するよう制御する出力制御部と、
を備える、クライアント端末。
（１０）
前記送信部は、前記クライアント端末の位置からズーム位置までの距離を示すズーム距離情報をさらに送信し、
前記受信部は、前記クライアント端末の位置から前記方向情報で示される方向に伸びる軸線付近であって、かつ前記クライアント端末の位置から前記ズーム距離情報で示される距離周辺の位置に相当する検知位置情報が付加された感覚データを受信する、前記（９）に記載のクライアント端末。
（１１）
前記出力制御部は、ズーム位置と前記感覚データに付加された前記検知位置情報で示される位置との相対関係に基づいて、前記感覚データを加工して出力するよう制御する、前記（９）または（１０）に記載のクライアント端末。
（１２）
前記出力制御部は、前記受信部により複数の前記感覚データを受信した場合、前記相対関係に基づいて加工した複数の前記感覚データを合成して出力するよう制御する、前記（１１）に記載のクライアント端末。
（１３）
前記感覚データは、オーディオデータであって、
前記出力制御部は、ズーム速度に基づいて、前記オーディオデータのピッチを制御する、前記（９）〜（１２）のいずれか１項に記載のクライアント端末。
（１４）
前記出力制御部は、ドップラー効果を模擬するよう前記オーディオデータのピッチを制御する、前記（１３）に記載のクライアント端末。
（１５）
前記感覚データは、オーディオデータであって、
前記出力制御部は、ズーム速度に基づいて、前記オーディオデータの再生スピードを制御する、前記（９）〜（１４）のいずれか１項に記載のクライアント端末。
（１６）
前記感覚データは、力覚データまたは嗅覚データであって、
前記出力制御部は、ズーム速度に基づいて、前記力覚データ、嗅覚データの出力強度を制御する、前記（９）〜（１５）のいずれか１項に記載のクライアント端末。
（１７）
ズーム位置は、前記方向情報で示される方向に所定の速度で自動的に変化する、前記（９）〜（１６）のいずれか１項に記載のクライアント端末。
（１８）
前記クライアント端末は、操作入力部をさらに備え、
ズーム位置は、前記操作入力部により検出されたユーザによるズーム操作に応じて変化する、前記（９）〜（１６）のいずれか１項に記載のクライアント端末。
（１９）
コンピュータに、
クライアント端末の位置を示す現在位置情報、および向きを示す方向情報を送信する送信部と、
前記クライアント端末の位置から前記方向情報で示される方向に伸びる軸線付近の位置に相当する検知位置情報が付加された感覚データを受信する受信部と、
前記受信部により受信した前記感覚データを出力するよう制御する出力制御部と、
として機能させるための、プログラム。

１ サーバ
２ クライアント端末
３ ネットワーク
１３ オーディオデータＤＢ
１４ 検索部
１５、３２ ネットワークインターフェース（Ｉ／Ｆ）
２３ 方向センサ
２４ ＧＰＳ測位部
２５ スピーカー
２６ 操作入力部
３０ 表示制御部
３１ 表示部

Claims (18)

1. クライアント端末から、前記クライアント端末の位置を示す現在位置情報、向きを示す方向情報、および仰角を示す角度情報を受信する受信部と、
   前記クライアント端末の位置から前記方向情報および角度情報に対応する方向に伸びる軸線付近の位置に相当する検知位置情報が付加された感覚データを検索する検索部と、
   前記検索部により検索された前記感覚データを、前記クライアント端末に送信する送信部と、
   を備え、
   前記受信部は、前記クライアント端末の位置から前記軸線上におけるズーム位置までの距離を示すズーム距離情報をさらに受信し、
   前記検索部は、前記軸線付近であって、かつ前記クライアント端末の位置から前記ズーム距離情報で示される距離周辺の位置に相当する検知位置情報が付加された感覚データを検索する、サーバ。
2. 前記感覚データは、前記感覚データに付加された前記検知位置情報で示される位置に設置されたセンサにより検知されたデータである、請求項１に記載のサーバ。
3. 前記感覚データは、オーディオデータ、力覚データ、または嗅覚データの少なくともいずれかである、請求項１に記載のサーバ。
4. 前記現在位置情報および前記検知位置情報は、緯度経度情報に加え、さらに高度情報を含む３次元位置情報である、請求項１に記載のサーバ。
5. 前記感覚データには、前記感覚データの取得者情報が付加される、請求項１に記載のサーバ。
6. 前記感覚データには、前記感覚データの分類情報が付加される、請求項１に記載のサーバ。
7. 前記感覚データには、前記感覚データの検知位置で撮像された画像データが付加される、請求項１に記載のサーバ。
8. 前記検索部は、現在の日時または天候に応じて、検索対象位置の現在の状況により近い状態で取得された感覚データを検索する、請求項１に記載のサーバ。
9. クライアント端末の位置を示す現在位置情報、向きを示す方向情報、および仰角を示す角度情報を送信する送信部と、
   前記クライアント端末の位置から前記方向情報および角度情報に対応する方向に伸びる軸線付近の位置に相当する検知位置情報が付加された感覚データを受信する受信部と、
   前記受信部により受信した前記感覚データを出力するよう制御する出力制御部と、
   を備え、
   前記送信部は、前記クライアント端末の位置から前記軸線上におけるズーム位置までの距離を示すズーム距離情報をさらに送信し、
   前記受信部は、前記軸線付近であって、かつ前記クライアント端末の位置から前記ズーム距離情報で示される距離周辺の位置に相当する検知位置情報が付加された感覚データを受信する、クライアント端末。
10. 前記出力制御部は、前記ズーム位置と前記感覚データに付加された前記検知位置情報で示される位置との相対関係に基づいて、前記感覚データを加工して出力するよう制御する、請求項９に記載のクライアント端末。
11. 前記出力制御部は、前記受信部により複数の前記感覚データを受信した場合、前記相対関係に基づいて加工した複数の前記感覚データを合成して出力するよう制御する、請求項１０に記載のクライアント端末。
12. 前記感覚データは、オーディオデータであって、
    前記出力制御部は、ズーム速度に基づいて、前記オーディオデータのピッチを制御する、請求項９に記載のクライアント端末。
13. 前記出力制御部は、ドップラー効果を模擬するよう前記オーディオデータのピッチを制御する、請求項１２に記載のクライアント端末。
14. 前記感覚データは、オーディオデータであって、
    前記出力制御部は、ズーム速度に基づいて、前記オーディオデータの再生スピードを制御する、請求項９に記載のクライアント端末。
15. 前記感覚データは、力覚データまたは嗅覚データであって、
    前記出力制御部は、ズーム速度に基づいて、前記力覚データ、嗅覚データの出力強度を制御する、請求項９に記載のクライアント端末。
16. 前記ズーム位置は、前記方向情報および角度情報に対応する方向に所定の速度で自動的に変化する、請求項９に記載のクライアント端末。
17. 前記クライアント端末は、操作入力部をさらに備え、
    前記ズーム位置は、前記操作入力部により検出されたユーザによるズーム操作に応じて変化する、請求項９に記載のクライアント端末。
18. コンピュータに、
    クライアント端末の位置を示す現在位置情報、向きを示す方向情報、および仰角を示す角度情報を送信する送信部と、
    前記クライアント端末の位置から前記方向情報および角度情報に対応する方向に伸びる軸線付近の位置に相当する検知位置情報が付加された感覚データを受信する受信部と、
    前記受信部により受信した前記感覚データを出力するよう制御する出力制御部と、
    として機能させ、
    前記送信部は、前記クライアント端末の位置から前記軸線上におけるズーム位置までの距離を示すズーム距離情報をさらに送信し、
    前記受信部は、前記軸線付近であって、かつ前記クライアント端末の位置から前記ズーム距離情報で示される距離周辺の位置に相当する検知位置情報が付加された感覚データを受信する、プログラム。

Images