JP5914952B2 - 認識情報提供システム、認識情報提供端末装置、認識情報提供方法および認識情報提供プログラム - Google Patents

Description

本発明は認識情報提供システム、認識情報提供端末装置、認識情報提供方法および認識情報提供プログラムに関し、特に提供可能な情報の範囲を広げた認識情報提供システム等に関する。

デジタルカメラを内蔵した携帯端末が広く普及し、またデジタルカメラによって撮影された画像データから、その画像データとして撮影された物が何であるかを認識する画像認識技術が普及したことに伴って、このような携帯端末向けに画像認識技術を利用した情報サービスの提供が始まっている。

特許文献１には、そのようなサービスに使用される、画像認識によって認識された物に関連する情報を携帯端末に配信するという技術について記載されている。また特許文献２には、画像認識によって認識された物に関連してその物の担当者と電話などで容易にコンタクトすることを可能とする技術について記載されている。

さらに非特許文献１には、既に実用化されている上記の情報サービスについて記載されている。このサービスでは、（特許文献２にあったように）サーバに画像を転送しなくても、携帯端末単体でそのような画像認識と情報提供が可能なようになっている。

米国特許７０１６５３２号明細書 特許第４２７１７２２号公報

エブリクス・ジャパン（株）、「ＳｈａＬｉｎｋ公式サイト」、［平成２４年２月３日検索］、インターネット＜URL：http://www.evryx.co.jp/＞

近年は特に、携帯端末の中でも特にスマートフォンと呼ばれる高機能な端末の普及が著しい。これとほぼ時期を同じくして、ツイッター（Ｔｗｉｔｔｅｒ、登録商標）やフェイスブック（Ｆａｃｅｂｏｏｋ、登録商標）といったＳＮＳ（Social Network Service）の普及も著しい。

そして、普及が進むことが期待されているのが「インターネットＴＶ」である。これは通常のテレビジョン端末と同等の画面サイズや解像度で、インターネットを経由して配信（ストリーミング）される動画を閲覧できるという装置あるいはサービスである。具体的には米国アップルコンピュータ社の「Ａｐｐｌｅ ＴＶ（登録商標）」などの普及が期待されている。

このように、インターネットによって提供される情報の種類、およびインターネットによる情報提供を受けることのできる装置の種類は、近年ますます拡充されてきている。しかしながら、各々の装置は大きさ、操作性、通信速度、可搬性などがまちまちである。従って、全ての装置が一様に全く同じ情報提供を受けることに適するものではない。

たとえば、スマートフォン（およびその他の携帯端末）は画面が小さく、また特に屋外では十分な通信速度を得られない場合があるので、高画質の動画の再生に適しているとはいえないが、可搬性に優れているのでＳＮＳの利用には適している。逆にインターネットＴＶは大画面を備えており、かつ安定した高速通信が可能であるので、高画質の動画の再生には適しているが、可搬式でないのでＳＮＳの利用に適しているとはいえない。

本発明の目的は、認識情報提供サービスに「スマートフォン」「ＳＮＳ」「インターネットＴＶ」を組み合わせて、各装置の特性に応じてより利便性の高い情報をユーザに提供することを可能とする認識情報提供システム、認識情報提供端末装置、認識情報提供方法および認識情報提供プログラムを提供することにある。

上記目的を達成するため、本発明に係る認識情報提供システムは、ユーザが操作する端末装置と、YouTube（登録商標）に代表される映像ストリーミングデータや様々なウェブページを表示することができるインターネットＴＶ端末とが、相互に接続されて構成される認識情報提供システムであって、前記端末装置が、対象物のデジタル画像や動画を撮影する撮影部と、前記デジタル画像や動画に対して画像認識を行い、その結果を対象物が何であるかを示す認識データとして出力する画像認識部と、前記認識データに対応する第１のＵＲＬおよび第２のＵＲＬを前記端末装置外の情報提供サーバから得る関連情報提供部と、前記第１のＵＲＬに対応するウェブページを予め備えられた入出力手段に表示させるウェブブラウザ部と、ユーザからＵＲＬ転送指令が入力された時に前記第２のＵＲＬを前記インターネットＴＶ端末に送信してこの第２のＵＲＬに対応するウェブページを表示させるＵＲＬ転送部とを有し、前記画像認識部は、前記インターネットＴＶ端末から転送され、前記第２のＵＲＬに対応するウェブページに映し出されたデジタル画像を、前記画像認識の対象とする、ことを特徴とする（請求項１）。

端末装置が、第２のＵＲＬをインターネットＴＶ端末に送信してこれに対応する画面を表示させるという構成を有することによって、ユーザは、同一もしくは連携したサービスを、端末装置とインターネットＴＶ端末との間での装置特性の違いに応じて、適した方の装置を利用して受けることが可能となる。

またこのシステムで、端末装置のウェブブラウザ部が、ＵＲＬ転送部が第２のＵＲＬをインターネットＴＶ端末に送信した後も、第１のＵＲＬに対応するウェブページの表示を継続するようにすれば（請求項２）、両方の装置を同時に利用してサービスを受けることが可能となる。

ここで、端末装置の関連情報提供部が、外部に接続された情報提供サーバに認識データを送信し、この認識データに対応する第１のＵＲＬおよび第２のＵＲＬを取得するようにしてもよい（請求項３）。このように構成すれば、端末装置の側に多量のデータの保持と重い処理を行う必要がなくなり、その負荷を軽減できる。

さらに、端末装置のＵＲＬ転送部が、近距離無線通信によって第２のＵＲＬをインターネットＴＶ端末に送信するようにしてもよい（請求項４）。

そして、端末装置のＵＲＬ転送部が、第１のＵＲＬと第２のＵＲＬを同時にインターネットＴＶ端末に送信して、インターネットＴＶ端末から第１のＵＲＬが返送されてきた場合に、このＵＲＬ転送部がウェブブラウザ部に第１のＵＲＬに対応するウェブページを再び表示させるようにしてもよい（請求項５）。このように構成すれば、端末装置とインターネットＴＶ端末との間で相互に転送を行うことができるので、ユーザの受けられる利便性が更に向上する。

また、画像認識ではなく、音声認識に対してこの技術を適用することもできる。即ち、端末装置が、撮影部および画像認識部に替えて、ユーザからの音声入力を受け付ける音声入力部と、音声入力に対して音声認識を行い、その結果を認識データとして出力する音声認識部とを有するように構成すれば（請求項６）、音声認識の結果に対しても上記と同じ効果を得ることが可能となる。

本発明は上記の認識情報提供システム全体を提供するだけでなく、この認識情報提供システムを構成する認識情報提供端末装置、認識情報提供方法および認識情報提供プログラムを提供するものでもある。

本発明は、端末装置が、第２のＵＲＬをインターネットＴＶ端末に送信してこれに対応する画面を表示させるように構成したので、ユーザは、同一もしくは連携したサービスを、適した方の装置を利用して受けることが可能となる。これによって、認識情報提供サービスに「スマートフォンおよびタブレット端末」「フェイスブックやツイッターに代表されるソーシャルネットワーキングサービス（ＳＮＳ）」「YouTubeに代表される動画サイト」「ウェブサイト」「インターネットＴＶ」を組み合わせて、各装置の特性に応じてより利便性の高い情報をユーザに提供することが可能であるという、優れた特徴を持つ認識情報提供システム、認識情報提供端末装置、認識情報提供方法および認識情報提供プログラムを提供することができる。

本発明の第１の実施形態に係る認識情報提供システムの構成について示す説明図である。 図１で示した情報提供サーバのより詳しい構成について示す説明図である。 図２に示した関連情報データのデータ構成の一例について示す説明図である。 図１に示したインターネットＴＶ端末のより詳しい構成について示す説明図である。 図１に示した端末装置の動作について示すフローチャートである。 図５のステップＳ３０４に示した処理で、ウェブブラウザ部によって入出力手段上に表示される表示画面の一例について示す説明図である。 図５のステップＳ３０８に示した処理で、インターネットＴＶ端末の表示手段上に表示される表示画面の一例について示す説明図である。 本発明の第２の実施形態に係る認識情報提供システムの構成について示す説明図である。 図８で示したインターネットＴＶ端末のより詳しい構成について示す説明図である。 図９に示したインターネットＴＶ端末のストリーミング表示部によって表示手段上に表示される表示画面の一例について示す説明図である。 図８に示した端末装置の動作について示すフローチャートである。 図８に示したインターネットＴＶ端末の動作について示すフローチャートである。 本発明の第３の実施形態に係る認識情報提供システムの構成について示す説明図である。 図１３に示した端末装置の動作について示すフローチャートである。

（第１の実施形態）
以下、本発明の実施形態の構成について添付図１，２，４に基づいて説明する。
最初に、本実施形態の基本的な内容について説明し、その後でより具体的な内容について説明する。
本実施形態に係る認識情報提供システム１は、ユーザが操作する端末装置１０（認識情報提供端末装置）と、映像ストリーミングデータを表示するインターネットＴＶ端末３０とが相互に接続されて構成される認識情報提供システムである。端末装置１０が、対象物のデジタル画像を撮影する撮影部１０１と、デジタル画像に対して画像認識を行い、その結果を認識データとして出力する画像認識部１０２と、認識データに対応する第１のＵＲＬ（通常端末用ＵＲＬ２１３ｃ）および第２のＵＲＬ（ネットＴＶ用ＵＲＬ２１３ｄ）を得る関連情報提供部１０３と、第１のＵＲＬに対応するウェブページを予め備えられた入出力手段に表示させるウェブブラウザ部１０４と、ユーザからＵＲＬ転送指令が入力された時に第２のＵＲＬをインターネットＴＶ端末３０に送信してこの第２のＵＲＬに対応するウェブページを表示させるＵＲＬ転送部１０５とを有する。

また、ウェブブラウザ部１０４は、ＵＲＬ転送部１０５が第２のＵＲＬをインターネットＴＶ端末３０に送信した後も、第１のＵＲＬに対応するウェブページの表示を継続する。ここで、関連情報提供部１０３は、外部に接続された情報提供サーバ２０に認識データを送信し、この認識データに対応する第１のＵＲＬおよび第２のＵＲＬを取得する。また、ＵＲＬ転送部１０５は、近距離無線通信によって第２のＵＲＬをインターネットＴＶ端末３０に送信する。

以上の構成を備えることにより、認識情報提供システム１は、各装置の特性に応じてより利便性の高い情報をユーザに提供することが可能となる。
以下、これをより詳細に説明する。

図１は、本発明の第１の実施形態に係る認識情報提供システム１の構成について示す説明図である。認識情報提供システム１は、端末装置１０と、情報提供サーバ２０と、インターネットＴＶ端末３０とが相互に接続されて構成される。

端末装置１０は、たとえばスマートフォン端末、ｉＰａｄ（登録商標）などのようなタブレット型端末、ノートブック型ＰＣ（パーソナルコンピュータ）、携帯電話（フィーチャーフォン）端末などのような、コンピュータ装置としての基本的な構成を備えた可搬型の端末装置である。以後の説明では、端末装置１０がスマートフォン端末である例について示す。

即ち、端末装置１０はコンピュータプログラムの動作主体であるプロセッサ１１と、プログラムおよびデータを記憶する記憶手段１２と、インターネット４０を介して他装置との間の通信を行う第１の通信手段１３と、ユーザからの動作指令入力を受け付け、また処理結果をユーザに提示する入出力手段１４とを備える。入出力手段１４は、具体的にはたとえばタッチスクリーン付き液晶ディスプレイなどによって実現される。

端末装置１０はまた、ＢｌｕｅＴｏｏｔｈ（登録商標）や無線ＬＡＮ（ＩＥＥＥ８０２．１１シリーズ）などのような近距離通信のための規格によって、近接した位置にある他装置との間の近距離無線通信を行う第２の通信手段１５と、デジタル画像を撮影する撮影手段１６とをさらに備える。前述の第１の通信手段１３は、インターネット４０を介して情報提供サーバ２０との間で通信を行うものであるのに対して、第２の通信手段１５はインターネットＴＶ端末３０との間で近距離無線通信を行うものである。

端末装置１０のプロセッサ１１では、認識情報提供プログラムが動作することにより、撮影部１０１、画像認識部１０２、関連情報提供部１０３、ウェブブラウザ部１０４、およびＵＲＬ転送部１０５の各々として動作する。また記憶手段１２には、画像認識データベース１１１が予め記憶されている。

撮影部１０１は、撮影手段１６を駆動して対象物のデジタル画像の撮影を行い、撮影された写真データを画像認識部１０２に渡す。画像認識部１０２は、その写真データを画像認識データベース１１１との間でデータを照合することによって、その写真データが何であるか画像認識を行って認識データを出力する。また、たとえばバーコードやＱＲコード（登録商標）などを画像認識の対象とすることもできる。

この画像認識に係る処理は、たとえば前述の特許文献１に記載の技術を利用して行うことができるし、これ以外の公知の画像認識技術を利用して行うこともできる。従って、画像認識処理についての詳細、および画像認識データベース１１１のデータ構成などについては詳しく説明しない。また、前述の特許文献２にあるように、この写真データを端末装置１０以外のコンピュータ装置に送信して、そのコンピュータ装置に画像認識に係る処理を行わせるようにしてもよい。

関連情報提供部１０３は、画像認識部１０２が出力した認識データ、即ちその写真データとして撮影された対象物が何であるかを示す認識データ、より具体的にはその対象物のたとえばメーカー名、商品種別、商品名、品番…などを情報提供サーバ２０に送信して、それに対して情報提供サーバ２０から受信した関連情報を入出力手段１４に提示する。

図２は、図１で示した情報提供サーバ２０のより詳しい構成について示す説明図である。情報提供サーバ２０もまた、コンピュータ装置としての基本的な構成を備えている。即ち、コンピュータプログラムの動作主体であるプロセッサ２１と、プログラムおよびデータを記憶する記憶手段２２と、インターネット４０を介して他装置との間の通信を行う通信手段２３とを備える。

情報提供サーバ２０のプロセッサ２１では、情報提供プログラムが動作することにより、ウェブサーバ部２０１、映像ストリーミングサーバ部２０２、および関連情報検索部２０３の各々として動作する。また、記憶手段２２には、ウェブページ表示データ２１１、映像ストリーミングデータ２１２、および関連情報データ２１３が予め記憶されている。

ウェブサーバ部２０１は、Ａｐａｃｈｅなどのような通常のウェブサーバソフトウェアであり、クライアント（本実施形態では携帯端末１０もしくはインターネットＴＶ端末３０）から依頼されたＵＲＬに対応するウェブページの表示データをウェブページ表示データ２１１から読み出し、当該クライアントに返送する。

映像ストリーミングサーバ部２０２は、ウェブサーバ部２０１と同様に、クライアントから依頼されたＵＲＬに対応する映像データを映像ストリーミングデータ２１２から読み出し、当該クライアントに返送する。この映像ストリーミングサーバ部２０２は、情報提供サーバ２０とは別のサーバ、たとえばＹｏｕＴｕｂｅ（登録商標）やＧｙａｏ！（登録商標）などのような映像配信業者のサーバを利用してもよい。

関連情報検索部２０３は、端末装置１０の関連情報提供部１０３から送信されてきた認識データを受信して、それに対応するＵＲＬを関連情報データ２１３から検索してこれを出力する。

図３は、図２に示した関連情報データ２１３のデータ構成の一例について示す説明図である。ここでは、認識データは「メーカー名」と「品番」とを含むものとして、以後の説明を進める。関連情報データ２１３は、メーカー名２１３ａおよび品番２１３ｂと、これに対応する通常端末用ＵＲＬ２１３ｃ、およびネットＴＶ用ＵＲＬ２１３ｄとを対応づけて記憶するものである。

通常端末用ＵＲＬ２１３ｃは端末装置１０で情報を表示するために必要なＵＲＬ（Uniform Resource Locator）であり、ネットＴＶ用ＵＲＬ２１３ｄはインターネットＴＶ端末３０で情報を表示するために必要なＵＲＬである。関連情報検索部２０３は、端末装置１０から受信したメーカー名２１３ａおよび品番２１３ｂに対応する通常端末用ＵＲＬ２１３ｃおよびネットＴＶ用ＵＲＬ２１３ｄを検索して、これらを端末装置１０に返す。

ここで、通常端末用ＵＲＬ２１３ｃおよびネットＴＶ用ＵＲＬ２１３ｄは、同一のＵＲＬとすることもできる。その場合は、ウェブサーバ部２０１で端末装置１０のＯＳおよびウェブブラウザの種類を取得して、これに応じたウェブページの表示データを送信するようにすればよい。より具体的には、たとえばＰｅｒｌやＰＨＰでは環境変数「HTTP_USER_AGENT」を取得する、ＪａｖａＳｃｒｉｐｔ（登録商標）では「navigator」オブジェクトを取得するといった方法によって、そのような動作が可能である。

図１に戻って、端末装置１０では、返信されてきた通常端末用ＵＲＬ２１３ｃおよびネットＴＶ用ＵＲＬ２１３ｄを関連情報提供部１０３が受信して、まずウェブブラウザ部１０４に通常端末用ＵＲＬ２１３ｃのウェブページを表示させる。

そして、端末装置１０のユーザが表示端末切り替えの操作をすると、ＵＲＬ転送部１０５が動作して、インターネットＴＶ端末３０にネットＴＶ用ＵＲＬ２１３ｄを転送して、当該ＵＲＬのページを表示させる。

図４は、図１に示したインターネットＴＶ端末３０のより詳しい構成について示す説明図である。インターネットＴＶ端末３０もまた、コンピュータ装置としての基本的な構成を備えている。即ち、コンピュータプログラムの動作主体であるプロセッサ３１と、プログラムおよびデータを記憶する記憶手段３２と、インターネット４０を介して他装置との間の通信を行う第１の通信手段３３と、端末装置１０の第２の通信手段１５との間で前述の近距離無線通信によって通信を行う第２の通信手段３４と、第１の通信手段３３を経由して受信した映像ストリーミングデータを表示する表示手段３５とを備える。

インターネットＴＶ端末３０のプロセッサ３１は、ストリーミング表示プログラムが動作することにより、ストリーミング表示部３０１およびＵＲＬ転送受信部３０２として動作する。ストリーミング表示部３０１は、情報提供サーバ２０の映像ストリーミングサーバ部２０２から受信した映像データを表示手段３５に表示させる。ＵＲＬ転送受信部３０２は、近距離無線通信を介して端末装置１０のＵＲＬ転送部１０５からネットＴＶ用ＵＲＬ２１３ｄを受信し、このＵＲＬの動画をストリーミング表示部３０１を介して表示手段３５に表示させる。

図５は、図１に示した端末装置１０の動作について示すフローチャートである。まず撮影部１０１が対象物のデジタル画像を撮影し（ステップＳ３０１）、撮影された写真データに対して画像認識部１０２が画像認識を行う（ステップＳ３０２）。

そして、画像認識で得られた認識データを、関連情報提供部１０３が情報提供サーバ２０に向けて送信し（ステップＳ３０３）、関連情報提供部１０３がこれに応じて情報提供サーバ２０から送信されてきた通常端末用ＵＲＬ２１３ｃおよびネットＴＶ用ＵＲＬ２１３ｄを受信して、通常端末用ＵＲＬ２１３ｃのウェブページに対してウェブブラウザ部１０４にアクセスさせ、その内容を表示させる（ステップＳ３０４）。

ここでユーザから表示端末切り替えの操作入力があると（ステップＳ３０５）、ＵＲＬ転送部１０５はまず、端末装置１０の周辺にＵＲＬの転送が可能なインターネットＴＶ端末３０があるか否かを検索する（ステップＳ３０６）。

ここで「ＵＲＬの転送が可能」な状態とは、端末装置１０の第２の通信手段１５と、インターネットＴＶ端末３０の第２の通信手段３４との間で前述の近距離通信が通じており、かつＵＲＬ転送部１０５からの照会にＵＲＬ転送受信部３０２が反応しているという状態をいう。そのようなインターネットＴＶ端末３０がなければ「転送可能なインターネットＴＶがありません」のメッセージを表示して（ステップＳ３０７）処理を終了する。

ＵＲＬの転送が可能なインターネットＴＶ端末３０が周辺にあれば、ＵＲＬ転送部１０５はＵＲＬ転送受信部３０２に対してネットＴＶ用ＵＲＬ２１３ｄを送信して（ステップＳ３０８）処理を終了する。インターネットＴＶ端末３０ではＵＲＬ転送受信部３０２がそのネットＴＶ用ＵＲＬ２１３ｄを受信し、ストリーミング表示部３０１が当該ＵＲＬの画面を表示手段３４に表示する。

図６は、図５のステップＳ３０４に示した処理で、ウェブブラウザ部１０４によって入出力手段１４上に表示される表示画面１５１の一例について示す説明図である。図７は、図５のステップＳ３０８に示した処理で、インターネットＴＶ端末３０の表示手段３５上に表示される表示画面１５２の一例について示す説明図である。

図６の表示画面１５１は、スマートフォン端末である端末装置１０の入出力手段１４で表示するために最適化された画面サイズおよびメニュー構成となっている。即ち、端末装置１０もある程度の画質の動画の表示は可能ではあるが、画面サイズの都合でそれほど解像度の大きい動画を表示することはできない。そのかわり、ＳＮＳや音声通話などへの接続には適している。

そこで表示画面１５１のメニュー表示は、ＵＲＬ転送部１０５を呼び出してステップＳ３０５で示した「表示端末切り替え」を行うための操作ボタンである表示端末切り替えボタン１５１ａと、クチコミ情報などを参照するためのＳＮＳへの接続ボタン１５１ｂ、前述の特許文献２にあるようなコールセンターへの音声通話の接続ボタン１５１ｃなどを含む。表示端末切り替えボタン１５１ａは、インターネットＴＶ端末３０が近くに無い場合には表示を省略する、または表示はするが操作を無効にするという構成にしてもよい。

これに対して図７の表示画面１５２は、インターネットＴＶ端末３０の表示手段３４で表示するために最適化された画面サイズおよびメニュー構成となっている。インターネットＴＶ端末３０は、音声通話やＳＮＳへの接続については操作性などの面で端末装置１０に劣るが、解像度の大きい動画の表示には端末装置１０よりも適している。

そこで表示画面１５２のメニュー表示は、主に動画の表示に関するものである。たとえば、図５のステップＳ３０１〜３０２の処理で認識された物についての、使用方法や不具合発生時の操作方法などについて説明する動画、あるいはテレビＣＭの動画などが主に考えられる。あるいは、前述の特許文献２の技術をここで適用して、その物の担当者からの電話を受けるというメニューを含めてもよい。その場合、その電話を受ける先は端末装置１０（スマートフォン端末）でもよいし、他の携帯電話端末や固定電話でもよい。さらに、通常のウェブページの表示に関するメニュー、たとえば消耗部品の追加購入やクチコミ情報の表示などを含めることもできる。インターネットＴＶ端末３０の表示画面１５２は、端末装置１０の表示画面１５１よりも大きいので、より多くの選択肢を一度に表示することができる。

この表示を受けてユーザがリモコンなどで動画の表示を選択した場合、その動画をストリーミング表示部３０１が情報提供サーバ２０の映像ストリーミングサーバ部２０２に要求し、この要求に応じて送られてきた映像データを表示手段３４に表示させる。

これらの表示画面１５１および１５２は、通常端末用ＵＲＬ２１３ｃおよびネットＴＶ用ＵＲＬ２１３ｄを同一のＵＲＬとして、ウェブサーバ部２０１が端末装置１０のＯＳおよびウェブブラウザの種類を取得して、それに応じて別々の表示内容を送信するようにしてもよい。あるいは、通常端末用ＵＲＬ２１３ｃおよびネットＴＶ用ＵＲＬ２１３ｄを別々のウェブサイト／ウェブサーバのものとしてもよい。

ただし、端末装置１０からインターネットＴＶ端末３０に「表示端末切り替え」を行っても、端末装置１０の出力手段１４上には表示画面１５１の表示が続いているので、ユーザはインターネットＴＶ端末３０で認識結果に対応する動画を見つつ、端末装置１０側の表示画面１５１でＳＮＳへの接続ボタン１５１ｂを押してその対象物についてのクチコミ情報などのコンテンツを読み書きすることもできるし、また音声通話の接続ボタン１５１ｃを押してコールセンターの担当者と音声で相談してもよい。

（第１の実施形態の全体的な動作）
次に、上記の実施形態の全体的な動作について説明する。
本実施形態に係る認識情報提供方法は、ユーザが操作する端末装置１０と、映像ストリーミングデータを表示するインターネットＴＶ端末３０とが相互に接続されて構成される認識情報提供システムにあって、対象物のデジタル画像を端末装置の撮影部が撮影し（図５・ステップＳ３０１）、デジタル画像に対して端末装置の画像認識部が画像認識を行ってその結果を認識データとして出力し（図５・ステップＳ３０２）、認識データに対応する第１のＵＲＬおよび第２のＵＲＬを端末装置の関連情報提供部が取得し、
第１のＵＲＬに対応するウェブページを端末装置のウェブブラウザ部が予め備えられた入出力手段に表示させ（以上図５・ステップＳ３０３〜３０４）、ユーザからＵＲＬ転送指令が入力された時に第２のＵＲＬを、端末装置のＵＲＬ転送部がインターネットＴＶ端末に送信してこの第２のＵＲＬに対応するウェブページを表示させる（以上図５・ステップＳ３０５〜３０８）。

また、図５のステップＳ３０８で示した第２のＵＲＬをインターネットＴＶ端末に送信する処理の後も、端末装置のウェブブラウザ部が第１のＵＲＬに対応するウェブページの表示を継続する。

さらに、図５・ステップＳ３０３〜３０４で示した認識データに対応する第１のＵＲＬおよび第２のＵＲＬを取得する処理が、外部に接続された情報提供サーバに端末装置の関連情報提供部が認識データを送信し、この認識データに対応する第１のＵＲＬおよび第２のＵＲＬを取得する。そして、図５のステップＳ３０８で示した第２のＵＲＬをインターネットＴＶ端末に送信する処理が、近距離無線通信によって第２のＵＲＬをインターネットＴＶ端末に送信する。

ここで、上記各動作ステップについては、これをコンピュータで実行可能にプログラム化し、これらを前記各ステップを直接実行する端末装置１０のプロセッサ１１に実行させるようにしてもよい。本プログラムは、非一時的な記録媒体、例えば、ＤＶＤ、ＣＤ、フラッシュメモリ等に記録されてもよい。その場合、本プログラムは、記録媒体からコンピュータによって読み出され、実行される。
この動作により、本実施形態は以下のような効果を奏する。

インターネットによって提供される情報の種類、およびインターネットによる情報提供サービスを受けることのできる装置の種類は、近年ますます拡充されてきている。しかしながら、前述のように各々の装置は大きさ、操作性、通信速度、可搬性などがまちまちである。従って、全ての装置が一様に全く同じ情報提供を受けることに適するわけではない。

本発明は、端末装置（スマートフォン）からインターネットＴＶ端末にＵＲＬを送信してこれに対応する画面を表示させる構成を備えている。従って、そのような装置特性の違いに応じて、適した方の装置を利用して情報提供サービスを受けることが可能となる。その際、インターネットＴＶ端末で動画を表示させつつ、端末装置でＳＮＳを利用するなどのように、両装置を同時に使用して、複合的にサービスを受けることも可能となる。

（第２の実施形態）
本発明の第２の実施形態に係る認識情報提供システム４０１は、第１の実施形態の構成に加えて、端末装置４１０のＵＲＬ転送部５０５が、第１のＵＲＬおよび第２のＵＲＬをインターネットＴＶ端末４３０に送信すると共に、インターネットＴＶ端末４３０から第１のＵＲＬが返送されてきた場合に、このＵＲＬ転送部５０５がウェブブラウザ部１０４に第１のＵＲＬに対応するウェブページを再び表示させるものとした。

この構成によっても第１の実施形態と同一の効果が得られるのに加えて、さらに各端末の特性に応じて使用する端末を切り替えつつ、サービスの利用を継続することが可能となる。
以下、これをより詳細に説明する。

図８は、本発明の第２の実施形態に係る認識情報提供システム４０１の構成について示す説明図である。認識情報提供システム４０１は、前述の第１の実施形態に係る認識情報提供システム１の端末装置１０およびインターネットＴＶ端末３０が、各々別の端末装置４１０およびインターネットＴＶ端末４３０に置換されている。情報提供サーバ２０については、第１の実施形態と同一である。

端末装置４１０は、ハードウェア的には第１の実施形態に係る端末装置１０と同一の構成を有し、ソフトウェア的にもプロセッサ１１で動作するＵＲＬ転送部１０５が別のＵＲＬ転送部５０５に置換されているのみである。従って、ハードウェア／ソフトウェアにおける同一の要素については、同一の呼称および参照番号で呼び、説明を省略する。

図９は、図８で示したインターネットＴＶ端末４３０のより詳しい構成について示す説明図である。インターネットＴＶ端末４３０もまた、ハードウェア的には第１の実施形態に係るインターネットＴＶ端末３０と同一の構成を有し、ソフトウェア的にもプロセッサ３１で動作するＵＲＬ転送受信部３０２がＵＲＬ転送送受信部６０２に置換されているのみである。これについても、ハードウェア／ソフトウェアにおける同一の要素については、同一の呼称および参照番号で呼び、説明を省略する。

図１０は、図９に示したインターネットＴＶ端末４３０のストリーミング表示部３０１によって表示手段３５上に表示される表示画面４５２の一例について示す説明図である。第１の実施形態に係る表示画面１５２に、さらに表示端末切り替えボタン４５２ａが付け加えられている。

ユーザがインターネットＴＶ端末４３０に付属するリモコンなどを利用してこの表示端末切り替えボタン４５２ａを押す操作をすると、ＵＲＬ転送送受信部６０２が動作して、端末装置４１０に通常端末用ＵＲＬ２１３ｃを送信する。即ち、第１の実施形態では端末装置１０からインターネットＴＶ端末３０への１方向のＵＲＬ転送のみが可能であったが、この第２の実施形態ではインターネットＴＶ端末４３０から端末装置４１０へ再び転送することも可能である。

図１１は、図８に示した端末装置４１０の動作について示すフローチャートである。この動作は、図５に示した第１の実施形態に係る端末装置１０の動作とほぼ同一であるが、唯一の相違点は転送可能なインターネットＴＶ端末４３０にＵＲＬを転送する際に、情報提供サーバ２０から送信されてきた通常端末用ＵＲＬ２１３ｃおよびネットＴＶ用ＵＲＬ２１３ｄの両方をインターネットＴＶ端末４３０に送信する点である（ステップＳ６０８）。これ以外の動作は、図５に示した第１の実施形態に係る端末装置１０の動作と同一であるので、同一の参照番号を付して説明を省略する。

図１２は、図８に示したインターネットＴＶ端末４３０の動作について示すフローチャートである。端末装置４１０から通常端末用ＵＲＬ２１３ｃおよびネットＴＶ用ＵＲＬ２１３ｄの転送を受けた（ステップＳ６５１）ＵＲＬ転送送受信部６０２は、ネットＴＶ用ＵＲＬ２１３ｄの画面をストリーミング表示部３０１に渡してこれを表示手段３４に表示させる（ステップＳ６５２）。

ここでユーザから表示端末切り替えボタン４５２ａの操作があると（ステップＳ６５３）、ＵＲＬ転送送受信部６０２はまず、インターネットＴＶ端末４３０の周辺にＵＲＬの転送が可能な端末装置４１０があるか否かを検索し（ステップＳ６５４）、あればその端末装置４１０に通常端末用ＵＲＬ２１３ｃを送信して（ステップＳ６５５）処理を終了する。なければ「転送可能な端末装置がありません」のメッセージを表示して（ステップＳ６５６）処理を終了する。

端末装置４１０では、ＵＲＬ転送部５０５がこの通常端末用ＵＲＬ２１３ｃを受信して、通常端末用ＵＲＬ２１３ｃのウェブページに対してウェブブラウザ部１０４にアクセスさせ、その内容を表示させる。これによって、ＵＲＬ転送の動作を行った後で端末装置４１０の動作を停止させた後でも、再び図６に示した表示画面１５１に戻って、ＳＮＳへの接続ボタン１５１ｂや音声通話の接続ボタン１５１ｃを操作してこれらのサービスを利用することができる。

また、たとえばスマートフォンである端末装置４１０からインターネットＴＶ端末４３０にＵＲＬ転送の操作を行った後、タブレット型端末やノートブック型パーソナルコンピュータである別の端末装置４１０にＵＲＬ転送を行うこともできる。これによって、（操作性や画面サイズなどのような）各端末の特性に応じて使用する端末を切り替えつつ、同一または関連するサービスの利用を継続することができる。その際、ＵＲＬや検索ワードなどを「改めて入力する」必要は無い。

（第３の実施形態）
本発明の第３の実施形態に係る認識情報提供システム７０１は、第１の実施形態の構成において、端末装置７１０が、撮影部および画像認識部に替えて、ユーザからの音声入力を受け付ける音声入力部８０１と、音声入力に対して音声認識を行い、その結果を認識データとして出力する音声認識部８０２とを有するように構成した。

このように構成することにより、音声認識の結果に対しても、第１〜２の実施形態において画像認識の結果に対して得られるものと同じ効果を得ることが可能となる。
以下、これをより詳細に説明する。

図１３は、本発明の第３の実施形態に係る認識情報提供システム７０１の構成について示す説明図である。認識情報提供システム７０１は、前述の第１の実施形態に係る認識情報提供システム１の端末装置１０が、別の端末装置７１０に置換されている。情報提供サーバ２０およびインターネットＴＶ端末３０については、第１の実施形態と同一である。

端末装置７１０は、第１の実施形態に係る端末装置１０と大部分は同一の構成を有し、ハードウェア的な相違点は、撮影手段１６がユーザが発する音声を入力する音声入力手段７１６に置き換えられている点、そしてソフトウェア的な相違点はプロセッサ１１で動作する撮影部１０１および画像認識部１０２が、各々音声入力部８０１および音声認識部８０２に置換されている点と、記憶手段１２に記憶された画像認識データベース１１１が音声認識データベース８１１に置換されている点とである。

端末装置７１０がスマートフォン端末や携帯電話（フィーチャーフォン）端末である場合、音声入力手段７１６としては、音声通話用に最初から備えられたハードウェアをそのまま利用することができる。これらの点以外は、端末装置７１０は第１の実施形態に係る端末装置１０と同一の構成を有する。従って、ハードウェア／ソフトウェアにおける同一の要素については、同一の呼称および参照番号で呼び、説明を省略する。

図１４は、図１３に示した端末装置７１０の動作について示すフローチャートである。この動作は、図５に示した第１の実施形態に係る端末装置１０の動作とほぼ同一であるが、図５のステップＳ３０１〜３０２の動作が、音声入力部８０１がユーザからの音声入力を取り込み（ステップＳ９０１）、取り込まれた音声入力に対して音声認識部８０２が音声認識データベース８１１とのデータ照合によって音声認識を行って認識データを出力する（ステップＳ９０２）という動作に置換されている点が相違点である。これ以外の動作は、図５に示した第１の実施形態に係る端末装置１０の動作と同一であるので、同一の参照番号を付して説明を省略する。

この音声認識に係る技術も、画像認識と同様に、既に様々な技術が公知のものとなっているので、詳しく説明しない。また、音声認識部８０２が取り込んだ音声データを端末装置１０以外のコンピュータ装置に送信して、そのコンピュータ装置に音声認識に係る処理を行わせるようにしてもよい。本発明は、画像認識や音声認識に係る技術そのものではなく、その認識結果を利用してより利便性の高い情報提供を行うことを目的としたものである。もちろん、第２の実施形態をこのように音声認識に置換して、端末装置とインターネットＴＶ端末との間で相互にＵＲＬの転送を行うようにすることもできる。

（実施形態の拡張）
上述した第１〜第３の実施形態は、その趣旨を改変しない範囲で様々な拡張が可能である。
たとえば「ＵＲＬ転送」の処理は、米国アップルコンピュータ社の「ＡｉｒＰｌａｙ（登録商標）」などのような公知技術を利用してもよいし、近距離無線通信を利用せずにインターネット４０を経由して転送を行ってもよい。ちなみにこの「ＡｉｒＰｌａｙ」は、表示画面の内容を端末装置からインターネットＴＶ端末に転送するという点で本発明と類似しているものではあるが、本発明でいう転送した後に端末装置とインターネットＴＶ端末とを同時に使用することや、インターネットＴＶ端末から再び端末装置に転送することなどといった内容は特にない。

また、情報提供サーバ２０の各機能、ウェブサーバ部２０１、映像ストリーミングサーバ部２０２、および関連情報検索部２０３を各々別々のＵＲＬを備えた別々の装置としてもよい。また、いわゆるクラウドコンピューティングを利用して、情報提供サーバ２０の各機能を装置の物理的な区分とは関係なく「仮想的に、非常に大規模な拡張性を持つ巨大コンピュータ」として構成してもよい。さらに、端末装置１０もしくは４１０もそのようなクラウドコンピューティングによって情報提供サーバ２０の一部として動作し、認識データに対応するＵＲＬを得ることができるように構成してもよい。

また、インターネットＴＶ端末に映し出された画像、映像、もしくは音声を端末装置に転送して、転送された画像などを画像認識や音声認識の対象とできるように構成してもよい。このように構成すれば、たとえばテレビＣＭに映し出された商品について「その商品の購入」や「（販売店やクチコミなどの）情報収集」、あるいは「番組に出演している人物が誰であるか」「（ＣＭソングなどで）放送された音楽の曲目が何であるか」などについての情報収集やそれらに対応する商品・サービスの購入も可能となる。

もちろん、以上のような商品・サービスの購入や問い合わせなどの際にコールセンターや実店舗などの対応が必要とされる場合も、前述の特許文献２に記載の技術を併用すれば可能となる。また、その際に課金を伴うことが必要とされる場合も、既存の技術や手法を適宜組み合わせることによって対応可能となる。

本実施形態およびそれらの拡張形態を利用することによって、ユーザにとっては、端末装置およびインターネットＴＶ端末を通じての画像認識や音声認識を入り口として、多くの種類のサービスを気軽に利用することが可能となる。また事業者にとっては、ユーザに多くの種類のサービスを提供して、商取引を行う多くの機会を与えられることとなる。提供可能なサービスの範囲は、事業者のアイデア次第で拡大できるものである。

これまで本発明について図面に示した特定の実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができる。

インターネットに接続可能な端末装置において幅広く利用可能であるが、特にスマートフォン端末とインターネットＴＶ端末との間での利用に適している。

１、４０１、７０１ 認識情報提供システム
１０、４１０、７１０ 端末装置
１１、２１、３１ プロセッサ
１２、２２、３２ 記憶手段
１３、３３ 第１の通信手段
１４ 入出力手段
１５、３４ 第２の通信手段
１６ 撮影手段
２０ 情報提供サーバ
２３ 通信手段
３０、４３０ インターネットＴＶ端末
３５ 表示手段
１０１ 撮影部
１０２ 画像認識部
１０３ 関連情報提供部
１０４ ウェブブラウザ部
１０５、５０５ ＵＲＬ転送部
１１１ 画像認識データベース
１５１、１５２、４５２ 表示画面
２０１ ウェブサーバ部
２０２ 映像ストリーミングサーバ部
２０３ 関連情報検索部
２１１ ウェブページ表示データ
２１２ 映像ストリーミングデータ
２１３ 関連情報データ
２１３ｃ 通常端末用ＵＲＬ
２１３ｄ ネットＴＶ用ＵＲＬ
３０１ ストリーミング表示部
３０２ ＵＲＬ転送受信部
６０２ ＵＲＬ転送送受信部
７１６ 音声入力手段
８０１ 音声入力部
８０２ 音声認識部

Claims (18)

1. ユーザが操作する端末装置と、YouTube（登録商標）に代表される映像ストリーミングデータや様々なウェブページを表示することができるインターネットＴＶ端末とが、相互に接続されて構成される認識情報提供システムであって、
   前記端末装置が、
   対象物のデジタル画像や動画を撮影する撮影部と、
   前記デジタル画像や動画に対して画像認識を行い、その結果を対象物が何であるかを示す認識データとして出力する画像認識部と、
   前記認識データに対応する第１のＵＲＬおよび第２のＵＲＬを前記端末装置外の情報提供サーバから得る関連情報提供部と、
   前記第１のＵＲＬに対応するウェブページを予め備えられた入出力手段に表示させるウェブブラウザ部と、
   ユーザからＵＲＬ転送指令が入力された時に前記第２のＵＲＬを前記インターネットＴＶ端末に送信してこの第２のＵＲＬに対応するウェブページを表示させるＵＲＬ転送部とを有し、
   前記画像認識部は、前記インターネットＴＶ端末から転送され、前記第２のＵＲＬに対応するウェブページに映し出されたデジタル画像を、前記画像認識の対象とする、
   ことを特徴とする認識情報提供システム。
2. 前記端末装置の前記ウェブブラウザ部が、前記ＵＲＬ転送部が前記第２のＵＲＬを前記インターネットＴＶ端末に送信した後も、前記第１のＵＲＬに対応するウェブページの表示を継続することを特徴とする、請求項１に記載の認識情報提供システム。
3. 前記端末装置の前記関連情報提供部が、
   外部に接続された情報提供サーバに前記認識データを送信し、この認識データに対応する前記第１のＵＲＬおよび第２のＵＲＬを取得することを特徴とする、請求項１に記載の認識情報提供システム。
4. 前記端末装置の前記ＵＲＬ転送部が、
   近距離無線通信によって前記第２のＵＲＬを前記インターネットＴＶ端末に送信することを特徴とする、請求項１に記載の認識情報提供システム。
5. 前記端末装置の前記ＵＲＬ転送部が、前記第１のＵＲＬおよび第２のＵＲＬを前記インターネットＴＶ端末に送信すると共に、
   前記インターネットＴＶ端末から前記第１のＵＲＬが返送されてきた場合に、このＵＲＬ転送部が前記ウェブブラウザ部に前記第１のＵＲＬに対応するウェブページを再び表示させることを特徴とする、請求項１に記載の認識情報提供システム。
6. 前記端末装置が、
   前記撮影部および前記画像認識部に替えて、
   ユーザからの音声入力を受け付ける音声入力部と、
   前記音声入力に対して音声認識を行い、その結果を認識データとして出力する音声認識部とを有し、
   この音声認識部は、前記インターネットＴＶ端末から転送され、前記第２のＵＲＬに対応するウェブページから得られた音声入力を、前記音声認識の対象とする、
   ことを特徴とする、請求項１に記載の認識情報提供システム。
7. YouTube（登録商標）に代表される映像ストリーミングデータや様々なウェブページを表示することができるインターネットＴＶ端末と相互に接続され、認識情報提供システムを構成する認識情報提供端末装置であって、
   対象物のデジタル画像や動画を撮影する撮影部と、
   前記デジタル画像や動画に対して画像認識を行い、その結果を対象物が何であるかを示す認識データとして出力する画像認識部と、
   前記認識データに対応する第１のＵＲＬおよび第２のＵＲＬを前記認識情報提供端末装置外の情報提供サーバから得る関連情報提供部と、
   前記第１のＵＲＬに対応するウェブページを予め備えられた入出力手段に表示させるウェブブラウザ部と、
   ユーザからＵＲＬ転送指令が入力された時に前記第２のＵＲＬを前記インターネットＴＶ端末に送信してこの第２のＵＲＬに対応するウェブページを表示させるＵＲＬ転送部とを有し、
   前記画像認識部は、前記インターネットＴＶ端末から転送され、前記第２のＵＲＬに対応するウェブページに映し出されたデジタル画像を、前記画像認識の対象とする、
   ことを特徴とする認識情報提供端末装置。
8. 前記ウェブブラウザ部が、前記ＵＲＬ転送部が前記第２のＵＲＬを前記インターネットＴＶ端末に送信した後も、前記第１のＵＲＬに対応するウェブページの表示を継続することを特徴とする、請求項７に記載の認識情報提供端末装置。
9. 前記関連情報提供部が、
   外部に接続された情報提供サーバに前記認識データを送信し、この認識データに対応する前記第１のＵＲＬおよび第２のＵＲＬを取得することを特徴とする、請求項７に記載の認識情報提供端末装置。
10. 前記撮影部および前記画像認識部に替えて、
    ユーザからの音声入力を受け付ける音声入力部と、
    前記音声入力に対して音声認識を行い、その結果を認識データとして出力する音声認識部とを有し、
    この音声認識部は、前記インターネットＴＶ端末から転送され、前記第２のＵＲＬに対応するウェブページから得られた音声入力を、前記音声認識の対象とする、
    ことを特徴とする、請求項７に記載の認識情報提供端末装置。
11. ユーザが操作する端末装置と、YouTube（登録商標）に代表される映像ストリーミングデータや様々なウェブページを表示することができるインターネットＴＶ端末とが、相互に接続されて構成される認識情報提供システムにあって、
    対象物のデジタル画像や動画を前記端末装置の撮影部が撮影し、
    前記デジタル画像や動画に対して前記端末装置の画像認識部が画像認識を行ってその結果を対象物が何であるかを示す認識データとして出力し、
    前記認識データに対応する第１のＵＲＬおよび第２のＵＲＬを前記端末装置の関連情報提供部が前記端末装置外の情報提供サーバから取得し、
    前記第１のＵＲＬに対応するウェブページを前記端末装置のウェブブラウザ部が予め備えられた入出力手段に表示させ、
    ユーザからＵＲＬ転送指令が入力された時に前記第２のＵＲＬを、前記端末装置のＵＲＬ転送部が前記インターネットＴＶ端末に送信してこの第２のＵＲＬに対応するウェブページを表示させ、
    前記インターネットＴＶ端末から転送され、前記第２のＵＲＬに対応するウェブページに映し出されたデジタル画像を、前記画像認識部が前記画像認識の対象とする、
    ことを特徴とする認識情報提供方法。
12. 前記第２のＵＲＬを前記インターネットＴＶ端末に送信する処理の後も、前記端末装置の前記ウェブブラウザ部が前記第１のＵＲＬに対応するウェブページの表示を継続することを特徴とする、請求項１１に記載の認識情報提供方法。
13. 前記認識データに対応する第１のＵＲＬおよび第２のＵＲＬを取得する処理が、外部に接続された情報提供サーバに前記端末装置の前記関連情報提供部が前記認識データを送信し、この認識データに対応する前記第１のＵＲＬおよび第２のＵＲＬを取得することを特徴とする、請求項１１に記載の認識情報提供方法。
14. 前記対象物のデジタル画像を撮影する処理および前記デジタル画像に対して画像認識を行って認識データを出力する処理に替えて、
    ユーザからの音声入力を前記端末装置の音声入力部が受け付け、
    前記音声入力に対して前記端末装置の音声認識部が音声認識を行ってその結果を認識データとして出力し、
    前記インターネットＴＶ端末から転送され、前記第２のＵＲＬに対応するウェブページから得られた音声入力を、前記音声認識部が前記音声認識の対象とする、
    ことを特徴とする、請求項１１に記載の認識情報提供方法。
15. ユーザが操作する端末装置と、YouTube（登録商標）に代表される映像ストリーミングデータや様々なウェブページを表示することができるインターネットＴＶ端末とが、相互に接続されて構成される認識情報提供システムにあって、
    前記端末装置が備えるコンピュータに、
    対象物のデジタル画像や動画を撮影する手順、
    前記デジタル画像や動画に対して画像認識を行ってその結果を対象物が何であるかを示す認識データとして出力する手順、
    前記認識データに対応する第１のＵＲＬおよび第２のＵＲＬを前記端末装置外の情報提供サーバから取得する手順、
    前記第１のＵＲＬに対応するウェブページを予め備えられた入出力手段に表示させる手順、
    ユーザからＵＲＬ転送指令が入力された時に前記第２のＵＲＬを前記インターネットＴＶ端末に送信してこの第２のＵＲＬに対応するウェブページを表示させる手順、
    および前記インターネットＴＶ端末から転送され、前記第２のＵＲＬに対応するウェブページに映し出されたデジタル画像を、前記画像認識の対象とする手順、
    を実行させることを特徴とする認識情報提供プログラム。
16. 前記第２のＵＲＬを前記インターネットＴＶ端末に送信する処理の後も、前記第１のＵＲＬに対応するウェブページを表示させる処理を継続することを特徴とする、請求項１５に記載の認識情報提供プログラム。
17. 前記認識データに対応する第１のＵＲＬおよび第２のＵＲＬを取得する手順が、外部に接続された情報提供サーバに前記認識データを送信し、この認識データに対応する前記第１のＵＲＬおよび第２のＵＲＬを取得することを特徴とする、請求項１５に記載の認識情報提供プログラム。
18. 前記対象物のデジタル画像を撮影する手順および前記デジタル画像に対して画像認識を行って認識データを出力する手順に替えて、
    ユーザからの音声入力を受け付ける手順、
    前記音声入力に対して音声認識を行ってその結果を認識データとして出力する手順、
    および前記インターネットＴＶ端末から転送され、前記第２のＵＲＬに対応するウェブページから得られた音声入力を前記音声認識の対象とする手順、
    を前記端末装置が備えるコンピュータに実行させることを特徴とする、請求項１５に記載の認識情報提供プログラム。

Images