JP5202712B2 - 表示装置、及び情報送信方法 - Google Patents

Description

本発明の実施形態は、表示装置、及び情報送信方法に関する。

テレビジョン表示装置の発達に伴い、テレビジョン表示装置が、放送により提供された番組コンテンツ、又はネットワークを介して配信された番組コンテンツを記録し、ユーザの要求に応じて、これら番組コンテンツを提供する技術が提案されている。

特に近年、拡張現実感（ＡＲ）技術が注目される傾向にある。ＡＲとは、実環境にバーチャル環境を重畳する技術である。

このＡＲを、様々な技術に適応することが提案されている。例えば、カメラなどを用いて人の位置や動きを検出する技術と、ＡＲと、を組み合わせる技術が提案されている。これにより、バーチャル環境を重畳した実環境上で検出した人の位置や動きに基づいて、様々な情報を提供する技術が提案されている。例えば、検出された人の動きに応じて、表示装置に表示する情報を動的に変化させる技術などが提案されている。

特開２００５−１５７１３４号公報

しかしながら、従来技術においては、人の位置や動きを検出可能な装置を操作することしか考慮されておらず、他の装置を操作することについて考慮されていなかった。

本発明は、上記に鑑みてなされたものであって、装置を利用する際の操作を容易にする表示装置、及び情報送信方法を提供することを目的とする。

実施形態の表示装置は、取得手段と、表示制御手段と、検出手段と、受信手段と、装置判定手段と、第１の判定手段と、送信手段と、を備える。取得手段は、被写体を撮像する撮像装置から、撮像画像を取得する。表示制御手段は、撮像画像の表示領域内に、データを指し示すサムネイル画像を含めて表示手段に表示する。検出手段は、取得手段が取得した撮像画像に基づいて、撮像画像に写っている第１の被写体の動きを検出する。受信手段は、自装置からデータの送信可能な通信装置から、ネットワーク上で通信装置を識別する識別情報と、通信装置の外観の特徴を示した特徴情報と、を受信する。装置判定手段は、取得手段により取得された撮像画像と、受信手段により受信された特徴情報と、に基づいて、撮像画像に写っている第２の被写体が、通信装置であるか否かを判定する。第１の判定手段は、装置判定手段により第２の被写体が通信装置であると判定された場合、検出手段により動きが検出された第１の被写体を示す第１の座標値が、第２の被写体の表示領域内に含まれたか否かを判定する。送信手段は、第１の判定手段により第２の被写体の表示領域内に含まれたと判定された場合に、サムネイル画像が指し示すデータを、識別情報で識別される通信装置に送信する。

図１は、第１の実施形態にかかるコンテンツ利用システムの例を示した図である。 図２は、第１の実施形態にかかるテレビジョン表示装置の主要な信号処理系を示すブロック図である。 図３は、第１の実施形態にかかる制御部でＡＲアプリケーションを実行した場合に実現されるソフトウェア構成を示した図である。 図４は、第１の実施形態にかかる表示制御部により表示される画面例と、タブレット端末１５０と、の関係を示した図である。 図５は、第１の実施形態にかかる選択部で選択対象を受け付けた後に、表示制御部が表示する画面例を示した図である。 図６は、第１の実施形態にかかるテレビジョン表示装置における、人物の手の動きに従って遷移する状態を示した図である。 図７は、第１の実施形態にかかる送信部により番組コンテンツを、タブレット端末に送信している例を示した図である。 図８は、第１の実施の形態にかかるテレビジョン表示装置及びタブレット端末における、番組コンテンツを送受信する際の処理の手順を示すフローチャートである。 図９は、第１の実施の形態にかかるテレビジョン表示装置及びタブレット端末における、特徴情報を送受信する際の処理の手順を示すフローチャートである。 図１０は、第２の実施形態にかかるテレビジョン表示装置に表示された画面例を示す図である。 図１１は、第２の実施の形態にかかる制御部でＡＲアプリケーションを実行した場合に実現されるソフトウェア構成を示した図である。 図１２は、第２の実施形態にかかる端末情報記憶部のテーブル構造を示した図である。 図１３は、本実施の形態にかかるテレビジョン表示装置９００が番組コンテンツを送信する際の処理の手順を示すフローチャートである。

以下に示す実施形態では、表示装置、及び情報送信方法をテレビジョン表示装置に適用した例について説明する。

（第１の実施形態）
図１は、第１の実施形態にかかるコンテンツ利用システムの例を示した図である。図１に示すコンテンツ利用システムは、家庭内の無線、有線ネットワーク１８０を介して接続されたテレビジョン表示装置１００と、無線ルータ１６０と、タブレット端末１５０と、で構成されている。無線ルータ１６０は、タブレット端末１５０との間で無線通信を行うことで、タブレット端末１５０を家庭内ネットワーク１８０に接続する。これにより、テレビジョン表示装置１００と、タブレット端末１５０と、の間で通信を可能としている。

例えば、テレビジョン表示装置１００は、ＤＮＬＡサーバとして機能し、タブレット端末１５０は、ＤＮＬＡクライアントとして機能する。なお、本実施形態では、テレビジョン表示装置１００から、タブレット端末１５０に対して番組コンテンツを提供する例について説明するが、テレビジョン表示装置及びタブレット端末に制限するものではない。例えば、テレビジョン表示装置の代わりにＤＮＬＡサーバとして機能するＰＣ等を用いても良い。さらに、タブレット端末の代わりにＤＮＬＡクライアントとして機能する携帯通信端末や携帯可能なＰＣ等を用いても良い。

本実施の形態においては、テレビジョン表示装置１００が、放送により提供された番組コンテンツ、又はネットワークを介して配信された番組コンテンツを記録する。そして、テレビジョン表示装置１００は、タブレット端末１５０に対して、記録された番組コンテンツを提供する。

また、テレビジョン表示装置１００は、カメラ１１０を備えている。さらに、テレビジョン表示装置１００内には、ＡＲアプリケーションが格納されている。そして、ＡＲアプリケーションは、カメラ１１０により撮像された撮像画像データに従って、人物１７０の動きを検出する。ＡＲアプリケーションは、検出された動きに基づいて番組コンテンツを操作し、当該番組コンテンツを、家庭内ネットワーク１８０を介してタブレット端末１５０に送信する。

次に、テレビジョン表示装置１００のハードウェア構成について説明する。図２は、本実施形態にかかるテレビジョン表示装置１００の主要な信号処理系を示すブロック図である。

ＢＳ／ＣＳデジタル放送受信用のアンテナ２４１で受信した衛星デジタルテレビジョン放送信号は、入力端子２０１を介して衛星デジタル放送用のチューナ２０２ａに供給される。

チューナ２０２ａは、制御部２０５からの制御信号により所望のチャネルの放送信号を選局し、この選局された放送信号をＰＳＫ（Ｐｈａｓｅ Ｓｈｉｆｔ Ｋｅｙｉｎｇ）復調器２０２ｂに出力する。

ＰＳＫ復調器２０２ｂは、制御部２０５からの制御信号により、チューナ２０２ａで選局された放送信号を復調し、所望の番組を含んだトランスポートストリーム（ＴＳ）を得て、ＴＳ復号器２０２ｃに出力する。

ＴＳ復号器２０２ｃは、制御部２０５からの制御信号によりトランスポートストリーム（ＴＳ）多重化された信号のＴＳ復号処理を行い、所望の番組のデジタルの映像信号及び音声信号をデパケットすることにより得たＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を信号処理部２０６内のＳＴＤバッファ（図示せず）へ出力する。

また、ＴＳ復号器２０２ｃは、デジタル放送により送られているセクション情報を信号処理部２０６内のセクション処理部（図示せず）へ出力する。

地上波放送受信用のアンテナ２４２で受信した地上デジタルテレビジョン放送信号は、入力端子２０３を介して地上デジタル放送用のチューナ２０４ａに供給される。

チューナ２０４ａは、制御部２０５からの制御信号により所望のチャネルの放送信号を選局し、この選局された放送信号をＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）復調器２０４ｂに出力する。

ＯＦＤＭ復調器２０４ｂは、制御部２０５からの制御信号により、チューナ２０４ａで選局された放送信号を復調し、所望の番組を含んだトランスポートストリームを得て、ＴＳ復号器２０４ｃに出力する。

ＴＳ復号器２０４ｃは、制御部２０５からの制御信号によりトランスポートストリーム（ＴＳ）多重化された信号のＴＳ復号処理を行い、所望の番組のデジタルの映像信号及び音声信号をデパケットすることにより得たＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を信号処理部２０６内のＳＴＤバッファへ出力する。

また、ＴＳ復号器２０４ｃは、デジタル放送により送られているセクション情報を信号処理部２０６内のセクション処理部へ出力する。

ここで、上記信号処理部２０６は、テレビ視聴時には、ＴＳ復号器２０２ｃおよびＴＳ復号器２０４ｃからそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部２０７及び音声処理部２０８に出力している。一方、番組録画時には、ＴＳ復号器２０２ｃおよびＴＳ復号器２０４ｃからそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施した信号を、制御部２０５を介して録画用記録装置（例えば、ＨＤＤ）２７０に記録している。また、信号処理部２０６は、録画番組再生時には、制御部２０５を介して録画用記録装置（例えば、ＨＤＤ）２７０から読み出された録画番組のデータに、所定のデジタル信号処理を施し、グラフィック処理部２０７及び音声処理部２０８に出力している。

制御部２０５には、信号処理部２０６から、番組を取得するための各種データ（Ｂ−ＣＡＳデスクランブル用の鍵情報等）や電子番組ガイド（ＥＰＧ）情報、番組属性情報（番組ジャンル等）、字幕情報等（サービス情報、ＳＩやＰＳＩ）が入力されている。

制御部２０５は、これら入力された情報からＥＰＧ、字幕を表示するため画像生成処理を行い、この生成した画像情報をグラフィック処理部２０７へ出力する。

また、この制御部２０５は、番組録画および番組予約録画を制御する機能を有し、番組予約受付時には、表示部２１１に電子番組ガイド（ＥＰＧ）情報を表示し、操作部２２０を介したユーザ入力による予約内容、又はカメラ１１０が撮像した撮像画像データから抽出された予約内容を、記憶部２７１に設定する。

制御部２０５は記憶部２７１に設定された予約内容に従って、設定された時刻に予約番組を録画するようチューナ２０２ａ、２０４ａ、ＰＳＫ復調器２０２ｂ、ＯＦＤＭ復調器２０４ｂ、ＴＳ復号器２０２ｃ、２０４ｃおよび信号処理部２０６を制御する。

記憶部２７１は、予約内容を記憶するほか、サムネイル記憶部２７１ａを備える。そして、サムネイル記憶部２７１ａは、録画用記録装置２７０に記憶された番組コンテンツ毎のサムネイル画像データを記憶する。

セクション処理部は、ＴＳ復号器２０２ｃ（２０４ｃ）から入力されたセクション情報の中から、番組を取得するための各種データや電子番組ガイド（ＥＰＧ）情報、番組属性情報（番組ジャンル等）、字幕情報等（サービス情報、ＳＩやＰＳＩ）を制御部２０５へ出力する。

グラフィック処理部２０７は、（１）信号処理部２０６内のＡＶデコーダ（図示せず）から供給されるデジタルの映像信号と、（２）ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）信号生成部２０９で生成されるＯＳＤ信号と、（３）データ放送による画像データと、（４）制御部２０５により生成されたＥＰＧ、字幕信号とを合成して映像処理部２１０へ出力する機能を有する。

また、字幕放送による字幕を表示するとき、グラフィック処理部２０７は、制御部２０５からの制御による字幕情報に基づき、映像信号上に字幕情報を重畳する処理を行う。

グラフィック処理部２０７から出力されたデジタルの映像信号は、映像処理部２１０に供給される。この映像処理部２１０は、入力されたデジタルの映像信号を、表示部２１１で表示可能なフォーマットのアナログ映像信号に変換した後、表示部２１１に出力して、表示部２１１の表示画面上に映像表示させる。

また、音声処理部２０８は、入力されたデジタルの音声信号を、音声出力装置２１２で再生可能なアナログ音声信号に変換した後、音声出力装置２１２に出力して音声を再生させる。

制御部２０５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０５ａと、当該ＣＰＵに作業エリアを提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０５ｂと、各種の設定情報及び制御情報等が格納される不揮発性メモリ２０５ｃと、を備え、テレビジョン表示装置１００全体を制御する。

また、この制御部２０５は、カードＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２２３を介して、第１のメモリカード２２４が装着可能なカードホルダ２２５に接続されている。これによって、制御部２０５は、カードホルダ２２５に装着された第１のメモリカード２２４と、カードＩ／Ｆ２２３を介して情報伝送することができる。

さらに、制御部２０５は、カードＩ／Ｆ２２６を介して、第２のメモリカード２２７が装着可能なカードホルダ２２８に接続されている。これにより、制御部２０５は、カードホルダ２２８に装着された第２のメモリカード２２７と、カードＩ／Ｆ２２６を介して情報伝送することができる。

また、制御部２０５は、通信Ｉ／Ｆ２２９を介して第１のＬＡＮ端子２３０に接続されている。これにより、制御部２０５は、第１のＬＡＮ端子２３０に接続されたＬＡＮ対応の機器（例えば、外付けＨＤＤ）と、通信Ｉ／Ｆ２２９を介して情報伝送することができる。

さらに、制御部２０５は、通信Ｉ／Ｆ２３１を介して第２のＬＡＮ端子２３２に接続されている。これにより、制御部２０５は、第２のＬＡＮ端子２３２に接続されたＬＡＮ対応の各種機器と、通信Ｉ／Ｆ２３１を介して情報伝送することができる。

また、制御部２０５は、ＵＳＢ Ｉ／Ｆ２３３を介してＵＳＢ端子２３４に接続されている。これにより、制御部２０５は、ＵＳＢ端子２３４に接続された各種機器と、ＵＳＢ Ｉ／Ｆ２３３を介して情報伝送することができる。

また、制御部２０５は、カメラ１１０に接続されている。これにより、制御部２０５は、カメラ１１０が撮像した撮像画像データを取得することができる。

次に、ＲＯＭ２０５ａに格納された制御プログラムのうち、番組コンテンツを制御するためのＡＲアプリケーション２０５ｄを実行した場合に行われる処理について説明する。図３は、制御部２０５で当該ＡＲアプリケーション２０５ｄを実行した場合に実現されるソフトウェア構成を示した図である。

図３に示すようにＡＲアプリケーション２０５ｄは、受信部３０１と、送信部３０２と、表示制御部３０３と、映像取得部３０４と、端末判定部３０５と、動き検出部３０６と、サムネイル重畳判定部３０７と、選択部３０８と、端末重畳判定部３０９と、抽出部３１０と、を備える。

受信部３０１は、通信Ｉ／Ｆ２２９又は通信Ｉ／Ｆ２３１からネットワークを介して接続された外部装置（例えばタブレット端末１５０）からデータを受信する。

送信部３０２は、通信Ｉ／Ｆ２２９又は通信Ｉ／Ｆ２３１からネットワークを介して接続された外部装置（例えばタブレット端末１５０）に対してデータを送信する。

表示制御部３０３は、映像処理装置２１０を介して、表示部２１１の表示制御を行う。

本実施形態においては、タブレット端末１５０からネットワーク１８０に、持ち出し要求を示すパケットがブロードキャストされた場合に、受信部３０１は、当該持ち出し要求を受信する。これにより、制御部２０５は、ＡＲアプリケーション２０５ｄを起動させる。その際に、受信部３０１は、ネットワーク１８０上でタブレット端末１５０を識別する識別情報（例えば、機器名、ＩＰアドレス又はＭＡＣアドレス）を受信する。これにより、テレビジョン表示装置１００は、タブレット端末１５０を認識できるため、テレビジョン表示装置１００及びタブレット端末１５０の間の通信が確立する。

その後、受信部３０１は、タブレット端末１５０から、当該タブレット端末１５０の外観の特徴を示した特徴情報を受信する。

特徴情報は、タブレット端末１５０の外観の特徴を識別可能な情報であればよい。特徴情報は、タブレット端末１５０の外観を撮像した撮像画像データから、抽出された情報とし、例えば撮像画像データ内で、タブレット端末１５０の特徴的な画素の位置や向きを示す関心点等を示す情報が含まれていることが考えられる。また、特徴情報のフォーマットも特に制限を設けるものではなく、様々な形式が考えられる。

映像取得部３０４は、被写体を撮像するカメラ１１０から、撮像画像データを取得する。撮像画像データは、被写体の動きを検出可能であればよく、動画像データ及び静止画像データのどちらであってもよい。

端末判定部３０５は、映像取得部３０４が取得した撮像画像データと、受信部３０１により受信された特徴情報と、に基づいて、撮像画像データに写っている被写体が、タブレット端末１５０であるか否かを判定する。図４に示す画面例では、端末判定部３０５は、表示領域４０１を、被写体であるタブレット端末１５０が写っている表示領域として判定する。

この特徴情報と、撮像画像データに写っている被写体と、の間でマッチングを行う手法は、従来から提案された手法に限らず、様々な手法を用いても良い。例えば、端末判定部３０５は、特徴情報と、撮像画像データと、の間で、（画像内の特徴的な画素の位置や向きを示す）関心点のマッチングを行うことで、撮像画像データに映っている被写体が、特徴情報が指し示すタブレット端末１５０であるか否かを判定しても良い。また、端末判定部３０５は、撮像画像データ内の関心点を検出した後、検出された関心点の位置に基づいて、被写体が映し出された角度、距離等を考慮してから、特徴情報とのマッチングを行ってもよい。これにより、検出精度を向上させることができる。

表示制御部３０３は、映像取得部３０４が取得した撮像画像データを、表示部２１１に表示する。そして、表示制御部３０３は、撮像画像データが表示された表示領域上に、番組コンテンツを表すサムネイル画像データを重畳して表示する。端末判定部３０５に撮像画像データにタブレット端末１５０が写っていると判定された場合、表示制御部３０３により表示される撮像画像データには、番組コンテンツを表すサムネイル画像データと、タブレット端末１５０を表す表示領域と、が含めて表示される。

図４は、表示制御部３０３により表示される画面例と、タブレット端末１５０と、の関係を示した図である。図４に示す例では、カメラ１１０により撮像された、タブレット端末（の表示領域）４０１と人物４０２とを含む撮像画像データが、テレビジョン表示装置１００により表示される。このように、撮像画像データには、複数の被写体（タブレット端末（の表示領域）４０１と人物４０２）が含まれている。

そして、表示制御部３０３は、録画用記録装置２７０に記録された番組コンテンツに対応するサムネイル画像データを、サムネイル記憶部２７１ａから読み出す。そして、表示制御部３０３は、読み出したサムネイル画像データ４１１、４１２、４１３、４１４を、撮像画像データ上に重畳して、一覧表示する。

動き検出部３０６は、映像取得部３０４が取得した撮像画像データに基づいて、撮像された被写体（人物）の動きを検出する。本実施形態にかかる動き検出部３０６は、複数の撮像画像データ間の差分に基づいて、被写体（人物）の動きを検出する。

動き検出部３０６による動きの検出には、例えばオプティカルフローを用いることが考えられる。オプティカルフローは、前のフレームと次のフレームとの間で点（又はピクセル）の移動をトラッキングする技術であり、密なオプティカルフローと疎なオプティカルフローとが存在する。密なオプティカルフローは、精度が高いが計算コストが高いのに対し、疎なオプティカルフローは計算コストが少ない。このため、疎なオプティカルフローを利用したいが、手などをトラッキングの対象とした場合、形や向きが一定しないためトラッキングに適した点を指定することが難しい。そこで、画像中の注目する複数の点それぞれを囲む、ある小さなウィンドウに対して動きを求めるLucas-Kanade(ＬＫ)アルゴリズムを用いることで、オプティカルフローによる手の動きを認識できる。

そして、本実施形態では、手の動きが検出された点の重心を、人物の手の位置を示す座標値とする。

そして、送信部３０２は、動き検出部３０６により検出された人物の動きに基づいて、サムネイル画像データで表された番組コンテンツを、タブレット端末１５０に送信する。具体的には、以下の処理を行う。

サムネイル重畳判定部３０７は、検出された動きから特定された人物の手の位置を表す、撮像画像データ上の座標値が、サムネイル画像データの表示領域に含まれたか否かを判定する。

選択部３０８は、サムネイル重畳判定部３０７により、人物の手の位置を表す座標値が、サムネイル画像データの表示領域に含まれたと判定された後、動き検出部３０６により予め定められた動きを検出した場合に、当該サムネイル画像データで表された番組コンテンツを、送信対象として選択を受け付ける。予め定められた動きの例としては、人物の手で（サムネイル画像データを）つまむ動きや、人物の手が下方向（タブレット端末１５０が存在する方向）に移動する動きなどがある。つまり、人物の手が横方向に移動している間は、番組コンテンツが選択されることはなく、任意のサムネイル画像データが、人物の手を示す表示領域と重畳した後、人物の手がつまむ動きをしたり、人の手がタブレット端末１５０に向けて移動した場合に、当該任意のサムネイル画像データで示された番組コンテンツが送信対象として選択される。

図５は、第１の実施形態にかかる選択部３０８で選択対象を受け付けた後に、表示制御部３０３が表示する画面例を示した図である。図５の画面例に示されるように、表示制御部３０３は、選択部３０８により選択を受け付けた番組コンテンツのサムネイル画像データを、動き検出部３０６により検出された人物の手の動きに従って移動するよう、表示する。

図５の例に示されるように、人物の手の動きに合わせて、サムネイル画像データが、表示領域５０１、５０２、５０３、５０４の順に移動表示される。

図６は、本実施形態にかかるテレビジョン表示装置１００における、人物の手の動きに従って遷移する状態を示した図である。図６に示すように、本実施形態では、初期状態６０１と、番組コンテンツをつかんでいる状態６０２と、番組コンテンツの選択待ち状態６０３と、番組コンテンツの送信開始状態６０４と、を含んでいる。

そして、初期状態６０１から、人物の手が番組コンテンツの方向に移動した場合に、番組コンテンツをつかんでいる（選択部３０８により選択を受け付けた）状態６０２に遷移する。なお、手でつまむという動きの検出した場合に、番組コンテンツをつかんでいる状態６０２に遷移してもよい。

そして、人物の手が左右方向への移動を検出した場合、番組コンテンツをつかんでいる状態６０２から、つかんでいる番組コンテンツを離し、番組コンテンツの選択待ち状態６０３に遷移する。なお、番組コンテンツをつかんでいる状態６０２又は番組コンテンツの選択待ち状態６０３から、一定時間が経過した場合、初期状態６０１に移行する。

番組コンテンツの選択待ち状態６０３から、番組コンテンツに重畳された人物の手が下方向への移動を検出した場合、番組コンテンツをつかんでいる状態６０２に遷移する。

そして、番組コンテンツをつかんでいる状態６０２において、人物の手が、タブレット端末１５０の表示領域４０１に含まれたことを検出した場合に、番組コンテンツの送信状態に遷移する。このタブレット端末１５０の表示領域４０１に含まれたか否かの判定は、端末重畳判定部３０９が行う。

端末重畳判定部３０９は、人の手の動きに合わせてサムネイル画像データが移動表示されている際に、動き検出部３０６により検出された人の手の位置を表す座標値が、タブレット端末１５０が写っている表示領域４０１に含まれたか否かを判定する。

そして、送信部３０２は、人の手の位置を示す座標値が、タブレット端末１５０が写っている表示領域４０１に含まれたと判定された場合に、人の手の動きに合わせて移動表示していたサムネイル画像データで示される番組コンテンツを、表示領域４０１に写っているタブレット端末１５０に対して送信する。送信先は、受信した識別情報（例えば、機器名、ＩＰアドレス又はＭＡＣアドレス）を用いる。

図７は、第１の実施形態にかかる送信部３０２により番組コンテンツを、タブレット端末１５０に送信している例を示した図である。図７に示すように、タブレット端末１５０が写っている表示領域４０１に人の手を表す座標位置が含まれた場合に、送信部３０２が、選択部３０８で選択を受け付けた番組コンテンツを、タブレット端末１５０に送信する。その際に、タブレット端末１５０は、番組コンテンツの受信が開始されたことを示すメッセージ７０２を表示する。その際に、タブレット端末１５０は、番組コンテンツを表す画像データ７０１を表示する。

ところで、タブレット端末１５０では、出荷される際に、持ち出しアプリケーションを予めインストールしておく。この場合、タブレット端末１５０は、テレビジョン表示装置１００等が画像データに自装置が写っているか否かを認識するための特徴情報を、予め記憶装置（例えばＨＤＤやＳＳＤ）に記憶しておくことができる。

一方で、アプリケーション提供者は、持ち出しアプリケーションを、ネットワークを介して配信したり、パッケージとして販売してもよい。この場合、タブレット端末１５０等に持ち出しアプリケーションがインストールされた際、テレビジョン表示装置１００等を利用して特徴情報を取得する必要がある。本実施形態にかかるテレビジョン表示装置１００は、特徴情報をタブレット端末１５０に送信するために抽出部３１０を備える。

そして、受信部３０１が、タブレット端末１５０から特徴情報の取得要求を受信した場合に、抽出部３１０は、映像取得部３０４が取得した撮像画像データから、カメラ１１０の前に配置された被写体（例えばタブレット端末１５０）の外観を示す特徴情報を抽出する。

送信部３０２は、抽出部３１０により抽出された特徴情報を、特徴情報の取得要求を送信してきた通信装置（例えばタブレット端末１５０）に送信する。

次に、本実施の形態にかかるテレビジョン表示装置１００からタブレット端末１５０に番組コンテンツを送信する際の処理について説明する。図８は、本実施の形態にかかるテレビジョン表示装置１００及びタブレット端末１５０における、番組コンテンツを送受信する際の処理の手順を示すフローチャートである。

まず、タブレット端末１５０が、ユーザの操作に従って、持ち出しアプリケーションを起動する（ステップＳ１１０１）。次に、持ち出しアプリケーションが、持ち出し要求を示すパケットをブロードキャストする（ステップＳ１１０２）。

そして、テレビジョン表示装置１００の受信部３０１が、タブレット端末１５０からの持ち出し要求を受信する（ステップＳ１１１１）。

テレビジョン表示装置１００は、持ち出し要求に含まれていたＩＰアドレス又はＭＡＣアドレスにより、持ち出し要求の送信先（タブレット端末１５０）を特定できる。そして、テレビジョン表示装置１００とタブレット端末１５０との間の通信が確立した後、タブレット端末１５０が、テレビジョン表示装置１００に対して特徴情報を送信する。そして、タブレット端末１５０が、当該特徴情報を受信する。本実施形態では、持ち出し要求と、特徴情報と、をそれぞれ分けて送信したが、これらをまとめて送信しても良い。

その後、テレビジョン表示装置１００は、ＡＲアプリケーション２０５ｄと共に、カメラ１１０を起動する。そして、カメラ１１０が、テレビジョン表示装置１００の正面領域を撮影する状態に移行する。

次に、ＡＲアプリケーション２０５ｄの映像取得部３０４が、カメラ１１０からの撮像画像データの取得を開始する（ステップＳ１１１２）。

そして、端末判定部３０５が、特徴情報と、撮像画像データと、に基づいて、撮像画像データにタブレット端末１５０が含まれているか否かを判定する（ステップＳ１１１３）。タブレット端末１５０が含まれていないと判定した場合（ステップＳ１１１３：Ｎｏ）、処理を終了する。

一方、端末判定部３０５が、撮像画像データにタブレット端末１５０が含まれていると判定した場合（ステップＳ１１１３：Ｙｅｓ）、テレビジョン表示装置１００は、タブレット端末１５０を番組コンテンツの送信先として認識する。そして、動き検出部３０６が、撮像画像データに基づいて、人物の手の動きの検出を開始する（ステップＳ１１１４）。

そして、表示制御部３０３は、サムネイル記憶部２７１ａから、サムネイル画像データを読み出して、サムネイル画像データの一覧を、撮像画像データの上部に重畳して、表示を開始する（ステップＳ１１１５）。

そして、サムネイル重畳判定部３０７が、検出された人物の手の位置を示す座標値が、サムネイル画像データの表示領域に含まれたか否かを判定する（ステップＳ１１１６）。含まれていない場合（ステップＳ１１１６：Ｎｏ）、再びステップＳ１１１６から処理を行う。

その後、動き検出部３０６は、検出された人の手が、下方向に移動しているか否かを判定する（ステップＳ１１１７）。下方向に移動していない場合、例えば左右方向に移動している場合（ステップＳ１１１７：Ｎｏ）、再びステップＳ１１１６から処理を行う。なお、下方向に移動ではなく、手のつかむ動作でもよい。

一方、動き検出部３０６が、下方向に移動したと判定した場合（ステップＳ１１１７：Ｙｅｓ）、選択部３０８は、ステップＳ１１１６で人の手の位置を示す座標値を、最後に含んだサムネイル画像データを、移動対象として選択を受け付ける（ステップＳ１１１８）。これにより、ユーザは、サムネイルの一覧からコンテンツを選択できる。

その後、端末重畳判定部３０９は、動き検出部３０６により検出された人の手の位置を表す座標値が、タブレット端末１５０が写っている表示領域４０１に含まれたか否かを判定する（ステップＳ１１１９）。含まれなかったと判定された場合（ステップＳ１１１９：Ｎｏ）、再びステップＳ１１１９から処理を行う。

一方、端末重畳判定部３０９が、人の手の位置を表す座標値が、タブレット端末１５０が写っている表示領域４０１に含まれたと判定した場合（ステップＳ１１１９：Ｙｅｓ）、送信部３０２が、選択部３０８により選択を受け付けたサムネイル画像データが指し示す番組コンテンツを、タブレット端末１５０に送信する（ステップＳ１１２０）。

これにより、タブレット端末１５０は、番組コンテンツを受信する（ステップＳ１１０３）。

上述したようにタブレット端末１５０に持ち出しアプリケーションをインストールした場合に、タブレット端末１５０は、テレビジョン表示装置１００から特徴情報を取得する必要がある。

次に、本実施の形態にかかるタブレット端末１５０がテレビジョン表示装置１００から特徴情報を取得する際の処理について説明する。図９は、本実施の形態にかかるテレビジョン表示装置１００及びタブレット端末１５０における、特徴情報を送受信する際の処理の手順を示すフローチャートである。

まず、タブレット端末１５０は、ユーザの操作に従って、持ち出しアプリケーションを起動する（ステップＳ８０１）。その後、持ち出しアプリケーションから、タブレット端末１５０の前に存在するテレビジョン表示装置１００に対して特徴情報取得要求を送信する（ステップＳ８０２）。この特徴情報取得要求は、例えば、持ち出しアプリケーションの表示画面上に配置された、“特徴情報の取得要求”ボタンを、ユーザが押下した場合に行う等が考えられる。

そして、テレビジョン表示装置１００の受信部３０１が、タブレット端末１５０からの特徴情報取得要求を受信する（ステップＳ８１１）。そして、テレビジョン表示装置１００は、持ち出し要求に含まれていたＩＰアドレス又はＭＡＣアドレスにより、特徴情報取得要求の送信先（タブレット端末１５０）を特定できる。そして、テレビジョン表示装置１００とタブレット端末１５０との間の通信を確立する。

その後、テレビジョン表示装置１００は、ＡＲアプリケーション２０５ｄと共に、カメラ１１０を起動する。そして、カメラ１１０が、テレビジョン表示装置１００の正面領域を撮影する状態に移行する。

次に、ＡＲアプリケーション２０５ｄの映像取得部３０４が、カメラ１１０からの撮像画像データの取得を開始する（ステップＳ８１２）。

そして、抽出部３１０は、撮像画像データから、タブレット端末１５０の輪郭を検出する（ステップＳ８１３）。その後、抽出部３１０は、タブレット端末１５０の特徴情報を抽出する（ステップＳ８１４）。

その後、送信部３０２が、抽出した特徴情報を、タブレット端末１５０に送信する（ステップＳ８１５）。

そして、タブレット端末１５０が特徴情報を受信する（ステップＳ８０３）。次に、タブレット端末１５０は、受信した特徴情報を、記憶装置に記憶する（ステップＳ８０４）。

上述した処理手順により、タブレット端末１５０は特徴情報を取得できる。これによりタブレット端末１５０は、特徴情報を用いた番組コンテンツの持ち出し要求を行うことができる。

本実施形態では、ＡＲ（拡張現実）上で、表示されたタブレット端末に、番組コンテンツをドラッグするだけで、実際にタブレット端末に番組コンテンツが送信されるため、ユーザに対して直感的な操作を提供できる。

機器間で番組コンテンツを受け渡す際、従来はテレビジョン表示装置に表示された文字やアイコンを参照して、どの機器からどの機器に送信するのか操作を行っていた。これに対し、上述した実施形態では、実際に表示画面上に映し出された転送先の通信端末に、番組コンテンツを示すサムネイルをドラッグすることで、実際の転送が開始されるため、直感的な操作が可能となる。これにより、ユーザは、コンテンツの受け渡しが容易となる。

さらに、従来技術では、通信端末に内蔵されたカメラにより撮像された画像データを、表示パネル上に表示させると、カメラ中に写った物体を認識し、その上に情報を付加提示していた。しかしながら、従来技術では、カメラ越しに映し出された物体（上述したタブレット端末１５０）にフィードバックを返すというものではなかった。これに対し、上述した実施形態では、カメラ１１０で撮影された通信端末にもフィードバックをかけることが可能となる。

（第２の実施形態）
第１の実施形態では、カメラ１１０に撮像されたタブレット端末１５０に対して番組コンテンツを送信する例について説明した。しかしながら、カメラ１１０で撮像されている装置に番組コンテンツの送信先を制限するものではない。そこで、第２の実施形態では、予め登録された装置から、番組コンテンツの送信先を選択する技術について説明する。

図１０は、第２の実施形態にかかるテレビジョン表示装置９００に表示された画面例を示す図である。図１０に示すように、テレビジョン表示装置９００においては、サムネイル画像データ４１１、４１２、４１３、４１４の他に、送信可能な通信機器の画像データ（以下、端末画像データと称す）９０１、９０２が重畳して表示されている。

図１１は、第２の実施の形態にかかる制御部２０５でＡＲアプリケーション１０００を実行した場合に実現されるソフトウェア構成を示した図である。本実施の形態にかかるＡＲアプリケーション１０００は、上述した第１の実施の形態にかかるＡＲアプリケーション２０５ｄとは、端末判定部３０５、抽出部３１０が削除され、表示制御部３０３と処理が異なる表示制御部１００１に変更され、端末重畳判定部３０９と処理が異なる端末重畳判定部１００２に変更されている点で異なる。以下の説明では、上述した第１の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。また、本実施形態にかかる記憶部２７１は、さらに、端末情報記憶部１０１１を記憶している。

図１２は、第２の実施形態にかかる端末情報記憶部１０１１のテーブル構造を示した図である。図１２に示すように端末情報記憶部１０１１は、端末画像データと、機器名と、を対応付けて記憶している。本実施形態にかかるネットワークにおいては、機器名から、ＩＰアドレスを取得できる。端末画像データは、番組コンテンツを送信可能な通信機器を表す際に用いられる。

表示制御部１００１は、第１の実施形態と同様、映像処理装置２１０を介して、表示部２１１の表示制御を行う。本実施形態にかかる表示制御部１００１は、端末情報記憶部１０１１に記憶された端末画像データを読み出して、当該端末画像データが配置された図１０に示す画面例を表示する点で、第１の実施形態の表示制御部３０３と異なる。

このように本実施形態にかかるテレビジョン表示装置９００では、転送先の機器について端末情報記憶部１０１１に予め登録しておく例とする。

端末重畳判定部１００２は、人の手の動きに合わせてサムネイル画像データが移動表示されている際に、動き検出部３０６により検出された人の手の位置を表す座標値が、端末画像データに含まれたか否かを判定する。

そして、送信部３０２は、人の手の位置を示す座標値が、端末画像データに含まれたと判定された場合に、当該端末画像データと対応付けられた機器名の通信端末に対して、人の手の動きに合わせて移動表示していたサムネイル画像データで示される番組コンテンツを送信する。

次に、本実施の形態にかかるテレビジョン表示装置９００からタブレット端末１５０に番組コンテンツを送信する際の処理について説明する。図１３は、本実施の形態にかかるテレビジョン表示装置９００が番組コンテンツを送信する際の処理の手順を示すフローチャートである。

まず、テレビジョン表示装置９００では、持ち出し開始の操作を受け付ける（ステップＳ１３０１）なお、第１の実施形態と同様に、タブレット端末１５０等から、持ち出し要求を受信しても良い。

次に、テレビジョン表示装置９００は、ＡＲアプリケーション１０００を起動すると共に、カメラ１１０を起動する。そして、カメラ１１０が、テレビジョン表示装置９００の正面領域を撮影する状態に移行する。

次に、ＡＲアプリケーション１０００の映像取得部３０４が、カメラ１１０からの撮像画像データの取得を開始する（ステップＳ１３０２）。

そして、動き検出部３０６が、撮像画像データに基づいて、人物の手の動きの検出を開始する（ステップＳ１３０３）。

その後、表示制御部１００１は、端末情報記憶部１０１１から端末画像データを読み出して、通信端末を示す端末画像データを、撮像画像データの下部に重畳して、表示を開始する（ステップＳ１３０４）。

さらに、表示制御部１００１は、サムネイル記憶部２７１ａから、サムネイル画像データを読み出して、サムネイル画像データの一覧を、撮像画像データの上部に重畳して、表示する（ステップＳ１３０５）。

そして、サムネイル重畳判定部３０７が、検出された人物の手の位置を示す座標値が、サムネイル画像データの表示領域に含まれたか否かを判定する（ステップＳ１３０６）。含まれていない場合（ステップＳ１３０６：Ｎｏ）、再びステップＳ１３０６から処理を行う。

一方、サムネイル重畳判定部３０７が、検出された人物の手の位置を示す座標値が、サムネイル画像データの表示領域に含まれたと判定した場合（ステップＳ１３０６：Ｙｅｓ）、動き検出部３０６は、検出された人の手が、下方向に移動しているか否かを判定する（ステップＳ１３０７）。下方向に移動していない場合、例えば左右方向に移動している場合（ステップＳ１３０７：Ｎｏ）、再びステップＳ１１１６から処理を行う。なお、下方向に移動ではなく、手のつかむ動作でもよい。

一方、動き検出部３０６が、下方向に移動したと判定した場合（ステップＳ１３０７：Ｙｅｓ）、選択部３０８は、ステップＳ１１１６で人の手の位置を示す座標値を、最後に含んだサムネイル画像データを、移動対象として選択を受け付ける（ステップＳ１３０８）。これにより、ユーザは、サムネイルの一覧からコンテンツを選択できる。

その後、端末重畳判定部１００２は、動き検出部３０６により検出された人の手の位置を表す座標値が、端末画像データの表示領域９０１、９０２に含まれたか否かを判定する（ステップＳ１３０９）。含まれなかったと判定された場合（ステップＳ１３０９：Ｎｏ）、再びステップＳ１３０９から処理を行う。

一方、端末重畳判定部１００２が、人の手の位置を表す座標値が、端末画像データの表示領域９０１、９０２に含まれたと判定した場合（ステップＳ１３０９：Ｙｅｓ）、送信部３０２が、選択部３０８により選択を受け付けたサムネイル画像データが指し示す番組コンテンツを、通信端末に送信する（ステップＳ１３１０）。なお、送信先となる通信端末は、端末画像データと対応付けられた機器名が指し示す通信端末とする。

このように、第２の実施形態においては、通信端末が、カメラ１１０に撮像されていなくとも、第１の実施形態と同様の効果を得ることができる。

上述した実施形態にかかるテレビジョン表示装置では、カメラ１１０で撮影した撮像映像データを表示することで、操作をしている自分の姿と、操作対象となる番組コンテンツと、が画面上に重畳されて表示される。これにより、ユーザは、どのような操作をしようとしているのか視認できるため、直感的に理解しやすい。

さらには、ユーザは、テレビジョン表示装置に記憶された番組コンテンツの操作だけでなく、タブレット端末などの通信端末に対して番組コンテンツを受け渡すことができるため、テレビジョン表示装置及び通信端末の利用を容易にすることができる。

上述した実施形態のテレビジョン表示装置で実行されるＡＲアプリケーションは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、上述した実施形態のテレビジョン表示装置で実行されるＡＲアプリケーションを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施形態のテレビジョン表示装置で実行されるＡＲアプリケーションをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、上述した実施形態のＡＲアプリケーションを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

上述した実施形態のテレビジョン表示装置で実行されるＡＲアプリケーションは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からＡＲアプリケーションを読み出して実行することにより上記各部がＲＡＭ２０５ｂ上にロードされ、がＲＡＭ２０５ｂ上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，９００…テレビジョン表示装置、１１０…カメラ、１５０…タブレット端末、１６０…無線ルータ、１８０…ネットワーク、２０５ｄ，１０００…ＡＲアプリケーション、２７０…録画用記録装置、２７１…記憶部、２７１ａ…サムネイル記憶部、３０１…受信部、３０２…送信部、３０３，１００１…表示制御部、３０４…映像取得部、３０５…端末判定部、３０６…動き検出部、３０７…サムネイル重畳判定部、３０８…選択部、３０９，１００２…端末重畳判定部、３１０…抽出部、１０１１…端末情報記憶部

Claims (5)

1. 被写体を撮像する撮像装置から、撮像画像を取得する取得手段と、
   前記取得手段が取得した前記撮像画像の表示領域内に、データを指し示すサムネイル画像を含めて表示手段に表示する表示制御手段と、
   前記取得手段が取得した前記撮像画像に基づいて、前記撮像画像に写っている第１の被写体の動きを検出する検出手段と、
   自装置からデータの送信可能な通信装置から、ネットワーク上で前記通信装置を識別する識別情報と、前記通信装置の外観の特徴を示した特徴情報と、を受信する受信手段と、
   前記取得手段により取得された前記撮像画像と、前記受信手段により受信された前記特徴情報と、に基づいて、前記撮像画像に写っている第２の被写体が、前記通信装置であるか否かを判定する装置判定手段と、
   前記装置判定手段により前記第２の被写体が前記通信装置であると判定された場合、前記検出手段により前記動きが検出された前記第１の被写体を示す第１の座標値が、前記第２の被写体の表示領域内に含まれたか否かを判定する第１の判定手段と、
   前記第１の判定手段により前記第１の座標値が前記第２の被写体の表示領域内に含まれたと判定された場合に、前記サムネイル画像が指し示すデータを、前記識別情報で識別される前記通信装置に送信する送信手段と、
   を備える表示装置。
2. 前記検出手段により前記動きが検出された前記第１の被写体を示す第２の座標値が、前記サムネイル画像の表示領域に含まれたか否かを判定する第２の判定手段を、さらに備え、
   前記送信手段は、前記第１の判定手段による判定の前に、前記第２の判定手段により前記第２の座標値が含まれたと判定された前記サムネイル画像が指し示すデータを、前記通信装置に送信する、
   請求項１に記載の表示装置。
3. 前記送信手段は、前記第２の判定手段により、前記第２の座標値が、前記サムネイル画像の表示領域に含まれたと判定された後、前記検出手段が所定の動きを検出した場合に、当該サムネイル画像が指し示すデータを、前記通信装置に送信する、
   請求項２に記載の表示装置。
4. 前記取得手段が取得した撮像画像から、前記通信装置の外観を示す特徴情報を抽出する抽出手段を、さらに備え、
   前記送信手段は、さらに、前記特徴情報を、前記通信装置に送信する、
   請求項２に記載の表示装置。
5. 表示装置で実行される情報送信方法であって、
   取得手段が、被写体を撮像する撮像装置から、撮像画像を取得する取得ステップと、
   表示制御手段が、前記取得ステップが取得した前記撮像画像の表示領域内に、データを指し示すサムネイル画像を含めて表示手段に表示する表示制御ステップと、
   検出手段が、前記取得ステップが取得した前記撮像画像に基づいて、前記撮像画像に写っている第１の被写体の動きを検出する検出ステップと、
   受信手段が、自装置からデータの送信可能な通信装置から、ネットワーク上で前記通信装置を識別する識別情報と、前記通信装置の外観の特徴を示した特徴情報と、を受信する受信ステップと、
   装置判定手段が、前記取得ステップにより取得された前記撮像画像と、前記受信ステップにより受信された前記特徴情報と、に基づいて、前記撮像画像に写っている第２の被写体が、前記通信装置であるか否かを判定する装置判定ステップと、
   第１の判定手段が、前記装置判定ステップにより前記第２の被写体が前記通信装置であると判定された場合、前記検出ステップにより前記動きが検出された前記第１の被写体を示す第１の座標値が、第２の被写体の表示領域内に含まれたか否かを判定する第１の判定ステップと、
   送信手段が、前記第１の判定ステップにより前記第２の被写体の表示領域内に含まれたと判定された場合に、前記サムネイル画像が指し示すデータを、前記識別情報で識別される前記通信装置に送信する送信ステップと、
   を含むことを特徴とする情報送信方法。

Images