〔実施形態1〕
本発明の一実施形態について、図面に基づいて説明すれば以下の通りである。
(操作システム)
はじめに、本実施形態に係る操作システム1の構成について、図2に基いて説明する。
図2は、操作システム1の概略構成を示す概略構成図である。図2に示したように、操作システム1は、少なくとも、画像データを受信する画像データ受信装置100と、画像データ受信装置100を操作する操作装置200とを含んで構成される。
操作システム1において、画像データ受信装置100は、テレビジョン受像機(以下、テレビと略記)として実現される。そこで、以下では、画像データ受信装置100を、テレビ100と呼称する。テレビ100は、放送コンテンツを受信して表示するといったテレビとしての基本機能の他に、少なくとも、画像データを受信する画像データ受信機能を有している。なお、テレビ100は、通常、ユーザの宅内に設置されることが想定される。
また、操作システム1において、操作装置200は、携帯電話端末として実現される。そこで、以下では、操作装置200を、携帯電話端末200と呼称する。携帯電話端末200は、他の携帯電話端末との間で音声通話を行うなどといった携帯電話としての基本機能の他に、少なくとも、画像データを送信する画像データ送信機能を有している。なお、携帯電話端末200は、通常、テレビ100の近傍にいるユーザにより保持されることが想定される。
テレビ100と携帯電話端末200とは、少なくとも、携帯電話端末200からテレビ100に対して画像データを転送できるように構成されている。この画像データの転送には、例えば、IrSimple(登録商標)のような高速赤外線通信プロトコルや、Bluetooth(登録商標)のような近距離用無線通信プロトコルが適している。IrSimpleにより画像データを高速に伝送するIrSimpleShot(登録商標)を用いた場合、画像データの転送速度は4Mbpsに達する。このため、携帯電話端末200からテレビ100に向けて、画像データを瞬時に転送することができる。
なお、テレビ100と携帯電話端末200とを接続する接続手段による使い勝手の低下を考慮する必要がなければ、テレビ100と携帯端末200とを導線や光ファイバなどの接続手段により接続し、当該接続手段を介した有線通信により画像データを転送してもよい。
後に詳述するように、携帯電話端末200は、テレビ100に対して操作用画像データ500を送信することができる。操作用画像データ500は、JPEG形式やTIFF形式などの一般的なフォーマットを有する通常の画像データであるが、テレビ100が実行するべき処理を指定した処理指定情報を内包している。一方、テレビ100は、携帯電話端末200から受信した操作用画像データ500に格納されている処理指定情報により指定された処理を、操作用画像データ500を受信した時点で直ちに実行する。
したがって、携帯電話端末200は、実行させたい処理を指定する処理指定情報が格納された操作用画像データ500をテレビ100に転送することで、テレビ100に所望の処理を実行させることができる。すなわち、携帯電話端末200は、テレビ100を遠隔操作するリモートコントローラとして機能する。たとえば、テレビ100に表示されている画像を右に90度回転させたい場合、ユーザは、図2に示されているように、「画像を右に90度回転させる」という画像処理を指定する処理指定情報が格納された操作用画像データ500を、携帯電話端末200からテレビ100に送信すればよい。
テレビ100を制御するための処理指定情報は、上述したとおり、画像データに格納されてテレビ100に転送される。したがって、テレビ100を制御するためには、テレビ100に画像データを転送するための伝送路さえ存在すれば十分である。換言すれば、画像データを転送するための伝送路を使ってテレビ100に画像データを転送可能な装置であれば、基本的にはどんな装置であってもテレビ100を操作するリモートコントローラとして機能させることができる。この結果、本発明にはこれまで提供されている様々な画像データ取得の方法、例えばインターネットからの画像ダウンロード、メールへの画像添付、バーコードリーダによるインターネットからの画像ダウンロード、他の携帯電話からの画像転送などを変更することなく活用できるという特徴がある。
なお、テレビ100は、携帯電話端末200とは別に、通常の赤外線リモコンによっても操作可能であってもよい。しかしながら、操作システム1では、携帯電話端末200によってテレビ100を操作することができるので、たとえば、携帯電話端末200からテレビ100に写真を送信して表示させ、テレビ100に表示されたその写真を90度回転させるといったユースケースにおいて、ユーザは、携帯電話端末200だけを用いてテレビ100を自在に操作することが可能になる。
なお、本実施形態に係る操作システム1において、操作装置により操作される画像データ受信装置はテレビ100として実現されているが、本発明はこれに限定されるものではない。すなわち、テレビ100を、画像データ受信機能を有する任意の装置に置き換えても、本発明に係る操作システムを構成することができる。一例としては、画像データを受信し、受信した画像データを印刷するプリンタを操作する操作システムを構成することも可能である。
また、本実施形態に係る操作システム1において、画像データ受信装置を操作する操作装置は携帯電話端末200として実現されているが、本発明はこれに限定されるものではない。すなわち、携帯電話端末200を、画像データ送信機能を有する任意の装置に置き換えても、本発明に係る操作システムを構成することができる。一例としては、画像データ送信機能を有するデジタルカメラを操作装置として用いる操作システムを構成することも可能である。
なお、以上のような画像データ受信装置、例えば、テレビやプリンタを製品として出荷する際には、当該製品を制御するための操作用画像をまとめたCD−ROMやメモリカードを同梱し、ユーザの便宜を図ることが有効である。
(操作用画像データ)
次に操作システム1において、携帯電話端末200からテレビ100に転送される操作用画像データ500のデータ構造について、図3〜6に基づいて説明する。
図3は、操作用画像データ500のデータ構造を概略的に示したデータ構造図である。図3に示したように、操作用画像データ500は、概略的に言えば、画像領域510と、EXIF領域520とを含んで構成された、JPEG形式の画像データである。
画像領域510は、表示するべき画像情報を圧縮して格納するための領域である。一方、EXIF領域520は、画像領域510に格納された画像情報に関するメタ情報を格納するための領域である。このEXIF領域520には、デジタルカメラなどの製造メーカが仕様を自由に定めて利用することができる、メーカノート領域521が含まれている。また、EXIF領域520には、画像領域510に格納されている主画像を縮小してなるサムネイル画像を格納するためのサムネイル画像領域522が含まれている。
テレビ100を操作するために用いられる操作用画像データ500は、上述したメーカノート領域521に処理指定情報を格納することにより実現される。
なお、画像領域510やサムネイル画像領域522には、メーカノート領域521に格納されている処理指定情報に指定より指定された処理を表現した画像、すなわち、いわゆるアイコン画像が格納されていてもよい。これにより、携帯電話端末200において、操作用画像データ500を通常と画像データと同様に表示した場合、当該操作用画像データ500に格納されている処理が何であるかということをユーザに提示することが可能になる。
ただし、画像領域510やサムネイル画像領域522には、通常の画像データと全く同様に、表示するべき写真などの画像情報を格納してもよい。この場合には、当該操作用画像データ500を受信したテレビ100において、当該操作用画像データ500の画像(画像領域510に格納されている画像情報)を表示するとともに、その画像に対して当該操作用画像データの処理指定情報により指定される画像処理を施すことなどが可能になる。
操作用画像データ500の主要な特徴は、メーカノート領域521に格納されている処理指定情報である。そこで、図4に基づいて、メーカノート領域521の構成をもう少し詳しく説明する。
図4は、上述したメーカノート領域521の構成を示した図である。メーカノート領域521は、1バイト毎に分割された複数の小領域(先頭から順に領域0、領域1、領域2、…)から構成されている。図4に基づいて、メーカノート領域521の各小領域に格納される情報について説明すれば、以下のとおりである。
領域0〜12には、メーカノート領域521が処理指定情報を含んでいることを宣言する識別コード(ここでは、文字列“TV CONTROL”)が格納される。
領域13〜14にはメーカコードが格納され、領域15の下位4ビットにはシステムコードが格納され、領域16には機器コードが格納される。メーカコード、システムコード、および機器コードにより、操作対象装置(ここではテレビ100)が指定される。なお、これらのコードと操作対象装置との間の関連付けには、たとえば、赤外線リモコンにおいて従来用いられている関連付けをそのまま流用することができる。
メーカノート領域521は、操作対象装置において、リモコン互換モード、表示制御モード、URIモード、または、アプリケーションモードのうちの何れか1つのモードで参照される。領域15の上位4ビットは、これらの4つのモードのうち、何れのモードでメーカノート領域521を参照すべきかを指定するために充てらる。領域15の上位4ビットに格納される値とモードとの対応関係は、図4に例示されているとおりである。
領域17〜18には、リモコン互換モードまたは表示制御モードにおいて参照されるコマンドコードが格納される。領域17〜18に格納されるコマンドコードは、操作対象装置が実行するべき処理を指定した2バイトのコードである。各コマンドコードは、予め何らかの処理に対応付けられている。
リモコン互換モードと表示制御モードとでは、コマンドコードと処理との対応付けが異なる。すなわち、1つのコマンドコードが、リモコン互換モードと表示制御モードとで、異なる処理を指定し得る。このため、操作対象装置は、領域15の上位4ビットを参照することによりモードをまず特定し、特定したモードでコマンドコードを解釈することにより、そのコマンドコードにより指定される処理を特定する。
図5は、コマンドコードと、表示制御モードにおいて各コマンドコードに関連付けられた処理とを一覧した図である。
図5に示したように、たとえば、コマンドコード0059(16進数表示)は、表示制御モードにおいて、画像を現在の表示状態から相対的に90°左回転する処理を指定しているものと解釈される。また、コマンドコード005Bは、画像を現在の表示状態から相対的に270°左回転(すなわち90°右回転)する処理を指定いるものと解釈される。
図5において、コマンドコード001x〜004xは、xによって示される倍率で画像を拡大あるいは縮小する処理を指定するコマンドコードである。これらのコマンドコードにおけるxの値と倍率との対応関係は図6に示したとおりである。たとえば、コマンドコード0044(16進数表示)は、画像が表示画面全体を覆うように表示されるという条件の下で、画像の表示サイズを最小化する画像処理を指定している。また、コマンドコード0034は、表示画面内に画像全体が表示されという条件の下で、画像の表示サイズを最大化する処理を指定している。
なお、リモコン互換モードにおける、コマンドコードと処理との関連付けには、従来の赤外線リモコンにおける操作信号と処理の対応付けが流用される。したがって、従来の赤外線リモコンにて制御可能な処理は、すべて、コマンドコードとして指定することができる。
領域21には、データサイズが可変な拡張データが格納される。領域21に先行する領域19〜20は、この拡張データのデータサイズを指定するために充てられる。拡張データとして領域21に格納される情報としては、まず、URLモードにおいて参照されるURL(Uniform Resource Locator)が挙げられる。
たとえば、拡張データとして領域21に「http://www.sharp.co.jp\0」というURLが格納された場合、拡張データのデータサイズとして23(十進数表示)が領域19〜20に格納される。なお、拡張データとして格納されるURLには、URLの終端を示す文字コード0の文字(\0で表記)が末尾に付加される。領域19〜20に格納されるデータサイズは、この文字コード0の文字も含めてカウントした、拡張データのデータサイズである。
また、アプリケーションモードにおいて参照されるアプリケーション名とそのアプリケーションに与える引数も、領域21に拡張データとして格納することができる。一例としては、「tv-album」というアプリケーション名と、「1234333398762345」という引数とを、拡張データ「tv-album\01234333398762345\0」として領域21に格納することが考えられる。ここでは、文字コード0の文字が、アプリケーション名の終端と、引数の終端とに付加されている。この場合も、文字コード0の文字も含めた拡張データのデータサイズである26(十進数表示)が領域19〜21に格納される。
なお、ここに例示した「tv-album」という名称のアプリケーションは、ネットワークアルバムサービスを利用するためのアプリケーションである。そして、当該アプリケーションに与えられる引数は、ネットワークアルバムサービスにおいて、閲覧対象とするアルバムを指定するためのアルバムIDである。なお、ここで言及したネットワークアルバムサービスについては、後述するテレビ100の説明において、もう少し詳しく述べる。
なお、以上では、説明の便宜上、操作用画像データはJPEG形式の画像データであるものとしたが、操作用画像データは、処理指定情報が格納し得る形式の画像データであれば何でもよく、たとえば、TIFF形式の画像データに上記メーカノート領域521を埋め込んで構成されたものであってもよい。また、PNG(Portable Network Graphics)形式の画像データのテキストチャンクに、処理指定情報を格納埋め込むことにより実現されたものであってもよい。
(画像データ受信装置)
次に、画像データ受信装置100、すなわち、テレビ100の構成について、図1に基づいて説明する。
図1は、テレビ100の要部構成を示したブロック図である。図1に示したように、テレビ100は、記憶部101、デコード部102、画像処理部(画像処理手段)103、表示部104、画像データ受信部(画像データ受信手段)105、処理指定情報抽出部106、および、制御部(制御手段)107を含んで構成されている。
テレビ100は、記憶部101に格納されている画像データに含まれる画像を表示部104に表示する画像表示機能を有している。この画像表示機能は、記憶部101、デコード部102、画像処理部103、および、表示部104の協働により実現される。
記憶部101は、画像データを格納するための手段であり、例えば、RAM(random access memory)により構成される。なお、記憶部101は、フラッシュメモリなど、不揮発性のメモリにより構成されていてもよい。また、記憶部101は、テレビ100に固定的に内蔵されたものであってもよいし、SDカードのように、テレビ100に取り付けられている、取り外し可能なメモリ(メモリカード)であってもよい。
デコード部102は、画像データに含まれる画像情報を展開するための手段である。より具体的には、記憶部101に格納されている画像データに含まれている圧縮(あるいは符号化)された画像情報を読み出して、読み出した画像情報を直ちに表示可能な形式に展開(あるいは復号)する。デコード部102は、JPEG形式やTIFF形式など各種形式の画像データに対応しており、展開対象となる画像データの形式に応じた展開処理を実行する。画像処理部103にて展開された画像情報は、画像処理部103に供給される。
画像処理部103は、画像データに含まれる画像情報を、画像処理により加工するための手段である。より具体的には、デコード部102から供給される展開済みの画像情報を、画像の回転、拡大、縮小、上下反転、左右反転、スクロール、色調変更、モノクロ化、フェードイン、フェードアウト、などの画像処理により加工する。画像処理部103が実行する画像処理は、後述するように、制御部107からの指示に応じて選択される。画像処理部103にて加工された画像は、表示部104に供給される。
表示部104は、画像データに含まれる画像情報を表示するための手段である。より具体的には、画像処理部103から供給される加工済みの画像情報を表示する。表示部104は、例えば、液晶表示パネルにより構成される。なお、表示部104は、ブラウン管など他の表示デバイスにより構成されていてもよい。ただし、表示デバイスとして大型の液晶表示パネルを用いることで、写真などの高精細画像を鮮明に表示することができる。
また、テレビ100は、以上のような画像表示機能を、受信した画像データに基づいて制御する画像表示制御機能を有している。この画像表示制御機能は、画像データ受信部105、処理指定情報抽出部106、および、制御部107の協働により実現される。
画像データ受信部105は、携帯電話端末200から送信された画像データを受信するための手段である。より具体的には、画像データ受信部105は、携帯電話端末200から発せられた赤外線を受光して電気信号に変換する赤外線受光部を含んで構成されており、該赤外線受光部にて得られた電気信号を所定の赤外線通信プロトコル(たとえばIrSimple)に従ってデジタルデータに変換することにより、携帯電話端末200から送信された画像データを得る。画像データ受信部105が受信した画像データは、記憶部101に格納される。
処理指定情報抽出部106は、画像データ受信部105が受信した画像データから処理指定情報を抽出するための手段である。具体的には、記憶部101に格納されている画像データに処理指定情報が含まれているかを判定し、処理指定情報が含まれていれば、その処理指定情報を読み出す。そして、読み出した処理指定情報を制御部107に伝達する。また、格納された画像データから処理指定情報が含まれていなかった場合、処理指定情報抽出部106は、処理指定情報が含まれていなかったこと、すなわち、受信した画像データが表示用画像データであることを制御部107に通知する。
制御部107は、画像データ受信部105が受信した画像データに含まれる処理指定情報により指定されている処理を実行するよう、自装置(テレビ100)を制御するための手段である。具体的には、処理指定情報抽出部106から伝達された処理指定情報により指定されている画像処理を実行するよう、画像処理部103に指示を与えることにより、自装置の画像表示機能を制御する。
この指示を受けた画像処理部103は、デコード部102から供給さる画像情報を、処理指定情報により指定された画像処理により加工して表示部104に供給する。これにより、表示部104に表示される画像が、処理指定情報により指定された画像処理により加工された画像に更新される。
画像データ受信部105が受信する画像データとしては、処理指定情報が格納された操作用画像データと、処理指定情報を含まない通常の画像データ(以下、表示用画像データと呼称する)とが想定される。また、操作用画像データに含まれる画像情報は、写真など、テレビ100にて表示すべき画像情報である場合もあるし、処理指定情報により指定されている処理を表現したアイコン画像など、テレビ100にて表示する必要がない画像情報である場合もある。
画像データ受信部105が受信した画像データの画像サイズが大きい(例えば、横解像度640以上もしくは縦解像度480以上)場合、当該画像データは処理指定情報の有無に関わらず、表示すべき画像情報を含んでいることが想定される。
そこで、デコード部102は、新たに受信した画像データの画像サイズが予め定められた所定の閾値より大きかった(例えば、横解像度640以上もしくは縦解像度480以上)場合、または、新たに受信した画像データが表示用データである場合に、当該画像データの画像情報を展開するように構成するとよい。
これにより、新たに受信した画像データの画像サイズが所定の閾値より大きい場合に、画像処理部103に入力される画像情報が新たに受信した画像データの画像情報に更新され、新たに受信した画像データの画像サイズが上記所定の閾値より小さい場合には、画像処理部103に入力される画像情報は従前まま維持されるようになる。また、新たに受信した画像データが表示用画像データである場合にも、画像処理部103に入力される画像情報が新たに受信した画像データの画像情報に更新されるようになる。
また、画像処理部103は、新たに受信した画像データが操作用画像データである場合には、当該操作用画像データに格納されている処理指定情報により指定されている画像処理を実行し、新たに受信した画像データが表示用画像データである場合には、予め設定されているデフォルトの画像処理を実行するように構成するとよい。
これにより、(1)新たに受信した画像データが表示用画像データである場合、画像サイズに関わらず、当該画像データの画像情報にデフォルトの画像処理が施された画像が表示され、(2)新たに受信した画像データが操作用画像データであって、かつ、当該画像データの画像サイズが上記所定の閾値より大きい場合、当該画像データの画像情報に、当該画像データの処理指定情報により指定された画像処理が施された画像が表示され、(3)新たに受信した画像データが操作用画像データであって、かつ、当該画像データの画像サイズが上記所定の閾値より小さい場合、当該画像データを受信した時点で既に表示されていた画像に、当該画像データの処理指定情報により指定された画像処理が施された画像が表示されることになる。
以上で説明した画像データの種類に応じたテレビ100の処理は、以下の表1のようにまとめることができる。
なお、画像データ受信部105は、画像データの他に、画像データに格納されていない処理指定情報そのものをデジタルデータとして受信することができるように構成されていてもよい。この場合、画像データ受信部105が受信した何らかのデジタルデータが記憶部101に格納されると、まず、当該デジタルデータの名称あるいはヘッダ情報を解析して、当該デジタルデータが画像データであるのか、処理指定情報そのものであるのかを判定するように、処理指定情報抽出部106を構成すればよい。そして、当該デジタルデータが処理指定情報そのものであった場合には、処理指定情報抽出部106が、記憶部101に格納された当該デジタルデータ全体を読み出して、読み出した処理指定情報を制御部107に通知するようにすればよい。
次に、テレビ100が画像データを受信したときに実行する処理を、図7〜8に基づいて説明する。
図7は、テレビ100が画像データを受信したときに実行する処理の流れを示したフローチャートである。
携帯電話端末200から発せられた赤外線を検知すると、画像データ受信部105が画像データの受信を開始する。画像データ受信部105は、受信した画像データを記憶部101に格納する(S101)。
受信した画像データが記憶部101に格納されると、デコード部102が、受信した画像データの画像サイズを、当該画像データのJPEGヘッダ情報に基づいて判定する(S102)。受信した画像データの画像サイズが、予め定められた所定の閾値より小さかった(横解像度640未満かつ縦解像度480未満)場合(S102:No)、さらに、処理指定情報抽出部106が、受信した画像データにおける、処理指定情報の有無を判定する(S103)。
S101にて受信した画像データの画像サイズが所定の閾値より大きかった場合(S102:Yes)、あるいは、S101にて受信した画像データの画像サイズが所定の閾値より小さく(S102:No)、かつ、当該画像データが処理指定情報を含まない表示用画像データであった場合(S103:No)、デコード部102は、S101にて受信した画像データの画像情報を展開し、展開した画像情報を画像処理部103に供給する(S104)。
次に、画像処理部103は、デフォルトの画像処理により、デコード部102から供給された画像情報を加工し、加工した画像情報を表示部104に出力する。図7では、デフォルトの画像処理を、撮像時のカメラの傾きに起因する画像の傾きを補正する画像を回転する画像処理としている。
具体的には、S101にて受信した画像データのEXIF情報に撮影角度情報が含まれているかを判定し(S105)、撮影角度情報が含まれていれば(S105:Yes)、撮影角度情報に基づいて算出した表示角度だけ回転させる画像処理を実行する(S106)。また、S101にて受信した画像データに撮影角度情報が含まれていなかった場合には(S105:No)、画像処理部103は、デコード部102から供給された画像情報を、そのまま表示部104に出力する(S107)。
次に、処理指定情報抽出部106は、S101にて受信した画像データに処理指定情報が格納されているかを再度判定する(S108)。ステップS108は、S101にて受信した画像データの画像サイズが所定の閾値以上であっても、当該画像データが処理指定情報を含む操作用画像データである場合を考慮して設けられた判定ステップである。ステップS108において、受信した画像データに処理指定情報が格納されていなことが判定されると(S108:No)、一連の処理が終了する。
S101にて受信した画像データの画像サイズが所定の閾値より小さく(S102:No)、かつ、当該画像データに処理指定情報が格納されている場合(S103:Yes)、または、S101にて受信した画像データの画像サイズが所定の閾値より大きく(S102:Yes)、かつ、当該画像データに処理指定情報が格納されている場合(S108:Yes)、処理指定情報抽出部106が、受信した画像データから処理指定情報を抽出し、抽出した処理指定情報を制御部107に伝達する(S109)。これにより、結局、S101にて受信した画像データが操作用画像データである場合には必ず、当該画像データの処理指定情報が制御部107に伝達される。
制御部107は、処理指定情報抽出部106から伝達された処理指定情報により指定されている画像処理を実行するよう画像処理部103に指示を与える。画像処理部103は、制御部107からの指示に基づいて、処理指定情報により指定された画像処理を実行する(S110)。
図8は、処理指定情報に基づいてテレビ100が実行する画像表示制御(図7のS109)の流れを例示したフローチャートである。
受信した画像データから抽出された処理指定情報に基づく画像表示制御は、画像処理部103と制御部107とにより実現される。
処理指定情報に含まれるコマンドコードが0059(16進数表示)であるとき(S201:Yes)、制御部107は、画像を現在の表示状態から相対的に90°左回転する画像処理を実行するよう、画像処理部103に指示を与える。この指示を与えられた画像処理部103は、画像を現在の表示状態から相対的に90°左回転する画像処理を実行し、処理結果を表示部104に出力する(S205)。
処理指定情報に含まれるコマンドコードが005B(16進数表示)であるとき(S202:Yes)、制御部107は、画像を現在の表示状態から相対的に90°右回転する画像処理を実行するよう、画像処理部103に指示を与える。この指示を与えられた画像処理部103は、画像を現在の表示状態から相対的に90°右回転する画像処理を実行し、処理結果を表示部104に出力する(S206)。
処理指定情報に含まれるコマンドコードが0034(16進数表示)であるとき(S203:Yes)、制御部107は、画像の縦横比を変えずに表示画面内に画像全体が表示されという条件の下で、画像の表示サイズを最大化する画像処理を実行するよう、画像処理部103に指示を与える。この指示を受けた画像処理部103は、表示画面の縦幅の、画像の縦幅に対する比αと、表示画面の横幅の、画像の横幅に対する比βとを算出し、比の値αとβとのうち小さい方の値を表示倍率として、画像を拡大あるいは縮小する画像処理を実行する(S207〜S209)。
処理指定情報に含まれるコマンドコードが0044(16進数表示)であるとき(S204:Yes)、制御部107は、画像の縦横比を変えずに画像が表示画面全体を覆うように表示されるという条件の下で、画像を最小化する処理を実行するよう、画像処理部103に指示を与える。この指示を受けた画像処理部103は、表示画面の縦幅の、画像の縦幅に対する比αと、表示画面の横幅の、画像の横幅に対する比βとを算出し、比の値αとβとのうち大きい方の値を表示倍率として、画像を拡大あるいは縮小する画像処理を実行する(S210〜S212)。
なお、図8として示したフローチャートは、説明の便宜上、本来テレビ100にて実行される画像表示制御の流れを、対応可能なコマンドコードを4つに制限して簡略化して示したものである。すなわち、テレビ100が対応可能なコマンドコードは、図8に示した4つに制限される訳ではない。また、図8でも示されるように、テレビ100はすべてのコマンドを処理できる必要はなく、処理できないコマンドに対しては、S204:Noのように、何も動作せずに画像表示制御を終了しても良い。この場合、処理できない旨のコーションを出力するよう構成することも考えられる。
以上のように、テレビ100において、画像データ受信部105は、自装置(テレビ100)にて実行するべき処理を指定する処理指定情報が格納されている操作用画像データを、携帯電話端末200から受信する画像データ受信手段として機能する。
また、制御部107は、受信した操作用画像データに格納されている上記処理指定情報により指定された処理を、操作用画像データを受信した時点で直ちに実行するよう自装置を制御する制御手段として機能する。とくに、テレビ100は、画像処理により画像データの画像を加工する画像処理部103を備えており、制御部107は、上記処理指定情報により指定された画像処理を実行するよう画像処理部103を制御する制御手段として機能する。
したがって、テレビ100に、ある画像処理を実行させたい場合、テレビ100に、その画像処理を指定した処理指定情報が格納されている操作用画像データを受信させれば、テレビ100に、その画像処理を実行させることができる。このため、ユーザは、携帯電話端末200から操作用画像データを送信することにより、テレビ100の画像表示機能を外部から制御することができる。
なお、以上では、操作用画像データを用いてテレビ100の画像表示機能を制御する例について説明したが、操作用画像データに基づいて制御可能なテレビ100の機能は画像表示機能に限定されるものではない。すなわち、操作用画像データを用いて制御することができるテレビ100の機能は、これまでに説明した、画像表示機能に限定されるものではなく、テレビ100の任意の機能に及ぶ。
たとえば、放送コンテンツを受信するチャンネルを、上記処理指定情報により指定されているチャンネルに切り替えるようにしてもよい。また、テレビ100が、視聴予約機能あるいは録画予約機能を有していれば、視聴予約あるいは録画予約の登録処理の実行を上記処理指定に基づいて制御するようにしてもよい。
なお、テレビ100において、受信した画像を表示する画像表示モードと、放送コンテンツを視聴する放送受信モードとが明確に分離されている操作体系を採用する事も考えられる。この場合、テレビ100は、画像表示モードにおいて、放送コンテンツの視聴に関する処理(例えば、チャンネルの切り替え)を指定する操作用画像データを受信したとき、あるいは、放送受信モードにおいて、画像の表示に関する処理を指定する操作用画像データを受信したときには、ユーザが意図した動作を直ちに実行することができない。
そこで、例えば、画像表示モードにおいて、チャンネル切り替え操作用画像データを受信した場合には、放送受信モードへの切り替え手順、および、放送受信モードに切り替えればチャンネル切り替え操作ができることを示すメッセージの少なくとも何れかを、表示部104に出力することが望ましい。同様に、放送受信モードにおいて、表示対象となる画像データを受信した場合には、画像表示モードへの切り替え手順、および、画像表示モードに切り替えれば画像が大きく表示されることを示すメッセージの少なくとも何れかを、表示部104に出力することが望ましい。また、放送受信モードにおいて、画像処理を指示する操作用画像データを受信した場合には、画像表示モードへの切り替え手順、および、画像表示モードに切り替えれば画像処理を実行できることを示すメッセージの少なくとも何れかを、表示部104に出力することが望ましい。
また、テレビ100がデータ通信機能を有していれば、操作用画像データを用いてデータ通信機能を制御するようにしてもよい。そこで、以下では、操作用画像データを用いてテレビ100のデータ通信機能を制御する例について、図9に基づいて説明する。
図9は、操作用画像データに基づくデータ通信機能の制御が可能なテレビ100の構成を示したブロック図である。図9では、図1に示したデコード部102と画像処理部103とを省略するとともに、テレビ100に含まれる通信部(データ受信手段、データ送信手段)111と表示画面生成部112とを新たに示している。なお、記憶部101、表示部104、画像データ受信部105、処理指定情報抽出部106、制御部107については、図1に示したものと同一である。
画像データ受信部105が受信した操作用画像データの処理指定情報にURL(Uniform Resource Locator)が含まれ、当該処理指定情報がこのURLにより所在が指定されるウェブページの表示を指示するものであった場合(操作用画像データのメーカノート領域において、URLモードが指定されていた場合)、制御部107は、当該ウェブページを表示するための表示用データを取得するよう、通信部111に指示を与える。
通信部111は、インターネットを介して他の通信装置とデータ通信を行うための手段である。制御部107から上記の指示を受けた通信部111は、上記表示用データを取得するためのデータ取得要求をHTTPサーバ300に送信し、その応答として表示用データを取得する。通信部111が受信した表示用データは、表示画面生成部112に供給される。
表示画面生成部112は、通信部111が他の通信装置から受信した表示用データに基づいて、表示画面を生成するための手段である。たとえば、通信部111が受信した表示用データがHTML(Hypertext Markup Language)文書であれば、当該HTML文書に基づいて文字情報などをレイアウトし、ウェブページとして表示するための表示画面を生成する。表示画面生成部112により生成された表示画面は表示部104に供給され、表示部104にて表示される。
以上のようにして、所望のウェブページのURLを含む処理指定情報が格納された操作用画像データをテレビ100に受信させることで、テレビ100にそのウェブページを表示させることができる。この際、制御部107は、操作用画像データの処理指定情報に含まれるURLにより指定された通信装置から、処理指定情報に含まれるURLにより指定された表示用データを受信するよう、通信部111を制御する制御手段として機能する。
また、同様の方法により、テレビ100にて各種ウェブサービスを利用することができる。以下、テレビ100にてネットワークアルバムサービスを利用する場合を例に、このことを説明する。
なお、ネットワークアルバムサービスとは、写真データを複数のアルバムに分類して管理するネットワークアルバムサーバと、そのネットワークアルバムサーバから所望のアルバムに属する写真データ群をダウンロードし、ダウンロードした写真データ群の写真を一覧表示、あるいは、スライドショー表示するクライアントとにより実現されるウェブサービスの一種である。
画像データ受信部105が受信した操作用画像データの処理指定情報にアルバムIDが含まれ、当該処理指定情報がこのアルバムIDにより指定されるアルバムの表示を指示するものであった場合(すなわち、操作用画像データのメーカノート領域において、アプリケーションモードが指定され、アプリケーション名として「tv-album」が指定されていた場合)、制御部107は、そのアルバムの写真データ群をネットワークアルバムサーバ400から取得するよう、通信部111に指示を与える。
この指示を受けた通信部111は、上記アルバムIDを含むデータ取得要求をネットワークアルバムサーバ400に送信し、その応答として当該アルバムIDにより指定されたアルバムの写真データ群を取得する。通信部111が受信した写真データ群は、表示画面生成部112に供給される。表示画面生成部112は、通信部111が取得した写真データ群の写真を一覧表示、あるいは、スライドショー表示する表示画面を生成する。表示画面生成部112にて生成された表示画面は、表示部104に表示される。
以上のようにして、所望のアルバムのアルバムIDを含む処理指定情報が格納された操作用画像データをテレビ100に受信させることで、そのアルバムの写真をテレビ100に表示させることができる。この際、制御部107は、予め定められたネットワークアルバムサーバ400から、処理指定情報に含まれるアルバムIDにより指定される写真データ群を受信するよう、通信部111を制御する制御手段として機能する。
また、画像データ受信部105が受信した操作用画像データの処理指定情報にアルバムIDが含まれ、当該処理指定情報がこのアルバムIDにより指定されるアルバムへの画像データの追加を指示するものであった場合、制御部107は、画像データをネットワークアルバムサーバ400にアップロードするよう、通信部111に指示を与える。
この指示を受けた通信部111は、画像データを上記アルバムIDとともにアルバムネットワークサーバ400に送信する。ネットワークアルバムサーバ400は、テレビ100から送信されてきた画像データを、その画像データとともに送信されてきたアルバムIDにより特定されるアルバムに分類して管理する。
以上のようにして、画像データをアップロードする処理を指定した処理指定情報が格納された操作用画像データをテレビ100に受信させることで、画像データをネットワークアルバムサーバ400にアップロードすることができる。この際、制御部107は、予め定められたネットワークアルバムサーバ400に画像データを送信するよう、通信部111を制御する制御手段として機能する。
最後に、テレビ100において、制御部107は、受信した画像データに、予め認証された電子署名が含まれているか否かを確認し、上記画像データに予め認証された電子署名が埋め込まれている場合に限って、当該画像データに格納されている上記処理指定情報により指定された処理を実行するよう、自装置を制御するように構成してもよい。
また、テレビ100にて実行することを許可する処理のリストを記憶部101に予め格納しておき、制御部107は、受信した画像データに格納されている処理指定情報により指定された処理が当該リストに含まれている処理であるかを判定し、上記処理指定情報により指定された処理が当該リストに含まれている処理である場合にのみ、当該処理指定情報により指定された処理を実行するよう、自装置を制御するように構成してもよい。
これらにより、悪意の第3者により作成された画像データに含まれる処理指定情報により指定された処理や、上記リストに含まれていない危険な処理の実行を不可能にすることができる。このため、テレビ100が予期せぬ処理を実行してしまう危険性を低減し、操作システム1をよりセキュアなものにすることができる。この構成は、料金を支払って取得した操作用画像データによってのみ指定された処理を実行するような用途にも利用できる。
同様な構成により、一枚の高品位な写真をテレビ100に表示させるようなシステムも構成できる。例えば、アプリケーション名として「tv-photo」が指定されていた場合、制御部107は、その制御データ(処理指定情報)により指定される一枚の写真を、ネットワークアルバムサーバ400から取得するよう、通信部111に指示を与える。なお、この制御データが埋め込まれ、携帯電話200に格納される操作用画像データとしては、ネットワークアルバムサーバ400から取得される写真を縮小した画像であることが望ましいが、必ずしも一致する必要はなく、取得される写真の一部を切り出した画像であっても良い。また、操作画像用データとして広告画像を用い、この広告画像を取得してテレビ100に転送すると、ユーザの求める高精細な画像(例えば、テレビCMで登場するタレントのアルバムや写真)が表示されるような使い方も可能である。
さらに、テレビ100がネットワークアルバムサーバ400にアクセスする際、テレビ100自体の製品名、製造番号、設定情報などをあわせて送信し、これら情報にあわせた変更を加えた上でアルバムや写真をテレビ100に送り返すよう、ネットワークアルバムサーバ400を構成してもよい。簡単な例としては、テレビ100の表示部104の解像度に最適化されたアルバムや写真を送り返すよう構成することが考えられる。これら情報を伝える方法は複数考えられるが、HTTPプロトコルのヘッダに含まれるユーザエージェントに格納する方法が簡便かつ有効である。
なお、以上の説明では、ネットワークアルバムサーバ400をインターネット上のサーバとして説明したが、これに限定されるものではなく、家庭内LANに接続されたサーバであっても良い。この場合にはDLNA(Digital Living Network Alliance)(登録商標)との組み合わせが有効であるが、DLNAもデータ転送にHTTPに基づくプロトコルを採用しているため詳細は繰り返さない。この場合、携帯電話200から制御情報(処理指定情報)を含む画像データ(例えば写真)を送ると、テレビ100の表示入力がサーバ(録画機能を含む)が接続された入力端子に切り替わり、そのサーバが録画済の映像を再生するように構成しても良い。
上述したように、テレビ(画像データ受信装置)100において、制御部107は、携帯電話端末(操作装置)200から受信した操作用画像データに電子署名が含まれているか否かを確認し、その操作用画像データに電子署名が含まれている場合に限って、その操作用画像データに格納されている処理指定情報により指定された処理を実行するように自装置を制御する構成とすることができる。
まず、以上のようにテレビ100を構成することの利点について、再び図2を参照して説明する。
図2に示したように、携帯電話端末200は、操作用画像データ500の画像領域、あるいは、サムネイル画像領域に格納されたアイコン画像を表示する。このアイコン画像は、操作用画像データ500に格納された処理指定情報により指定された処理を表現している。ユーザは、このアイコン画像を確認したうえで、テレビ100に操作用画像データ500を送信する。この際、ユーザは、テレビ100に送信しようとしている操作用画像データ500がどのような操作に対応するものであるかを、ユーザにとって理解が難しい言語で記述された処理指定情報を直接参照することなく、アイコン画像によって視覚的に認識することができる。
しかしながら、メーラーやWebブラウザの機能を悪用したフィッシング詐欺の例と同様に、操作用画像データ500には、アイコン画像に対応していない処理指定情報が、悪意を持って埋め込まれる危険性がある。具体的には、ユーザが目にするアイコン画像が、実際にテレビ100にさせる処理を指定する処理指定情報を表現しておらず、ユーザがアイコン画像を信じて操作用画像データ500を利用すると、テレビ100にて予期せぬ処理が実行されてしまうということが起こり得る。
特に、操作用画像データ500は、メディア媒体からのコピー、Webサーバからのダウンロード、電子メールによる受信など、様々な経路で携帯電話端末200などの操作装置に配布され得る。このため、悪意のある第3者が、操作用画像データ500中の処理指定情報を改竄する機会が生じ得る。したがって、ユーザが安心して操作用画像データ500を利用することができるよう、電子署名を利用して操作用画像データ500の信頼性を高めることが好ましい。
図14は、電子署名を利用して操作用画像データ500の信頼性を高める方法を概略的に示した図である。
図14に示したように、コンテンツ作成者は、秘密鍵を用いて操作用画像データ500に対する電子署名を生成する。ここで生成される電子署名は、秘密鍵と操作用画像データとから、署名生成アルゴリズムにしたがって算出されたハッシュ値である。コンテンツ作成者は、生成した電子署名を操作用画像データ500に付加し、電子署名付き操作用画像データ500´を生成する。
テレビ100は、携帯電話端末200を介して取得した電子署名付き操作用画像データ500´から操作用画像データ500と電子署名とを抽出し、電子署名が操作用画像データ500に対する正当な電子署名であるかを公開鍵を用いて検証する。具体的には、公開鍵を用いて電子署名を復号し、復号したハッシュ値と操作用画像データから算出したハッシュ値との一致を確認する。電子署名が操作用画像データ500に対する正当(valid)な電子署名であることが検証されると、すなわち、操作用画像データ500が改竄されていないことが確認されると、テレビ100は、その操作用画像データ500に格納されている処理指定情報により指定された処理を実行するよう自装置を制御する(例えば、処理指定情報にURIが格納されていれば、そのURIにアクセスする)。
なお、テレビ100が電子署名の検証に利用する公開鍵は、コンテンツ作成者が電子署名の生成に利用する秘密鍵と対をなす公開鍵であればよく、テレビ100が公開鍵を入手する方法は問わない。すなわち、テレビ100が利用する公開鍵は、ネットワークを介して取得されたものであってもよいし、予め記憶部に格納された(例えば、工場出荷時に組み込まれた)ものであってもよい。複数の異なるコンテンツ作成者により作成された操作用画像データに対応する場合、各コンテンツ作成者の秘密鍵と対をなす複数の公開鍵をテレビ100に予め格納するようにしてもよい。また、コンテンツ作成者が、操作用画像データ500に公開鍵を納めた電子証明書を、電子署名とは別に操作用画像データ500に埋め込み、テレビ100ではその電子証明書を確認してから操作用画像データ500に埋め込まれた公開鍵を使用するといった構成を採用してもよい。
次に、操作用画像データの信頼性を高めるために利用することができる、電子署名付き操作用画像データの500´のデータ構造について、図15に基づいて説明する。
図15は、電子署名付き操作用画像データの500´の構成例を示すデータ構造図である。図15に示すように、メーカノート領域521の末尾の空き領域に、メタデータ領域523を設ける。そして、このメタデータ領域523の末尾に、電子署名を格納する署名データ領域524を設け、署名データ領域524の直前にユーザデータ領域525を設ける。署名データ領域524に格納される電子署名は、操作用画像データ500´から署名データ領域524およびユーザデータ領域525を除いた領域に格納された情報(以下、署名対象データとも称する)に対する電子署名である。
通常、画像データは、視覚確認を目的とするものであり、データサイズが大きければ大きいほど視覚効果が高いと考えられる。一方、操作用画像データ500は、アイコン画像をユーザに視覚確認させることができ、かつ、携帯電話端末200などが操作用画像データ500を取得する際にユーザに対してストレスを与えないことが重要であり、この点を考慮してデータサイズおよびフォーマットを決める必要がある。特に、テレビ100に操作用画像データを送信する送信端末として携帯電話端末200を利用する場合、携帯電話端末200の表示画面解像度はQVGA程度であること、携帯電話端末200の通信速度が限られていること、および、通信コストがユーザの負担になることなどを考慮する必要がある。また、一部の携帯電話網の画像データ通信サービスでは、ユーザへのストレスを軽減する目的で、画像データ通信サーバが、所定値を超えるデータサイズの画像データを、データ変換してユーザに提供するような事例もある。以上のような理由から、操作用画像データ500のデータサイズは、上限を10KBとすることが最適と考えられる。操作用画像データ500のデータサイズをこの上限に納めるフォーマット例としては、画像データの解像度をQVGAにする、あるいは、サムネイル画像領域を使わないなどのフォーマットが考えられる。
また、図15に示したように、操作用画像データ500´は、ユーザデータを格納するユーザデータ領域525を備えていてもよい。ユーザデータ領域525に格納されたユーザデータは、電子署名の対象とならないので、操作用画像データ500´の正当性を損なうことなく書き換え可能であり、操作用画像データ500´がテレビ100に受信されるまでの任意の時点で、操作用画像データ500´の作成者以外により付加または編集され得る。例えば、テレビ100を操作する操作装置が携帯電話端末200またはPCにより構成されている場合、ユーザデータはこれらの操作装置のユーザインタフェースを利用してユーザが入力したデータであってもよい。ユーザデータとして操作用画像データ500´に格納される情報としては、例えば、携帯電話のメールアドレスや、ユーザが入力した操作用画像データに関連したコメントなどが想定される。なお、電子署名を付加する処理、あるいは、電子署名を抽出する処理が容易になるよう、ユーザデータ領域525は、電子署名が格納される署名データ領域524の直前または直後に配置することが望ましい。
メタデータ領域523は、上述した署名データ領域524およびユーザデータ領域525の他に、図15に示す各情報を格納する領域を含んで構成されていてもよい。メタデータ領域523に含まれ得る各情報について説明すれば、以下のとおりである。
データシグネーチャは、データが操作用画像データフォーマットであることを示す情報である。バージョン情報もデータシグネーチャに含まれる。データシグネーチャ、例えば、「“EMAPV100”: Embedded Meta-data for Affixing on Picture Version 1.00」のように記述される。
拡張データサイズは、拡張データ領域のサイズを示す情報である。ユーザデータサイズは、ユーザデータ領域525のサイズを示す情報である。署名データサイズは、署名データ領域524のサイズを示す情報である。
提供者情報は、「\0」でターミネートされたUTF−8文字列であり、提供者を示す。メッセージは、「\0」でターミネートされたUTF−8文字列であり、任意のメッセージを示す。テレビ100は、提供者情報および/またはメッセージの先頭から16文字以上を表示できることが望ましい。
用途情報は、「\0」でターミネートされたUTF−8文字列である。用途情報の利用方法はテレビ100の仕様に依存するが、例えば、起動したいアプリケーションの選択に利用することができる。URIは、「\0」でターミネートされた文字列であり、テレビ100が取得するべきデータのURIを示す。
拡張データは、任意のバイナリーデータである。この拡張データをサポートするために、テレビ100は、最低2048バイトの拡張データを扱えるように実装されていることが望ましい。拡張データの2048バイトを超える部分は、テレビ100により処理されないことがある。
ユーザデータは、任意のバイナリーデータである。このユーザデータをサポートするために、テレビ100は、最低2048バイトのユーザデータを扱えるように実装されていることが望ましい。
ユーザデータの2048バイトを超える部分は、テレビ100により処理されないことがある。拡張データとユーザデータとの違いは、拡張データが電子署名の対象なるデータであるのに対し、ユーザデータが電子署名の対象外のデータである点である。署名データは、電子署名であり、pkcs#7/DERに従う。電子署名の他に、ルート証明書をのぞく認証チェーンの任意の証明書を署名データに含めることができる。ルート証明書以外の証明書(中間証明書)を署名データに含め、ルート証明書をテレビ100に格納することでインターネットにアクセスすることなく電子署名の正当性を検証することができる。このようなデータ構造により、電子署名の検証に要する時間を短縮することができる。さらに、操作用画像データがインターネットとは無関係な録画予約のような操作情報を伝えるような用途においても有効であり、テレビ100がインターネットに接続されていない場合でも、電子署名を検証して信頼性を高めることができる。
また、画像データの容量を削減するために、画像表示に不要なEXIF領域を削除する通信経路も存在する。EXIF領域が削除された場合でも画像データ受信装置(テレビ)における処理指定情報の取り出しを可能にするために、EXIF領域に格納された処理指定情報のサブセットにあたる情報、例えば、図15のURIだけをEXIF領域以外の領域、例えばJPEGのコメント領域に冗長情報として埋め込んでおくことも考えられる。コメント領域のデータが処理指定情報の冗長情報であることを示すために、図15と同様のデータシグネーチャを付加することが望ましい。例えば、「http://www.sharp.co.jp」というURIに、デジタルシグネーチャと終端文字を付加して「ELAP100http://www.sharp.co.jp\0」というデータをコメント領域に格納する。この場合、データ構造は図23のようになる。図3に示したデータ構造との相違点は、コメント領域530に、URIを冗長情報として埋め込むための冗長情報領域531が設けられている点である。
次に、電子署名付き操作用画像データに対応したテレビ100について、図16〜図18に基づいて説明する。
図16は、電子署名付き操作用画像データに対応したテレビ100の構成例を示すブロック図である。
図16に示した構成において、テレビ100は、図9に示した各構成の他に、記憶部101に格納された電子署名付き操作用画像データから電子署名を抽出する電子署名抽出部121、および、ユーザ操作を検出するUI部122を備えている。なお、ユーザデータに対応するために、テレビ100は、操作用画像データからユーザデータを抽出するユーザデータ抽出部(不図示)を更に備えていてもよい。
図17は、テレビ100が電子署名付き操作用画像データに対して実行する処理の流れを示すフローチャートである。図18は、図17に示した処理において、テレビ100が表示する表示画面を示す図である。
図17に示したように、操作用画像データが記憶部101に格納されると、制御部107は、記憶部101に格納された操作用画像データに電子署名が含まれているか否かを判定する(S301)。電子署名が含まれていなければ(S301:No)、表示画面作成部112によって、電子署名が含まれていない操作用画像データに基づく処理を実行するか否かをユーザに確認する確認画面を表示部104に表示させる(S302)。UI部122は、ユーザにより入力された操作を検出し、検出結果を制御部107に通知する。図18(a)は、ステップS302において表示する上記確認画面の構成例を示す。
電子署名が含まれていない操作用画像データに基づく処理の実行を許可する所定のユーザ操作をUI部122が検出した場合(S303:Yes)、制御部107は、操作用画像データに格納された処理指定情報により指定された処理を実行する(S304)。一方、電子署名が含まれていない操作用画像データに基づく処理の実行を拒否する所定のユーザ操作をUI部122が検出した場合(S303:No)、制御部107は、操作用画像データに格納された処理指定情報により指定された処理を実行することなく、一連の処理を終了する。
記憶部101に格納された操作用画像データに電子署名が含まれていた場合(S301:Yes)、制御部107は、電子署名抽出部121により抽出された電子署名が、その操作用画像データの署名対象データに対する正当な電子署名であるか否かを、電子証明書に納められた公開鍵を用いて検証する(S305)。電子署名が不当なものであった場合(S305:No)、表示画面作成部112によって、ユーザに警告を促す警告画面を表示部104に表示させ(S306)、操作用画像データに含まれる処理指定情報により指定された処理を実行することなく、一連の処理を終了する。図18(b)は、ステップS306において表示する上記警告画面の構成例を示す。
一方、電子署名が正当なものであった場合(S305:Yes)、制御部107は、公開鍵を納めた電子証明書の発行元が信頼性の高いサイトであるか否かを更に判定する(S307)。この判定は、例えば、信頼性の高いサイトのリストを予め記憶部101に格納しておき、電子証明書の発行元がこのリストに含まれるサイトであるかを判定することにより実現することができる。
電子証明書の発行元が信頼できるサイトであった場合(S307:信頼性あり)、制御部107は、その操作用画像データに格納された処理指定情報により指定された処理を実行する(S304)。一方、電子証明書の発行元が信頼できるサイトでなかった場合(S307:信頼性なし)、図18(c)に示したような、操作用画像データに基づく処理を実行するか否かをユーザに確認する確認画面を、表示画面作成部112によって、表示部104に表示させる(S308)。ステップS308において表示される確認画面は、図18(c)に示したように、「操作を実行しますか?」などの確認メッセージを、電子署名に含まれるCN情報(署名者、証明書発行元の情報)とあわせて表示する表示画面であることが好ましい。
図18(c)に示したような確認画面が表示された状態で、操作用画像データに基づく処理の実行を許可する所定のユーザ操作をUI部122が検出した場合(S309:Yes)、制御部107は、操作用画像データに格納された処理指定情報により指定された処理を実行する(S304)。一方、操作用画像データに基づく処理の実行を拒否する所定のユーザ操作をUI部122が検出した場合(S309:No)、制御部107は、操作用画像データに格納された処理指定情報により指定された処理を実行することなく、一連の処理を終了する。
なお、制御部107において、電子署名が正当なものであると判定された場合(S305:Yes)に、処理指定情報により指定された処理を、直ちに実行するか、または、確認画面を表示してから実行するかを、電子署名の署名者(コンテンツ作成者)に応じて切り替えるようにしてもよい。この場合、電子署名の署名者と処理内容を対応付けたテーブルを記憶部101に記憶しておき、電子署名の有無を判定した後で、このテーブルを参照して処理内容を決めても良い。
また、図17は、テレビ100が電子署名の検証に利用する公開鍵が電子証明書(公開鍵証明書)に納められている場合についての好ましい一処理例を示すものであり、テレビ100が実行する処理はこれに限定されるものではない。例えば、テレビ100が、電子証明書に納められていない公開鍵を利用して電子署名を検証する場合には、ステップS307〜S309を省略するようにしてもよい。
さらに、図18(a)、(c)において、「はい」、「いいえ」を選択するのではなく、同じ操作用画像データを再度受信した場合には「はい」に相当する処理を、しばらくの期間(例えば10秒程度)データを受信しなければ「いいえ」に相当する処理を実行するよう、テレビ100を構成しても良い。
次に、電子署名付き操作用画像データを利用した、ネットワークサービスシステムの一例について、図19に基づいて説明する。
図19は、公開鍵基盤(PKI:Public Key Infrastraction)の枠組みを利用したネットワークサービスシステム1000の概略構成を示したシステム構成図である。
図19に示したように、ネットワークサービスシステム1000は、ネットワークサービスを運営するサービス事業者により管理されるサービスサーバ1100および操作用画像データサーバ1200と、ネットワークサービスを利用するユーザが所有するテレビ100と、当該ユーザがテレビ100を操作するために用いる携帯電話端末200とを含んで構成されている。
操作用画像データサーバ1200は、サービスサーバ1100の管理下にあるリソースを指定するURIが処理指定情報として埋め込まれた電子署名付き操作用画像データを作成し、作成した電子署名付き操作用画像データをインターネットを介して携帯電話端末200に提供する。ユーザごとに操作用画像データをカスタマイズするようなサービスの場合、操作用画像データサーバ1200は、ユーザに応じた操作用画像データを作成し、作成した操作用画像データに対する電子署名を生成し、生成した電子署名を作成した操作用画像データに付加する。
テレビ100のユーザは、携帯電話端末200を用いて操作用画像データサーバ1200にて作成された電子署名付き操作用画像データを取得し、アイコン画像を確認してから取得した操作用画像データをテレビ100に送信する。テレビ100は、受信した操作用画像データに格納された電子署名の正当性を検証し、その電子署名が正当なものであれば処理指定情報として埋め込まれたURIの示すリソースを、サービスサーバ1100より取得する。
ネットワークサービスシステム1000を構成するテレビ100は、電子署名を検証する電子署名検証機能の他に、電子証明書を検証する電子証明書検証機能を有している。テレビ100が備えている電子証明書検証部123が、電子証明書検証機能を担う。このようなテレビ100の構成は、S/MIMEを用いた電子メールシステムのクライアントと同様である。これにより、テレビ100は、ネットワークを介して電子証明書が付いた公開鍵を入手し、電子証明書の信頼性を検証してから公開鍵を使用することができる。
なお、図19は、操作用画像データサーバ1200およびテレビ100が認証局1300にて生成された秘密鍵および公開鍵をそれぞれ取得する構成を示しているが、ネットワークサービスシステム1000の構成はこれに限らない。例えば、操作用画像データサーバ1200にて秘密鍵および公開鍵を生成し、生成した公開鍵をテレビ100に提供する構成としてもよい。また、操作用画像データサーバ1200が電子署名の生成に利用する秘密鍵と対をなす公開鍵を、テレビ100に予め格納しておく構成を採用してもよい。テレビ100がネットワークを介して公開鍵を入手する構成では、ルート証明書に公開鍵を埋め込むことにより、公開鍵の信頼性を保証することが望ましい。
なお、以上に示したネットワークサービスシステム1000は、処理指定情報としてURIを含む操作用画像データをユーザに提供するものであるが、URIへのアクセス以外の処理を指定した処理指定情報が埋め込まれた操作用画像データをユーザに提供する場合にも、同様の効果を期待することができる。
操作用画像データに格納されたアイコン画像を、テレビ100からユーザへのメッセージ表示に利用することもできる。従来、様々な機器において、処理に時間がかかる事を知らせるためにアイコンを表示するユーザインタフェースが利用されている。しかし、これらのアイコンは、例えば、砂時計のようなあらかじめ機器に組み込まれた画像であり、何の処理に時間がかかっているのかを、ユーザに提示できるものではなかった。一方、本発明によるテレビ100では、操作用画像データに埋め込まれたアイコン画像を利用することによって、何の処理に時間がかかっているのかを、ユーザに明確に提示するユーザインタフェースを実現することができる。
図20は、テレビ100に表示されるメッセージの例を示した図である。
図20(a)は、番組予約録画を指示する処理指定情報が格納された操作用画像データを受信した際に、テレビ100が表示するメッセージ表示用のダイアログである。図20(a)に示したように、予約録画しようとする番組に対応した、その番組の内容をイメージさせるようなアイコン画像と、操作用画像データに埋め込まれたメッセージ文字列(ここでは、「土曜早朝劇場…予約録画します」)とを、メッセージ表示用のダイアログに埋め込んで表示することによって、より具体的に処理内容を示すことが可能になっている。
図20(b)は、ネットワークアルバムへのアクセスを指示する処理指定情報が格納された操作用画像データを受信した際に、テレビ100が表示するメッセージ表示用のダイアログである。図20(b)に示したように、アクセスしようとするアルバムに対応した、そのアルバムの内容をイメージさせるアイコン画像と、操作用画像データに埋め込まれたメッセージ文字列(ここでは、「ネットTVアルバム…再生します」)とを、メッセージ表示用のダイアログに埋め込んで表示することによって、より具体的に処理内容を示すことが可能になっている。
テレビ100は、これらの操作用画像データを受信すると、図1および図7で説明したのと同様の処理により処理指定情報により指定された処理(録画予約処理やネットワークアルバムへのアクセス)を開始する。これと平行して、テレビ100は、デコード部102を用いて、操作用画像データに格納されたアイコン画像を展開し、画像処理部103(表示制御手段)を用いて、展開したアイコン画像とメッセージ文字列とを表示部104に出力する。このような処理により、操作用画像データをテレビ100に送信したユーザは、ダイアログ上のアイコン画像とメッセージとによって直ちにフィードバックを受けることができ、テレビ100の操作感が向上する。なお、ダイアログに表示されるアイコン画像は、操作用画像データに格納された画像データである。また、メッセージは、同じ操作用画像データに格納された文字列であり、例えば、図15に示したJPEGデータ(操作用画像データ)500’のメタデータ領域523のメッセージフィールドに格納された文字列である。
なお、表示部104の大きさやデザインによっては上記アイコン画像を縮小あるいは拡大して表示する、あるいは、メッセージを表示せずにアイコンだけを表示するというような構成も考えられる。
以上では、受信した操作用画像データに格納されている処理指定情報によって指定された処理を、受信後直ちに実行する構成について説明したが、受信した操作用画像データを蓄積しておき、受信した操作用画像データに格納されている処理指定情報によって指定された処理を、事後的にも実行できるよう、テレビ100を構成してもよい。
図21は、受信した操作用画像データを蓄積する操作用画像データ蓄積部131と、操作用画像データ蓄積部131に蓄積された操作用画像データ群からユーザ操作に基づいて操作用画像データを選択する操作用画像データ選択部132とを備えたテレビ100の構成を示すブロック図である。また、図22は、操作用画像データの選択に際し、テレビ100が表示部104に表示するユーザインタフェース(表示画面)の一例を示す図である。
図21に示したテレビ100は、処理指定情報抽出部106によって、受信した画像データから処理指定情報が抽出された場合、抽出された処理指定情報が制御部107に送られ、当該処理指定情報によって指定された処理が実行されるとともに、その画像データが操作用画像データ蓄積部131に保存されるように構成されている。すなわち、画像データに格納された処理指定情報は、テレビ100が実行すべき処理を指定するとともに、その画像データを操作用画像データ蓄積部131に保存するか否かを判断する判断材料としても利用される(処理指定情報が格納されていれば、テレビ100は、その画像データを操作用画像データ蓄積部131に保存し、そうでなければ保存しない)。このような構成により、テレビ100は、受信した操作用画像データを、操作用画像データ蓄積部131に蓄積していくことができる。
また、テレビ100は、図22に示したようなユーザインタフェースを任意の時点で表示部104に表示することができるように構成されている。このユーザインタフェースには、操作用画像データ蓄積部131に蓄積された操作用画像データに格納されたアイコン画像とメッセージ文字列とがリストされており、ユーザは、このリストから所望の操作用画像データを選択することができる。このユーザ操作に応じて、操作用画像データ選択部132は、操作用画像データ蓄積部131に蓄積された操作用画像データ群から操作用画像データを選択する。操作用画像データ選択部132によって選択された操作用画像データは、記憶部101を介して処理指定情報抽出部106に送られる。処理指定情報抽出部106は、選択された操作用画像データから処理指定情報が抽出し、抽出した処理指定情報を制御部107に渡す。これにより、図22に示したリストからユーザが操作用画像データを選択すると、選択された操作用画像データに格納された処理指定情報によって指定された処理が実行されることになる。
なお、図22に示したユーザインタフェースにおいて、右端に表示されたスクロールバーは、蓄積された操作用画像データが画面に表示されている2つの操作用画像データ以外にあることを示している。また、下スクロールマークは、下方向ボタンを押すことよってさらに下にある操作用画像データを画面に表示可能であることを示すために、通常とは異なる表示状態で、例えば、塗りつぶし状態で表示されている。ユーザインタフェースをこのように構成することによって、操作用画像データ蓄積部131に多数(ここでは3以上)の操作用画像データが蓄積された場合でも、ユーザは容易に所望の操作用画像データを選択することができる。操作用画像データが持つアイコン画像は、図22に示したような扱いやすいユーザインタフェースを構築するのに不可欠である。
なお、操作用画像データ自体がリモコン信号の役割を果たすという機能は失われるが、操作用画像データを受信した場合に、直ちにその処理指定情報により指定された動作を実行することなく、操作用画像データを蓄積するだけの動作モードをテレビ100に追加することも考えられる。
(操作装置)
次に、テレビ100を操作する操作装置200、すなわち、携帯電話端末200について説明する。
図10は、携帯電話端末200の要部構成を示したブロック図である。図10に示したように、携帯電話端末200は、記憶部(画像データ格納手段)201、表示画面生成部(画像表示手段)202、表示部203、画像データ選択部(画像データ選択手段)204、および、画像データ送信部(画像データ送信手段)205を含んで構成されている。
記憶部201は、画像データを格納するための手段であり、たとえばRAMにより構成される。表示画面生成部202は、記憶部201に格納されている画像データの画像、とくにサムネイル画像を一覧表示するサムネイル一覧表示画面を生成するための手段である。表示部203は、表示画面生成部202にて生成されたサムネイル一覧表示画面を表示する手段であり、たとえば液晶表示パネルにより構成される。
画像データ選択部204は、記憶部201に格納されている画像データ群から、テレビ100に送信する画像データを選択するための手段である。画像データ選択部204は、上述したサムネイル一覧表示画面が表示されているときに入力されるユーザ操作に基づいて、画像データを選択する。
画像データ送信部205は、画像データ選択部204が選択した画像データを記憶部201から読み出して、読み出した画像データをテレビ100に送信する。より具体的には、画像データ送信部205は、赤外線発光部を含んで構成されており、画像データを乗せた赤外線搬送波を該赤外線発光部から送信する。画像データ送信部205が画像データの送信に用いるプロトコルは、テレビ100の画像データ受信部105が画像データの受信に用いるプロトコルと同一であり、例えばIrSimpleである。
図11は、携帯電話端末200の表示部203に表示されるサムネイル一覧表示画面1000の構成を例示した画面構成図である。図11に示したように、サムネイル一覧表示画面1000は、サムネイルを一覧表示するためのサムネイル一覧表示領域1000aと、操作ガイダンスを表示するための操作ガイダンス表示領域1000bとから構成されている。
サムネイル一覧表示領域1000aには、記憶部201に格納されている画像データのサムネイルが一覧表示される。図11に示した例では、操作用画像データのサムネイル1001〜1004と、表示用画像データのサムネイル1005〜1009とが表示されている。
操作用画像データには、処理指定情報に加え、当該処理指定情報により指定された処理を表現したアイコン画像が格納されている。したがって、操作用画像データのサムネイル1001〜1004としては、各操作用画像データに格納された処理指定情報に対応するアイコン画像が表示される。これにより、ユーザは、各操作用画像データがどのような処理をテレビ100に実行させるための画像データであるのかを、サムネイル一覧表示画面1000により容易に認識することができる。
また、操作用画像データのサムネイル1001〜1004の各々には、当該画像データが処理指定情報を含む操作用画像データであることを示すマーク1010が、アイコン画像にオーバーラップして表示される。これにより、ユーザは、操作用画像データのサムネイル1001〜1004を、表示用画像データのサムネイル1005〜1009と容易に識別することができる。
なお、操作用画像データのサムネイル1001〜1004上に表示されるマーク1010は、各操作用画像データのアイコン画像上に予め書き込まれたものであってもよいし、携帯電話端末200が当該画像データに処理指定情報が格納されていることを認識して表示するものであってもよい。
マーク1010をアイコン画像上に予め書き込んでおくことで、操作用画像データに処理指定情報が格納されていることが認識できない装置を操作装置として利用する場合でも、当該画像データが操作用画像データをユーザに認識させることができるというメリットがある。一方、処理指定情報が格納されている画像データのサムネイル画像上にマーク1010を表示する場合には、当該画像データに処理指定情報が格納されているかを正確にユーザに知らせることができるというメリットがある。
表示画面1000が表示されている状態で、ユーザは、携帯電話端末200に設けられた十字ボタンなどの入力手段を用いて、サムネイル一覧表示領域1000aに一覧表示されているサムネイル群から、所望のサムネイルを1つ選択することができる。現在選択されているサムネイルには、周囲に枠線1011が表示され、どのサムネイルが現在選択されているのかを、ユーザが容易に確認できるようになっている。図11に示した例では、サムネイル1006が選択されていることが分かる。
1つのサムネイルが選択された状態でユーザが赤外線送信ボタンを押下すると、画像データ選択部204により、その時点で選択されていたサムネイルに対応する画像データが、送信すべき画像データとして選択される。そして、画像データ送信部205により、選択された画像データがテレビ100に対して送信される。なお、ここで説明した、ユーザが画像データを送信するために行うべき操作は、操作用画像データを送信する場合であっても、表示用画像データを送信する場合であっても、全く同様である。
なお、図11においては、操作用画像データのサムネイル1001〜1004と、表示用画像データのサムネイル1005〜1009とが同一の画面に一覧表示される例を示したが、操作用画像データのアイコン画像表示方法はこれに限らない。すなわち、操作用画像データのみを特定のフォルダに格納するようにしておき、この特定のフォルダに格納された画像データ(あるいは、そのサムネイル画像)を一覧表示することによって、操作用画像データのアイコン画像のみを一覧表示するようにしてもよい。この際、特定のフォルダへの操作用画像データの格納は、ユーザが手動で行うようにしてもよいし、あるいは、携帯電話端末200が自動的に行うようにしてもよい。
図12は、表示部203に表示される、他のより好ましい表示画面2000の構成例を示した画面構成図である。図12に示したように表示画面2000は、操作用画像データのアイコン画像を一覧表示するためのアイコン画像表示領域2001と、表示用画像データのサムネイルを一覧表示するためのサムネイル一覧表示領域2002と、操作ガイダンスを表示するための操作ガイダンス表示領域2003とを含んで構成されている。
アイコン画像表示領域2001に表示されるアイコン画像は、表示用画像データのサムネイルに比べて小さい表示サイズで表示されている。これにより、記憶部201に多数の操作用画像データが格納されている場合でも、面積の限られたアイコン画像表示領域2001内に、十分な数のアイコン画像を表示することができるようになっている。なお、アイコン画像表示領域2001に表示される画像は、ユーザが現在閲覧中の画像フォルダに格納された操作用画像データに限定されていても良いし、あるいは、複数のフォルダにまたがって操作用画像データを検索した結果の一覧であっても良い。
また、アイコン画像表示領域2001の最上部には上へのページ送りボタン2101が表示され、アイコン画像表示領域2001の最下部には下へのページ送りボタン2106が表示される。記憶部201に多数の操作用画像データが格納されており、アイコン画像表示領域2001内に全てのアイコン画像を表示することができない場合には、ユーザが*あるいは#ボタン(電話番号入力用のプッシュボタンのうち*あるいは#に対応するもの)を押すことで、表示しきれていないアイコン画像が表示されるように、アイコン画像表示領域2001の表示が切り替わる。
さらに、各アイコン画像の左側には、当該アイコン画像に対応する数字ボタン(電話番号入力用のプッシュボタンのうち0〜9の数字に対応するもの)の数字が表示される。たとえば、ユーザが1のボタンを押すと、画像データ選択部204は、アイコン画像2102に対応する操作用画像データを選択し、ユーザが2のボタンを押すと、画像データ選択部204は、アイコン画像2103に対応する操作用画像データを選択する。これにより、ユーザは、テレビ100に実行させたい処理を表現したアイコン画像の左側に表示された数字に対応する数字ボタンを押すだけで、その処理を指定した処理指定情報が格納された操作用画像データをテレビ100に送信することができる。
操作用画像データの送信を想定していない従来の携帯電話端末でも利用されているサムネイル一覧表示画面1000の代わりに、図12に示した表示画面200を表示するようにすることで、携帯電話端末200を用いてテレビ100を操作する際の操作性を、より一層向上させることができる。
以上のように、携帯電話端末200は、テレビ100が実行すべき処理を指定する処理指定情報が格納されている画像データを、テレビ100に送信する画像データ送信手段として機能する画像データ送信部205を含んで構成されている。
また、携帯電話端末200は、テレビ100に実行させる処理を指定した処理指定情報を格納した複数の操作用画像データを格納する画像データ格納手段として機能する記憶部201と、記憶部201に格納された上記複数の操作用画像データの各々に含まれる画像であって、各操作用画像データに格納された処理指定情報により指定された処理を表現したアイコン画像を、表示部203に一覧表示させる画像表示手段として機能する表示画面生成部202と、上記一覧表示が行われている間に入力されたユーザ操作に基づいて、記憶部201に格納された操作用画像データから、テレビ100に送信するべき画像データを選択する画像データ選択手段として機能する画像データ選択部204とを含んで構成されている。
なお、IrSimple(登録商標)では異なる通信方式を切り替えてデータを伝送することができる。2400bpsから115.2kbpsまでの伝送速度に対応する通信方式と、4Mbpsを超える伝送速度に対応する通信方式とでは、通信信号の到達距離が異なり、低速の伝送速度に対応する通信方式のほうが到達距離が長い。一方、処理指定情報を格納した画像データはアイコンとしての役割が主であると考えられるため、比較的データサイズが小さいという傾向があると予想される。そこで、処理指定情報を格納した画像データを送る場合には低速かつ到達距離の長い通信方式を選択し、処理指定情報を格納していない画像データを送るときには高速かつ到達距離の短い通信方式を選択することが考えられる。このような選択を、携帯電話端末200の画像データ送信部205が自動的に行うことにより、制御のための画像については離れた場所から送信ができるようになり、ユーザの利便性が向上する。
(ユースケース)
最後に、携帯電話端末200から表示用画像データをテレビ100に送信し、続けて、携帯電話端末200から操作用画像データをテレビ100に送信することにより、先に送信した表示用画像データの画像に対して、後に送信した操作用画像データにより画像処理を行うというユースケースについて、図13に基づいて説明する。
まず、ユーザは、携帯電話端末200を操作して、携帯電話端末200からテレビ100に送信する表示用画像データを選択する。ここでは、サムネイル1006により表現されている、1024×768画素の写真が格納された画像データが選択されたものとする。ここで選択された画像データは、赤外線通信によりテレビ100に送信される。
テレビ100においては、画像データの受信を完了すると、デコード部102により、受信した画像データの画像サイズが判定され、処理指定情報抽出部106により、処理指定情報の有無が判定される。受信した画像データの画像サイズは、1024×768画素であり、予め定められた所定の閾値より大きいので、デコード部102により、受信した画像データの展開が実行される。この際、受信した画像データに処理指定情報は含まれていないので、画像処理部103は、展開された画像データにデフォルトの画像処理を実行して、受信した画像データの画像を表示部104に表示する。図13(a)は、この際、テレビの表示部104に表示される表示画面を示している。図13(a)から分かるように、携帯電話端末200から送信された画像データの写真は、カメラを90°傾けた状態で撮影されたものであるため、人物が横転した状態で表示されている。
なお、上述したデフォルトの画像処理として任意の画像を設定することができるが、ここでは、画像全体を表示部104内に表示するという条件のもとで、画像の表示サイズを最大化するよう、画像を拡大あるいは縮小する画像処理がデフォルトして設定されているものとする。
また、カメラを90°傾けた状態で撮影されたものであることを示す撮影角度情報が画像データに埋め込まれている場合は、テレビ100は、上述したとおり、この撮影角度情報に基づいて表示角度を自動的に補正して表示するようにしてもよい。しかしながら、既存のデジタルカメラではやカメラ付き携帯電話では、撮影角度情報が正しく付加されないことも多く、図13(a)に示したように、写真が横転された状態で表示されることが起こりえる。
そこで、ユーザは、表示画面2000に基づいて、画像を右に90°回転する画像処理を表現したアイコン画像2103を選択するよう、携帯電話端末200を操作する。この操作を受けた携帯電話端末200は、選択されたアイコン画像2103に対応する操作用画像データを選択して、テレビ100に対して送信する。
アイコン画像2103に対応する操作用画像データは、画像を右に90°回転する画像処理を指定する処理指定情報が格納された画像データである。したがって、この操作用画像データを受信したテレビ100は、当該処理指定情報により指定されている画像を右に90°回転する画像処理を実行するよう、画像処理部103に指示を与える。この指示を受けた画像処理部103は、現在表示中の先に受信した画像データの画像を右に90°回転させる画像処理を実行し、回転した画像を表示部104に出力する。図13(b)は、この際、表示部104に表示される表示画面を示している。これにより、図13(a)で横転して表示されていた写真が、正しく表示されるようになる。
なお、携帯電話端末200において、記憶部201に格納されている操作用画像データは、工場出荷時に記憶部201に予め格納されたものであってもよいし、携帯電話端末200が外部から取得したものであってもよい。後者の場合としては、テレビ100を販売するメーカが、テレビ100のユーザに配信するメールマガジンに、操作用画像データを添付して配信するケースや、あるいは、携帯電話端末200のユーザが、携帯電話端末200を用いて、テレビ100を販売するメーカのウェブサイトから、操作用画像データをダウンロードするケースなどが想定される。
以上のように、本発明によれば、操作装置が処理指定情報の格納されている画像データを外部、例えばインターネットのサーバから取得する場合には、一般に画像データを扱うために使われている画像送受信機能や通信プロトコル、例えば電子メールへの画像添付機能やWebページからの画像ダウンロード機能を処理指定情報の取得にそのまま流用することを可能にする。
また、このようにして取得した画像データには格納されている処理指定情報を視覚化した画像情報含めることができるため、一般に画像データを選択するために使われている機能、例えば携帯電話の画像ビューア機能を目的とする処理指定情報の選択にそのまま流用することができるという効果ももたらす。
〔実施形態2〕
本発明の第2の実施形態について、図面に基づいて説明すれば以下のとおりである。
図24は、本実施形態に係る操作システム1´の構成を示したブロック図である。図24に示したように、操作システム1´は、被操作装置であるテレビ(画像データ受信装置)100´と、操作装置である携帯電話端末200´とを含んで構成されている。テレビ100´は、短距離無線通信部101´と、受信データ処理部102´と、ネットワーク通信部103´と、受信データ記憶部104´と、表示部105´とを備えている。
短距離無線通信部101´は、処理指定情報が格納されている画像データを携帯電話端末200´から受信するための手段である。ネットワーク通信部103´は、短距離無線通信部101´が受信した画像データに格納されている処理指定情報により指定された処理を実行するための手段である。受信データ処理部102´は、短距離無線通信部101´が受信した画像データの画像を表示部105´に表示するための手段であるとともに、短距離無線通信部101´が画像データを受信中であることを示す情報、および、ネットワーク通信部103´が処理指定情報により指定された処理を実行中であることを示す情報を表示部105´に表示するための手段である。
本実施形態においては、短距離無線通信部101´が受信する画像データに格納されている処理指定情報として、2種類の処理指定情報を想定する。第1の処理指定情報は、インターネット上の特定のリソース(HTML文書等)をネットワークを介して取得するとともに、取得したリソースに基づいてコンテンツ(ウェブページ等)を表示する、取得/表示処理を指定するものである。また、第2の処理指定情報は、短距離無線通信部101´が受信した画像データをインターネット上の特定のウェブサーバに送信する送信処理を指定するものである。第1の処理指定情報が格納された画像データは、ユーザが親しみ易いように、UIにおいて「招待状」と呼称されることもある。
ところで、短距離無線通信部101´は、携帯電話端末200´から発せられた赤外線を受光して電気信号に変換する赤外線受光部を備えており、この赤外線受光部にて得られた電気信号を所定のプロトコル(例えばIrSimpleShot)に則って画像データに変換するように構成されている。したがって、携帯電話端末200´の操作者は、画像データの伝送が完了するまでの間、携帯電話端末200´の赤外線発光部をテレビ100´の方向に向けておく必要がある。
このため、テレビ100´は、画像データの受信中であることを示す情報を、短距離無線通信部101´が当該画像データの受信を完了するまでの間、携帯電話端末200´の操作者に提示するよう構成されていることが好ましい。これにより、携帯電話端末200´の操作者は、携帯電話端末200´の赤外線発光部100´をいつまでテレビ100´の方向に向けておけば良いのかを知ることができるからである。
また、短距離無線通信部101´は、受信した画像データを受信データ記憶部104´に記憶させるように構成されている。また、ネットワーク通信部103´は、受信データ記憶部104´に記憶された画像データの処理指定情報を読み出して、読み出した処理指定情報により指定された処理を実行したり、受信データ記憶部104´に記憶された画像データ自体を読み出して、読み出した画像データをウェブサーバに送信したりするように構成されている。したがって、ネットワーク通信部103´が処理指定情報により指定された処理(特に、受信した画像データをウェブサーバに送信する処理)を完了するまでの間、短距離無線通信部101´が受信した画像データを受信データ記憶部104´に保持しておく必要がある。
このため、テレビ100´は、ネットワーク通信部103´が処理指定情報により指定された処理を完了するまでの間、短距離無線通信部101´の機能を停止するなどして画像データの待ち受けを停止することが好ましい。これにより、2以上の画像データを受信データ記憶部104´に同時に保持する必要がなくなるので、受信データ記憶部104´をより小容量のメモリにより構成することができ、テレビ100´のコストを低下させることができる。
また、この場合、テレビ100´は、ネットワーク通信部103´が処理指定情報により指定された処理を完了するまでの間、画像データを受信できないことを示す情報を携帯電話端末200´の操作者に提示することが好ましい。これにより、画像データを送信したにも関わらず、送信した画像データに格納された処理指定情報により指定された処理が実行されないことにより、携帯電話端末200´の操作者に与えるストレスを軽減することができる。
図25は、携帯電話端末200´から画像データを受信したときに、テレビ100´が実行する処理の流れを示すフローチャートである。図25に示した処理を構成する各ステップについて説明すれば以下のとおりである。
短距離無線通信部101´は、携帯電話端末200´から送信された画像データの受信を開始すると、受信開始を受信データ処理部102´に通知する。この通知を受けた受信データ処理部102´は、受信中であることを示す情報を表示部105´に表示する(S101´)。図26(a)は、このとき表示部105´に表示される表示画面を例示した図である。図26(a)に例示した表示画面においては、受信中であることを示す情報として、「受信中・・・」という文字列を表示するようにしている。
短距離無線通信部101´は、受信した画像データを受信データ記憶部104´に保存する(S102´)。そして、画像データ全体の受信が完了すると(S103´:Yes)、受信完了を受信データ処理部102´に通知する。この通知を受けた受信データ処理部102´は、新たな画像データの待ち受けを停止するために、短距無線通信部101´の機能を停止させる(S104´)とともに、受信中であることを示す情報を表示部105´から消去する(S105´)。
続けて、受信データ処理部102´は、処理指定情報により指定された処理を実行中であることを示す情報、および、画像データの受信が不可能であることを示す情報を表示部105´に表示する(S106´)。図26(b)は、このとき表示部105´に表示される表示画面を例示した図である。図26(b)に例示した表示画面においては、処理指定情報により指定された処理が実行中であることと、画像データの受信が不可能であることとを同時に示す情報として、「処理中のため招待状を受信することができません」という文字列が表示されている。
続けて、受信データ処理部102´は、処理の開始をネットワーク通信部103´に指示する。この指示を受けたネットワーク通信部103´は、ステップS102´において受信データ記憶部104´に保存された画像データに格納されている処理指定情報を読み出して、読み出した処理指定情報により指定された処理を実行する(S107´)。この処理の詳細については、参照する図面を代えて後で説明する。
ネットワーク通信部103´が処理指定情報により指定された処理の実行を完了すると(S108´:Yes)、受信データ処理部102´は、新たな画像データの待ち受けを再開するために、短距離無線通信部101´の機能を起動させる(S109´)。
続けて、受信データ処理部102´は、S106´において表示した、処理指定情報により指定された処理が実行中であることを示す情報、および、新たな画像データを受信できないことを示す情報を表示部105´から消去するとともに、画像データの受信が可能であることを示す情報を表示部105´に表示する(S110´)。図26(c)は、このとき表示部105´に表示される表示画面を例示した図である。図26(c)に例示した表示画面においては、画像データの受信が可能であることを示す情報として、「招待状受信できます」という文字列が表示されている。
次に、図26に示したフローチャートに含まれるステップS107´の詳細について、図27を参照して説明する。
まず、受信データ処理部102´は、受信データ記憶部104´に保存された画像データ(以下、「受信画像データ」と呼称する)を読み出し(S201´)、読み出した受信画像データのヘッダ情報を解析する(S202´)。受信画像データは、ここではJPEGデータであり、ヘッダ情報とはJPEGデータのEXIF領域に格納されているメタ情報を指す。
受信画像データのEXIF領域にメタ情報として処理指定情報が含まれていなかった場合(S203´:No)、受信データ処理部102´は、受信画像データをデコードするとともに(S204´)、デコードした受信画像データをメモリに展開する(S205´)。
一方、受信画像データのEXIF領域にメタ情報として処理指定情報が含まれていた場合(S203´:Yes)、受信データ処理部102´は、その処理指定情報により指定された処理の実行をネットワーク通信部103´に指示する。ネットワーク通信部103´は、受信データ記憶部104´に保存された受信画像データから処理指定情報を読み出して、読み出した処理指定情報に応じた処理を実行する(S206´〜S208´)。
ここで、ステップS207´においてネットワーク通信部103´が実行する処理の実装例を図28に示す。なお、ステップS208´においてネットワーク通信部103´が実行する処理については、図30を参照されたい。
図28(a)は、受信データ記憶部104´に保存された受信画像データからURL(処理指定情報)の読み出しが完了した時点で、確認画面を表示して処理を終了する実装例である。この場合、テレビ100´は、URLの読み出しを完了した時点で、図29(a)に示したような確認画面を表示し、新たな画像データの待ち受けを再開することになる。
図28(b)は、読み出したURLにより指定された指定リソースの取得を開始した時点で処理が完了したものとする場合の実装例である。この場合、テレビ100´は、指定リソースの取得を開始した時点で新たな画像データの待ち受けを再開することになる(図29(b)参照)。
図28(c)は、指定リソースに基づいて指定コンテンツの表示を完了した時点で処理が完了したものとする場合の実装例である。この場合、テレビ100´は、指定コンテンツの表示が完了した時点で新たな画像データの待ち受けを再開することになる(図29(c)参照)。
図28(d)は、ページ終端までスクロールするなどして、指定コンテンツに含まれる全ての情報を表示し終えた時点で処理が完了したものとする場合の実装例である。この場合、テレビ100´は、指定コンテンツに含まれる全ての情報を表示し終えた時点で新たな画像データの待ち受けを再開することになる。このような構成には、テレビ100´のユーザに指定コンテンツに含まれる全ての情報を確実に提示することができるという、招待状(受信画像データ)提供者にとってのメリットがある。
なお、ステップ208´においても、図31に示したような確認画面を表示するようにしてもよい。このような確認画面を用いることにより、ユーザは、必要に応じて画像データの送信をキャンセルすることが可能になる。このような確認画面を表示する場合には、図30に示したフローチャートを、例えば、図32に示したように変更すればよい。
(付記事項)
本発明に係る画像データ受信装置が、画像処理機能を備えているのであれば、当該画像処理機能を画像データに基づいて制御できるように構成することもできる。
すなわち、本発明に係る画像データ受信装置は、画像処理により画像を加工する画像処理手段を更に備え、上記制御手段は、上記処理指定情報が、受信した上記画像データに格納されている画像以外の画像に対する画像処理を指定しているとき、上記処理指定情報により指定された画像処理を実行するよう、上記画像処理手段を制御する、ように構成してもよい。
また、本発明に係る画像データ受信装置においては、外部から当該画像データ受信装置を操作するための操作信号を受信する操作信号受信手段であって、上記画像データ受信手段とは異なる、赤外線を通信媒体とする操作信号受信手段を更に備えている、ことが好ましい。
上記操作信号受信手段は、外部から自装置を操作するための操作信号を受信するものであり、画像データを受信する必要がない。このため、例えば、リモコン用の通信プロトコルを用いることにより、当該画像データ受信装置から数メートル以上離れたところにある操作装置から発せられた操作信号を受信可能に構成することができる。一方、上記画像データ受信手段は、例えば、高速赤外線通信プロトコルや近距離用無線通信プロトコルを用いることにより、当該画像データ受信装置から1メートル程度離れたところにある画像データ送信装置から送信された画像データを、高速受信可能に構成することができる。
すなわち、上記構成によれば、近傍にある画像データ送信装置から送信された画像データを高速受信する画像データ受信手段と、遠方にある操作装置から発せられた操作信号を受信する操作信号受信手段とを、役割分担させて機能させることができる。
なお、本発明に係る操作装置は、上記処理指定情報を格納した画像データを送信する場合と、上記処理指定情報を格納していない画像データを送信する場合とで異なる通信方式を選択する、ように構成されていてもよい。
また、上記画像データは、上記処理指定情報に対する電子署名を更に含んでいる、ように構成されていてもよい。
上記の構成によれば、上記画像データを利用する画像データ受信装置が電子署名検証機能を有するものである場合に、上記画像データの信頼性を高めることができる。すなわち、上記画像データが改竄されている場合に、上記画像データ受信装置が、当該画像データに格納されている処理指定情報により指定された予期せぬ処理を実行してしまうことを防止することができる。
なお、上記画像データ受信装置において、上記画像データ受信手段が上記処理指定情報が格納されている画像データを受信している間、画像データを受信中であることを示す情報を表示部に表示させる表示制御手段を更に備えている、ことが好ましい。
上記画像データ受信手段が、指向性を有する搬送波に重畳して送信された画像データを受信するように構成されている場合、当該搬送波を送信する送信装置の操作者は、画像データの伝送が完了するまでの間、当該送信装置を当該画像データ受信手段の方向に向けておく必要がある。このような場合であっても、上記構成によれば、送信装置の操作者は、当該送信装置をいつまで当該画像データ受信手段の方向に向けておけばよいかを知ることができ、必要以上のストレスを感じることがない。
また、上記画像データ受信装置において、上記画像データ受信手段は、上記処理指定情報により指定された処理が実行されている間、新たな画像データを受信しない、ことが好ましい。
上記構成によれば、上記処理指定情報により指定された処理が実行されている間に、上記画像データ受信手段が新たな画像データを受信することはない。したがって、上記画像データ受信手段が受信した画像データを格納するためのメモリに複数の画像データが未処理の状態で蓄積されてしまうことがない。
なお、本発明に係る画像データのデータ構造は、画像を含む画像データのデータ構造であって、当該画像データを受信した画像データ受信装置が実行するべき処理を指定した処理指定情報であって、当該画像データに格納されている画像以外の画像に対する画像処理、あるいは、画像処理以外の処理を少なくとも指定する処理指定情報および上記画像に対する電子署名がメタ情報を格納するための領域に格納されており、当該画像データに含まれる画像は、当該画像データを上記画像データ受信装置に送信することにより、上記画像データ受信装置を操作する操作装置において表示される画像であって、上記処理指定情報により指定された処理を識別するための画像であってもよい。
上記構成によれば、上記画像データ受信装置において、当該画像データを受信させることにより、上記処理指定情報により指定された処理を実行させることができるという効果を奏する。
また、上記構成によれば、上記操作装置において、上記処理指定情報により指定された処理を表現した画像を表示することができる。したがって、上記操作装置を用いて上記画像データ受信装置を操作しようとするユーザは、当該画像データを送信することにより上記画像データ受信装置にて実行される処理の内容を、目視確認することが可能になるという効果を奏する。
また、上記データ構造は、上記メタ情報として上記画像データに格納されているデータには、上記電子署名の対象とならないデータが含まれている、ように構成されていてもよい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、画像データ受信装置(テレビ)100の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、画像データ受信装置100は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像データ受信装置100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記画像データ受信装置100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、画像データ受信装置100を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
また、操作装置(携帯電話端末)200の各ブロックも、ハードウェアロジックによって構成してもよいし、画像データ受信装置100について上述したのと同様に、CPUを用いてソフトウェアによって実現してもよい。
また、テレビ100´(画像データ受信装置100´)の各ブロックも、ハードウェアロジックによって構成してもよいし、画像データ受信装置100について上述したのと同様に、CPUを用いてソフトウェアによって実現してもよい。