JP5239588B2 - マルチメディア端末装置、機能連携方法および機能連携プログラム - Google Patents

Description

本発明は、放送コンテンツに含まれる内容を効率的に利用することができるマルチメディア端末装置、機能連携方法および機能連携プログラムに関する。

近年、地上デジタル放送等の放送コンテンツには、例えば通信販売を目的とした番組、商品広告を目的としたコマーシャルおよび放送予定の番組宣伝を目的としたコマーシャル等種々多様な情報が含まれている。

これらの中で、例えば通信販売を目的とした番組の場合、売買契約を結ぶために必要な電話番号が放送コンテンツに含まれ、視聴者は、商品の購入を希望したとき、その電話番号に電話をかけることによって希望する商品の売買を成立させる。

また、民間放送では、番組はスポンサの資金提供を受けて制作されている。その資金提供の対価としてスポンサの自社製品の広告を目的としたコマーシャルが放送されることが一般的となっている。このコマーシャルの商品概要等が放送コンテンツに含まれ、通常１０から３０秒程度の短い時間内に放送される。コマーシャルには、スポンサの製品紹介だけでなく、その放送局が放送予定の番組宣伝を目的としたコマーシャルもあり、様々な情報が放送コンテンツに含まれ、広告を目的としたコマーシャル同様数十秒程度の短い時間内に放送される。

このような地上デジタル放送の放送コンテンツは、例えばカーナビゲーションシステムによっても利用されており、カーナビゲーション装置が、地上デジタル放送のデータエリアに広告情報を埋め込んだ放送コンテンツを取得して、現在の位置に対応した地図情報に重ねて広告情報を表示する。また、カーナビゲーション装置は、緊急時に地上デジタル放送中に含まれている緊急情報を示すＴＭＣＣ信号を取得して、その緊急情報に関する放送データを受信して放送する。

特開２００５−２４９５６０号公報 特開２００７−６０４８９号公報

しかしながら、放送コンテンツに含まれる内容の利用には、手間がかかるという問題がある。例えば、通信販売を目的とした番組を視聴した視聴者は、商品の購入を希望したとき、希望する商品を購入するまでに、放送コンテンツに含まれた電話番号をメモ等に記録した後、記録された電話番号に電話をかける必要があるため、労力と時間がかかる。その結果、仮に商品の購入が先着順の場合、視聴者は、希望する商品を購入することができない場合も想定される。

また、商品広告を目的としたコマーシャルまたは放送予定の番組宣伝を目的としたコマーシャルの場合には、商品または番組に興味を持った視聴者は、放送コンテンツに含まれた商品情報または番組情報に関連する詳細情報を取得するまでに、放送コンテンツに含まれた情報をメモ等に記録した後、記録した情報をＷｅｂブラウザ等に入力して詳細情報を取得するため、手間がかかる。特に、視聴者は、コマーシャルの放送中の短時間に放送コンテンツに含まれた情報を記録しなければならないため、例えばメモに記録する場合、誤記または書き損じのおそれもあり、そのままＷｅｂブラウザに入力すると、正確な詳細情報を取得することができない。

さらに、最近では、商品広告を目的としたコマーシャルの放送コンテンツは、インターネット上に存在する商品の紹介記事等の場所を示すＵＲＬまたは視聴者に検索させるキーワードをも含められた内容となっている。そのため、視聴者は、コマーシャルの放送中の短時間に商品情報を把握しなければならないため見逃してしまうこともあり、商品情報を取得するために後に自己調査をせざるを得ず、商品情報に関連する詳細情報を取得するまでに手間がかかることとなる。

本発明は、上記に鑑みてなされたものであって、放送コンテンツに含まれる内容を効率的に利用することができるマルチメディア端末装置、機能連携方法および機能連携プログラムを提供することを目的とする。

上述した問題を解決し、目的を達成するために、マルチメディア端末装置は、画像情報または音声情報を含むマルチメディアデータからユーザが指定する一部のデータを部分データとして抽出する抽出手段と、前記抽出手段によって抽出された部分データの中から、自装置が保有するアプリケーションに関連付けられた画像パターンまたは音声パターンを探索する探索手段と、前記探索手段によって探索されて得られた画像パターンまたは音声パターンが示す文字情報を取得する取得手段と、前記取得手段によって取得された文字情報を入力パラメータとして、前記画像パターンまたは前記音声パターンに対応するアプリケーションを実行する実行手段と、を備えた構成を採る。

かかる構成によれば、マルチメディア端末装置は、アプリケーションの機能を自動的に発揮できる状態にでき、画像パターンまたは音声パターンが示す文字情報に対応した実行結果を取得することができることとなり、部分データに含まれる文字情報を効率的に利用することができる。例えば、商品広告を目的としたコマーシャルの場合に、マルチメディア端末装置は、部分データに含まれた「ｈｔｔｐ」の形状を示す画像パターンに関連付けられたＷｅｂアプリケーションを自動的に立ち上げ、画像パターンが示すＵＲＬをパラメータとして実行することができることとなり、部分データに含まれるＵＲＬに存在する情報を効率的に取得することができる。

本明細書に開示されたマルチメディア端末装置、機能連携方法および機能連携プログラムは、放送コンテンツに含まれる内容を効率的に利用することができるという効果を奏する。

以下に、本発明に係る携帯電話の実施例を図面に基づいて詳細に説明する。なお、本実施例によりこの発明が限定されるものではない。

本実施例に係る携帯電話は、ユーザが携帯電話によって放送を視聴している際、ユーザが関心を持った一時点の画像データ（音声データ）に含まれた画像パターン（音声パターン）とアプリケーションとを連携させて、画像パターンが示す文字情報に関連する情報を取得する。すなわち、ユーザが放送の内容に関心を持ったとき、関心を持った文字情報についてその都度メモ等に記憶して、記憶した文字情報を用いて新たにアプリケーションを実行しなくても良く、携帯電話が自動的に画像パターンが示す文字情報を用いてアプリケーションを実行する。なお、アプリケーションとの連携対象は、画像パターンに限定されるものではなく、音声パターンであっても良い。

図１は、実施例に係る携帯電話の全体構成を示す機能ブロック図である。同図に示すように、携帯電話１は、スピーカ１０と、映像表示部２０と、放送内容分離部３０と、マルチメディアデータ４０と、チューナ５０と、再生データ処理部６０と、機能連携部７０と、システム制御部８０と、操作部９０と、電話機能部１００と、電話帳機能部１１０と、Ｗｅｂブラウザ機能部１２０と、を備える。

スピーカ１０は、音を出力する装置であり、放送内容分離部３０によって分離された音声データを取得し、テレビ音声として出力する。

映像表示部２０は、映像を出力する装置であり、例えば液晶ディスプレイまたはＬＣＤ（Liquid Crystal Display）である。映像表示部２０は、放送内容分離部３０によって分離された映像データを取得し、テレビ映像として出力する。

放送内容分離部３０は、チューナ５０から出力された放送波から例えばＭＰＥＧ２−ＴＳ形式の映像データとＡＡＣ形式の音声データとを分離して、音声データをスピーカ１０に出力し、映像データを映像表示部２０に出力する。放送内容分離部３０は、再生データ処理部６０から出力された再生データを音声データと映像データとに分離して、音声データをスピーカ１０に出力し、映像データを映像表示部２０に出力する。また、放送内容分離部３０は、画像データおよび音声データの保存要求を機能連携部７０から取得すると、保存要求時点の映像データのスナップショットを画像データとしてマルチメディアデータ４０に保存し、保存要求時点のサンプリングされた音声データをマルチメディアデータ４０に保存する。放送内容分離部３０は、画像データおよび音声データをマルチメディアデータ４０に保存後、保存完了通知を機能連携部７０に出力する。

マルチメディアデータ４０は、放送内容分離部３０から出力された音声データおよび画像データを保持する。

チューナ５０は、機能連携部７０によって指定された周波数の放送波をアンテナから受信して、放送内容分離部３０に出力する。

再生データ処理部６０は、機能連携部７０から出力される再生要求を取得し、例えばあらかじめ保持された録画データを再生して、再生データを放送内容分離部３０に出力する。

機能連携部７０は、動画像である映像のうちユーザによって指定された一時点の画像データに含まれた画像パターンと画像パターンに対応するアプリケーションとを連携して、画像データに関連する情報を取得する。具体的には、機能連携部７０は、操作部９０から連携要求が出力されると、画像データの保存要求を放送内容分離部３０に出力する。また、機能連携部７０は、マルチメディアデータ４０から連携要求に対応する画像データを取得し、画像データの中からあらかじめアプリケーションと関連付けられた画像パターンを探索する。そして、機能連携部７０は、画像データの中から探索された画像パターンが示す文字情報を取得して、当該文字情報と画像パターンに対応するアプリケーション情報とをシステム制御部８０に出力する。そして、機能連携部７０は、システム制御部８０から文字情報を用いたアプリケーションの起動結果を取得する。これにより、機能連携部７０は、画像データに含まれる画像パターンが示す文字情報を効率的に利用することができる。また、機能連携部７０は、操作部９０から出力された再生要求を再生データ処理部６０に出力する。機能連携部７０は、動画像である再生データのうちユーザによって指定された一時点の画像データに含まれた画像パターンと画像パターンに対応するアプリケーションとを連携して、画像データに関連する情報を取得する。これにより、機能連携部７０は、例えば、再生データの一時点の画像データに含まれる画像パターンが示す文字情報を効率的に利用することができる。なお、機能連携部７０は、アプリケーションとの連携対象を画像パターンとしたが、画像パターンに限定されるものではなく、音声パターンであっても良い。

システム制御部８０は、機能連携部７０から出力されたアプリケーション情報と画像パターンが示す文字情報とを用いて、アプリケーション情報に対応するアプリケーションを起動する。具体的には、システム制御部８０は、アプリケーション情報に対応するアプリケーションを電話機能部１００、電話帳機能部１１０、Ｗｅｂブラウザ機能部１２０または連携対象機能部１３０から取得して、画像パターンを示す文字情報をパラメータとして、取得されたアプリケーションを起動する。そして、システム制御部８０は、起動結果を機能連携部７０に出力する。

操作部９０は、携帯電話１の入力装置である。操作部９０は、機能連携部７０が実行する放送内容とアプリケーションとの連携処理にあらかじめ割り当てられたボタンを含み、ユーザによって当該ボタンが押下されたとき、連携要求を機能連携部７０に対して出力する。操作部９０は、例えば、キーパッド、マウスまたはタッチペンであるが、これに限定されるものではない。

電話機能部１００は、システム制御部８０から起動される電話通信アプリケーションである。すなわち、システム制御部８０が電話番号をパラメータとして電話機能部１００を起動すると、電話番号の相手先との通信が可能になる。

電話帳機能部１１０は、システム制御部８０から起動される電話帳アプリケーションである。すなわち、システム制御部８０が電話番号をパラメータとして電話帳機能部１１０を起動すると、電話番号が電話帳に登録される。その結果、ユーザは、登録された電話番号に対して、後に電話をかけることができる。

Ｗｅｂブラウザ機能部１２０は、システム制御部８０から起動されるＷｅｂアプリケーションである。すなわち、システム制御部８０がＵＲＬをパラメータとしてＷｅｂブラウザ機能部１２０を起動すると、ＵＲＬに存在する情報が取得される。その結果、ユーザは、ＵＲＬを入力しなくても、自動的にＵＲＬに存在する情報を取得することができる。

連携対象機能部１３０は、電話機能部１００、電話帳機能部１１０およびＷｅｂブラウザ機能部１２０以外のアプリケーションであって、システム制御部８０から起動される画像パターンと関連付けられたアプリケーションである。例えば、画像パターンを「地名」という文字列の形状を示す画像としたとき、「地名」と関連付けられたアプリケーションを地図検索アプリケーションとしても良いが、これに限定されるものではない。

図２は、本実施例に係る機能連携部の構成を示す機能ブロック図である。同図に示すように、機能連携部７０は、連携要求取得部７１と、放送内容制御部７２と、パターン探索部７３と、キーワード取得部７４と、連携起動部７５と、パターン訂正部７６と、再探索要求取得部７７と、パターン再探索部７８と、記憶部７９と、再生要求取得部８０と、を備える。

連携要求取得部７１は、操作部９０から出力された連携要求を取得して、放送内容制御部７２に対して出力する。

放送内容制御部７２は、連携要求を連携要求取得部７１から取得すると、画像データの保存要求を放送内容分離部３０に対して出力する。放送内容制御部７２は、放送内容分離部３０が保存要求を取得した時点に保存した画像データ（または音声データ）に一意につけられた識別番号を含んだ保存完了通知を取得すると、取得された識別番号を含んだ連携要求をパターン探索部７３に対して出力する。

パターン探索部７３は、放送内容制御部７２から出力された識別番号を含んだ連携要求を取得すると、マルチメディアデータ４０から識別番号に対応する画像データを抽出する。そして、パターン探索部７３は、抽出された画像データからあらかじめ定められた画像パターンにマッチングする画像を探索するために、例えばラベイング処理による画像解析を行う。そして、パターン探索部７３は、探索された画像が誤解析された場合は訂正させるために、画像データおよび探索された画像パターンをパターン訂正部７６に対して出力する。また、パターン探索部７３は、パターン訂正部７６による処理後の画像パターンを取得したとき、画像パターンをキーワード取得部７４に出力する。なお、画像パターンは、アプリケーションと関連付けられた特殊文字または数字等の形状を示すパターンであり、例えば、Ｗｅｂアプリケーションと関連付けられたＵＲＬの接頭文字を示す「ｈｔｔｐ」の形状を示すパターン、電話通信アプリケーションと関連付けられた電話番号の記載を示す「ｔｅｌ」という文字列の形状を示すパターンまたはＷｅｂアプリケーション等検索アプリケーションと関連付けられた検索対象文字が検索ボックスに記載されていることを示す「検索」という文字列の形状を示すパターンであるが、これに限定されるものではない。

キーワード取得部７４は、パターン探索部７３またはパターン再探索部７８から出力された画像パターンを取得し、画像パターンが示す文字情報（キーワード）を取得する。キーワードの取得方法は、画像パターンによって異なりあらかじめ定められている。例えば、キーワード取得部７４は、画像パターンが「ｈｔｔｐ」画像の場合は‘ｈｔｔｐ’を含んだ英数文字列を取得し、画像パターンが「ｔｅｌ」画像の場合は‘ｔｅｌ’に続く数字１０または１１桁の文字列を取得し、画像パターンが「検索」画像の場合は検索ボックスに含まれた文字列を取得する。キーワード取得部７４は、取得されたキーワードおよび画像パターンに誤りがないとユーザによって判断されたとき、取得されたキーワードおよび画像パターンを連携起動部７５に出力する。

連携起動部７５は、キーワード取得部７４から出力されたキーワードおよび画像パターンを取得し、キーワードをパラメータとして画像パターンと連携されたアプリケーションを実行する。具体的には、連携起動部７５は、キーワード取得部７４から出力された画像パターンに対応付けられたアプリケーション情報を連携アプリケーション情報７８２から取得する。連携起動部７５は、アプリケーション情報およびキーワードをシステム制御部８０に対して出力する。

パターン訂正部７６は、パターン探索部７３から出力された画像パターンおよび画像データを取得すると、過去に画像パターンを訂正した画像データの中に、取得された画像データに類似する画像データが存在するか否かを判定し、類似する画像データがあると判定した場合は、取得された画像パターンを過去に訂正された画像パターンに訂正する。具体的には、パターン訂正部７６は、パターン探索部７３から取得した画像データと、訂正履歴情報７９１に保持された過去に画像パターンが訂正された画像データと、を比較して、類似データか否かを判定する。そして、パターン訂正部７６は、類似データであると判定した場合は、類似データと判断された画像データに対応する画像パターンを訂正履歴情報７９１から抽出する。そして、パターン訂正部７６は、抽出された画像パターンをパターン探索部７３に出力する。一方、パターン訂正部７６は、類似データでないと判定した場合は、パターン探索部７３から取得した画像パターンをそのままパターン探索部７３に出力する。これにより、パターン訂正部７６は、次回以降の画像パターンの探索を行う際、誤解析を防止することができる。また、パターン訂正部７６は、パターン再探索部７８から出力された画像パターンを取得すると、画像パターンとパターン探索部７３から出力された画像データとを対にして訂正履歴情報７９１に保持する。

再探索要求取得部７７は、キーワード取得部７４によって取得されたキーワードおよび画像パターンに誤りがあるときは、操作部９０から出力された画像データの再探索する画像範囲を含んだ再探索要求を取得して、パターン再探索部７８に対して出力する。

パターン再探索部７８は、再探索要求取得部７７から出力された再探索する画像範囲を取得すると、画像範囲の中から、あらかじめ定められた画像パターンを探索するために、画像解析を行う。パターン再探索部７８は、探索の結果、画像範囲の中から画像パターンを取得すると、画像パターンをキーワード取得部７４およびパターン訂正部７６に対して出力する。

記憶部７９は、訂正履歴情報７９１と連携アプリケーション情報７９２とを備える。訂正履歴情報７９１は、訂正後の画像パターンと探索対象元の画像データとを対にして保持する。連携アプリケーション情報７９２は、画像パターンごとに割り付けられたアプリケーションを識別するアプリケーション情報を保持する。

再生要求取得部８０は、例えば録画データを再生するために、操作部９０によって出力された再生要求を再生データ処理部６０に対して出力する。

なお、機能連携部７０は、アプリケーションとの連携対象を画像パターンとして説明したが、画像パターンに限定されるものではなく、音声パターンであっても良い。この場合、パターン探索部７３は、マルチメディアデータ４０から音声データを抽出して、抽出された音声データからあらかじめ定められた音声パターンを探索するために、音声解析を行う。音声パターンは、アプリケーションと関連付けられた特殊文字または数字を示す音声であり、例えば、電話通信アプリケーションと関連付けられた電話番号を示す数字１０桁または１１桁の音声である。

次に、本実施例に係る機能連携処理を、図３を参照して説明する。図３は、本実施例に係る機能連携処理の処理を示すフローチャートである。

まず、ワンセグ放送を視聴中のユーザが映像に含まれた内容に関連する情報を取得したいとき、あらかじめ放送内容とアプリケーションとの連携処理用に割り当てられた操作部９０のボタンを押下すると、放送内容とアプリケーションとの連携要求が、連携要求取得部７１によって取得される（Ｓ１１０）。そして、連携要求取得部７１は、取得した連携要求を放送内容制御部７２に対して出力する。

連携要求取得部７１から連携要求を取得した放送内容制御部７２は、画像データの保存要求を放送内容分離部３０に対して出力する（Ｓ１２０）。

放送内容制御部７２から画像データの保存要求を取得した放送内容分離部３０は、保存要求時点の映像データのスナップショットを画像データとしてマルチメディアデータ４０に保存する（Ｓ１３０）。このとき、放送内容分離部３０は、画像データごとに一意につけた識別番号を画像データとともに保存する。

そして、放送内容制御部７２から識別番号を含んだ連携要求を取得したパターン探索部７３は、マルチメディアデータ４０から識別番号を用いて画像データを抽出し、抽出された画像データからあらかじめ定められた画像パターンを探索する（Ｓ１４０）。その結果、探索された画像パターンが、機能連携する画像パターンとなる。そして、パターン探索部７３は、画像データをパターン訂正部７６とキーワード取得部７４に対して出力し、画像パターンをパターン訂正部７６に対して出力する。

パターン探索部７３によって探索された画像データが、過去に画像パターンが訂正された画像データに類似しているか否かを、パターン訂正部７６が判定する（Ｓ１５０）。具体的には、パターン訂正部７６は、画像データと、訂正履歴情報７９１に保持された過去に画像パターンが訂正された画像データと、を比較して、画像データが過去に画像パターンが訂正された画像データに類似しているか否かを判定する。

画像データが、過去に画像パターンが訂正された画像データに類似している場合には（Ｓ１５０Ｙｅｓ）、パターン訂正部７６は、類似していると判定された画像データに対応する画像パターンを訂正履歴情報７９１から抽出して、機能連携する画像パターンを抽出された画像パターンに訂正する（Ｓ１６０）。そして、パターン訂正部７６は、訂正された画像パターンを、パターン探索部７３を介してキーワード取得部７４に出力する。

一方、画像データが、過去に画像パターンが訂正された画像データに類似していない場合には（Ｓ１５０Ｎｏ）、パターン訂正部７６は、パターン探索部７３から取得した画像パターンを、パターン探索部７３を介してキーワード取得部７４に出力する。

次に、キーワード取得部７４は、パターン探索部７３によって出力された画像パターンが示すキーワードを画像データから取得する（Ｓ１７０）。

キーワード取得部７４は、連携起動要求を取得したか否かを判定する（Ｓ１８０）。すなわち、キーワード取得部７４は、画像パターンが示すキーワードに誤りがあるか否かをユーザに判定させ、誤りがある場合は、操作部９０から操作された再探索要求を再探索要求取得部７７に出力させ、誤りがない場合は、操作部９０から操作された連携起動要求を取得する。なお、キーワードに誤りがあるとは、当該キーワードが画像データに含まれるキーワードのうちユーザの希望する利用対象ではないことを意味する。

キーワード取得部７４は、連携起動要求を取得したとき（Ｓ１８０Ｙｅｓ）、画像パターンおよびキーワードを連携起動部７５に対して出力する。

キーワードおよび画像パターンを取得した連携起動部７５は、画像パターンに対応付けられたアプリケーション情報を連携アプリケーション情報７９２から抽出する（Ｓ１９０）。

そして、アプリケーション情報を抽出した連携起動部７５は、キーワードをパラメータとして、画像パターンと連携されたアプリケーションを実行する（Ｓ２００）。具体的には、連携起動部７５は、アプリケーション情報およびキーワードをシステム制御部８０に対して出力する。アプリケーション情報およびキーワードを取得したシステム制御部８０は、アプリケーション情報に対応するアプリケーションを起動して、起動されたアプリケーションにキーワードを引き渡してキーワードに関連する情報を取得して機能連携部７０に出力する。そして、機能連携部７０は、出力されたキーワードに関連する情報を表示する。

一方、キーワード取得部７４は、連携起動要求を取得しなかったとき（Ｓ１８０Ｎｏ）、再探索要求取得部７７は、操作部９０から再探索要求を取得し、ユーザによって指示された再探索する画像範囲をパターン再探索部７８に出力する。

そして、画像範囲を取得したパターン再探索部７８は、画像範囲の中からあらかじめ定められた画像パターンを再探索する（Ｓ２１０）。画像パターンの再探索後、引き続き、画像データからキーワードを取得して（Ｓ１７０）、引き続き、画像パターンとアプリケーションとの連携処理を行う。

次に、本実施例に係る携帯電話を用いた機能連携例を図４〜図１５を参照して説明する。ここで、図４〜図７では、画像データを用いた機能連携の場合について説明し、図８〜図１０では、音声データを用いた機能連携の場合について説明し、図１１〜図１５では、画像データに複数の画像パターンが存在する場合について説明する。

まず、図４〜図７を参照して、温泉のコマーシャルを放送中に機能連携部７０によって実行される機能連携処理について説明する。図４では、携帯電話の映像表示部２０に温泉のコマーシャル放送の映像が表示されている。映像表示部２０には、映像データとして、「検索」２１ボタンおよび検索ボックス２２の中に‘○○温泉にいらっしゃい’をキーワードとして含んだ文字列が表示されている。このとき、ユーザが映像データの‘○○温泉’に興味を持ち、‘○○温泉’に関連する情報を取得したいとき、機能連携処理にあらかじめ割り当てられたボタン９１を押下する。これにより、押下時点の画像データとアプリケーションとの機能連携処理が開始される。

図５では、キーワード取得部７４は、ユーザがボタン９１を押下した時点の画像データからパターン探索部７３によって探索された画像パターンが示すキーワードを取得し、その取得した結果を表示している。すなわち、パターン探索部７３は、例えばＷｅｂブラウザと関連付けられた「検索」２１ボタンを画像データから探索する。そして、キーワード取得部７４は、探索された「検索」２１ボタンが示すキーワード‘○○温泉にいらっしゃい’を検索ボックス２２の中から取得する。その結果、キーワード取得部７４は、取得されたキーワード‘○○温泉にいらっしゃい’を利用したＷｅｂ検索をすることに誤りがあるか否かをユーザに判定させる画面２３を表示する。このとき、ユーザは、誤りがないと判定して「はい」ボタン２４を押下したとき、画面２３が画面２５（図６）に遷移することとなる。

図６では、連携起動部７５は、キーワードをパラメータとして画像パターンと関連付けられたアプリケーションを実行した結果を表示している。すなわち、連携起動部７５は、キーワード‘○○温泉にいらっしゃい’をパラメータとして、「検索」２１ボタンに関連付けられたＷｅｂブラウザを実行する。その結果、連携起動部７５は、キーワード‘○○温泉にいらっしゃい’に関連する情報を取得した結果を画面２５に表示する。

このようにして、機能連携部７０は、画像パターンとアプリケーションとを関連付けることによって、画像データに含まれる画像パターンが示すキーワードをパラメータとしてアプリケーションを自動的に実行するため、キーワードに関連する情報をユーザに効率的に取得させることができる。

ところで、上記の機能連携処理は、放送中に機能連携する場合を説明したが、本発明はこれに限定されるものではなく、放送中はキーワードを保存するのみで、放送後に画像パターンと関連付けられたアプリケーションを起動してキーワードに関連する情報を検索しても良い。図７では、キーワード取得部７４は、ユーザがボタン９１を押下した時点の画像データから画像パターンが示すキーワードを取得した結果に、「後で検索」２６ボタンを付加して表示している。このとき、ユーザが「後で検索」２６ボタンを押下したとき、キーワード取得部７４は、キーワード‘○○温泉にいらっしゃい’および画像パターン「検索」ボタンに関連付けられたＷｅｂブラウザの情報を保存する。これにより、機能連携部７０は、キーワードおよびアプリケーション情報をユーザが興味を持った都度保存することができるため、ユーザの空いた時間に効率的にキーワードをパラメータとしたアプリケーションを実行させることができる。

次に、図８〜図１０を参照して、通信販売を放送中に機能連携部７０によって実行される機能連携処理について説明する。図８では、携帯電話の映像表示部２０に通信販売のコマーシャル放送の映像が表示され、スピーカ１０から音声が出力されている。ユーザが音声データ「電話番号は」を聞いたとき、機能連携処理にあらかじめ割り当てられたボタン９２を押下する。これにより、押下時点の音声データとアプリケーションとの機能連携処理が開始される。

図９では、キーワード取得部７４は、ユーザがボタン９２を押下した時点の音声データからパターン探索部７３によって探索された音声パターンが示すキーワードを取得し、その取得した結果を表示している。すなわち、パターン探索部７３は、例えば電話通信アプリケーションと関連付けられた連続した数字１０桁または１１桁の音声を音声パターンと位置づけ、音声データから音声パターンを探索する。そして、キーワード取得部７４は、探索された数字１０桁または１１桁の音声が示すキーワード‘０９０１１１１２２２２’を音声データの中から取得する。その結果、キーワード取得部７４は、取得されたキーワード‘０９０１１１１２２２２’を利用した電話発信をすることに誤りがあるか否かをユーザに判定させる画面を表示する。このとき、ユーザは、誤りがないと判定して「はい」ボタンを押下したとき、画面が次画面（図１０）に遷移することとなる。

図１０では、連携起動部７５は、キーワードをパラメータとして画像パターンと関連付けられたアプリケーションを実行した結果を表示している。すなわち、連携起動部７５は、キーワード‘０９０１１１１２２２２’をパラメータとして、音声パターン数字１０桁または１１桁の音声に関連付けられた電話通信アプリケーションを実行する。その結果、連携起動部７５は、キーワード‘０９０１１１１２２２２’に電話発信して、ユーザは、希望する商品を購入することができる。

このようにして、機能連携部７０は、音声パターンとアプリケーションとを関連付けることによって、音声データに含まれる音声パターンの文字列が示すキーワードをパラメータとしてアプリケーションを自動的に実行するため、キーワードに関連する情報をユーザに効率的に取得させることができる。

次に、図１１〜図１５を参照して、温泉のコマーシャルにおいて探索誤りが発生する可能性のある映像の機能連携処理について説明する。図１１では、携帯電話の映像表示部２０に温泉のコマーシャル放送の映像が表示されている。同図に示すように、映像表示部２０には、電話通信アプリケーションと関連付けられた「ｔｅｌ」２７の形状を示す画像とＷｅｂアプリケーションと関連付けられた「検索」２１ボタンの形状を示す画像の２種類の画像パターンが表示され、それぞれのキーワードを示す‘０００１１１１２２２２’（‘０００−１１１１−２２２２’から‘−’を除く）および‘○○温泉にいらっしゃい’が表示されている。このとき、ユーザが映像データの‘○○温泉’に興味を持ち、‘○○温泉’に関連する情報を取得したいとき、機能連携処理にあらかじめ割り当てられたボタン９１を押下する。これにより、押下時点の画像データとアプリケーションとの機能連携処理が開始される。

図１２では、キーワード取得部７４は、ユーザがボタン９１を押下した時点の画像データからパターン探索部７３によって探索された画像パターンが示すキーワードを取得し、その取得した結果を表示している。すなわち、パターン探索部７３は、例えば左上から右下に向かって画像パターンを探索する場合、「ｔｅｌ」２７の形状を示す画像を最初に探索する。そして、キーワード取得部７４は、探索された「ｔｅｌ」２７画像が示すキーワード‘０００１１１１２２２２’を取得する。その結果、キーワード取得部７４は、取得されたキーワード‘０００１１１１２２２２’を利用した電話発信をすることに誤りがあるか否かをユーザに判定させる画面を表示する。このとき、ユーザは、‘○○温泉’に関連する情報を取得したいため、「いいえ」ボタン２８を押下する。

引き続き、図１３では、キーワード取得部７４は、左画面に放送中の画面に代えて探索元の画像データを表示して、右画面に再度探索対象とする画像範囲の選択を促す文字列を表示している。このとき、ユーザは、キーパッド等の操作部９０を操作し、再度探索対象とする画像パターン「検索」２１とキーワードが設定された検索ボックス２２とを含むように探索対象となる画像範囲２９を選択して、「はい」ボタン３１を押下する。

すると、図１４では、キーワード取得部７４は、ユーザが選択した画像範囲２９からパターン探索部７３によって探索された画像パターンが示すキーワードを取得し、その取得した結果を表示している。すなわち、パターン探索部７３は、Ｗｅｂブラウザと関連付けられた「検索」２１ボタンの形状を示す画像を画像データから探索する。そして、キーワード取得部７４は、探索された「検索」２１ボタンが示すキーワード‘○○温泉にいらっしゃい’を検索ボックス２２の中から取得する。その結果、キーワード取得部７４は、取得されたキーワード‘○○温泉にいらっしゃい’を利用したＷｅｂ検索をすることに誤りがあるか否かをユーザに判定させる画面２３を表示する。このとき、ユーザは、誤りがないと判定して「はい」ボタン２４を押下したとき、画面２３が画面２５（図１５）に遷移することとなる。

図１５では、連携起動部７５は、キーワードをパラメータとして画像パターンと関連付けられたアプリケーションを実行した結果を表示している。すなわち、連携起動部７５は、キーワード‘○○温泉にいらっしゃい’をパラメータとして、画像パターン「検索」２１ボタンに関連付けられたＷｅｂブラウザを実行する。その結果、連携起動部７５は、キーワード‘○○温泉にいらっしゃい’に関連する情報を取得した結果を画面２５に表示する。

このようにして、画像データが複数の画像パターンを含むデザインその他の特殊のデザインの場合、機能連携部７０は、画像パターンの探索を誤っても、ユーザが探索範囲を訂正することによって、訂正された探索範囲を探索することができるため、ユーザが欲しい情報を確実に取得することができる。

以上のように本実施例によれば、携帯電話１は、映像データまたは音声データを含むマルチメディアデータからユーザが指定する一部のデータを部分データとして抽出し、抽出された部分データの中から、自携帯電話１が保有するアプリケーションに関連付けられた画像パターンまたは音声パターンを探索し、探索されて得られた画像パターンまたは音声パターンが示す文字情報を取得し、取得された文字情報を入力パラメータとして、前記画像パターンまたは前記音声パターンに対応するアプリケーションを実行する。

かかる構成によれば、携帯電話１は、画像パターンまたは音声パターンが示す文字情報に対応した実行結果を取得することができ、画像データまたは音声データに含まれる文字情報を効率的に利用することができる。

なお、携帯電話１にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）にて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されても良い。

以上の実施例にかかる実施形態に関し、さらに以下の付記を開示する。

（付記１）画像情報または音声情報を含むマルチメディアデータからユーザが指定する一部のデータを部分データとして抽出する抽出手段と、
前記抽出手段によって抽出された部分データの中から、自装置が保有するアプリケーションに関連付けられた画像パターンまたは音声パターンを探索する探索手段と、
前記探索手段によって探索されて得られた画像パターンまたは音声パターンが示す文字情報を取得する取得手段と、
前記取得手段によって取得された文字情報を入力パラメータとして、前記画像パターンまたは前記音声パターンに対応するアプリケーションを実行する実行手段と、
を備えることを特徴とするマルチメディア端末装置。

（付記２）前記探索手段によって探索された画像パターンまたは音声パターンと異なる画像パターンまたは音声パターンの再探索を要求する再探索要求をユーザから取得したとき、前記抽出手段によって抽出された部分データの中から探索範囲を取得する探索範囲取得手段と、
前記探索範囲取得手段によって取得された探索範囲の中から、自装置が保有するアプリケーションに関連付けられた画像パターンまたは音声パターンを再探索する再探索手段と、をさらに備えることを特徴とする付記１に記載のマルチメディア端末装置。

（付記３）前記探索手段によって探索された画像パターンまたは音声パターンを、過去に前記再探索手段によって前記探索範囲の中から再探索された画像パターンまたは音声パターンに訂正することを特徴とする訂正手段をさらに備え、
前記取得手段は、
前記訂正手段によって訂正された画像パターンまたは音声パターンが示す文字情報を取得することを特徴とする付記２に記載のマルチメディア端末装置。

（付記４）前記訂正手段は、
過去に前記再探索手段によって前記探索範囲の中から再探索された画像パターンまたは音声パターンと、前記探索範囲の取得元の部分データと、を対にした訂正履歴を取得する訂正履歴取得手段と、
前記抽出手段によって抽出された部分データが、前記訂正履歴取得手段によって取得された訂正履歴に含まれる部分データのいずれか１つに、類似するか否かを判定する類似判定手段と、
前記類似判定手段の判定の結果、前記抽出手段によって抽出された部分データが、前記訂正履歴に含まれる部分データのいずれか１つに類似する場合に、前記探索手段によって探索された画像パターンまたは音声パターンを、前記訂正履歴に含まれた部分データの中で類似していると判定された部分データと対の画像パターンまたは音声パターンに訂正するパターン訂正手段と、
をさらに備えることを特徴とする付記３に記載のマルチメディア端末装置。

（付記５）画像情報または音声情報を含むマルチメディアデータを再生する再生手段をさらに備え、
前記抽出手段は、
前記再生手段によって再生中のマルチメディアデータからユーザが指定する一部のデータを部分データとして抽出することを特徴とする付記１から付記４のいずれか１つに記載のマルチメディア端末装置。

（付記６）前記再生手段は、
記憶媒体に記憶されたマルチメディアデータを再生することを特徴とする付記５に記載のマルチメディア端末装置。

（付記７）画像情報または音声情報を含むマルチメディアデータからユーザが指定する一部のデータを部分データとして抽出する抽出工程と、
前記抽出工程によって抽出された部分データの中から、自装置が保有するアプリケーションに関連付けられた画像パターンまたは音声パターンを探索する探索工程と、
前記探索工程によって探索されて得られた画像パターンまたは音声パターンが示す文字情報を取得する取得工程と、
前記取得工程によって取得された文字情報を入力パラメータとして、前記画像パターンまたは前記音声パターンに対応するアプリケーションを実行する実行工程と、
を備えることを特徴とする機能連携方法。

（付記８）画像情報または音声情報を含むマルチメディアデータからユーザが指定する一部のデータを部分データとして抽出する抽出手順と、
前記抽出手順によって抽出された部分データの中から、自装置が保有するアプリケーションに関連付けられた画像パターンまたは音声パターンを探索する探索手順と、
前記探索手順によって探索されて得られた画像パターンまたは音声パターンが示す文字情報を取得する取得手順と、
前記取得手順によって取得された文字情報を入力パラメータとして、前記画像パターンまたは前記音声パターンに対応するアプリケーションを実行する実行手順と、
をコンピュータに実行させることを特徴とする機能連携プログラム。

本実施例に係る携帯電話の全体構成を示す機能ブロック図である。 本実施例に係る機能連携部の構成を示す機能ブロック図である。 本実施例に係る機能連携処理の処理を示すフローチャートである。 本実施例に係る携帯電話を用いた機能連携例を示す図（温泉のコマーシャル放送の場合）である。 解析結果を示す図である。 連携起動結果を示す図ある。 解析結果を示す図（変形例）である。 本実施例に係る携帯電話を用いた機能連携例を示す図（ＴＶ放送を利用した通信販売の場合）である。 解析結果を示す図である。 連携起動結果を示す図ある。 本実施例に係る携帯電話を用いた機能連携例を示す図（探索誤りが発生する可能性のある放送の場合）である。 誤解析結果を示す図である。 誤解析の訂正要求を示す図である。 訂正後の解析結果を示す図である。 訂正後の連携起動結果を示す図ある。

符号の説明

７０ 機能連携部
７１ 連携要求取得部
７２ 放送内容制御部
７３ パターン探索部
７４ キーワード取得部
７５ 連携起動部
７６ パターン訂正部
７７ 再探索要求取得部
７８ パターン再探索部
７９ 記憶部
７９１ 訂正履歴情報
７９２ 連携アプリケーション情報
８０ 再生要求取得部

Claims (6)

1. 画像情報または音声情報を含むマルチメディアデータからユーザが指定する一部のデータを部分データとして抽出する抽出手段と、
   前記抽出手段によって抽出された部分データの中から、自装置が保有するアプリケーションに関連付けられた画像パターンまたは音声パターンを探索する探索手段と、
   前記探索手段によって探索されて得られた画像パターンまたは音声パターンが示す文字情報を取得する取得手段と、
   前記抽出手段によって抽出された部分データの中で、前記探索手段によって探索された画像パターンまたは音声パターンと異なる画像パターンまたは音声パターンを再探索する探索範囲を取得する探索範囲取得手段と、
   前記探索範囲取得手段によって取得された探索範囲の中から、自装置が保有するアプリケーションに関連付けられた画像パターンまたは音声パターンを前記取得手段に引き渡す再探索手段と、
   前記取得手段によって取得された文字情報を入力パラメータとして、前記画像パターンまたは前記音声パターンに対応するアプリケーションを実行する実行手段と、
   を備えることを特徴とするマルチメディア端末装置。
2. 前記探索手段によって探索された画像パターンまたは音声パターンを、過去に前記再探索手段によって前記探索範囲の中から再探索された画像パターンまたは音声パターンに訂正することを特徴とする訂正手段をさらに備え、
   前記取得手段は、
   前記訂正手段によって訂正された画像パターンまたは音声パターンが示す文字情報を取得することを特徴とする請求項１に記載のマルチメディア端末装置。
3. 前記訂正手段は、
   過去に前記再探索手段によって前記探索範囲の中から再探索された画像パターンまたは音声パターンと、前記探索範囲の取得元の部分データと、を対にした訂正履歴を取得する訂正履歴取得手段と、
   前記抽出手段によって抽出された部分データが、前記訂正履歴取得手段によって取得された訂正履歴に含まれる部分データのいずれか１つに、類似するか否かを判定する類似判定手段と、
   前記類似判定手段の判定の結果、前記抽出手段によって抽出された部分データが、前記訂正履歴に含まれる部分データのいずれか１つに類似する場合に、前記探索手段によって探索された画像パターンまたは音声パターンを、前記訂正履歴に含まれた部分データの中で類似していると判定された部分データと対の画像パターンまたは音声パターンに訂正するパターン訂正手段と、
   をさらに備えることを特徴とする請求項３に記載のマルチメディア端末装置。
4. 画像情報または音声情報を含むマルチメディアデータを再生する再生手段をさらに備え、
   前記抽出手段は、
   前記再生手段によって再生中のマルチメディアデータからユーザが指定する一部のデータを部分データとして抽出することを特徴とする請求項１から請求項３のいずれか１つに記載のマルチメディア端末装置。
5. 画像情報または音声情報を含むマルチメディアデータからユーザが指定する一部のデータを部分データとして抽出する抽出工程と、
   前記抽出工程によって抽出された部分データの中から、自装置が保有するアプリケーションに関連付けられた画像パターンまたは音声パターンを探索する探索工程と、
   前記探索工程によって探索されて得られた画像パターンまたは音声パターンが示す文字情報を取得する取得手段と、
   前記抽出工程によって抽出された部分データの中で、前記探索工程によって探索された画像パターンまたは音声パターンと異なる画像パターンまたは音声パターンを再探索する探索範囲を取得する探索範囲取得工程と、
   前記探索範囲取得工程によって取得された探索範囲の中から、自装置が保有するアプリケーションに関連付けられた画像パターンまたは音声パターンを前記取得工程に引き渡す再探索工程と、
   前記取得工程によって取得された文字情報を入力パラメータとして、前記画像パターンまたは前記音声パターンに対応するアプリケーションを実行する実行工程と、
   を備えることを特徴とする機能連携方法。
6. 画像情報または音声情報を含むマルチメディアデータからユーザが指定する一部のデータを部分データとして抽出する抽出手順と、
   前記抽出手順によって抽出された部分データの中から、自装置が保有するアプリケーションに関連付けられた画像パターンまたは音声パターンを探索する探索手順と、
   前記探索手順によって探索されて得られた画像パターンまたは音声パターンが示す文字情報を取得する取得手順と、
   前記抽出手順によって抽出された部分データの中で、前記探索手順によって探索された画像パターンまたは音声パターンと異なる画像パターンまたは音声パターンを再探索する探索範囲を取得する探索範囲取得手順と、
   前記探索範囲取得手順によって取得された探索範囲の中から、自装置が保有するアプリケーションに関連付けられた画像パターンまたは音声パターンを前記取得手順に引き渡す再探索手順と、
   前記取得手順によって取得された文字情報を入力パラメータとして、前記画像パターンまたは前記音声パターンに対応するアプリケーションを実行する実行手順と、
   をコンピュータに実行させることを特徴とする機能連携プログラム。

Images