次に、本発明の実施の形態1について、図面を用いて詳細に説明する。
まず、本発明の具体的な課題について説明する。近年、携帯電話等の端末が多機能化しており、蓄積されている動画閲覧、動画の撮影等を行えるように機能が充実してきている。これらの機能は、ユーザが自らの意図で機能を選択している。しかしながら、携帯電話は、メールの受信や、メッセージの受信、電話機能など、携帯電話の所有者が意図していないタイミングで情報の受信を通知される場合がある。
このように、放送や映画等の動画コンテンツを集中して視聴しているときに、メール等を受信すると、それまでのコンテンツ閲覧を中断して、メールの確認や、返信を行わなければならなくなる。一般に、動画コンテンツは、連続的に再生して閲覧することを想定してコンテンツが作成されている。そのため、メール等の作成・閲覧処理や、メールによって配信された広告情報の閲覧により、コンテンツの再生が遮られると、動画コンテンツのストーリーを把握できなくなる。例えば、映画等を閲覧している途中で、メールの受信が通知され、その内容を確認し、さらに返信メールの作成を行い、その後に、映画の続きを視聴することがある。この場合、メールの受信後に、映画の閲覧を再開するが、それまでの映画のストーリーを思い出せなくなることや、映画の登場人物の人間関係が理解できなくなることがある。
そこで、本実施の形態では、動画コンテンツを再生中であっても、再生されているコンテンツと、新たに配信された情報の内容、および配信された情報の処理に要する推定時間に応じて、適切なタイミングで情報の受信をユーザに通知する。
(実施の形態1)
まず、本発明の実施の形態1について説明する。
本実施の形態は、ユーザが予測していないメールやメッセージを受信したときには、その情報の内容に応じて動画の再生を中断するタイミングを自動的に決定する装置に関する。
図1は、本実施の形態における情報通知装置の構成を機能ブロック図である。この情報通知装置は、蓄積された動画を再生するとともに電子メール等の情報を受信したことをユーザに通知する携帯電話等であり、受信した情報の内容に応じて動画の再生を中断するタイミングを自動的に決定する点に特徴を有し、動画蓄積部101、動画内容蓄積部102、動画再生部103、情報受信部104、情報蓄積部105、情報閲覧部106、情報閲覧履歴蓄積部107、情報閲覧所要時間推定部108、情報通知タイミング判定部109、情報通知部110から構成されている。
動画蓄積部101は、半導体メモリやハードディスク等の蓄積媒体であり、MPEG等の形式で動画を蓄積している。
動画内容蓄積部102は、動画蓄積部101に蓄積されている動画の内容に関する情報を蓄積しているメモリ等である。例えば、MPEG7等においては、動画ファイルのヘッダー部分にXML形式にて、図2に示されるような動画の内容に関する記述がされている。これにより、動画の各シーンの切れ目に情報を判断することが可能になる。その結果、1つの番組コンテンツを複数の部分コンテンツを連続して再生しているものとみなすことができる。さらに、図3に示されるように、各部分コンテンツも、さらに階層構造で表現することが可能となる。例えば、図3においては、「ニュースの林」という番組は、「全国版ニュース」と「CM」部分と「地方版ニュース」から構成されており、さらに、「全国版ニュース」は、各ニュースの連続コンテンツとして解釈することが可能となる。これにより、番組の区分をそれぞれの階層でレベル1からレベル3というように表現することが可能になる。
動画再生部103は、動画蓄積部101に蓄積されている動画を情報端末の表示部分でデコードし再生するデコーダ等である。
情報受信部104は、通信ネットワークを介してメール等の情報を受信する通信インターフェース等である。情報端末から公衆ネットワークを介してメールサーバへアクセスし、メールが存在すれば、そのメールを取得する。
情報蓄積部105は、情報受信部104において受信した情報を端末において蓄積するメモリ等である。
情報閲覧部106は、情報蓄積部105において受信した情報をユーザが閲覧することを可能にするメーラ等である。例えば、情報受信部104においてメールを受信した場合には、メールを閲覧するツール等によりメールの内容を確認することを可能にしている。
情報閲覧履歴蓄積部107は、情報閲覧部106によってユーザが閲覧したメールの履歴を蓄積するメモリ等である。メールを受信してから閲覧・処理するまでの時間は、図4に示されるようなプロセスを必要とする。まず、はじめに、情報端末が音声やアイコン等によって、メールの受信をユーザに通知(501)する。次に、情報端末を用いてメールの閲覧を開始(502)する。メッセージが携帯端末の1つの画面に入らない場合には、画面をスクロールさせ、メッセージの内容を確認する。その結果、メッセージの内容を確認し閲覧を終了(503)する。ただし、メッセージの最初の部分だけをみて、広告情報等の内容であることを確認し、最後までメッセージの閲覧をせずに終了する場合もある。
一般には、これでメッセージの閲覧を終了するが、そのメッセージに対して返信の必要があるときには、すぐに返信メールを作成する作業にとりかかる。返信メッセージの作成を開始(504)する。仮名漢字変換等の作業を行いながら返信メールの作成を行い、返信メールの作成を終了(505)する。返信メールの内容を確認後、返信メールの送信(506)を完了する。以上のような作業を、メールの処理として行う。
これらのイベント間の時間を計測し、図4に示されるようにメール作成時間、返信メール作成時間、メール処理時間を測定する。さらに、メールの発信者、メール受信をユーザに通知した時刻、メールの文字数等の情報とともに、情報閲覧履歴蓄積部107において、図5に示される表のように、各メールの処理履歴を蓄積する。
情報閲覧所要時間推定部108は、情報閲覧履歴蓄積部107に蓄積されているメールの閲覧履歴から、情報蓄積部105で受信・蓄積されているメールの内容に対して閲覧処理に要する時間を推定する。具体的には、まず、最初に受信したメールの発信者を特定し、その発信者に関して、情報閲覧履歴蓄積部107において受信した履歴があるかを検索する。検索した結果、過去に受信したメールに対して返信を行っていたか否かを判断する。過去に返信を行っていなかった場合には、過去に受信したメールに対して閲覧に要した時間の平均を計算する。過去に返信を行っていた場合には、返信メールを作成する時間も含め、メールの処理に要した時間の平均を計算する。
一般に、広告情報等のメールを受信した場合には、閲覧に時間をかけずに処理している場合が多い。例えば、図6に示されるようなレンタル店からキャンペーンの内容のメールを受信したとする。この場合、過去にこのレンタル店からのキャンペーンの情報は、このユーザは閲覧に時間を要していなかった(図5の行602参照)。
一方、常に、メールにて情報交換を行っている友人等から受信したメールの場合には、そのメールに対して返信等を行うため、メールの処理に時間をかけている場合が多い。このように、メールの発信者等の情報と、そのメールの処理に要した時間の履歴情報を利用して、新たに受信したメールに対して、メールを処理するのに要する時間を推定する(図5の行603、行604参照)。
なお、過去に受信したことのない相手からのメールの場合には、受信したメールの文字数等により、閲覧に要する時間を推定してもよい。
情報通知タイミング判定部109は、情報閲覧所要時間推定部108で推定されたメール処理に要する時間と、動画内容蓄積部102に蓄積されている動画の内容の区分に関する情報から、どのタイミングでユーザにメールを受信したかを通知するタイミングを決定する処理部である。タイミングの決定のためのテーブルは、図7に示されるように、あらかじめ定義されているものとする。例えば、図7において、2分以下で処理できるようなメールの場合には、レベル3(図3のレベル3)区分の切れ目でメールの受信を通知することを示している。また、逆に、返信等を要するようなメールの処理に5分以上かかるであろうと推定されたメールに対しては、レベル1(図3のレベル1)区分の切れ目(番組が終了した時点)でユーザに通知することを示している。たとえば、図6に示されるレンタル店からのキャンペーンに関するメールを受信した場合には、図5の行602に示されるメール処理時間「18秒」からわかるように、閲覧に時間を費やしていない。そこで、レベル3区分の切れ目でメール受信をユーザに通知する。
情報通知部110は、情報通知タイミング判定部109において決定されたタイミングで、動画再生部103で再生されている動画の途中でメール受信の通知を行う処理部である。図6のメールを受信して、レベル3区分の切れ目でメール受信をユーザに通知すると決定された場合には、図8に示されるように、現在、「内閣改造人事」のニュースが放映されていた場合には、そのニュースが終了し、次の「イラク戦線状況」のニュースがはじまる前に、メール受信をユーザに通知する。
このような構成により、一目確認するだけのメールをこの情報通知装置で受信したときには、ユーザは、レベル3区分の切れ目にメール処理作業を行っても、動画コンテンツである番組のストーリー性が損なれることがない。逆に、受信したメールに対して熟読しなければならないメールや、返信作業を行わなければならない作業が発生する場合には、レベル3区分の切れ目でメール処理作業を行うと、ユーザは番組のストーリー性を把握することが難しくなる。例えば、受信したメールに対して返信メールを作成する作業まで行わなければならなくなると、メール処理作業が長くなり、メール受信前にどんなニュースやどんな話題で番組が盛り上がっていたかをメール処理作業終了後に思い出すことが難しくなることもある。そこで、メール処理作業に時間を要する場合には、なるべく、番組の大きな切れ目でのメール受信を通知することが好ましい。
なお、受信したメールが通知されてから、ユーザがメールを閲覧・処理する時間が所定の時間よりも長かった場合には、メール処理後に、動画が再生されたときに、その連続性を思い出すのが困難になる場合がある。そこで、メール受信前に閲覧していたコンテンツの内容を、図9に示されるように、提示してもよい。これにより、動画が再生されたときに、どこまで動画を閲覧していたかを容易に判断することが可能になる。また、動画を再生するときには、図3に示される区切りから再生する代わりに、区切りの少し前(例えば10秒前)から再生することで、閲覧していた動画に対する連続性(ストーリー性)を理解しやすくなる。
図10は、以上のように構成された本実施の形態における情報通知装置の動作を示すフローチャートである。まず、情報受信部104は、メールを受信したか否かを判断する(ステップS1001)。受信した場合には、次のステップへすすむが、受信していない場合には、ステップS1001を繰り返す。次に、動画再生中か否かを判断する(ステップS1002)。動画再生中でない場合には、情報通知部110は、メール受信を通知する(ステップS1003)。動画再生中の場合には、情報閲覧所要時間推定部108は、受信したメールの発信者を調べ、情報閲覧履歴蓄積部107を参照することで、過去にその発信者からもメールを受信した履歴があるか否かを検索する(ステップS1004)。過去のその発信者からのメールを受信していなかった場合(ステップS1005)は、ステップS1006へすすみ、情報閲覧所要時間推定部108は、受信したメールの文字数によりメールを処理するのに要する時間を推定する(ステップS1006)。過去に受信した履歴があった場合には、過去の履歴から返信をしている履歴があるか否かを検索する(ステップS1007)。過去に返信している履歴が5%以下の場合には、返信する可能性が少ないと判断し、ステップS1009へすすむ。その以外の場合には、返信する可能性があると判断し、ステップS1010へすすむ。返信する可能性が低い場合には、情報閲覧所要時間推定部108は、過去の履歴からメールの閲覧に要する時間を推定する(ステップS1009)。例えば、メールの閲覧履歴の所要時間の平均を推定時間とする。このとき、メールの文字数を考慮してもよい。メールに返信する可能性が高いと判断したときには、メールの返信作業も含めたメールの処理時間を推定する(ステップS1010)。情報通知タイミング判定部109は、ステップS1006、S1009、S1010でメール処理に要する時間を推定した結果を用いて、メールを通知するタイミングを決定する(ステップS1011)。
以上のように、本実施の形態によれば、過去のメールの処理履歴を用いて、動画再生中でも適切なタイミングでメール受信を通知することが可能になる。
なお、本実施の形態においては、動画の再生の区分でメール取得の通知を行った。しかしながら、メールの処理が、過去の履歴から返信する可能性が低く、メールの文字数も少ない場合には、図11に示されるように、動画再生中にテロップとしてメール受信と、その内容をユーザに通知してもよい。メールに対して返信することも少なく、そのメールを少し見るだけであれば、動画再生中であっても、十分に確認することが可能である。
また、本実施の形態においては、メール受信の日時情報を利用していなかったが、メールを受信する時間帯に応じてメールを通知するタイミングを変更してもよい。例えば、深夜や休日に動画を再生中の場合には、プライベートな時間とみなし、動画の再生を優先し、メールは、動画再生終了後にするなどの処理にしてもよい。
また、本実施の形態においては、テキスト情報からなるメールを受信した場合に、受信したメールの処理時間を推定することで、動画再生中であっても適切なタイミングで受信の通知を行った。これに加えて、動画からなるビデオメールを受信したときには、そのビデオメールを通常再生した場合の、再生時間によって、動画再生中のどのタイミングでビデオメールの受信を通知してもよい。例えば、10分からなるビデオメールの場合には、番組終了後にユーザに通知するが、10秒からなるビデオメールの場合には、番組のコーナーの切れ目でユーザに通知する。これにより、ユーザの動画再生を大きく妨げることなく、ビデオメールの受信を知らせることが可能になる。
また、本実施の形態においては、蓄積されている動画コンテンツを再生中にメールを受信したときに、そのメールの受信を通知するタイミングを制御した。ところで、最近では、携帯電話等で目的地を設定することで、現在位置からのナビゲーションを行うことが可能になっている。例えば、図12に示されるように、実際の道路の情報が携帯電話に表示され、現在地点から目的地までの経路のナビゲーションが行われる。ナビゲーションにおいては、交差点等にユーザがさしかかると、行き先に関して音声案内が行われる。経路のナビゲーションにおいては、図13に示されるように、ユーザが普段の歩行を行うという前提においては、音声案内を行うタイミングを推定することが可能である。この音声案内を行うタイミングの情報を利用することで、メール受信を通知するタイミングを決定することができる。図13の例では、現在地点において、メールを受信したとしても、ユーザが現在のスピードで歩行しているとすると、3分5秒後に、音声案内を行う。そこで、受信したメールを処理するのに3分5秒以上かかると推定される場合には、3分5秒後に音声案内を行った後に、メールの受信をユーザに通知する。携帯電話の画面の流れを図14に示す。いま、図14(a)に示されるように、メールを受信したとする。しかしながら、次の音声案内のタイミングが迫っているため、メールの受信をユーザに通知しない。次に、図14(b)に示されるように、交差点にさしかかったため、音声案内を行っている。音声案内終了後、図14(c)に示されるように、メールの受信を通知し、メールの内容を表示する。次に、「戻る」操作を携帯電話で行うことにより、図14(d)に示されるように、再び、経路ナビゲーションを再会する。以上の動作により、経路ナビゲーション中であっても、適切なタイミングで、メールの通知を行うことが可能になる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
実施の形態1では、過去に受信したメールの処理の履歴におけるメール処理時間を用いて、ユーザに対してメール受信を通知するタイミングを判定した。本実施の形態は、メールのテキスト情報を解析することで、メールの受信を通知するタイミングを決定することを特徴とする。
図15は、本実施の形態における情報通知装置の構成を機能ブロック図である。この情報通知装置は、蓄積された動画を再生するとともに電子メール等の情報を受信したことをユーザに通知する携帯電話等であり、メールのテキスト情報を解析することでメールの受信を通知するタイミングを決定する点に特徴を有し、動画蓄積部1201、動画再生部1202、動画内容蓄積部1203、情報受信部1204、情報蓄積部1205、時刻情報辞書蓄積部1206、時刻情報抽出部1207、情報通知タイミング判定部1208、情報通知部1209から構成されている。なお、動画蓄積部1201、動画再生部1202、動画内容蓄積部1203、情報受信部1204、情報蓄積部1205については、実施の形態1における同一名称の構成要素と同様であるため説明を省略する。
時刻情報辞書蓄積部1206は、図16に示されるように、時刻に関する表現の辞書を蓄積しているメモリ等である。また、時刻に関して、絶対的な日時を示す時刻情報と、メールが発信された日時を基に、「明日」や「来週」等の相対的な日時を示す時刻情報とを蓄積している。
時刻情報抽出部1207は、メール等を受信して蓄積している情報蓄積部1205に蓄積されているテキスト情報から、時刻情報辞書蓄積部1206に蓄積されている時刻に関する表現を抽出する処理部である。例えば、図17(a)に示されるメールを受信した場合には、「本日」という単語が時刻情報として抽出される。図17(b)に示されるメールを受信した場合には、「10月21日」という単語が時刻情報として抽出される。
情報通知タイミング判定部1208は、時刻情報抽出部1207で抽出された時刻情報と動画内容蓄積部1203に蓄積されている動画の内容についての情報とから、メールの受信を通知するタイミングを決定する処理部である。例えば、図17(a)に示される例では、「本日」の情報であるため、動画内容蓄積部1203で動画の次の切れ目が検出できた場合には、すぐにメール受信の通知を行う。一方、図17(b)に示される例では、時刻情報が「10月21日」で、本日が10月21日でなければ、動画再生が終了してから、メールの受信の通知を行う。
情報通知部1209では、情報通知タイミング判定部1208で判定されたタイミングで情報の受信を通知する処理部である。
図18は、以上のように構成された本実施の形態における情報通知装置の動作を示すフローチャートである。まず、情報受信部1204は、メールを受信したか否かを判断する(ステップS1501)。メールを受信していない場合には、本ステップS1501を繰り返す。メールを受信した場合には、動画再生中か否かを判断する(ステップS1502)。動画再生中でない場合には、情報通知部1209は、すぐにメール受信をユーザに通知する(1507)。動画再生中の場合は、時刻情報抽出部1207は、時刻情報辞書蓄積部1206等を参照することで、受信したメールから時刻情報を抽出する(ステップS1503)。時刻情報がなかった場合には、情報通知タイミング判定部1208は、その旨を情報通知部1209に通知し、情報通知部1209は、動画再生終了後にメール受信をユーザに通知する(ステップS1506)。時刻情報があった場合には、情報通知タイミング判定部1208は、本日の情報が含まれているか否かを判断する(ステップS1505)。時刻情報があっても、本日の情報でないと判断した場合には、情報通知タイミング判定部1208はその旨を情報通知部1209に通知し、情報通知部1209は動画再生終了後にメール受信をユーザに通知する(ステップS1506)。本日の情報が含まれていた場合には、情報通知タイミング判定部1208はその旨を情報通知部1209に通知し、情報通知部1209は次の動画の切れ目でメールの受信を通知する(ステップS1508)。
以上のように、本実施の形態によれば、メールの内容、特に、時刻に関する情報をもとに、メールを受信したことを通知するタイミングを自動的に判定し、これにより、動画再生中であっても、時間的に近いイベントに関する情報は、ユーザに早く通知することができ、時間的な制約がない情報は、動画再生終了後に、ユーザは確認することが可能になる。
なお、本実施の形態においては、時刻情報が含まれるテキスト情報の場合に、次の動画の切れ目のタイミングでメールの受信の通知を行った。さらに、動画の次の切れ目の時刻を考慮して、その時刻に通知したときに、不都合が生じるような情報の場合には、動画再生中であっても情報取得を通知するようにしてもよい。例えば、映画等の切れ目のない動画を閲覧中に、10時から特価販売のお知らせのメールを取得したとする。現在時刻が9時55分で、映画の次の区切りが10時をすぎる場合には、動画再生中であっても、メールの取得を通知してもよい。このように、次の動画の切れ目の時刻情報を利用して、メールの着信の通知を判断してもよい。
また、本実施の形態においては、受信したテキストの内容の時刻情報を解析することでメール受信の通知タイミングを判定した。これに加えて、メールに対して返信が必要か否かの情報を解析することにより、情報受信の通知タイミングを制御してもよい。例えば、図19(a)に示されるメールの例では、返信の必要がないメールであるため、動画再生中にテロップ等でユーザに通知してもよい。一方、図19(b)に示されるメールの例では、はテキスト中に「返信を、お待ちしております」等の返信を要求する内容が含まれているため、動画再生終了後、または、動画の切れ目でメールの内容を通知してもよい。例えば、図15のシステム構成において、返信の要求に関する用語を蓄積する返信要求辞書蓄積部と、情報蓄積部で蓄積されているテキスト情報から返信を要求する用語があるか否かを判定する返信要求情報抽出部を保有することにより、実現することが可能となる。
(変形例)
実施の形態2では、受信したメールのテキスト情報から時刻情報を抽出することで、動画再生中にメール受信の通知タイミングを自動的に判定した。しかし、このような判定方法だけでなく、受信したテキストの位置情報に関する記述を抽出することで、メール受信のタイミングを判定することも可能である。
図20は、そのような判定手法を用いてメール受信のタイミングを判定する変形例に係る情報通知装置の構成を示す機能ブロック図である。この情報通知装置は、蓄積された動画を再生するとともに電子メール等の情報を受信したことをユーザに通知するGPS付き携帯電話等であり、受信したテキストの位置情報に関する記述を抽出することでメール受信のタイミングを判定する点に特徴を有し、動画蓄積部1701、動画再生部1702、動画内容蓄積部1703、情報受信部1704、情報蓄積部1705、位置情報辞書蓄積部1706、位置情報抽出部1707、現在位置情報取得部1708、情報通知タイミング判定部1709、情報通知部1710から構成されている。なお、動画蓄積部1701、動画再生部1702、動画内容蓄積部1703、情報受信部1704、情報蓄積部1705については、実施の形態1、2における同一名称の構成要素と同様であるため説明を省略する。
位置情報辞書蓄積部1706は、テキスト情報として利用される位置情報と、その位置情報が示す場所(緯度・経度)に関する情報を蓄積するメモリ等である。例えば、図21に示されるように、「JR京都駅」等の名称に関するテキスト情報や、その緯度・経度に関する情報等が辞書としてテキストを解析するために蓄積されている。
位置情報抽出部1707は、メール等を受信して蓄積している情報蓄積部1705に蓄積されているテキスト情報から、位置情報辞書蓄積部1706に蓄積されている位置に関する表現を抽出する処理部である。例えば、図22に示されるようなテキスト情報が蓄積されているとすると、このテキスト情報から「JR京都駅前」等の位置に関する情報を抽出する。
現在位置情報取得部1708は、携帯端末に付加されたGPS等のセンサを利用して現在位置を取得する処理部である。
情報通知タイミング判定部1709は、位置情報抽出部1707で抽出された位置情報と現在位置情報取得部1708で取得した現在位置とが所定の範囲に入っているときに、動画の切れ目において、メール受信をユーザに通知すると判定する処理部である。例えば、図22の「JR京都駅」の単語が入ったメールを受信したときに、現在位置が「JR京都駅」付近であった場合には、次の動画の切れ目において、情報受信を通知すると判定する。
情報通知部1710は、情報通知タイミング判定部1709で判定されたタイミングで情報取得を通知する処理部である。
以上のような構成により、この変形例における情報通知装置は、メール等にて、場所に関する情報を取得した場合に、ユーザが動画閲覧中であった場合には、ユーザの現在位置に応じて、情報の通知のタイミングを決定することができる。
なお、本変形例においては、受信されたメール中の場所情報を利用したが、これに代えて、あるいは、これに加えて、図23に示されるように、各店舗から配信される店舗情報を利用してもよい。特に、ユーザに対して携帯端末で経路案内等を行っている場合に、早急に、ユーザに知らせた方がいい情報と経路案内終了後に知らせた方がいい情報とをテキスト内容から判断することにより、適切なタイミングで情報の受信を通知することが可能になる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
実施の形態1、2では、ユーザが動画を再生中に、通信ネットワークを介して新たな情報を取得した場合に、受信した情報に応じて、適切なタイミングでユーザに情報の受信を通知した。本実施の形態は、新たに情報を受信するのではなく、情報端末においてすでに蓄積されている情報をユーザに通知する際に、動画再生中であっても適切なタイミングで情報の通知を行うことを特徴とする。
近年、ユーザが携帯電話を常時、持ち歩くようになったため、その携帯電話を利用してユーザの生活実態調査を行うようなアンケートが行われることがある。たとえば、携帯電話等にアプリケーションをインストールし、ユーザに対して定期的に(例えば1時間毎に)情報を入力させるようなアンケート調査がある。具体的には、図24に示されるようなアンケート画面が1時間おきに提示され、ユーザがそれに対して入力を行う。これにより、一般ユーザの生活スタイルを調査することが可能になる。所定時間内に、過去(例えば、昨日の夜8時に)、何をしていたかを入力させるようなアンケート調査もあるが、一般に、ユーザは、過去のことについての記憶があいまいで、アンケートの精度が悪くなる。そこで、リアルタイムで、その時刻にアンケートの入力させることにより、精度の高いアンケートを実現しようとするものである。
図25は、本実施の形態における情報通知装置の構成を機能ブロック図である。この情報通知装置は、蓄積された動画を再生するとともに既に蓄積された情報をユーザに通知する携帯電話等であり、動画再生中であっても適切なタイミングで情報の通知を行う点に特徴を有し、動画蓄積部2201、動画内容蓄積部2202、動画再生部2203、情報入力フォーマット蓄積部2204、情報入力部2205、情報入力履歴蓄積部2206、情報入力所要時間推定部2207、入力促進通知タイミング判定部2208、入力促進通知部2209から構成されている。なお、構成要素2201〜2203は、実施の形態1における同一名称の構成要素と同様であるため説明を省略する。
情報入力フォーマット蓄積部2204は、図24に示したアンケートのフォーマットに関する情報を携帯端末のアプリケーション内に蓄積しているメモリ等である。
情報入力部2205は、情報入力フォーマット蓄積部2204に蓄積されているアンケートの入力フォーマットを図24に示されるように、携帯端末の画面に表示し、テンキー等を利用してユーザから回答を取得する処理部である。アンケートについては、基本的に、プルダウンメニュー等、簡単に入力できるように構成されているが、メニューにない入力を行うためには、文字入力を必要とする。
情報入力履歴蓄積部2206は、情報入力部2205で入力された情報と、その情報を入力するのに要した時間情報を蓄積するメモリ等である。蓄積されているデータの例を図26に示す。例えば、図26の2行目に示されるように、10:00にユーザのアンケート入力がはじまり、「どこにいますか」に対しては、通勤中であったため、「車内」と入力されている。この入力は、あらかじめ用意されたメニューには存在しなかったため、選択/文字においては、「文字」となっている。さらに、「何をしていますか」に対しては、「運転」であり、「だれといますか?」に対しては、「一人」がメニュー選択によって入力されたことを示している。また、入力完了までには、メニュー選択だけでなく、文字入力もあったため、1分13秒かかっていることが蓄積されている。さらに、アンケート入力だけでなく、その状況の画像も携帯電話のカメラで撮影したJPEGデータが蓄積されている。
情報入力所要時間推定部2207は、情報入力履歴蓄積部2206に蓄積されている過去の入力完了にかかった時間情報をもとに、このユーザが、情報入力に必要な時間を推定する処理部である。例えば、情報入力履歴蓄積部2206に蓄積されている所要時間の平均値を推定時間とする。なお、10時の入力に対しては、昨日の10時の入力にかかった時間を推定時間としてもよい。なお、情報入力履歴において、情報入力に要した時間の履歴が蓄積されていない場合には、アンケートの質問数や選択肢の数、入力文字の数等からアンケートに対して情報を入力する時間を推定してもよい。
入力促進通知タイミング判定部2208は、情報入力所要時間推定部2207で推定された時間情報と動画内容蓄積部2202に蓄積されている動画内容とから、ユーザに対して情報入力を促進するタイミングを決定する処理部である。例えば、アンケートの情報入力が1分以内で終了すると推定された場合には、動画の次の区切りでアンケート情報の入力を促す。また、1分以上かかっている場合には、番組が終了してから、情報の入力を促進する。
入力促進通知部2209は、入力促進通知タイミング判定部2208で決定されたタイミングでユーザに対して情報入力を促す処理部である。例えば、図24に示されるような情報入力画面を表示する。
図27は、以上のように構成された本実施の形態における情報通知装置の動作を示すフローチャートである。まず、入力促進通知タイミング判定部2208は、携帯電話にインストールされているアンケート等の定期的に情報入力を促すアプリケーションにおいて、情報入力を促す時間であるか否かを判断する(ステップS2401)。情報入力の時間でないときには、本ステップS2401を繰り返す。情報入力の時間のときは、ステップS2402へすすむ。動画再生中か否かを判断する(ステップS2402)。動画が再生されていない場合には、ステップS2403へすすみ、入力促進通知タイミング判定部2208はその旨を入力促進通知部2209に通知し、入力促進通知部2209は情報入力を促す。動画が再生されていた場合には、情報入力所要時間推定部2207は、アンケートの情報入力に必要な時間を、過去の情報入力履歴から判断する(ステップS2404)。入力処理の推定時間が1分以上かかるか否かを判断する(ステップS2405)。1分以内で終了すると判断された場合には、ステップS2406へすすみ、その判断結果が情報入力所要時間推定部2207から入力促進通知タイミング判定部2208を経て入力促進通知部2209に通知され、入力促進通知部2209は、次の動画の切れ目において、情報入力をユーザに促す。1分以内の少ない時間で、アンケート情報の入力が終了するのであれば、動画再生の途中で、アンケート入力を行ったとしても、動画の以前の内容を忘れることなく、連続して動画を閲覧していたのと同様に、動画コンテンツのストーリーを理解することが可能になる。逆に、1分以上かかると推定された場合には、その判断結果が情報入力所要時間推定部2207から入力促進通知タイミング判定部2208を経て入力促進通知部2209に通知され、入力促進通知部2209は、動画閲覧終了後に、アンケートの情報入力を促す(ステップS2406)。情報入力部2205は、アンケート情報として入力された結果と、それに要した時間情報を情報入力履歴蓄積部2206に蓄積する(ステップS2407)。
以上ように、本実施の形態によれば、アンケート入力等の携帯端末から、定期的にユーザに情報入力を通知するアプリケーションにおいても、適切なタイミングで情報入力を通知することが可能になる。
なお、本実施の形態においては、アンケート等の情報入力であったが、閲覧するだけの情報でも同様の処理が可能である。例えば、定期的または、食後等に薬を飲まなければならないときに、ユーザに薬を飲むタイミングを知らせるように、携帯端末によって知らせるように設定することがある。このとき、ユーザに知らせるタイミングが、たまたま、動画を閲覧していた場合には、適当な映像の切れ目において知らせることが可能になる。
(実施の形態4)
次に、本発明の実施の形態4について説明する。
実施の形態1では、蓄積されている動画コンテンツを閲覧していたときに、電子メールやアンケート等の情報閲覧を、ユーザに通知する場合のタイミングについての例について説明した。本実施の形態では、放送されている動画コンテンツを携帯電話で受信し、その動画コンテンツを再生中に、電子メール等を受信した場合の処理の例について説明する。
図28は、本実施の形態における情報通知装置の構成を機能ブロック図である。この情報通知装置は、配信されてきた動画をリアルタイムに再生するとともに電子メール等の情報を受信したことをユーザに通知する携帯電話等であり、放送受信部2501、動画内容蓄積部2502、動画再生部2503、情報受信部2504、情報蓄積部2505、情報閲覧部2506、情報閲覧履歴蓄積部2507、情報閲覧所要時間推定部2508、放送蓄積部2509、蓄積時間検出部2510、情報通知タイミング判定部2511、情報通知部2512から構成されている。なお、構成要素2502〜2508は、実施の形態1における同一名称の構成要素と同様の処理を行うため説明を省略する。
放送受信部2501は、放送用アンテナ等を介して放送コンテンツを受信する受信回路等である。
放送蓄積部2509は、放送受信部2501で受信した放送を蓄積する携帯端末の半導体メモリまたはハードディスク等である。
蓄積時間検出部2510は、携帯端末内の放送蓄積部2509で蓄積可能な時間を検出する処理部である。例えば、1Mバイトの容量が携帯端末内で利用可能な場合、10Kバイト/秒のビットレートで蓄積するならば、100秒の放送コンテンツを蓄積することが可能と検出する。
情報通知タイミング判定部2511は、情報閲覧所要時間推定部2508で推定された、電子メール等の受信した情報を閲覧・処理するのに必要な推定時間と、蓄積時間検出部2510で検出された蓄積可能な時間とを比較し、メールを閲覧している間の放送コンテンツを蓄積可能か否かを判断する処理部である。例えば、メール処理に60秒の所要時間が必要と推定された場合に、蓄積可能な時間が100秒であった場合には、メールを閲覧している時間の放送コンテンツを携帯端末内で蓄積可能であると判断し、動画再生中であっても、途中でメール受信を通知させる。一方、メール閲覧処理にかかる時間が、蓄積可能な時間より長い場合には、メールを処理している時間の放送コンテンツを、すべて蓄積することができないと判断し、放送コンテンツの閲覧終了後に、メールの受信をユーザに通知させる。
情報通知部2512は、情報通知タイミング判定部2511で判定された結果を用いて、情報の受信を通知する処理部である。また、必要に応じて、放送蓄積部2509に対して、放送受信部2501で受信した動画の蓄積の開始を指示する。
図29は、以上のように構成された本実施の形態における情報通知装置の動作を示すフローチャートである。ステップS2601からステップS2604までの処理は実施の形態1と同様であるため、説明を省略する。
蓄積時間検出部2510は、携帯端末で蓄積できる時間を算出する(ステップS2605)。情報通知タイミング判定部2511は、蓄積時間検出部2510及び情報閲覧所要時間推定部2508を参照することで、番組を蓄積できる時間とメール処理に必要となりそうな時間とを比較する(ステップS2606)。メール処理に必要な時間の方が長かった場合には、情報通知タイミング判定部2511はその旨を情報通知部2512に通知し、情報通知部2512は、番組終了後に、メール通知をユーザに知らせる(ステップS2607)。メール処理に必要な時間よりも、番組を蓄積できる時間の方が長かった場合には、情報通知タイミング判定部2511はその旨を情報通知部2512に通知し、情報通知部2512は、次の番組の切れ目において、メール受信をユーザに知らせる(ステップS2608)。なお、放送受信部2501は、メール閲覧・処理中の放送コンテンツを放送蓄積部2509に蓄積する。
以上のように、本実施の形態によれば、メール処理を行っている時間に、放送されたコンテンツを携帯端末に自動的に蓄積することができ、ユーザは、放送閲覧中であっても、メールの処理を実行することが可能になる。
本実施の形態における図28において、放送受信部2501と動画再生部2503の間に実施の形態1と同様に、動画情報蓄積部を設けることが可能である。これにより、放送受信部で受信した放送コンテンツを受信と同時に閲覧する場合において、受信した放送コンテンツを動画再生可能なフォーマットに変換し、CPUの一部分のメモリ領域またはキャッシュメモリ等により構成される動画情報蓄積部に一時的に蓄積させ、蓄積が完了すると同時に、動画再生を開始させる。さらに、動画情報蓄積部において再生された動画は、再生されると同時に消去され、さらに受信した放送コンテンツを蓄積させる。すなわち、動画蓄積部は、実施の形態1で想定したハードディスクや半導体メモリ等の2次記憶媒体に限らず、高速な書き込み・読み込み・消去が可能なキャッシュメモリまたは、CPUに付属するメモリ領域の場合もありえる。動画蓄積部がキャッシュメモリ等で構成され、さらに、受信した放送コンテンツの書き込み・再生・消去の繰り返しを行うことにより、リアルタイムで放送されているコンテンツをユーザが閲覧しているときにも、メール等の情報の受信があった際には、適切なタイミングでメールの受信を通知することが可能になる。
なお、本実施の形態においては、番組の区切りで、メールの受信をユーザに通知したが、動画の閲覧履歴を蓄積しておくことにより、ユーザの動画コンテンツに対する興味の度合いを算出することが可能である。例えば、いつも経済ニュースを閲覧しているが、スポーツニュースを閲覧していないユーザに対しては、メールの受信の通知をスポーツニュースが放送されているときに行ってもよい。これにより、興味のあるニュースの閲覧を妨げることなく、番組閲覧と、メールの確認を行うことができるようになる。
また、本実施の形態においては、放送等の動画コンテンツを再生中に、メールを受信したときの処理について説明した。ところで、携帯電話等の携帯端末は、一般に、デジタルカメラの機能として、風景を撮像する機能をもっている。そのため、風景を撮像しようと、ズーム、パーンを行いながら画像のレイアウトを決めようとしているときに、メールの受信が通知されると、集中して撮像を行うことができない(図30参照)。そこで、本実施の形態における情報通知装置についても、画像に対して、操作を行っているときには、メールを受信しても、ユーザに通知しないようにしてもよい。動画コンテンツを撮像する際において、CCDカメラ等により入力された画像信号は、一旦、キャッシュメモリまたはビデオメモリ等により構成される動画蓄積部に蓄積され、ユーザが撮像内容を確認するための小型ディスプレイ等に表示を行う。よって、本実施の形態で記載した、放送コンテンツを閲覧しているときに、メール等の受信があった場合に、適切なタイミングで通知するのと同様の構成で、動画コンテンツを撮像中に、適切なタイミングでの通知が可能になる。
(実施の形態5)
実施の形態1から4においては、電子メールやアンケートの情報をユーザに通知する際に、その処理時間を考慮して、表示されている動画に対する通知のタイミングを制御する方法について述べた。しかしながら、動画が区切りが比較的に少なく(30分間区切りのない動画等)、情報の受信の通知を早くしなければならない場合には、テロップやアイコン等により、動画再生中であっても情報の通知を行う必要がある。その場合には、ユーザが動画を閲覧することを妨げない表示位置において情報通知を行う必要がある。例えば、野球等の動画を再生するときに、スコアや選手の紹介を表示する場所が決められていることが多い。そこで、メール等の着信をユーザに通知する場合には、その表示場所を避けて表示することで、動画の閲覧を妨げることなく、メールの受信を通知することが可能になる。動画情報の表示のレイアウトに関する情報が動画の内容として取得された際の、メールの動画像上の通知場所の決定する情報通知装置のシステム構成を図32に示す。図32の情報通知装置は、動画蓄積部3201、動画レイアウト蓄積部3202、動画再生部3203、情報受信部3204、情報蓄積部3205、テキスト量計算部3206、情報通知場所決定部3207、情報通知部3208から構成されている。
動画蓄積部3201は、前記実施の形態と同様に、半導体メモリやハードディスク等の蓄積媒体であり、MPEG等の形式で動画を蓄積している。
動画レイアウト蓄積部3202は、動画蓄積部3201で蓄積されている動画内容の画面レイアウトに関する情報をXML等の形式により蓄積しているものである。なお、動画は時間とともに表示するコンテンツが異なるため、各表示画像に関してコンテンツのレイアウトを蓄積しているものである。例えば、野球のコンテンツの場合、図33の(a)に示すような表示のレイアウトに関する情報が蓄積されている。図33(a)の例は、野球のコンテンツのチームのスコアに関する情報と、打者に関する情報が表示される場所に関する情報が蓄積されている。これにより、図33(b)に示すように、スコアと打者に関する情報がテキストの情報で表示されている。このレイアウトに関する情報は、放送コンテンツに多重化されて配信される場合もあるが、野球コンテンツが放送で配信され、画面のレイアウトに関する情報はインターネット等のネットワークを用いて配信されてもよい。
動画再生部3203は、前記実施の形態と同様に、動画蓄積部3201で蓄積されている動画コンテンツを再生する。
情報受信部3204は、前記実施の形態と同様に、電子メール等によりネットワークを介して情報を受信する。
情報蓄積部3205は、前記実施の形態と同様に、情報受信部3204で受信した情報を蓄積する。
テキスト量計算部3206は、情報受信部3205で蓄積している電子メール等のテキスト情報の量を計算する。例えば、受信したコンテンツを画面で表示する際に、どれだけの表示領域を必要とするかを計算する。
情報通知場所決定部3207は、動画レイアウト蓄積部3202で蓄積されている動画のレイアウトに関する情報とテキスト量計算部3205で計算されたテキストの表示量から、表示画面上において文字が重ならないように情報を受信したことを通知する場所を決定する。具体的には、図34(a)に示すように表示されている動画に対してオーバーレイ機能や動画情報に対する説明情報がない場合、または、動画情報に対するレイアウト情報がない場合には、受信したメールの内容を画面の左下よりテキストを用いて表示し、ユーザに対してメールを受信したことを通知する。
しかしながら、図33に示すように、動画に対して野球に関する動画の場合に、スコアや打者に関する情報を説明情報として動画とは別に説明情報として表示する場合には、その領域に重ならないように、情報の受信を通知する必要がある。さらには、テロップのように文字を動かすことでユーザに受信した情報の内容を通知する場合には、動画に関する説明情報の表示場所に重ならないようにする必要がある。そこで、受信したメールの内容を画面の左下より表示した場合に、動画コンテンツの内容の説明情報(スコアや打者の情報)と重なるときは、その領域を避けて、例えば、打者の情報が表示される右から受信した情報を表示する場所とする(図34(b)参照)。
情報通知部3208は、動画再生部3203で再生された動画のコンテンツを表示しながら、情報通知場所決定部3207で決定された通知場所の情報を利用してユーザに対して情報の通知を行う。
図35は、以上のように構成された本実施の形態における情報通知装置の動作を示すフローチャートである。まず、情報受信部3204は、メールを受信したか否かを判断する(ステップS3501)。受信した場合には、次のステップへすすむが、受信していない場合には、ステップS3501を繰り返す。次に、動画再生中か否か否かを判断する(ステップ3502)。動画再生中でない場合には、ステップS3508へすすみ、情報通知部3208はメールの受信をあらかじめ決められた左下の場所にメールのテキストを表示し、ユーザに通知を行う(図34(a)参照)。動画再生中の場合には、表示されている動画のレイアウトに関する情報がないかを判断する(ステップS3503)。動画レイアウト蓄積部3202において、レイアウトに関する情報がない場合には、ステップ3508へすすみ、メールの取得を通知する。動画レイアウト蓄積部3202においてレイアウト情報がある場合には、次のステップへすすむ。情報受信部3204で受信したメールを情報蓄積部3205で蓄積し、テキスト量計算部3205にて、受信したメールのテキストの表示量を計算し、動画レイアウト蓄積部3204で蓄積されている動画の説明情報との重なりがないかを判断する(ステップS3504)。重なりがない場合には、ステップS3508へすすみ、メールの表示場所でユーザに通知を行う。本実施例の場合、メールのテキストの表示位置が左下であるの対して、動画レイアウト蓄積部3202で蓄積されている動画コンテンツの説明情報の打者に関する情報が左下にあり、重なると判断される。そこで、次のステップへすすみ、動画の説明情報の右側に空き領域があるか否かを判断する(ステップS3505)。本実施例の場合には、図34(b)に示すように打者情報の右側に空き領域がある。そこで、ステップS3506へすすむ。情報通知場所決定部3207において、動画の説明情報の右側を受信したメールの通知表示場所として決定する(ステップS3507)。メール取得の通知場所の決定がなされると、情報通知部3208において、その場所に対してメール受信の通知が行われる(ステップS3508)。なお、ステップS3505において、動画の説明情報の右側において情報の通知を行う場所がなかった場合には、次の動画の切れ目にて、動画の説明情報が表示されなくなったタイミングでメール受信の通知を行う(ステップS3507)。
以上のように、本実施の形態によれば、再生されている動画コンテンツの動画の説明情報のレイアウト情報を用いて、メール受信の通知場所を動的に決定することができるようになる。これにより、メールのテキスト情報と、動画コンテンツの説明情報が重なることなく、ユーザはメールのテキストを容易に確認することができるようになる。
なお、本実施の形態においては、レイアウト情報が配信またはネットワークを介して取得することにより、動画コンテンツに対して説明情報が表示されている場所を検出し、説明情報が表示されていない場所に対して、情報の受信を通知する場所を決定した。しかしながら、動画コンテンツに対して常に説明のレイアウトに関する情報が付与されているとは限らない。そこで、画面の四隅の所定の領域に表示されている動画コンテンツに対して動きベクトルを算出し、動きベクトルの量に応じてメールの受信を通知する場所を決定してもよい。これは、説明情報等が表示されている場合には、背景の動画コンテンツの変化に対して、文字の表示画像が存在するために、動きベクトルが小さくなる傾向にある。そこで、文字等による説明情報が表示されている場所を、画像のフレーム間での動きベクトルで算出することが可能である。画面の四隅に対して、動きベクトルを算出し、説明情報が表示されているか否かを検出することで、動画コンテンツのレイアウト情報がない場合でも、説明情報と重なることなく情報の受信をユーザに通知することが可能になる。