JP4734855B2

JP4734855B2 - 情報処理装置

Info

Publication number: JP4734855B2
Application number: JP2004184409A
Authority: JP
Inventors: 和洋前多; 昭一郎舟戸; 俊夫上村
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-06-23
Filing date: 2004-06-23
Publication date: 2011-07-27
Anticipated expiration: 2024-06-23
Also published as: JP2006013645A

Description

本発明は、情報処理装置に関する。

従来、テレビジョン受信機の前面に視聴者がいるかどうか検出し、視聴者がいなくなったことを検知したときに、受信信号の記録を開始するように制御するテレビジョン受信機が提案されていた（例えば、特許文献１参照）。

特開平８−１８９００号公報

しかしながら、前記特許文献１においては、視聴者の視線情報や視聴状況に応じて記録するように制御する技術は記載されていない。

例えば、視聴者がテレビジョン受信機の前面にいる場合であっても、視聴者が視線を逸らしていたような場合には記録がされないため、映像を見逃してしまうおそれがある。特に、携帯電話等の携帯型の情報処理装置を用いて外出先で視聴するような場合には、電車の乗り換え、階段の昇り降り、周囲の安全確認等のため一時的に表示画面から視線を逸らし、視聴者が映像を見逃してしまう状況が多くなると考えられる。

また、前記特許文献１においては、視聴者がいなくなったときに記録した映像と、現在放送中の映像とを同時に視聴する方法が提案されているため、視聴者は２つの映像を同時に見なくてはならず使い勝手の向上を図ることができない。

そこで、本発明は、前記課題を解決し、使い勝手を向上できる情報処理装置を提供することを目的とする。

本発明は、前記課題を解決するため、映像情報を受信する受信部と、前記受信した映像情報を表示する表示部と、前記映像情報を記憶する記憶部と、ユーザの視線情報を取得する視線情報取得部と、を備え、前記記憶部は、前記ユーザの視線情報を用いて前記映像情報の記憶を制御することを特徴とする。

本発明によれば、使い勝手を向上できる情報処理装置を提供することが可能となる。

以下、本発明の情報処理装置、特に、携帯型の情報処理装置について図面を用いて説明する。本発明の実施の形態としては、例えばテレビジョン受信機、映像再生装等が想定され、特にテレビジョン放送を受信可能な携帯電話等の携帯型情報処理装置が想定される。

（停止不可能な番組視聴の見逃し防止）
以下、本発明の実施の形態について図面を用いて説明する。

図１は、本発明における構成例を示す。通信端末１は、テレビジョン放送を受信する放送受信部１０１，通話・通信に用いる通信部１０２，視聴者が映像を視聴しているか否かを判定する視聴判定部１０３、ユーザのキー入力を受付ける操作部１０４，制御部１０５，映像を表示する表示部１０６，映像・音声を再生する再生部１０７，映像・音声を記録する記録部１０８，情報を記憶する記憶装置１０９，音声を出力するスピーカー１１０で構成される。放送局２は、テレビ番組など映像，音声，文字の情報を発信する。通信端末１は、放送受信部１０１を介して放送局２が発信する電波を受信することが可能である。放送受信部１０１は該受信電波から取得した情報を再生部１０７へ送る。再生部１０７は、該情報を元として、表示部１０６で出力可能な映像及び文字の情報，スピーカー１１０で出力可能な音声の情報に変換する。表示部１０６は該変換された情報を受けて映像，文字を表示する。スピーカー１１０は該変換された情報を受け音声を出力する。以上により、視聴者は放送局２が発信する番組を試聴することができる。

なお、映像としてはテレビジョン放送により放送された映像、記憶部１０９に記憶した放送済みの映像、フラッシュメモリ等のメディア（図示せず）に記録された映像のいずれであっても構わない。また、テレビジョン放送はアナログ放送であってもデジタル放送であっても構わない。

図２に視聴判定部１０３の構成例の１つを示す。視聴判定部１０３は、カメラ１２０と画像処理部１２１とで構成され、カメラ１２０は表示部１０６の表示面と同一方向を向いた面に取り付けられている。視聴判定部１０３は、放送局２が放送する番組を視聴者が視聴する際に、視聴者が番組を見ているか否かを判定する機能を有する。具体的には、視聴者の視線情報を用いて視聴者が番組を見ているか否かを判定する。例えば、カメラ１２０から出力された画像データをもとに、画像処理部１２１で画像を解析し、視聴者の顔、目を認識することにより、視聴者の視線が表示部１０６に向いているか否かを判定することができる。つまり、視線判定部１０３は、ユーザの視線情報取得部或いはユーザの頭部の画像情報取得部として動作する。

制御部１０５は、視聴判定部１０３の判定結果を基にして視聴者が番組を見逃さないよう通信端末１を制御する。即ち、視聴判定部１０３により視聴者が視聴していると判定されたときは映像の記録動作を行わず、視聴していないと判定されたときは映像の記録動作を行うように制御する。以下、その機能を詳細に説明する。

図３は、視聴判定部１０３の機能を用いた番組の見逃しを防止する処理を示す図である。視聴者が映像の視聴を開始（Ｓ１０１）した後、視聴者が通信端末１に視聴者登録をしていない場合（Ｓ１０２：無し）、視聴を開始する前にカメラ１２０を用いて視聴者の顔であると認識可能な大きさの視聴者自身の顔と，視聴者と表示部１０６の距離が視聴可能な最大距離となる状態でカメラ１２０を用いて撮影して視聴者の顔の大きさを視聴判定部に登録する（Ｓ１０３）。登録済みの場合（Ｓ１０２：有り）はそのまま視聴開始する（Ｓ１０４）。画像処理部１２１は、視聴中にカメラ１２０で撮影される視聴者の顔，もしくは目を認識することで視聴者が表示面を見ているか否かを判定する（Ｓ１０５）。前記判定（Ｓ１０５）には、例えば画像パターンマッチング法により、前記予め登録した視聴者の顔，もしくは目がカメラで撮影される映像中に存在するか否かに検出する。視聴中にカメラ１２０で撮影された前記映像中に視聴者が存在すれば、視聴中と判断し、存在しなければ視聴不可と判断する。もしくは、表示部１０６に表示される内容を視聴者が認識可能である範囲が、カメラ１２０で撮影される映像として視聴者の顔の位置がどの範囲となるかを登録しておき、前記登録範囲内か否かで視聴者が視聴中か否かを判定してもよい。

また、視聴者が見ている方向を視聴可否の判定要素に加えてもよい。例えば、撮影される映像の特徴抽出を行うことで、顔が向いている方向を検出して視聴者が表示面を見ているか否かを判定してもよい。これにより、視聴者の顔が表示画面を向いているか否かを把握することが可能となり、より正確に視聴判定を行うことができる。

また、視聴者と表示部１０６の距離を視聴可否の判定要素に加えてもよい。例えば、カメラ１２０で撮影される視聴者の顔の大きさと，前記予め登録した視聴可能な最大距離での顔の大きさとを比較し、前記カメラ１２０で撮影される視聴者の顔の大きさが前記予め登録された視聴可能な最大距離での顔の大きさよりも小さい場合、視聴可能な最大距離を超えていると判断することができる。これにより、視聴者の顔が表示画面を向いているか否かを把握することが可能となり、より正確に視聴判定を行うことができる。

前記検出結果で、視聴者が視聴不可と判断された場合（Ｓ１０５：視聴不可）、記録部は表示中の番組に関する情報，時刻，番組を記憶装置１０９に記録を開始する（Ｓ１０６）。

また、前記検出結果で、視聴者が視聴中であると判断され，且つ記録部１０８で視聴者が前記視聴不可中に記録（Ｓ１０６）された未再生の情報がある場合（Ｓ１０５：視聴中，記録あり）、再生部１０７は記憶装置１０９から情報を読み込み再生を行う（Ｓ１０７）。このとき、記録部１０８は放送局２からの放送を記録し続けている。

また、前記検出結果で、視聴者が視聴中と判断され，且つ記録部１０８で記録された未再生の情報がない場合（Ｓ１０５：視聴中，記録なし）、放送局２から受信した情報を再生部１０７で再生する（Ｓ１０８）。

また、記録した番組を再生する場合、放送される番組の記録速度と同じ速さで再生した場合、番組が終了するまで常に記録し続けなければ視聴者は番組全てを見ることができない。そこで、再生が現在放送されている状態に追いつくように倍速再生や早送り再生をしても構わない。これにより、常に記録しつづけなければならない状況を回避し、省電力化を図ることが可能となる。

これまで、放送局２からの番組放送を例にして説明したが、放送局２からの番組放送に限定するものでなく、サーバ５からの番組配信であっても構わない。サーバ５は、１つ以上の通信端末１へ一斉に番組を配信する。通信端末１は、通信網３と基地局４、通信部１０２を介してサーバ５から情報を受信することが可能である。サーバ５から情報を受信した以降は前記説明と同一である。

また、視聴可否の判定において、視聴者が視聴中か否かについて説明してきたが、それのみに限定するのもではなく、電波受信状況が悪化し、電波受信不可の為に視聴不可となる場合を加味してもよい。

また、視聴者が視聴中か否かの判定にカメラ１２０での撮影映像を用いる方法について説明してきたが、それに限定するものではなく、例えば、図４のように、視聴者がヘッドフォンを用いて音声を聴く場合に、通信端末１からヘッドフォンに向けて指向性を持った通信，例えば赤外線通信を行い、ヘッドフォンと通信端末１との通信の可否によって判定してもよい。即ち、図４左ではヘッドフォンと携帯端末とが正対し正常に通信を行うことができるため視聴者が視聴していると判断する一方、図４右では正常に通信を行うことができないため視聴者が視聴している状況にはないと判断することが可能となる。

また、視聴者がわずかの時間だけ視線を表示画面から逸らした場合には毎回記録を行うのは非効率であり消費電力も大きくなるため、視聴者が視聴していないと判定してから一定時間を経過するまでは記録を開始しないように制御しても良い。これにより、無駄な記録動作をなくして省電力化を図ることが可能となる。なお、判定するまでの時間を視聴者が設定できるようにすれば、視聴者の好みに応じて様々な使い方が可能となり便利である。

以上により、視聴者は移動中などにおいて表示部１０６を一時的に見ることができない場合においても、番組が自動的に記録，再生が行われるために番組を見逃すことがなくなり、視聴者の利便性を向上させることが可能となる。

（停止可能な番組視聴の見逃し防止）
次に実施例２について説明する。

実施例１では、放送局２からの番組放送における番組の見逃し防止について説明したが、実施例２では、視聴者からの要求で番組視聴開始，一時停止が可能な場合における番組の見逃し防止ついて説明する。

配信サーバ４は、通信端末１からの要求に応じて番組の配信を開始，一時停止，停止することが可能である。以下、図５を用いて説明する。

通信端末１の構成や、視聴判定部１０３の構成、視聴判定部１０３の視聴可否判定は実施例１と同じである。また、視聴開始をする動作について、開始（Ｓ１０１）から視聴開始（Ｓ１０４）まで実施例１と同じ動作である。実施例２では、視聴開始（Ｓ１０４）をしたときに通信端末１から配信サーバ５へ配信要求（Ｓ２０１）を行う。配信サーバ５は前記要求があった通信端末１へ番組の配信を行う。通信端末１は、前記配信される情報を再生部１０７で表示部１０６，スピーカー１１０で出力可能な情報に加工し、表示部１０６，スピーカー１１０で出力する。視聴判定部１０３で視聴中と判定された場合（Ｓ２０２：視聴中）、配信サーバ５は配信を継続し、通信端末１は配信された情報を表示部１０６，スピーカー１１０で出力し続けることで視聴者は視聴を継続する。視聴判定部１０３で視聴不可と判定された場合（Ｓ２０２：視聴不可）、通信端末１から配信サーバ５へ配信の一時停止要求（Ｓ２０３）を発行する。一時停止要求（Ｓ２０３）を受けた配信サーバ５は、配信の一時停止を行う（Ｓ２０４）。その後、視聴判定部１０３の判定結果が、視聴者は視聴不可であると判定した場合（Ｓ２０５：視聴不可）、配信サーバ５は配信停止したままである。視聴者が視聴中と判定された場合（Ｓ２０５：視聴中）、通信端末１は再び配信サーバ５へ配信要求（Ｓ２０１）を行う。このとき、予め設定された時間だけ一時停止した時点よりも前の時間から再生を開始することで、視聴者が見ていた内容を思い出させるようにしてもよい。

なお、視聴者判定（Ｓ２０２，Ｓ２０５）は設定された時間毎に繰り返し実行されることで、再生の開始，一時停止が自動的に行われる。即ち、視聴者がわずかの時間だけ視線を表示画面から逸らした場合には一時停止要求を出す必要性が低いため、視聴者が視聴していないと判定してから一定時間を経過するまでは要求を出さないようにする。これにより、一時停止要求を出す回数を減らして省電力化を図ることが可能となる。なお、判定するまでの時間を視聴者が設定できるようにすれば、視聴者の好みに応じて様々な使い方が可能となり便利である。

ここまで、配信サーバ５からの配信を例に説明したが、これに限定するものではなく、通信端末１が開始，停止することができる場合，例えば記憶装置１０９から情報を読み出して再生する場合であってもよい。

以上により、外因によって視聴できない場合が多く考えられる状況，特に屋外での視聴において、視聴者は視聴中の番組を見逃すことを防ぐことが可能となる。また、視聴者の操作で再生動作を一時停止する必要がない為、視聴者の利便性を向上させることができる。また、実施例２は、実施例１における記録した番組の再生動作に適用することも可能であり、実施例１の利便性をさらに向上させることができる。

（停止不可能な番組視聴で、端末記録不可の場合）
次に、実施例３について図を用いて説明する。

実施例３では、視聴者が通信端末１を用いて番組を試聴するときに、一時的に番組を視聴できなかった場合、自宅サーバ６で前記番組を再度見る場合の利便性向上について説明する。このとき、自宅サーバ６は視聴者の予約によって通信端末１で視聴する番組と同一番組が録画指定されている，もしくは予め全ての番組が録画されているものとする。

通信端末１の構成や、視聴判定部１０３の構成、視聴判定部１０３の視聴可否判定は実施例１と同じである。また、視聴開始をする動作について、開始（Ｓ１０１）から視聴開始（Ｓ１０４）まで実施例１と実施例３は同じ動作である。また、実施例３は、実施例２で配信サーバ５に対して配信要求（Ｓ２０１）を行う代わりに視聴開始記録（Ｓ３０１）を行う。さらに実施例３は、実施例２で配信サーバ５に対して一時停止要求（Ｓ２０３）を行う代わりに視聴停止記録（Ｓ３０３）を行う。即ち、実施例３においては、携帯端末における視聴者の視聴状況の情報を記録し、この情報を用いて視聴できなかった映像を容易に視聴できるようにすることができる。例えば、ある番組の一部の映像（例えば、午後３時００分から午後３時１０分までの映像）を見ることができなかった場合に、番組に関する情報及び番組を視聴できなかった時間の情報を記録しておき、自宅帰宅後に自宅サーバに記録された映像から、前記視聴できなかった映像の頭出しを容易に行うことが可能となる。

以上の動作により、通信端末１により視聴者が番組を試聴している最中の番組を見ているか否かの情報が記憶装置１０９に記録される。記憶装置１０９に記録される情報は図７のように、どの番組を視聴していたか判断する番組識別情報７０１（例えばチャンネル番号）と、視聴を開始した視聴開始時間７０２と，視聴判定部１０３により視聴不可と判定された視聴中断時間７０３と，番組視聴が終了した番組視聴終了情報７０４等が記録されている。ただし、視聴開始時間７０２と視聴中断時間７０３は、視聴開始，中断を繰り返した回数分記録されている。

次に前記記録した視聴開始記録（Ｓ３０１）と視聴停止記録（Ｓ３０３）を用いて自宅サーバ６で記録された番組を視聴する場合の視聴補助について説明する。まず前記記録した情報を電子メール，有線／無線通信などにより通信端末１から自宅サーバ６へ送信する。自宅サーバ６は、前記送信された情報を受け、録画した番組の再生を行うときに前記受信した情報を元に視聴補助を行う。

視聴補助の一例を説明する。視聴者が自宅サーバ６で記録した番組の一覧を表示した場合に、通信端末１で視聴したが視聴中断しており全てを見ていない場合に、前記未視聴がある番組を一覧の最上位に表示する，もしくは表示する色を変えて区別可能にする，もしくはアイコンを表示して区別可能にする。また、通信端末１ですべて視聴した場合はさらに区別可能にしてもよい。これにより、視聴者は未視聴，一部視聴，既に視聴済みの区別が容易になり利便性が向上する。

また、別の視聴補助の一例を説明する。視聴者が自宅サーバ６で記録した番組を再生する場合、未視聴の箇所については通常再生を行い、既に通信端末１で視聴済みの箇所については、再生画面中にアイコンを表示する，もしくは画面に枠を表示して再生する，もしくは未視聴の箇所まで早送りを行う。以上のようにして、未視聴の箇所と既に通信端末１で視聴済みである箇所の区別を行い、視聴者に既に視聴済みであるか否かを知らせることで、既に視聴済みである箇所を再度視聴しなくてもよいようにする手助けを行い、視聴者の利便性を向上させることができる。

（バックライト停止などの省電力化）
次に実施例４について図を用いて説明する。
実施例４では、放送局２から不特定多数の端末に配信，もしくは配信サーバ５から特定の端末に配信される番組を視聴中の省電力方法について説明する。

通信端末１の構成や、視聴判定部１０３の構成、視聴判定部１０３の視聴可否判定は実施例１と同じである。また、視聴開始をする動作について、開始（Ｓ１０１）から視聴開始（Ｓ１０４）まで実施例１と実施例４は同じ動作である。

視聴判定部１０３によって視聴者は視聴中であると判定された場合（Ｓ４０１：視聴中）、通信端末１は、放送局２から受信した映像，文字，音声の情報全てを表示部１０６とスピーカー１１０で出力可能な情報に再生部１０７で加工し、表示部１０６とスピーカー１１０で出力（通常視聴（Ｓ４０２））することで、視聴者は映像と音声の両方を視聴することができる。視聴判定部１０３で視聴不可と判定された場合（Ｓ４０１：視聴不可）、予め設定されている省電力モードの設定に応じて省電力視聴（Ｓ４０３）を行う。以下、省電力モードが音声のみの再生を行う設定がされた場合を例にして説明する。例えば、音楽番組やニュース番組など、音声のみでも情報が伝わる場合での使用が想定される。省電力視聴（Ｓ４０３）では、再生部１０７では音声情報のみをスピーカー１１０で出力可能な情報に加工をする。このとき再生部１０７は映像，文字の情報は加工しない。さらに、表示部１０６への出力を行わず、表示部１０６の電源をＯＦＦにしておく。もう一つの省電力モードの例として、映像も音声も全てすべて出力しない場合を例にして説明する。例えば、ヘッドホンを用いた視聴では、常に音声が出力された場合、周囲の音を聴こうとしても視聴者が周囲の音に集中させることができない。また、前記状況では表示部１０６，スピーカー１１０で出力する必要がない。前記省電力モードは前記状況などにおいて使用されることが想定される。前記映像も音声も全て出力しない省電力モードでは、前記音声のみを出力する省電力モードに加えて音声も出力しない動作となる。

前記視聴判定部１０３による視聴判定は、設定可能な時間間隔で繰り返される。これにより、視聴中の通信端末１の動作は、視聴者の視聴状態に応じて通常視聴（Ｓ４０２）もしくは省電力視聴（Ｓ４０３）となる。

以上により、視聴者が視聴不可と判定された場合は省電力視聴となり通信端末１の電力消費を押さえることができ、特に通信端末１が蓄電池により駆動される場合には本発明を使用しない場合に比べて長時間使用が可能となり、視聴者の利便性が向上する。

なお、上述した携帯端末においては、テレビ視聴機能を有した装置での番組視聴を行う際、特に視聴者の意図とは異なって番組視聴ができない場合が存在する端末による番組視聴でも番組の見逃しを防止することで視聴者の利便性を向上させることが可能となる。

通信端末１の構成例と実施例１を実現する構成例を示す図。視聴判定部１０３の構成例を示す図。実施例１における処理シーケンスを示す図。視聴判定部１０３のもう一つの構成例を示す図。実施例２における処理シーケンスを示す図。実施例３における処理シーケンスを示す図。実施例３における視聴判定結果の記録情報を示す図。実施例４における処理シーケンスを示す図。

符号の説明

１：通信端末、１０１：放送受信部、１０２：通信部、１０３：視聴判定部、１０４：操作部、１０５：制御部、１０６：表示部、１０７：再生部、１０８：録画部、１０９：記憶装置、１１０：スピーカー、２：放送局、３：通信網、４：基地局、５：配信サーバ、６：自宅サーバ、１２０：カメラ、１２１：画像処理部、７０１：番組識別情報、７０２：視聴開始時間、７０３：視聴中断時間、７０４：番組視聴終了情報。

Claims

映像情報および音声情報を含むコンテンツ情報を入力する入力手段と、
前記入力手段により入力されたコンテンツ情報に含まれる映像情報を再生する再生手段と、
前記再生手段により再生された映像情報を表示する表示手段と、
前記入力手段により入力されたコンテンツ情報を記憶する記憶手段と、
前記入力手段により入力されたコンテンツ情報の一部の情報を外部装置に送信する通信手段と、
前記通信手段により前記外部装置との間で正常に通信を行うことができない場合、前記入力手段により入力されたコンテンツ情報の記憶を開始するように前記記憶手段を制御する制御手段と、
を備え、
前記通信手段は、指向性を持った通信により前記外部装置に情報を送信するものであり、
前記通信手段により前記外部装置に送信する前記一部の情報は、前記入力手段により入力されたコンテンツ情報に含まれる音声情報であり、
前記外部装置は、ヘッドフォンであることを特徴とする情報処理装置。
前記制御手段は、前記通信手段による前記外部装置との間の通信の可否を判定する判定手段を備えていることを特徴とする請求項１に記載の情報処理装置。
前記入力手段は、放送局からテレビジョン放送により発信されたコンテンツ情報を受信し、受信した前記コンテンツ情報を入力することを特徴とする請求項１または２に記載の情報処理装置。
前記入力手段は、サーバからデータ通信により発信されたコンテンツ情報を受信し、受信した前記コンテンツ情報を入力することを特徴とする請求項１ないし３のいずれかに記載の情報処理装置。
前記制御手段は、前記記憶手段により前記コンテンツ情報の記憶を開始した後、前記判定手段により前記外部装置との間で正常に通信を行うことができると判定された場合に、前記記憶手段に記憶されたコンテンツ情報に含まれる映像情報を前記再生手段により再生しつつ、前記記憶手段により前記コンテンツ情報の記憶を継続するように制御することを特徴とする請求項２に記載の情報処理装置。
請求項１から５のいずれか記載の情報処理装置は、携帯型の通信端末装置であることを特徴とする情報処理装置。