JP5330005B2 - デジタルフォトフレーム、情報処理システム及び制御方法 - Google Patents

デジタルフォトフレーム、情報処理システム及び制御方法 Download PDF

Info

Publication number
JP5330005B2
JP5330005B2 JP2009022629A JP2009022629A JP5330005B2 JP 5330005 B2 JP5330005 B2 JP 5330005B2 JP 2009022629 A JP2009022629 A JP 2009022629A JP 2009022629 A JP2009022629 A JP 2009022629A JP 5330005 B2 JP5330005 B2 JP 5330005B2
Authority
JP
Japan
Prior art keywords
information
content
unit
photo frame
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009022629A
Other languages
English (en)
Other versions
JP2010183159A (ja
Inventor
良平 杉原
成示 龍田
陽一 井場
勇人 藤垣
未帆 亀山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2009022629A priority Critical patent/JP5330005B2/ja
Publication of JP2010183159A publication Critical patent/JP2010183159A/ja
Application granted granted Critical
Publication of JP5330005B2 publication Critical patent/JP5330005B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、デジタルフォトフレーム、情報処理システム及び制御方等に関する。
近年、デジタルスチルカメラなどのデジタルカメラで撮影した画像を手軽に再生できる装置として、デジタルフォトフレームが脚光を浴びている。このデジタルフォトフレームは、フォトスタンドの写真を入れる部分が液晶ディスプレイに置き換えられた形態の装置であり、メモリカードや通信装置を介して読み込まれたデジタルの画像データ(電子写真)の再生処理を行う。
デジタルフォトフレームの従来技術としては例えば特許文献1に開示される技術がある。この従来技術では、電話回線接続装置を、デジタルフォトフレームであるデジタルフォトスタンドに具備させて、フォトスタンドと有線又は無線の電話回線との間の伝送路の形成を実現している。
しかしながら、これまでのデジタルフォトフレームは、メモリに蓄積された一連の画像を単に再生するだけであり、例えばオーディオ機器や映像機器などの他の電子機器と連動したコンテンツ提示を行うものについては提案されていなかった。
特開2000−324473号公報
本発明の幾つかの態様によれば、他の電子機器と連動したコンテンツ提示を可能にするデジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体を提供できる。
本発明の一態様は、画像を表示する表示部と、提示コンテンツを選択するコンテンツ選択部と、選択された前記提示コンテンツに基づいて、前記表示部の表示制御を行う表示制御部と、電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報を取得する機器コンテンツ情報取得部とを含み、前記コンテンツ選択部は、取得された前記機器コンテンツ情報に基づいて、前記提示コンテンツを選択するデジタルフォトフレームに関係する。
本発明の一態様によれば、電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報が取得され、取得された機器コンテンツ情報に基づいて、提示コンテンツが選択される。そして選択された提示コンテンツに基づいて、表示部の表示制御が行われる。これにより、デジタルフォトフレームの表示部には、機器コンテンツ情報に応じたコンテンツが表示されるようになり、電子機器と連動したコンテンツ提示が可能になる。
また本発明の一態様では、前記機器コンテンツ情報取得部は、前記電子機器により出力される音楽に関する情報である音楽情報を、前記機器コンテンツ情報として取得し、前記コンテンツ選択部は、取得された前記音楽情報に基づいて、前記提示コンテンツを選択してもよい。
このようにすれば、電子機器が音楽を出力すると、その音楽の情報に応じた提示コンテンツがデジタルフォトフレームの表示部に表示されるようになり、電子機器の音楽出力に連動したコンテンツ提示が可能になる。
また本発明の一態様では、前記機器コンテンツ情報取得部は、前記音楽情報として、曲名、アルバム名、アーティスト名、音楽ジャンル及び曲調の少なくとも1つを取得し、前記表示制御部は、前記曲名、前記アルバム名、前記アーティスト名、前記音楽ジャンル及び前記曲調の少なくとも1つに対応する画像を、前記表示部に表示する制御を行ってもよい。
このようにすれば、電子機器が音楽を出力すると、その音楽の曲名、アルバム名、アーティスト名、音楽ジャンル、或いは曲調に対応する画像がデジタルフォトフレームの表示部に表示されるようになる。
また本発明の一態様では、前記機器コンテンツ情報取得部は、前記電子機器により出力される放送番組に関する情報である番組情報を、前記機器コンテンツ情報として取得し、前記コンテンツ選択部は、取得された前記番組情報に基づいて、前記提示コンテンツを選択してもよい。
このようにすれば、電子機器が放送番組を出力すると、その放送番組の情報に応じた提示コンテンツがデジタルフォトフレームの表示部に表示されるようになり、電子機器の放送番組に連動したコンテンツ提示が可能になる。
また本発明の一態様では、前記機器コンテンツ情報取得部は、前記番組情報として、番組名、番組のテーマ、番組内容、出演者、番組の広告、及びリアルタイム放送情報の少なくとも1つを取得し、前記表示制御部は、前記番組名、前記番組のテーマ、前記番組内容、前記出演者、前記番組の広告、及び前記リアルタイム放送情報の少なくとも1つに対応する画像を、前記表示部に表示する制御を行ってもよい。
このようにすれば、電子機器が放送番組を出力すると、その番組名、番組のテーマ、番組内容、出演者、番組の広告、或いはリアルタイム放送情報に対応する画像がデジタルフォトフレームの表示部に表示されるようになる。
また本発明の一態様では、前記機器コンテンツ情報取得部は、前記電子機器により出力される音声の認識を行うことでキーワード情報を取得し、前記コンテンツ選択部は、前記キーワード情報に基づいて、前記提示コンテンツを選択してもよい。
このようにすれば、電子機器により出力される音声のキーワード情報に対応するコンテンツを、デジタルフォトフレームの表示部に表示できるようになる。
また本発明の一態様では、前記機器コンテンツ情報取得部は、前記電子機器により出力される放送番組に関する情報である番組情報を取得し、前記コンテンツ選択部は、前記番組情報と、前記番組の音声から取得された前記キーワード情報とに基づいて、前記提示コンテンツを選択してもよい。
このようにすれば、電子機器により出力される放送番組の情報と、その番組での音声により取得されるキーワード情報の両方により、コンテンツが選択されて提示されるようになる。
また本発明の一態様では、周囲音を検知する音センサにより検知された音情報を取得する音情報取得部を含み、前記機器コンテンツ情報取得部は、取得された前記音情報に基づいて、前記機器コンテンツ情報を取得してもよい。
このようにすれば、音センサにより検知された音情報に基づいて、機器コンテンツ情報を取得し、その機器コンテンツ情報に応じたコンテンツを提示できるようになる。
また本発明の一態様では、前記コンテンツ選択部は、前記音センサにより前記音情報が検知されなかった場合には、音非検知用に用意されたコンテンツを選択してもよい。
このようにすれば、音情報が検知されなかった場合には、音非検知用に用意されたコンテンツを提示し、音情報が検知された場合には、音情報により取得された機器コンテンツ情報に応じたコンテンツを提示できるようになる。
また本発明の一態様では、前記電子機器の操作情報を取得する操作情報取得部と、取得された前記操作情報に基づいて、前記電子機器の特定処理、前記電子機器の動作状態の特定処理、前記電子機器の選曲状態の特定処理、及び前記電子機器の選局状態の特定処理の少なくとも一方を行う機器特定部を含んでもよい。
このようにすれば、電子機器の操作情報に基づいて、電子機器の特定処理や、その動作状態、選曲状態、或いは選局状態の特定処理を行って、機器コンテンツ情報を取得できるようになる。
また本発明の一態様では、前記機器コンテンツ情報取得部は、前記操作情報に基づいて、前記電子機器の前記動作状態がコンテンツ出力状態であると判断された場合に、前記機器コンテンツ情報の取得処理を行ってもよい。
このようにすれば、音センサにより検知された音情報だけを用いる手法に比べて、より正確且つ確実に機器コンテンツ情報を取得できるようになる。
また本発明の一態様では、前記操作情報の履歴である操作履歴情報を記憶する操作情報記憶部を含み、前記機器特定部は、前記操作履歴情報に基づいて、前記特定処理を行ってもよい。
このように操作履歴情報を用いれば、電子機器の現在の状態がどのような状態なのかを、より正確に把握できるようになる。
また本発明の一態様では、前記操作情報取得部は、前記電子機器の操作機器が出力する操作信号に基づいて、前記操作情報を取得してもよい。
このようにすれば、電子機器の操作のために用いられる操作機器の操作信号を有効活用して、電子機器の操作情報を取得できるようになる。
また本発明の一態様では、ユーザ情報を記憶するユーザ情報記憶部を含み、前記コンテンツ選択部は、前記ユーザ情報と前記機器コンテンツ情報とに基づいて、前記提示コンテンツを選択してもよい。
このようにすれば、機器コンテンツ情報のみならずユーザ情報も反映させた提示コンテンツの選択が可能になる。
また本発明の一態様では、ユーザ検知センサにより検知された検知情報を取得する検知情報取得部と、取得された前記検知情報に基づいて、ユーザの人物認証を行うユーザ状態判断部を含み、前記コンテンツ選択部は、前記人物認証により特定されたユーザの前記ユーザ情報を前記ユーザ情報記憶部から取得し、取得された前記ユーザ情報と前記機器コンテンツ情報とに基づいて、前記提示コンテンツを選択してもよい。
このようにすれば、ユーザの人物認証を行ってユーザ情報を取得し、取得されたユーザ情報を反映させた提示コンテンツの選択が可能になる。
また本発明の一態様では、前記機器コンテンツ情報取得部は、前記電子機器により出力される前記コンテンツに基づいて、コンテンツデータベースから前記機器コンテンツ情報を取得してもよい。
このようにすれば、電子機器により出力されるコンテンツをコンテンツデータベースに送ることで、そのコンテンツに対応する機器コンテンツ情報を取得できるようになる。
また本発明の一態様では、前記コンテンツ選択部は、前記機器コンテンツ情報に基づいて関連コンテンツを取得し、取得された前記関連コンテンツを前記提示コンテンツとして選択してもよい。
このようにすれば、機器コンテンツ情報に対応するコンテンツのみならず、電子機器が出力するコンテンツの関連コンテンツをユーザに提示できるようになる。
また本発明の他の態様は、提示コンテンツを選択するコンテンツ選択部と、選択された前記提示コンテンツに基づいて、デジタルフォトフレームの表示部に表示される画像の表示指示を行う表示指示部と、電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報を取得する機器コンテンツ情報取得部とを含み、前記コンテンツ選択部は、取得された前記機器コンテンツ情報に基づいて、前記提示コンテンツを選択する情報処理システムに関係する。
また本発明の他の態様は、デジタフフォトフレームの制御方法であって、電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報を取得し、取得された機器コンテンツ情報に基づいて、提示コンテンツを選択し、選択された前記提示コンテンツに基づいて、デジタルフォトフレームの表示部の表示制御を行う制御方法に関係する。
また本発明の他の態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
図1(A)、図1(B)はデジタルフォトフレームの例を示す図。 本実施形態のデジタルフォトフレームの構成例。 図3(A)、図3(B)は電子機器が出力する音楽の情報に基づくコンテンツを、デジタルフォトフレームにより提示する手法の説明図。 電子機器が出力する放送番組の情報に基づくコンテンツを、デジタルフォトフレームにより提示する手法の説明図。 電子機器が出力する放送番組の情報とキーワード情報に基づくコンテンツを、デジタルフォトフレームにより提示する手法の説明図。 電子機器が出力する放送番組の情報とキーワード情報に基づくコンテンツを、デジタルフォトフレームにより提示する手法の説明図。 電子機器のリアルタイム放送情報に基づくコンテンツを、デジタルフォトフレームにより提示する手法の説明図。 図8(A)、図8(B)はユーザ登録処理についての説明図。 図9(A)、図9(B)はユーザ情報と機器コンテンツ情報に基づくコンテンツを、デジタルフォトフレームにより提示する手法の説明図。 図10(A)、図10(B)はユーザと表示部との距離の検出手法の説明図。 本実施形態の詳細な処理例を説明するためのフローチャート。 本実施形態の詳細な処理例を説明するためのフローチャート。 本実施形態の詳細な処理例を説明するためのフローチャート。 本実施形態の変形例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.構成
図1(A)に本実施形態のデジタルフォトフレーム300(デジタルフォトプレーヤ、画像再生装置)の例を示す。図1(A)は、いわゆるフォトスタンドタイプのデジタルフォトフレームの例である。このデジタルフォトフレーム300は、家の中などの任意の場所にユーザにより設置される。そして、デジタルの画像データや音データなどのコンテンツ情報の再生処理(画像再生、音再生)を実行する。デジタルフォトフレーム300は、例えばユーザの明示的な再生指示がなくても、画像等のコンテンツ情報(メディア情報)を自動的に再生することができる。例えば写真のスライドショーを自動的に実行したり、映像の自動再生を行う。
なお図1(A)はフォトスタンドタイプのデジタルフォトフレームの例であるが、例えば図1(B)に示すように、壁掛けタイプのものであってもよい。この壁掛けタイプのデジタルフォトフレームとしては、例えば電気泳動型ディスプレイ等により実現される電子ペーパなどを用いることができる。また、デジタルフォトフレーム300に、コンテンツ情報の再生指示ボタンなどを設けたり、リモコンを用いて再生指示ができるようにしてもよい。
デジタルフォトフレーム300は、例えばSDカード等のメモリカードのインターフェースを備えることができる。或いは、無線LAN、ブルートゥースなどの無線通信のインターフェースや、USB等の有線の通信インターフェースを備えることができる。例えばユーザが、メモリカードにコンテンツ情報を保存して、デジタルフォトフレーム300のメモリカードインターフェースに装着すると、デジタルフォトフレーム300は、メモリカードに保存されたコンテンツ情報の自動再生(スライドショー等)を実行する。或いは、デジタルフォトフレーム300は、無線通信や有線通信によりに外部からコンテンツ情報を受信すると、このコンテンツ情報の再生処理(自動再生処理)を実行する。例えば、ユーザが所持するデジタルカメラや携帯電話機などの携帯型電子機器がブルートゥース等の無線機能を有する場合には、この無線機能を利用して、携帯型電子機器からデジタルフォトフレーム300にコンテンツ情報を転送する。すると、デジタルフォトフレーム300は、転送されたコンテンツ情報の再生処理を実行する。
図2にデジタルフォトフレーム300や電子機器400の構成例を示す。本実施形態では、電子機器400が出力するコンテンツに連動して、デジタルフォトフレーム300の表示部340に提示コンテンツが表示される構成となっている。
電子機器400は、処理部402、記憶部420、表示部440、音出力部442、センサ450、アンテナ470を含む。なおこれらの一部の構成要素(例えばアンテナ、表示部)を省略したり、他の構成要素(例えば操作部)を追加するなどの種々の変形実施が可能である。電子機器400としては、例えばミニコンポや光ディスクプレーヤ(CDプレーヤ)などのオーディオ機器や、テレビなどの映像機器(放送機器)を想定できる。この電子機器400は、例えばリモコン460からの操作信号により遠隔操作が可能になっている。
デジタルフォトフレーム300は、処理部302、記憶部320、通信部338、表示部340、センサ350、操作部360を含む。なおこれらの一部の構成要素(例えば通信部、操作部、センサ)を省略したり、他の構成要素(例えば音出力部)を追加するなどの種々の変形実施が可能である。
処理部302は、各種の制御処理や演算処理を行う。例えばデジタルフォトフレーム300の各部の制御を行ったり全体的な制御を行う。この処理部302の機能は、各種プロセッサ(CPU等)、ASIC(ゲートアレイ等)などのハードウェアや、情報記憶媒体330に記憶されたプログラムなどにより実現できる。
記憶部320は、処理部302、通信部338などのワーク領域となるものであり、その機能はRAMなどのメモリやHDD(ハードディスクドライブ)などにより実現できる。この記憶部320は、画像や音などのコンテンツ情報を記憶するコンテンツ情報記憶部322、音情報記憶部323、操作情報記憶部324、検知情報記憶部325、特定されたユーザ状態やユーザの認識処理の結果を記憶するユーザ状態記憶部326、ユーザ情報(ユーザ登録情報、感性モデル)を記憶するユーザ情報記憶部328を含む。音情報記憶部323、操作情報記憶部324、検知情報記憶部325は、センサ350により取得された音情報、操作情報、ユーザ検知情報を、各々、記憶する。
情報記憶媒体330(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、メモリカードや光ディスクなどにより実現できる。処理部302は、情報記憶媒体330に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体330には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
通信部338(通信インターフェース)は、無線や有線の通信などにより外部デバイス(例えばサーバ、携帯型電子機器)との間で情報のやり取りを行うものであり、その機能は、通信用ASIC又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
表示部340は、コンテンツである画像を表示するためのものであり、例えば液晶ディスプレイや、有機ELなどの発光素子を用いたディスプレイや、電気泳動型ディスプレイなどにより実現できる。なお表示部340をタッチパネルディスプレイ(タッチスクリーン)により構成してもよい。
センサ350(音センサ、操作信号センサ、ユーザ検知センサ等)は、検知結果に基づいて検知情報を出力するデバイスである。センサ350としては、例えば音センサを用いることができる。音センサは音を電気信号等に変換するセンサであり、音の物理量である音圧を測定するマイクロホンなどである。マイクロフォンとしては、ムービング・コイル型やリボン型のダイナミックマイクロフォンや、音声信号の振動による静電容量の変化を検知するコンデンサ型のマイクロフォンや、圧電効果を利用する圧電型のマイクロフォンや、カーボン型のマイクロフォンなどを用いることができる。
またセンサ350としては、電子機器400のリモコン(広義には操作機器、遠隔操作機器)460の操作信号を検知する操作信号センサを用いることができる。操作信号センサは、リモコン460からの赤外線や電波等を受信して、操作信号を検知するセンサである。この操作信号センサとしては電子機器400に設けられる操作信号センサと同様のものを用いることができる。
またセンサ350としてはユーザ検知センサを用いることができる。ユーザ検知センサとしては、焦電センサなどの人感センサや、CCD、CMOSセンサなどの撮像センサや、超音波センサなどの距離センサや、ユーザの動作状態(手や体の動き)を検知するモーションセンサなどを用いることができる。
焦電センサは、人等が発生する赤外線を受光し、赤外線を熱に変換し、その熱を素子の焦電効果で電荷に変えるセンサである。この焦電センサを用いることで、検知範囲(検知エリア)にユーザ(人)が存在するか否かや、検知範囲に存在するユーザの動きや、検知範囲内に存在するユーザの人数などを検知できる。撮像センサ(イメージセンサ)は、1次元又は2次元の光学情報を、時系列の電気信号に変換する光センサである。この撮像センサを用いることで、検知範囲にユーザが存在するか否かや、検知範囲に存在するユーザの動きや、検知範囲内に存在するユーザの人数などを検知できる。また撮像センサを用いた顔画像認識により、ユーザの人物認証(年齢認識等)を実現できる。また撮像センサを用いた顔検出により、ユーザと表示部340との距離や表示部340に対するユーザの視線の角度などの位置関係を検出できる。或いは、ユーザの視野範囲内に表示部340が入っている状態か否かや、ユーザが表示部340を注視している状態か否かなどのユーザの視認状態を検出できる。或いはユーザが接近中なのか否かなども検出できる。
なおセンサ350は、センサデバイス自体であってもよいし、センサデバイスの他に制御部や通信部等を含むセンサ機器であってもよい。また検知情報は、センサから直接得られる1次情報であってもよいし、1次情報を加工処理(情報処理)することで得られる2次情報であってもよい。
またセンサ350は、デジタルフォトフレーム300に直接に取り付けてもよいし、ホームセンサなどをセンサ350として利用してもよい。センサ350をデジタルフォトフレーム300に取り付ける場合には、図1(A)に示すように、センサ350をデジタルフォトフレーム300の例えば枠の部分に取り付けることができる。或いは有線のケーブル等を用いてセンサ350とデジタルフォトフレーム300を接続する形態にしてもよい。
操作部360は、ユーザが各種情報を入力するためのものであり、例えば操作ボタンやリモコンなどにより実現できる。ユーザは、この操作部360や、表示部340であるタッチパネルディスプレイを用いて、ユーザ登録を行ったり、自身が所望する再生コンテンツ(お気に入り画像)の登録などを行うことができる。例えばユーザは、操作部360等を用いて、ユーザ登録情報を入力することができる。
処理部302は、音情報取得部304、操作情報取得部306、検知情報取得部308、機器コンテンツ情報取得部310、機器特定部311、ユーザ状態判断部312、登録処理部314、コンテンツ選択部316、表示制御部318を含む。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
音情報取得部304は、センサ350である音センサにより検知された音情報を取得する処理を行う。例えば音センサにより音楽や音声等の音が検知されて、検知結果である音情報が出力されると、音情報取得部304は、その音情報を取り込む。そして取り込まれた音情報は記憶部320の音情報記憶部323に記憶される。同様に、操作情報取得部306は、操作信号センサによりリモコン460の操作信号が検知されて、検知結果である操作情報が出力されると、その操作情報を取り込む。また検知情報取得部308は、ユーザ検知センサによりユーザ状態等が検知されて、検知結果である検知情報(撮像情報等)が出力されると、その検知情報を取り込む。そして、取り込まれた操作情報や検知情報は操作情報記憶部324、検知情報記憶部325に記憶される。
機器コンテンツ情報取得部310は、電子機器400により出力されるコンテンツ(音楽、番組等)に関する情報である機器コンテンツ情報(出力コンテンツ情報)を取得する処理を行う。
例えば機器コンテンツ情報取得部310は、電子機器400例えばオーディオ機器により出力される音楽に関する情報である音楽情報を、機器コンテンツ情報として取得する。具体的には、例えば音センサにより検知された音楽情報から、電子機器400が出力している音楽データが取得されたとする。この場合には、機器コンテンツ情報取得部310は、取得された音楽データを、外部のコンテンツデータベースサーバ500に送信する。するとコンテンツデータベースサーバ500は、音楽データと、音楽情報データベース502に登録されている音楽データとのマッチング処理等を行い、例えば音楽の曲名、アルバム名、アーティスト名、音楽ジャンル、及び曲調の少なくとも1つである音楽情報を返信する。そして機器コンテンツ情報取得部310は、返信された音楽情報をコンテンツデータベースサーバ500から受信することで、音楽情報を取得する。
また機器コンテンツ情報取得部310は、電子機器400(例えばテレビ等の映像機器、放送機器)により出力される放送番組に関する情報である番組情報を取得する。具体的には機器コンテンツ情報取得部310は、例えば操作情報取得部306により取得されたリモコン460の操作情報等に基づいて放送チャンネル等を取得する。そして、機器コンテンツ情報取得部310は、取得された放送チャンネル等を、外部のコンテンツデータベースサーバ500に送信する。するとコンテンツデータベースサーバ500は、番組情報データベース504から番組名、番組のテーマ、番組内容、出演者、番組の広告、及びリアルタイム放送情報の少なくとも1つである番組情報を取得して、返信する。そして機器コンテンツ情報取得部310は、返信された番組情報をコンテンツデータベースサーバ500から受信することで、番組情報を取得する。
なお機器コンテンツ情報取得部310は、電子機器400により出力される音声の認識を行うことでキーワード情報の取得を行う。また音情報取得部304が、周囲音を検知する音センサにより検知された音情報を取得した場合には、機器コンテンツ情報取得部310は、取得された音情報(音楽、音声)に基づいて機器コンテンツ情報(音楽情報、キーワード情報)を取得する。
機器特定部311は、電子機器400についての種々の特定処理を行う。例えば操作情報取得部306が、電子機器400の操作情報を取得した場合には、機器特定部310は、取得された操作情報に基づいて、電子機器400の特定処理、電子機器400の動作状態(電源オン状態、再生状態、放送状態等)や選曲状態や選局状態の特定処理を行う。そして機器コンテンツ情報取得部310は、操作情報に基づいて、電子機器400の動作状態がコンテンツ出力状態(音楽再生状態、テレビ放送状態)であると判断された場合に、機器コンテンツ情報の取得処理を行う。また、操作情報取得部306が、電子機器400のリモコン460(操作機器)が出力する操作信号に基づいて操作情報を取得し、操作情報記憶部324が操作情報の履歴である操作履歴情報を記憶したとする。この場合には、機器特定部311は、記憶された操作履歴情報に基づいて上記の特定処理を行う。
ユーザ状態判断部312(ユーザ認識部)は、検知情報取得部308により取得された検知情報に基づいてユーザ状態等を判断する。例えば、取得された検知情報に基づいて、ユーザの人物認証や、ユーザと表示部340との位置関係の判断や、表示部340に対するユーザの視認状態の判断を行う。
ユーザの人物認証は、例えば撮像センサを用いた顔認識処理により実現できる。なお、目の網膜にある毛細血管の模様である網膜を用いたり、黒目の中の放射状の紋様である虹彩を用いて人物認証を行ってもよい。ユーザと表示部340の位置関係は、ユーザと表示部340との距離や、表示部340に対するユーザの視線方向や、表示部340に対して設定された検知範囲内にユーザが存在するか否かなどである。視認状態は、ユーザの視野範囲の状態や注視状態などであり、具体的には、ユーザの視野範囲(ビューボリューム)に表示部340が入っているか否かや、ユーザが表示部340を注視しているか否かなどである。
ユーザの人物認証結果や位置関係や視認状態の情報は、ユーザ状態記憶部(認識結果記憶部)326に記憶される。例えば撮像センサによりユーザの顔認識処理が行われた場合には、画像認識の結果(例えばユーザの顔画像等の特徴点情報)が、ユーザ状態記憶部326に記憶される。この場合に、これらの状態情報や認識結果情報は、例えばユーザ登録情報に関連づけて記憶される。
登録処理部314はユーザの登録処理を行う。例えばユーザ登録情報の設定処理を行う。具体的には、ユーザ登録画面等においてユーザが、操作部360やタッチパネルディスプレイを用いてユーザ登録情報を入力した場合に、入力されたユーザ登録情報をユーザに関連づけてユーザ情報記憶部328に記憶する。ここでユーザ登録情報は、例えばユーザのID、パスワードや、ユーザのカスタマイズ情報などを含むことができる。そして表示部340にはユーザ登録情報を反映させたコンテンツ画像が表示されることになる。
コンテンツ選択部316は、音楽、画像(動画、静止画)、テキスト等の提示コンテンツの選択処理を行う。例えば機器コンテンツ情報取得部310が、電子機器400の機器コンテンツ情報を取得すると、コンテンツ選択部316は、取得された機器コンテンツ情報に基づいて、提示コンテンツを選択する。具体的には、機器コンテンツ情報として音楽情報や番組情報が取得されると、取得された音楽情報や番組情報に基づいて提示コンテンツを選択する。例えば音楽情報や番組情報に対応する画像を選択して表示部340に出力する。また機器コンテンツ情報取得部310が、電子機器400から出力される音声の認識を行うことでキーワード情報を取得した場合には、コンテンツ選択部316は、取得されたキーワード情報に基づいて、提示コンテンツを選択する。更に具体的には、機器コンテンツ情報取得部310により番組情報が取得されると共に、番組の音声からキーワード情報が取得された場合には、コンテンツ選択部316は、番組情報とキーワード情報とに基づいて、提示コンテンツを選択する。
またコンテンツ選択部316は、音センサにより音情報が検知されなかった場合(所定の検知レベルに達しなかった場合)には、音非検知用に用意されたコンテンツ(例えば非検知用のBGM画像やスライドショー)を選択する。
またコンテンツ選択部316は、ユーザ情報記憶部328に記憶されたユーザ情報と、機器コンテンツ情報とに基づいて、提示コンテンツを選択してもよい。具体的には、ユーザ状態判断部312が、検知情報取得部308により取得されたユーザの検知情報に基づいて、ユーザの人物認証(顔画像認識)を行ったとする。この場合にはコンテンツ選択部316は、人物認証により特定されたユーザの情報をユーザ情報記憶部328から取得し(読み出し)、取得されたユーザ情報と機器コンテンツ情報とに基づいて、提示コンテンツを選択する。即ちユーザ情報(ユーザ登録情報)に応じた適切なコンテンツを選択する。
またコンテンツ選択部316は、機器コンテンツ情報に基づいて関連コンテンツを取得し、取得された関連コンテンツを提示コンテンツとして選択してもよい。例えばコンテンツ選択部316は、取得された音楽情報や番組情報等の機器コンテンツ情報を、コンテンツデータベースサーバ500に送信する。そして、関連コンテンツデータベース506に記憶されている関連コンテンツをコンテンツデータベースサーバ500から受信することで、関連コンテンツを取得する。
表示制御部318は、表示部340の表示制御を行う。例えばコンテンツ情報記憶部322に記憶されたコンテンツ画像の情報に基づいて、表示部340に画像を表示するための制御(描画バッファへの書き込み処理等)を行う。
例えば機器コンテンツ情報取得部310により音楽情報が取得された場合には、表示制御部318は、音楽情報である曲名、アルバム名、アーティスト名、音楽ジャンル、或いは曲調に対応する画像を、表示部340に表示する制御を行う。また機器コンテンツ情報取得部310により番組情報が取得された場合には、表示制御部318は、番組情報である番組名、番組のテーマ(ジャンル)、番組内容、出演者、番組の広告、或いはリアルタイム放送情報に対応する画像を、表示部340に表示する制御を行う。
2.電子機器の出力コンテンツに連動した画像表示
2.1 オーディオ機器からの音楽に連動した画像表示
本実施形態では、電子機器400の出力コンテンツに連動した画像をデジタルフォトフレーム300の表示部340に表示する手法を採用している。具体的には電子機器400の再生音楽に応じてデジタルフォトフレーム300の表示画像(表示制御)を変化させる。
例えば図3(A)において、電子機器の一例であるオーディオ機器400-1は、CDを再生したり、ラジオを放送することで、音楽(広義にはコンテンツ)を出力している。
一方、デジタルフォトフレーム300には、センサ350として音センサ(マイクロフォン)が設けられている。そして音センサにより周囲音を検知することで、オーディオ機器400-1が出力する音の情報を取得する。そしてデジタルフォトフレーム300は、取得された音情報である音楽データをコンテンツデータベースサーバ500に送信することで、オーディオ機器400-1が出力している音楽についての情報である音楽情報(広義には機器コンテンツ情報)を取得する。具体的には、音楽の曲名、アルバム名、アーティスト名、音楽ジャンル或いは曲調等の音楽情報を取得する。なお後述するようにオーディオ機器400-1とデジタルフォトフレーム300がホームサーバ等に通信接続されている場合には、オーディオ機器400-1が再生してる音楽を、オーディオ機器400-1の操作情報に基づいてホームサーバが特定して、外部又は内部のデータベースから音楽情報を取得してもよい。
デジタルフォトフレーム300は、このようにして音楽情報を取得すると、取得された音楽情報に基づいて提示コンテンツを選択して画像を表示する。例えば図3(A)では、オーディオ機器400-1が出力する音楽についての曲名、アルバム名、アーティスト名、ジャンル等を表示している。或いはアルバムのジャケット写真を表示してもよい。これによりユーザは、オーディオ機器400-1が再生している音楽についての様々な情報を、デジタルフォトフレーム300の表示部340を見ることで知ることができる。
例えばオーディオ機器400-1は機器のコンパクト化のために、大きなサイズの表示部を備えてないものが多い。従って、再生している音楽についての種々の情報を表示するのには限界がある。
この点、図3(A)の本実施形態の手法によれば、デジタルフォトフレーム300が有する大きなサイズの表示画面を利用して、オーディオ機器400-1が再生している音楽についての種々の情報を表示でき、ユーザの利便性を向上できる。
また、これまでのデジタルフォトフレームでは、写真等を自動的にスライド表示するだけの機能しか持たないものが多く、表示画像が単調であり、変化に乏しかった。
この点、図3(A)の手法によれば、オーディオ機器400-1の出力コンテンツに応じて、デジタルフォトフレーム300の表示画像が自動的に変化するようになる。従って、ユーザは、多様に変化するデジタルフォトフレーム300の画像を鑑賞しながら、オーディオ機器400-1の再生コンテンツを楽しむことができ、多様な画像表現が可能な従来に無いタイプのデジタルフォトフレーム300の提供が可能になる。
なおオーディオ機器400-1の再生音楽に対応したデジタルフォトフレーム300の画像表示としては、種々の変形実施が可能である。例えば図3(B)に示すように、オーディオ機器400-1の再生音楽に連動したCG(コンピュータグラフィック)画像を表示してもよい。
例えば図3(B)では、オーディオ機器400-1が出力する音楽の曲調に応じてCG画像(エフェクト画像)を変化させている。具体的には音楽の各周波数成分に応じてCG画像の形を変化させている。これは音検知センサで検知された音情報に基づいて音楽の周波数解析を行い、各周波数成分でのパワーを求め、求められたパワーに基づいてCG画像を生成することで実現できる。或いはオーディオ機器400-1が出力する音楽の音量に応じてCG画像の大きさを変化させたり、音楽の音質に応じてCG画像の色を変化させたり、音楽のリズムに応じてCG画像の動きを変化させてもよい。或いはデジタルフォトフレーム300がスライドショーを実行している場合には、オーディオ機器400-1が出力する音楽に応じてスライドショーの切り替え速度を変化させてもよい。例えば再生される音楽がロック系である場合には、激しい動きにして切り替え速度を速くする。一方、ヒーリング系である場合には、柔らかい動きにして切り替え速度をゆっくりにする。
以上のようにすれば、オーディオ機器400-1の音楽に連動したCG画像が表示されるようになり、ユーザは、音楽に合ったCG画像を見ながら、オーディオ機器400-1の音楽を鑑賞できるようになる。
なお、オーディオ機器400-1の再生音楽の関連コンテンツをデジタルフォトフレーム300に表示するようにしてもよい。例えばオーディオ機器400-1が出力している音楽のアーティストに関する情報を表示したり、音楽が歌である場合にはその歌詞に関連した情報を表示する。また例えばそのアーティストのコンサートの情報や他のアルバムの情報を表示する。また例えば歌詞の中に「春」のキーワードが多かった場合には、春を表す画像を表示したり、春に関連する情報(例えば花見の情報)を表示する。このようにすることで、デジタルフォトフレーム300の更に多様な画像表現が可能になる。
2.2 テレビの放送に連動した画像表示
本実施形態では、テレビなどの放送機器からの放送に連動してデジタルフォトフレーム300の表示画像を変化させてもよい。
例えば図4において、テレビ400-2は北海道の旅の番組を放送している。この場合にはデジタルフォトフレーム300は、テレビ400-2により放送される番組に関する情報である番組情報(広義には機器コンテンツ情報)を取得する。そして、取得された番組情報に基づいて、提示コンテンツを選択して画像を表示する。具体的には番組情報として、例えば番組名、番組のテーマ(ジャンル)、番組内容、出演者、番組の広告、或いはリアルタイム放送情報などを取得する。
この場合の番組情報の取得は、例えば操作信号センサによりリモコン460(操作機器)の操作信号を検知して、テレビ400-2の操作情報を取得することで実現できる。例えばリモコン460の操作信号により、放送チャンネルを特定する。そしてこの放送チャンネルをコンテンツデータベースサーバ500(番組情報データベース)に送信することで、その放送チャンネルでの番組情報を取得する。なお後述するようにテレビ400-2とデジタルフォトフレーム300がホームサーバに通信接続されている場合には、ホームサーバが、テレビ400-2の操作情報を取得し、取得された操作情報に基づいてテレビ400-2の放送番組を特定して、外部又は内部のデータベースから番組情報を取得してもよい。
デジタルフォトフレーム300は、このようにして番組情報を取得すると、取得された番組情報に基づいて提示コンテンツを選択して画像を表示する。例えば、番組名や、番組のテーマや、撮影場所等の番組内容や、番組の出演者等を表示する。また例えば図4に示すように北海道の旬の食材等を表示する。
例えばテレビが放送している番組の情報を表示する手法として、テレビ画面の所定領域に番組情報を表示したり、テレビの表示モードを切り替えて表示する手法が考えられる。
しかしながら、テレビ画面の所定領域に番組情報を表示する手法では、テレビ画面の一部の領域が番組情報に占有されてしまい、ユーザにとって見にくい画面になってしまう。またテレビの表示モードを切り替える手法では、ユーザの操作が煩雑になってしまい、利便性を損ねる。
この点、図4の本実施形態の手法によれば、デジタルフォトフレーム300がテレビ400-2の補助的な表示装置になって、番組情報を表示する。即ちテレビ400-2の放送に自動的に連動して、放送に応じた画像がデジタルフォトフレーム300に表示される。従って、テレビ400-2の一部の領域が番組情報の表示のために占有されてしまったり、ユーザに表示モードの切り替え操作を強いることがない。従って、テレビ画面が見にくくなったり、ユーザの操作が煩雑になるなどの事態を防止でき、ユーザの利便性を向上できる。
また、本実施形態の手法によれば、テレビ400-2の出力コンテンツに応じて、デジタルフォトフレーム300の表示画像が自動的に変化する。従って、ユーザは、テレビ400-2の放送番組を鑑賞しながら、多様に変化するデジタルフォトフレーム300の画像も楽しめるようになる。従って、多様な画像表現が可能なデジタルフォトフレーム300の提供が可能になる。
なおテレビ400-2(放送機器、映像機器)の放送番組に応じたデジタルフォトフレーム300の画像表示としては、種々の変形実施が可能である。例えば図3(B)と同様に、放送番組の内容やテーマなどに応じたCG画像(エフェクト画像)を表示してもよい。或いは、テレビ400-2が音楽を放送している場合には、図3(A)に示すような音楽情報を表示してもよい。或いはテレビ400-2の放送番組の関連コンテンツを表示してもよい。例えば出演者のプロフィールが表示したり、その出演者が出演している他の番組の情報を表示したり、その番組で使用されたお店の情報を表示する。
或いは、放送番組の出演者等が発話を行うことで、テレビ400-2から音声が出力された場合には、その音声認識を行うことで発話のキーワード情報を取得する。そして取得されたキーワード情報に基づいて、提示コンテンツを選択して表示する。例えば所定時間内において最も出現頻度が高かったキーワードを抽出して、そのキーワードに対応するコンテンツや関連コンテンツを選択して表示する。
例えば図5では、テレビ400-2が出力している放送番組の情報が取得されると共に、出演者の発話のキーワードが取得される。そして番組情報と、番組の音声から取得されたキーワード情報とに基づいて、提示コンテンツを選択する。
例えば図5では、番組情報として「北海道」「旬の食材」「鮭」「蟹」「ウニ」などのタグ情報が取得されている。また出演者の発話のキーワードとして「蟹」が音声認識により抽出されている。この場合には、出演者の発話のキーワードである「蟹」が、番組情報のタグ情報として設定された「蟹」と一致しているため、デジタルフォトフレーム300には「蟹」に関するコンテンツが表示される。即ち「蟹」についての詳細情報や関連情報が表示される。このようにすれば、その時の番組のテーマに応じた情報を、デジタルフォトフレーム300によりユーザに提示できるようになる。
一方、図6では、番組情報として「蟹」のタグ情報が取得され、出演者の発話のキーワードとして「美味しい」が音声認識処理により抽出されている。この場合には、「蟹」と「美味しい」のAND検索により、「おすすめの蟹料理」という内容の提示コンテンツが選択されて、デジタルフォトフレーム300に表示される。このようにすれば、単に「蟹」の情報を表示したり「おすすめの料理」の情報だけを提示する手法に比べて、デジタルフォトフレーム300の表示コンテンツのバラエティ度を増すことができ、単調ではない変化に富んだコンテンツ提示が可能になる。
なお音声認識処理は、人間(出演者、ユーザ)の話す音声言語をコンピュータにより解析し、テキストデータとして抽出する処理である。音声認識処理は、音響分析、認識デコーダ、音響モデル、辞書、言語モデルにより実現される。音響分析では、人間の音声をフーリエ解析等の信号処理により特徴量情報に変換する。認識デコーダでは、特徴量情報に基づいてテキストデータを出力する。具体的には音響情報と言語情報を総合的に判断して音声をテキストデータに変換する。この認識デコーダでの判断処理は、隠れマルコフモデルや動的時間伸縮法などの統計的手法により実現される。辞書は、認識対象の単語(ワード)をデータ化したものであり、音素列と単語を関連づけるものである。言語モデルは、辞書の単語についての確率をデータ化したものである。具体的には各単語の出現確率や接続確率をデータ化する。このような音響分析、認識デコーダ、音響モデル、辞書、言語モデルを用いることで、図5、図6に示すような出演者等の音声を適正に認識できるようになる。
またテレビ400-2がスポーツ番組などを放送している場合には、時間経過と共に変化するリアルタイム放送情報をデジタルフォトフレーム300に表示してもよい。例えば図7では、テレビ400-2では野球を放送している。この場合には、野球のリアルタイムな試合経過情報をリアルタイム放送情報としてデジタルフォトフレーム300に表示する。このようにすれば、ユーザは、チームの得点経過や継投情報やホームラン情報などをデジタルフォトフレーム300により確認できる。即ち、試合経過情報をテレビ400-2の所定領域に表示したり、ユーザがテレビ400-2の表示モードを切り替えなくても済むようになるため、ユーザの利便性を向上できる。なおリアルタイム放送情報は図7に示すような試合経過情報に限定されず、例えば株価や選挙や視聴者アンケート結果等の経過情報であってもよい。
2.3 機器コンテンツ情報とユーザ情報に基づくコンテンツ選択
以上では音楽情報や番組情報などの機器コンテンツ情報に基づいてデジタルフォトフレーム300の提示コンテンツを選択する手法について説明したが、この機器コンテンツ情報と共にユーザ情報を用いて、提示コンテンツを選択してもよい。
例えば図8(A)では、ユーザ登録情報として、ユーザのID、パスワード、ユーザの趣味・嗜好等が入力される。例えば図8(A)では、ユーザの趣味・嗜好がコンサート鑑賞であることが入力されている。そして入力されたユーザ登録情報は、ユーザ情報として図2のユーザ情報記憶部328に記憶される。なお趣味・嗜好等以外にも、ユーザのお気に入りの情報、画面モードの設定、スライド表示方法、文字フォント、文字サイズ、言語等を、ユーザ登録情報として入力できるようにしてもよい。
このようなユーザ登録情報を入力した後に、図8(B)に示すように、ユーザの顔画像の認識結果を登録する。具体的には、顔検出を行い、顔領域FARを検出する。次に顔領域FARに映ったユーザの画像に対する画像認識処理を行い、ユーザの顔画像の特徴点データを抽出する。そして、抽出された特徴点データを顔画像の認識結果として、例えば図8(A)で説明したユーザ登録情報と関連づけて登録する。このようにして、ユーザの登録処理が実現される。
このようにデジタルフォトフレーム300にユーザ登録情報が登録された状態で、図9(A)に示すようにオーディオ機器400-1から音楽が出力され、音楽情報が取得されたとする。この場合には、取得された音楽情報とユーザ登録情報(広義にはユーザ情報)とに基づいて、デジタルフォトフレーム300の提示コンテンツを選択する。具体的には図8(A)では、ユーザの趣味・嗜好がコンサート鑑賞であることがユーザ登録情報として入力されている。従って、この場合には、音楽情報に対応する複数の候補コンテンツの中から、その音楽のアーティストが出演するコンサート情報を紹介するコンテンツが選択される。また例えば図8(A)のユーザ登録画面において、ユーザの趣味・嗜好として料理を入力し、図9(B)に示すようにテレビ400-2がレストラン番組を放送したとする。この場合には、番組情報に対応する複数のコンテンツの中から、料理のレシピ情報を紹介するコンテンツが選択される。以上のようにすることで、ユーザの趣味・嗜好を反映したコンテンツが自動的に選択されて、デジタルフォトフレーム300に表示されるようになるため、ユーザの利便性を向上できる。
例えばこのようなコンサート情報をユーザが取得する手法として、ユーザが視聴しているアーティストのコンサート情報や料理のレシピ情報をPC(パーソナルコンピュータ)等を利用して検索したり、デジタル放送に表示されるリンク先にユーザがアクセスする手法が考えられる。しかしながら、この手法では、ユーザは種々の操作をしなければならず、ユーザにとって手間になる。
この点、図9(A)、図9(B)の手法によれば、予めユーザ登録情報を入力しておくことで、ユーザが意識しなくても、音楽情報や番組情報に対応する候補コンテンツの中から、ユーザの趣味・嗜好に応じたコンテンツが自動的に選択されて、デジタルフォトフレーム300に表示されるようになる。従って、ユーザの利便性を向上でき、ユーザの趣味・嗜好を反映させたコンテンツを表示できるデジタルフォトフレーム300の提供が可能になる。
なお図8(A)〜図9(B)では、ユーザが入力したユーザ登録情報と、音楽情報や放送情報などの機器コンテンツ情報とに基づいてコンテンツを選択する場合について説明したが、本実施形態はこれに限定されない。例えばユーザの嗜好や行動の傾向等を反映させたユーザの感性モデルの構築し、この感性モデル(広義にはユーザ情報)と機器コンテンツ情報とに基づいてコンテンツを選択してもよい。
即ち、ユーザの操作履歴情報やコンテンツの提示履歴情報等に基づいて感性モデルを更新することでユーザの感性モデルを構築する。このようにすれば、ユーザが意識することなく、各ユーザ毎の感性モデルを構築することが可能になる。そして、このようにして構築された感性モデルと、機器コンテンツ情報とに基づいて、コンテンツを選択することで、ユーザの感性モデルに適合したコンテンツの提示が可能になる。
なお、感性モデルとしては確率モデルを用いることができ、このような確率モデルとしては例えば隠れマルコフモデル(Hidden Markov Model)がある。この隠れマルコフモデル(HMM)では、システムが、パラメータが未知のマルコフ過程であると仮定して、観測可能な情報からその未知のパラメータを推定する。即ち、HMMは、あるシステムがマルコフ過程に従って遷移する内部状態を持ち、各状態に応じた記号を確率的に出力すると考えた場合に、記号の出現確率分布からシステム内部の状態遷移を推定する確率モデルである。外部から観測できるのは記号の系列だけであり、内部の状態遷移が直接観測できないところから「隠れ」と呼ばれる。
また図9(A)、図9(B)のようにユーザ情報に応じたコンテンツを提示する場合には、撮像センサ等のセンサ350により、検知されたユーザが登録ユーザであるか否かの人物認証を行ってもよい。そして、人物認証により特定されたユーザ情報をユーザ情報記憶部328から読み出し、読み出されたユーザ情報と機器コンテンツ情報とに基づいて、コンテンツを選択する。具体的には、撮像センサにより、ユーザと表示部340との位置関係(距離等)を判定する。そして、ユーザがデジタルフォトフレーム300に近づいたと判定された場合に、そのユーザの人物認証により得られたユーザ情報と、音楽情報や放送情報などの機器コンテンツ情報とに基づいて、コンテンツを選択する。
例えば図10(A)、図10(B)に、ユーザと表示部340の間の位置関係である距離の検出手法の一例を示す。図10(A)、図10(B)では、センサ350として、CCD、CMOSセンサなどの撮像センサ(カメラ)を用いる。そして撮像センサからの撮像情報に基づいて、矩形の枠領域である顔領域FARを検出し、検出された顔領域FARのサイズを求める。そして求められたサイズに基づいて、ユーザと表示部340との間の距離を判断する。
例えば図10(A)では、顔領域FARのサイズが小さいため(所定サイズ以下であるため)、ユーザとの距離は遠いと判断される。従って、この場合には、例えばデジタルフォトフレーム300の表示をオフにする。一方、図10(B)では、顔領域FARのサイズが大きいため(所定サイズよりも大きいため)、ユーザとの距離は近いと判断される。そして、このようにユーザとの距離が近くなって、ユーザがデジタルフォトフレーム300に近づいたと判断された場合に、図9(A)、図9(B)に示すように、ユーザ情報と機器コンテンツ情報とに基づく提示コンテンツを選択して、ユーザに提示する。
ここで顔領域の検出手法としては種々の手法が考えられる。例えば、顔検出を行うためには、撮像センサで撮影された撮像画像において、顔がある場所と他の物体とを区別して、顔領域を切り出す必要がある。顔は、目、鼻、口等から構成され、これらの形状・位置関係は個人差はあるものの、ほぼ共通した特徴を有する。そこで、この共通な特徴を用いて、顔を他の物体から識別して画面の中から切り出す。このための手がかりとしては、肌の色、顔の動き、形、大きさ等がある。肌の色を用いる場合には、RGBデータを色相・輝度・彩度からなるHSVデータに変換し、人の肌の色相を抽出する手法を採用する。
或いは、多数の人の顔パターンから生成した平均顔パターンを顔テンプレートとして作成してもよい。そして、この顔テンプレートを撮像画像の画面上で走査して、撮像画像との相関を求め、最も相関値が高い領域を顔領域として検出する。
なお検出精度を高めるため、複数の顔テンプレートを辞書データとして用意し、これらの複数の顔テンプレートを用いて顔領域を検出してもよい。或いは目、鼻、口の特徴や、これらの位置関係や、顔の中のコントラストなどの情報も考慮して、顔領域を検出してもよい。或いは、ニューラルネットワークモデルを用いた統計的なパターン認識により顔領域を検出することも可能である。
図10(A)、図10(B)の検出手法によれば、顔領域FARのサイズによりユーザと表示部340の距離を検出できるのみならず、ユーザが表示部340を見ているか否かも同時に検出できるという利点がある。即ち、ユーザの視線が表示部340の方に向いていなかった場合には、顔テンプレートとの相関値が低くなるため、顔領域FARは非検出になる。従って、顔領域FARが検出されたということは、ユーザの視線が表示部340の方に向いており、ユーザの視野範囲内に表示部340が入っていることと等価になる。そして、この状態で、顔領域FARのサイズを検出して、図9(A)、図9(B)に示すようにコンテンツを提示すれば、表示部340を見ているユーザに対して適切にコンテンツ画像を表示できるようになる。これにより、これまでにないデジタルフォトフレーム300を提供できる。
3.詳細な処理例
次に本実施形態の詳細な処理例について図11〜図13のフローチャートを用いて説明する。図11は、音センサにより取得された音情報に基づいて音楽情報を取得して、音楽情報に対応するコンテンツ画像を表示する処理例のフローチャートである。
まず、デジタルフォトフレーム300等に設けられた音センサにより周囲音を検知する(ステップS1)。そして、音が検知されなかった場合(検知された音のレベルが所定レベルよりも小さい場合)には、音非検知用のコンテンツをデジタルフォトフレーム300の表示部340に表示する(ステップS2、S3)。具体的には、デジタルフォトフレーム300が例えば安らぎモードに設定され、音非検知用のBGM画像(バックグランド画像)やスライドショーを表示する。
一方、音が検知された場合(検知された音のレベルが所定レベル以上の場合)には、音センサにより取得された音情報から音楽データが取得される(ステップS4)。そして取得された音楽データを、例えば外部サーバ等であるコンテンツデータベースサーバ500(音楽情報データベース)に送信する(ステップS5)。
次に、コンテンツデータベースサーバ500において、送信された音楽データと、音楽情報データベースに登録された音楽データとのマッチング処理が行われる。そして、マッチング処理より得られた音楽情報(曲名、アルバム名、アーティスト名、音楽ジャンル、曲調等)をコンテンツデータベースサーバ500が送信すると、デジタルフォトフレーム300は、その音楽情報を受信して取得する(ステップS6)。
次に取得された音楽情報に対応する画像(例えば曲・アーティスト・ジャンル・曲調に合った画像)を選択する(ステップS7)。例えば、外部又は内部の画像データベースの登録画像の中から、音楽情報に対応する画像を抽出する。具体的には、画像データベースの登録画像にはタグが関連づけられており、そのタグが、音楽情報のタグと一致する登録画像を検索することで、音楽情報に対応する画像を抽出する。そして選択された画像を提示コンテンツとしてデジタルフォトフレーム300の表示部340に表示する(ステップS8)。このようにすることで図3(A)、図3(B)等で説明したように、電子機器から出力される音楽に対応したコンテンツ画像をデジタルフォトフレーム300に表示できるようになる。
図12は、リモコンの操作情報に基づいて電子機器を特定し、特定された電子機器が出力する音楽の情報に対応するコンテンツ画像を表示する処理例のフローチャートである。
まず、音センサにより周囲音を検知し、音が検知されなかった場合には音非検知用のコンテンツを表示する(ステップS11、S12、S13)。一方、音が検知された場合には、リモコン460の操作履歴情報(広義には操作情報)に基づいて、音を出力している電子機器を特定する(ステップS14)。例えば音を出力している電子機器が、オーディオ機器なのかテレビなのか等を特定する。またリモコン460の操作履歴情報に基づいて電子機器の動作状態(電源オン状態、音楽再生状態等)や選曲状態等を特定する(ステップS15)。そして、特定されたオーディオ機器等の電子機器の動作状態が、音楽の再生状態(曲が選曲されて再生ボタンが押されている状態)か否かを判断し(ステップS16)、再生状態ではない場合には、ステップS13に移行する。一方、再生状態である場合には、音センサにより検知された音情報から音楽データを取得する(ステップS17)。そして、取得された音楽データをコンテンツデータベースサーバ500に送信して音楽情報を取得し、音楽情報に応じた画像を提示コンテンツとして選択して、表示部340に表示する(ステップS18〜S21)。
このように図12では、電子機器の操作情報(操作履歴情報)に基づいて、電子機器の特定処理、電子機器の動作状態の特定処理、電子機器の選曲状態の特定処理等を行う(ステップS14、S15)。そして操作情報に基づいて、電子機器の動作状態が再生状態(広義にはコンテンツ出力状態)であると判断された場合に、音楽情報等の機器コンテンツ情報の取得処理を行う(ステップS16、S17)。
このように電子機器の操作情報を用いる手法によれば、音センサにより検知された音情報だけを用いる手法に比べて、より正確且つ確実に音楽情報等の機器コンテンツ情報を取得できるようになる。例えば、音を出力している電子機器がCDプレーヤ等のオーディオ機器であることが特定され、そのオーディオ機器が電源がオンになっていて、音楽の再生状態(リモコンの再生ボタンが押された状態)であることが特定されれば、音センサにより検知された音情報は、オーディオ機器が出力する音楽データであることを、より正確に特定できる。そしてその音楽データにより取得された音楽情報に対応する画像を、オーディオ機器に連動した画像としてユーザに表示できるようになる。
この場合に、コンテンツを出力している電子機器の特定やその動作状態の特定に用いる情報は、操作情報の履歴情報である操作履歴情報であることが望ましい。即ち、操作信号センサにより、リモコン460が出力する赤外線信号等の操作信号を常時モニタして、その履歴を記憶しておく。例えば「電源オンボタンが押された」、「再生ボタンが押された」、「選局ボタンが押された」、「電源オフボタンが押された」などの操作履歴の情報を記憶しておく。このような操作履歴情報を利用すれば、電子機器の現在の状態がどのような状態なのか(電源をオンにした状態なのか、再生ボタンを押した状態なのか、電源をオフにした状態なのか等)を正確に把握できるようになる。従って、コンテンツを出力している電子機器の特定やその動作状態の特定処理を、より正確且つ確実に実現できるようになる。これにより、コンテンツを出力している電子機器を間違って特定し、誤った画像がデジタルフォトフレーム300に表示されてしまう事態を防止できる。
図13は、リモコンの操作情報に基づいて電子機器を特定し、特定された電子機器が出力する放送番組の情報に対応するコンテンツ画像や関連コンテンツ画像を表示する処理例のフローチャートである。
まず、音センサにより周囲音を検知し、音が検知されなかった場合には音非検知用のコンテンツを表示する(ステップS31、S32、S33)。一方、音が検知された場合には、リモコン460の操作履歴情報(操作情報)に基づいて、音を出力している電子機器を特定する(ステップS34)。またリモコン460の操作履歴情報に基づいて電子機器の動作状態や選局状態等を特定する(ステップS35)。そして、特定されたテレビ等の電子機器の動作状態が、番組放送中(チャンネルが選局されてが番組が放送されている状態)か否かを判断し(ステップS36)、放送状態ではない場合には、ステップS33に移行する。一方、放送状態(コンテンツ出力状態)である場合には、コンテンツデータベースサーバ500(番組情報データベース)から番組情報を取得する(ステップS37)。例えば放送番組の番組名、番組のテーマ、番組内容、出演者、番組のCM広告、リアルタイム放送情報等を取得する。
次に、音センサにより検知された音情報から音声データや音楽データを取得する(ステップS38)。即ち番組の出演者等が発話する音声のデータや、番組で放送されている音楽のデータを取得する。そして、取得された音声データから、音声認識処理によりキーワードを取得し、取得された音楽データから音楽情報を取得する(ステップS39)。例えば音楽情報はコンテンツデータベースサーバ500から取得できる。
次に、ステップS37で取得された番組情報と、ステップS39で取得されたキーワードや音楽情報と、図8(A)、図8(B)で説明したユーザ情報(ユーザ登録情報やユーザの感性モデル)とに基づいて、コンテンツを選択する(ステップS40)。更に、番組のコンテンツの関連コンテンツを外部サーバ等から取得する(ステップS41)。具体的には、番組のテーマ内容に関連した付加情報や画像等の関連コンテンツを取得する。そしてステップS40で選択されたコンテンツや、ステップS41で取得された関連コンテンツを、提示コンテンツとしてデジタルフォトフレーム300によりユーザに表示する(ステップS42)。
図13の手法によれば、図4で説明したようにテレビ400-2により放送されている番組情報をユーザに表示できる。また図5、図6で説明したように、番組の出演者の発話のキーワードに応じたコンテンツをユーザに表示できる。また図7に示すようなリアルタイム放送情報についても表示できる。また図8(A)〜図9(B)で説明したように、ユーザ登録情報などのユーザ情報も加味したコンテンツの提示が可能になり、これまでに無いタイプのデジタルフォトフレームの提供が可能になる。
4.変形例
次に本実施形態の変形例について説明する。図14に本実施形態の変形例を示す。この変形例のシステムでは、ホームサーバ200(広義には情報処理システム)が設けられている。このホームサーバ200は、処理部202、記憶部220、通信部238、操作部260を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。なお、図2と同様の構成要素については、同様の符号を付してその説明を省略する。
処理部202は、サーバ管理処理などの各種の処理を行うものであり、CPU等のプロセッサやASICなどにより実現できる。記憶部220は、処理部202や通信部238のワーク領域となるものであり、例えばRAMやHDD等により実現できる。通信部238は、オーディオ機器400-1、テレビ400-2などの電子機器や、デジタルフォトフレーム300や、外部サーバ600との間で、有線又は無線で通信を行うためのものであり、通信用ASIC又は通信用プロセッサなどにより実現できる。操作部260は、サーバの管理者が各種情報を入力するためのものである。
図14では、オーディオ機器400-1、テレビ400-2、デジタルフォトフレーム300と、ホームサーバ200は、例えば無線LAN等のネットワークで通信接続される。また図14では、センサ250として、家の各場所に設置されるホームセンサが用いられる。そして、ホームサーバ200はセンサ250からの検知情報を取得し、取得された検知情報は記憶部220に記憶される。
処理部202は、音情報取得部204、操作情報取得部206、検知情報取得部208、機器コンテンツ情報取得部210、機器特定部211、ユーザ状態判断部212、登録処理部214、コンテンツ選択部216、表示指示部218を含む。なおこれらの一部の構成要素(例えば音情報・操作情報・検知情報取得部、ユーザ状態判断部、登録処理部等)を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
音情報取得部204は、音センサで検知された音情報を取得する。この音情報は、ホームセンサ250として設けられた音センサで周囲音を検知することで取得してもよいし、デジタルフォトフレーム300の音センサで検知された音情報を、通信部338、238を介してデジタルフォトフレーム300から受信することで取得してもよい。
操作情報取得部206は、例えばオーディオ機器400-1の操作部460-1やテレビ400-2の操作部460-2をユーザが操作した場合に、その操作情報を取得する。この操作情報は、電子機器のリモコンの操作信号を、デジタルフォトフレーム300の操作信号センサにより検知することで取得してもよい。或いは、操作部460-1、操作部460-2の操作情報を、通信部438-1、438-2、238を介してオーディオ機器400-1、テレビ400-2から受信することで取得してもよい。
検知情報取得部208は、ユーザの検知情報を取得する。この検知情報は、ホームセンサ250として設けられたユーザ検知センサにより取得してもよいし、デジタルフォトフレーム300のセンサ350で検知された音情報を、通信部338、238を介してデジタルフォトフレーム300から受信することで取得してもよい。
機器コンテンツ情報取得部210は、電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報を取得する。例えばオーディオ機器400-1により出力される音楽の情報を取得したり、テレビ400-2により出力される放送番組の情報を取得する。この音楽情報や番組情報は、通信部238を介して外部サーバ600のコンテンツデータベースにアクセスすることで取得できる。
機器特定部211は、操作情報取得部206により取得された操作情報に基づいて、オーディオ機器400-1やテレビ400-2などの電子機器の特定処理、その動作状態や選曲状態や選局状態の特定処理を行う。そして機器コンテンツ情報取得部210は、操作情報に基づいて電子機器がコンテンツ出力状態であると判断された場合に、機器コンテンツ情報の取得処理を行う。
ユーザ状態判断部212は、ホームセンサ250等により取得されたユーザ検知情報に基づいて、ユーザの人物認証を行ったり、ユーザとの位置関係や視認状態や発話状態等を判断する。登録処理部214は、図8(A)、図8(B)で説明したユーザの登録処理を行う。
コンテンツ選択部216は、機器コンテンツ情報取得部210により取得された機器コンテンツ情報に基づいて、提示コンテンツの選択処理を行う。そして表示指示部218は、選択された提示コンテンツに基づいて、デジタルフォトフレーム300の表示部340に表示される画像の表示指示を行う。具体的にはコンテンツ選択部216により選択されたコンテンツの画像を表示部340に表示するための指示を行う。そしてデジタルフォトフレーム300の表示制御部318は、表示指示部218からの指示にしたがって、表示部340の表示制御を行う。これにより、機器コンテンツ情報に基づき選択された提示コンテンツが表示部340に表示されるようになる。
図14の変形例によれば、機器コンテンツ情報の取得処理や、コンテンツを出力している電子機器の特定処理や、コンテンツの選択処理等をホームサーバ200が行うため、デジタルフォトフレーム300の処理負荷を軽減できる。従って、デジタルフォトフレーム300の処理部302(CPU)の処理能力が低い場合も、本実施形態の処理を実現できるようになる。なお、これらの処理を、ホームサーバ200とデジタルフォトフレーム300の分散処理により実現してもよい。
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(機器コンテンツ情報、操作機器等)と共に記載された用語(音楽情報・番組情報、リモコン等)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またデジタルフォトフレーム、情報処理システムの構成、動作や、機器コンテンツ情報の取得手法、コンテンツの選択手法等も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
200 サーバ、202 処理部、204 音情報取得部、206 操作情報取得部、
208 検知情報取得部、210 機器コンテンツ情報取得部、211 機器特定部、
212 ユーザ状態判断部、214 登録処理部、216 コンテンツ選択部、
218 表示指示部、220 記憶部、238 通信部、250 ホームセンサ、
260 操作部、300 デジタルフォトフレーム、302 処理部、
304 音情報取得部、306 操作情報取得部、308 検知情報取得部、
310 機器コンテンツ情報取得部、311 機器特定部、312 ユーザ状態判断部、
314 登録処理部、316 コンテンツ選択部、318 表示制御部、
320 記憶部、322 コンテンツ情報記憶部、323 音情報記憶部、
324 操作情報記憶部、325 検知情報記憶部、326 ユーザ状態記憶部、
328 ユーザ情報記憶部、330 情報記憶媒体、338 通信部、340 表示部、
350 センサ、360 操作部、400 電子機器、400-1 オーディオ機器、
400-2 テレビ、402 処理部、420 記憶部、440 表示部、
442 音出力部、450 センサ、460 リモコン(操作機器)

Claims (18)

  1. 画像を表示する表示部と、
    提示コンテンツを選択するコンテンツ選択部と、
    選択された前記提示コンテンツに基づいて、前記表示部の表示制御を行う表示制御部と、
    電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報を取得する機器コンテンツ情報取得部とを含み、
    前記機器コンテンツ情報取得部は、
    前記電子機器により出力される音楽に関する情報である音楽情報として、曲名、アルバム名、アーティスト名、音楽ジャンル及び曲調の少なくとも1つを取得し、
    前記コンテンツ選択部は、
    取得された前記機器コンテンツ情報である前記音楽情報に基づいて、前記提示コンテンツを選択し、
    前記表示制御部は、
    前記曲名、前記アルバム名、前記アーティスト名、前記音楽ジャンル及び前記曲調の少なくとも1つに対応する画像を、前記表示部に表示する制御を行うことを特徴とするデジタルフォトフレーム。
  2. 画像を表示する表示部と、
    提示コンテンツを選択するコンテンツ選択部と、
    選択された前記提示コンテンツに基づいて、前記表示部の表示制御を行う表示制御部と、
    電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報を取得する機器コンテンツ情報取得部とを含み、
    前記機器コンテンツ情報取得部は、
    前記電子機器により出力される放送番組に関する情報である番組情報を、前記機器コンテンツ情報として取得し、
    前記コンテンツ選択部は、
    取得された前記番組情報に基づいて、前記提示コンテンツを選択することを特徴とするデジタルフォトフレーム。
  3. 請求項において、
    前記機器コンテンツ情報取得部は、
    前記番組情報として、番組名、番組のテーマ、番組内容、出演者、番組の広告、及びリアルタイム放送情報の少なくとも1つを取得し、
    前記表示制御部は、
    前記番組名、前記番組のテーマ、前記番組内容、前記出演者、前記番組の広告、及び前記リアルタイム放送情報の少なくとも1つに対応する画像を、前記表示部に表示する制御を行うことを特徴とするデジタルフォトフレーム。
  4. 画像を表示する表示部と、
    提示コンテンツを選択するコンテンツ選択部と、
    選択された前記提示コンテンツに基づいて、前記表示部の表示制御を行う表示制御部と、
    電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報を取得する機器コンテンツ情報取得部とを含み、
    前記機器コンテンツ情報取得部は、
    前記電子機器により出力される音声の認識を行うことでキーワード情報を取得し、
    前記コンテンツ選択部は、
    前記キーワード情報に基づいて、前記提示コンテンツを選択することを特徴とするデジタルフォトフレーム。
  5. 請求項において、
    前記機器コンテンツ情報取得部は、
    前記電子機器により出力される放送番組に関する情報である番組情報を取得し、
    前記コンテンツ選択部は、
    前記番組情報と、前記番組の音声から取得された前記キーワード情報とに基づいて、前記提示コンテンツを選択することを特徴とするデジタルフォトフレーム。
  6. 請求項1乃至のいずれかにおいて、
    周囲音を検知する音センサにより検知された音情報を取得する音情報取得部を含み、
    前記機器コンテンツ情報取得部は、
    取得された前記音情報に基づいて、前記機器コンテンツ情報を取得することを特徴とするデジタルフォトフレーム。
  7. 請求項において、
    前記コンテンツ選択部は、
    前記音センサにより前記音情報が検知されなかった場合には、音非検知用に用意されたコンテンツを選択することを特徴とするデジタルフォトフレーム。
  8. 画像を表示する表示部と、
    提示コンテンツを選択するコンテンツ選択部と、
    選択された前記提示コンテンツに基づいて、前記表示部の表示制御を行う表示制御部と、
    電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報を取得する機器コンテンツ情報取得部と、
    前記電子機器の操作情報を取得する操作情報取得部とを含み、
    前記機器コンテンツ情報取得部は、
    前記操作情報に基づいて、前記電子機器の動作状態がコンテンツ出力状態であると判断された場合に、前記機器コンテンツ情報の取得処理を行うことを特徴とするデジタルフォトフレーム。
  9. 請求項において、
    取得された前記操作情報に基づいて、前記電子機器の特定処理、前記電子機器の動作状態の特定処理、前記電子機器の選曲状態の特定処理、及び前記電子機器の選局状態の特定処理の少なくとも一方を行う機器特定部と、
    前記操作情報の履歴である操作履歴情報を記憶する操作情報記憶部を含み、
    前記機器特定部は、
    前記操作履歴情報に基づいて、前記特定処理を行うことを特徴とするデジタルフォトフレーム。
  10. 請求項8又は9において、
    前記操作情報取得部は、
    前記電子機器の操作機器が出力する操作信号に基づいて、前記操作情報を取得することを特徴とするデジタルフォトフレーム。
  11. 請求項8乃至10のいずれかにおいて、
    ユーザ情報を記憶するユーザ情報記憶部を含み、
    前記コンテンツ選択部は、
    前記ユーザ情報と前記機器コンテンツ情報とに基づいて、前記提示コンテンツを選択することを特徴とするデジタルフォトフレーム。
  12. 請求項11において、
    ユーザ検知センサにより検知された検知情報を取得する検知情報取得部と、
    取得された前記検知情報に基づいて、ユーザの人物認証を行うユーザ状態判断部を含み、
    前記コンテンツ選択部は、
    前記人物認証により特定されたユーザの前記ユーザ情報を前記ユーザ情報記憶部から取得し、取得された前記ユーザ情報と前記機器コンテンツ情報とに基づいて、前記提示コンテンツを選択することを特徴とするデジタルフォトフレーム。
  13. 請求項8乃至12のいずれかにおいて、
    前記機器コンテンツ情報取得部は、
    前記電子機器により出力される前記コンテンツに基づいて、コンテンツデータベースから前記機器コンテンツ情報を取得することを特徴とするデジタルフォトフレーム。
  14. 請求項8乃至13のいずれかにおいて、
    前記コンテンツ選択部は、
    前記機器コンテンツ情報に基づいて関連コンテンツを取得し、取得された前記関連コンテンツを前記提示コンテンツとして選択することを特徴とするデジタルフォトフレーム。
  15. 提示コンテンツを選択するコンテンツ選択部と、
    選択された前記提示コンテンツに基づいて、デジタルフォトフレームの表示部に表示される画像の表示指示を行う表示指示部と、
    電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報を取得する機器コンテンツ情報取得部とを含み、
    前記機器コンテンツ情報取得部は、
    前記電子機器により出力される放送番組に関する情報である番組情報を、前記機器コンテンツ情報として取得し、
    前記コンテンツ選択部は、
    取得された前記番組情報に基づいて、前記提示コンテンツを選択することを特徴とする情報処理システム。
  16. 提示コンテンツを選択するコンテンツ選択部と、
    選択された前記提示コンテンツに基づいて、デジタルフォトフレームの表示部に表示される画像の表示指示を行う表示指示部と、
    電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報を取得する機器コンテンツ情報取得部とを含み、
    前記機器コンテンツ情報取得部は、
    前記電子機器により出力される音声の認識を行うことでキーワード情報を取得し、
    前記コンテンツ選択部は、
    前記キーワード情報に基づいて、前記提示コンテンツを選択することを特徴とする情報処理システム。
  17. デジタフフォトフレームの制御方法であって、
    機器コンテンツ情報取得部が、電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報を取得し、
    コンテンツ選択部が、取得された前記機器コンテンツ情報に基づいて、提示コンテンツを選択し、
    表示制御部が、選択された前記提示コンテンツに基づいて、デジタルフォトフレームの表示部の表示制御を行うと共に、
    前記機器コンテンツ情報取得部が、前記電子機器により出力される放送番組に関する情報である番組情報を、前記機器コンテンツ情報として取得し、
    前記コンテンツ選択部が、取得された前記番組情報に基づいて、前記提示コンテンツを選択することを特徴とする制御方法。
  18. デジタフフォトフレームの制御方法であって、
    機器コンテンツ情報取得部が、電子機器により出力されるコンテンツに関する情報である機器コンテンツ情報を取得し、
    コンテンツ選択部が、取得された前記機器コンテンツ情報に基づいて、提示コンテンツを選択し、
    表示制御部が、選択された前記提示コンテンツに基づいて、デジタルフォトフレームの表示部の表示制御を行うと共に、
    前記機器コンテンツ情報取得部が、前記電子機器により出力される音声の認識を行うことでキーワード情報を取得し、
    前記コンテンツ選択部が、前記キーワード情報に基づいて、前記提示コンテンツを選択することを特徴とする制御方法。
JP2009022629A 2009-02-03 2009-02-03 デジタルフォトフレーム、情報処理システム及び制御方法 Expired - Fee Related JP5330005B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009022629A JP5330005B2 (ja) 2009-02-03 2009-02-03 デジタルフォトフレーム、情報処理システム及び制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009022629A JP5330005B2 (ja) 2009-02-03 2009-02-03 デジタルフォトフレーム、情報処理システム及び制御方法

Publications (2)

Publication Number Publication Date
JP2010183159A JP2010183159A (ja) 2010-08-19
JP5330005B2 true JP5330005B2 (ja) 2013-10-30

Family

ID=42764390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009022629A Expired - Fee Related JP5330005B2 (ja) 2009-02-03 2009-02-03 デジタルフォトフレーム、情報処理システム及び制御方法

Country Status (1)

Country Link
JP (1) JP5330005B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133681A (ja) * 2010-12-22 2012-07-12 Fujitsu Ltd 推薦装置及び推薦方法
US10382509B2 (en) * 2011-01-28 2019-08-13 Amazon Technologies, Inc. Audio-based application architecture
KR101978743B1 (ko) * 2012-10-19 2019-08-29 삼성전자주식회사 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1083146A (ja) * 1996-09-05 1998-03-31 Seiko Epson Corp 電子式写真立て
JP2000324473A (ja) * 1999-05-07 2000-11-24 Tietech Co Ltd ディジタルフォトスタンドを利用した通信端末
JP2003169734A (ja) * 1999-09-17 2003-06-17 Access:Kk デジタル写真フレーム
JP3751515B2 (ja) * 2000-09-11 2006-03-01 シャープ株式会社 回路基板のシールド構造
JP2002278864A (ja) * 2001-03-15 2002-09-27 Canon Inc 画像表示装置、制御装置、画像表示システム及び画像送受信制御方法
JP2005033554A (ja) * 2003-07-14 2005-02-03 Seiko Epson Corp 画像再生システム及び画像再生プログラム、並びに画像再生方法
JP2008085591A (ja) * 2006-09-27 2008-04-10 Brother Ind Ltd 情報処理装置及びプログラム
JP2008259075A (ja) * 2007-04-06 2008-10-23 Sharp Corp コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラム、および記録媒体

Also Published As

Publication number Publication date
JP2010183159A (ja) 2010-08-19

Similar Documents

Publication Publication Date Title
US10950228B1 (en) Interactive voice controlled entertainment
JP6542983B2 (ja) メディア検索及び再生のためのインテリジェント自動アシスタント
US9208227B2 (en) Electronic apparatus, reproduction control system, reproduction control method, and program therefor
JP2010181461A (ja) デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
CN106462646B (zh) 控制设备、控制方法和计算机程序
JP2018190431A (ja) メディア環境内におけるインテリジェント自動アシスタント
WO2019037615A1 (zh) 视频处理方法和装置、用于视频处理的装置
US20150082330A1 (en) Real-time channel program recommendation on a display device
JP2009140051A (ja) 情報処理装置、情報処理システム、推薦装置、情報処理方法および記憶媒体
JP6122792B2 (ja) ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP2010067104A (ja) デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
JP6120927B2 (ja) 対話システム、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム
JP6337183B1 (ja) テキスト抽出装置、コメント投稿装置、コメント投稿支援装置、再生端末および文脈ベクトル計算装置
JP4621758B2 (ja) コンテンツ情報再生装置、コンテンツ情報再生システム、および情報処理装置
JP2010224715A (ja) 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
JPWO2004064393A1 (ja) 放送受信方法、放送受信システム、記録媒体、及びプログラム
JP2011164681A (ja) 文字入力装置、文字入力方法、文字入力プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP5330005B2 (ja) デジタルフォトフレーム、情報処理システム及び制御方法
JP2019008779A (ja) テキスト抽出装置、コメント投稿装置、コメント投稿支援装置、再生端末および文脈ベクトル計算装置
US10503776B2 (en) Image display apparatus and information providing method thereof
JP2010124391A (ja) 情報処理装置、機能設定方法及び機能設定プログラム
JP4367713B2 (ja) 放送受信方法、放送受信システム、第1装置、第2装置、音声認識方法、音声認識装置、プログラム及び記録媒体
JP2017182275A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2005141328A (ja) 予知ロボット装置、予知ロボットの制御方法、及び予知ロボットシステム
US20240119930A1 (en) Artificial intelligence device and operating method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130725

R151 Written notification of patent or utility model registration

Ref document number: 5330005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees