JP5496144B2 - Information reproducing apparatus, information reproducing program, and information reproducing method - Google Patents
Information reproducing apparatus, information reproducing program, and information reproducing method Download PDFInfo
- Publication number
- JP5496144B2 JP5496144B2 JP2011087218A JP2011087218A JP5496144B2 JP 5496144 B2 JP5496144 B2 JP 5496144B2 JP 2011087218 A JP2011087218 A JP 2011087218A JP 2011087218 A JP2011087218 A JP 2011087218A JP 5496144 B2 JP5496144 B2 JP 5496144B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- viewer
- applications
- reproducing
- recorded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
この発明は、映像や音声を視聴する利用者に合わせて選択して再生する顔認証を利用した情報再生方法及び情報再生装置に関する。 The present invention relates to an information reproduction method and information reproduction apparatus using face authentication that is selected and reproduced according to a user who views video and audio.
映像や音声を再生する映像音声再生装置として、テレビジョン受信装置、モニタ装置とプレーヤ装置、ビデオカメラ、パーソナルコンピュータ、携帯可能端末、デジタルフォトフレーム等の多様な機器が実用化され、既に広く普及している。 Various devices such as a television receiver, a monitor device and a player device, a video camera, a personal computer, a portable terminal, a digital photo frame, etc. have been put into practical use as video and audio playback devices for playing back video and audio, and are already widely used. ing.
また、ネットワーク網の充実と、その高速化かつ大容量化に伴い、再生対象であるコンテンツ（番組）は、空間波あるいは光ファイバ等による送信側（配信局）からの一方的な供給に加え、オンデマンド方式の普及により、視聴者の要求に従う任意の時間に取得可能である。 In addition, with the enhancement of network networks and the increase in speed and capacity, content (programs) to be played is not only unilaterally supplied from the transmission side (distribution station) via spatial waves or optical fibers, Due to the widespread use of the on-demand system, it can be acquired at any time according to the viewer's request.
また、ネットワーク上で提供されるニューステロップや、予め設定した特定分野の情報を、テレビジョン受信装置やデジタルフォトフレームあるいはパーソナルコンピュータの画面に独立して表示可能なウィジェット（情報画面）の普及に伴い、オンデマンド方式による視聴者からの要求とは異なる観点で提供される映像や音声の取得とその再生が可能である。 In addition, with the spread of widgets (information screens) that can display news telops provided on the network and information in specific fields set in advance on the screens of television receivers, digital photo frames, or personal computers. In addition, it is possible to acquire and reproduce video and audio provided from a viewpoint different from the request from the viewer by the on-demand method.
ところで、例えば、リビングに置いたデジタルフォトフレームに、視聴者とその家族が自分勝手に任意数のウィジェット（情報画面）を設定した場合、各人にとっては、見辛いものとなる。また、来訪者があった場合は、デジタルフォトフレームをオフし、あるいは来訪者が見ることのできないよう、隠す等の対応が求められる。 By the way, for example, when a viewer and his / her family set an arbitrary number of widgets (information screens) on their own in a digital photo frame placed in a living room, it is difficult for each person to see. In addition, when there is a visitor, it is necessary to take a countermeasure such as turning off the digital photo frame or hiding the visitor so that the visitor cannot see it.
特許文献１（先行技術文献）は、鑑賞者を検出し、検出された鑑賞者に関連のある画像を選択して表示する電子アルバム表示システムを開示する。 Patent Document 1 (prior art document) discloses an electronic album display system that detects a viewer and selects and displays an image related to the detected viewer.
特許文献１が開示する電子アルバム表示システムは、鑑賞者を特定して鑑賞者に関連のある画像（写真）を表示するが、鑑賞者以外の人が同席しても画像を表示することから、鑑賞者が鑑賞者以外の人に見てほしくない、不本意な画像も表示される。
The electronic album display system disclosed in
この発明の目的は、顔認証を用い、視聴中の在席者に応じて特定の条件で設定された映像や音声を再生する、特に視聴者として同席している人がいる場合、再生する映像や音声を予め設定されている規則に従って選択して再生する情報再生方法及び情報再生装置及び情報再生用のプログラムを提供することにある。 An object of the present invention is to use face authentication to reproduce video and audio set under specific conditions according to the person being viewed, particularly when there is a person who is present as a viewer. Another object is to provide an information reproducing method, an information reproducing apparatus, and an information reproducing program for selecting and reproducing audio and audio according to preset rules.
この発明は、顔認識手段にて認識された顔の特徴点情報に基づいて視聴者情報を記録する記録手段と、前記記録された視聴者情報に対応して、映像表示手段に表示する情報を設定する設定手段と、前記記録手段に記録された視聴者情報に対応した視聴者が前記顔認識手段にて認識された場合に、前記設定手段にて設定された第１の情報を前記映像表示手段に再生し、前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第１の情報と異なる第２の情報を前記映像表示手段に再生する情報再生手段と、前記第１の情報または前記第２の情報の前記映像表示手段における再生位置の設定を視聴者に許可する再生位置設定手段を有し、
前記情報再生手段は、第１時間帯には前記第１又は第２の情報として１以上の第１アプリケーションによる情報の再生を行い、前記第１時間帯とは異なる第２時間帯には前記第１又は第２の情報として前記１以上の第１アプリケーションとは異なる１以上の第２アプリケーションによる情報の再生を行う。
The present invention provides recording means for recording viewer information based on facial feature point information recognized by the face recognition means, and information to be displayed on the video display means in correspondence with the recorded viewer information. The setting means for setting, and when the viewer corresponding to the viewer information recorded in the recording means is recognized by the face recognition means, the first information set by the setting means is displayed as the video When the face recognition means recognizes a viewer corresponding to the recorded viewer information and a viewer not corresponding to the viewer information recorded in the recording means. Information reproducing means for reproducing the second information different from the information on the video display means, and a reproduction position for allowing the viewer to set the reproduction position of the first information or the second information in the video display means. Having setting means,
The information reproducing means reproduces information by one or more first applications as the first or second information in a first time zone, and in the second time zone different from the first time zone, the first time zone. Information is reproduced by one or more second applications different from the one or more first applications as the first or second information.
以下、図面を参照して、本発明の実施の一形態について説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図１は、顔認証を利用したメールシステム全体の概略を説明する。なお、以下に説明するさまざまな要素において、「モジュール」と呼称する要素は、ハードウエアで実現するものであってもよいし、ＣＰＵ（マイクロコンピュータ）等を用いてソフトウエアで実現するものであってもよい。 FIG. 1 illustrates an outline of an entire mail system using face authentication. Of the various elements described below, an element called “module” may be realized by hardware, or realized by software using a CPU (microcomputer) or the like. May be.
図１に概略を示す、顔認証を用いて視聴者ごとに、特定の条件で設定された映像や音声を再生する映像音声再生システムは、空間波を用いた無線方式あるいは光ファイバ等を用いた有線伝送方式により放送事業者もしくは中継事業者から提供されるテレビジョン放送信号を受信して再生するテレビジョン受信装置（家庭内ユーザ端末１）１０、ハードディスクドライブ（ＨＤＤ）に代表される大容量記録装置を保持したビデオレコーダ装置（家庭内ユーザ端末２）２０、あるいはデジタルフォトフレーム等に代表される映像音声再生装置（家庭内ユーザ端末３）１００の少なくとも１つと、ネットワーク網、例えば光ファイバ網あるいは公衆通信網を介して家庭内ユーザ端末（１〜３）のそれぞれと相互に接続されるビデオレターサーバ１０００と、により達成される。
A video / audio reproduction system that reproduces video and audio set under specific conditions for each viewer using face authentication, as schematically shown in FIG. 1, uses a wireless system using a spatial wave, an optical fiber, or the like. Large-capacity recording represented by a television receiver (home user terminal 1) 10 that receives and reproduces a television broadcast signal provided from a broadcaster or a relay operator by a wired transmission method, and a hard disk drive (HDD) At least one of a video recorder device (home user terminal 2) 20 holding the device or a video / audio reproduction device (home user terminal 3) 100 represented by a digital photo frame, etc., and a network network such as an optical fiber network or
ビデオレターサーバ１０００には、ネットワーク網、例えばインターネット網を通じ、家庭内ユーザ端末１〜３、すなわちテレビジョン受信装置１０、ビデオレコーダ装置２０もしくはデジタルフォトフレーム１００が設置される場所とは異なる、例えば親族宅や知人宅等に代表される任意の位置に設けられるカメラ付テレビジョン装置２００（ユーザ端末４）、パーソナルコンピュータ（ＰＣ）３００（ユーザ端末５）、外部ネットワーク網とのアクセスが可能な携帯可能端末、例えばカメラ付ゲーム機４００（ユーザ端末６）やカメラ付携帯電話５００（ユーザ端末７）が、任意にアクセス可能である。
The
ビデオレターサーバ１０００は、家庭内ユーザ端末（テレビジョン受信装置１０、ビデオレコーダ装置２０あるいはデジタルフォトフレーム１００、およびそれを操作する送信者）から送信されたメール（ビデオメール）や写真もしくは動画ファイル等を一旦保持するとともに、相手先（受信者）に、メール（ビデオメール）や写真、もしくは動画ファイルが着信したことを報知する。なお、ビデオメールには、テレビジョン受信装置１０、ビデオレコーダ装置２０、もしくはデジタルフォトフレーム１００に付属するカメラ（１０ａ，２０ａ，１００ａ）の前にいるユーザ（すなわち送信者）の映像・音声の他に、既存のコンテンツを付加することもできる。既存のコンテンツ（著作権等、他人の権利を侵さない範囲に限る）としては、ユーザが撮影したビデオ映像、ユーザが撮影したデジタルカメラ画像、ユーザが録音した音声・音楽、ビデオレコーダに録画済みの放送番組の映像・音声（音楽）、パブリックドメインに属するインターネット配信映像・音声（音楽）などがある。
The
ビデオレターサーバ１０００とネットワーク上で接続された（ビデオレターサーバ１０００にアクセス可能な）カメラ付デジタルテレビジョン装置２００、パーソナルコンピュータ（ＰＣ）３００、カメラ付ゲーム機４００、あるいは携帯電話器５００を保持する相手方（受信者）は、テレビジョン受信装置１０、ビデオレコーダ装置２０もしくはデジタルフォトフレーム１００に付属するカメラ（１０ａ，２０ａ，１００ａ）の前にいるユーザ（すなわち送信者）が送信した映像・音声の他と付加されているコンテンツを、任意のタイミングで再生できる。なお、テレビジョン装置１０（あるいはレコーダ装置２０）、もしくはデジタルフォトフレーム１００のそれぞれは、カメラ１０ａ（２０ａ），１００ａに加えて、それぞれの機器の前または近傍にいる（在席する）人物すなわち視聴者の音声を取り込むマイク１０ｃ（２０ｃ），１００ｃを含む。
A digital television device with
また、送信側ユーザ端末（１０，２０，１００）および受信側端末（２００，３００，４００，５００）のそれぞれには，図１５を用いて後段に説明する顔認証／照合処理装置１が組み込まれている。顔認証／照合処理装置１は、各ユーザ端末に一体的に設けられるカメラ（１０ａ，２０ａ，１００ａ，２００ａ，３００ａ，４００ａ，５００ａ）の前にいるユーザの顔の特徴をコード化し、あるいはカメラ前のユーザの顔の特徴と登録済みの顔の特徴とを照合できる。また、各ユーザ端末のカメラで取り込まれたユーザの顔の画像データ、その顔の特徴を顔認証／照合処理装置１によりコード化した特徴点データ等は、サーバ１０００に設けられた宛先管理テーブル１００１に登録される。
Each of the transmitting-side user terminals (10, 20, 100) and the receiving-side terminals (200, 300, 400, 500) incorporates the face authentication /
各ユーザからのビデオメール自体（メールコンテンツ）は、宛先管理テーブル１００１の登録内容に関連づけられて、サーバ１０００内の図示しないデータストレージ（大容量記憶装置）に格納される。
The video mail itself (mail content) from each user is associated with the registered contents of the destination management table 1001 and stored in a data storage (mass storage device) (not shown) in the
図１に示す映像音声再生システムにおいては、ユーザ自身が視認できる顔画像を宛先として、ユーザの家庭内ローカルエリアネットワーク経由で、家族内の伝言メールの送受信が可能である。また、インターネット網を経由して、遠隔地にいる別のユーザ（親族宅や知人宅等）にビデオメールを送信するとともに、各ユーザからのビデオメールを受信することができる。 In the video / audio reproduction system shown in FIG. 1, it is possible to send and receive message mails within a family via a user's home local area network with a face image that the user can visually recognize as a destination. In addition, a video mail can be transmitted to another user (such as a relative's house or an acquaintance's house) in a remote place via the Internet network, and a video mail from each user can be received.
なお、送信側ユーザの家庭内あるいは受信側ユーザの家庭内では、例えばテレビジョン装置１０やレコーダ装置２０の図示しないＨＤＤ（大容量記憶装置）、もしくはデジタルフォトフレーム１００の半導体メモリ装置（ＨＤＤの場合もある）、あるいはＰＣ（パーソナルコンピュータ）３００やカメラ付テレビジョン装置２００の同様の記憶装置に、管理情報テーブル１００１の内容をコピーしておくことができる。これにより、テレビジョン装置１０あるいはレコーダ装置２０もしくはデジタルフォトフレーム１００等の機器の単独利用により、家族内においてビデオメール（または伝言）を交換することもできる。
In the home of the transmitting user or the home of the receiving user, for example, an unillustrated HDD (mass storage device) of the
このとき、伝言を、例えば「公開（家族の全員が見ることができる）」とすることで、家庭内でテレビジョン装置１０をオンした任意の家族（家人）やデジタルフォトフレーム１００の前にいる人物（カメラ１００ａにより認識される在席者すなわち視聴者）に、伝言を伝達することができる。なお、家庭内においてビデオメールや伝言を公開する場合、テレビジョン装置１０またはレコーダ装置２０（またはデジタルフォトフレーム１００）がホームサーバとしての機能を持つことで、容易に実現できる。
At this time, for example, by setting the message to “open (all family members can see)”, the user is in front of any family (household) who turned on the
なお、サーバ１０００は、インターネット上（ネットワーク網）にあり、そのサーバにビデオメール自体（＝コンテンツ）と宛先管理テーブルを持つ顔イメージが、宛先相当であり、インターネットに出力する際はメールアドレスを用いることはいうまでもない。
The
また、ユーザが見ている（視聴中である）テレビ番組やＨＤＤレコーダにおいて再生中であるコンテンツに関する情報を、カメラで撮影したユーザの顔イメージと関連づけ留とともに個々の嗜好を学習し、その結果をサーバ１０００において一定期間保持することにより、サーバを介して接続可能な企業は、例えばユーザの思考に応じた広告メールをピンポイントでユーザに送ることができる。この場合、メール一覧の中にビデオ広告が入ることとなり、ユーザの目につきやすくなる。
It also learns individual preferences for information related to the TV program that the user is watching (viewing) and the content being played back on the HDD recorder together with the user's face image taken by the camera, and the results By holding the
図２は、図１に示したシステムに組み込まれる映像音声再生システムに好適に適用可能な映像音声再生装置の一例であるデジタルフォトフレームのシステムロジックを示す。 FIG. 2 shows a system logic of a digital photo frame which is an example of a video / audio reproduction apparatus that can be suitably applied to a video / audio reproduction system incorporated in the system shown in FIG.
デジタルフォトフレーム１００は、カメラ１００ａからの映像を取り込むカメラ制御・入力部１５１、マイク１００ｃからの音声を取り込むマイク入力部１５３、表示部１６０に一体に形成されたタッチパネル（タッチスクリーン）に映像を出力する映像制御・出力部１６１、およびタッチパネル１６０による入力を受けつけ、所定の制御信号を出力するタッチ入力制御部１６２、等を含む。なお、カメラ制御・入力部１５１の出力は、蓋有無判断部１５２により、カメラ１００ａにカバー（蓋）１００ｂがつけられたままか否か、がチェックされる。例えば、蓋有無判断部１５２により、カメラ１００ａが映像を取り込むことができない状態であることが検知できた場合、以下に説明するウィジェットの表示およびコンテンツの再生は、実行されない。
The
ウィジェット登録部１０１は、デジタルフォトフレーム１００の表示部１６０および、以下に説明する音声制御・出力部１６４に接続されるスピーカ（音声再生装置）１５４が再生する映像および音声（コンテンツ）を、さまざまな再生形態により再生可能とする任意数のウィジェット（情報画面）を、ユーザ（視聴者）の登録／変更／削除動作に従い、設定されたウィジェットを選択的に動作させる。なお、ウィジェットは、周知の通り、例えばデジタルフォトフレーム１００の表示部１６０、あるいはテレビジョン受信装置１の表示部の表示領域中に、１または複数、映像または写真（静止画）もしくは音楽等を再生可能な情報画面であり、デジタルフォトフレーム１００が再生中の写真（静止画）等の再生状態とは独立に、選択されたウィジェットが所望するさまざまな動作を提供できる。例えば、図１は、デジタルフォトフレーム１００の表示部１６０あるいはテレビジョン受信装置１０の表示装置において、それぞれ２つのウィジェットＷａ，Ｗｂが設定されている状態を概略的に示す。
The
デジタルフォトフレーム１００はまた、半導体メモリ、例えばメモリカードＭを媒体として供給される映像（写真データ）を取り込むメディア入力部１６３、ウィジェットが再生する映像（コンテンツ）が音声あるいは音楽を伴う場合、それを出力する音声制御・出力部１６４、入力された映像および音楽のデータを保持する映像・音楽記録部１６５、マイク１００ｃにより取得した音声を認識して形態素を解析し、話題（キーワード）を抽出する音声認識・形態素解析・話題抽出部１６６、等を含む。なお、明暗判断部１６７は、デジタルフォトフレーム１００が設置されている環境、すなわち視聴者が在席中の部屋の明るさを検知するもので、検知した部屋の明るさに従ってウィジェットおよび表示部１６０が表示する映像の明るさを調整し、あるいは照明が消された等の変化を検知して、ウィジェットおよびデジタルフォトフレーム１００そのものの映像の再生を停止する等の制御に有益である。
The
デジタルフォトフレーム１００はさらに、ネットワーク網（主としてインターネット）を介して接続されるビデオレターサーバ１０００や同サーバ１０００を介して接続される他の家庭内ユーザ端末、すなわちデジタルフォトフレーム１００が設置される場所とは異なる、例えば親族宅や知人宅等に代表される任意の位置に設けられる上述のカメラ付テレビジョン装置２００、同パーソナルコンピュータ（ＰＣ）３００、同外部ネットワーク網とのアクセスが可能な携帯可能端末、例えばカメラ付ゲーム機４００や、カメラ付携帯電話５００とのアクセスを可能とする通信部１７１、デジタルフォトフレーム１００の表示部１６０のオン（映像の表示）やオフ（映像非表示）の制御、およびタイマー機能による起動条件（時間帯指定）等を実行する電源制御部１８１等を含む。なお、デジタルフォトフレーム１００には、詳述しないさまざまな外部機器、例えば外部に付属することが許可される大容量記憶装置（ＨＤＤ）や、ＵＳＢ（Universal Serial Bus）メモリ等との信号の受け渡し等に利用される各種機能制御部（拡張機能制御部）１９１も設けられる。
The
図３は、図１に示したシステムに適用される視聴者ごとの映像や音声の再生条件（ウィジェット（情報画面））の設定を管理するウィジェット管理テーブルの一例を示す。 FIG. 3 shows an example of a widget management table that manages the setting of video and audio playback conditions (widgets (information screens)) for each viewer applied to the system shown in FIG.
デジタルフォトフレーム１００に、任意数のウィジェットを用意し、その動作を可能とする場合、
ア）視聴者が機器操作者（ウィジェット設定者）本人のみである場合、
イ）視聴者が機器操作者本人とその家族である場合、
ウ）視聴者が機器操作者本人とその友人等、機器操作者本人の家族以外を含む場合
等の場合分けが、可能である。なお、機器操作者は、デジタルフォトフレーム１００の映像を視聴可能に、デジタルフォトフレーム１００の前、あるいはデジタルフォトフレーム１００の近傍に居る人物であり、１人のみである場合には、本人と称する人物が、ウィジェット設定者として認識される。また、家族は、予め視聴が許可された特定の在席者のグループを指す（家族以外であっても、同居の親族等が該当する）。
When preparing an arbitrary number of widgets in the
A) When the viewer is only the device operator (widget setting person),
B) If the viewer is the device operator and his / her family,
C) When the viewer includes the device operator and his / her friends, etc., other than the device operator's family
It is possible to divide the cases. The device operator is a person who is in front of the
このことは、例えば視聴者が機器操作者本人以外である場合等において、ウィジェットが再生する映像（コンテンツ）が、機器操作者本人以外には見てほしくない、あるいは同席者には見せないほうが好ましいと判断できる映像、例えば子供を授からない友人に登録者本人が自分の子供と遊んでいる映像等である場合、友人が同席した時点で、デジタルフォトフレーム１００が再生する映像（ウィジェットが再生するコンテンツ）として、子供の映像を除外する、等の判断が必要となる場合に有益である。
For example, when the viewer is other than the device operator himself / herself, it is preferable that the video (content) reproduced by the widget is not seen by anyone other than the device operator himself / herself or is not shown to the attendees. Video that can be determined to be, for example, a video of a registrant playing with his / her child to a friend who does not give a child, a video that the
図３は、上述したア）〜ウ）の場合分けを、カメラ１００ａが取り込む視聴者の情報に従って選択可能とする管理テーブルの一例であり、例えば
＜＜存在（誰が見ているか）＞＞
自分（本人）だけ（見ている）
（本人と）家族のみ（見ている）
家族外の人＜友人等＞が（見ている）、あるいは＜企業内すなわち本人が自身の勤務先のパーソナルコンピュータに設定したウィジェット＞
として場合分けできる。
FIG. 3 is an example of a management table that enables selection of the above-described cases (a) to (c) according to viewer information captured by the
<< Existence (who is watching) >>
Only you (yourself) (watching)
Only the family (with the person) (watching)
A non-family person (such as a friend) (watching) or <widget set on the personal computer at work, that is, the person in the company>
Can be divided into cases.
なお、デジタルフォトフレーム１００（あるいはテレビジョン受信装置１０）の表示部において再生されるウィジェットは、再生されている時間帯に応じて、
＜＜時間（ウィジェットが再生されている時間帯）＞＞
朝［５ａｍ〜］
昼［１１ａｍ〜］
夕方［４ｐｍ〜］
夜［８ｐｍ〜］
深夜［１１ｐｍ〜］
ＡＬＬ（終日）
のように、場合分けできる。
Note that the widget that is played back on the display unit of the digital photo frame 100 (or the television receiver 10) depends on the playback time zone.
<<< Time (time zone when widget is playing) >>>
Morning [5 am~]
Noon [11 am~]
Evening [4 pm~]
Night [8 pm~]
Late night [11 pm~]
ALL (all day)
As in
例えば、朝と昼については、スーパーマーケットの当日の安売り情報等を表示するが、スーパーマーケットの営業時間が終わった以降の夜と深夜においては、スライドショーにより任意数の写真を再生するとともに、夜間帯に好適な音楽（睡眠を誘うＢＧＭ）、等を再生することが望ましい。 For example, in the morning and noon, supermarket information on the day of the supermarket is displayed, but at night and after midnight after supermarket opening hours, an arbitrary number of photos are played back by a slide show and suitable for night time It is desirable to play music (such as BGM that invites sleep).
また、ウィジェットは、デジタルフォトフレーム１００の表示部１６０（テレビジョン受信装置１０の表示装置）の表示領域の大きさに依存するが、例えば［左上］／［右上］／［左下］／［右下］等により特定される４箇所程度であれば、同時に配置（再生）してもデジタルフォトフレーム１００（テレビジョン受信装置１０）が再生中の写真や映像の視認に支障を与えないと判断でき、例えば、［カレンダー］／［時計］／［（当日の）天気（予報）］／［電車の運行状況］等が予め選択されたウィジェットセットが選択され、再生されることを可能とする（＜＜表示位置＞＞）。なお、表示位置としては、同時に動作するウィジェットが４つ程度であれば、後段に例示する再生例のように、例えば右側に上下方向に４つ位置されてもよいことはいうまでもない。
The widget depends on the size of the display area of the display unit 160 (display device of the television receiver 10) of the
なお、図３に示した場合分け（ウィジェット管理テーブル）では、視聴者の組み合わせに応じて、動作するウィジェットも随時変更されることは上述した通りである。 As described above, in the case classification (widget management table) shown in FIG. 3, the widget to be operated is changed at any time according to the combination of viewers.
図４は、図１に示したシステムに適用される視聴者ごとの映像や音声の再生条件（ウィジェット（情報画面））の設定を管理するウィジェット管理テーブルを示す。 FIG. 4 shows a widget management table for managing settings of video and audio playback conditions (widgets (information screens)) for each viewer applied to the system shown in FIG.
図４において、予め登録されている家族は、例えば本人（ＩＤ１）、同居している親族（ＩＤ２）、同じく親族（ＩＤ３）として管理される。なお、それぞれの家族は、個々の顔を予め撮影した写真または識別符号（メールアドレス）により特定される。また、顔を撮影した写真によりメールアドレスとすることもできる。なお、顔（写真）をアドレスとする方法および照合については、図１５を用いて後段に説明する顔認証／照合処理装置１による「顔認証」処理／「照合」処理による。
In FIG. 4, a family registered in advance is managed as, for example, the person (ID1), a relative living together (ID2), and a relative (ID3). Each family is specified by a photograph or an identification code (mail address) obtained by photographing each face in advance. It can also be used as an e-mail address based on a photograph of the face. Note that a method using face (photo) as an address and collation are based on “face authentication” processing / “collation” processing by the face authentication /
図５は、図３に示したウィジェット管理テーブルが参照するウィジェットインプット情報テーブルの一例を示す。 FIG. 5 shows an example of the widget input information table referred to by the widget management table shown in FIG.
図１に示した映像音声再生システムに適用される映像音声再生装置であるデジタルフォトフレーム（図２参照）１００やテレビジョン受信装置１０は、それぞれ視聴者すなわち任意の映像音声再生装置が再生する映像（および音声（音楽））を目視し、あるいは再生される音楽を聴取しているユーザ（家人）や来訪者（友人）等の会話から音声認識・形態素解析・話題抽出部１６６により、話題（キーワード）を抽出する。例えば、会話に登場するキーワード（話題）が旅行である場合、ネットワーク網（インターネット）を介して旅行先の天気を取得し、再生することができる。また、キーワードが旅行である場合、その地域の食の情報（「グルメ」情報）やお土産のランキング等を再生することができる。なお、ウィジェットインプット情報テーブルは、キーワードの入力すなわち会話から抽出できるキーワードに従い、「Ｉｎｐｕｔ＃１」、「Ｉｎｐｕｔ＃２」・・・「Ｉｎｐｕｔ＃ｎ（ｎは正の整数）」のように、任意に、情報を保持できる。
A digital photo frame (see FIG. 2) 100 and a
図６は、図２に映像音声再生装置の一例として説明したデジタルフォトフレーム１００のウィジェット登録部１０１に登録することで動作可能な保持するウィジェット（情報画面）の一例を示す。なお、ウィジェットの種類（個々のウィジェット）としては、目的地までに利用すべき交通機関と所要時間等を案内するものや、定期的（一日に数回）に配信されるニュースを再生するもの、あるいは予め登録した小売店や量販店の価格情報を報知するもの、株価や天気を知らせるもの等、さまざまである。
FIG. 6 shows an example of a widget (information screen) that can be operated by registering in the
また、ウィジェットは、ネットワーク網（インターネット）を経由して、あるいは半導体メモリＭを介したメディア入力部１６３への供給により、随時取得することができる。もちろん、既に取得したウィジェットの削除や動作させるウィジェットの変更も、以下に説明するウィジェットの交換／新規登録／削除に基づいて、随時可能である。
In addition, the widget can be acquired at any time via a network (Internet) or supply to the
図７〜図１０は、図２を用いて説明した映像音声再生装置（デジタルフォトフレーム）に表示されるウィジェットの例を示す。なお、図２により説明したデジタルフォトフレームに対しては、図３〜図６を用いて説明した再生条件が適用されるものとする。 7 to 10 show examples of widgets displayed on the video / audio reproduction device (digital photo frame) described with reference to FIG. It is assumed that the playback conditions described with reference to FIGS. 3 to 6 are applied to the digital photo frame described with reference to FIG.
すなわち、図３で示した視聴者の在席や時間情報と図４に示した家族ＩＤに従い、動作するウィジェットが変化する。また、視聴者（在席者）の会話に従い、キーワードが抽出できた場合、図５に示したようなウィジェットインプット情報テーブルを保持した特定のウィジェットが動作され、キーワードに対応する情報が取得され、再生される。 That is, the widget to be operated changes according to the presence / time information of the viewer shown in FIG. 3 and the family ID shown in FIG. Further, when the keyword can be extracted according to the conversation of the viewer (attended person), a specific widget holding the widget input information table as shown in FIG. 5 is operated, information corresponding to the keyword is acquired, Played.
図７は、視聴者に関する限定（条件）がない（最も多くの視聴者向け）のウィジェットが動作された状態のデジタルフォトフレーム１００の画像再生状態を示す。
FIG. 7 shows an image playback state of the
すなわち、特定の視聴者向けの限定がないため、起動されたウィジェットは、時刻表示（時計）と気温（地域温度）のみが表示されている。 That is, since there is no limitation for a specific viewer, only the time display (clock) and the temperature (local temperature) are displayed on the activated widget.
図８は、視聴者が登録者本人のみであり、図４に示した家族ＩＤから父親と想定している人物である場合に動作されるウィジェットの組み合わせを示している。 FIG. 8 shows a combination of widgets that are operated when the viewer is the registrant himself and the person is assumed to be a father from the family ID shown in FIG.
すなわち、登録者本人のみが視聴することを想定し、時刻表示（時計）と気温（地域温度）のウィジェットに加え、カレンダー表示ウィジェットや、株価表示ウィジェット等が追加されていることが認められる。 That is, assuming that only the registrant himself / herself is viewing, it is recognized that a calendar display widget, a stock price display widget, and the like are added in addition to the time display (clock) and temperature (regional temperature) widgets.
図９は、視聴者が登録者本人のみであり、図４に示した家族ＩＤから母親と想定している人物が、朝方（午前中）に視聴している場合に動作されるウィジェットの組み合わせを示している。 FIG. 9 shows combinations of widgets that are operated when the viewer is only the registrant and a person who is assumed to be a mother from the family ID shown in FIG. 4 is watching in the morning (morning). Show.
すなわち、登録者本人のみが視聴することを想定し、時刻表示（時計）と気温（地域温度）のウィジェットに、カレンダー表示ウィジェットとスーパーマーケットあるいは量販店の特売情報表示ウィジェットが追加されていることが認められる。 In other words, assuming that only the registrant himself / herself is viewing, it is recognized that a calendar display widget and a supermarket or general merchandise sales information display widget have been added to the time display (clock) and temperature (regional temperature) widgets. It is done.
図１０は、視聴者の条件は図９の例に準じて図４に示した家族ＩＤから母親と想定している人物が、昼以降（昼間〜夕方）に視聴している場合に動作されるウィジェットの組み合わせを示している。 FIG. 10 is operated when a person who is assumed to be a mother based on the family ID shown in FIG. 4 is watching after noon (daytime to evening) according to the example of FIG. Shows a combination of widgets.
すなわち、図１０では起動されるウィジェットの組み合わせとして、時刻表示（時計）と気温（地域温度）のウィジェットおよびカレンダー表示ウィジェットに、ニュース再生ウィジェットが追加されていることが認められる。 That is, in FIG. 10, as a combination of widgets to be activated, it is recognized that a news playback widget is added to the time display (clock) and temperature (regional temperature) widgets and the calendar display widget.
このように、例えば付属するあるいは連動可能に設けられたカメラにより取得した視聴者の在席情報と時刻（ウィジェットが再生されている時間帯）とに基づいて、起動すべきウィジェットを任意に組み合わせる（組み合わせを変更する）ことにより、視聴者とその家族のそれぞれが必要と判断した情報のみを、在席している視聴者に対応して提供可能なあたかも個人向けのようなウィジェット再生動作を、１つの映像音声再生装置により実現できる。 In this way, for example, a widget to be activated is arbitrarily combined based on the presence information of the viewer and the time (the time zone during which the widget is played back) acquired by the attached or interlocked camera ( By changing the combination), only the information that the viewer and his / her family have determined to be necessary can be provided corresponding to the viewer who is present. This can be realized by two video / audio playback devices.
なお、カメラにより視聴者の在席情報を常時取得することにより、視聴者が不在となった場合には、ウィジェットをオフするとともに、デジタルフォトフレーム（テレビジョン受信装置）の表示部の電源もオフできる。また、カメラにより取得した視聴者の顔情報から、登録者本人／家族／家族と登録者等の人物の存在（在席）を特定できるため、例えばネコや犬等のペットのみが在室している場合には、同様にウィジェットをオフするとともに、デジタルフォトフレーム（テレビジョン受信装置）の表示部の電源もオフすることができる。このことは、今日の省エネルギーの要求に対しても有益である。 In addition, by always acquiring the presence information of the viewer by the camera, when the viewer is absent, the widget is turned off and the display unit of the digital photo frame (television receiver) is also turned off. it can. In addition, since the registrant's / family / family and the presence of a person such as a registrant can be identified from the viewer's face information acquired by the camera, only pets such as cats and dogs are present in the room. In the same manner, the widget can be turned off, and the display unit of the digital photo frame (television receiver) can be turned off. This is also beneficial for today's energy conservation requirements.
図１１は、図７〜図１０に示した表示例を実現するためのウィジェットの登録と削除、ならびに視聴者（家族）の登録と削除の手順を、表示画面の遷移例によりソフトウエア的に示す。 FIG. 11 shows, in software, procedures for registering and deleting widgets and registering and deleting viewers (family members) for realizing the display examples shown in FIGS. .
付属するリモコン端末（図示せず）等の操作、もしくは表示部１６０のウィジェットの非表示領域への操作者の指の接触により、ウィジェット設定モードが起動すると、［１］面のように、
１．ウィジェット（セット）登録・変更＜＜ボタン［赤］＞＞
２．ウィジェット（セット）削除＜＜ボタン［青］＞＞
３．家族の登録・変更＜＜ボタン［黄］＞＞
４．家族の削除＜＜［削除］キー＞＞
５．終了（戻る）＜＜［戻る］キー＞＞
等の次の指示、すなわちウィジェット（セット）の登録・変更／ウィジェット（セット）の削除／家族の登録・変更／家族の削除／終了（戻る）等のいずれかを選択する入力信号を受けつける設定画面が表示される。
When the widget setting mode is activated by the operation of an attached remote control terminal (not shown) or the like, or by the operator's finger touching the widget non-display area of the
1. Widget (set) registration / change <<< button [red] >>
2. Delete widget (set) <<< button [blue] >>>
3. Family registration / change <<< button [yellow] >>>
4). Delete family <<< [Delete] key >>>>
5. End (Back) <<< Back key >>>>
Setting screen that accepts an input signal for selecting one of the following instructions such as registration / change of widget (set) / deletion of widget (set) / registration / change of family / deletion of family / termination (return) Is displayed.
リモコン端末（図示せず）等による数字入力または特定のボタンによる制御コマンドの発行、あるいは画面（表示部）１６０の所定の文字列への操作者の指の接触により、特定の作業（入力待ち画面）が選択されることで、例えば［２］〜［５］で示す各種入力画面が表示される。 A specific operation (input waiting screen) by inputting a number using a remote control terminal (not shown) or the like, issuing a control command using a specific button, or touching a predetermined character string on the screen (display unit) 160 with an operator's finger. ) Is selected, for example, various input screens shown in [2] to [5] are displayed.
例えば、「ウィジェット（セット）登録・変更」が選択されることで、［２］面が表示され、
・・変更するウィジェット（セット）を選んでください・・
１．新規追加＜＜ボタン［緑］＞＞
２．時計、カレンダー、［任意の１つ］
３．時計、消費電力、家族
４．時計、天気、温度、特売（朝）
５．時計、天気、温度、特売
６．終了（戻る）
等の次の指示、すなわち登録（選択）するウィジェット（セット）が入力可能な設定画面が表示される。
For example, when “Widget (set) registration / change” is selected, the [2] screen is displayed.
Select the widget (set) to be changed
1. Add new << button [green] >>
2. Clock, calendar, [any one]
3. Clock, power consumption, family
4). Clock, weather, temperature, sale (morning)
5. Clock, weather, temperature, sale
6). End (return)
Next, such as a setting screen on which a widget (set) to be registered (selected) can be input is displayed.
例えば、「新規追加」が選択されることで、［２１］面が表示され、
・・ウィジェット［１つめ］の表示位置を選んでください・・
１．表示領域 →☆［左上］☆／☆［右上］☆／☆［左下］☆／☆［右下］☆
２．カーソルを移動して［左上］／［右上］／［左下］／［右下］を決定
３．終了（戻る）
等の次の指示、すなわち登録（選択）する１つめのウィジェットの位置を入力可能な設定画面が表示される。
For example, when “Add new” is selected, the [21] plane is displayed.
-Select the display position of the widget [first]-
1. Display area → ☆ [Upper left] ☆ / ☆ [Upper right] ☆ / ☆ [Lower left] ☆ / ☆ [Lower right] ☆
2. Move the cursor to determine [Upper left] / [Upper right] / [Lower left] / [Lower right]
3. End (return)
A setting screen for inputting the next instruction, such as the position of the first widget to be registered (selected) is displayed.
以下、表示される［２２］面（図６に示した一覧画面に類似）から任意のウィジェットが選択されると、［２１］面で設定した位置において動作されるべきウィジェットが選択される。引き続き、［２３］面において、［２２］面で選択したウィジェットを起動すべき時間帯の入力が要求される。なお、設定しようとするウィジェットの数だけ、［２１］〜［２３］面の表示が順に繰り返される。従って、操作者は、表示（面）に従って、順次ウィジェットの選定、起動位置（画面上の配置）および起動条件（時間帯）を、入力（選択）すればよい。なお、起動条件（時間帯）としては，［２３］面に概略を示すが、
☆［朝］☆
☆［昼］☆
☆［夕方］☆
☆［夜］☆
☆［深夜］☆
☆［全ての時間帯］☆
・・終了（戻る）
に大別される。
Hereinafter, when an arbitrary widget is selected from the displayed [22] plane (similar to the list screen shown in FIG. 6), the widget to be operated at the position set on the [21] plane is selected. Subsequently, in the [23] plane, input of a time zone in which the widget selected in the [22] plane is to be activated is requested. Note that the display of the [21] to [23] planes is repeated in order for the number of widgets to be set. Therefore, the operator only has to input (select) the widget selection, the activation position (arrangement on the screen), and the activation condition (time zone) sequentially in accordance with the display (surface). The start condition (time zone) is outlined in [23] plane.
☆ [Morning] ☆
☆ [Daytime] ☆
☆ [Evening] ☆
☆ [Night] ☆
☆ [Midnight] ☆
☆ [All time zones] ☆
..End (return)
It is divided roughly into.
選択すべき全てのウィジェットについて、表示位置と起動時間帯が設定されると、起動時の視聴者を設定するための入力画面（［２４］面）が表示され、操作者による入力（設定）の終了が指示されることで（［２５］面）、ウィジェットの登録（新規追加）が完了する（［２６面］）。なお、起動時の視聴者としては、例えば、
☆自分☆
☆父親☆
☆母親☆
☆兄弟／姉妹（１人め）☆
☆兄弟／姉妹（２人め）☆
☆家族全員☆
☆家族以外を含む全員☆
・・終了（戻る）
等の［２４］面の表示から、選択すればよい。
When the display position and activation time zone are set for all widgets to be selected, an input screen ([24] screen) for setting the viewer at the time of activation is displayed, and input (setting) by the operator is displayed. When the termination is instructed ([25] plane), the widget registration (new addition) is completed ([26]). As a viewer at the time of startup, for example,
☆ self ☆
☆ Father ☆
☆ Mother ☆
☆ Brother / Sister (first person) ☆
☆ Brother / Sister (second) ☆
☆ The whole family ☆
☆ Everyone including non-family ☆
..End (return)
It is sufficient to select from the display of the [24] plane.
［１］面において、例えば「ウィジェット（セット）削除」が選択されると、［３］面が表示され、
・・削除するウィジェット（セット）を選んでください・・
１．時計、カレンダー、［任意の１つ］
２．時計、消費電力、家族
３．天気、温度、特売（朝）
４．天気、温度、特売
５．終了（戻る）
等の次の指示、すなわち削除するウィジェット（セット）が入力可能な設定画面が表示される。
For example, if “widget (set) deletion” is selected in the [1] plane, the [3] plane is displayed,
Select the widget (set) to be deleted
1. Clock, calendar, [any one]
2. Clock, power consumption, family
3. Weather, temperature, sale (morning)
4). Weather, temperature, sale
5. End (return)
Etc., that is, a setting screen for inputting a widget (set) to be deleted is displayed.
以下、選択されたウィジェット（セット）が表示され（［３１］面）、表示された［３１］面において、『はい（あるいはＯＫ）』が選択されることで、［３１］面に表示されたウィジェット（セット）が削除される。 In the following, the selected widget (set) is displayed ([31] surface), and “Yes (or OK)” is selected on the displayed [31] surface, so that it is displayed on the [31] surface. The widget (set) is deleted.
一方、［１］面において、例えば「家族の登録・変更」が選択された場合には、［４］面が表示され、
・・家族を登録します・・
１．アドレス帳から＜＜ボタン［緑］＞＞
２．撮影して登録＜＜ボタン［黄］＞＞
３．終了（戻る）
等の次の指示、すなわち家族の追加あるいは変更を入力可能な設定画面が表示される。
On the other hand, when [Register / Change Family] is selected on the [1] screen, the [4] screen is displayed.
・ ・ Register family ・ ・
1. From the address book << button [green] >>
2. Shoot and register <<< button [yellow] >>>
3. End (return)
Etc., that is, a setting screen for inputting the addition or change of the family is displayed.
例えば、「撮影して登録」が選択されると、［４１］面が表示され、付属するカメラによる撮影後、撮影した操作者の顔の写真が表示される。なお、ここでは、『撮りなおし』を可能としている（［４１］面）。 For example, when “shoot and register” is selected, the [41] plane is displayed, and after shooting with the attached camera, a photograph of the photographed face of the operator is displayed. Here, “re-shoot” is possible ([41] plane).
以下、撮影した写真の操作者またはアドレス帳から選択した写真に該当する家族が既に登録されている場合には、例えば「４２］面のように、
・・登録済みです
・・変更しますか
・・終了（戻る）
等の次の指示、すなわち写真の変更を入力可能な設定画面が表示される。
Hereinafter, when a photographed operator or a family corresponding to a photo selected from the address book has already been registered, for example, “42” side,
・ ・ Registered
..Do you want to change it?
..End (return)
Etc., that is, a setting screen for inputting the change of the photo is displayed.
一方、撮影した写真の操作者またはアドレス帳から選択した写真に該当する家族が登録されていない場合には、例えば「４４］面のように、
・・登録しますか
・・終了（戻る）
等の次の指示、すなわち写真の家族を追加する変更を入力可能な設定画面が表示される。
On the other hand, when the photographed operator or the family corresponding to the photo selected from the address book is not registered, for example, “44” side,
・ ・ Do you want to register
..End (return)
Etc., that is, a setting screen for inputting a change for adding a family of photos is displayed.
なお、既に登録されている家族を削除する場合は、［１］面において、「家族の削除」を選択することで、［５］面のように、削除対象となる家族の写真が表示され、
・・削除する家族を選んでください・・
自分（写真→ａｂｃｄ？）
父親（写真→ａａｃｄ？）
母親（写真→ｂｂｃｄ？）
・・終了（戻る）
により、削除対象の家族を選択入力可能な入力画面が表示される。
If you want to delete a family that has already been registered, select “Delete Family” on the [1] screen, and the photo of the family to be deleted will be displayed as shown on the [5] screen.
Select a family to delete
Me (photo → abcd?)
Father (Picture → aacd?)
Mother (photo → bbcd?)
..End (return)
Thus, an input screen for selecting and inputting the family to be deleted is displayed.
以下、削除が指示された家族が、図４により説明した家族ＩＤ管理テーブルから削除される。 Thereafter, the family instructed to be deleted is deleted from the family ID management table described with reference to FIG.
以上のような手順に従い、ウィジェット（セット）の登録・変更／ウィジェット（セット）の削除／家族の登録・変更／家族の削除が簡単な作業で完了する。 According to the above procedure, the registration / change of the widget (set) / deletion of the widget (set) / registration / change of the family / deletion of the family is completed with a simple operation.
以下、［６］面に一例を示すが、『戻る』表示が表示され、入力（設定）モードが解除可能となる。なお、［１］面のような次の作業を受けつける表示が表示されて、次の入力を受けつけ可能な待機状態が継続されてもよいことは、いうまでもない。 Hereinafter, although an example is shown on the [6] plane, a “return” display is displayed and the input (setting) mode can be canceled. It goes without saying that a display for accepting the next operation such as the [1] plane may be displayed and a standby state in which the next input can be accepted may be continued.
図１２は、図７〜図１０に示した複数のウィジェットの選択的な起動を実現する工程をソフトウエア的に説明する概略図である。なお、図１２においては、ウィジェットが動作する対象の装置を図２により説明したデジタルフォトフレームとするが、もちろん図１に示したテレビジョン受信装置や、ＰＣ（パーソナルコンピュータ）であっても同様であることはいうまでもない。 FIG. 12 is a schematic diagram for explaining the process of realizing selective activation of the plurality of widgets shown in FIGS. 7 to 10 in terms of software. In FIG. 12, the device on which the widget operates is the digital photo frame described with reference to FIG. 2, but of course the same applies to the television receiver shown in FIG. 1 or a PC (personal computer). Needless to say.
はじめに、付属するカメラ（１００ａ）が起動され、視聴者（操作者）が装置の近傍、あるいは室内にいるか否かがチェックされる［０１］。 First, the attached camera (100a) is activated to check whether the viewer (operator) is in the vicinity of the apparatus or in the room [01].
操作者（視聴者）が存在しない場合［０２−ＹＥＳ］、表示部１６０への写真（画像）の表示（再生）は実行されず、スタンバイ状態（表示部１６０への映像の表示をしない）が維持される［１１］。
When there is no operator (viewer) [02-YES], the display (reproduction) of the photograph (image) on the
操作者（視聴者）が存在する場合［０２−ＮＯ］、カメラにより顔画像が取り込まれ、顔認証／照合部１により認識される［０３］。 When there is an operator (viewer) [02-NO], a face image is captured by the camera and recognized by the face authentication / collation unit 1 [03].
顔認証／照合部１により認識された操作者（視聴者）の顔画像は、図４に一例を示した家族ＩＤ管理テーブルに登録されている家族の顔画像データと比較され、該当する顔画像データが存在するか否かがチェックされる［０４］。
The face image of the operator (viewer) recognized by the face authentication /
はじめに、家族ＩＤ管理テーブルに登録されていない非登録者（家族外）の人がいるかいないかがチェックされる［０５］。 First, it is checked whether or not there are non-registered persons (outside the family) who are not registered in the family ID management table [05].
非登録者（家族外）の人がいる場合［０５−ＹＥＳ］には、一例を図７に示したような家族外の人がいる（同席している）場合においても再生可能なウィジェットが検索される［１０］。 When there is a person who is not registered (outside the family) [05-YES], a widget that can be played even when there is a person outside the family (sitting together) as shown in FIG. [10].
非登録者（家族外）の人がいない場合［０５−ＮＯ］には、視聴者が操作者（本人）のみであるか家族の誰かが同席しているかがチェックされる［０６］。 When there is no non-registered person (outside the family) [05-NO], it is checked whether the viewer is only the operator (person) or someone in the family is present [06].
視聴者が操作者（本人）のみである場合［０６−ＹＥＳ］には、図３に示した管理テーブルに従い、操作者に対して起動が設定されているウィジェットが検索される［０７］。 When the viewer is only the operator (person) [06-YES], a widget set to be activated for the operator is searched according to the management table shown in FIG. 3 [07].
一方、視聴者が操作者（本人）を含む同席者（１人以上の家族）がいる場合［０６−ＮＯ］には、家族のみに対して起動が設定されているウィジェットが検索される［０９］。 On the other hand, when the viewer is present (one or more family members) including the operator (person) [06-NO], a widget set to be activated only for the family is searched [09]. ].
以下、［１０］／［０７］／［０９］で検索されたウィジェット（ウィジェットセットを含む）のいずれかが起動される［０８］。 Thereafter, one of the widgets (including the widget set) searched for in [10] / [07] / [09] is activated [08].
このように、視聴者として本人（操作者）以外の人が同席している場合、再生する映像や音声すなわちウィジェットを、予め設定されている規則に従って詮索して起動（再生）することにより、操作者としては第三者には見てほしくない映像等が不所望に再生されることが抑止でき、同席者としては操作者が見てほしくないと感じる映像等を視聴することになるという事態から解放される。 In this way, when a person other than the person (operator) is present as a viewer, the video or audio to be played, that is, the widget is searched according to preset rules and activated (played back) to operate the viewer. As a user, it is possible to prevent undesired playback of videos and the like that the third party does not want to see, and as a companion, the operator may view videos that the operator does not want to see To be released.
図１３は、図５に示したインプット情報テーブルを用いて、特定のウィジェットが起動されている状態において、例えば視聴者の会話に即した新たなウィジェットを起動し、あるいは既に起動中のウィジェットが再生する内容を（視聴者の会話に沿って）変更できることを、ソフトウエア的に説明する概略図である。なお、図１３においてもウィジェットが動作する対象の装置を図２により説明したデジタルフォトフレームとするが、もちろん図１に示したテレビジョン受信装置や、ＰＣ（パーソナルコンピュータ）であっても同様であることはいうまでもない。 FIG. 13 uses the input information table shown in FIG. 5 to start a new widget in accordance with the viewer's conversation, for example, while a specific widget is activated, or to play an already activated widget. It is the schematic explaining in software that it can change the content to be performed (along a viewer's conversation). In FIG. 13, the device on which the widget operates is the digital photo frame described with reference to FIG. 2, but of course the same applies to the television receiver shown in FIG. 1 or a PC (personal computer). Needless to say.
視聴者がデジタルフォトフレームの近傍にいることが付属するカメラ１００ａによって検知されている状態においては、音声認識・形態素解析部１６６により視聴者の会話から話題（キーワード）が、広く実用化されている音声認識および形態素解析の技巧に従い、適宜、抽出される［１０１］。
In a state where the viewer is in the vicinity of the digital photo frame detected by the attached
次に、取得（抽出）できたキーワード（話題）に基づき、現在表示（起動）されているウィジェットのうちの任意の１つが選択され［１０３］、話題とウィジェットの属性情報とが照合される［１０３］。 Next, based on the keyword (topic) that has been acquired (extracted), any one of the widgets that are currently displayed (activated) is selected [103], and the topic is compared with the attribute information of the widget [ 103].
照合の結果、属性情報が話題に一致する場合［１０５−ＹＥＳ］、そのウィジェットに属性がインプットされる［１０６］。 If the attribute information matches the topic as a result of the collation [105-YES], the attribute is input to the widget [106].
以下、インプットされた属性情報に関連するウィジェットが更新される（属性情報に関連のあるウィジェットにおいて、属性情報に関連した内容が再生される）［０７］。 Thereafter, the widget related to the input attribute information is updated (the content related to the attribute information is reproduced in the widget related to the attribute information) [07].
また、現在起動（表示されている）残りのウィジェットについても、（話題に対する）属性情報の一致／不一致が順に照合される［１０３］／［１０４］。なお、全てのウィジェットについて話題に対する属性情報が照合された時点で、属性情報が関連しているウィジェットが、次の話題が抽出されるまで、順に再生される［１０２］。 In addition, the remaining widgets that are currently activated (displayed) are also checked for matching / mismatching of attribute information (for the topic) in order [103] / [104]. Note that when attribute information for a topic is collated for all widgets, widgets associated with the attribute information are played in order until the next topic is extracted [102].
例えば、会話が『旅行』であり、ウィジェットとして、「天気」・「グルメ」等が起動されている場合、「天気」のウィジェットにおいて、旅先（目的地）や日時（何日後）がインプットされることにより、ネットワーク網を介して目的地の該当する日時の天気（予報）が取得され、再生される。また、「グルメ」のウィジェットにおいては、同目的地において著名な食べ物に関する情報がネットワーク網を介して取得され、ウィジェット内で再生される。 For example, when the conversation is “travel” and “weather”, “gourmet”, etc. are activated as widgets, the destination (destination) and the date and time (after how many days) are input in the “weather” widget. As a result, the weather (forecast) at the relevant date and time of the destination is acquired and reproduced via the network. In addition, in the “gourmet” widget, information about famous food at the same destination is acquired via the network and reproduced in the widget.
このように、視聴者の希望する、あるいは必要があると予想される項目について、現在起動されているウィジェットにおいて表示（再生）可能な属性情報を、視聴者の会話から取り込んでキーワードとして設定し、ネットワーク網を介して、あるいは内臓の辞書ファイル等を参照して属性情報が一致するものを順に再生（表示）することで、視聴者の利便性を向上できる。なお、カメラにより取得した顔画像データに基づいて、性別や年齢層を判別することにより、属性情報に基づいて取得するウィジェットが表示すべき情報の内容を、より視聴者の好みに整合させることが可能となる。 In this way, attribute information that can be displayed (played back) in the currently activated widget is set as a keyword by taking it from the viewer ’s conversation for items that the viewer wants or is expected to need, It is possible to improve the convenience of the viewer by sequentially reproducing (displaying) the matching attribute information through a network or referring to a built-in dictionary file or the like. It should be noted that the content of information to be displayed by the widget acquired based on the attribute information can be more matched to the viewer's preference by determining the gender and age group based on the face image data acquired by the camera. It becomes possible.
図１４は、図１１により説明したウィジェットの登録と削除を実現する別の実施の例を表示画面の遷移例により示す。 FIG. 14 shows another example of realizing the registration and deletion of the widget described with reference to FIG.
任意のウィジェットが起動されている状態（画面例［１０１］）においてウィジェットが表示されていない領域を、操作者が触れることで、予め保持されているウィジェットを追加するモードが起動される（画面例［１１１］）。 When an arbitrary widget is activated (screen example [101]), an operator touches an area where no widget is displayed, thereby starting a mode for adding a previously held widget (screen example). [111]).
追加しようとしているウィジェットを画面例［１１１］面内でドラッグ（操作者の指が触れている状態を維持しながら表示領域内を移動）し、ウィジェットを動作させたい位置で、指を離すことで、画面例［１１１］で選択されたウィジェットが、動作させたい位置に移動され、登録される（画面例［１１２］）。 By dragging the widget to be added in the [111] plane of the screen (moving within the display area while keeping the finger of the operator touching) and releasing the finger at the position where you want the widget to operate The widget selected in the screen example [111] is moved to the position where it is desired to be operated and registered (screen example [112]).
以下、画面例［１１２］で移動された位置でドラッグしたウィジェットを起動してよ異場合には、その位置で『はい（あるいは「ＯＫ」）』を入力することで、ウィジェットが追加される（画面例［１１３］）。 Hereinafter, if the dragged widget is activated at the moved position in the screen example [112], the widget is added by inputting “Yes (or“ OK ”)” at the position ( Screen example [113]).
一方、既に登録（表示領域内で起動）されているウィジェットを削除する場合は、削除しようとするウィジェットに触れることで、削除モードが起動されるとともに削除のために選択されたウィジェットをその位置へ移動するか否かを確認する設定画面が表示される（画面例［１２１］）。なお、画面例［１２１］においては、削除、あるいは移動された位置においてウィジェットを継続して利用するかが、操作者の入力指示により設定可能である。 On the other hand, when deleting a widget that has already been registered (launched in the display area), touching the widget to be deleted activates the delete mode and moves the widget selected for deletion to that position. A setting screen for confirming whether or not to move is displayed (screen example [121]). In the screen example [121], whether to continue using the widget at the position where it is deleted or moved can be set by an input instruction from the operator.
また、表示領域内に表示されているが起動していないウィジェットについては、表示されているウィジェットに操作者が触れることで、ウィジェットが起動し、ウィジェットに固有の動作（ウィジェットが所望する動作）が実行される（画面例［１３１］）。 For widgets that are displayed in the display area but are not activated, the operator touches the displayed widget to activate the widget, and the widget's specific behavior (the behavior desired by the widget) Executed (screen example [131]).
なお、図１４に示した例は、タッチスクリーンの機能を利用してウィジェットの追加と削除（起動位置の変更）を実行するための制御の一例であり、タッチスクリーンを用いる表示装置において広く利用されている任意の制御方法を用いることができる。また、個々のウィジェットは、表示領域内の任意の位置に配置できる。 The example shown in FIG. 14 is an example of control for adding and deleting widgets (changing the activation position) using the touch screen function, and is widely used in display devices using a touch screen. Any control method can be used. Individual widgets can be arranged at arbitrary positions in the display area.
また、ウィジェットに固有の動作（ウィジェットが所望する動作）とは、ウィジェットが、例えば「音楽プレーヤ」である場合には、操作者によるタッチ（ウィジェットへの指の接触）により、プレーヤとしての機能が開始され、あるいは既に動作中である場合において、例えば「音量設定（変更）」や「トラック選曲画面表示」およびそれらからの入力設定、等をあげることができる。なお、ウィジェットが、例えば「天気予報」である場合には、「予報対象地域変更」や「予報対象条件変更（翌日の予報や週間予報）」等を表示させることができる。 In addition, when the widget is a “music player”, for example, the operation unique to the widget (the operation desired by the widget) is a function of the player as a result of touch by the operator (contact of the finger with the widget). When started or already in operation, for example, “volume setting (change)”, “track music selection screen display”, input settings from these, and the like can be given. For example, when the widget is “weather forecast”, “forecast target area change”, “forecast target condition change (prediction for next day or weekly forecast)”, and the like can be displayed.
図１５は、顔認証／照合処理装置の構成例を説明する図である。 FIG. 15 is a diagram illustrating a configuration example of the face authentication / collation processing apparatus.
図２により説明したデジタルフォトフレームにおいて、付属するカメラ１００ａにより撮影された顔画像データは、顔認証／照合処理装置１により、顔情報（顔イメージ画像）として取得され、認証と照合が実行される、なお、顔認証処理／照合処理以外は、カメラが付属する側の機器（この例ではデジタルフォトフレーム）の制御部に分担される（図２のデジタルフォトフレームにおいては、主制御回路１２０と呼称する）により処理されることは、言うまでもない。
In the digital photo frame described with reference to FIG. 2, face image data photographed by the attached
顔認証／照合処理装置１は、（認証・照合用）主制御部１１１、画像インタフェース部１１２、通信インタフェース部１１３、顔検出部１１４、顔照合部１１５、記憶部１１７等を含む。なお、記憶部１１７には、照合データベースが格納されている。
The face authentication /
主制御部１１１は、図示しないが、プログラムメモリ、ワークメモリなどを持つＭＰＵにより構成され、ＭＰＵがプログラムメモリに記憶されているプログラム（ファームウエア）を実行することにより種々な機能を実現している。
Although not shown, the
画像インタフェース部１１２は、カメラ１００ａにより撮影された画像（カメラの画素数に応じた解像度のビットマップデータ）を、顔認証／照合処理装置１に入力するためのインタフェースである。また、通信インタフェース部１１３は、映像音声再生装置の主制御回路１２０との通信を行うためのインタフェースである。
The
顔認証／照合処理装置１は、主制御回路１２０からの要求に応じてカメラ１００ａから取り込んだ顔画像の認証と照合を実行し、その結果を、通信インタフェース部１１３を介して主制御回路１２０へフィードバックする。
The face authentication /
顔照合部１１５は、顔検出部１１４で検出した顔画像と記憶部１１７が保持するデータベース（顔イメージ、顔の特徴点に相当する情報を含むデータベース）に記憶されている特定の人物の顔画像データと、照合する。
The
顔検出部１１４は、カメラ１００ａにより撮影された画像から撮影された人物の顔画像を検出する。その際、顔検出部１１４では、撮影された画像データの階調やコントラストを適宜変え、輪郭強調処理をするなどして、写っている顔画像のエッジ（顔の輪郭、目、鼻、口の輪郭など）を浮き出させ、目、鼻、口などを含む顔のパターンを検出しやすくする。これにより、顔画像が存在する領域とその周辺の背景画像が存在する領域との境界が明確となり、背景画像部分の削除処理が容易になる。
The
以下、顔画像を含む矩形領域の左上隅を原点とする２次元の座標値等を用い、顔画像を含む２次元領域ＦＡを定める。 Hereinafter, a two-dimensional area FA including a face image is determined using a two-dimensional coordinate value having the upper left corner of the rectangular area including the face image as an origin.
続いて、顔検出部１１４により、顔画像の２次元領域ＦＡにおいて、顔検出テンプレート（予め用意された１以上の標準顔パターン）を移動させながら、領域ＦＡ上の顔パターンと予め用意された標準顔パターンとの相関値を求める。
Subsequently, the
このようにして、２次元座標で表される特定位置（ｘ，ｙ）にある顔パターンの特徴点（目、鼻、口等）について、標準パターンとの相関値をコード化する。その結果が、図１に示したサーバ１０００の宛先管理テーブル１００１における顔の特徴点に記載される。このとき、テーブル１００１において顔の特徴点が記載される行は、顔の相関値を求めた原顔画像のイメージが登録された行となる（例えばＩＤ＝１の行に登録された顔イメージの特徴点の相関値コードは、ＩＤ＝１の行に記載される）。
In this way, the correlation value with the standard pattern is coded for the feature points (eyes, nose, mouth, etc.) of the face pattern at the specific position (x, y) represented by the two-dimensional coordinates. The result is described in the feature points of the face in the destination management table 1001 of the
いま、予め用意されたサイズの異なる複数の標準顔パターンをｇｓ（ｉ，ｊ）とし、この標準顔パターンｇｓ（ｉ，ｊ）と２次元領域ＦＡの画像ｆ（ｘ，ｙ）内の局所領域（目、鼻、口などの領域）との相関をＭｓ（ｘ，ｙ）とする。この場合、局所領域における相関Ｍｓ（ｘ，ｙ）は、例えば
Ｍｓ（ｘ，ｙ）＝
Σｆ（ｘ＋ｉ，ｙ＋ｉ）・ｇｓ（ｉ，ｊ）／
｛Σｆ（ｘ＋ｉ，ｙ＋ｉ）・Σｇｓ（ｉ，ｊ）｝ …（１）
として求めることができる。ここで、サイズの異なる標準顔パターンｇｓ（ｉ，ｊ）は、決められたサイズで予め収集した顔パターンを平均するなどして作成できる。
Now, a plurality of standard face patterns of different sizes prepared in advance are defined as gs (i, j), and this standard face pattern gs (i, j) and a local area in the image f (x, y) of the two-dimensional area FA. Let Ms (x, y) be a correlation with (regions such as eyes, nose, mouth). In this case, the correlation Ms (x, y) in the local region is, for example,
Ms (x, y) =
Σf (x + i, y + i) · gs (i, j) /
{Σf (x + i, y + i) · Σgs (i, j)} (1)
Can be obtained as Here, standard face patterns gs (i, j) having different sizes can be created by averaging face patterns collected in advance with a predetermined size.
上述した相関Ｍｓの求め方については、公知の方法を採用することができる。その一例として、特開２００３−１０８９３５号公報開示された「証明用媒体発行装置および本人照合装置」を参考までに挙げておく（この公報の段落００４３〜００５７には、顔認証／照合処理で利用可能な具体例が示されている）。 A known method can be adopted for obtaining the correlation Ms described above. As an example, the “certification medium issuing device and identity verification device” disclosed in Japanese Patent Application Laid-Open No. 2003-108935 is cited for reference (paragraphs 0043 to 0057 of this publication are used in face authentication / verification processing). Possible examples are given).
顔認証／照合処理装置１に顔認証／照合処理を指示し、その処理結果を受けて上述した処理を実行する映像音声再生装置の主制御回路１２０には、機器構成に応じて差異があるが、顔画像表示やビデオメール再生を行う表示部１２１、メール着信の音声案内やビデオメール内の音声出力を行うスピーカ１２２、スピーカ１２２から出す音声案内の音声データメモリを持ち、その音声データから音声信号を合成する音声合成部１２３、表示部１２１で表示するサムネイルやダイアログあるいは絵文字が展開されるビデオメモリ１２４、ユーザ操作を受けるリモコン１２５、ビデオレターやその他の情報を保持するハードディスクドライブ（ＨＤＤ）１２６、ビデオレターやその他の情報を保持するメモリ（ＩＣカード）１２７等が接続されている。この顔認証／照合処理装置１は、インターネットあるいはホームネットワーク経由で、ビデオレターサーバ１０００の宛先管理テーブル１００１との間で、その内容を、適宜取り出し、あるいはその内容を適宜書き替える（追加登録や不要情報の削除）ことができることはいうまでもない。なお、顔照合部１１５においては、詳述しないが、顔イメージから、性別や年齢層を推定（判断）することができることも周知である。
The
また、図１５に示した顔認識・照合装置１および映像音声再生装置の主制御回路１２０の機能は、図１に一例を示したさまざまな家庭内ユーザ端末装置である電子機器（テレビジョン受信装置１０、レコーダ装置２０、テレビジョン受信装置２００、パーソナルピュータ３００、ゲーム機４００、携帯電話５００等）のそれぞれに組み込むことができる。ただし、顔認証の処理能力は、個々の機器で異なっていてもよい。例えば、テレビジョン受信装置２００やパーソナルコンピュータ３００では、１画面に複数の顔があってもそれらを別々に認識できるものとし、ゲーム機４００や携帯電話５００においては、カメラの前のユーザの顔を、１人だけ認識するものとすることができる。
Further, the functions of the
以上説明したように、この発明の一つの実施の形態によれば、視聴者（操作者）が見たときに、表示される写真あるいは再生されるコンテンツを任意に選ぶことができる。また、同様に、起動されるウィジェットを、視聴者（操作者）に応じて任意に設定することができる。特に、室内（その場）にいる視聴者（操作者）が１人である場合には、実質的に各人専用端末化された映像音声再生装置として利用できる。すなわち、操作者（視聴者）が視線を合わせることで、一目で（個人に合わせた）情報を得ることができる。なお、個人向け表示条件は、１度設定すれば、引き続く操作は実質的に不要となる。特に、同席者や家族に対して見せないと決めた映像等は、操作者のみが在席の場合以外は再生されないため、映像音楽再生装置を共用する各人の同席を気にする必要がなくなる。 As described above, according to one embodiment of the present invention, when a viewer (operator) sees, a photograph to be displayed or a content to be reproduced can be arbitrarily selected. Similarly, the widget to be activated can be arbitrarily set according to the viewer (operator). In particular, when there is only one viewer (operator) in the room (situ), it can be used as a video / audio reproduction device that is practically dedicated to each person. That is, the operator (viewer) can adjust the line of sight to obtain information (according to the individual) at a glance. Note that once the personal display conditions are set, subsequent operations are substantially unnecessary. In particular, videos that are decided not to be shown to attendees and family members will not be played except when only the operator is present, so there is no need to worry about each person sharing the video and music playback device. .
またさらに、この発明の一つの実施の形態によれば、顔認識により、周りにいる人に応じた動作が可能であって、見る人に合わせた情報や音楽を自動的に表示もしくは再生することができる。また、ウィジェットを見せる人を選択する手段とウィジェットを表示する手段を持ち、選択した人が画面を見たら、登録したウィジェットが表示される。さらに、時間帯を区切って、時間情報に基づいて異なるウィジェットを表示することができる。なお、ウィジェットを見せない人を選択する手段を持ち、見せないと設定した人がいたら特定のウィジェットについては表示しないことができる。逆に、視聴者（操作者）のみが在席である場合には、予め設定した全てのウィジェットを再生できる。 Still further, according to one embodiment of the present invention, it is possible to operate according to the people around by face recognition, and automatically display or reproduce information and music suitable for the viewer. Can do. In addition, there are means for selecting a person to display the widget and means for displaying the widget. When the selected person views the screen, the registered widget is displayed. Further, different widgets can be displayed based on the time information by dividing the time zone. It should be noted that there is a means for selecting a person who does not show the widget, and if there is a person who has set not to show, a specific widget can not be displayed. On the contrary, when only the viewer (operator) is present, all preset widgets can be reproduced.
またさらに、この発明の一つの実施の形態によれば、視聴者（操作者）の会話から話題（キーワード）を取得し、取得したキーワードに属性が一致する情報を提示できる。 Furthermore, according to one embodiment of the present invention, a topic (keyword) can be acquired from the conversation of a viewer (operator), and information whose attributes match the acquired keyword can be presented.
なお、視聴する人がいなくなった場合には、表示を停止することで省エネルギーを実現できる。 If there are no more viewers, energy saving can be realized by stopping the display.
上記したように、この発明の一つの実施の形態によれば、視聴者（操作者）が見たときに、表示される写真あるいは再生されるコンテンツを任意に選ぶことができる。また、同様に、起動されるウィジェットを、視聴者（操作者）に応じて任意に設定することができる。特に、室内（その場）にいる視聴者（操作者）が１人である場合には、実質的に各人専用端末化された映像音声再生装置として利用できる。すなわち、操作者（視聴者）が視線を合わせることで、一目で（個人に合わせた）情報を得ることができる。なお、個人向け表示条件は、１度設定すれば、引き続く操作は実質的に不要となる。特に、同席者や家族に対して見せないと決めた映像等は、操作者のみが在席の場合以外は再生されないため、映像音楽再生装置を共用する各人の同席を気にする必要がなくなる。 As described above, according to one embodiment of the present invention, when a viewer (operator) sees, a photograph to be displayed or a content to be reproduced can be arbitrarily selected. Similarly, the widget to be activated can be arbitrarily set according to the viewer (operator). In particular, when there is only one viewer (operator) in the room (situ), it can be used as a video / audio reproduction device that is practically dedicated to each person. That is, the operator (viewer) can adjust the line of sight to obtain information (according to the individual) at a glance. Note that once the personal display conditions are set, subsequent operations are substantially unnecessary. In particular, videos that are decided not to be shown to attendees and family members will not be played except when only the operator is present, so there is no need to worry about each person sharing the video and music playback device. .
また、この発明の一つの実施の形態によれば、顔認識により、周りにいる人に応じた動作が可能であって、見る人に合わせた情報や音楽を自動的に表示もしくは再生することができる。また、ウィジェットを見せる人を選択する手段とウィジェットを表示する手段を持ち、選択した人が画面を見たら、登録したウィジェットが表示される。さらに、時間帯を区切って、時間情報に基づいて異なるウィジェットを表示することができる。なお、ウィジェットを見せない人を選択する手段を持ち、見せないと設定した人がいたら特定のウィジェットについては表示しないことができる。逆に、視聴者（操作者）のみが在席である場合には、予め設定した全てのウィジェットを再生できる。 In addition, according to one embodiment of the present invention, it is possible to operate according to the people around by face recognition, and to automatically display or reproduce information and music suitable for the viewer. it can. In addition, there are means for selecting a person to display the widget and means for displaying the widget. When the selected person views the screen, the registered widget is displayed. Further, different widgets can be displayed based on the time information by dividing the time zone. It should be noted that there is a means for selecting a person who does not show the widget, and if there is a person who has set not to show, a specific widget can not be displayed. On the contrary, when only the viewer (operator) is present, all preset widgets can be reproduced.
さらに、この発明の一つの実施の形態によれば、視聴者（操作者）の会話から話題（キーワード）を取得し、取得したキーワードに属性が一致する情報を提示できる。なお、視聴する人がいなくなった場合には、表示を停止することで省エネルギーを実現できる。 Furthermore, according to one embodiment of the present invention, it is possible to acquire a topic (keyword) from the conversation of a viewer (operator) and present information whose attributes match the acquired keyword. If there are no more viewers, energy saving can be realized by stopping the display.
１…顔認証／照合処理装置（ハードウエアまたはファームウエアもしくはソフトウエア）、１０…テレビジョン受信装置（家庭内ユーザ端末１）、１０ａ…テレビジョン受信装置一体型デジタルカメラ（視聴者（ユーザ）の顔情報／視聴者（ユーザ）の在席状況収集用）、２０…ビデオレコーダ装置（家庭内ユーザ端末２）、２０ａ…ビデオレコーダ装置一体型デジタルカメラ（視聴者（ユーザ）の顔情報／視聴者（ユーザ）の在席状況収集用）、１００…デジタルフォトフレーム（映像音声再生装置／家庭内ユーザ端末３）、１００ａ…デジタルフォトフレーム一体型デジタルカメラ（視聴者（ユーザ）の顔情報／視聴者（ユーザ）の在席状況収集用）、１２０…デジタルフォトフレーム等の映像音声再生装置（家庭内ユーザ端末）の制御部、２００…デジタルテレビジョン受信装置、２００ａ…テレビジョン受信装置一体型デジタルカメラ（視聴者（ユーザ）の顔情報収集用）、３００…パーソナルコンピュータ、３００ａ…パーソナルコンピュータ一体型デジタルカメラ（視聴者（ユーザ）の顔情報収集用）、４００…コンピュータゲーム機（カメラ付ゲーム機）、４００ａ…ゲーム機一体型デジタルカメラ（視聴者（ユーザ）の顔情報収集用）、５００…携帯電話器）、５００ａ…携帯電話器のカメラ装置（視聴者（ユーザ）の顔情報収集用）、１０００…ビデオレターサーバ、１００１…宛先管理テーブル。
DESCRIPTION OF
Claims (11)
前記記録された視聴者情報に対応して、映像表示手段に表示する情報を設定する設定手
段と、
前記記録手段に記録された視聴者情報に対応した視聴者のみが前記顔認識手段にて認識
された場合に、前記設定手段にて設定された第１の情報を前記映像表示手段に再生し、
前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に
対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第１の情報と異なる第
２の情報を前記映像表示手段に再生する情報再生手段と、
前記第１の情報または前記第２の情報の前記映像表示手段における再生位置の設定を視
聴者に許可する再生位置設定手段を有し、
前記情報再生手段は、第１時間帯には前記第１又は第２の情報として１以上の第１アプ
リケーションによる情報の再生を行い、前記第１時間帯とは異なる第２時間帯には前記第
１又は第２の情報として前記１以上の第１アプリケーションとは異なる１以上の第２アプ
リケーションによる情報の再生を行うものであって、
前記第１時間帯に前記第１の情報として情報を再生するアプリケーションであって、複
数の第１アプリケーションのうちの少なくとも１以上と、前記第１時間帯の前記第２の情
報として情報を再生するアプリケーションであって、前記複数の第１アプリケーションの
うちの少なくとも１以上とは、相異するものであって、
前記第２時間帯に前記第１の情報として情報を再生するアプリケーションであって、複
数の第２アプリケーションのうちの少なくとも１以上と、前記第２時間帯の前記第２の情
報として情報を再生するアプリケーションであって、前記複数の第２アプリケーションの
うちの少なくとも１以上とは、相異するものであって、
複数の第１アプリケーションと、複数の第２アプリケーションとは、前記第１時間帯で
あるか前記第２の時間帯であるか、及び、前記記録手段に記録された視聴者情報に対応し
た視聴者のみが前記顔認識手段にて認識されたか前記記録された視聴者情報に対応した視
聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて
認識されたか、に応じて、選択的に、起動され、
複数の第１アプリケーションと、複数の第２アプリケーションとのうち、選択的に起動
されたアプリケーションは、前記顔認識手段にて認識された視聴者が存在しなくなった場
合に、停止される情報再生装置。 Recording means for recording viewer information based on face information recognized by the face recognition means;
Setting means for setting information to be displayed on the video display means corresponding to the recorded viewer information;
When only the viewer corresponding to the viewer information recorded in the recording means is recognized by the face recognition means, the first information set by the setting means is reproduced on the video display means,
When a viewer corresponding to the recorded viewer information and a viewer not corresponding to the viewer information recorded in the recording means are recognized by the face recognition means, the first information is different from the first information. Information reproducing means for reproducing the information of 2 on the video display means;
Replay position setting means for allowing a viewer to set the replay position of the first information or the second information in the video display means;
The information reproducing means reproduces information by one or more first applications as the first or second information in a first time zone, and in the second time zone different from the first time zone, the first time zone. The information is reproduced by one or more second applications different from the one or more first applications as one or second information ,
An application for reproducing information as the first information in the first time zone,
At least one of the first applications and the second information of the first time period.
An application for reproducing information as information, wherein the plurality of first applications
At least one of them is different,
An application for reproducing information as the first information during the second time period,
At least one of the second applications and the second information in the second time period.
An application for reproducing information as information, wherein the plurality of second applications
At least one of them is different,
The plurality of first applications and the plurality of second applications are in the first time period.
Corresponding to the viewer information recorded in the recording means.
A viewer corresponding to the recorded viewer information or only the viewer recognized by the face recognition means.
A viewer and a viewer who does not correspond to the viewer information recorded in the recording means
Selectively activated, depending on whether it was recognized,
Selectively start from a plurality of first applications and a plurality of second applications
If the viewer recognized by the face recognition means no longer exists,
In this case, the information reproducing apparatus to be stopped .
の視聴者情報を設定する手段を有した請求項１記載の情報再生装置。 2. The information reproducing apparatus according to claim 1, further comprising means for setting a specific application and specific viewer information for which the specific application is not desired to be displayed.
段に再生する請求項１記載の情報再生装置。 The information reproducing apparatus according to claim 1, wherein the information reproducing apparatus reproduces different applications for the father and mother of the family on the video display unit.
映像表示手段の画面上で前記第１又は第２の情報の画像にユーザが指でタッチしドラッグ
し、所望の位置で該指を離すことで前記再生位置を設定可能とする手段と、
前記画面上で前記第１又は第２の情報の画像にユーザが指でタッチしドラッグし所望の
位置で該指が離された場合、前記画面上に、この場所に前記ドラッグした前記画像を表示
するのか、又は、表示しないのかを問い合わせるメッセージを表示する手段と、又は、
前記画面上で前記第１又は第２の情報の画像にユーザが指でタッチしドラッグし所望の
位置で該指が離された場合、前記画面上に、この場所でよいか否かの問い合わせメッセー
ジを表示する手段との何れか少なくとも１つを含む
請求項１記載の情報再生装置。 The reproduction position setting means, when setting the reproduction position of the first or second information, a user touches and drags the first or second information image on the screen of the video display means with a finger. And means for enabling setting of the reproduction position by releasing the finger at a desired position;
When the user touches and drags a finger on the image of the first or second information on the screen and the finger is released at a desired position, the dragged image is displayed at this location on the screen. Means for displaying a message asking whether to display or not, or
When the user touches and drags on the image of the first or second information with the finger on the screen and the finger is released at a desired position, an inquiry message as to whether or not this location is acceptable on the screen The information reproducing apparatus according to claim 1, further comprising at least one of:
段と、前記映像表示手段に情報を再生する再生手段とを関連つけて制御し、以下のことを
実行させる情報再生用のプログラムであって、
前記顔認識手段にて認識された顔の情報に基づいて視聴者情報を記録すること、
前記記録された視聴者情報に対応して、映像表示手段に表示する情報を設定すること、
前記記録手段に記録された視聴者情報に対応した視聴者のみが前記顔認識手段にて認識
された場合に、前記設定手段にて設定された第１の情報を前記映像表示手段に再生するこ
と、
前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に
対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第１の情報と異なる第
２の情報を前記映像表示手段に再生すること、
第１時間帯には前記第１又は第２の情報として１以上の第１アプリケーションによる情
報の再生を行い、前記第１時間帯とは異なる第２時間帯には前記第１又は第２の情報とし
て前記１以上の第１アプリケーションとは異なる１以上の第２アプリケーションによる情
報の再生を行うこと、を実行させる情報再生用のプログラムであって、
前記第１時間帯に前記第１の情報として情報を再生するアプリケーションであって、複
数の第１アプリケーションのうちの少なくとも１以上と、前記第１時間帯の前記第２の情
報として情報を再生するアプリケーションであって、前記複数の第１アプリケーションの
うちの少なくとも１以上とは、相異するものであって、
前記第２時間帯に前記第１の情報として情報を再生するアプリケーションであって、複
数の第２アプリケーションのうちの少なくとも１以上と、前記第２時間帯の前記第２の情
報として情報を再生するアプリケーションであって、前記複数の第２アプリケーションの
うちの少なくとも１以上とは、相異するものであって、
複数の第１アプリケーションと、複数の第２アプリケーションとは、前記第１時間帯で
あるか前記第２の時間帯であるか、及び、前記記録手段に記録された視聴者情報に対応し
た視聴者のみが前記顔認識手段にて認識されたか前記記録された視聴者情報に対応した視
聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて
認識されたか、に応じて、選択的に、起動され、
複数の第１アプリケーションと、複数の第２アプリケーションとのうち、選択的に起動
されたアプリケーションは、前記顔認識手段にて認識された視聴者が存在しなくなった場
合に、停止される情報再生用のプログラム。 Control is performed in association with a face recognition unit, an information recording unit, a setting unit for setting information to be displayed on the video display unit, and a playback unit for reproducing information on the video display unit. A program for reproducing information,
Recording viewer information based on face information recognized by the face recognition means;
Setting information to be displayed on the video display means in response to the recorded viewer information;
When only the viewer corresponding to the viewer information recorded in the recording means is recognized by the face recognition means, the first information set by the setting means is reproduced on the video display means. ,
When a viewer corresponding to the recorded viewer information and a viewer not corresponding to the viewer information recorded in the recording means are recognized by the face recognition means, the first information is different from the first information. Reproducing the information of 2 on the video display means;
Information is reproduced by one or more first applications as the first or second information in the first time zone, and the first or second information is reproduced in a second time zone different from the first time zone. An information reproduction program for executing information reproduction by one or more second applications different from the one or more first applications ,
An application for reproducing information as the first information in the first time zone,
At least one of the first applications and the second information of the first time period.
An application for reproducing information as information, wherein the plurality of first applications
At least one of them is different,
An application for reproducing information as the first information during the second time period,
At least one of the second applications and the second information in the second time period.
An application for reproducing information as information, wherein the plurality of second applications
At least one of them is different,
The plurality of first applications and the plurality of second applications are in the first time period.
Corresponding to the viewer information recorded in the recording means.
A viewer corresponding to the recorded viewer information or only the viewer recognized by the face recognition means.
A viewer and a viewer who does not correspond to the viewer information recorded in the recording means
Selectively activated, depending on whether it was recognized,
Selectively start from a plurality of first applications and a plurality of second applications
If the viewer recognized by the face recognition means no longer exists,
In this case, the program for reproducing information is stopped .
の視聴者情報を設定することを実行させる請求項５記載の情報再生用のプログラム。 6. The information reproducing program according to claim 5, further comprising: setting a specific application and specific viewer information for which the specific application is not desired to be displayed.
行させる請求項５記載の情報再生用のプログラム。 6. The information reproduction program according to claim 5, wherein said video display means reproduces an application different for a family father and mother.
１又は第２の情報の画像にユーザが指でタッチしドラッグし、所望の位置で該指を離すこ
とで前記再生位置を設定可能とすることと、
前記画像から、前記所望の位置で該指が離されたとき、前記画面上に、この場所に前記
ドラッグした前記画像を表示するのか、又は、表示しないのかを問い合わせるメッセージ
を表示すること、又は前記画像から、前記所望の位置で該指が離されたとき、前記画面上
に、この場所でよいか否かの問い合わせメッセージを表示することの何れかを実行させる
請求項５記載の情報再生用のプログラム。 During the setting process of the reproduction position of the first or second information, the user touches and drags the finger on the image of the first or second information on the screen of the display means, and moves the finger at a desired position. Allowing the playback position to be set by releasing;
When the finger is released from the image at the desired position, a message asking whether to display the dragged image at this location or not to be displayed is displayed on the screen, or 6. The information reproducing apparatus according to claim 5, wherein when the finger is released from the image at the desired position, an inquiry message as to whether or not the place is acceptable is displayed on the screen. program.
段と、前記映像表示手段に情報を再生する再生手段とを関連つけて制御する情報再生方法
であって、
前記顔認識手段にて認識された顔の特徴点情報に基づいて視聴者情報を記録し、
前記記録された視聴者情報に対応して、映像表示手段に表示する情報を設定し、
前記記録手段に記録された視聴者情報に対応した視聴者のみが前記顔認識手段にて認識
された場合に、前記設定手段にて設定された第１の情報を前記映像表示手段に再生し、
前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に
対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第１の情報と異なる第
２の情報を前記映像表示手段に再生し、
第１時間帯には前記第１又は第２の情報として１以上の第１アプリケーションによる情
報の再生を行い、前記第１時間帯とは異なる第２時間帯には前記第１又は第２の情報とし
て前記１以上の第１アプリケーションとは異なる１以上の第２アプリケーションによる情
報の再生を行うようにしたものであって、
前記第１時間帯に前記第１の情報として情報を再生するアプリケーションであって、複
数の第１アプリケーションのうちの少なくとも１以上と、前記第１時間帯の前記第２の情
報として情報を再生するアプリケーションであって、前記複数の第１アプリケーションの
うちの少なくとも１以上とは、相異するものであって、
前記第２時間帯に前記第１の情報として情報を再生するアプリケーションであって、複
数の第２アプリケーションのうちの少なくとも１以上と、前記第２時間帯の前記第２の情
報として情報を再生するアプリケーションであって、前記複数の第２アプリケーションの
うちの少なくとも１以上とは、相異するものであって、
複数の第１アプリケーションと、複数の第２アプリケーションとは、前記第１時間帯で
あるか前記第２の時間帯であるか、及び、前記記録手段に記録された視聴者情報に対応し
た視聴者のみが前記顔認識手段にて認識されたか前記記録された視聴者情報に対応した視
聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて
認識されたか、に応じて、選択的に、起動され、
複数の第１アプリケーションと、複数の第２アプリケーションとのうち、選択的に起動
されたアプリケーションは、前記顔認識手段にて認識された視聴者が存在しなくなった場
合に、停止される情報再生方法。 An information reproduction method for controlling a face recognition unit, an information recording unit, a setting unit for setting information to be displayed on a video display unit, and a reproduction unit for reproducing information on the video display unit in association with each other. ,
Record viewer information based on the facial feature point information recognized by the face recognition means,
Corresponding to the recorded viewer information, setting information to be displayed on the video display means,
When only the viewer corresponding to the viewer information recorded in the recording means is recognized by the face recognition means, the first information set by the setting means is reproduced on the video display means,
When a viewer corresponding to the recorded viewer information and a viewer not corresponding to the viewer information recorded in the recording means are recognized by the face recognition means, the first information is different from the first information. 2 information is reproduced on the video display means,
Information is reproduced by one or more first applications as the first or second information in the first time zone, and the first or second information is reproduced in a second time zone different from the first time zone. As described above, information is reproduced by one or more second applications different from the one or more first applications ,
An application for reproducing information as the first information in the first time zone,
At least one of the first applications and the second information of the first time period.
An application for reproducing information as information, wherein the plurality of first applications
At least one of them is different,
An application for reproducing information as the first information during the second time period,
At least one of the second applications and the second information in the second time period.
An application for reproducing information as information, wherein the plurality of second applications
At least one of them is different,
The plurality of first applications and the plurality of second applications are in the first time period.
Corresponding to the viewer information recorded in the recording means.
A viewer corresponding to the recorded viewer information or only the viewer recognized by the face recognition means.
A viewer and a viewer who does not correspond to the viewer information recorded in the recording means
Selectively activated, depending on whether it was recognized,
Selectively start from a plurality of first applications and a plurality of second applications
If the viewer recognized by the face recognition means no longer exists,
Information playback method to be stopped .
の視聴者情報を設定する請求項９記載の情報再生方法。 The information reproducing method according to claim 9, further comprising: setting a specific application and specific viewer information for which the specific application is not desired to be shown.
記載の情報再生方法。 The application which is different between the father and mother of the family is reproduced on the video display means.
The information reproduction method described.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011087218A JP5496144B2 (en) | 2011-04-11 | 2011-04-11 | Information reproducing apparatus, information reproducing program, and information reproducing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011087218A JP5496144B2 (en) | 2011-04-11 | 2011-04-11 | Information reproducing apparatus, information reproducing program, and information reproducing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009125606A Division JP2010272077A (en) | 2009-05-25 | 2009-05-25 | Method and device for reproducing information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011217379A JP2011217379A (en) | 2011-10-27 |
| JP5496144B2 true JP5496144B2 (en) | 2014-05-21 |
Family
ID=44946585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011087218A Expired - Fee Related JP5496144B2 (en) | 2011-04-11 | 2011-04-11 | Information reproducing apparatus, information reproducing program, and information reproducing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5496144B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6555858B2 (en) * | 2014-08-01 | 2019-08-07 | シャープ株式会社 | Apparatus, audio output method, audio output program, network system, server, and communication apparatus |
| JP7084274B2 (en) * | 2018-10-18 | 2022-06-14 | マクセル株式会社 | Video display device |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000322358A (en) * | 1999-05-11 | 2000-11-24 | Fujitsu Ltd | Data display device and recording medium with program for information display recorded thereon |
| JP4046994B2 (en) * | 2001-12-06 | 2008-02-13 | キヤノン株式会社 | Information processing apparatus and information processing method |
| GB2410359A (en) * | 2004-01-23 | 2005-07-27 | Sony Uk Ltd | Display |
| JP2008033862A (en) * | 2006-06-30 | 2008-02-14 | Crape:Kk | Method for displaying document data |
| JP2008165009A (en) * | 2006-12-28 | 2008-07-17 | Fujifilm Corp | Image display device |
| JP2010016432A (en) * | 2008-07-01 | 2010-01-21 | Olympus Corp | Digital photograph frame, information processing system, control method, program, and information storage medium |
-
2011
- 2011-04-11 JP JP2011087218A patent/JP5496144B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011217379A (en) | 2011-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010272077A (en) | Method and device for reproducing information | |
| US10999628B2 (en) | TV mode change in accordance with number of viewers present | |
| TW484108B (en) | Automatic user performance capture system | |
| US10289273B2 (en) | Display device providing feedback based on image classification | |
| US20230195776A1 (en) | Behavioral Curation of Media Assets | |
| US9712862B2 (en) | Apparatus, systems and methods for a content commentary community | |
| KR101432457B1 (en) | Content capture device and methods for automatically tagging content | |
| TWI581128B (en) | Method, system, and computer-readable storage memory for controlling a media program based on a media reaction | |
| CN109118290B (en) | Method, system, and computer-readable non-transitory storage medium | |
| US20150100578A1 (en) | Systems and methods for adding descriptive metadata to digital content | |
| KR102490438B1 (en) | Display apparatus and control method thereof | |
| US20120249575A1 (en) | Display device for displaying related digital images | |
| US20180160194A1 (en) | Methods, systems, and media for enhancing two-dimensional video content items with spherical video content | |
| KR102071576B1 (en) | Method and terminal for reproducing content | |
| US9270950B2 (en) | Identifying a locale for controlling capture of data by a digital life recorder based on location | |
| CN106804000A (en) | Direct playing and playback method and device | |
| KR20160144400A (en) | System and method for output display generation based on ambient conditions | |
| WO2011031594A2 (en) | Time shifted video communications | |
| CN102710991A (en) | Information processing apparatus, information processing method, and program | |
| US20170255654A1 (en) | Image display device providing individualized feedback | |
| JPWO2007122914A1 (en) | Personal information management device | |
| KR20170011177A (en) | Display apparatus and control method thereof | |
| US20120150870A1 (en) | Image display device controlled responsive to sharing breadth | |
| JP2009099142A (en) | Image sharing system and method, and content sharing system and method | |
| CN107113467A (en) | User terminal apparatus, system and its control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130201 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130730 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130827 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130930 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20131028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140304 |
|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20140319 |
|
| A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20140617 |
|
| LAPS | Cancellation because of no payment of annual fees |