JP5150995B2 - 画像配信システム、ユーザ嗜好ベース制御システム、および方法、並びにコンピュータ・プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像配信システム、ユーザ嗜好ベース制御システム、および方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えばカメラによる取得画像、マイクによる取得音声情報をユーザの嗜好を反映した情報として取得することを可能とする画像配信システム、ユーザ嗜好ベース制御システム、および方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
昨今、インターネットを介した映像配信システム等により、例えばビルの屋上に配置したカメラをネットワーク接続したＰＣから操作してカメラ方向の操作、ズームアップなどの操作を行ない、ユーザの見たい画像を提示するサービスが普及している。また、個人においても所有するビデオカメラを使用して様々な映像を撮影し、編集することが日常的に行なわれている。
【０００３】
このような、画像情報、あるいは音声情報の取得処理において、情報取得装置、例えばカメラを操作するのは例えばＰＣを操作する個人であり、またビデオカメラを操作する個人である。このような情報取得装置は、各個人の嗜好に基づいて制御される。例えばビデオカメラで撮影対象を撮影しようとするユーザは、ユーザの見たい画像をカメラでとらえるようにカメラ方向を設定し、ズームの設定などを行なう。
【０００４】
このようなカメラワークにはそれぞれ個人特有のクセがあり、例えば動きの激しい画像が好みのユーザはカメラの動きも大きくなり、また動きの小さい画像が好みのユーザはカメラの動きも小さくなる傾向がある。人のビデオカメラの操作傾向を分析した図を図１に示す。図１は、複数人にビデオカメラにより画像の撮影を行なってもらい、撮影画像の分析を行い、縦方向および横方向の動きベクトルの大きさに対する各撮影者の分布状況をまとめた図である。
【０００５】
図において、上方にいくほど、垂直方向の動きベクトルが大、すなわち、縦方向の動きの激しい画像であることを示し、右にいくほど、水平方向の動きベクトルが大、すなわち、横方向の動きの激しい画像であることを示している。Ｘ印、および○印は、撮影者を示している。Ｘ印に該当する撮影者は、比較的動きの大きい画像を撮影しており、○印の人は動きの小さい穏やかな画像を撮影している。領域Ａの内部の人は、大きな動きが好みで、領域Ｂに属する人は小さな動きが好みであるといった判定が可能である。このように、各個人の撮影画像には特徴があり、この特徴は各個人の嗜好が反映したものとなる。
【０００６】
また、ネットワークを介したＰＣによるカメラ操作を可能とした構成においても、その操作は各個人の嗜好をベースにして制御されることになる。ネットワークを介したカメラ操作は、多くのユーザが順にカメラの制御権を取得して、所定時間のカメラ制御を行なう。
【０００７】
【発明が解決しようとする課題】
本発明は、人の操作に基づいて画像等の情報を取得する例えばカメラの操作情報を分析し、嗜好に応じた最適な画像の取得を可能とする画像配信システム、ユーザ嗜好ベース制御システム、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の第１の側面は、
ネットワークを介して画像データを配信する画像配信サーバと、
前記画像配信サーバに接続し、画像データを受信、表示するクライアント端末とを有し、
前記クライアント端末は、前記画像配信サーバの提示する画像データに対する指示データを入力し、前記画像配信サーバに送信し、
前記画像配信サーバは前記クライアント端末からの指示データに基づいて該画像配信サーバの提示画像の評価処理を実行し、評価処理に基づく最適画像選定処理を実行する構成を有することを特徴とする画像配信システムにある。
【０００９】
さらに、本発明の画像配信システムの一実施態様において、前記画像配信サーバの提示する画像データはクライアント端末から送信可能なカメラパラメータによって制御可能なカメラによって撮影された画像データであり、前記クライアント端末の入力する指示データは、前記カメラの制御に適用するカメラパラメータであり、前記画像配信サーバは前記クライアント端末から受信する多数のカメラパラメータの統計処理に基づいて最適カメラパラメータを選択し、該最適カメラパラメータの設定により前記カメラによって撮影された画像データを最適画像として選定する処理を実行する構成を有することを特徴とする。
【００１０】
さらに、本発明の画像配信システムの一実施態様において、前記画像配信サーバの提示する画像データは、複数の異なる画像データであり、前記クライアント端末の入力する指示データは、前記複数の異なる画像データに対する選択指示データまたは点数評価データであり、前記画像配信サーバは前記クライアント端末から受信する多数の選択指示データまたは点数評価データの統計処理に基づいて該画像配信サーバの提示する複数の異なる画像データの評価処理を実行し、該評価処理に基づく最適画像選定処理を実行する構成を有することを特徴とする。
【００１１】
さらに、本発明の画像配信システムの一実施態様において、前記画像配信サーバの提示する画像データは、複数の異なる画像データであり、前記クライアント端末の入力する指示データは、画像データに対する部分領域指示データであり、前記画像配信サーバは前記クライアント端末から受信する多数の部分領域指示データの統計処理に基づいて該画像配信サーバの提示する画像データの評価処理を実行し、該評価処理に基づく最適画像選定処理を実行する構成を有することを特徴とする。
【００１２】
さらに、本発明の第２の側面は、
画像データまたは音声データの記録を実行する情報取得装置の制御を、該情報取得装置を操作するユーザの嗜好行動特性対応データに基づく特徴量により実行するユーザ嗜好ベース制御システムであり、
ユーザの嗜好行動特性データを取得する情報取得部と、嗜好行動特性データに基づいてユーザの嗜好行動特性特徴量を抽出する特徴量抽出部とを有する特徴量取得手段と、
前記特徴量取得手段の取得した特徴量データとユーザＩＤとを対応付けて格納する蓄積データベースと、
前記蓄積データベースに格納された特徴量データを受信し、該受信特徴量データに基づく制御を行なう画像データまたは音声データの記録を実行する情報取得装置と、
を有することを特徴とするユーザ嗜好ベース制御システム。
【００１３】
さらに、本発明のユーザ嗜好ベース制御システムの一実施態様において、前記情報取得装置は、画像撮影機能を持つビデオカメラであり、前記特徴量取得手段は、ビデオカメラ機能を有し、前記特徴量抽出部は、撮影された画像から取得される動きベクトルデータに基づく特徴量データを生成する構成を有し、蓄積データベースは、前記動きベクトルデータに基づく特徴量データとユーザＩＤとを対応付けて記憶し、前記情報取得装置としてのビデオカメラは、蓄積データベースから提供される動きベクトルデータに基づく特徴量データに基づいてアクチュエータに対する制御信号を生成する構成を有することを特徴とする。
【００１４】
さらに、本発明のユーザ嗜好ベース制御システムの一実施態様において、前記情報取得装置は、画像撮影機能を持つビデオカメラであり、前記特徴量取得手段は、ビデオカメラ機能を有し、前記特徴量抽出部は、撮影された画像から取得される輝度データに基づく特徴量データを生成する構成を有し、前記蓄積データベースは、前記輝度データに基づく特徴量データとユーザＩＤとを対応付けて記憶し、前記情報取得装置としてのビデオカメラは、蓄積データベースから提供される輝度データに基づく特徴量データに基づいて撮影輝度制御部に対する制御信号を生成する構成を有することを特徴とする。
【００１５】
さらに、本発明のユーザ嗜好ベース制御システムの一実施態様において、前記情報取得装置は、音声取得機能を持つ録音機器であり、前記特徴量取得手段は、音声取得機能を有し、前記特徴量抽出部は、取得された音声データに基づいて音量データまたは音質データの少なくともいずれかに基づく特徴量データを生成する構成を有し、前記蓄積データベースは、前記音量データまたは音質データの少なくともいずれかに基づく特徴量データとユーザＩＤとを対応付けて記憶し、前記情報取得装置としての録音機器は、蓄積データベースから提供される音量データまたは音質データの少なくともいずれかに基づく特徴量データに基づいてマイクパラメータ制御部に対する制御信号を生成する構成を有することを特徴とする。
【００１６】
さらに、本発明のユーザ嗜好ベース制御システムの一実施態様において、前記特徴量取得手段は、情報記録機能を持つカード型記録媒体であり、前記蓄積データベースは、カード型記録媒体でに記録された画像または音楽識別情報に対応する画像データまたは音楽データに基づく特徴量データを、前記カード型記録媒体の所有ユーザの識別子に対応付けて記憶し、
前記情報取得装置は、前記蓄積データベースに格納された特徴量データを受信し、該受信特徴量データに基づく制御を行なう構成を有することを特徴とする。
【００１７】
さらに、本発明の第３の側面は、
ユーザの嗜好行動特性データを取得する情報取得部と、嗜好行動特性データに基づいてユーザの嗜好行動特性特徴量を抽出する特徴量抽出部とを備えたことを特徴とする特徴量取得装置にある。
【００１８】
さらに、本発明の特徴量取得装置の一実施態様において、前記情報取得部は、画像データを取得するカメラ手段であり、前記特徴量抽出部は、前記カメラ手段によって撮影された画像から取得される動きベクトルデータに基づく特徴量データを生成する構成を有することを特徴とする。
【００１９】
さらに、本発明の特徴量取得装置の一実施態様において、前記情報取得部は、画像データを取得するカメラ手段であり、前記特徴量抽出部は、前記カメラ手段によって撮影された画像から取得される輝度値データに基づく特徴量データを生成する構成を有することを特徴とする。
【００２０】
さらに、本発明の特徴量取得装置の一実施態様において、前記情報取得部は、音声データを取得するマイク手段であり、前記特徴量抽出部は、前記マイク手段によって集音された音声データから取得される音量データまたは音質データの少なくともいずれかに基づく特徴量データに基づく特徴量データを生成する構成を有することを特徴とする。
【００２１】
さらに、本発明の第４の側面は、
画像データまたは音声データの記録を実行する情報取得装置であり、ユーザの嗜好行動特性対応データに基づく特徴量に基づく制御を行なう構成を有することを特徴とする情報取得装置にある。
【００２２】
さらに、本発明の情報取得装置の一実施態様において、前記情報取得装置は、画像データを取得するカメラ装置であり、前記特徴量は、ユーザの嗜好行動特性に対応する画像データから求められる動きベクトルデータに基づく特徴量データであり、該特徴量データに基づいてアクチュエータに対する制御信号を生成する構成を有することを特徴とする。
【００２３】
さらに、本発明の情報取得装置の一実施態様において、前記情報取得装置は、画像データを取得するカメラ装置であり、前記特徴量は、ユーザの嗜好行動特性に対応する画像データから求められる輝度値データに基づく特徴量データであり、該特徴量データに基づいて撮影輝度制御部に対する制御信号を生成する構成を有することを特徴とす。
【００２４】
さらに、本発明の情報取得装置の一実施態様において、前記情報取得装置は、音声データを取得する録音装置であり、前記特徴量は、ユーザの嗜好行動特性に対応する音声データから求められる音量データまたは音質データの少なくともいずれかに基づく特徴量データであり、該特徴量データに基づいてマイクパラメータの制御信号を生成する構成を有することを特徴とする。
【００２５】
さらに、本発明の第５の側面は、
ネットワークを介して画像データを配信する画像配信サーバと、前記画像配信サーバに接続し、画像データを受信、表示するクライアント端末とを有するシステムにおける画像選定方法であり、
前記クライアント端末において、前記画像配信サーバの提示する画像データに対する指示データを入力し、前記画像配信サーバに送信するステップと、
前記画像配信サーバにおいて、前記クライアント端末からの指示データに基づいて該画像配信サーバの提示画像の評価処理を実行し、評価処理に基づく最適画像選定処理を実行するステップと、
を有することを特徴とする画像選定方法にある。
【００２９】
さらに、本発明の第６の側面は、
画像データまたは音声データの記録を実行する情報取得装置の制御を、該情報取得装置を操作するユーザの嗜好行動特性対応データに基づく特徴量により実行するユーザ嗜好ベース制御方法であり、
ユーザの嗜好行動特性データを取得する情報取得ステップと、
嗜好行動特性データに基づいてユーザの嗜好行動特性特徴量を抽出する特徴量抽出ステップと、
前記特徴量データとユーザＩＤとを対応付けて蓄積データベースに格納する記憶ステップと、
前記情報取得装置において、前記蓄積データベースに格納された特徴量データを受信し、該受信特徴量データに基づく制御を行なう画像データまたは音声データの記録を実行するステップと、
を有することを特徴とするユーザ嗜好ベース制御方法にある。
【００４２】
さらに、本発明の第９の側面は、
ネットワークを介して画像データを配信する画像配信サーバと、前記画像配信サーバに接続し、画像データを受信、表示するクライアント端末とを有するシステムにおける画像選定処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムであって、
前記画像配信サーバの提示する画像データに対する指示データを前記クライアント端末から受信するステップと、
前記クライアント端末からの指示データに基づいて該画像配信サーバの提示画像の評価処理を実行するステップと、
評価処理に基づく最適画像の選定処理を実行するステップと、
を具備することを特徴とするコンピュータ・プログラムにある。
【００４３】
さらに、本発明の第１０の側面は、
画像データまたは音声データの記録を実行する情報取得装置の制御を、該情報取得装置を操作するユーザの嗜好行動特性対応データに基づく特徴量により実行するユーザ嗜好ベース制御処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムであって、
ユーザの嗜好行動特性データを取得する情報取得ステップと、
嗜好行動特性データに基づいてユーザの嗜好行動特性特徴量を抽出する特徴量抽出ステップと、
前記特徴量データとユーザＩＤとを対応付けて蓄積データベースに格納する記憶ステップと、
前記情報取得装置において、前記蓄積データベースに格納された特徴量データを受信し、該受信特徴量データに基づく制御を行なう画像データまたは音声データの記録を実行するステップと、
を具備することを特徴とするコンピュータ・プログラムにある。
【００４４】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４６】
【発明の実施の形態】
以下、図面を参照して、本発明の画像配信システム、ユーザ嗜好ベース制御システム、および方法について詳細に説明する。
【００４７】
以下、実施例の説明を以下の２つのシステムに分けて説明する。
（１）例えばネットワークを介して多くのユーザによって操作可能なカメラの操作を可能とした画像配信システムにおいて、多くのユーザの嗜好にあった画像、すなわち多くのユーザに好まれる画像を、多くのユーザのカメラ操作情報に基づいて分析して、最適画像を選定して提供する構成。
（２）個人の操作する情報取得装置、例えばビデオカメラ、マイク等をそのユーザの操作情報の分析結果に基づいて制御する構成。
【００４８】
［（１）画像配信システム］
まず、ネットワークを介して多くのユーザによって操作可能なカメラの操作を可能とした画像配信システムにおいて、多くのユーザのカメラ操作情報を分析して、最適画像を選定して提供する実施例構成について説明する。
【００４９】
図２にシステム構成の概要を説明する図を示す。インターネットあるいは有線、無線のデータ通信網を介してＰＣ１１、ＰＤＡ１２、携帯電話１３等の映像表示可能なディスプレイを有する通信可能なクライアント端末１０に対して画像配信サーバ２０から画像を配信する。画像配信サーバ２０は、クライアント端末１０とのデータ送受信を実行し、ユーザのカメラ操作情報に基づいてカメラ２２の制御を実行する制御部２１、制御部２１の制御のもとに操作されるカメラ２２を有し、画像データを蓄積した画像データベース２３を有する。
【００５０】
ユーザ端末１０は、カメラ２２の撮影画像を端末のディスプレイに表示し、カメラの向き、焦点距離などを、各端末の入力手段からの入力により調整する。調整パラメータを含むデータは、ネットワークを介して画像配信サーバ２０に送信され、画像配信サーバは受信データに基づいてカメラ２２の操作制御を実行する。このようなユーザ操作を反映させたシステムは、既に実現されている。
【００５１】
本発明のユーザ嗜好ベース制御システム、およびユーザ嗜好ベース制御方法では、多くのユーザの制御情報を、画像配信サーバ２０側で蓄積し、データ分析を実行して最適画像をユーザに提供する。ユーザの制御情報としては、例えばａ．構図（カメラの向き、被写体までの距離など）、ｂ．レンズ（焦点距離、レンズ特性など）、ｃ．シャッタースピード、ｄ．絞り、ｅ．光の周波数（赤外、可視光）などがある。これらのパラメータは、自動的にその良し悪しを判定することは困難である。そこで、本発明のシステムでは、これらのパラメータの最適条件をネットワーク接続されたユーザから送信される制御情報に基づいて決定する。
【００５２】
図３に本発明のシステムにおいて画像配信サーバとクライアント端末で実行する処理をまとめたフローを示す。図３において、左側が画像配信サーバの処理、右側がクライアント端末側処理を示している。
【００５３】
まず、サーバはクライアント端末に対して画像を送信（Ｓ１０１）する。画像はサーバ側に備えられたカメラによって撮影される画像、またはデータベースに予め蓄積された画像である。クライアントはサーバから送信される画像を受信（Ｓ２０１）し、ディスプレイに表示(Ｓ２０２)する。ユーザはディスプレイに表示される画像を見て、嗜好に応じたユーザ情報を入力手段を介して入力（Ｓ２０３，Ｓ２０４）する。入力ユーザ情報はサーバに送信（Ｓ２０５）され、クライアントからのユーザ情報を受信（Ｓ１０２，Ｓ１０３）したサーバは、受信データに含まれるユーザ情報に基づいてデータ処理（Ｓ１０４）を実行する。
【００５４】
サーバの実行するデータ処理は、ユーザ情報に基づく最適画像の抽出処理として実行される。最適画像の抽出処理は、ユーザ情報に基づくカメラの制御、あるいは画像選択、画像処理等であり、これらの具体的態様については、後段で説明する。ステップＳ１０４のデータ処理によって抽出された画像がステップＳ１０１においてクライアントに配信される。
【００５５】
サーバとの接続が終了するまでクライアント端末からの操作情報に基づくデータ処理、画像送信が繰り返し実行される。なお、送信画像データは、必要に応じて送信側で圧縮され、受信側において伸長処理がなされてディスプレイに表示される。
ユーザの意思（嗜好）を反映した画像を選択するために、画像配信サーバの実行するデータ処理について説明する。画像配信サーバがユーザの嗜好を反映した画像を選択するための手法としては、例えば
（１）複数の画像の中から最適な画像をユーザに選択させ、選択情報の分析により画像選択を実行する。
（２）複数の画像をユーザに提示して、ユーザによって付与された点数情報をサーバ側で分析して最適画像を選択する。
（３）カメラでの撮影画像の操作情報をユーザから取得し、操作情報に基づいて最適画像を選択する。
（４）画像の好きな部分領域をクライアントに指示してもらい、その指示領域情報に基づいて、領域画像を拡大して配信する。
【００５６】
上記ような様々な手法をとることが可能である。上記（１），（２）の方法を適用する場合は、図３のフローのステップＳ２０４でユーザから入力される情報は、（１）画像の選択情報、（２）点数情報であり、サーバは、ステップＳ１０４のデータ処理ステップにおいて、これらの情報に基づいて最適画像の選択を行なう。（１）の画像の選択情報をユーザから取得する場合は、多くのクライアントから受信する選択情報をデータベースに蓄積し、最も選択頻度の高い画像を最適画像として設定することができる。また、（２）の画像の点数情報をユーザから取得する場合は、多くのクライアントから受信する点数情報をデータベースに蓄積し、最も点数の高い画像を最適画像として設定することができる。
【００５７】
（３）のカメラの操作情報に基づく最適画像の判定処理について、図４のフローを参照して説明する。
【００５８】
まず、サーバはクライアント端末に対して画像を送信（Ｓ１１１）する。画像はサーバ側に備えられたカメラによって撮影される画像である。クライアントはサーバから送信される画像を受信（Ｓ２１１）し、ディスプレイに表示(Ｓ２１２)する。ユーザはディスプレイに表示される画像を見て、嗜好に応じたユーザ情報として、カメラの操作情報としてのカメラパラメータをキーボード、マウス等の入力手段を介して入力（Ｓ２１３，Ｓ２１４）する。カメラパラメータは、例えばカメラの方向、ズーム調整情報を含むパラメータである。入力パラメータ情報はサーバに送信（Ｓ２１５）され、クライアントからのユーザ入力パラメータ情報を受信（Ｓ１１２）したサーバは、受信データに含まれるパラメータに基づいてカメラを操作（Ｓ１１３）する。
【００５９】
サーバとの接続が終了するまでクライアント端末からのパラメータ情報に基づくカメラ制御が繰り返し実行される。なお、送信画像データは、必要に応じて送信側で圧縮され、受信側において伸長処理がなされてディスプレイに表示される。サーバは、クライアント端末との接続完了後（Ｓ３０５でＹｅｓ）に、ユーザが最終的に設定したカメラパラメータをユーザの満足度の最も高い最終的な選択パラメータとしてデータ蓄積手段に記憶する。
【００６０】
このような選択パラメータは、サーバにアクセスし、カメラ操作を行なった多くのユーザから取得され、サーバはこれらの多数の選択パラメータの統計処理を行なって最適画像、すなわち最適パラメータの選択し、最適パラメータに基づく最適画像を選択する。具体的には、多数決方式、すなわち最も多くのユーザの設定したパラメータを最も指示の高いパラメータとし、これを最適パラメータとする。あるいは取得した多数のパラメータの平均値を算出し、平均パラメータ値に基づく画像を最適画像とする方法がある。多数決方式、平均値算出方式を融合した手法を用いてもよい。
【００６１】
このように、サーバは多数のユーザのカメラ操作情報に基づいて、最適画像を選択可能となる。この最適画像は、例えばクライアントが最初にサーバに接続した際に提示する初期画像として適用することにより、多くのユーザの感心度を高めることが可能となる。なお、図４の説明では、サーバのデータ処理に用いる選択パラメータをユーザがサーバとの接続終了時に設定したパラメータとした例を説明したが、サーバとクライアントの接続時間において、最も設定時間の長かったパラメータをそのクライアントにおける最も好きなパラメータであると判定し、このパラメータを選択パラメータとして統計処理を行なう構成としてもよい。
【００６２】
サーバにおけるデータ処理の流れを図５に示す。サーバは、ユーザの入力した選択情報、点数情報、パラメータ情報等を取得（Ｓ１２１）すると、既にデータ蓄積手段に蓄積済みのデータ、すなわち多数のユーザによって入力された過去の選択情報、点数情報、パラメータ情報等をデータ蓄積手段から取得（Ｓ１２２）する。
【００６３】
サーバは、ステップＳ１２１で取得した最新データと、ステップＳ１２２で、データ蓄積手段から取得したデータとに基づいて統計処理（Ｓ１２３）を実行し、これをデータ蓄積手段に蓄積（Ｓ１２４）する。統計処理は、処理対象が選択情報、点数情報であれば、最多選択情報、最多点数情報に基づいて最適画像を選択する処理として実行され、パラメータの統計処理においては、前述したように、多数決方式、平均値算出方式等を適用した処理となる。
【００６４】
次に、サーバが統計処理に基づく蓄積データを利用した処理例について、図６のフローを参照して説明する。サーバの最適画像選択に際しては、サンプルデータとして必要な最低限のクライアントからのユーザ情報が入力されていることを条件とする。すなわち、閾値以上のユーザ情報が集積されていることを条件として、閾値以上のユーザ情報に基づく統計処理結果に基づいて最適画像を選択する処理を実行する。
【００６５】
図６のフローの各ステップについて説明する。ステップＳ１３１で、さーばは、最適画像抽出処理に適用する画像データおよび、過去に入力された画像に対するユーザ情報を統計処理した結果データを取得する。ステップＳ１３２において、統計処理に適用したユーザ情報のサンプル数がサーバに予め定められた閾値以上であるか否か判定する。
【００６６】
閾値以上のユーザ情報が無い場合は、統計処理による最適画像選択処理に十分なデータ量ではないと判断し、ステップＳ１３５に進み、エラーメッセージ表示を行ない、統計処理に基づく最適画像選択処理は実行せず、ステップＳ１３６でデータ蓄積を継続する。
【００６７】
閾値以上のユーザ情報がある場合は、ステップＳ１３３において統計処理結果に基づいて最適画像の選択を実行する。統計処理は、処理対象が選択情報、点数情報であれば、最多選択情報、最多点数情報に基づいて最適画像を選択する処理として実行され、パラメータの統計処理においては、前述したように、多数決方式、平均値算出方式等を適用した処理として実行され、これらの統計処理に基づいて最適画像が選択される。選択結果をＳ１３４で出力する。この結果選択された最適画像は、例えばクライアントが最初にサーバに接続した際に提示する初期画像として適用することにより、多くのユーザの感心度を高めることが可能となる。
【００６８】
次に、本発明のシステムの構成について、図７、図８を参照して説明する。まず、図７のシステム構成について説明する。システムはインターネット等の通信ネットワークを介して通信可能な画像配信サーバとクライアント端末によって構成される。図には１つのクライアント端末を示しているが、多数のクライアント端末がサーバとの間でデータ通信を行なう。
【００６９】
サーバには、画像を撮影するカメラ１０１、画像蓄積部１０２を有し、カメラ１０１によって撮影された画像、または、画像蓄積部１０２に蓄積された画像のいずれかが、画像取得部１０３において取得され、画像処理部１０４において、データ圧縮処理等、通信経路のデータ転送制約に合致するように処理が実行され、入出力（Ｉ／Ｏ）プロセッサ１０５を介して通信部１０８からクライアント側に送信される。
【００７０】
クライアント側は、通信部１１１を介してデータを受信し、入出力（Ｉ／Ｏ）プロセッサ１１２を介して画像処理部１１３に転送し、画像処理部では、画像伸長処理等、転送データを表示可能なデータに変換する処理を実行して例えばＬＣＤ等の画像表示部１１４に表示する。
【００７１】
クライアントは、さらに、例えばキーボード等の指示データ取得部１１５から提示画像に対するユーザ情報を入力する。これらは例えば画像選択情報、画像に対する点数情報等である。ユーザによって入力されたユーザ情報は、入出力（Ｉ／Ｏ）プロセッサ１１２を介して通信部１１１からサーバに転送される。
【００７２】
クライアントから送信されたユーザ情報は、サーバにおいて通信部１０８で受信され、入出力（Ｉ／Ｏ）プロセッサ１０５を介してデータ処理部１０６に転送され、データ処理部１０６では、クライアントから送信された画像選択情報、画像に対する点数情報等をデータ蓄積部１０７に蓄積する処理、および前述した画像選択情報、画像に対する点数情報等に基づく統計処理等を実行して、統計データをデータ蓄積部１０７に蓄積する。
【００７３】
図８は、カメラの撮影画像のみを選択対象画像とし、ユーザから入力されるパラメータに基づいてカメラの制御を実行する構成を持つ場合のシステムを示した図である。
【００７４】
サーバには、ユーザの指定したカメラパラメータによって制御可能な画像を撮影するカメラ１０１を有し、カメラ１０１によって撮影された画像が、画像取得部１０３において取得され、画像処理部１０４において、データ圧縮処理等、通信経路のデータ転送制約に合致するように処理が実行され、入出力（Ｉ／Ｏ）プロセッサ１０５を介して通信部１０８からクライアント側に送信される。
【００７５】
クライアント側は、通信部１１１を介してデータを受信し、入出力（Ｉ／Ｏ）プロセッサ１１２を介して画像処理部１１３に転送し、画像処理部では、画像伸長処理等、転送データを表示可能なデータに変換する処理を実行して例えばＬＣＤ等の画像表示部１１４に表示する。
【００７６】
クライアントは、さらに、例えばキーボード等のカメラパラメータ指示データ取得部１２１からカメラ方向、ズーム等の制御パラメータを入力する。ユーザによって入力されたパラメータは、入出力（Ｉ／Ｏ）プロセッサ１１２を介して通信部１１１からサーバに転送される。
【００７７】
クライアントから送信されたパラメータは、サーバにおいて通信部１０８で受信され、入出力（Ｉ／Ｏ）プロセッサ１０５を介してデータ処理部１０６に転送され、データ処理部１０６では、クライアントから送信されたパラメータをデータ蓄積部１０７に蓄積する処理、および前述したパラメータに基づく統計処理等を実行して、統計データをデータ蓄積部１０７に蓄積する。
【００７８】
上述したように本実施例のシステムでは、多数のユーザから受信する画像の選択あるいは点数等の画像評価情報、あるいはカメラ制御情報としてのカメラパラメータを蓄積し、蓄積データの解析処理により、最もユーザの嗜好度の高い画像を選択することが可能となる。
【００７９】
［（２）情報取得装置の制御システム］
次に、個人の操作する情報取得装置、例えばビデオカメラ、マイク等をそのユーザの操作情報の分析結果に基づいて制御する構成を持つ情報取得装置の制御システムについて説明する。
【００８０】
本実施例のシステム概要について、図９を参照して説明する。ユーザは、情報取得装置としてのビデオカメラ２０５により何らかの被写体を撮影し生成物２０４としての画像データを取得するものとする。このとき、ユーザはビデオカメラを操作し、ビデオカメラの撮影方向を操作し、ズームの操作を行ない、絞り等、様々なパラメータの調整を行ない、被写体画像を生成する。
【００８１】
本実施例のシステムではビデオカメラの向き、ズーム操作、絞り等、様々なパラメータ調整をユーザの行動特性に基づいて自動アシストする。図の例では、ユーザの行動特性に基づいてビデオカメラ２０５のアクチュエータ２０４のアシスト制御を行なう例を示している。
【００８２】
ユーザの行動特性の取得処理は、例えばユーザの身につけたセンサ２０１によって行われる。ユーザは日常、センサ２０１を装着し、行動する。センサ２０１はユーザの行動特性を取得するもので、具体的には、例えばユーザの動きを検出するセンサ、あるいは回りの騒音状況を検出する音センサなどであり、映像を取得するカメラ、音声を取得するマイクなどが適用される。
【００８３】
センサによって取得される情報は、蓄積データベース２０２に蓄積され、蓄積データベースに蓄積されたデータに基づいてユーザの使用するビデオカメラ２０５の各種バラメータが制御される。例えば、センサ２０１がユーザの動きを激しい細かい動きが多い動きデータを取得していた場合、蓄積データベース２０２に蓄積されたユーザ特性、すなわち激しい動きに対応したアクチュエータ２０３の制御がなされる。ビデオカメラを操作するユーザが激しい動きを行なっても最適な画像が撮影可能となるようにアクチュエータの制御を行なう。
【００８４】
なお、ユーザの行動特性の取得をセンサを用いて行なう以外に、ユーザの視聴する例えばテレビの画像データ、聴取する様々なメディア、ラジオ、ＣＤ等の音声データ等に基づいてユーザの嗜好、行動特性を取得したり、あるいはユーザの所有するクレジットカード、ＩＣカード等に記録されたレンタルビデオの記録データに基づいてユーザの嗜好、行動特性を取得し、これらの取得データに基づいて特徴量を抽出する構成も可能である。これらの各々について、以下説明する。
【００８５】
図１０に本システムにおけるデータの流れを説明するブロック図を示す。図１０において、センサ２１１はユーザの嗜好、行動特性を抽出する手段であり、前述のようにユーザの動き情報、騒音情報を取得するセンサである。なお、このセンサ以外にも上述したように特徴量の抽出のための情報提供手段としては、ユーザの視聴するテレビの画像データ、聴取する様々なメディア、ラジオ、ＣＤ等の音声データ、あるいはユーザの所有するクレジットカード、ＩＣカード等の記録データを用いることができる。
【００８６】
特徴量抽出部２１２は、センサ２１１の取得したユーザの嗜好、行動特性から制御対象の制御情報として適用可能な情報を抽出する処理を実行する。例えばセンサ２１１がユーザの動き情報を取得するための映像情報を提供するシステム、例えば撮像装置であった場合、センサから出力される映像から検出される動きベクトルを分析し、激しい動きをしているか、あるいは静止した状態が多いか等を特徴量として抽出する。また、センサ２１１がユーザの回りの音声情報を取得するシステム、例えばマイクであった場合、センサから出力される音声情報から検出される音量、音量の変化等を分析し、騒々しい環境にいるか、静粛な環境にいるか等を特徴量として抽出する。
【００８７】
特徴量抽出部２１２によって抽出されたユーザの嗜好、行動特性に対応するデータとなる特徴量は、例えばネットワーク、あるいはケーブル等、有線、無線のデータ伝送路を介して蓄積データベース２１３に蓄積される。
【００８８】
蓄積データベース２１３には、センサ２１１によって取得され、特徴量抽出部２１２によって抽出されたユーザの嗜好、行動特性に対応するデータが過去に取得済みのデータとともに格納される。蓄積データベース２１３が複数のユーザの嗜好、行動特性に対応するデータを格納する場合は、格納データはユーザＩＤに対応付けられて格納される。個の場合伝送路のデータはユーザＩＤとともに送信されるデータとする。
【００８９】
この蓄積データベース２１３に格納されたデータは、ユーザが例えばビデオカメラ等によって画像撮影を行なおうとする場合にビデオカメラの制御アシストデータとして用いられる。
【００９０】
蓄積データベース２１３に格納された特徴量データは、ユーザの操作するビデオカメラ２２０に送信され、制御信号生成部２１４において、被写体２１９を撮影した画像、すなわち記録・生成部２１７から提供される画像データに基づいて取得される特徴量データとともに、アクチュエータ２１６の制御信号生成のために使用される。例えば、蓄積データベース２１３に蓄積されたユーザ特性が激しい動きに対応したデータであれば、制御信号生成部２１４は、ビデオカメラを操作するユーザが激しい動きを行なっても最適な画像が撮影可能となるようにアクチュエータ２１５に対する制御を行なう。
【００９１】
ユーザは、ユーザ操作部（ユーザインタフェース）２１６を介してビデオカメラの操作を行ない、アクチュエータ２１５は、制御信号生成部によって生成される制御によって制御され、この結果、ユーザの特徴に応じた最適画像が撮影される。なお、特徴量抽出部２１８は、記録・生成部２１７の撮影画像に基づく特徴量を抽出する処理を実行するものであり、例えば映像データの動きベクトルを検出してその動き予測を行なう処理により、特徴量を抽出し、制御信号生成部２１４に出力する。特徴量抽出部２１８はフィードバック制御用の特徴量を生成出力する機能を持つ。
【００９２】
以下、ユーザの嗜好、行動特性を取得するセンサとしてビデオカメラを用いた例、マイクを用いた例について、その詳細を説明する。
【００９３】
まず、ユーザの嗜好、行動特性を取得するセンサとしてビデオカメラを用いた例について説明する。本例では、ユーザの撮影するビデオカメラのアクチュエータおよび輝度値制御の制御アシストをユーザの行動特性データに基づいて行なう例を説明する。図１１にシステム構成ブロック図を示す。図１１において、上段から、それぞれ嗜好、行動特性取得部としての（１）ビデオカメラＡ３１０、（２）蓄積データベース３２０、ユーザが被写体を撮影する（３）ビデオカメラＢ３３０の各処理構成を分離して示している。各構成のデータ転送はネットワーク等のデータ伝送路を介して行われる。
【００９４】
特徴量取得装置としてのビデオカメラＡ３１０における処理から説明する。ビデオカメラＡ３１０は、ユーザの嗜好、行動特性を取得するセンサとして機能し、ここではユーザに装着され、ユーザの動きに対応した画像を取得する処理を実行する。ビデオカメラＡ３１０は、画像取得部の光学系３１１、カメラブロック３１２、ビデオ信号処理部３１３を有し、さらに特徴抽出部３１４内に特徴データ（動きベクトル，輝度値）抽出部３１５、メモリ３１６、定常性計算部３１７を有し、さらに蓄積データベース（ＤＢ）への情報送信部３１８を有する。
【００９５】
ビデオカメラＡ３１０の詳細構成を図１２に示す。光学系３１１においては、例えば実際には撮像レンズや絞りなどを備えて構成される光学系が備えられている。カメラレンズ５１１は、この光学系３１１に含まれる。また、この光学系３１１には、光学系３１１に対してオートフォーカス動作を行わせるためのフォーカスモータや、ズームキーの操作に基づくズームレンズの移動を行うためのズームモータなどが、モータ部５１２として備えられる。
【００９６】
カメラブロック３１２には、主として光学系３１１により撮影した画像光をデジタル画像信号に変換するための回路部が備えられる。このカメラブロック３１２のＣＣＤ(Charge Coupled Device)５２１に対しては、光学系３１１を透過した被写体の光画像が与えられる。ＣＣＤ５２１においては上記光画像について光電変換を行うことで撮像信号を生成し、サンプルホールド／ＡＧＣ(Automatic Gain Control)回路５２２に供給する。サンプルホールド／ＡＧＣ回路５２２では、ＣＣＤ２１から出力された撮像信号についてゲイン調整を行うと共に、サンプルホールド処理を施すことによって波形整形を行う。サンプルホールド／ＡＧＣ回路５２２の出力は、ビデオＡ／Ｄコンバータ５２３に供給されることで、デジタルとしての画像信号データに変換される。
【００９７】
上記ＣＣＤ５２１、サンプルホールド／ＡＧＣ回路５２２、ビデオＡ／Ｄコンバータ５２３における信号処理タイミングは、タイミングジェネレータ５２４にて生成されるタイミング信号により制御される。タイミングジェネレータ５２４では、信号処理に利用されるクロックを入力し、このクロックに基づいて所要のタイミング信号を生成するようにされる。これにより、カメラブロック３１２における信号処理タイミングを、ビデオ信号処理部３１３における処理タイミングと同期させるようにしている。カメラコントローラ５２５は、カメラブロック３１２内に備えられる上記各機能回路部が適正に動作するように所要の制御を実行すると共に、光学系３１１に対してオートフォーカス、自動露出調整、絞り調整、ズームなどのための制御を行うものとされる。例えばオートフォーカス制御であれば、カメラコントローラ５２５は、所定のオートフォーカス制御方式に従って得られるフォーカス制御情報に基づいて、フォーカスモータの回転角を制御する。これにより、撮像レンズはジャストピント状態となるように駆動されることになる。
【００９８】
ビデオ信号処理部３１３は、記録時においては、カメラブロック３１２から供給されたデジタル画像信号について圧縮処理を施す。なお本例において、画像信号データ（画像データ）の圧縮／伸張処理方式としては、動画像についてはＭＰＥＧ(Moving Picture Experts Group)２を採用し、静止画像についてはＪＰＥＧ(Joint Photographic Coding Experts Group) を採用しているものとする。また、音声信号デーのタ圧縮／伸張処理方式には、ＡＴＲＡＣ(Adaptve Transform Acoustic Coding) ２を採用するものとする。
【００９９】
ビデオ信号処理部３１３のデータ処理／システムコントロール回路５３１は、主として、当該ビデオ信号処理部３１３における画像信号データの圧縮／伸張処理に関する制御処理と、ビデオ信号処理部３１３を経由するデータの入出力を司るための処理を実行する。また、データ処理／システムコントロール回路５３１を含むビデオ信号処理部３１３全体についての制御処理は、ビデオコントローラ５３８が実行するようにされる。このビデオコントローラ５３８は、例えばマイクロコンピュータ等を備えて構成され、カメラブロック３１２のカメラコントローラ５２５と、例えば図示しないバスライン等を介して相互通信可能とされている。
【０１００】
ビデオ信号処理部３１３における記録時の基本的な動作として、データ処理／システムコントロール回路５３１には、カメラブロック３１２のビデオＡ／Ｄコンバータ５２３から供給された画像信号データが入力される。データ処理／システムコントロール回路５３１では、入力された画像信号データを例えば動き検出回路５３５に供給する。動き検出回路５３５では、例えばメモリ５３６を作業領域として利用しながら入力された画像信号データについて動き補償等の画像処理を施した後、ビデオ信号処理回路５３３に供給するとともに、特徴量抽出部３１４の動きベクトル抽出部に動き情報を出力する。
【０１０１】
ビデオ信号処理回路５３３においては、例えばメモリ５３４を作業領域として利用しながら、入力された画像信号データについてＭＰＥＧ２のフォーマットに従って圧縮処理を施し、動画像としての圧縮データのビットストリーム（ＭＰＥＧ２ビットストリーム）を出力するようにされる。また、ビデオ信号処理回路５３３では、例えば動画像としての画像信号データから静止画としての画像データを抽出してこれに圧縮処理を施す際には、ＪＰＥＧのフォーマットに従って静止画としての圧縮画像データを生成するように構成されている。なお、ＪＰＥＧは採用せずに、ＭＰＥＧ２のフォーマットによる圧縮画像データとして、正規の画像データとされるＩピクチャ(Intra Picture) を静止画の画像データとして扱うことも考えられる。ビデオ信号処理回路５３３により圧縮符号化された画像信号データ（圧縮画像データ）は、例えば、バッファメモリ５３２に対して所定の転送レートにより書き込まれて一時保持される。なおＭＰＥＧ２のフォーマットにおいては、周知のようにいわゆる符号化ビットレート（データレート）として、一定速度（ＣＢＲ；Constant Bit Rate)と、可変速度（ＶＢＲ；Variable Bit Rate)の両者がサポートされており、ビデオ信号処理部３１３ではこれらに対応できるものとしている。
【０１０２】
例えばＶＢＲによる画像圧縮処理を行う場合には、例えば、動き検出回路５３５において、画像データをマクロブロック単位により前後数十〜数百フレーム内の範囲で動き検出を行って、動きありとされればこの検出結果を動きベクトル情報としてＭＰＥＧ２ビデオ信号処理回路５３３に伝送する。ＭＰＥＧ２ビデオ信号処理回路３３では、圧縮符号化後の画像データをある所要のデータレートとするように、上記動きベクトル情報をはじめとする所要の情報を利用しながら、マクロブロックごとの量子化係数を決定していくようにされる。電源ブロック３１９は、各機能部に対する電源を供給する。
【０１０３】
特徴量抽出部３１４の特徴データ抽出部３１５は、ユーザの嗜好、行動特性に対応した特徴量を抽出する。ここでは、特徴量としてユーザの行動に伴ってビデオカメラＡ３１０で撮影された画像中の輝度データ、および動き情報（具体的には撮影画像の動きベクトル）を取得して、これらをユーザが撮影に使用するビデオカメラＢ３３０の制御アシスト情報として適用するものとする。
【０１０４】
特徴データ抽出部３１５は、ビデオ信号処理回路５３３から輝度データを受領し、また、動き検出回路５３５において検出された動きベクトル情報を受領し、特徴量データの抽出解析処理を実行し、結果をメモリ３１６に蓄積する。メモリ３１６に蓄積されるデータ例を図１３に示す。
【０１０５】
図１３に示すように、動きベクトルは、輝度値データは、時間０，１，２，…と時系列データとして格納される。予め設定されたデータ取得タイミング、時間０，１，２，…において、動きベクトルが撮影画像の画像フレーム全体の全画面動きベクトルを取得し、その水平成分、垂直成分値を格納する。また、輝度値についても時間０，１，２，…において全画面の平均輝度値と、輝度値の分散を計算して格納する。
【０１０６】
メモリ３１６に格納されたデータは、さらに定常性計算部３１７に出力され、格納データの変化度合いを考慮した定常性データを出力する。ユーザに装着されたセンサ（ビデオカメラＡ３１０）の取得する画像から抽出され、メモリに格納される特徴量データは、時間に応じて蓄積量が増加する。その蓄積データは、例えば大きな動きを反映した動きベクトルや小さな動きを反映した動きベクトルが混在したものとなり、また輝度値データも明るい輝度値を示すデータや、暗い輝度値を示すデータが混在したものとなる。定常性計算部３１７は、多様な蓄積データに基づいて、最もユーザの嗜好、行動特性を反映した定常的なデータを抽出する処理を行なう。定常性計算は、例えば動きベクトル、輝度値データの全ての時系列データに基づいて平均値を取得する方法や、動きベクトルの時間的変化が激しいか、継続的な同一の動きベクトルを持つ傾向があるか等の変化率を動きベクトル変化率として出力する方法がある。ここでは、時系列の動きベクトル情報からベクトル変化率を算出する例として説明する。なお、ベクトル変化率は動きベクトルの内積算出による変化角度の計算によって実行可能である。
【０１０７】
定常性計算部３１７において算出された、定常性データは蓄積データベースへの情報送信部３１８を介して蓄積データベースに転送される。
【０１０８】
図１１に戻り、蓄積データベースにおける処理について説明する。蓄積データベース３２０は、図１１に示すように、情報受信部３２１、情報蓄積部３２２、特徴量抽出部３２３、特徴量管理部３２４、情報送受信部３２５を有する。
【０１０９】
情報受信部３２１は、ビデオカメラ３１０から、ビデオカメラによって撮影された画像に基づいて取得された特徴量データを受信する。情報蓄積部３２１は、例えばハードディスク等の記憶手段である。情報蓄積部３２１に蓄積されるデータ例を図１４に示す。図１４に示すように、データは、ユーザ識別子としてのユーザＩＤに対応付けられて格納される。格納データは、先に図１３を用いて説明した特徴量データにビデオカメラＡ３１０の定常性計算部３１７において計算されたベクトル変化率を加えたものである。各データがサンプリング時間０，１，２，…に対応した時系列データとして格納される。
【０１１０】
特徴量抽出部３２３は、ユーザから送信され、情報蓄積部３２２蓄積された特徴量に基づいて、実際に制御対象となるビデオカメラ３３０に出力する特徴量を生成または選定する。制御対象となるビデオカメラ３３０は、蓄積データベース３２０の情報中から特定の特徴量のみを送信するように、蓄積データベース３２０に対してリクエストが可能である。例えば動きベクトルのみの特徴量、あるいは輝度値に関する特徴量の選択送信リクエストが可能であり、特徴量抽出部３２３は、このようなリクエストに応じた特徴量選定処理を実行する。さらに、特徴量抽出部３２３は、情報蓄積部３２２蓄積されたデータに応じて全画面動きベクトルや平均輝度値などの各特徴量の分散値を求め、これを制御対象となるビデオカメラ３３０に送信する特徴量として設定する処理も実行する。例えば全画面動きベクトルの水平成分の分散値が小さければ、そのユーザは水平方向に一定の動きを示している、あるいはそのような画像を観察している可能性が高く、また、例えば全画面動きベクトルの水平成分の分散値が０に近ければ、そのユーザは垂直方向に一定の動きを示している、あるいはそのような画像を観察している可能性が高い。このような特徴に基づいて、制御対象となるビデオカメラ３３０に送信する特徴量を設定する。
【０１１１】
特徴量管理部３２４は、制御対象となるビデオカメラ３３０からのデータ送信リクエストに応じて送信対象とする特徴量データの抽出を行なう。ビデオカメラ３３０からのデータ送信リクエストはユーザＩＤおよび特徴量の種類を示す識別データを伴ってビデオカメラ３３０から蓄積データベース３２０に送信され、特徴量管理部３２４はリクエストに応じたデータを抽出して情報送受信部３２５から特徴量データを送信する。
【０１１２】
次に特徴量に基づいて制御アシストのなされるビデオカメラＢ３３０の構成について説明する。ビデオカメラＢ３３０は、ユーザの嗜好、行動特性に基づいて取得された特徴量に基づくアシスト制御が実行されるビデオカメラである。ビデオカメラＢ３３０は、画像取得部の光学系３３１、カメラブロック３３２、ビデオ信号処理部３３３を有し、さらに特徴抽出部内に特徴データ（動きベクトル，輝度値）抽出部３３４、メモリ３３５、定常性計算部３３６を有し、記録生成部内にドライブ部３４１、デッキ部３４２を有し、さらに蓄積データベース（ＤＢ）からの情報取得部３３９、特徴量に基づく制御信号を生成する制御信号生成部３３７、制御信号生成部３３７からの出力制御信号に基づいて制御が実行されるカメラ雲台アクチュエータ３３８、撮影輝度制御部３４０を有する。
【０１１３】
ビデオカメラＢ３３０の詳細構成を図１５に示す。光学系３３１、カメラブロック３３２、ビデオ信号処理部３３３、特徴量抽出部の構成は、先に説明したビデオカメラＡ３１０と同様の構成であるので説明を省略する。記録生成部は、ビデオカメラの撮影画像を記録するメディアを格納したデッキ部３４２と、メディアの駆動を行なうドライブ部３４１からなり、ビデオ信号処理部３３３から撮影信号を受信してメディアに対する記録処理を行なう。
【０１１４】
ビデオカメラＢ３３０は、通信インタフェースとして構成される蓄積データベースからの情報取得部３３９から特徴量データを取得する。これらは、情報データベース３２０においてビデオカメラＡから取得したデータに基づく特徴量データである。
【０１１５】
情報データベース３２０から送信される特徴量データは、制御信号生成部３３７に送られる。制御信号生成部３３７には、さらに、ビデオカメラＢ３３０の撮影画像に基づいて特徴量を求めるビデオカメラＢの特徴量抽出部の定常性計算部からの特徴量が撮影画像のフィードバックデータとして入力される。制御信号生成部３３７は、この２つの信号に基づいて制御信号を生成する。この例では、カメラ雲台アクチュエータ３３８を制御する信号と、撮影輝度制御部３４０を制御する２つの信号を生成するものとする。
【０１１６】
カメラ雲台アクチュエータ３３８を制御する信号は、センサであるビデオカメラＡ３１０の取得した画像から得られる動きベクトルに基づいて生成され、撮影輝度制御部３４０を制御する信号は、ビデオカメラＡ３１０の取得した画像から得られる輝度値データに基づいて生成される。
【０１１７】
カメラ雲台アクチュエータ３３８を制御する信号は、カメラ雲台に入力されるユーザの力の反力を発生させる制御信号として用いられる。反力：ｆは、例えばバネモデルでは、ｆ＝−ｋｘ、バネマスモデルではｆ＝−ｋｘ＋κ（ｄｘ／ｄｔ）で与えられる、ただしｘは変位を示す。制御信号生成部３３７には、ビデオカメラＢ３３０の撮影画像に基づいて得られる動きベクトルに基づいて得られるカメラの動きデータが定常性計算部３１７から入力され、また、ユーザの嗜好、行動特性に基づく特徴量として蓄積データベース３２０から特徴量データが入力される。
【０１１８】
例えば、蓄積データベースから入力される特徴量データが激しい動きに対応した動きベクトルを持つものであれば、制御信号生成部３３７は、ビデオカメラを操作するユーザが激しい動きを行なっても最適な画像が撮影可能となるようにカメラ雲台アクチュエータ３３８の反力を調整する。反力の値は、ユーザの嗜好、行動特性に基づく特徴量として蓄積データベース３２０から入力される特徴量データと、ビデオカメラＢ３３０の撮影画像に基づいて得られる動きベクトルに基づいて得られるカメラの動きデータに基づいてフィードバック制御される。
【０１１９】
従来は、ビデオカメラの撮影画像のみに基づくフィードバック制御が行われ、すべてのユーザにおいて同様の制御信号が生成されるが、本発明の構成、すなわち、ユーザの嗜好、行動特性に基づく特徴量として蓄積データベース３２０から入力される特徴量データを適用した制御では、激しい動きの多いユーザと、静止した状態の多いユーザにおいて異なる反力をアクチュエータに生じさせる制御が可能となり、各ユーザに対応した最適な画像が撮影可能となる。
【０１２０】
また、撮影輝度制御部３４０に対しても制御信号生成部３３７は、ユーザの嗜好、行動特性に基づく特徴量として蓄積データベース３２０から入力される特徴量データとしての輝度データと、ビデオカメラＢ３３０の撮影画像に基づいて得られる輝度データに基づいてフィードバック制御される。蓄積データベース３２０から入力される特徴量データが明るい値を示していれば、撮影輝度制御部３４０は、通常のフィードバック制御に比較して、より絞りを開放した状態とし、蓄積データベース３２０から入力される特徴量データが暗い値を示していれば、撮影輝度制御部３４０は、通常のフィードバック制御に比較して、より絞りを閉じた状態とし、撮影画像の輝度を各ユーザの嗜好、行動特性に合致するように調整する。
【０１２１】
図１６、図１７、図１８にセンサとして作用するビデオカメラＡ、蓄積データベース、特徴量に基づく制御のなされるビデオカメラＢのそれぞれの処理フローを示す。各機器の処理を処理フローに従って説明する。
【０１２２】
まず、センサとして作用するビデオカメラＡの処理を図１６のフローに従って説明する。ステップＳ３０１において、画像取得部（図１１参照）が画像を取得する。ステップＳ３０２において特徴量抽出部において特徴量を抽出する。特徴量は例えば動きべくとる、輝度値データ等である。ステップＳ３０３において、ユーザＩＤを付加し、ステップＳ３０４において蓄積データベースへデータ送信を行なう。なお、蓄積データベースへのデータ送信は、ネットワークを介するのに限らず、記憶媒体に格納し、記録媒体を蓄積データベースにセットする処理として実行してもよい。
【０１２３】
次に、蓄積データベースの処理を図１７のフローに従って説明する。ステップＳ３１１において、情報保存要求の有無を判定し、情報保存要求がある場合は、ステップＳ３１２において、受信情報からユーザＩＤを取得し、ステップＳ３１３において、ユーザＩＤ毎に特徴量データの処理、保存を行なう。ステップＳ３１１において、情報保存要求でないと判定され、ステップＳ３１４において情報出力要求ありと判定された場合は、ステップＳ３１５で、情報出力要求のユーザＩＤを取得し、取得したユーザＩＤに基づいて蓄積データから抽出した特徴量データを情報出力要求の発信者に送信する。なお、このデータ転送もネットワークに限らず、記憶媒体を介する転送でもよい。
【０１２４】
次に、特徴量に基づく制御のなされるビデオカメラＢの処理を図１８のフローに従って説明する。ステップＳ３２１において、画像取得部にて撮影画像データを取得し、ステップＳ３２２において取得画像を記録部（メディア）に記録する。ステップＳ３２３では、蓄積データベースからのユーザの特徴量の取得が可能か否かを判定し可能でない場合は、ステップＳ３２８以下に進む。可能である場合は、ステップＳ３２４において、ユーザＩＤを入力し、ステップＳ３２５においてユーザＩＤとともに蓄積データベースヘ情報送信要求を行なう。
【０１２５】
特徴量データの受信の完了をステップＳ３２６で判定し、完了が未済みでタイムアウト（Ｓ３３３でＹｅｓ）した場合は、ステップＳ３３４で情報取得失敗のメッセージデータを表示部に表示する。
【０１２６】
特徴量データの受信が完了した場合は、ステップＳ３２７において、蓄積データベースからの特徴量をメモリに格納し、ステップＳ３２８においてユーザによるカメラ操作を検知し、ステップＳ３２９デ撮影画像からの特徴量を抽出する。この場合の特徴量は通常のフィードバック制御にも適用可能な特徴量である。さらに、ステップＳ３３０において蓄積データベースから取得した特徴量に基づく制御を行なうか否かを判定する。これは、ユーザによる設定に基づく判定である。蓄積データベースから取得した特徴量に基づく制御を行なう場合は、ステップＳ３３１で蓄積データベースの特徴量を加味した制御信号を各制御部、例えばアクチュエータ、輝度制御部に出力する。蓄積データベースから取得した特徴量に基づく制御を行なわない場合は、ステップＳ３３２で蓄積データベースの特徴量を加味しない通常のフィードバック制御信号を各制御部、例えばアクチュエータ、輝度制御部に出力する。
【０１２７】
次に、音声情報をセンサによって取得し、ユーザの嗜好、行動特性を反映した特徴量として音声情報を適用した例について説明する。
【０１２８】
ユーザの嗜好、行動特性を取得するセンサとしてマイクを用いた例について説明する。本例では、ユーザが録音機器を操作して録音処理を行なう場合の音量、音質制御の制御アシストをユーザの行動特性データに基づいて行なう例を説明する。図１９にシステム構成ブロック図を示す。図１９において、上段から、それぞれ嗜好、行動特性取得部としての（１）マイクＡ６１０、（２）蓄積データベース６２０、ユーザが被写体を撮影する（３）マイクＢ６３０の各処理構成を分離して示している。各構成のデータ転送はネットワーク等のデータ伝送路を介して行われる。
【０１２９】
特徴量取得装置としてのマイクＡ３１０における処理から説明する。マイクＡ３１０は、ユーザの嗜好、行動特性を取得するセンサとして機能し、ここではユーザに装着され、ユーザの所在環境に対応した音声を取得する処理を実行する。マイクＡ６１０は、音声取得部の音響系６１１、マイクブロック６１２、オーディオ信号処理部６１３を有し、さらに特徴抽出部６１４内に特徴データ（例えば音量、音質）抽出部６１５、メモリ６１６、定常性計算部６１７を有し、さらに蓄積データベース（ＤＢ）への情報送信部６１８を有する。
【０１３０】
マイクＡ３１０の詳細構成を図２０に示す。図２０は、ビデオカメラにおける音声取得部としてのマイクを持つ構成として示してある。音響系６１１には、音声を取得するマイクが備えられている。マイクブロック６１２には、アナログ信号をデジタル信号に変換するＡ／Ｄ変換部が備えられる。音声圧縮エンコーダ／デコーダ（ＥＮＣ／ＤＥＣ）７１１には、Ａ／Ｄ変換部を介して、例えばマイクロフォンにより集音された音声がデジタルによる音声信号データとして入力される。音声圧縮エンコーダ／デコーダ７１１では、例えばＡＴＲＡＣ２のフォーマットに従った圧縮処理を施す。
【０１３１】
また、マイクロフォンにより集音された音声がデジタルによる音声信号データとして入力されたデータは、音声圧縮エンコーダ／デコーダ（ＥＮＣ／ＤＥＣ）７１１を介して特徴量抽出部６１４の特徴データ抽出部６１５に入力される。
【０１３２】
特徴データ抽出部６１５は、ユーザの嗜好、行動特性に対応した特徴量を抽出する。ここでは、特徴量としてユーザの行動に伴ってマイクＡ６１０で集音された音声データ中の音量データ、および周波数の高い高音部が多いか周波数の低い低音部が多いか等の音質データを取得して、これらをユーザが録音に使用するマイクＢ６３０の制御アシスト情報として適用するものとする。
【０１３３】
特徴データ抽出部６１５は、音量データ、および音質データを取得して、メモリ６１６に蓄積する。メモリ６１６に格納されたデータは、さらに定常性計算部６１７に出力され、格納データの変化度合いを考慮した定常性データを出力する。定常性計算は、例えば音量、音質データの全ての時系列データに基づく平均値、変化率に基づいて実行される。定常性計算部６１７において算出された、定常性データは蓄積データベースへの情報送信部６１８を介して蓄積データベースに転送される。
【０１３４】
図１９に戻り、蓄積データベースにおける処理について説明する。蓄積データベース６２０は、図１９に示すように、情報受信部６２１、情報蓄積部６２２、特徴量抽出部６２３、特徴量管理部６２４、情報送受信部６２５を有する。
【０１３５】
情報受信部６２１は、マイク６１０から、マイクによって集音されたデータに基づいて取得された特徴量データを受信する。情報蓄積部６２１は、例えばハードディスク等の記憶手段である。特徴量抽出部６２３は、ユーザから送信され、情報蓄積部６２２蓄積された特徴量に基づいて、実際に制御対象となるマイク６３０に出力する特徴量を生成または選定する。制御対象となるマイク６３０は、蓄積データベース６２０の情報中から特定の特徴量のみを送信するように、蓄積データベース６２０に対してリクエストが可能である。例えば音量のみの特徴量、あるいは音質に関する特徴量の選択送信リクエストが可能であり、特徴量抽出部６２３は、このようなリクエストに応じた特徴量選定処理を実行する。
【０１３６】
特徴量管理部６２４は、制御対象となるマイク６３０からのデータ送信リクエストに応じて送信対象とする特徴量データの抽出を行なう。マイク６３０からのデータ送信リクエストはユーザＩＤおよび特徴量の種類を示す識別データを伴ってマイク６３０から蓄積データベース６２０に送信され、特徴量管理部６２４はリクエストに応じたデータを抽出して情報送受信部６２５から特徴量データを送信する。
【０１３７】
次に特徴量に基づいて制御アシストのなされるマイクＢ６３０の構成について説明する。マイクＢ６３０は、ユーザの嗜好、行動特性に基づいて取得された特徴量に基づくアシスト制御が実行されるマイクである。マイクＢ６３０は、音声取得部の音響系６３１、マイクブロック６３２、オーディオ信号処理部６３３を有し、さらに特徴抽出部内に特徴データ（音量，音質）抽出部６３４、メモリ６３５、定常性計算部６３６を有し、記録生成部内にドライブ部６４１、デッキ部６４２を有し、さらに蓄積データベース（ＤＢ）からの情報取得部６３９、特徴量に基づく制御信号を生成する制御信号生成部６３７、制御信号生成部６３７からの出力制御信号に基づいて制御が実行されるマイクパラメータ制御部６４０を有する。
【０１３８】
マイクＢ３３０の詳細構成を図２１に示す。音響系６３１、マイクブロック６３２、オーディオ信号処理部６３３、特徴量抽出部の構成は、先に説明したマイクＡ６１０と同様の構成であるので説明を省略する。記録生成部は、マイクの取得音声を記録するメディアを格納したデッキ部６４２と、メディアの駆動を行なうドライブ部６４１からなり、オーディオ信号処理部６３３から音声信号を受信してメディアに対する記録処理を行なう。
【０１３９】
マイクＢ６３０は、通信インタフェースとして構成される蓄積データベースからの情報取得部６３９から特徴量データを取得する。これらは、情報データベース６２０においてマイクＡから取得したデータに基づく特徴量データである。
【０１４０】
情報データベース６２０から送信される特徴量データは、制御信号生成部６３７に送られる。制御信号生成部６３７には、さらに、マイクＢ６３０の取得音声に基づいて特徴量を求めるマイクＢの特徴量抽出部の定常性計算部からの特徴量がマイクパラメータ制御用のフィードバックデータとして入力される。制御信号生成部６３７は、この２つの信号に基づいて制御信号を生成する。この例では、マイクパラメータを制御する信号を生成し、音量、音質の調整パラメータ設定を行なう。
【０１４１】
従来は、マイクの取得音声のみに基づくフィードバック制御が行われ、すべてのユーザにおいて同様の制御信号が生成されるが、本発明の構成、すなわち、ユーザの嗜好、行動特性に基づく特徴量として蓄積データベース６２０から入力される特徴量データを適用した制御では、音量の大の環境下にいることの多いユーザと、静粛な環境にいることが多いユーザが異なる特徴量を持ち、これらの特徴量に基づいてマイクパラメータを制御する信号を生成する。また周波数の高い高音域の音の多い環境下にいることの多いユーザと、周波数の低い低音域の音の多い環境下にいることの多いユーザとは、異なる特徴量を持ち、これらの特徴量に基づいてマイクパラメータを制御する信号を生成する。例えば周波数の高い高音域の音の多い環境下にいることの多いユーザの操作する録音機器においては、周波数の高い高音域の音を集音しやすいようにマイクパラメータを制御する。
【０１４２】
音声に基づく特徴量抽出、特徴量に基づくマイクパラメータ制御の処理手順は、先に画像データに関して説明した図１６、図１７、図１８のビデオカメラＡ、蓄積データベース、ビデオカメラＢのそれぞれの処理フローにおいて、取得データを音声として、特徴量データを音量、音質に置き換えたものとなる。
【０１４３】
次に、ユーザの所有するクレジットカード、ＩＣカード等の記録データを特徴量取得装置として適用する例について説明する。クレジットカード、ＩＣカードには、例えば所有するユーザの借りたビデオ、ＣＤ等のデータ、あるいはインターネットで配信された映像、音楽の識別データが記録されているものとする。これらはユーザの嗜好に基づいて選択されたデータであり、前述のカメラをセンサとした場合の動きベクトルの取得、輝度データの取得、マイクをセンサとした場合の音量、音質データの取得を、クレジットカード、ＩＣカードに記録された映像、音楽データに基づいて解析して、これらの解析データに基づく特徴量をユーザの操作するビデオカメラ、録音機器に対する制御量として用いる。
【０１４４】
図２２に、ビデオカメラを操作するユーザに対する制御量をＩＣカード８１０に記録された映像ソース購入記録に基づいて実行する場合の各機器の処理構成を説明するブロック図を示す。
【０１４５】
ユーザはＩＣカード８１０を保有し、ＩＣカード８１０のメモリ８１１にはユーザの借りたビデオ、ＣＤ等のデータ、あるいはインターネットで配信された映像、音楽の識別データが記録されている。ユーザはこれらのデータをＩＣカードのデータ読み取りを実行するリーダ／ライタ８２０にセットし、インタフェース８１２を介してデータ出力を行なう。この際、ユーザＩＤも併せて出力する。
【０１４６】
リーダライタ８２０は、ＩＣカード８１０からデータをＩ／Ｆ８２２を介して入力し、メモリ８２１にユーザＩＤに対応付けて格納し、通信部８２３を介してこれらのデータを蓄積データベース３２０に転送する。蓄積データベース９１０は、リーダライタ８２０から入力する映像、音楽の識別データを情報受信部９１１において入力し、情報蓄積部９１２に格納し、特徴量抽出部９１３において特徴量の抽出を行なう。特徴量抽出部９１３は、映像、音楽の識別データに基づいて、対応する画像データまたは音楽データを読み出し、これらの画像データ、音声データの特徴を抽出する。例えば画像データからは前述のビデオカメラをセンサとした場合と同様、動きベクトル、輝度値データ等を特徴量として抽出し、音声データからは音量、音質データ等を特徴量として抽出する。抽出された特徴量は特徴量管理部９１４の管理のもとに情報送受信部９１５を介して制御対象となるビデオカメラ９２０や、マイクを有する録音機器９３０等に出力され、前述と同様の制御信号が生成され、ユーザの特徴量に基づく制御が実行される。
【０１４７】
いくつかの実施例について説明してきたが、ユーザの特徴量の取得方法としては、この他にユーザの保有するテレビ、ステレオ、携帯型再生装置などユーザが見たり聞いたりする機器自体から、ユーザの視聴あるいは聴取するコンテンツに基づく方法が可能である。ユーザの嗜好に基づいて選択される映像、音楽から、上記実施例と同様の手法により、動きベクトル、輝度値、音量、音質データ等の様々な特徴量を抽出し、これらをビデオカメラ、録音機器の制御情報として適用することで、ユーザ固有の嗜好、行動特性に対応した制御が可能となる。
【０１４８】
なお、上述の実施例で述べた一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、各サーバ内のメモリにインストールして実行させる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、例えばサーバとしてのコンピュータや１チップのマイクロコンピュータ等にインストールされる。
【０１４９】
各種処理の実行プログラムは、システムに内蔵されている記録媒体としてのハードディスクやＲＯＭに予め記録しておくことができる。あるいは、プログラムはフロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１５０】
また、プログラムは、１つのコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１５１】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１５２】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１５３】
【発明の効果】
以上の説明から明らかなように本発明のユーザ嗜好ベース制御を行なう画像配信システムによれば、多数のユーザから受信する画像の選択あるいは点数等の画像評価情報、あるいはカメラ制御情報としてのカメラパラメータを蓄積し、蓄積データの解析処理により、最もユーザの嗜好度の高い画像を選択することを可能とした画像配信システムが実現される。
【０１５４】
さらに、本発明のユーザ嗜好ベース制御を行なう情報取得装置の制御システムによれば、ビデオカメラ、録音機器の制御において、ユーザの嗜好、行動特性に基づく特徴量とを用いる構成としたので、ユーザの嗜好、行動特性に基づく特徴量に応じた各個人に固有の特性に適応した制御が可能となる。例えば激しい動きの多いユーザと、静止した状態の多いユーザにおいて異なる反力をアクチュエータに生じさせる制御などによりユーザに対応した最適な画像の撮影可能となる。
また、周波数の高い高音域の音の多い環境下にいることの多いユーザの操作する録音機器においては、周波数の高い高音域の音を集音しやすいようにマイクパラメータを制御することにより、ユーザの好みを反映した録音が可能となる。
【図面の簡単な説明】
【図１】ビデオカメラ撮影画像の画像特性を各個人別に評価した図である。
【図２】本発明の画像配信システムの構成例を示す図である。
【図３】本発明の画像配信システムの処理フローを示す図である。
【図４】本発明の画像配信システムにおいてカメラパラメータを指示データとして用いた場合の処理フローを示す図である。
【図５】本発明の画像配信システムにおいてサーバ側で実行するデータ処理について説明するフロー図である。
【図６】本発明の画像配信システムにおいてサーバ側で実行する最適画像抽出処理について説明するフロー図である。
【図７】本発明の画像配信システムのサーバ、クライアントの構成を示すブロック図である。
【図８】本発明の画像配信システムのサーバ、クライアントの構成を示すブロック図である。
【図９】本発明の情報取得装置の制御システムの概要を説明する図である。
【図１０】本発明の情報取得装置の制御システムの構成を示すブロック図である。
【図１１】本発明の情報取得装置の制御システムにおいて、ビデオカメラによる取得画像に基づく特徴量抽出および制御処理構成を説明するブロック図である。
【図１２】本発明の情報取得装置の制御システムにおいて、センサとしてのビデオカメラの構成を説明するブロック図である。
【図１３】本発明の情報取得装置の制御システムにおけるセンサとしてのビデオカメラの取得する特徴量のデータ構成例を示す図である。
【図１４】本発明の情報取得装置の制御システムにおける蓄積データベースの記憶する特徴量のデータ構成例を示す図である。
【図１５】本発明の情報取得装置の制御システムにおいて、特徴量に基づく制御対象となるビデオカメラの構成を説明するブロック図である。
【図１６】本発明の情報取得装置の制御システムにおけるセンサとしてのビデオカメラの処理を説明するフロー図である。
【図１７】本発明の情報取得装置の制御システムにおける蓄積データベースの処理を説明するフロー図である。
【図１８】本発明の情報取得装置の制御システムにおいて、特徴量に基づく制御対象となるビデオカメラの処理を説明するフロー図である。
【図１９】本発明の情報取得装置の制御システムにおいて、マイクによる取得音声に基づく特徴量抽出および制御処理構成を説明するブロック図である。
【図２０】本発明の情報取得装置の制御システムにおいて、センサとしてのマイクの構成を説明するブロック図である。
【図２１】本発明の情報取得装置の制御システムにおいて、特徴量に基づく制御対象となる録音機器の構成を説明するブロック図である。
【図２２】本発明の情報取得装置の制御システムにおいて、ＩＣカードの格納データに基づく特徴量抽出および制御処理構成を説明するブロック図である。
【符号の説明】
１０ クライアント端末
１１ ＰＣ
１２ ＰＤＡ
１３ 携帯電話
２０ 画像配信サーバ
２１ 制御部
２２ カメラ
２３ 画像データベース
１０１ カメラ
１０２ 画像蓄積部
１０３ 画像取得部
１０４ 画像処理部
１０５ Ｉ／Ｏプロセッサ
１０６ データ処理部
１０７ データ蓄積部
１０８ 通信部
１１１ 通信部
１１２ Ｉ／Ｏプロセッサ
１１３ 画像処理部
１１４ 画像表示部
１２１ カメラパラメータ指示データ取得部
２０１ センサ
２０２ 蓄積データベース
２０３ アクチュエータ
２０４ 生成物
２０５ カメラ
２１１ センサ
２１２ 特徴量抽出部
２１３ 蓄積データベース
２１４ 制御信号生成部
２１５ アクチュエータ
２１６ ユーザ操作部
２１７ 記録・生成部
２１９ 被写体
２２０ ビデオカメラ
３１０ ビデオカメラＡ
３１１ 光学系
３１２ カメラブロック
３１３ ビデオ信号処理部
３１４ 特徴量抽出部
３１５ 特徴データ抽出部
３１６ メモリ
３１７ 定常性計算部
３１８ 情報送信部
３１９ 電源ブロック
３２０ 蓄積データベース
３２１ 情報受信部
３２２ 情報蓄積部
３２３ 特徴量抽出部
３２４ 特徴量管理部
３２５ 情報送受信部
３３０ ビデオカメラＢ
３３１ 光学系
３３２ カメラブロック
３３３ ビデオ信号処理部
３３４ 特徴データ抽出部
３３５ メモリ
３３６ 定常性計算部
３３７ 制御信号生成部
３３８ カメラ雲台アクチュエータ
３３９ 情報取得部
３４０ 撮影輝度制御部
３４１ ドライブ部
３４２ デッキ部
５１１ レンズ
５１２ モータ
５２１ ＣＣＤ
５２２ サンプルホールドＡＧＣ
５２３ ビデオＡＤ
５２４ タイミングジェネレータ
５２５ カメラコントローラ
５３１ データ処理／システムコントローラ
５３２ バッファメモリ
５３３ ビデオ信号処理部
５３４ メモリ
５３５ 動き検出部
５３６ メモリ
５３８ ビデオコントローラ
６１０ マイクＡ
６１１ 音響系
６１２ マイクブロック
６１３ オーディオ信号処理部
６１４ 特徴量抽出部
６１５ 特徴データ抽出部
６１６ メモリ
６１７ 定常性計算部
６１８ 情報送信部
６２０ 蓄積データベース
６２１ 情報受信部
６２２ 情報蓄積部
６２３ 特徴量抽出部
６２４ 特徴量管理部
６２５ 情報送受信部
６３０ マイクＢ
６３１ 音響系
６３２ マイクブロック
６３３ オーディオ信号処理部
６３４ 特徴データ抽出部
６３５ メモリ
６３６ 定常性計算部
６３７ 制御信号生成部
６４０ マイクパラメータ制御部
７１１ 音声圧縮ＥＮＣ／ＤＥＣ
８１０ ＩＣカード
８１１ メモリ
８１２ インタフェース
８２０ リーダライタ
８２１ メモリ
８２２ インタフェース
８２３ 通信部
９１０ 蓄積データベース
９１１ 情報受信部
９１２ 情報蓄積部
９１３ 特徴量抽出部
９１４ 特徴量管理部
９１５ 情報送受信部
９２０ ビデオカメラ
９３０ 録音機器

Claims (11)

1. ネットワークを介して画像データを配信する画像配信サーバと、
   前記画像配信サーバに接続し、画像データを受信、表示するクライアント端末とを有し、
   前記クライアント端末は、前記画像配信サーバの提示する画像データに対する指示データを入力し、前記画像配信サーバに送信し、
   前記画像配信サーバは前記クライアント端末からの指示データに基づいて該画像配信サーバの提示画像の評価処理を実行し、評価処理に基づく最適画像選定処理を実行する構成を有し、
   前記画像配信サーバは、前記クライアント端末からの指示データに基づいて画像撮影手段であるカメラを制御し、カメラの撮影画像から動きベクトルおよび輝度データを取得し、取得した動きベクトルおよび輝度データに基づいてクライアント対応の嗜好行動特性データを生成し、
   前記クライアント対応の嗜好特性データに含まれる動きベクトルデータに基づく特徴量データに基づいて画像撮影カメラのアクチュエータに対する制御を実行し、前記嗜好特性データに含まれる輝度データに基づく特徴量データに基づいて画像撮影カメラの撮影輝度制御を実行してクライアント対応の最適画像選定処理を実行することを特徴とする画像配信システム。
2. 前記画像配信サーバの提示する画像データはクライアント端末から送信可能なカメラパラメータによって制御可能なカメラによって撮影された画像データであり、
   前記クライアント端末の入力する指示データは、前記カメラの制御に適用するカメラパラメータであり、
   前記画像配信サーバは前記クライアント端末から受信する多数のカメラパラメータの統計処理に基づいて最適カメラパラメータを選択し、該最適カメラパラメータの設定により前記カメラによって撮影された画像データを最適画像として選定する処理を実行する構成を有することを特徴とする請求項１に記載の画像配信システム。
3. 前記画像配信サーバの提示する画像データは、複数の異なる画像データであり、
   前記クライアント端末の入力する指示データは、前記複数の異なる画像データに対する選択指示データまたは点数評価データであり、
   前記画像配信サーバは前記クライアント端末から受信する多数の選択指示データまたは点数評価データの統計処理に基づいて該画像配信サーバの提示する複数の異なる画像データの評価処理を実行し、該評価処理に基づく最適画像選定処理を実行する構成を有することを特徴とする請求項１に記載の画像配信システム。
4. 前記画像配信サーバの提示する画像データは、複数の異なる画像データであり、
   前記クライアント端末の入力する指示データは、画像データに対する部分領域指示データであり、
   前記画像配信サーバは前記クライアント端末から受信する多数の部分領域指示データの統計処理に基づいて該画像配信サーバの提示する画像データの評価処理を実行し、該評価処理に基づく最適画像選定処理を実行する構成を有することを特徴とする請求項１に記載の画像配信システム。
5. 画像データまたは音声データの記録を実行する情報取得装置の制御を、該情報取得装置を操作するユーザの嗜好行動特性対応データに基づく特徴量により実行するユーザ嗜好ベース制御システムであり、
   ユーザの嗜好行動特性データを取得する情報取得部と、嗜好行動特性データに基づいてユーザの嗜好行動特性特徴量を抽出する特徴量抽出部とを有する特徴量取得手段と、
   前記特徴量取得手段の取得した特徴量データとユーザＩＤとを対応付けて格納する蓄積データベースと、
   前記蓄積データベースに格納された特徴量データを受信し、該受信特徴量データに基づく制御を行なう画像データまたは音声データの記録を実行する情報取得装置を有し、
   前記情報取得装置は、画像撮影機能を持つビデオカメラであり、
   前記特徴量取得手段は、前記ビデオカメラの撮影画像から取得される動きベクトルデータおよび輝度データに基づく特徴量データを生成して、前記動きベクトルデータおよび輝度データに基づく特徴量データとユーザＩＤとを対応付けて前記蓄積データベースに記憶し、
   前記情報取得装置としてのビデオカメラは、前記蓄積データベースから取得される動きベクトルデータに基づく特徴量データに基づいてアクチュエータに対する制御信号を生成し、前記蓄積データベースから取得される輝度データに基づく特徴量データに基づいて画像撮影カメラの撮影輝度制部に対する制御信号を生成する構成を有することを特徴とするユーザ嗜好ベース制御システム。
6. 前記情報取得装置は、音声取得機能を持つ録音機器であり、
   前記特徴量取得手段は、音声取得機能を有し、前記特徴量抽出部は、取得された音声データに基づいて音量データまたは音質データの少なくともいずれかに基づく特徴量データを生成する構成を有し、
   前記蓄積データベースは、前記音量データまたは音質データの少なくともいずれかに基づく特徴量データとユーザＩＤとを対応付けて記憶し、
   前記情報取得装置としての録音機器は、蓄積データベースから提供される音量データまたは音質データの少なくともいずれかに基づく特徴量データに基づいてマイクパラメータ制御部に対する制御信号を生成する構成を有することを特徴とする請求項５に記載のユーザ嗜好ベース制御システム。
7. 前記特徴量取得手段は、情報記録機能を持つカード型記録媒体であり、
   前記蓄積データベースは、カード型記録媒体に記録された画像または音楽識別情報に対応する画像データまたは音楽データに基づく特徴量データを、前記カード型記録媒体の所有ユーザの識別子に対応付けて記憶し、
   前記情報取得装置は、前記蓄積データベースに格納された特徴量データを受信し、該受信特徴量データに基づく制御を行なう構成を有することを特徴とする請求項５に記載のユーザ嗜好ベース制御システム。
8. ネットワークを介して画像データを配信する画像配信サーバと、前記画像配信サーバに接続し、画像データを受信、表示するクライアント端末とを有するシステムにおける画像選定方法であり、
   前記クライアント端末において、前記画像配信サーバの提示する画像データに対する指示データを入力し、前記画像配信サーバに送信するステップと、
   前記画像配信サーバにおいて、前記クライアント端末からの指示データに基づいて該画像配信サーバの提示画像の評価処理を実行し、評価処理に基づく最適画像選定処理を実行する画像選定処理ステップを有し、
   前記画像選定処理ステップは、
   前記クライアント端末からの指示データに基づいて画像撮影手段であるカメラを制御し、カメラの撮影画像から動きベクトルおよび輝度データを取得し、取得した動きベクトルおよび輝度データに基づいてクライアント対応の嗜好行動特性データを生成し、
   前記クライアント対応の嗜好特性データに含まれる動きベクトルデータに基づく特徴量データに基づいて画像撮影カメラのアクチュエータに対する制御を実行し、前記嗜好特性データに含まれる輝度データに基づく特徴量データに基づいて画像撮影カメラの撮影輝度制御を実行してクライアント対応の最適画像選定処理を実行するステップであることを特徴とする画像選定方法。
9. 画像データまたは音声データの記録を実行する情報取得装置の制御を、該情報取得装置を操作するユーザの嗜好行動特性対応データに基づく特徴量により実行するユーザ嗜好ベース制御方法であり、
   ユーザの嗜好行動特性データを取得する情報取得ステップと、
   嗜好行動特性データに基づいてユーザの嗜好行動特性特徴量を抽出する特徴量抽出ステップと、
   前記特徴量データとユーザＩＤとを対応付けて蓄積データベースに格納する記憶ステップと、
   前記情報取得装置において、前記蓄積データベースに格納された特徴量データを受信し、該受信特徴量データに基づく制御を行なう画像データまたは音声データの記録を実行する制御ステップを有し、
   前記情報取得装置は、画像撮影機能を持つビデオカメラであり、
   前記特徴量抽出ステップは、画像撮影機能を持つビデオカメラの撮影画像から取得される動きベクトルデータおよび輝度データに基づく特徴量データを生成して、前記動きベクトルデータおよび輝度データに基づく特徴量データとユーザＩＤとを対応付けて前記蓄積データベースに記憶するステップであり、
   前記制御ステップは、前記ビデオカメラにおいて、前記蓄積データベースから取得される動きベクトルデータに基づく特徴量データに基づいてアクチュエータに対する制御信号を生成し、前記蓄積データベースから取得される輝度データに基づく特徴量データに基づいて画像撮影カメラの撮影輝度制部に対する制御信号を生成するステップを含むことを特徴とするユーザ嗜好ベース制御方法。
10. ネットワークを介して画像データを配信する画像配信サーバと、前記画像配信サーバに接続し、画像データを受信、表示するクライアント端末とを有するシステムにおける画像選定処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムであって、
    前記画像配信サーバの提示する画像データに対する指示データを前記クライアント端末から受信するステップと、
    前記クライアント端末からの指示データに基づいて該画像配信サーバの提示画像の評価処理を実行するステップと、
    評価処理に基づく最適画像の選定処理を実行する画像選定処理ステップを有し、
    前記画像選定処理ステップは、
    前記クライアント端末からの指示データに基づいて画像撮影手段であるカメラを制御し、カメラの撮影画像から動きベクトルおよび輝度データを取得し、取得した動きベクトルおよび輝度データに基づいてクライアント対応の嗜好行動特性データを生成し、
    前記クライアント対応の嗜好特性データに含まれる動きベクトルデータに基づく特徴量データに基づいて画像撮影カメラのアクチュエータに対する制御を実行し、前記嗜好特性データに含まれる輝度データに基づく特徴量データに基づいて画像撮影カメラの撮影輝度制御を実行してクライアント対応の最適画像選定処理を実行するステップであることを特徴とするコンピュータ・プログラム。
11. 画像データまたは音声データの記録を実行する情報取得装置の制御を、該情報取得装置を操作するユーザの嗜好行動特性対応データに基づく特徴量により実行するユーザ嗜好ベース制御処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムであって、
    ユーザの嗜好行動特性データを取得する情報取得ステップと、
    嗜好行動特性データに基づいてユーザの嗜好行動特性特徴量を抽出する特徴量抽出ステップと、
    前記特徴量データとユーザＩＤとを対応付けて蓄積データベースに格納する記憶ステップと、
    前記情報取得装置において、前記蓄積データベースに格納された特徴量データを受信し、該受信特徴量データに基づく制御を行なう画像データまたは音声データの記録を実行する制御ステップを有し、
    前記情報取得装置は、画像撮影機能を持つビデオカメラであり、
    前記特徴量抽出ステップは、画像撮影機能を持つビデオカメラの撮影画像から取得される動きベクトルデータおよび輝度データに基づく特徴量データを生成して、前記動きベクトルデータおよび輝度データに基づく特徴量データとユーザＩＤとを対応付けて前記蓄積データベースに記憶するステップであり、
    前記制御ステップは、前記ビデオカメラにおいて、前記蓄積データベースから取得される動きベクトルデータに基づく特徴量データに基づいてアクチュエータに対する制御信号を生成し、前記蓄積データベースから取得される輝度データに基づく特徴量データに基づいて画像撮影カメラの撮影輝度制部に対する制御信号を生成するステップを含むことを特徴とするコンピュータ・プログラム。

Images