JP4649944B2 - 動画像処理装置、動画像処理方法およびプログラム - Google Patents

動画像処理装置、動画像処理方法およびプログラム Download PDF

Info

Publication number
JP4649944B2
JP4649944B2 JP2004305305A JP2004305305A JP4649944B2 JP 4649944 B2 JP4649944 B2 JP 4649944B2 JP 2004305305 A JP2004305305 A JP 2004305305A JP 2004305305 A JP2004305305 A JP 2004305305A JP 4649944 B2 JP4649944 B2 JP 4649944B2
Authority
JP
Japan
Prior art keywords
moving image
sensor
metadata
sensor information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004305305A
Other languages
English (en)
Other versions
JP2006121264A (ja
Inventor
尚史 吉田
宮崎  淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2004305305A priority Critical patent/JP4649944B2/ja
Priority to US11/111,816 priority patent/US20060082664A1/en
Publication of JP2006121264A publication Critical patent/JP2006121264A/ja
Application granted granted Critical
Publication of JP4649944B2 publication Critical patent/JP4649944B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/903Television signal recording using variable electrical capacitive recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、動画像処理装置、動画像処理方法およびプログラムに関する。
メタデータは、データについての情報を記述したデータである。膨大なデータの山の中から目的のデータを探し出す手助けとするために作成される。メタデータを用いて動画を検索・編集することに関する従来技術として以下のようなものが提案されている。
特許文献1記載の動画像加工装置は、付帯するメタデータを利用して入力動画像の各フレームごとに適切な領域で切り出すことによって動画像特徴量や使用方法に応じた出力動画像を自動的に作成する。
特許文献2記載の動画像管理装置は、動画像に編集が加えられた後でも、当該動画像に付与されているメタデータを容易に適正化し、活用できるようにする。
特許文献3記載の動画像検索装置は、入力映像よりオブジェクト領域を抽出し、そのオブジェクト領域の連続するフレームの形状の変化をも含み変化する形状特徴を抽出して予めメタデータデータベースに格納する。検索のために指定された形状特徴のメタデータとメタデータデータベース中に予め格納されたメタデータとを比較し、類似度のある映像を表示する。
特開2004−172671号公報 特開2003−259268号公報 特開2001−268479号公報
しかしながら、動画像を対象としたアノテーションの付与やメタデータの抽出は困難である。例えば、動画像群を対象として、それらを撮影する際にその動画に撮影される人や物についての録画と同時かつ自動的にメタデータを付与することは困難である。このため、このような動画像に対してメタデータを用いた検索を行うことができないという問題がある。上記特許文献によっては、このような動画像に対して自動的にメタデータを付与することはできない。
そこで、本発明は、上記問題点に鑑みてなされたもので、動画像を検索可能にすることができる動画像処理装置、動画像処理方法及びプログラムを提供することを目的とする。
上記課題を解決するために、本発明は、動画像の撮影時において撮影対象である人のIDと前記IDにより識別される人の動作との組み合わせ、及び撮影対象である物のIDと前記IDにより識別される物の動作との組み合わせの少なくともいずれか一方を、センサ情報として1つ以上のセンサから取得する管理手段と、センサ情報の組み合わせの意味づけを反映したメタデータを格納する格納手段と、前記管理手段からのセンサ情報に基づいて、前記センサ情報の組み合わせを判定して前記動画像に対して、撮影対象である人及び/又は物の動作に関するメタデータを、前記格納手段を参照して付与する付与手段と、を備える動画像処理装置である。本発明によれば、動画像の撮影時における人物、物及び該人物又は物の動作を検出するセンサのセンサ情報に基づいて、前記センサ情報の組み合わせを判定することで動画像に対して自動的にメタデータを付与することができる。これにより、撮影対象の人、物、動作の共通の特徴を有する動画像を検索可能にすることができる。なお、センサには、発言ボタン、マイク、位置情報センサ、手書き入力センサ等が含まれる。
本発明の動画像処理装置は更に、前記センサ情報及び前記メタデータを関連付けて所定のデータベースに記録する記録手段を備える。本発明によれば、動画像に対して付与したメタデータに基づいて、動画像を提供することができる。
本発明の動画像処理装置は更に、前記動画像を時刻情報と共に所定のデータベースに記録する映像記録手段を備える。
本発明の動画像処理装置は更に、入力された検索条件及び前記メタデータに基づいて前記動画像を検索する検索手段を備える。本発明によれば、メタデータを用いて撮影対象の人、物、動作の共通の特徴を有する動画像を検索することができる。
前記管理手段は、前記人のID、前記物のID、及び人及び物の動作をIDにより管理するID管理手段を含む。また、前記管理手段は、前記センサの検出時刻を提供する管理手段を含む。本発明によれば、センサが時刻情報を持っていない場合でも、センサ情報と時刻情報と対応付けることができる。
前記管理手段は、URL表現の形式で前記付与手段との間で通信を行うのが好ましい。本発明によれば、異種のセンサデバイスを対象として、URLのみによる動的な疎結合を実現することができる。
前記管理手段は、発言を検出するセンサを管理する管理手段、位置情報を検出するセンサを管理する管理手段及び手書き入力を検出するセンサを管理する管理手段のうちの少なくともいずれかの管理手段を含むのが好ましい。
例えば、前記付与手段は、前記管理手段からのセンサ情報撮影対象であるホワイトボードに所定のペンを用いて描いた動作を表す場合には、強い主張とのメタデータを付与する。また前記付与手段は、前記管理手段からのセンサ情報撮影対象である会議の参加者が発言ボタンあるいは会議の参加者それぞれに与えられているマイクのスイッチを入れて発言した動作を表す場合には、発言とのメタデータを付与する。また前記付与手段は、前記管理手段からのセンサ情報撮影対象である人のうち所定以上の人が挙手をした動作を表す場合には、議決及び承認のうちの少なくともいずれか一方のメタデータを付与する。前記付与手段は、前記管理手段からのセンサ情報撮影対象である会議の参加者が、会議の参加者に与えられている投票ボタンを押した動作を表す場合には、議決および賛成、ならびに、議決および反対のうちのいずれか一方のメタデータを付与する。前記管理手段からのセンサ情報が表す撮影対象である部屋の照明及びプロジェクタの電源の状態に応じて、メタデータを付与する。
前記複数のセンサはグルーピングされており、前記付与手段は、前記管理手段からのセンサ情報に基づいて、前記センサのグループの組み合わせを判定して前記動画像に対してメタデータを付与するのが好ましい。
本発明は、動画像の撮影時において撮影対象である人のIDと前記IDにより識別される人の動作との組み合わせ、及び撮影対象である物のIDと前記IDにより識別される物の動作との組み合わせの少なくともいずれか一方を、1つ以上のセンサによりセンサ情報として検出する検出ステップと、前記センサからのセンサ情報に基づいて、前記センサ情報の組み合わせを判定して、前記センサ情報の組み合わせの意味づけを反映したメタデータを格納する格納手段を参照して前記動画像に対して、撮影対象である人及び/又は物の動作に関するメタデータを付与する付与ステップと、を有する動画像処理方法である。本発明によれば、動画像の撮影時における人物、物及びこれらの動作を検出するセンサのセンサ情報に基づいて、前記センサ情報の組み合わせを判定することで動画像に対して自動的にメタデータを付与することができる。これにより、撮影対象の人、物、動作の共通の特徴を有する動画像を検索可能にすることができる。
本発明は、動画像の撮影時において撮影対象である人のIDと前記IDにより識別される人の動作との組み合わせ、及び撮影対象である物のIDと前記IDにより識別される物の動作との組み合わせの少なくともいずれか一方を検出する1つ以上のセンサのセンサ情報を取得するステップ、前記センサ情報に基づいて、前記センサ情報の組み合わせを判定して、前記センサ情報の組み合わせの意味づけを反映したメタデータを格納する格納手段を参照して前記動画像に対して撮影対象である人及び/又は物の動作に関するメタデータを付与する付与ステップをコンピュータに実行させるプログラムである。本発明によれば、動画像の撮影時における人物、物及びこれらの動作を検出するセンサのセンサ情報に基づいて、前記センサ情報の組み合わせを判定することで動画像に対して自動的にメタデータを付与することができる。これにより、撮影対象の人、物、動作の共通の特徴を有する動画像を検索可能にすることができる。
本発明によれば、動画像を検索可能にすることができる動画像処理装置、動画像処理方法及びプログラムを提供することができる。
以下、本発明を実施するための最良の形態について実施例を用いて説明する。
[第1実施形態]図1は、第1実施形態による動画像処理装置の構成を示す図である。図1に示すように、動画像処理装置1は、複数のカメラ2n、映像データベース3、映像記録部4、ID管理部5、発言センサ管理部61、位置情報センサ管理部62、手書き入力センサ管理部63、センサn管理部6n、時刻提供部7、センサの組み合わせの意味づけデータベース8、センサ組み合わせ判定部9、センサデータベース10、センサ情報記録部11及び検索部12を備える。
動画像処理装置1は、動画像の撮影対象である人、物及びこれらの動作のID、位置情報、時間の刻印(timestamp)の組をセンサ情報として獲得し、あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけを反映したメタデータを格納し、抽出されたメタデータを対象として撮影対象の人、物及びこれらの動作と共通の特徴を有する動画像を検索可能とする動画像データベースの実現可能とするものである。
カメラ2nは、例えば会議室等に設置され、撮影した映像とそのときの時刻情報を映像記録部4に出力する。映像データベース3は、動画像と撮影時の時刻情報を格納するものである。映像記録部4は、カメラ21乃至2nで撮影した動画像を時刻情報と共に映像データベース3へ記録する。ID管理部5は、会議室内での動画像の撮影対象となる人、物およびこれらの動作をIDにより管理するものである。ここで、物には、例えばプロジェクタやホワイトボードなどが含まれる。動作には、例えば手書き入力などが含まれる。ID管理部5のIDは、例えばどの発言が誰の発言かを特定するために用いるものである。特に会議においては誰がどの動作を行ったかが重要となる。このため、ID管理部5によりIDを認識することにより、動画像を対象としたメタデータの付与において、動画像中の人の動作の主体を識別し、抽象度が高く利用価値の高いメタデータを生成することができる。センサ組み合わせ判定部9は、ID管理部5のIDによって撮影対象を認識することができる。
発言センサ管理部61は、例えば発言ボタンまたはマイク等の発言センサを管理する。発言センサは、発言ボタンが押された場合あるいは会議の参加者それぞれに与えられているマイクのスイッチを入れて発言されたことを検出する。位置情報センサ管理部62は、例えば、人が持つIDカードまたは会議室内に設置された物に付与されたIDを検出する位置情報センサを管理するものである。手書き入力センサ管理部63は、例えばホワイトボードに所定のペンを用いて描いたことを検出する手書き入力センサを管理する。
センサ管理部6nは、発言センサ管理部61、位置情報センサ管理部62及び手書き入力センサ管理部63以外のセンサ管理部であり、動画像の撮影時における人物、物及びこれらの動作を検出するセンサを管理する。各センサ管理部61乃至6nは、URL表現の形式でセンサ組み合わせ判定部9との間で通信を行う。これにより、異種のセンサデバイスを対象として、URLのみによる動的な疎結合を実現することができる。発言センサ管理部61、位置情報センサ管理部62、手書き入力センサ管理部63乃至センサ管理部6nは、センサ情報を出力する。
時刻提供部7は、各センサが時刻情報を持たない場合、センサの検出時刻を各センサ管理部61乃至6nに提供する。各センサ管理部61乃至6nは、時刻提供部7からの時刻情報を受け、結合した後に時刻情報と共にセンサ情報を出力する。
センサの組み合わせの意味づけDB8は、あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけを反映したメタデータを格納する。センサの組み合わせ判定部9は、動画像の撮影対象である人、物及びこれらの動作ID、各センサ管理部61乃至6nからのセンサ情報、時刻の刻印の組をセンサ情報として獲得し、センサの組み合わせの意味づけDB8を参照し、センサ情報の組み合わせを判定して動画像に対してメタデータを付与する。センサデータベース10は、例えばセンサID及び時刻情報等のセンサ情報、メタデータ、パラメータを格納するものである。センサ情報記録部11は、センサ情報、時刻情報及びセンサ組み合わせ判定部9からのメタデータを関連付けてセンサデータベース10に記録する。
検索部12は、入力された検索条件及びセンサデータベース10に格納されたメタデータに基づいて、映像データベース3内の動画像を検索する。検索部12は、ユーザインタフェースUIとして時間軸に沿って動画像とそのメタデータを同時に表示し動画像を再生する部分を探す。検索部12は、検索者がキーワード(検索条件)を入力することにより検索を行う。また、検索部12は、センサデータベース10より利用者の望む人、物及びこれらの動作を特定し、その時刻情報と同一あるいは近い時刻を持つ動画を映像データベースより獲得し、利用者へ提供する。
次に、センサデータベース10のデータ構造について説明する。図2は、センサデータベースのデータ構造を示す図である。図2に示すように、センサデータベースには、センサID、時刻、メタデータ及びパラメータが格納される。センサID、時刻及びパラメータがセンサ情報である。また、メタデータを記録する場合、時刻及びメタデータを組として一つの要素を上記のデータ構造の一行として記録する。センサ群のデータを直接記録する場合には、センサID、時刻及びパラメータの組を記録する。パラメータが複数存在する場合には、複数の行に分割して記述する。ここで述べるパラメータとは、各センサに依存したセンサ固有(かつセンサIDや時刻以外の)の出力データを指す。例えば位置センサであればX、YおよびZ座標、発言を検知するセンサであれば発言の有無、手書き入力センサであれば手書きの軌跡を記録した点データの集合を指す。
次に、センサの組み合わせの意味づけデータベース8のデータ構造について説明する。センサの組み合わせの条件とそれに対応するメタデータを、次の式の集合として記述する。このとき、左辺においては通常の論理式と同様に演算の優先順位を示す括弧「()「」」を記述可能とする。
・(センサID1、パラメータの条件1)and/or(センサID2、パラメータの条件2)and/or…=メタデータ
図3は、センサデバイス群の動的な疎結合を説明するための図である。図3のように、センサ組み合わせ判定部9とID管理部5、各センサ管理部61乃至6n及び時刻提供部7との接続において、通信の形式としてURL表現の形式を定めておき、それに沿ってID管理部5、各センサ管理部61乃至6n、時刻提供部7は、センサID、時間、パラメータ1及びパラメータ2をセンサ組み合わせ判定部9及びセンサ情報記録部11に送信する。なお、通常は双方においてシステム・インタフェースの統一などが課題となり大きな変更を伴う。また、各センサは、通常コンパクトな形状を有し、複雑な通信機構を導入することは困難である。
例えば、センサ組み合わせ判定部9をあるWWWサーバ sensor.example.com において実現し、あるセンサを、センサ管理部61乃至6nを通じて接続する場合、各センサ管理部61乃至6nは、次のURLをアクセスすることによりセンサから得られたデータをセンサ組み合わせ判定部9に送信する。この送信形式のみを知るのみで他の詳細は知る必要がない。
http://sensor.example.com/send.cgi?sensorid=0001&time=2004/09/08+20:21:58&x=100&y=120
このように実現することにより、動的に、かつ、センサデバイス群の構成を変更することなく、各センサデバイス群を容易に接続・変更・切断することが可能となる。
次に、センサ組み合わせ判定部9のメタデータの付与例について説明する。センサ組み合わせ判定部9は、センサの組み合わせの意味づけDB8を参照して、あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけを、反映し、それをメタデータとして付与する。あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけには、例えば、ホワイトボード付近にある人が3次元ペンを用いて図形を描いた場合は強い主張とする等が含まれる。この異種のセンサ情報の組み合わせの意味づけとしては、次の例が考えられる。
(1)ホワイトボード付近にある人が3次元ペンを用いて図形を描いた場合、「強い主張」とのメタデータを付与する。
(2)発言ボタンあるいは会議の参加者それぞれに与えられているマイクのスイッチを入れて発言した場合には、「発言」とのメタデータを付与する。
(3)画像認識を用いて挙手を検出し、多くの人が同時に挙手をした場合は「議決」や「承認」とのメタデータを与える。
(4)会議の参加者に与えられている投票ボタン(賛成or反対)を押した場合には、メタデータを「議決」および「賛成」、または、「議決」および「反対」とする。
(5)部屋のライトが消灯されプロジェクタの電源がONされると「プレゼンテーションの開始」、逆にプロジェクタの電源がOFFされライト点灯されると「プレゼンテーションの終了」とメタデータを付与する。
次に、センサ組み合わせ判定部9のメタデータの付与手順について説明する。図4は、センサ組み合わせ判定部9のメタデータの付与手順を示すフローチャートである。ステップS1で、センサ組み合わせ判定部9には、ID管理部5、センサ管理部61乃至6n及び時刻提供部7からのセンサ情報が、独立に入力される。ステップS2で、センサ組み合わせ判定部9は、「センサの組み合わせの意味づけ」データベース8に記録されているセンサ情報の組み合わせとその意味づけの組をチェックする。
ステップS3で、センサ組み合わせ判定部9は、ステップS2において一致する組が存在する場合はそれに対応する意味づけをメタデータとしてセンサ情報記録部11へ出力する。センサ組み合わせ判定部9は、ステップS2において一致する組が存在しない場合はなにも出力しない。センサ情報記録部11は、ID管理部5、各センサ管理部61乃至6nからの出力、およびセンサ組み合わせ判定部9からのメタデータを入力として受け、センサデータベース10に格納する。
これにより、動画像の撮影時における人物、物及びこれらの動作を検出するセンサのセンサ情報に基づいて、センサ情報の組み合わせを判定することで動画像に対して自動的にメタデータを付与することができる。これにより、撮影対象の人、物、動作の共通の特徴を有する動画像を検索可能にすることができる。
[第2実施形態]次に第2実施形態について説明する。図5は、第2実施形態に係る動画像処理装置の構成を示す図である。図5に示すように、動画像処理装置101は、複数のカメラ21、映像データベース3、映像記録部4、ID管理部5、時刻提供部7、センサの組み合わせの意味づけデータベース8、センサ組み合わせ判定部9、センサデータベース10、センサ情報記録部11、検索部12、音センサ管理部71及び72、位置センサ管理部73及び74並びにセンサ管理部7nを備える。第1実施形態に係るシステムと同一箇所については同一符号を付して説明する。
音センサ管理部71及び72は、それぞれ例えば会議室内のマイクに接続され、マイクからの音響情報をセンサ情報として管理する。音センサ管理部71及び72は、音センサグループ81を形成する。位置センサ管理部73及び74は、例えば会議室内に設置されたID検出装置に接続され、会議室内に存在する人又は物の位置情報をセンサ情報として管理する。位置センサ管理部73及び74は、位置センサグループ82を形成する。複数のセンサn管理部7nは、センサグループ83を形成する。このように、複数のセンサ管理部によってセンサグループを形成する。
次に、センサ組み合わせ判定部9のメタデータの付与手順について説明する。図6は、センサ組み合わせ判定部9のメタデータの付与手順を示すフローチャートである。ステップS11で、複数のセンサがグループ分けされており、ID管理部5、複数のセンサ管理部71乃至7n及び時刻提供部7から、センサ情報が、独立にセンサ組み合わせ判定部9に入力される。ステップS12で、図5における「センサの組み合わせの意味づけ」データベース8には、センサ情報のグループの組とその意味づけが記録されている。センサ組み合わせ判定部9は、その組をチェックする。ステップS13で、センサ組み合わせ判定部9は、ステップS2においてセンサ情報のグループの組が一致する場合はそれに対応する意味づけをメタデータとしてセンサ情報記録部11へ出力する。
一方、センサ組み合わせ判定部9は、ステップS2においてセンサのグループの組が存在しない場合はなにも出力しない。他の変形例として、このセンサ組み合わせ判定部9において、「センサの組み合わせの意味づけ」データベース8に記録されている組み合わせのうち、一部でも合致していたら意味づけを与えるなどの柔軟な意味づけの方法が考えられる。センサ情報記録部11は、ID管理部5、各センサ管理部71乃至7nからの出力、およびセンサ組み合わせ判定部9からのメタデータを入力として受け、センサデータベース10に格納する。
第2実施形態のポイントは、センサをグルーピングすることによって,センサデータとメタデータとの関連付けを容易に構成可能な点にある。本発明によれば、図5における「センサの組み合わせの意味づけ」データベース8を、あらかじめ構成しておく必要があるが、その前持った準備を効率化することが可能となる。具体的には、本発明によれば任意のセンサを接続可能であるが、センサの種類を限ってしまい(例えば会議においてはカメラ、マイク、人のID、各位置センサ、所定のペンしか用いない)、種類ごとにセンサ情報のグループを形成しておきそのグループ単位で意味づけを記述することにより、新たにセンサが接続されても、どのグループに属するかを決めるのみで、図5における「センサの組み合わせの意味づけ」データベース8を再構成することなく、メタデータを抽出することが可能となる。
このように、動画像の撮影時における人物、物及びこれらの動作を検出するセンサのセンサ情報に基づいて、センサ情報の組み合わせを判定することで動画像に対して自動的にメタデータを付与することができる。よって、撮影対象の人、物又はこれらの動作の共通の特徴を有する動画像を検索可能にすることができる。
上記実施形態によれば、動画像群を対象として、それらを撮影する際にその動画に撮影される人や物についての実時間のセンサ情報や時間情報を録画と同時に付与することにより、動画像のメタデータを自動付与し、それらのメタデータを対象として検索を可能にすることができる。動画像を対象としたアノテーションの付与やメタデータの抽出は困難であるという問題点が解決される。
なお、本発明による動画像処理方法は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を用いて実現され、プログラムをハードディスク装置や、CD−ROM、DVDまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、CPUがこのプログラムを実行することで、各ステップが実現される。
このプログラムは、動画像の撮影時における人物、物及びこれらの動作のうちの少なくともいずれか一つを検出するセンサのセンサ情報を取得するステップ、前記センサ情報に基づいて、前記センサ情報の組み合わせを判定して前記動画像に対してメタデータを付与する付与ステップをコンピュータに実行させる。このとき、付与ステップは、あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけを反映したメタデータを参照して、前記動画像に対して前記メタデータを付与するのが好ましい。なお、ID管理部5、各センサ管理部61乃至6n及び時刻提供部7が管理手段に、センサ組み合わせ判定部9が付与手段に、センサの組み合わせの意味づけDB8が格納手段に、センサ情報記録部11が記録手段に、映像記録部4が映像記録手段にそれぞれ対応する。
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。なお、本発明の動画像処理装置を例えば、携帯電話、ビデオカメラ等に組み込んでもよい。
第1実施形態による動画画像処理装置の構成を示す図である。 センサデータベースのデータ構造を示す図である。 センサデバイス群の動的な疎結合を説明するための図である。 センサ組み合わせ判定部のメタデータの付与手順を示すフローチャートである。 第2実施形態に係る動画像処理装置の構成を示す図である。 センサ組み合わせ判定部のメタデータの付与手順を示すフローチャートである。
符号の説明
1、101 システム 63 手書き入力センサ管理部
2 カメラ 6n センサ管理部
3 映像データベース 7 時刻提供部
4 映像記録部 8、10 データベース
5 ID管理部 9 センサ組み合わせ判定部
61 発言センサ管理部 11 センサ情報記録部
62 位置情報センサ管理部

Claims (16)

  1. 動画像の撮影時において撮影対象である人のIDと前記IDにより識別される人の動作との組み合わせ、及び撮影対象である物のIDと前記IDにより識別される物の動作との組み合わせの少なくともいずれか一方を、センサ情報として1つ以上のセンサから取得する管理手段と、
    センサ情報の組み合わせの意味づけを反映したメタデータを格納する格納手段と、
    前記管理手段からのセンサ情報に基づいて、前記センサ情報の組み合わせを判定して前記動画像に対して、撮影対象である人及び/又は物の動作に関するメタデータを、前記格納手段を参照して付与する付与手段と、
    を備えることを特徴とする動画像処理装置。
  2. 前記動画像処理装置は更に、前記センサ情報及び前記メタデータを関連付けて所定のデータベースに記録する記録手段を備えることを特徴とする請求項1記載の動画像処理装置。
  3. 前記動画像処理装置は更に、前記動画像を時刻情報と共に所定のデータベースに記録する映像記録手段を備えることを特徴とする請求項1又は請求項2に記載の動画像処理装置。
  4. 前記動画像処理装置は更に、入力された検索条件及び前記メタデータに基づいて前記動画像を検索する検索手段を備えることを特徴とする請求項1から請求項のいずれか一項に記載の動画像処理装置。
  5. 前記管理手段は、前記人のID、前記物のID、及び人及び物の動作をIDにより管理するID管理手段を含むことを特徴とする請求項1記載の動画像処理装置。
  6. 前記管理手段は、前記センサの検出時刻を提供する管理手段を含むことを特徴とする請求項1記載の動画像処理装置。
  7. 前記管理手段は、URL表現の形式で前記付与手段との間で通信を行うことを特徴とする請求項1記載の動画像処理装置。
  8. 前記管理手段は、発言を検出するセンサを管理する管理手段、位置情報を検出するセンサを管理する管理手段及び手書き入力を検出するセンサを管理する管理手段のうちの少なくともいずれかの管理手段を含む請求項1記載の動画像処理装置。
  9. 前記付与手段は、前記管理手段からのセンサ情報が、撮影対象であるホワイトボードに所定のペンを用いて描いた動作を表す場合には、強い主張とのメタデータを付与することを特徴とする請求項1記載の動画像処理装置。
  10. 前記付与手段は、前記管理手段からのセンサ情報が、撮影対象である会議の参加者が発言ボタンあるいは会議の参加者それぞれに与えられているマイクのスイッチを入れて発言した動作を表す場合には、発言とのメタデータを付与する請求項1記載の動画像処理装置。
  11. 前記付与手段は、前記管理手段からのセンサ情報が、撮影対象である人のうち所定以上の人が挙手をした動作を表す場合には、議決及び承認のうちの少なくともいずれか一方のメタデータを付与する請求項1記載の動画像処理装置。
  12. 前記付与手段は、前記管理手段からのセンサ情報が、撮影対象である会議の参加者が、会議の参加者に与えられている投票ボタンを押した動作を表す場合には、議決および賛成、ならびに、議決および反対のうちのいずれか一方のメタデータを付与する請求項1記載の動画像処理装置。
  13. 前記付与手段は、前記管理手段からのセンサ情報が表す、撮影対象である部屋の照明及びプロジェクタの電源の状態に応じて、メタデータを付与する請求項1記載の動画像処理装置。
  14. 前記複数のセンサはグルーピングされており、前記付与手段は、前記管理手段からのセンサ情報に基づいて、前記センサのグループの組み合わせを判定して前記動画像に対してメタデータを付与することを特徴とする請求項1記載の動画像処理装置。
  15. 動画像の撮影時において撮影対象である人のIDと前記IDにより識別される人の動作との組み合わせ、及び撮影対象である物のIDと前記IDにより識別される物の動作との組み合わせの少なくともいずれか一方を、1つ以上のセンサによりセンサ情報として検出する検出ステップと、
    前記センサからのセンサ情報に基づいて、前記センサ情報の組み合わせを判定して、前記センサ情報の組み合わせの意味づけを反映したメタデータを格納する格納手段を参照して前記動画像に対して、撮影対象である人及び/又は物の動作に関するメタデータを付与する付与ステップと、
    を有することを特徴とする動画像処理方法。
  16. 動画像の撮影時において撮影対象である人のIDと前記IDにより識別される人の動作との組み合わせ、及び撮影対象である物のIDと前記IDにより識別される物の動作との組み合わせの少なくともいずれか一方を検出する1つ以上のセンサのセンサ情報を取得するステップ、
    前記センサ情報に基づいて、前記センサ情報の組み合わせを判定して、前記センサ情報の組み合わせの意味づけを反映したメタデータを格納する格納手段を参照して前記動画像に対して撮影対象である人及び/又は物の動作に関するメタデータを付与する付与ステップをコンピュータに実行させるプログラム。
JP2004305305A 2004-10-20 2004-10-20 動画像処理装置、動画像処理方法およびプログラム Expired - Fee Related JP4649944B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004305305A JP4649944B2 (ja) 2004-10-20 2004-10-20 動画像処理装置、動画像処理方法およびプログラム
US11/111,816 US20060082664A1 (en) 2004-10-20 2005-04-22 Moving image processing unit, moving image processing method, and moving image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004305305A JP4649944B2 (ja) 2004-10-20 2004-10-20 動画像処理装置、動画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2006121264A JP2006121264A (ja) 2006-05-11
JP4649944B2 true JP4649944B2 (ja) 2011-03-16

Family

ID=36180320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004305305A Expired - Fee Related JP4649944B2 (ja) 2004-10-20 2004-10-20 動画像処理装置、動画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US20060082664A1 (ja)
JP (1) JP4649944B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009050474B4 (de) * 2009-10-23 2013-08-29 Testo Ag Bildgebende Inspektionsvorrichtung
JP5437928B2 (ja) * 2010-06-23 2014-03-12 日本電信電話株式会社 メタデータ付与装置、映像検索装置、方法およびプログラム
KR101417194B1 (ko) * 2010-10-06 2014-07-09 한국전자통신연구원 식별자 관리 서버, 응용 서비스 플랫폼, 센서노드의 식별자를 이용한 장치 인식 방법 및 시스템
WO2013079124A1 (en) * 2011-11-29 2013-06-06 Sony Ericsson Mobile Communications Ab Portable electronic equipment and method of recording media using a portable electronic equipment
JP7073120B2 (ja) 2018-01-26 2022-05-23 キヤノン株式会社 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム
CN110717071B (zh) * 2018-06-26 2022-10-21 北京深蓝长盛科技有限公司 图像剪辑方法、装置、计算机设备和存储介质
JP7186120B2 (ja) * 2019-03-27 2022-12-08 オリンパス株式会社 画像ファイル生成装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222089A (ja) * 1994-01-31 1995-08-18 Canon Inc 画像情報記録装置
JPH11215364A (ja) * 1998-01-22 1999-08-06 Toshiba Corp 画像処理装置および画像形成装置
JP2006082150A (ja) * 2004-09-14 2006-03-30 Sony Corp ロボット装置及びその行動制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136655A (en) * 1990-03-26 1992-08-04 Hewlett-Pacard Company Method and apparatus for indexing and retrieving audio-video data
US5812422A (en) * 1995-09-07 1998-09-22 Philips Electronics North America Corporation Computer software for optimizing energy efficiency of a lighting system for a target energy consumption level
WO1999035818A2 (en) * 1998-01-12 1999-07-15 David Monroe Apparatus for capturing, converting and transmitting a visual image signal via a digital transmission system
US6377995B2 (en) * 1998-02-19 2002-04-23 At&T Corp. Indexing multimedia communications
US6628835B1 (en) * 1998-08-31 2003-09-30 Texas Instruments Incorporated Method and system for defining and recognizing complex events in a video sequence
US6833865B1 (en) * 1998-09-01 2004-12-21 Virage, Inc. Embedded metadata engines in digital capture devices
US6366296B1 (en) * 1998-09-11 2002-04-02 Xerox Corporation Media browser using multimodal analysis
US7149359B1 (en) * 1999-12-16 2006-12-12 Microsoft Corporation Searching and recording media streams
JP2003530030A (ja) * 2000-03-31 2003-10-07 ユナイテッド ビデオ プロパティーズ, インコーポレイテッド ホーム監視供給を有するパーソナルビデオ記録システム
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
WO2003071410A2 (en) * 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US20050132408A1 (en) * 2003-05-30 2005-06-16 Andrew Dahley System for controlling a video display
JP2004343627A (ja) * 2003-05-19 2004-12-02 Canon Inc デジタルカメラ
US7260278B2 (en) * 2003-11-18 2007-08-21 Microsoft Corp. System and method for real-time whiteboard capture and processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222089A (ja) * 1994-01-31 1995-08-18 Canon Inc 画像情報記録装置
JPH11215364A (ja) * 1998-01-22 1999-08-06 Toshiba Corp 画像処理装置および画像形成装置
JP2006082150A (ja) * 2004-09-14 2006-03-30 Sony Corp ロボット装置及びその行動制御方法

Also Published As

Publication number Publication date
US20060082664A1 (en) 2006-04-20
JP2006121264A (ja) 2006-05-11

Similar Documents

Publication Publication Date Title
KR101137041B1 (ko) 문서 제어를 위한 컴퓨터 구현 방법, 문서 제어 시스템 및 컴퓨터 판독 가능한 저장 매체
US20140289323A1 (en) Knowledge-information-processing server system having image recognition system
JP2014515512A (ja) ペンベースのコンピュータシステムにおけるコンテンツ選択
JP2010224715A (ja) 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
CN108182270A (zh) 搜索内容发送及搜索方法、智能笔、搜索终端及存储介质
US8788621B2 (en) Method, device, and computer product for managing communication situation
CN108763475B (zh) 一种录制方法、录制装置及终端设备
CN103959756A (zh) 便携式电子设备和使用便携式电子设备来记录媒体的方法
US20060082664A1 (en) Moving image processing unit, moving image processing method, and moving image processing program
CN111177329A (zh) 一种智能终端的用户交互方法、智能终端及存储介质
CN111539219B (zh) 一种用于自然语言内容标题消歧的方法、设备和系统
JP2012178028A (ja) アルバム作成装置、アルバム作成装置の制御方法、及びプログラム
Ronzhin et al. Context-aware mobile applications for communication in intelligent environment
CN116580707A (zh) 基于语音生成动作视频的方法和装置
JP4015018B2 (ja) 記録装置、記録方法及び記録プログラム
JP7077585B2 (ja) 情報処理システム、情報処理装置およびプログラム
JP7353057B2 (ja) 記録システムおよびプログラム
KR101562901B1 (ko) 대화 지원 서비스 제공 시스템 및 방법
JP7247466B2 (ja) 情報処理システムおよびプログラム
Kim et al. Personalized life log media system in ubiquitous environment
KR100943645B1 (ko) 네트워크 회의 시스템
JP2024006703A (ja) 情報処理システム、検索方法、プログラム
JP2006227219A (ja) 情報生成装置、情報出力装置およびプログラム
JP2024025003A (ja) 記録情報作成システム、情報処理システム、プログラム
JP2024008632A (ja) 情報処理システム、表示方法、プログラム、記録情報作成システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101129

R150 Certificate of patent or registration of utility model

Ref document number: 4649944

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees
S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350