JP4230959B2 - メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム - Google Patents

メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム Download PDF

Info

Publication number
JP4230959B2
JP4230959B2 JP2004149505A JP2004149505A JP4230959B2 JP 4230959 B2 JP4230959 B2 JP 4230959B2 JP 2004149505 A JP2004149505 A JP 2004149505A JP 2004149505 A JP2004149505 A JP 2004149505A JP 4230959 B2 JP4230959 B2 JP 4230959B2
Authority
JP
Japan
Prior art keywords
media data
time
playback
reproduction
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004149505A
Other languages
English (en)
Other versions
JP2005333381A (ja
Inventor
学 永尾
浩平 桃崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004149505A priority Critical patent/JP4230959B2/ja
Priority to US11/129,381 priority patent/US20050259959A1/en
Publication of JP2005333381A publication Critical patent/JP2005333381A/ja
Application granted granted Critical
Publication of JP4230959B2 publication Critical patent/JP4230959B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/107—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Description

本発明は、時間の経過に伴って変化していく音声や映像などの時系列データが記録されたメディアデータの再生制御を行うメディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラムに関するものである。
一般的に、ビデオデータやオーディオデータ等の時間の経過に従って変化していくメディアデータは、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスク、フラッシュメモリ、ビデオテープ等の記録媒体に記録されて提供されている。このようなメディアデータを読み出して再生する場合には、最初から再生する他、メディアデータの中で再生を希望する位置を検索してメディアデータの途中の再生位置から再生する場合も考えられる。このような場合、利用者はリモコンなどの再生制御インターフェイスあるいはメディアデータ再生装置の再生インターフェイス画面を利用して、早送りボタンや巻き戻しボタンを使用して所望の再生位置と思われる位置まで移動して再生を行い、希望する位置でない場合には、さらに早送りボタンや巻き戻しボタンを使用して所望の再生位置を検索する作業を繰り返す必要がある。
しかし、このような再生位置の検索は利用者にとって煩雑な作業を強いることになる。このため、従来技術の映像提供システムでは、再生制御インターフェイス画面に、スライダと呼ばれる操作領域を設定し、その操作領域中のボタンを移動させることによって再生位置を制御して、所望の再生位置を検索し、早送りや巻き戻しや再生の動作を容易に行うことができるようになっている（例えば、特許文献１参照）。
また、所望の再生位置かどうかを再生せずに知る方法としては、ビデオデータに関しては動画から一定区間ごとに抜き出した静止画を縮小し、並べてサムネイル表示を行う技術が一般的に知られている。
特開平１１−１２７４２０号公報
しかしながら、このような従来技術では、スライダによって指定できる領域の範囲には限度があるため、長時間記録されたメディアデータの場合、全再生時間分をスライダの小さな領域に割当てなければならず、このため、所望の再生位置を検索する場合、時刻の精度が低くなり、所望の再生位置の検索が困難になるという問題がある。
また、サムネイル表示を行う従来技術では、画像が小さくなりすぎて、所望の再生位置かどうかの判断が難しくなり、所望の再生位置の検索が困難になるという問題がある。
特に、メディアデータが音声データのみを記録したオーディオデータである場合には、利用者に視覚的に再生位置を把握させることができず、このため、指定した再生位置が所望の再生位置であるかどうかは、オーディオデータを実際に再生する以外には把握させることができない。
本発明は、上記に鑑みてなされたものであって、再生時間が長時間のメディアデータであっても、メディアデータの各時刻での情報を再生位置の指定精度と同精度で表示することを可能にすることにより、メディアデータの再生位置の検索を容易にかつ高精度で行うことができるメディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、時系列に再生可能な音声データまたは画像データを含むメディアデータを記憶するメディアデータ記憶手段と、前記記憶手段に記憶されたメディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段と、前記記憶手段に記憶されたメディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、時系列順に前記再生制御表示手段に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する再生制御手段と、前記再生制御手段によって移動された再生位置から前記メディアデータを再生する再生手段と、を備え、前記再生制御手段は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、前記メディアデータ記憶手段から再生位置における時刻を読み出し、読み出した前記時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動することを特徴とするメディアデータ再生装置である。
また、本発明は、時系列に再生可能な音声データまたは画像データを含むメディアデータをリアルタイムに逐次取得するメディアデータ取得手段と、前記メディアデータ取得手段によって取得したメディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段と、前記メディアデータ取得手段によって取得したメディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、時系列順に前記再生制御表示手段に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する再生制御手段と、前記再生制御手段によって移動された再生位置から前記メディアデータを再生する再生手段と、を備え、前記再生制御手段は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、再生位置における時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動することを特徴とするメディアデータ再生装置である。
また、本発明は、時系列に再生可能な音声データまたは画像データを含むメディアデータと、前記メディアデータと前記メディアデータの任意の位置の再生時刻における特徴および特徴の前記再生時刻を含む特徴情報を記述したメタデータとを記憶するメディアデータ記憶手段と、前記記憶手段に記憶されたメディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段と、前記記憶手段に記憶されたメタデータから前記メディアデータの再生時刻に対応する特徴情報を取得する特徴情報読み取り手段と、前記記憶手段に記憶されたメディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を時系列順に前記再生制御表示手段に表示するとともに、前記特徴情報読み取り手段によって取得した前記特徴情報を、前記特徴情報の前記再生時刻に関連付けられた前記時刻図形情報と関連付けて前記再生制御表示手段に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する再生制御手段と、前記再生制御手段によって移動された再生位置から前記メディアデータを再生する再生手段と、を備え、前記再生制御手段は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、前記メディアデータ記憶手段から再生位置における時刻を読み出し、読み出した前記時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動することを特徴とするメディアデータ再生装置である。
また、本発明は、時系列に再生可能な音声データまたは画像データを含むメディアデータを再生するメディアデータ再生装置と、前記メディアデータ再生装置とネットワークで接続され、前記メディアデータの再生制御を操作する遠隔操作装置とを備えたメディアデータ再生システムであって、前記遠隔操作装置は、前記メディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段と、前記メディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、時系列順に前記再生制御表示手段に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する旨の再生制御指示情報を生成する再生制御手段と、前記再生制御手段によって生成された再生制御指示情報を前記メディアデータ再生装置に送信する再生制御送信手段と、を備え、前記再生制御手段は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、再生位置における時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動する旨の前記再生制御指示情報を生成し、前記メディアデータ再生装置は、前記遠隔操作装置から前記再生制御指示情報を受信する再生制御受信手段と、前記再生制御受信手段によって受信した前記再生制御指示情報で指示された前記再生時刻の位置から前記メディアデータを再生する再生手段と、を備えたことを特徴とするメディアデータ再生システムである。
また、本発明は、時系列に再生可能な音声データまたは画像データを含むメディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、メディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段に時系列順に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する再生制御手順と、前記再生制御手順によって移動された再生位置から前記メディアデータを再生する再生手順と、をコンピュータに実行させるためのメディアデータ再生プログラムであって、前記再生制御手順は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、再生位置における時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動することを特徴とするメディアデータ再生プログラムである。
また、本発明は、時系列に再生可能な音声データまたは画像データを含むメディアデータをリアルタイムに逐次取得するメディアデータ取得手順と、前記メディアデータ取得手順によって取得したメディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、前記メディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段に時系列順に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する再生制御手順と、前記再生制御手順によって移動された再生位置から前記メディアデータを再生する再生手順と、をコンピュータに実行させるためのメディアデータ再生プログラムであって、前記再生制御手順は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、再生位置における時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動することを特徴とするメディアデータ再生プログラムである。
また、本発明は、メディアデータ記憶手段に記憶され、時系列に再生可能な音声データまたは画像データを含むメディアデータの任意の位置の再生時刻における特徴および特徴の前記再生時刻を含む特徴情報を記述したメタデータから前記メディアデータの再生時刻に対応する特徴情報を取得する特徴情報読み取り手順と、前記メディアデータ記憶手段に記憶された前記メディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、メディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段に時系列順に表示するとともに、前記特徴情報読み取り手段によって取得した前記特徴情報を、前記特徴情報の前記再生時刻に関連付けられた前記時刻図形情報と関連付けて前記再生制御表示手段に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する再生制御手順と、前記再生制御手順によって移動された再生位置から前記メディアデータを再生する再生手順と、をコンピュータに実行させるためのメディアデータ再生プログラムであって、前記再生制御手順は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、前記メディアデータ記憶手段から再生位置における時刻を読み出し、読み出した前記時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動することを特徴とするメディアデータ再生プログラムである。
また、本発明は、時系列に再生可能な音声データまたは画像データを含むメディアデータを再生するメディアデータ再生装置で再生される前記メディアデータの再生制御を遠隔操作することをコンピュータに実行させるための遠隔操作プログラムであって、前記メディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、メディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段に時系列順に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する旨の再生制御指示情報を生成する再生制御手順と、前記再生制御手順によって生成された再生制御指示情報を前記メディアデータ再生装置に送信する再生制御送信手順と、をコンピュータに実行させ、前記再生制御手順は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、再生位置における時刻に関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動する旨の前記再生制御指示情報を生成することを特徴とする遠隔操作プログラムである。
また、本発明は、ネットワークに接続された遠隔操作装置からの指示によって時系列に再生可能な音声データまたは画像データを含むメディアデータの再生制御および再生をコンピュータに実行させるためのメディアデータ再生プログラムであって、前記遠隔操作装置は、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を再生制御表示手段に表示し、再生位置における時刻に関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動する旨の再生制御指示情報を生成して、生成された前記再生制御指示情報を送信し、前記遠隔操作装置から前記再生制御指示情報を受信する再生制御受信手順と、前記再生制御受信手順によって受信した前記再生制御指示情報で指示された再生時刻の位置から前記メディアデータを再生する再生手順と、をコンピュータに実行させるためのメディアデータ再生プログラムである。
本発明によれば、メディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段に、メディアデータの任意の位置における再生時刻に対応付けられ、利用者にメディアデータの再生位置を選択させる一または複数の時刻図形情報を時系列順に表示し、表示された時刻図形情報の中から利用者によって選択された時刻図形情報に対応した再生時刻の位置に再生位置を移動して、移動された再生位置からメディアデータを再生することで、メディアデータの再生位置の検索を容易に行うことができるという効果を奏する。また、本発明によれば、時刻図形情報を２次元表示するか、もしくはスクロールバーを配置するか、もしくはその両方を使用することで、長時間のメディアデータであっても、高精度に再生位置指定が行えるという効果を奏する。
また、本発明によれば、メディアデータをリアルタイムに逐次取得して、リアルタイムに逐次取得したメディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段に、メディアデータの任意の位置における再生時刻に対応付けられ、利用者にメディアデータの再生位置を選択させる一または複数の時刻図形情報を時系列順に表示し、表示された時刻図形情報の中から利用者によって選択された時刻図形情報に対応した再生時刻の位置に再生位置を移動して、移動された再生位置からメディアデータを再生することで、再生時間が長時間のメディアデータをリアルタイムに取得する場合に、メディアデータの各時刻での情報を再生位置の指定精度と同精度で表示することができ、メディアデータの再生位置の検索を容易にかつ高精度で行うことができるという効果を奏する。
また、本発明によれば、メディアデータの任意の位置の再生時刻における特徴および特徴の前記再生時刻を含む特徴情報を記述したメタデータからメディアデータの再生時刻に対応する特徴情報を取得し、複数の時刻図形情報を時系列順に前記再生制御表示手段に表示するとともに、取得した特徴情報を、特徴情報の再生時刻に関連付けられた時刻情報と関連付けて再生制御表示手段に表示し、表示された時刻図形情報の中から利用者によって選択された時刻図形情報に対応した再生時刻の位置に再生位置を移動し、移動された再生位置からメディアデータを再生することで、メディアデータの各時刻での情報を再生位置の指定精度と同精度で表示することができ、メディアデータの再生位置の検索を容易に行うことができるという効果を奏する。また、本発明によれば、予め特徴情報を記述したメタデータからメディアデータの再生時刻に対応する特徴情報を取得して、取得した特徴情報に基づいて特徴図形情報を表示しているので、メディアデータから特徴を抽出したり、抽出した特徴情報を保存したりする必要がなくなり、装置構成を簡易にするとともに、再生制御の処理速度の向上を図ることができるという効果を奏する。
また、本発明によれば、遠隔操作装置において、メディアデータの任意の位置における再生時刻に対応付けられ、利用者に前記メディアデータの再生位置を選択させる一または複数の時刻図形情報を、メディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段に時系列順に表示し、表示された前記時刻図形情報の中から利用者によって選択された時刻図形情報に対応した再生時刻の位置に再生位置を移動する旨の再生制御指示情報をメディアデータ再生装置に送信し、メディアデータ再生装置において、遠隔操作装置から受信した再生制御指示情報で指示された再生時刻の位置からメディアデータを再生することで、利用者がメディアデータ再生装置と離れた場所にいる場合でも、再生時間が長時間のメディアデータの各時刻での情報を再生位置の指定精度と同精度で表示することができ、メディアデータの再生位置の検索を容易にかつ高精度で行うことができるという効果を奏する。
以下に添付図面を参照して、この発明にかかるメディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラムの最良な実施の形態を詳細に説明する。
（実施の形態１）
実施の形態１にかかるメディアデータ再生装置は、表示装置の再生制御表示画面に、メディアデータの各再生時刻を示す時刻図形を長方形状の領域に時系列に配列表示し、各再生時刻のデータに関連する特徴を抽出し、その特徴を示す特徴図形を時刻図形に対応づけて表示し、利用者が所望の時刻図形を指定することにより、指定された時刻図形の再生開始時刻の位置に再生位置を移動して再生するものである。
図１は、本実施の形態にかかるメディアデータ再生装置の機能的構成を示すブロック図である。図１において、矢印はデータの流れを示している。本実施の形態にかかるメディアデータ再生装置は、図１に示すように、メディアデータ再生部１１０と、再生制御インターフェイス部１２０と、特徴情報保存部１３０と、特徴抽出部１４０とを備えている。そして、メディアデータ再生部１１０には、スピーカ１１４と、表示合成部１１６を介して表示装置１１７が接続されている。
メディアデータ再生部１１０は、メディアデータを記憶すると共に、メディアデータの再生処理を行うものであり、メディアデータ記憶部１１１と、データ選択部１１２と、オーディオデコーダ１１３と、ビデオデコーダ１１５と、を備えた構成となっている。
メディアデータ記憶部１１１は、例えばＣＤ−ＲＯＭやハードディスクやフラッシュメモリやビデオテープであり、少なくとも一つのメディアデータが保存されている。メディアデータは、音声データと画像データとを含むデータであり、時間の経過に従って内容が変化していく時系列メディアデータである。メディアデータは、メディアデータ記憶部１１１内部で一意的な名称（例えば、ファイル名等）に関連付けられており、メディアデータを利用者が検索し選択する際にこの一意な名称が表示装置１１７に表示されるようになっている。
データ選択部１１２は、利用者の指定によってメディアデータ記憶部１１１に記録されているメディアデータを検索し、再生を行うメディアデータを選択するものである。例えば、本実施の形態のメディアデータ再生装置１００がＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）の場合には、ファイルシステムで管理されているメディアデータ記憶部１１１としてのハードディスクドライブ（ＨＤＤ）にメディアデータがファイル単位で記憶されており、データ選択部１１２による操作は、ファイルを選択する操作に該当する。また、例えば、本実施の形態のメディアデータ再生装置１００がビデオデッキであればビデオテープを入れる動作に該当する。このデータ選択部１１２により、利用者は再生を希望するメディアデータを選択する。
オーディオデコーダ１１３は、メディアデータ中の音声データをオーディオデータに変換するものである。スピーカ１１４は、オーディオデコーダ１１３によって変換したオーディオデータを出力するものである。
ビデオデコーダ１１５は、メディアデータ中の画像データをビデオデータに変換するものである。表示合成部１１６は、ビデオデコーダ１１５から受け取ったビデオデータと再生制御インターフェイスから受け取った、後述する時刻図形や特徴図形などのデータを合成するものである。
表示装置１１７は、例えばディスプレイ装置であり、表示合成部１１６によって合成されたビデオデータを出力するものである。
再生制御インターフェイス部１２０は、メディアデータの再生制御を行うものであり、再生制御部１２１と、再生制御インターフェイス１２２と、ポインティングデバイス１２３とを主に備えている。
再生制御部１２１は、再生制御インターフェイス１２２によって指定された再生位置からメディアデータの再生を行う再生制御を行うものである。
再生制御インターフェイス１２２は、利用者に対して再生制御に関する各種図形、すなわち時刻図形、特徴図形、制御図形などを表示装置に表示する処理を行うものである。また、再生制御インターフェイス１２２は、利用者からポインティングデバイス１２３により指定された時刻図形のイベントを受信し、メディアデータの再生位置を、指定された時刻図形に対応付けられている再生時刻の位置に移動する処理やその他再生制御に関する処理を行う。ここで、再生制御部１２１と再生制御インターフェイス１２２は、本発明における再生制御手段に相当する。また、時刻図形は本発明における時刻図形情報に相当し、特徴図形は本発明における特徴図形情報に相当し、制御図形は本発明における制御図形情報に相当する。
ポインティングデバイス１２３は、マウス、タブレット、タッチパネル等の入力装置である。
特徴情報保存部１３０は、例えばＨＤＤやメモリ等の記憶媒体であり、テキストデータベース１３１と、音声区間データベース１３２と、話者情報データベース１３３と、顔データベース１３４と、シーンチェンジデータベース１３５とを格納している。
特徴抽出部１４０は、メディアデータの各時刻における特徴を抽出して特徴情報保存部１３０に格納するものであり、テキスト変換部１４１と、音声区間検出部１４２と、話者識別部１４３と、顔認識部１４４と、シーンチェンジ認識部１４５とを備えている。
テキスト変換部１４１は、オーディオデコーダ１１３から受け取ったオーディオデータと音声区間検出部１４２から受け取った音声区間データとから音声区間内のオーディオデータをテキストデータに変換し、変換したテキストデータをテキストデータベース１３１に登録するものである。かかる変換には、公知の音声認識技術を利用する。テキストデータには、文字単位や単語単位や文単位で開始時刻と終了時刻が関連付けられる。
音声区間検出部１４２は、オーディオデコーダ１１３から受け取ったオーディオデータに音声が存在するかどうかを判断し、音声が存在する場合にはオーディオデータの音声が含まれている区間（開始時刻と終了時刻）を示す音声区間データを音声区間データベース１３２に登録するものである。
話者識別部１４３は、オーディオデコーダ１１３から受け取ったオーディオデータと音声区間検出部１４２から受け取った音声区間データとから、音声区間内のオーディオデータに対して、話者を識別し、話者データを生成して話者情報データベース１３３に登録するものである。話者情報には、例えば話者の識別番号（ＩＤ）と音声区間検出部１４２から得た音声の開始時刻と終了時刻が含まれる。
顔認識部１４４は、ビデオデコーダ１１５から受け取ったビデオデータから人物の顔が映っているか否かを判断し、映っている場合にはその顔の人物の特定をして、顔が映っている時間帯（開始時刻と終了時刻）示す顔存在区間データを顔データベース１３４に登録するものである。さらに、映っている顔の人物を特定できた場合は、顔存在区間データにその人物の顔を特定する顔ＩＤを開始時刻と終了時刻に対応付ける。
シーンチェンジ認識部１４５は、ビデオデコーダ１１５から受け取ったビデオデータから場面の変化（シーンチェンジ）が発生している時刻を判断し、シーンチェンジがビデオデータのどの時刻に発生しているかを示すシーンチェンジデータをシーンチェンジデータベース１３５に登録するものである。
次に、再生制御インターフェイス部１２０の再生制御インターフェイス１２２について詳細に説明する。図２は、再生制御インターフェイス１２２の機能的構成を示すブロック図である。再生制御インターフェイス１２２は、図２に示すように、描画部１２２ａと、制御部１２２ｂと、制御情報記憶部１２２ｃと、図形記憶部１２２ｄとを備えている。
図形記憶部１２２ｄは、時刻図形、特徴図形、制御図形の描画情報が予め記憶されたものであり、具体的には、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリやＨＤＤ等である。
制御情報記憶部１２２ｃは、再生時刻と時刻図形とを対応付けた時刻データと、リピート再生やジャンプなどの再生制御を行うための再生制御データを記憶するものであり、具体的には、ＲＡＭなどのメモリやＨＤＤ等である。
描画部１２２ａは、時刻図形、特徴図形、制御図形等の各図形を表示合成部１１６に受け渡し、表示装置１３０への描画処理を行うものである。
制御部１２２ｂは、ポインティングデバイス１２３から時刻図形を利用者が指定した場合のイベントを受信したり、その他、再生制御インターフェイス１２２全体の制御を行ったりするものである。
次に、本実施の形態にかかるメディアデータ再生装置１００のハードウェア構成について説明する。図３は、メディアデータ再生装置１００のハードウェア構成を示す模式図である。本実施の形態にかかるメディアデータ再生装置１００は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置、ＤＶＤドライブ装置などの外部記憶装置とを有する本体部３０１と、ディスプレイ装置などの表示装置１１７と、マウスなどポインティングデバイス１２３やキーボード等の入力装置と、スピーカ１１４等の音声出力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
メディアデータとして映像を扱う場合には表示装置１１７のディスプレイ画面３０４の動画表示領域３０３に動画が表示され、さらに動画表示領域３０３の下方に再生制御表示画面３０２が表示される。また、メディアデータとして音声を扱う場合にはディスプレイ画面３０４に再生制御表示画面３０２のみが表示される。上述した表示合成部１１６は、図３に示すように、動画と再生制御表示画面３０２を合成してディスプレイ画面３０４に表示する。ここで、再生制御表示画面３０２は本発明における再生制御表示手段に相当する。
なお、本実施の形態のメディアデータ再生装置で実行されるメディアデータ再生プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施の形態のメディアデータ再生装置で実行されるメディアデータ再生プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態のメディアデータ再生装置で実行されるメディアデータ再生プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施の形態のメディアデータ再生装置で実行されるメディアデータ再生プログラムは、上述した再生制御部１２１、再生制御インターフェイス１２２、テキスト変換部１４１、音声区間検出部１４２、話者識別部１４３、顔認識部１４４およびシーンチェンジ認識部１４５を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からメディアデータ再生プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、再生制御部１２１、再生制御インターフェイス１２２、テキスト変換部１４１、音声区間検出部１４２、話者識別部１４３、顔認識部１４４およびシーンチェンジ認識部１４５が主記憶装置上に生成されるようになっている。なお、メディアデータ記憶部１１１、データ選択部１１２、ビデオデコーダ１１５、オーディオデコーダ１１３、表示合成部１１６は、ハードウェアで構成する他ソフトウェアで構成してもよい。
次に、再生制御表示画面３０２について説明する。図４は、本実施の形態のメディアデータ再生装置１００で表示される再生制御表示画面３０２の一例を示す模式図である。
図４に示すように、再生制御表示画面３０２には、時刻図形Ａ１（１，１）、Ａ１（１，２）、・・・、Ａ１（１，８）、Ａ１（２，１）が２次元の長方形状Ａ１に配列表示されている。また、メディアデータの特徴を表す特徴図形Ａ７，Ａ８，Ａ１０，Ａ１１と吹き出し図形Ａ９と制御図形Ａ１２ａ，Ａ１２ｂがこれらの時刻図形に重畳して表示されている。さらに現在位置図形Ａ１５も表示される。なお、Ａ１で表示する時刻図形の数や並びの形状は図１の表示例に制限されるものではない。ここで、現在位置図形は、本発明における現在位置図形情報に相当する。
また、再生制御表示画面３０２には、スクロールバーＡ３が表示されている。スクロールバーＡ３の左辺位置が選択した時系列メディアデータの再生開始位置を示し、右辺位置が再生終了位置を示している。このスクロールバーＡ３は、ドラッグ・アンド・ドロップ操作により移動させることができ、スクロール領域Ａ２の範囲で移動可能となっている。
領域Ａ３の左辺位置は、領域Ａ１の表示されている時刻図形に関連付けされた再生開始時刻の中で最も早い再生開始時刻に相当する位置であり、右辺位置が領域Ａ１の表示されている時刻図形に関連付けされた再生終了時刻の中で最も遅い再生終了時刻に相当する位置であることを示している。
また、再生制御表示画面３０２には、再生ボタンＡ４と、停止ボタンＡ５と、一時停止ボタンＡ６と移動ボタンＡ１３，Ａ１４と、設定ボタンＡ１７，Ａ１８が表示されている。
再生ボタンＡ４は、時系列メディアデータの再生を開始するものである。停止ボタンＡ５は、時系列メディアデータの再生を終了させるものである。一時停止ボタンＡ６は、時系列メディアデータの再生を一時的に停止させるものである。移動ボタンＡ１３は、現在の再生位置よりも先の時間のジャンプ位置として割り当てられている制御図形に相当する位置に再生位置を移動させるものである。移動ボタンＡ１４は、現在の再生位置よりも後の時間のジャンプ位置として割り当てられている制御図形に相当する位置に再生位置を移動させるものである。設定ボタンＡ１７は、後述する再生制御設定画面を表示させるものである。
利用者は、図４に示す再生制御表示画面３０２上でポインティングデバイス１２３を利用して、再生制御部１２１を介して時系列メディアデータの再生制御を行うことができるようになっている。
次に、再生制御表示画面３０２上に表示される各図形について説明をする。時刻図形は、再生開始時刻と再生終了時刻が割り当てられただけの図形である。現在位置図形は、現在の再生位置を表す図形であり、現在の再生時刻を含む時刻と関連付けられている時刻図形の位置に表示される。利用者は、この現在位置図形を参照して現在の再生位置を把握することができる。
特徴図形は、時系列メディアデータの各特徴的な情報をそれぞれ図形にしたものであり、利用者はこれらの特徴図形を参照することによって各時刻の時系列メディアデータの特徴を把握することができるため、所望の再生位置を検索する作業が容易になる。
制御図形は、利用者がポインティングデバイス１２３を使用することにより設定することができる図形であり、例えば、リピート区間を示したり、ブックマークの機能を果たしたり、再生位置のジャンプ先のジャンプ位置を示す図形である。
特徴図形は、制御図形と同等に機能する場合がある。例えば、利用者が音声区間のみを再生したい場合には、ユーザは音声区間を示す特徴図形をジャンプ位置を示す再生制御図形として設定し、非音声区間を飛ばして音声区間のみを再生することができる。
また、利用者が指定する音声区間を繰り返し再生したい場合には、音声区間をリピート区間とするように設定すれば、指定した音声区間を繰り返し再生することができる。この場合、音声区間の再生開始位置がリピート区間の開始位置となり、音声区間の再生終了位置がリピート区間の終了位置となる。
このような制御図形の設定は、再生制御表示画面３０２の設定ボタンＡ１７を押下して表示される再生制御設定画面によって行う。図５は再生制御設定画面の一例を示す模式図である。図５に示すように、利用者は、再生制御設定画面の該当する項目にチェックボックスにチェックを設定することにより設定を行えるようになっている。かかる設定された内容は再生制御インターフェイス１２２に入力され、再生制御インターフェイス１２２によって設定された内容に応じた再生制御を行うようになっている。
これら各図形は図４に示した形状に限られず、どのような形状で構成してもよく、例えば、時刻図形が小さすぎる場合で、表示装置１１７がカラー表示できる場合には、現在位置図形や特徴図形、制御図形は時刻図形と全く同一形状とし、色彩を変化させて表示するようにしてもよい。例えば、特徴的な情報として音声区間データのみを用いる場合には、時刻図形を白色とし、音声区間を表す色を赤色とすれば各図形を識別できる。また、現在位置図形が緑色である場合には、利用者が音声のみを視聴するのであれば、赤色で示されている特徴図形をポインティングデバイス１２３によって選択し、選択した位置が再生されているか否かを緑色の現在位置図形を参照して判断することができる。
また、表示装置１１７がモノクロ表示しかできない場合には、図形をハッチング等で表示することにより、各図形を識別することが可能である。図４では、現在位置図形Ａ１５をハッチングで表示している例を示している。なお、本実施の形態では、文字も図形に含めて説明する。
次に、時刻図形と再生時刻との関連について説明する。各時刻図形は、時刻データによって、時系列メディアデータの再生開始時刻と再生終了時刻に関連付けられている。時刻データは、再生制御インターフェイス１２２の制御情報記憶部１２２ｃに保持されている。
図６は、時刻データの一例を示す説明図である。図６に示すように、時刻データは、時刻図形と時刻図形に対応した時系列メディアデータの再生位置を示す開始時刻と再生終了位置を示す終了時刻とが対応付けられている。
次に、再生制御データについて説明する。再生制御データは、利用者が再生制御表示画面３０２において、リピート再生やジャンプ位置などの再生制御に関する設定を行った場合に、再生制御インターフェイス１２２によって制御情報記憶部１２２ｃに生成される再生制御に関する設定データである。
図７は、再生制御データの一例を示す説明図である。図７に示すように、再生制御データは、利用者が再生制御表示画面３０２の時刻図形で設定したマークの情報と、指定された時刻図形の番号と時刻図形に関連付けされている開始時刻とを対応付けられている。指定された時刻図形の番号は図７の開始時刻と図６のような時刻データとから求められるので、時刻図形の番号は記録しないことも可能である。ここで、マークの情報とは、ポインティングデバイス１２３に予め設定されたマークを付与することを指示するためのマーク設定ボタン（例えば、マウスの右ボタン）をクリックした場合のイベントを受けたときに、クリックされた時刻図形に対するマークを識別するものである。
次に、特徴情報保存部１３０に保存されている各データベースについて説明する。
音声区間データベース１３２は、メディアデータの中の音声データ（オーディオデータ）から音声区間を検出して検出された音声区間を記録した音声区間データを登録したデータベースである。図８は、音声区間データベースのデータ構造の一例を示す説明図である。音声区間データベース１３２には、図８に示すように、音声区間データとして、音声の開始時刻と終了時刻が対となって登録されている。
話者情報データベース１３３は、音声区間につきその音声を発した話者の識別情報である話者ＩＤを対応付けた話者データを登録したデータベースである。図９−１は、話者情報データベース１３３のデータ構造の一例を示す説明図である。話者情報データベース１３３は、図９−１に示すように、音声区間の開始時刻と終了時刻と音声を発した話者の話者ＩＤを対応付けた話者データが登録されている。
テキストデータベース１３１は、音声区間の音声の発話内容を変換したテキストと音声区間を対応付けたテキストデータを登録したデータベースである。図９−２は、テキストデータベース１３１のデータ構造の一例を示す説明図である。テキストデータベース１３１には、図９−２に示すように、音声区間の開始時刻と終了時刻と発話内容のテキストを対応付けたテキストデータが登録されている。
顔データベース１３４は、メディアデータの中のビデオデータから人物の顔が写っている区間とその人物の顔の識別情報である顔ＩＤとを対応付けた顔存在区間データを登録したデータベースである。図１０−１は、顔データベース１３４のデータ構造の一例を示す説明図である。顔データベース１３４には、図１０−１に示すように、人物の顔が存在する区間の開始時刻と終了時刻と顔ＩＤとを対応付けた顔区間データが登録されている。
シーンチェンジデータベース１３５は、メディアデータの中のビデオデータから場面が変化する時刻を登録したデータベースである。図１０−２は、シーンチェンジデータベース１３５のデータ構造の一例を示す説明図である。図１０ー２に示すように、シーンデータベースには、場面が変化するシーン時刻が登録されている。
次に、以上のように構成された本実施の形態にかかるメディアデータ再生装置１００によるメディアデータの再生処理について説明する。まず、特徴抽出部１４０によるメディアデータからの特徴情報の抽出処理について説明する。
図１１は、特徴抽出部１４０によるメディアデータの中のオーディオデータからの特徴情報の抽出処理の手順を示すフローチャートである。
利用者がこれから再生を行うメディアデータを指定すると、データ選択部１１２によって、メディアデータ記憶部１１１から指定されたメディアデータが読み出される（ステップＳ１１０１）。そして、オーディオデコーダ１１３が読み出されたメディアデータにオーディオデータが含まれるか否かを判断する（ステップＳ１１０２）。そして、オーディオデータが含まれていないと判断された場合には（ステップＳ１１０２：Ｎｏ）、処理を終了する。
一方、ステップＳ１１０２において、メディアデータにオーディオデータが含まれている判断された場合には（ステップＳ１１０２：Ｙｅｓ）、オーディオデコーダ１１３はメディアデータ記憶部１１１から受け取ったデータをオーディオデータに変換し、音声区間検出部１４２によって、オーディオデータに音声が含まれるか否かを判断して、音声が含まれる場合にその音声区間である音声の開始時刻と終了時刻である音声区間を検出する（ステップＳ１１０３）。そして、音声区間検出部１４２は、検出された音声区間を、図８に示すように音声区間データとして音声区間データベース１３２に登録する（ステップＳ１１０４）。
次に、話者識別部１４３によって、音声区間のオーディオデータの音声を発話した話者を識別し（ステップＳ１１０５）、図９−１に示すように、識別された話者ＩＤを音声区間の開始時刻および終了時刻とともに話者データとして話者情報データベース１３３に登録する（ステップＳ１１０６）。
次に、テキスト変換部１４１によって、音声区間のオーディオデータの音声の発話内容をテキストに変換し、テキストを音声区間の開始時刻および終了時刻とともにテキストデータとしてテキストデータベース１３１に登録する（ステップＳ１１０６）。ここで、テキストは、文字単位、単語単位または文単位のデータである。
以上のような処理によって、メディアデータの中のオーディオデータから特徴的な情報である音声区間データ、話者データおよびテキストデータが抽出され、それぞれ音声区間データベース１３２、話者情報データベース１３３、テキストデータベース１３１に登録されることになる。
なお、この他、オーディオデータ中に音が存在するか否かの検出、音楽が流れているか否かの検出、ノイズが多いか否かの検出、特定の効果音の検出、話者の男女の区別、話者の特定等を行い、それぞれのデータベースを用意して記録し、再生制御インターフェイス１２２で特徴図形として表示するように構成してもよい。
次に、メディアデータの中のビデオデータからの特徴情報の抽出処理について説明する。図１２は、メディアデータの中のビデオデータからの特徴情報の抽出処理の手順を示すフローチャートである。
利用者がこれから再生を行うメディアデータを指定すると、データ選択部１１２によって、メディアデータ記憶部１１１から指定されたメディアデータが読み出される（ステップＳ１２０１）。そして、ビデオデコーダ１１５が読み出されたメディアデータにビデオデータが含まれるか否かを判断する（ステップＳ１２０２）。そして、ビデオデータが含まれていないと判断された場合には（ステップＳ１２０２：Ｎｏ）、処理を終了する。
一方、ステップＳ１２０２において、メディアデータにビデオデータが含まれている判断された場合には（ステップＳ１２０２：Ｙｅｓ）、ビデオデーダ１１５はメディアデータ記憶部１１１から受け取ったデータをビデオデータに変換し、顔認識部１４４によって、ビデオデータに人物の顔の画像が含まれるか否かを判断して、顔の画像が含まれる場合にさらに顔の画像が誰の顔であるかを識別する（ステップＳ１２０３）。そして、顔認識部１４４は、識別した人物の顔ＩＤと顔の画像が存在する開始時刻と終了時刻である顔存在区間の時刻情報を、図１０−１に示すように顔存在区間データとして顔データベース１３４に登録する（ステップＳ１２０４）。
次に、シーンチェンジ認識部１４５によって、ビデオデータの中で場面の変化が行われるシーンチェンジを検出する（ステップＳ１２０５）。そして、シーンチェンジ認識部１４５によって、シーンチェンジの時刻を、図１０−２に示すようにシーンチェンジデータとしてシーンチェンジデータベース１３５に登録する（ステップＳ１２０６）。
以上のような処理によって、メディアデータの中のビデオデータから特徴的な情報である顔存在区間データとシーンチェンジデータが抽出され、それぞれ顔データベース１３４、シーンチェンジデータベース１３５に登録されることになる。
なお、この他、ビデオデータ中に人、動物、自動車、建物等が映っているか否かの検出、画像に変化があるか否かの検出、ビデオデータ中に文字が映っている場合にその文字のテキストへの変換、手話の映像を手話の意味内容のテキストへの変換等の処理を行って、それぞれのデータベースを用意して記録し、再生制御インターフェイス１２２で特徴図形として表示するように構成してもよい。
また、本実施の形態では、特徴情報抽出処理をメディアデータを選択した直後に行っているが、この他、利用者が各特徴図形を再生制御表示画面３０２に表示する際に、再生制御インターフェイス１２２によって実行するように構成してもよい。例えば、設定ボタンＡ１８を、特徴情報抽出設定ボタンとして、この特徴情報抽出設定ボタンをクリックした場合に、特徴情報抽出処理を再生制御インターフェイス１２２によって実行するように構成することができる。
また、一旦、メディアデータの特徴を抽出すれば各特徴の情報は特徴情報保存部１３０の各データベースに記録された状態となるので、同一のメディアデータを再度選択した場合には、特徴情報抽出処理を実行する必要はなくなる。
次に、再生制御インターフェイス部１２０によるメディアデータの再生制御処理について説明する。この再生制御処理は、再生制御表示画面３０２に時刻図形、現在位置図形、特徴図形、制御図形などの図形を表示し、各図形を利用者が指定することによって指定された図形の区間のメディアデータを再生したり、リピート再生、ジャンプなどの再生制御を行ったりする処理である。
図１３は、再生制御の全体処理の手順を示すフローチャートである。まず、再生制御インターフェース１２２は、再生制御表示画面３０２にメディアデータの時刻図形、現在位置図形、特徴図形、制御図形等の図形を描画する（ステップＳ１３０１）。この際、表示合成部１１６によって時刻図形、特徴図形が表示される領域Ａ１と動画表示領域に表示される動画が合成されて、図４に示すように再生制御表示画面３０２に描画される。なお、図形の描画処理については後述する。
次に、再生制御インターフェイス１２２は、再生ボタンのイベント通知待ち状態となる（ステップＳ１３０２）。再生ボタンのイベントが通知された場合には（ステップＳ１３０２：Ｙｅｓ）、メディアデータの再生を開始する（ステップＳ１３０３）。
具体的には、再生制御部１２１からメディアデータ記憶部１１１にデータ選択部１１２によって選択されている時系列メディアデータを再生させる命令が送出される。これによりメディアデータ記憶部１１１は選択されている時系列メディアデータをビデオデコーダ１１５とオーディオデコーダ１１３に送出する。オーディオデコーダ１１３は受け取ったデータをオーディオデータに変換し、スピーカ１１４に送出する。スピーカ１１４は受け取ったオーディオデータを再生する。ビデオデコーダ１１５は受け取った時系列メディアデータをビデオデータに変換し、表示合成部１１６に送出する。表示合成部１１６はビデオデコーダ１１５から受け取ったビデオデータと再生制御インターフェイス１２２から受け取ったデータを合成し、表示装置１１７に合成したデータを表示させる。
そして、再生制御インターフェイス１２２は、再生処理を行う（ステップＳ１３０４）。かかる再生処理については後述する。再生処理は、停止ボタンＡ５のイベントが通知されるまで実行される（ステップＳ１３０５）。停止ボタンＡ５のイベントが通知された場合には、メディアデータの再生を停止する（ステップＳ１３０６）。
次に、ステップＳ１３０１の図形描画処理について説明する。図１４は、図形描画処理の手順を示すフローチャートである。まず、再生制御インターフェイス１２２の描画部１２２ａは、は、領域Ａ１に並べることが可能な図形の行数と列数を読みだす（ステップＳ１４０１）。なお、かかる行数と列数は、予め再生制御インターフェイス１２２の制御情報記憶部１２２ｃに、表示装置１１７に表示する再生制御表示画面３０２に応じて保持されている。
次に、再生制御インターフェイス１２２の描画部１２２ａは、各時刻を表す時刻図形を、行数×列数分の領域Ａ１に描画する（ステップＳ１４０２）。図４の例では、Ａ１（１，１）、Ａ１（１，２）、…、Ａ１（１，８）、Ａ１（２，１）、…のように表示される。そして、再生制御インターフェイス１２２の制御部１２２ｂによって、各時刻図形に開始時刻と終了時刻を割り当て、時刻図形と割り当てられた開始時刻と終了時刻とを時刻データ（図６）と制御情報記憶部１２２ｃに保存する（ステップＳ１４０３）。具体的には以下のように割り当てる。
時刻図形Ａ１（１，１）、Ａ１（１，２）、…、Ａ１（１，８）、Ａ１（２，１）…に割り当てられている開始時刻をそれぞれＴ（１，１）、Ｔ（１，２）、…、Ｔ（１，８）、Ｔ（２，１）、…とすると、Ｔ（１，１）＜Ｔ（１，２）＜…＜Ｔ（１，８）＜Ｔ（２，１）＜…となるように順に並べて表示する。すなわち、上から下へ向かって時刻が増加し、左から右に向かって時刻が増加するように時刻を時刻図形に割り当てる。
ｍ列目ｎ行目の時刻図形の終了時刻をＴ’（ｍ，ｎ）と表し、１≦ｘ≦列数と１≦ｙ≦行数とを満たすｘ列ｙ行に表示されている図形に割り当てられている開始時刻Ｔ（ｘ，ｙ）と終了時刻Ｔ’（ｘ，ｙ）として、制御部１２２ｂによって、Ｔ（ｘ，ｙ）≦Ｔ＜Ｔ’（ｘ，ｙ）を満たす時刻Ｔと関連付けられている特徴情報（音声区間データ、話者データ、テキストデータ、顔存在区間データ、シーンチェンジデータ）を特徴情報保存部１３０の音声区間データベース１３２と話者情報データベース１３３とテキストデータベース１３１と顔データベース１３４とシーンチェンジデータベース１３５から検索する（ステップＳ１４０４）。
そして、制御部１２２ｂによって、該当する特徴情報が存在するか否か判断し（ステップＳ１４０５）、存在する場合には（ステップＳ１４０５：Ｙｅｓ）、描画部１２２ａによって、検索された特徴情報に対応する特徴図形を図形記憶部１２２ｄから読み出して、対応する時刻の時刻図形に対して表示する（ステップＳ１４０６）。一方、ステップＳ１４０５において、該当する特徴情報が存在しなかった場合には、対象の時刻図形には特徴情報を描画しない。
このようなステップＳ１４０４からＳ１４０６までの処理を全ての時刻図形に対して実行する（ステップＳ１４０７）。以上のような処理により、領域Ａ１に時刻図形、特徴図形（図４におけるＡ７〜Ａ１１）が表示される。
また、再生制御に関する情報を再生制御インターフェイス１２２の制御情報記憶部１２２ｃが保持している場合には、それらの情報を制御図形として特徴図形と同様に表示する。図４の例では、制御図形はＡ１２ａ、Ａ１２ｂである。
なお、特徴図形や制御図形は、時刻図形と同じ位置もしくはその周辺に表示されるが、特徴図形や制御図形が隠れないように時刻図形の上に重ねて表示されるか、または重ならないように表示する。
上述のように、時刻図形と特徴図形と制御図形が表示されることになるが、時刻図形の大きさや隣接する時刻図形との間隔が特徴図形や制御図形を表示するには十分でない場合には、時刻図形に補助領域としての吹き出し領域を表示し、その吹き出し領域の内部に特徴図形や制御図形を表示する。図１５は、吹き出し領域および特徴図形の表示例を示す模式図である。図１５に示すように、時刻図形内部に吹き出し領域により特徴図形または制御図形が表示されることを示す吹き出し図形Ａ９が表示され、この吹き出し図形上にポインティングデバイス１２３を移動することにより、吹き出し領域Ａ１０２が表示され、その吹き出し領域Ａ１０２内部に特徴図形を表示している。図１５では、吹き出し領域Ａ１０２の内部に、テキストデータベース１３１から読み出したテキストデータを表示した例を示している。
次に、吹き出し領域Ａ１０２の表示処理について説明する。図１６は、吹き出し領域Ａ１０２の表示処理の手順を示すフローチャートである。再生制御インターフェイス１２２の制御部１２２ｂは、カーソルのイベント通知を検出すると（ステップＳ１６０１）、検出したイベントからカーソルが時刻図形上の吹き出し図形Ａ９の位置であるか否かを判断する（ステップＳ１６０２）。そして、吹き出し図形Ａ９の位置でないと判断した場合には（ステップＳ１６０２：Ｎｏ）、イベント通知待ち状態となる。
一方、ステップＳ１６０２において、制御部１２２ｂによってカーソルが時刻図形上の吹き出し図形Ａ９の位置にあると判断された場合には（ステップＳ１６０２：Ｙｅｓ）、描画部１２２ａは吹き出し領域Ａ１０２を表示する（ステップＳ１６０３）。次いで、時刻図形または時刻図形周辺に描画することができなかった特徴図形または制御図形を、描画部１２２ａは吹き出し領域Ａ１０２内部に描画する（ステップＳ１６０４）。
そして、かかる表示は、カーソルが吹き出し図形以外および吹き出し領域内の図形以外の位置に移動したと制御部１２２ｂによって判断されるまで行われる（ステップＳ１６０５）。
制御部１２２ｂが、カーソルが吹き出し図形以外および吹き出し領域内の図形以外の位置に移動した判断した場合には（ステップＳ１６０５：Ｙｅｓ）、一定時間待機して（ステップＳ１６０６）、吹き出し領域Ａ１０２内の図形を消去し（ステップＳ１６０７）、次いで、吹き出し領域を消去する（ステップＳ１６０８）。
このような処理によって、時刻図形または時刻図形周辺に描画することができなかった特徴図形または制御図形が吹き出し領域Ａ１０２内部に描画されることになる。
次に、図１３の再生制御の全体処理におけるステップＳ１３０４のメディアデータの再生処理について説明する。図１７は、メディアデータの再生処理の手順を示すフローチャートである。
再生制御部１２１は、再生中の時刻（Ｔ）をメディアデータ記憶部１１１から取得することにより現在の再生位置を調べる（ステップＳ１７０１）。そして、再生制御インターフェイス１２２は、時刻Ｔに関連付けられている時刻図形、すなわちＴ（ｘ，ｙ）≦Ｔ＜Ｔ’（ｘ，ｙ）を満たす時刻図形を検索する（ステップＳ１７０２）。そして、該当する時刻図形が見つかった場合には（ステップＳ１７０２：Ｙｅｓ）、描画部１２２ａは、図形記憶部１２２ｄから現在位置図形を取得して、その時刻図形が表示されている列の位置ｘと行の位置ｙを取得し、（ｘ，ｙ）位置に現在位置図形を描画する（ステップＳ１７０４）。一方、ステップＳ１７０３において該当する時刻図形が見つからなかった場合には、現在位置図形の描画は行わない。
なお、この現在再生位置は特徴図形や制御図形や時刻図形に隠れて非表示にならないように、特徴図形や制御図形や時刻図形よりも手前に表示される。
また、図４の領域Ａ１の開始時刻と終了時刻の範囲内に現在位置がない場合には現在位置図形は表示されない。
次に、利用者の再生制御表示画面３０２における操作に応じて、スクロールバー処理（ステップＳ１７０５）、図形選択処理（ステップＳ１７０６）、リピート再生処理（ステップＳ１７０７）を行う。
次に、図１７のステップＳ１７０６における図形選択処理について説明する。図１８は、図形選択処理の手順を示すフローチャートである。再生制御インターフェイス１２２の制御部１２２ｂは、ポインティングデバイス１２３から通知されるイベントから、利用者によって再生制御表示画面３０２の領域Ａ１内の時刻図形、現在位置図形、特徴図形または制御図形が選択されたか否かを判断する（ステップＳ１８０１）。そして、いずれかの図形が選択された場合には（ステップＳ１８０１：Ｙｅｓ）、制御情報記憶部１２２ｃの時刻データを参照して、選択された図形に割り当てられた開始時刻を取得する（ステップＳ１８０２）。ついで、再生制御部１２１は、取得した開始時刻の位置に再生位置を移動する（ステップＳ１８０３）。このような処理により、指定された位置に再生位置が移動してメディアデータの再生が行われることになる。
次に、図１７のステップＳ１７０７におけるリピート再生処理について説明する。図１９は、リピート再生処理の手順を示すフローチャートである。
まず、再生制御部１２１は現在の再生時刻をメディアデータ記憶部１１１から読み出し、その時刻と関連付けられている特徴情報を特徴情報保存部１３０から取得する（ステップＳ１９０１）。次いで、再生制御部１２１は現在の再生時刻と関連付けられた制御図形と制御図形を表示するための再生制御データを制御情報記憶部１２２ｃから検索する（ステップＳ１９０２）。そして、検索の結果、制御図形と再生制御データが存在するか否かを判断し（ステップＳ１９０３）、存在しない場合には（ステップＳ１９０３：Ｎｏ）、処理を終了する。
一方、ステップＳ１９０３において、制御図形と再生制御データが存在すると判断された場合には（ステップＳ１９０３：Ｙｅｓ）、再生制御部１２１は、その制御図形がリピート区間の終了を示す制御図形であるか否かを判断する（ステップＳ１９０４）。そして、リピート区間の終了を示す制御図形でないと判断された場合には（ステップＳ１９０４：Ｎｏ）、処理を終了する。
一方、ステップＳ１９０４において、検索された制御図形がリピート区間の終了を示す制御図形であると判断された場合には（ステップＳ１９０４：Ｙｅｓ）、現在の再生時刻がリピート区間の終了時刻に達したことを意味するので、再生制御部１２１は、再生制御データからリピート区間の開始時刻を取得する（ステップＳ１９０５）。そして、再生制御部１２１は取得した開始時刻にメディアデータの再生位置を移動する（ステップＳ１９０６）。このような処理によってリピート区間での再生が行われる。
なお、ステップＳ１９０１において、リピート区間の開始位置や終了位置を示す再生制御データとして特徴情報保存部１３０に記録されている特徴情報を利用できるようにしているため、特徴図形を制御図形としても扱うことも可能である。
次に、図１７のステップＳ１７０５におけるスクロールバーの移動処理について説明する。図２０は、スクロールバー移動処理の手順を示すフローチャートである。
再生制御インターフェイス１２２の制御部１２２ｂは、ポインティングデバイス１２３からのイベント通知によって、スクロールバーが移動したか否かを判断する（ステップＳ２００１）。そして、移動していないと判断した場合には（ステップＳ２００１：Ｎｏ）、処理を終了する。
一方、スクロールバーが移動したと判断した場合には（ステップＳ２００１：Ｙｅｓ）、移動後のスクロールバーに示す開始時刻と終了時刻を取得する（ステップＳ２００２）。この開始時刻が時刻図形に関連付けられている開始時刻でもっとも小さい時刻になるようにし、この終了時刻が時刻図形に関連付けられている終了時刻でもっとも大きな時刻になるように、時刻図形、現在位置図形、特徴図形、制御図形、吹き出し図形を描画する（ステップＳ２００３）。なお、図形の描画処理については図１４および図１６と同様に行われる。
利用者が再生制御表示画面３０２でリピート再生、ジャンプ位置などの再生制御に関する設定を行った場合、再生制御情報が制御情報記憶部１２２ｃに記憶される。
次に、再生制御情報の制御情報記憶部への記憶処理について説明する。ここでは、再生制御データとして利用者が指定する時刻図形にマークを設定する場合を例にあげて説明する。図２１は、再生制御情報の制御情報記憶部への記憶処理の手順を示すフローチャートである。
ポインティングデバイス１２３には、一または複数のボタンが設けられており、任意のボタンがマーク設定を指示するボタン（以下、「マーク設定ボタン」という）として割り当てられている。例えば、ポインティングデバイス１２３がマウスの場合には、マウスの右ボタンをマーク設定ボタンとして割り当てることが可能である。この場合、マウスの左ボタンは再生位置を指定するために使用すればよい。利用者は、ポインティングデバイス１２３の左ボタンによって、再生制御表示画面３０２に表示されている時刻図形を選択する。このとき利用者は、マーク設定のために、ポインティングデバイス１２３のマーク設定ボタンを押下する。
再生制御インターフェイス１２２の制御部１２２ｂは、マーク設定ボタンのイベント通知を待ち（ステップＳ２１０１）、マーク設定ボタンのイベント通知を受けると（ステップＳ２１０１：Ｙｅｓ）、選択された時刻図形に関連付けられている開始時刻と同一時刻をマークに関連付ける（ステップＳ２１０２）。このマークと再生開始時刻、終了時刻を対応付けて、図７に示すように再生制御データとして制御情報記憶部１２２ｃに記憶する（ステップＳ２１０３）。
次に、描画部１２２ａは、再生制御データに設定されているマークを参照し、対応する制御図形を図形記憶部１２２ｄから取得する（ステップＳ２１０４）。図７の再生制御データの例では、マークＡ１２ａの場合リピート開始位置の制御図形を、マークＡ１２ｂの場合リピート終了位置の制御図形を取得する。
そして、描画部１２２ａは、取得した制御図形を、再生制御表示画面３０２の再生開始時刻に対応する時刻図形の上に描画する（ステップＳ２１０５）。
次に、このような再生制御情報の記憶処理によって、再生制御表示画面３０２に表示された制御図形を利用者が指定した場合における再生位置制御処理について説明する。ここでは、図４に示す、ボタンＡ１３とボタンＡ１４を指定した場合の再生位置を制御する処理を例にあげて説明する。図２２は、再生位置制御処理の手順を示すフローチャートである。
利用者がポインティングデバイス１２３によって再生位置移動ボタンを押下すると、制御部１２２ｂが再生位置移動ボタンのイベント通知を受け、制御部１２２ｂは通知されたイベントからＡ１３ボタンが押下されたか、Ａ１４ボタンが押下されたかを判断する（ステップＳ２２０１）。
そして、制御部１２２ｂによって再生位置移動ボタンＡ１３が押下されたと判断された場合、再生制御部１２１は、現在の再生時刻に最も近くかつ現在の再生時刻よりも前の時刻を持つジャンプ位置のマークが設定されている再生制御データを制御情報記憶部１２２ｃから検索する（ステップＳ２２０２）。
一方、ステップＳ２２０１において、制御部１２２ｂによって再生位置移動ボタンＡ１３が押下されたと判断された場合、現在の再生時刻に最も近くかつ現在の再生時刻よりも先の時刻のジャンプ位置のマークが設定されている再生制御データを制御情報記憶部１２２ｃから検索する（ステップＳ２２０３）。
そして、該当する再生制御データが存在するか否かを判断する（ステップＳ２２０４）。そして、該当する再生制御データが存在しないと判断された場合には（ステップＳ２２０４：Ｎｏ）、処理を終了する。
一方、ステップＳ２２０４において、該当する再生制御データが存在すると判断された場合には（ステップＳ２２０４：Ｙｅｓ）、該当する再生制御データからその再生制御データに関連付けられている再生開始時刻を取得し（ステップＳ２２０５）、再生制御部１２１によって取得した再生開始時刻に再生位置を移動する（ステップＳ２２０６）。これにより、指定された再生位置からメディアデータが再生されることになる。
なお、このような再生制御データは時刻に関連付けられているものであれば、図７に示した例に限定されるものではない。このため、特徴情報保存部１３０から取得可能な特徴情報を再生制御データとすることもできる。
このように実施の形態１にかかるメディアデータ再生装置１００では、表示装置の再生制御表示画面に、メディアデータの各再生時刻を示す時刻図形を長方形状の領域に時系列に配列表示し、利用者が所望の時刻図形を指定することにより、指定された時刻図形の再生開始時刻の位置に再生位置を移動して再生しているので、再生時間が長時間のメディアデータであっても、メディアデータの各時刻での情報を再生位置の指定精度と同精度で表示することができ、メディアデータの再生位置の検索を容易にかつ高精度で行うことができる。
また、実施の形態１にかかるメディアデータ再生装置１００では、再生制御表示画面に特徴図形も表示するので、メディアデータを再生することなくその特徴を把握することができる。
また、実施の形態１にかかるメディアデータ再生装置１００では、リピートや再生時刻の移動など再生制御のための制御図形を再生制御表示画面に表示しているので、リピートや再生時刻の移動などの再生制御も容易に把握することができる。
実施の形態１にかかるメディアデータ再生装置１００では、メディアデータの再生中は再生時刻に応じた時刻図形の位置に現在位置図形を再生制御表示画面に表示しているので、時刻図形がどのように配置されているのかを容易に把握することができる。
（実施の形態２）
実施の形態１にかかるメディアデータ再生装置１００は、表示装置の再生制御表示画面３０２に、メディアデータの各再生時刻を示す時刻図形を長方形状の領域に時系列に配列表示していたが、実施の形態２にかかるメディアデータ再生装置１００は、時刻図形を、時系列順に横方向に並べて表示し、横幅の領域が時刻図形で埋まった場合、音声区間から無音声区間へ変化する際、あるいは無音声区間から音声区間に変化する際に、改行して時刻図形を表示するものである。
本実施の形態にかかるメディアデータ再生装置１００の機能的構成は、図１で示した実施の形態１のメディアデータ再生装置の構成と同様である。また、本実施の形態にかかるメディアデータ再生装置１００のハードウェア構成、メディアデータ再生プログラムのモジュール構成も実施の形態１と同様である。
本実施の形態のメディアデータ再生装置１００では、表示装置１１７に表示される再生制御表示画面と再生制御インターフェイス１２２による図形描画処理が実施の形態１と異なっている。
図２３は、実施の形態２のメディアデータ再生装置で表示される再生制御表示画面の一例を示す模式図である。なお、図２３では、動画再生領域の表示は省略して示してある。
図２３に示すように、本実施の形態の再生制御表示画面２３０２では、時刻図形は左から右に時刻順に配列されており、表示可能な列数まで時刻図形を表示すると最終列の時刻図形に改行図形を表示して、次行の左端から順に配列表示している。
また、本実施の形態の再生制御表示画面２３０２では、音声が存在しない無音声区間の時刻図形から音声区間の時刻図形に変化する場合もしくは音声区間の時刻図形から無音声区間の時刻図形に変化する場合には、表示可能な列数まで時刻図形が表示されていない場合でも、その行への時刻図形の表示を行わず、次行の左端から順に配列して表示している。
また、本実施の形態の再生制御表示画面２３０２では、次行に移っても音声区間もしくは無音声区間の間の変化がない場合には、その行の右端の時刻図形に改行図形Ａ２０１を重ねて表示し、次の行に音声区間もしくは無音声区間が連続していることを利用者に把握できるように表示している。
さらに、本実施の形態の再生制御表示画面２３０２では、時刻図形の配列の方向において行と列が入れ替わっているためスクロールバーが移動可能なスクロール領域Ａ２とスクロールバーＡ３の向きが縦方向となっている。
なお、本実施の形態の再生制御表示画面２３０２では、再生ボタンＡ４、停止ボタンＡ５、一時停止ボタンＡ６も表示されるが、実施の形態１と同様であるため、図２３では、図示を省略している。
次に、このような再生制御表示画面２３０２への図形描画処理について説明する。図２４は、実施の形態２にかかるメディアデータ再生装置における図形描画処理の手順を示すフローチャートである。
まず、再生制御インターフェイス１２２の描画部１２２ａは、領域Ａ１に並べることが可能な図形の行数と列数を読みだす（ステップＳ２４０１）。なお、かかる行数と列数は、実施の形態１と同様に、予め再生制御インターフェイス１２２の制御情報記憶部１２２ｃに、表示装置１１７に表示する再生制御表示画面３０２に応じて保持されている。
次に、再生制御インターフェイス１２２の描画部１２２ａは、図形の描画位置を先頭行の先頭列に移動する（ステップＳ２４０２）。そして、描画部１２２ａは、これから描画する時刻を表す時刻図形を、図形記憶部１２２ｄから取得する（ステップＳ２４０３）。
次いで、制御部１２２ｂは、取得した時刻図形に対応した開始時刻と終了時刻を時刻データから取得し、音声区間データベース１３２を参照して（ステップＳ２４０４）、取得した開始時刻および終了時刻と、一つ前の時刻図形の開始時刻および終了時刻がすべて音声区間内であるか否か、あるいはすべて無音声区間内であるか否かを調べることにより、音声区間および無音声区間に変化がないか、すなわち時刻図形に対する音声区間が無音声区間に切り替わっていないか、および時刻図形に対する無音声区間が音声区間に切り替わっていないかを判断する（ステップＳ２４０５）。
そして、音声区間、無音声区間に変化ありと判断された場合（ステップＳ２４０５：Ｎｏ）、すなわち音声区間から無音声区間に変化している場合あるいはその逆の場合には、描画位置を次行の先頭列に移動し（ステップＳ２４０９）、時刻図形を描画する（ステップＳ２４１０）。
一方、ステップＳ２４０５において、音声区間、無音声区間に変化なしと判断された場合（ステップＳ２４０５：Ｙｅｓ）、すなわち音声区間が続く場合または無音声区間が続く場合には、描画部１２２ａは、さらに現在の描画位置が行の最終列か否かを判断する（ステップＳ２４０６）。
そして、行の最終列であると判断された場合には（ステップＳ２４０６：Ｙｅｓ）、その最終列の時刻図形上に改行図形を描画して（ステップＳ２４０７）、描画位置を次行の先頭列に移動する（ステップＳ２４０８）。そして、移動した次行の先頭列の描画位置で時刻図形を描画する（ステップＳ２４１０）。
以上のステップＳ２４０３からＳ２４１０までの処理を全ての時刻図形が描画されるまで繰り返す（ステップＳ２４１１）。
これ以降の時刻図形への時刻の割り当ておよび特徴図形の描画処理（ステップＳ２４１２〜Ｓ２４１６）は、実施の形態１の図形描画処理（図１４のステップＳ１４０３〜Ｓ１４０７）と同様に行われる。
以上のような処理により、図２３に示すように、音声区間から無音声区間へ変化する際、あるいは無音声区間から音声区間に変化する際に、改行して時刻図形が表示されるようになる。
なお、メディアデータからの特徴情報抽出処理、他のメディアデータ再生制御処理は実施の形態１と同様に行われる。
このように実施の形態２にかかるメディアデータ再生装置では、再生制御表示画面２３０２に、音声区間から無音声区間へ変化する際、あるいは無音声区間から音声区間に変化する際に、改行して時刻図形を表示しているので、音声の開始位置もしくは音声ではない開始位置が再生制御表示画面２３０２の左端に常に表示されることになり、利用者は発話単位で所望のデータをメディアデータから探すことが容易に可能となる。
なお、本実施の形態では、音声区間から無音声区間へ変化する際、あるいは無音声区間から音声区間に変化する際に、改行して時刻図形を表示しているが、無音声区間の場合には、時刻図形を表示しないように構成することもできる。この場合には、利用者がメディアデータの中で音声だけを再生したい場合に必要のない無音声区間の時刻図形を予め省略して表示するので、利用者は発話単位で所望のデータを時系列メディアデータから探すことが容易に可能となる。
（実施の形態３）
実施の形態１および２にかかるメディアデータ再生装置１００は、メディアデータ記憶部１１１に予め記憶されたメディアデータを再生する際の再生制御処理を行うものであったが、この実施の形態３にかかるメディアデータ再生装置は、記録中のメディアデータをリアルタイムに取得して再生する場合における再生制御を行うものである。
図２５は、本実施の形態にかかるメディアデータ再生装置２５００の機能的構成を示すブロック図である。図２５において、矢印はデータの流れを示している。本実施の形態にかかるメディアデータ再生装置は、図２５に示すように、メディアデータ取得再生部２５１０と、再生制御インターフェイス部１２０と、特徴情報保存部１３０と、特徴抽出部１４０とを備えている。ここで、再生制御インターフェイス部１２０、特徴情報保存部１３０、特徴抽出部１４０の構成および機能は実施の形態１にかかるメディアデータ再生装置と同様である。
メディアデータ取得再生部２５１０は、本発明におけるメディアデータ取得手段および再生手段に相当し、メディアデータの記録と再生を行うものであり、記録装置制御部２５１１と、録音装置２５１２と、オーディオデータ記憶部２５１３と、録画装置２５１４と、ビデオデータ記憶部２５１５と、データ選択部１１２とを備えた構成となっている。そして、メディアデータ取得再生部２５１０には、スピーカ１１４と、表示合成部１１６を介して表示装置１１７が接続されている。
ここで、データ選択部１１２、スピーカ１１４、表示合成部１１６、表示装置１１７は、実施の形態１のメディアデータ再生部１１０の各部と同様の構成である。
録音装置２５１２は、オーディオデータを取得する装置であり、例えばマイクやラジオ放送受信装置が挙げられる。録画装置２５１４は、ビデオデータを取得する装置であり、例えばビデオカメラ等が挙げられる。録画装置２５１４と録音装置２５１２の両方を使用する装置としては例えばビデオカメラやテレビ放送受信装置が挙げられる。
記録装置制御部２５１１は、録画装置２５１４と録音装置２５１２を制御するものであり、利用者はこの記録装置制御部２５１１を介して記録操作を行うようになっている。
オーディオデータ記憶部２５１３は、録音装置２５１２が取得したオーディオデータを記憶するものである。ビデオデータ記憶部２５１５は、録画装置２５１４が取得したビデオデータを記憶するものである。
なお、本実施の形態にかかるメディアデータ再生装置のハードウェア構成、メディアデータ再生プログラムのモジュール構成は、実施の形態１のメディアデータ再生装置、メディアデータ再生プログラムの構成と同様である。
時系列メディアデータの取得源としては、例えば、音声に関してはマイク、ラジオ放送、インターネット等のネットワークを経由した音声ストリーミング配信であり、動画に関してはビデオカメラ、テレビ放送、インターネット等のネットワークを経由した動画ストリーミング配信などである。
ユーザが記録装置制御部２５１１によって記録を開始すると、録画装置２５１４はビデオデータ記憶部２５１５と特徴抽出部１４０にビデオデータを送り始め、録音装置２５１２はオーディオデータ記憶部２５１３と特徴抽出部１４０にオーディオデータを送り始める。
特徴抽出部１４０は、受け取ったデータから実施の形態１と同様に特徴情報抽出処理を行う。ビデオデータ記憶部２５１５やオーディオデータ記憶部２５１３はそれぞれのデータを受け取り記憶する。実施の形態１と同様に利用者は、再生制御操作を再生制御インターフェイス１２２を用いて行い、再生が開始されると、ビデオデータ記憶部２５１５は記憶しているビデオデータを表示合成部１１６へ送り始め、オーディオデータ記憶部２５１３は記憶しているオーディオデータをスピーカ１１４へ送り始める。
なお、メディアデータからの特徴情報抽出処理、メディアデータ再生制御処理は実施の形態１と同様に行われる。
なお、本実施の形態にかかるメディアデータ再生装置では、録音装置２５１２と録画装置２５１４を内部に設けた構成となっているが、録音装置２５１２と録画装置２５１４とをメディアデータ再生装置の外部に設け、メディアデータ再生装置をこれらの録音装置２５１２と録画装置２５１４に接続して、リアルタイムに映像および音声を取得するように構成してもよい。
また、本実施の形態にかかるメディアデータ再生装置では、記録中のメディアデータを記録中にリアルタイムに特徴を抽出して、再生制御表示画面に時刻図形、特徴図形などを表示しているが、この他、インターネットなどのネットワークに接続されたメディアデータ配信装置からメディアデータをストリーミング配信される場合に、このストリーミング配信されるメディアデータを逐次受信して、受信したメディアデータからリアルタイムに特徴を抽出して、再生制御表示画面に時刻図形、特徴図形などを表示するように構成してもよい。
また、この場合、メディアデータ配信装置において特徴情報を予めメタデータとして保存しておき、このメタデータもストリーミング配信するような場合には、本実施の形態にかかるメディアデータ再生装置側でストリーミング配信されるメタデータを受信して、特徴情報を取得するように構成してもよい。この場合には、特徴抽出部や特徴情報保存部が不要となり、装置構成が簡易なものとなる。
さらに、本実施の形態にかかるメディアデータ再生装置を、実施の形態４にかかるメディアデータ再生装置のように、再生制御表示画面に時刻図形と制御図形のみを表示し、特徴図形を表示しないように構成してもよい。この場合にも、特徴抽出部や特徴情報保存部が不要となり、装置構成が簡易なものとなる。
このように実施の形態３にかかるメディアデータ再生装置によれば、利用者は記録しているメディアデータの内容を確認したい場合に、再生制御表示画面を用いて記録中の内容についての情報をリアルタイムに取得することができ、実際にメディアデータを再生して内容を確認することを容易に行うことができる。
（実施の形態４）
実施の形態１〜３に係るメディアデータ再生装置は、時刻図形と現在位置図形と制御図形と特徴図形を再生制御表示画面に表示していたが、この実施の形態４にかかるメディアデータ再生装置は。時刻図形と現在位置図形だけを再生制御表示画面に表示するものである。
図２６は、本実施の形態にかかるメディアデータ再生装置の機能的構成を示すブロック図である。図２６において、矢印はデータの流れを示している。本実施の形態にかかるメディアデータ再生装置は、図２６に示すように、メディアデータ再生部１１０と、再生制御インターフェイス部２６２０とを備えている。ここで、再生制御インターフェイス部２６２０の構成および機能は実施の形態１にかかるメディアデータ再生装置と同様である。また、本実施の形態にかかるメディアデータ再生装置のハードウェア構成実施の形態１のメディアデータ再生装置の構成と同様である。
本実施の形態の再生制御インターフェイス部２６２０は、再生制御インターフェイス２６２２の描画部１２２ａが時刻図形と現在位置図形だけを再生制御表示画面に表示し、特徴図形は表示しないようになっている。このため、本実施の形態にかかるメディアデータ再生装置２６００には、実施の形態１と異なり、特徴抽出部と特徴情報保存部は設けられていない。
次に、実施の形態４のメディアデータ再生装置２６００による再生制御表示画面への図形描画処理について説明する。図２７は、図形描画処理の手順を示す説明図である。
まず、再生制御インターフェイス２６２２の描画部１２２ａは、図４で示した再生制御表示画面３０２の領域Ａ１に並べることが可能な図形の行数と列数を読みだす（ステップＳ２７０１）。なお、かかる行数と列数は、実施の形態１と同様に、予め再生制御インターフェイス１２２の制御情報記憶部１２２ｃに、表示装置１１７に表示する再生制御表示画面３０２に応じて保持されている。
次に、再生制御インターフェイス２６２２の描画部１２２ａは、各時刻を表す時刻図形を、行数×列数分の領域Ａ１に描画する（ステップＳ２７０２）。そして、再生制御インターフェイス２６２２の制御部１２２ｂによって、各時刻図形に開始時刻と終了時刻を割り当て、時刻図形と割り当てられた開始時刻と終了時刻とを時刻データ（図６）として制御情報記憶部１２２ｃに保存する（ステップＳ２７０３）。
以上の処理によって、時刻図形が再生制御表示画面に表示される。現在位置図形の描画については実施の形態１と同様に行われる。また、本実施の形態では、時刻図形、現在位置図形の他、実施の形態１の再生制御情報記憶処理と同様の処理により、さらに制御図形を表示するように構成してもよい。
このように実施の形態４にかかるメディアデータ再生装置２６００では、時刻図形が２次元に配列表示されているため、利用者はメディアデータの再生制御を容易に行えるようになり、制御図形も表示するようにした場合はリピートや再生時刻の移動などのための再生制御情報も表示された制御図形によって容易に把握することができる。
また、実施の形態４にかかるメディアデータ再生装置２６００では、メディアデータ再生中は再生時刻に応じた位置に現在位置図形を表示することにより、時刻図形の並びがどのように並んでいるのかを容易に把握することが可能となる。
また、実施の形態４にかかるメディアデータ再生装置２６００では、実施の形態１と異なり特徴図形を表示しないため、時系列メディアデータの特徴を抽出する必要がなくなり、特徴抽出部と特徴情報保存部を設ける必要性がなくなり、装置もしくはプログラムの構成を簡易な構成とすることができるとともに、特徴抽出の処理が必要ないため、再生制御の処理の速度を向上さあせることができる。例えば、携帯用音楽再生装置などで特徴抽出部もしくは特徴情報抽出プログラムを組み込めないような場合に本実施の形態を利用することができる。
（実施の形態５）
実施の形態１〜３にかかるメディアデータ再生装置は、メディアデータから特徴情報を抽出して、抽出した特徴情報から特徴図形を表示していたが、この実施の形態５にかかるメディアデータ再生装置では、予め特徴情報がメタデータとして含まれるメディアデータの再生を制御するものである。
図２８は、本実施の形態にかかるメディアデータ再生装置の機能的構成を示すブロック図である。図２８において、矢印はデータの流れを示している。本実施の形態にかかるメディアデータ再生装置は、図２８に示すように、メディアデータ再生部２８１０と、再生制御インターフェイス部２８２０とを備えている。
本実施の形態のメディアデータ再生装置２８００では、実施の形態１で説明した特徴情報、すなわちテキストデータ、音声区間データ、話者データ、顔データ、シーンチェンジデータがメタデータとしてメディアデータに記録されている。
このため、メディアデータ再生部２８１０には、メディアデータ記憶部１１１のメディアデータからメタデータを参照して、テキストデータ、音声区間データ、話者データ、顔データ、シーンチェンジデータを取得する特徴情報読取部２８１１が設けられている。この特徴情報読取部２８１１は、本発明における特徴情報読み取り手段に相当する。メディアデータ再生部２８１０のこの他の構成は実施の形態１と同様である。
また、本実施の形態の再生制御インターフェイス部２８２０の再生制御インターフェイス２８２２の描画部１２２ａは、特徴図形を再生制御インターフェイス画面３０２に描画する際に、特徴情報を特徴情報読取部２８１１から取得するようになっている。再生制御インターフェイス部２８２０のこの他の構成は実施の形態１と同様である。
このため、本実施の形態にかかるメディアデータ再生装置２８００には、実施の形態１と異なり、特徴抽出部と特徴情報保存部は設けられていない。
図２９は、実施の形態５のメディアデータ再生装置２８００による再生制御表示画面への図形描画処理の手順を示すフローチャートである。本実施の形態では、ステップＳ２９０４において、特徴情報読取部２８１１がメディアデータからＴ（ｘ，ｙ）≦Ｔ＜Ｔ’（ｘ，ｙ）を満たす特徴情報を検索する点が実施の形態１の図形描画処理と異なっており、他の処理については図１４で説明した図形描画処理と同様である。また、再生制御処理についても実施の形態１と同様に行われる。
このように実施の形態５のメディアデータ再生装置２８００では、メディアデータ記憶部１１１にメディアデータにメタデータとして記録されている特徴情報を使用して特徴図形を表示することができるので、特徴抽出部と特徴情報保存部が不要となり、装置構成を簡易にすることができるとともに、特徴抽出処理が不要な分、再生制御処理の速度の向上を図ることができる。
なお、再生制御インターフェイス２８２２は特徴情報を必要な情報のみを必要時に特徴情報読取部２８１１によって読み取るように構成することもできる。例えば、メディアデータ再生中に利用者が特定の特徴図形を非表示から表示に切り替えた時点に初めて特徴情報を特徴情報読取部２８１１によって取得するように構成することが可能である。
また、実施の形態１〜５にかかるメディアデータ再生装置では、再生制御表示画面を、動画表示領域を表示する表示装置と同じ表示装置に表示しているが、動画表示領域を表示する表示装置と異なる表示装置の画面に再生制御表示画面を表示するように構成してもよい。
（実施の形態６）
実施の形態１〜５にかかるメディアデータ再生装置では、再生制御表示画面の表示および当該画面からの利用者の再生制御の指定と特徴情報抽出処理と利用者の指定に応じた再生制御処理とメディアデータ再生処理を単一の装置内で実行していたが、この実施の形態６では、再生制御表示画面の表示および当該画面からの利用者の再生制御の指定を行う装置と、特徴情報抽出処理と利用者の指定に応じた再生制御処理とメディアデータ再生処理を行う装置とを別個に構成したものである。
図３０は、本実施の形態にかかるメディアデータ再生システムの機能的構成を示すブロック図である。図３０において、矢印はデータの流れを示している。
本実施の形態にかかるメディアデータ再生システム、遠隔操作装置３０００とメディアデータ再生装置３０１０とが無線通信ネットワークを介し通信可能な構成となっている。
遠隔操作装置３０００は、再生制御表示画面を表示し、当該画面からメディアデータ再生装置３０１０に対して再生制御の指定を行うものである。遠隔操作装置３０００は、図３０に示すように、通信部３００１と、再生制御インターフェイス３００２とデータ選択部３００６とポインティングデバイス１２３と表示装置３００７とを備えている。
通信部３００１は、メディアデータ再生装置３０１０との通信を制御するものである。
再生制御インターフェイス３００２は、利用者に対して再生制御に関する各種図形、すなわち時刻図形、特徴図形、制御図形などを表示装置３００７に表示する処理を行うものである。また、再生制御インターフェイス３００２は、利用者からポインティングデバイス１２３により指定された時刻図形のイベントを受信し、メディアデータの再生位置を、指定された時刻図形に対応付けられている再生時刻の位置に移動する処理やその他再生制御に関する処理をネットワークを介してメディアデータ再生装置３０１０に要求する処理を行う。再生制御インターフェイス３００２の構成は、図２で説明した実施の形態１の再生制御インターフェイスと同様である。
データ選択部３００６は、利用者の指定によって、ネットワークを介してメディアデータ再生装置３０１０のメディアデータ記憶部１１１に記録されているメディアデータの検索要求を行い、再生を行うメディアデータを選択するものである。
ポインティングデバイス１２３は、リモートコントローラ上のタッチパネル、携帯電話のコマンドナビゲーションボタン、マウス、タブレット、タッチパネル等の入力装置が該当する。
表示装置３００７は、リモートコントローラや携帯電話等の液晶画面やディスプレイ装置等である。
メディアデータ再生装置３０１０は、特徴情報抽出処理と利用者の指定に応じた再生制御処理とメディアデータ再生処理を行うものであり、図３０に示すように、ビデオデコーダ１１５と、オーディオデコーダ１１３と、メディアデータ記憶部１１１と、再生制御部３０１２と、通信部３０１１と、特徴情報保存部１３０と、特徴抽出部１４０とを備えている。そして、メディアデータ再生装置３０１０には、表示装置１１７とスピーカ１１４が接続されている。
ビデオデコーダ１１５、オーディオデコーダ１１３、表示装置１１７、スピーカ１１４、メディアデータ記憶部１１１、特徴情報保存部１３０、特徴抽出部１４０の構成および機能は、実施の形態１のメディアデータ再生装置と同様である。
通信部３０１１は、遠隔操作装置３０００との通信を制御するものである。再生制御部３０１２は、ネットワークを介して遠隔操作装置３０００の再生制御インターフェイス１３００２からの要求によって指定された再生位置からメディアデータの再生を行う再生制御を行うものである。
特徴情報保存部１３０は、例えばＨＤＤ等の記憶媒体であり、特徴抽出部１４０によって抽出された特徴情報を格納し、その構成は実施の形態１の特徴情報保存部１３０と同様である。
次に、本実施の形態の遠隔操作装置３０００およびメディアデータ再生装置のハードウェア構成を説明する。図３１は、本実施の形態の遠隔操作装置３０００およびメディアデータ再生装置のハードウェア構成を示す模式図である。メディアデータ再生装置３０１０は、テレビジョン３１０１に映像や音声を出力するビデオ再生装置、ＤＶＤ再生装置等が該当する。遠隔操作装置３０００は、これらビデオ再生装置、ＤＶＤ再生装置等の再生制御を遠隔操作するリモートコントローラ等である。
図３２は、遠隔操作装置３０００として赤外線通信機能を内蔵したリモートコントローラを用いた場合のリモートコントローラの液晶画面に表示される再生制御表示画面３２０２の一例を示す模式図である。
図３２に示すように、再生制御表示画面３２０２には、時刻図形Ａ１（１，１）、Ａ１（１，２）、・・・、Ａ１（１，８）、Ａ１（２，１）が２次元の円弧状Ａ１に配列表示されている。また、メディアデータの特徴を表す特徴図形や制御図形、現在位置図形がこれらの時刻図形に重畳して表示される。なお、Ａ１で表示する時刻図形の数や並びの形状は図３２の表示例に限定されるものではない。
また、再生制御表示画面３２０２には、スクロールバーＡ３がスクロール領域Ａ２内を移動可能に表示されている。このスクロールバーの機能についての実施の形態１と同様である。
また、リモートコントローラを遠隔操作装置３０００として使用する他、Ｂｌｕｅｔｏｏｔｈ機能を内蔵した携帯電話を遠隔操作装置３０００として利用することもできる。この場合、通信部３００１，３０１１は、Ｂｌｕｅｔｏｏｔｈ機能に対応したものとする。
図３３は、携帯電話を遠隔操作装置３０００として使用した場合の再生制御表示画面３３０１の表示例を示す模式図である。図３３に示すように、携帯電話のディスプレイ画面に再生制御表示画面３３０１を表示する。そして、再生制御表示画面３３０１上に、カーソルＡ１０１も表示し、カーソルＡ１０１を携帯電話のコマンドナビゲーションボタンの十字キーＫ１（ポインティングデバイス１２３に相当する）で操作し、決定ボタンＫ２を押下すると、カーソルＡ１０１が指示している時刻図形などに関連付けられている時刻に再生位置を移動させるように再生制御インターフェイス３００２を構成する。
なお、スクロールボタンＡ１６ａ，Ａ１６ｂは、図１で示したスクロール領域Ａ２とスクロールバーＡ３と同様の機能を有し、時刻図形が表示される範囲をスクロールさせるために使用される。
例えば、スクロールバーＡ１６ａを押下した場合には、現在表示している時刻に比べ過去の時間に関連付けられている時刻図形等が表示され、スクロールバーＡ１６ｂを押下した場合には、現在表示している時刻より未来の時間に関連付けられている時刻図形等が表示される。これにより、時刻図形等が表示される範囲をスクロールさせることが可能となる。
利用者は、遠隔操作装置３０００のデータ選択部３００６を操作し、通信部３００１，３０１１を介し、メディアデータ記憶部１１１内にある時系列メディアデータを検索して選択する。
本実施の形態においても、各時系列メディアデータはメディアデータ記憶部１１１内で一意に特定される名称等と関連付けられており、その名称等を遠隔操作装置３０００の表示装置３００７に表示するか、またはメディアデータ再生装置３０１０に接続された表示装置１１７に表示するかのいずれかもしくは両方の方法で利用者は時系列メディアデータを選択することができるようになっている。
メディアデータの選択操作が終了すると実施の形態１と同様に、時系列メディアデータの特徴情報が特徴抽出部１４０で抽出され、特徴情報保存部１３０に格納される。なお、利用者は時系列メディアデータの選択操作が終了した場合でも、直ちにその特徴抽出処理を行い各データベースに保存する事を行わず、利用者の操作により、各データベースに抽出された特徴情報を保存するように構成してもよい。
また、一度、メディアデータの特徴情報を抽出した場合には、各特徴情報は特徴情報保存部１３０に記録された状態となっているので、同一のメディアデータを再度選択した場合には、特徴抽出部１４０による処理を行う必要がなくなる。
次に、以上のように構成されたメディアデータ再生システムによりメディアデータの再生制御処理について説明する。利用者が遠隔操作装置３０００のポインティングデバイス１２３と再生制御表示画面３２０２を使用して、再生ボタンＡ４を押下すると、通信部３００１、３０１１を経由して、メディアデータ再生装置３０１０の再生制御部３０１２に再生ボタンＡ４のイベントが通知される。再生制御部３０１２がイベント通知を受け取ると、メディアデータ記憶部１１１に再生命令を送信し、メディアデータ記憶部１１１からオーディオデコーダ１１３またはビデオデコーダ１１５もしくはその両方に時系列メディアデータが送出される。オーディオデコーダ１１３とビデオデコーダ１１５は受け取った時系列メディアデータを処理し、ビデオデコーダ１１５は表示装置１１７にビデオデータを送出し、オーディオデコーダ１１３はスピーカ１１４にオーディオデータを送出する。
遠隔操作装置３０００の再生制御インターフェイス３００２は、特徴情報保存部１３０から特徴情報を通信部３００１、３０１１を介して受信し、受信した特徴情報に対応した特徴図形を表示装置３００７に表示する。
利用者がポインティングデバイス１２３により時刻図形、特徴図形、制御図形を選択すると、通信部３００１，３０１１を介して、選択した図形に関連付けられている時刻を再生制御部３０１２に送信し、再生制御部３０１２はメディアデータ記憶部１１１にその時刻の時系列メディアデータをビデオデコーダ１１５とオーディオデコーダ１１３に送るように指令を出す。
ここで、遠隔操作装置３０００とメディアデータ再生装置３０１０の間で送受信されるデータについて説明する。
両装置の間で送受信されるデータは、次の３種類である。第１の種類のデータは、遠隔操作装置３０００のデータ選択部３００６が必要とするデータと再生制御データである。第２の種類のデータは、再生制御表示画面３２０２の表示に必要なデータである。第３の種類のデータは、再生制御のための再生制御データである。
データ選択部３００６が必要とするデータは、時系列メディアデータの名称や長さのデータである。遠隔操作装置３０００のデータ選択部３００６により時系列メディアデータを選択するために、各時系列メディアデータの名称や長さのデータがメディアデータ再生装置３０１０から遠隔操作装置３０００に送信される。
利用者がデータ選択部３００６によって時系列メディアデータを選択した場合、選択した時系列メディアデータの情報が遠隔操作装置３０００からメディアデータ再生装置３０１０に送信され、メディアデータ記憶部１１１に送出される。
第２の種類のデータは、再生制御表示画面３２０２へ表示のために送受信されるデータである。遠隔操作装置３０００の再生制御インターフェイス３００２は、データ選択部３００６で選択したメディアデータの長さ（時間）のデータが時刻図形の表示と図３１で示したスクロール領域Ａ２およびスクロールバーＡ３の表示に必要となる。このため、遠隔操作装置３０００のデータ選択部３００６によるデータ選択後に、メディアデータの長さデータがメディアデータ再生装置３０１０から遠隔操作装置３０００に送信され、遠隔操作装置３０００がメディアデータの長さデータを受信する。また、遠隔操作装置３０００は、再生制御表示画面３２０２において現在位置図形の表示位置を決定するために、再生制御部Ｄ２から現在の再生時刻のデータをメディアデータ再生装置３０１０から受信する。
なお、再生制御表示画面３２０２に時刻図形や現在位置図形のみを表示し特徴図形を表示しない場合には、メディアデータの長さデータと現在の再生時刻のみをメディアデータ再生装置３０１０から取得すればよい。
遠隔操作装置３０００は、再生制御表示画面３２０２に時刻図形や現在位置図形の他、特徴図形を表示する場合には、メディアデータ再生装置３０１０の特徴情報保存部１３０に保存されているメディアデータの各特徴情報をさらに取得する必要がある。
ここで、再生制御表示画面３２０２への図形描画処理について説明する。図３４は、遠隔操作装置３０００において行われる図形描画処理の手順を示すフローチャートである。
まず、再生制御インターフェイス３００２の描画部１２２ａは、領域Ａ１に並べることが可能な図形の行数と列数を読みだす（ステップＳ３４０１）。なお、かかる行数と列数は、予め再生制御インターフェイス３００２の制御情報記憶部１２２ｃに、表示装置３００７に表示する再生制御表示画面３２０２に応じて保持されている。
次に、再生制御インターフェイス３００２の描画部１２２ａは、各時刻を表す時刻図形を、行数×列数分の領域Ａ１に描画する（ステップＳ３４０２）。図３２の例では、Ａ１（１，１）、Ａ１（１，２）、・・・、Ａ１（１，７）、Ａ１（２，１）、・・・のように表示される。
次に、再生制御インターフェイス３００２の描画部１２２ａは、データ選択部３００６によって選択された時系列メディアデータの長さデータを通信部３００１を介して、メディアデータ再生装置３０１０に問い合わせる。すると、遠隔操作装置３０００から要求したメディアデータの長さデータを送信されてくるので、再生制御インターフェイス３００２はかかる長さデータを取得する（ステップＳ３４０３）。
そして、再生制御インターフェイス３００２の制御部１２２ｂによって、各時刻図形に開始時刻と終了時刻を割り当て、時刻図形と割り当てられた開始時刻と終了時刻とを時刻データ（図６）と制御情報記憶部１２２ｃに保存する（ステップＳ３４０４）。かかる割り当ての処理は実施の形態１のメディアデータ再生装置と同様に行われる。
再生制御表示画面３２０２に表示するすべての時刻図形に対して以下の処理を行うが、ｘ列ｙ行目のデータについてのみ説明する。
次に、再生制御インターフェイス３００２の描画部１２２ａは、ｘ列ｙ行に表示される時刻図形に割り当てられている開始時刻Ｔ（ｘ，ｙ）と終了時刻Ｔ’（ｘ，ｙ）を、通信部３００１を介してメディアデータ再生装置３０１０に送信することにより、特徴情報の検索要求を行う（ステップＳ３４０５）。これにより、メディアデータ再生装置３０１０では、特徴情報保存部１３０から、Ｔ（ｘ，ｙ）≦ｔ＜Ｔ’（ｘ，ｙ）を満たすｔに関連付けられている特徴情報と割り当てられた時刻が検索され、遠隔操作装置３０００の描画部１２２ａは、メディアデータ再生装置３０１０からの特徴情報検索結果の応答受信待ちとなる（ステップＳ３４０６）。かかるメディアデータ再生装置３０１０における特徴情報検索処理については後述する。
メディアデータ再生装置３０１０から応答があった場合には、受信した応答が特徴情報と時刻であるか否かを調べる（ステップＳ３４０７）。そして、特徴情報と時刻である場合には（ステップＳ３４０７：Ｙｅｓ）、描画部１２２ａによって、メディアデータ再生装置３０１０によって検索された特徴情報に対応する特徴図形を図形記憶部１２２ｄから読み出して、対応する時刻の時刻図形に対して表示する（ステップＳ３４０８）。一方、ステップＳ３４０７において、メディアデータ再生装置３０１０から受信した応答が特徴情報と時刻でない場合には、（ステップＳ３４０７：Ｎｏ）、該当する特徴情報が存在しなかったと判断し、対象の時刻図形には特徴情報を描画しない。
このようなステップＳ３４０５からＳ３４０８までの処理を全ての時刻図形に対して実行する（ステップＳ３４０９）。以上のような処理により、領域Ａ１に時刻図形、特徴図形が表示される。
次に、上述のステップＳ３４０５の特徴情報の検索要求を受信したメディアデータ再生装置３０１０における特徴情報検索処理について説明する。図３５は、メディアデータ再生装置３０１０における特徴情報検索処理の手順を示すフローチャートである。
メディアデータ再生装置３０１０では、通信部３０１１によって特徴情報の検索要求、すなわちｘ列ｙ行に表示される時刻図形に割り当てられている開始時刻Ｔ（ｘ，ｙ）と終了時刻Ｔ’（ｘ，ｙ）を受信すると（ステップＳ３５０１）、Ｔ（ｘ，ｙ）≦Ｔ＜Ｔ’（ｘ，ｙ）を満たす時刻Ｔと関連付けられている特徴情報（音声区間データ、話者データ、テキストデータ、顔存在区間データ、シーンチェンジデータ）を特徴情報保存部１３０によって音声区間データベース１３２と話者情報データベース１３３とテキストデータベース１３１と顔データベース１３４とシーンチェンジデータベース１３５からそれぞれ検索する（ステップＳ３５０２）。
そして、特徴情報保存部１３０によって該当する特徴情報が存在するか否か判断し（ステップＳ３５０３）、存在すると判断された場合には（ステップＳ３５０３：Ｙｅｓ）、特徴情報保存部１３０によって、検索された特徴情報とこの特徴情報に関連付けられた時刻を遠隔操作装置３０００に通信部３０１１を介して送信する（ステップＳ３５０４）。
一方、ステップＳ３５０３において、該当する特徴情報が存在しないと判断された場合には（ステップＳ３５０３：Ｎｏ）、特徴情報保存部１３０によって、検索結果なしの旨の応答を遠隔操作装置３０００に通信部３０１１を介して送信する（ステップＳ３５０５）。
このステップＳ３５０４およびＳ３５０５の応答は、遠隔操作装置３０００の図形描画処理における上述のステップＳ３４０６によって受信されることになる。
次に、遠隔操作装置３０００とメディアデータ再生装置３０１０との間で送受信される第３の種類のデータである再生制御のための再生制御データについて説明する。
利用者は、ポインティングデバイス１２３をよって再生制御表示画面３２０２を操作することが、再生の開始、停止、再生位置の移動など時系列メディアデータの再生の制御に関する操作が生じた場合には、各操作に応じた命令が遠隔操作装置３０００からメディアデータ再生装置３０１０の再生制御部３０１２に再生制御データとして送信される。再生制御部３０１２では、受信した再生制御データに従って、各操作に応じた処理を実行する。
利用者が遠隔操作装置３０００の再生制御表示画面から再生した位置の時刻図形を指定すると、その再生制御インターフェイス３００２の制御部１２２ｂでは、指定された時刻図形に対応した再生時刻を制御情報記憶部１２２ｃから取得する。そして、取得した再生時刻を、再生制御指示情報として通信部３００１によってメディアデータ再生装置３０１０に送信する。メディアデータ再生装置３０１０では、通信部３０１１によって再生制御指示情報として再生時刻を受信し、再生制御部３０１２によって受信した再生時刻の位置からメディアデータを再生する。
このように本実施の形態にかかるメディアデータ再生システムでは、遠隔操作装置３０００において、一または複数の時刻図形情報を再生制御表示画面に表示し、表示された時刻図形情報の中から利用者によって選択された時刻図形情報に対応した再生時刻の位置に再生位置を移動する旨の再生制御指示をメディアデータ再生装置に送信し、メディアデータ再生装置において、遠隔操作装置から受信した再生制御指示で指示された再生時刻の位置からメディアデータを再生することで、利用者がメディアデータ再生装置と離れた場所にいる場合でも、再生時間が長時間のメディアデータの各時刻での情報を再生位置の指定精度と同精度で表示することができ、メディアデータの再生位置の検索を容易にかつ高精度で行うことができる。
また、本実施の形態にかかるメディアデータ再生システムでは、遠隔操作装置３０００側で再生制御表示画面を表示するため、メディアデータ再生装置３０１０の表示装置をメディアデータの再生表示のみに使用することができる。
なお、本実施の形態は、メディアデータ再生装置３０１０の構成を、実施の形態１のメディアデータ再生装置のように特徴抽出部１４０と特徴情報保存部１３０を設けた構成としたが、この他、再生インターフェイス画面３２０２に時刻図形と制御図形のみ表示する実施の形態４のメディアデータ再生装置、あるいは予め特徴図形がメタデータとしてメディアデータ記録部に記録されているメディアデータを再生する実施の形態５のメディアデータ再生装置のように、特徴抽出部１４０と特徴情報保存部１３０とを設けない構成とすることも可能である。図３６は、特徴抽出部１４０と特徴情報保存部１３０を設けない構成のメディアデータ再生装置を用いた場合のメディアデータ再生システムの機能的構成を示すブロック図である。
また、この他、本実施の形態にかかる遠隔操作装置３０００の再生制御表示画面３２０２への各図形のメディアデータ再生装置を、実施の形態２のように、再生制御表示画面に時刻図形を時系列順に横方向に並べて表示し、横幅の領域が時刻図形で埋まった場合、音声区間から無音声区間へ変化する際、あるいは無音声区間から音声区間に変化する際に、改行して時刻図形を表示するように構成してもよい。
さらに、本実施の形態にかかるメディアデータ再生装置３０１０を、実施の形態３のように、記録中のメディアデータをリアルタイムに取得して再生する場合における再生制御を行うように構成してもよい。
なお、本発明は以上の実施の形態に限らず、その要旨を逸脱しない範囲において、さまざまな様態で実施し得るものである。
本発明にかかるメディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラムは、音声および映像を再生するメディアデータの再生制御を行うメディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラムに適している。
実施の形態１にかかるメディアデータ再生装置の機能的構成を示すブロック図である。 再生制御インターフェイスの機能的構成を示すブロック図である。 メディアデータ再生装置のハードウェア構成を示す模式図である。 実施の形態１のメディアデータ再生装置で表示される再生制御表示画面の一例を示す模式図である。 再生制御設定画面の一例を示す模式図である。 時刻データの一例を示す説明図である。 再生制御データの一例を示す説明図である。 音声区間データベースのデータ構造の一例を示す説明図である。 話者情報データベースのデータ構造の一例を示す説明図である。 テキストデータベースのデータ構造の一例を示す説明図である。 顔データベースのデータ構造の一例を示す説明図である。 シーンチェンジデータベースのデータ構造の一例を示す説明図である。 特徴抽出部によるメディアデータの中のオーディオデータからの特徴情報の抽出処理の手順を示すフローチャートである。 メディアデータの中のビデオデータからの特徴情報の抽出処理の手順を示すフローチャートである。 再生制御の全体処理の手順を示すフローチャートである。 図形描画処理の手順を示すフローチャートである。 吹き出し領域および特徴図形の表示例を示す模式図である。 吹き出し領域の表示処理の手順を示すフローチャートである。 メディアデータの再生処理の手順を示すフローチャートである。 図形選択処理の手順を示すフローチャートである。 リピート再生処理の手順を示すフローチャートである。 スクロールバー移動処理の手順を示すフローチャートである。 再生制御情報の制御情報記憶部への記憶処理の手順を示すフローチャートである。 再生位置制御処理の手順を示すフローチャートである。 実施の形態２のメディアデータ再生装置で表示される再生制御表示画面の一例を示す模式図である。 実施の形態２にかかるメディアデータ再生装置における図形描画処理の手順を示すフローチャートである。 実施の形態３にかかるメディアデータ再生装置の機能的構成を示すブロック図である。 実施の形態４にかかるメディアデータ再生装置の機能的構成を示すブロック図である。 図形描画処理の手順を示す説明図である。 実施の形態５にかかるメディアデータ再生装置の機能的構成を示すブロック図である。 実施の形態５のメディアデータ再生装置による再生制御表示画面への図形描画処理の手順を示すフローチャートである。 実施の形態６にかかるメディアデータ再生システムの機能的構成を示すブロック図である。 実施の形態６の遠隔操作装置およびメディアデータ再生装置のハードウェア構成を示す模式図である。 遠隔操作装置として赤外線通信機能を内蔵したリモートコントローラを用いた場合のリモートコントローラの液晶画面に表示される再生制御表示画面の一例を示す模式図である。 携帯電話を遠隔操作装置として使用した場合の再生制御表示画面３３０１の表示例を示す模式図である。 遠隔操作装置において行われる図形描画処理の手順を示すフローチャートである。 メディアデータ再生装置における特徴情報検索処理の手順を示すフローチャートである。 特徴抽出部と特徴情報保存部を設けない構成のメディアデータ再生装置を用いた場合のメディアデータ再生システムの機能的構成を示すブロック図である。
符号の説明
１００，２５００，２６００，２８００，３０１０ メディアデータ再生装置
１１０ メディアデータ再生部
１１１ メディアデータ記憶部
１１２，３００６ データ選択部
１１３ オーディオデコーダ
１１４ スピーカ
１１５ ビデオデコーダ
１１６ 表示合成部
１１７，３００７ 表示装置
１２０，２６２０，２８２０ 再生制御インターフェイス部
１２１，３０１２ 再生制御部
１２２，２６２２，２８２２，３００２ 再生制御インターフェイス
１２２ａ 描画部
１２２ｂ 制御部
１２２ｃ 制御情報記憶部
１２２ｄ 図形記憶部
１２３ ポインティングデバイス
１３０ 特徴情報保存部
１４０ 特徴抽出部
１３１ テキストデータベース
１３２ 音声区間データベース
１３３ 話者情報データベース
１３４ 顔データベース
１３５ シーンチェンジデータベース
１４０ 特徴抽出部
１４１ テキスト変換部
１４２ 音声区間検出部
１４３ 話者識別部
１４４ 顔認識部
１４５ シーンチェンジ認識部
３０２，２３０２，３２０２，３３０１ 再生制御表示画面
３０３ 動画表示領域
３０４ ディスプレイ画面
２５１０ メディアデータ取得再生部
２５１１ 記録装置制御部
２５１２ 録音装置
２５１３ オーディオデータ記憶部
２５１４ 録画装置
２５１５ ビデオデータ記憶部
２８１０ メディアデータ再生部
２８１１ 特徴情報読取部
３０００ 遠隔操作装置
３００１，３０１１ 通信部
３１０１ テレビジョン

Claims (31)

  1. 時系列に再生可能な音声データまたは画像データを含むメディアデータを記憶するメディアデータ記憶手段と、
    前記記憶手段に記憶されたメディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段と、
    前記記憶手段に記憶されたメディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、時系列順に前記再生制御表示手段に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する再生制御手段と、
    前記再生制御手段によって移動された再生位置から前記メディアデータを再生する再生手段と、を備え、
    前記再生制御手段は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、前記メディアデータ記憶手段から再生位置における時刻を読み出し、読み出した前記時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動することを特徴とするメディアデータ再生装置。
  2. 前記再生制御手段は、前記時刻図形情報を、前記再生制御表示手段に２次元表示することを特徴とする請求項１に記載のメディアデータ再生装置。
  3. 前記再生制御手段は、さらに、前記メディアデータの現在の再生位置の再生時刻を間に含む開始時刻と終了時刻が割り当てられている前記時刻図形情報に関連付けた現在位置図形情報を前記再生制御表示手段に表示することを特徴とする請求項１または２に記載のメディアデータ再生装置。
  4. 前記再生制御手段は、さらに、前記再生制御表示手段に、利用者に前記時刻図形情報の表示範囲を指定させるための移動可能なスクロール手段を表示し、表示された前記スクロール手段が移動された場合に、前記スクロール手段が移動された位置に時刻図形情報の表示範囲を移動することを特徴とする請求項１〜３のいずれか一つに記載のメディアデータ再生装置。
  5. 前記再生制御手段は、さらに、前記メディアデータの任意の位置の再生時刻における特徴を表示する特徴図形情報を、前記再生時刻を間に含む開始時刻と終了時刻が割り当てられている前記時刻図形情報に関連付けて前記再生制御表示手段に表示することを特徴とする請求項１〜４のいずれか一つに記載のメディアデータ再生装置。
  6. 前記記憶手段に記憶されたメディアデータから任意の位置の再生時刻における特徴を抽出する特徴抽出手段と、
    前記特徴抽出手段によって抽出された特徴の前記再生時刻を含む特徴情報を保存する特徴情報保存手段と、をさらに備え、
    前記再生制御手段は、さらに、前記特徴図形情報を、前記特徴情報保存手段に保存されている特徴情報の前記再生時刻に関連付けられた前記時刻図形情報と関連付けて前記再生制御表示手段に表示することを特徴とする請求項５に記載のメディアデータ再生装置。
  7. 前記特徴抽出手段は、前記メディアデータに含まれる音声データから任意の位置の再生時刻における前記音声データに関する特徴を抽出することを特徴とする請求項６に記載のメディアデータ再生装置。
  8. 前記特徴抽出手段は、前記特徴として音声が存在する時刻の区間である音声区間を検出する音声区間検出手段を備え、
    前記特徴情報保存手段は、前記音声区間検出手段によって検出された音声区間を前記特徴情報として記憶する音声区間保存手段を備え、
    前記再生制御手段は、前記音声が存在することを示す特徴図形情報を、前記音声区間保存手段に記憶された音声区間に相当する前記再生時刻と対応付けられた前記時刻図形情報に関連付けて前記再生制御表示手段に表示することを特徴とする請求項７に記載のメディアデータ再生装置。
  9. 前記再生制御手段は、前記音声区間保存手段に保存された音声区間に相当する前記再生時刻に対応する前記時刻図形情報と、前記音声が存在しない時刻の区間である無音声区間に相当する前記再生時刻に対応する前記時刻図形情報とを、前記音声区間から前記無音声区間へ変化する際、あるいは前記無音声区間から前記音声区間に変化する際に前記音声区間と前記無音声区間との間で変化する位置で改行して前記再生制御表示手段に表示することを特徴とする請求項８に記載のメディアデータ再生装置。
  10. 前記再生制御手段は、前記音声区間検出手段によって検出された音声区間に相当する前記再生時刻に対応した前記時刻図形情報のみを、前記再生制御表示手段に表示し、前記音声区間が変化する位置で改行して前記時刻図形情報のみを表示することを特徴とする請求項８に記載のメディアデータ再生装置。
  11. 前記特徴抽出手段は、前記メディアデータに含まれる音声データから音声を発している話者を識別する話者識別手段をさらに備え、
    前記特徴情報保存手段は、前記話者識別手段によって識別された話者の識別情報と前記音声区間とを対応づけた話者情報を前記特徴情報として記憶する話者情報保存手段を備え、
    前記再生制御手段は、前記話者情報保存手段に記憶された話者情報の特徴を示す特徴図形情報を、前記話者情報の前記音声区間に相当する前記再生時刻と対応付けられた前記時刻図形情報に関連付けて前記再生制御表示手段に表示することを特徴とする請求項８〜１０のいずれか一つに記載のメディアデータ再生装置。
  12. 前記特徴抽出手段は、前記音声の内容をテキストに変換するテキスト変換手段をさらに備え、
    前記特徴情報保存手段は、前記テキスト変換手段によって変換されたテキストと前記音声区間とを対応づけたテキスト情報を前記特徴情報として記憶するテキスト情報保存手段を備え、
    前記再生制御手段は、前記テキスト情報保存手段に記憶されたテキスト情報の特徴を示す特徴図形情報を、前記テキスト情報の前記音声区間に相当する再生時刻と対応付けられた前記時刻図形情報に関連付けて前記再生制御表示手段に表示させることを特徴とする請求項８〜１１のいずれか一つに記載のメディアデータ再生装置。
  13. 前記特徴抽出手段は、画像データを含むメディアデータから任意の位置の再生時刻における画像データに関する特徴を抽出することを特徴とする請求項６〜１２のいずれか一つに記載のメディアデータ再生装置。
  14. 前記特徴抽出手段は、前記画像データに含まれる人物の顔画像を識別する顔認識手段をさらに備え、
    前記特徴情報保存手段は、前記顔認識手段によって識別された前記顔画像の識別情報と前記顔画像が存在する区間である顔存在区間とを対応づけた顔情報を前記特徴情報として記憶する顔情報保存手段を備え、
    前記再生制御手段は、前記顔情報保存手段に記憶されている顔情報の顔の識別情報の特徴を示す特徴図形情報を、前記顔情報の前記顔存在区間に相当する再生時刻と対応付けられた前記時刻図形情報に関連付けて前記再生制御表示手段に表示することを特徴とする請求項１３に記載のメディアデータ再生装置。
  15. 前記特徴抽出手段は、前記画像データの場面が変化する時刻であるシーンチェンジ時刻を検出するシーンチェンジ認識手段をさらに備え、
    前記特徴情報保存手段は、前記シーンチェンジ認識手段によって検出されたシーンチェンジ時刻を前記特徴情報として記憶するシーンチェンジ情報保存手段を備え、
    前記再生制御手段は、場面の変化を示す特徴図形情報を、前記シーンチェンジ時刻に相当する前記再生時刻と対応付けられた前記時刻図形情報に関連付けて前記再生制御表示手段に表示することを特徴とする請求項１３または１４に記載のメディアデータ再生装置。
  16. 前記再生制御手段は、さらに、前記特徴図形情報または前記制御図形情報を前記時刻図形情報の表示領域に表示できない場合に、補助領域を前記時刻図形情報に関連付けて表示し、前記補助領域に前記特徴図形情報または前記制御図形情報を表示することを特徴とする請求項５〜１５のいずれか一つに記載のメディアデータ再生装置。
  17. 時系列に再生可能な音声データまたは画像データを含むメディアデータをリアルタイムに逐次取得するメディアデータ取得手段と、
    前記メディアデータ取得手段によって取得したメディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段と、
    前記メディアデータ取得手段によって取得したメディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、時系列順に前記再生制御表示手段に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する再生制御手段と、
    前記再生制御手段によって移動された再生位置から前記メディアデータを再生する再生手段と、を備え、
    前記再生制御手段は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、再生位置における時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動することを特徴とするメディアデータ再生装置。
  18. 前記メディアデータ取得手段は、記録中の前記メディアデータを、記録された時点でリアルタイムに逐次取得することを特徴とする請求項１７に記載のメディアデータ再生装置。
  19. 前記メディアデータ取得手段は、ネットワークに接続されたメディアデータ配信装置からストリーミング配信される前記メディアデータを逐次受信して取得することを特徴とする請求項１７に記載のメディアデータ再生装置。
  20. 前記再生制御手段は、さらに、前記メディアデータ取得手段によって取得した前記メディアデータの任意の位置の再生時刻における特徴を表示する特徴図形情報を、前記再生時刻と対応付けられた前記時刻図形情報に関連付けて前記再生制御表示手段に表示することを特徴とする請求項１７〜１９のいずれか一つに記載のメディアデータ再生装置。
  21. 前記メディアデータ取得手段によって取得したメディアデータから任意の位置の再生時刻における特徴を抽出する特徴抽出手段と、
    前記特徴抽出手段によって抽出された特徴の前記再生時刻を含む特徴情報を保存する特徴情報保存手段と、を更に備え、
    前記再生制御手段は、さらに、前記特徴図形情報を、前記特徴情報保存手段に保存されている特徴情報の前記再生時刻に関連付けられた前記時刻図形情報と関連付けて前記再生制御表示手段に表示することを特徴とする請求項２０に記載のメディアデータ再生装置。
  22. 時系列に再生可能な音声データまたは画像データを含むメディアデータと、前記メディアデータと前記メディアデータの任意の位置の再生時刻における特徴および特徴の前記再生時刻を含む特徴情報を記述したメタデータとを記憶するメディアデータ記憶手段と、
    前記記憶手段に記憶されたメディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段と、
    前記記憶手段に記憶されたメタデータから前記メディアデータの再生時刻に対応する特徴情報を取得する特徴情報読み取り手段と、
    前記記憶手段に記憶されたメディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を時系列順に前記再生制御表示手段に表示するとともに、前記特徴情報読み取り手段によって取得した前記特徴情報を、前記特徴情報の前記再生時刻に関連付けられた前記時刻図形情報と関連付けて前記再生制御表示手段に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する再生制御手段と、
    前記再生制御手段によって移動された再生位置から前記メディアデータを再生する再生手段と、を備え、
    前記再生制御手段は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、前記メディアデータ記憶手段から再生位置における時刻を読み出し、読み出した前記時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動することを特徴とするメディアデータ再生装置。
  23. 時系列に再生可能な音声データまたは画像データを含むメディアデータを再生するメディアデータ再生装置と、前記メディアデータ再生装置とネットワークで接続され、前記メディアデータの再生制御を操作する遠隔操作装置とを備えたメディアデータ再生システムであって、
    前記遠隔操作装置は、
    前記メディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段と、
    前記メディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、時系列順に前記再生制御表示手段に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する旨の再生制御指示情報を生成する再生制御手段と、
    前記再生制御手段によって生成された再生制御指示情報を前記メディアデータ再生装置に送信する再生制御送信手段と、を備え、
    前記再生制御手段は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、再生位置における時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動する旨の前記再生制御指示情報を生成し、
    前記メディアデータ再生装置は、
    前記遠隔操作装置から前記再生制御指示情報を受信する再生制御受信手段と、
    前記再生制御受信手段によって受信した前記再生制御指示情報で指示された前記再生時刻の位置から前記メディアデータを再生する再生手段と、
    を備えたことを特徴とするメディアデータ再生システム。
  24. 前記メディアデータ再生装置は、
    前記メディアデータを記憶するメディアデータ記憶手段を更に備え、
    前記再生手段は、前記再生制御受信手段によって受信した前記再生制御指示情報で指示された前記再生時刻の位置から前記メディアデータ記憶手段に記憶された前記メディアデータを再生することを特徴とする請求項２３に記載のメディアデータ再生システム。
  25. 前記遠隔操作装置の前記再生制御手段は、さらに、前記メディアデータの任意の位置の再生時刻における特徴を表示する特徴図形情報を、前記再生時刻と対応付けられた前記時刻図形情報に関連付けて前記再生制御表示手段に表示することを特徴とする請求項２３または２４に記載のメディアデータ再生システム。
  26. 前記メディアデータ再生装置は、
    前記記憶手段に記憶されたメディアデータから任意の位置の再生時刻における特徴を抽出する特徴抽出手段と、
    前記特徴抽出手段によって抽出された特徴の前記再生時刻を含む特徴情報を保存する特徴情報保存手段と、を更に備え、
    前記遠隔操作装置は、
    前記メディアデータ再生装置から前記特徴情報保存手段に保存された前記特徴情報を受信する受信手段を更に備え、
    前記再生制御手段は、
    前記特徴図形情報を、前記受信手段によって受信した前記特徴情報の前記再生時刻に関連付けられた前記時刻図形情報と関連付けて前記再生制御表示手段に表示することを特徴とする請求項２５に記載のメディアデータ再生システム。
  27. 時系列に再生可能な音声データまたは画像データを含むメディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、メディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段に時系列順に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する再生制御手順と、
    前記再生制御手順によって移動された再生位置から前記メディアデータを再生する再生手順と、をコンピュータに実行させるためのメディアデータ再生プログラムであって、
    前記再生制御手順は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、再生位置における時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動することを特徴とするメディアデータ再生プログラム。
  28. 時系列に再生可能な音声データまたは画像データを含むメディアデータをリアルタイムに逐次取得するメディアデータ取得手順と、
    前記メディアデータ取得手順によって取得したメディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、前記メディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段に時系列順に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する再生制御手順と、
    前記再生制御手順によって移動された再生位置から前記メディアデータを再生する再生手順と、をコンピュータに実行させるためのメディアデータ再生プログラムであって、
    前記再生制御手順は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、再生位置における時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動することを特徴とするメディアデータ再生プログラム。
  29. メディアデータ記憶手段に記憶され、時系列に再生可能な音声データまたは画像データを含むメディアデータの任意の位置の再生時刻における特徴および特徴の前記再生時刻を含む特徴情報を記述したメタデータから前記メディアデータの再生時刻に対応する特徴情報を取得する特徴情報読み取り手順と、
    前記メディアデータ記憶手段に記憶された前記メディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、メディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段に時系列順に表示するとともに、前記特徴情報読み取り手段によって取得した前記特徴情報を、前記特徴情報の前記再生時刻に関連付けられた前記時刻図形情報と関連付けて前記再生制御表示手段に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する再生制御手順と、
    前記再生制御手順によって移動された再生位置から前記メディアデータを再生する再生手順と、をコンピュータに実行させるためのメディアデータ再生プログラムであって、
    前記再生制御手順は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、前記メディアデータ記憶手段から再生位置における時刻を読み出し、読み出した前記時刻と関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動することを特徴とするメディアデータ再生プログラム。
  30. 時系列に再生可能な音声データまたは画像データを含むメディアデータを再生するメディアデータ再生装置で再生される前記メディアデータの再生制御を遠隔操作することをコンピュータに実行させるための遠隔操作プログラムであって、
    前記メディアデータの任意の位置における再生時刻に対応付けられ、利用者が前記メディアデータの再生位置を選択可能な一または複数の時刻図形情報を、メディアデータの再生制御に関する情報を利用者に指定可能に表示する再生制御表示手段に時系列順に表示し、表示された前記時刻図形情報の中から利用者によって設定された前記時刻図形情報に対応した再生時刻の位置に再生位置を移動する旨の再生制御指示情報を生成する再生制御手順と、
    前記再生制御手順によって生成された再生制御指示情報を前記メディアデータ再生装置に送信する再生制御送信手順と、をコンピュータに実行させ、
    前記再生制御手順は、さらに、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を前記再生制御表示手段に表示し、再生位置における時刻に関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動する旨の前記再生制御指示情報を生成することを特徴とする遠隔操作プログラム。
  31. ネットワークに接続された遠隔操作装置からの指示によって時系列に再生可能な音声データまたは画像データを含むメディアデータの再生制御および再生をコンピュータに実行させるためのメディアデータ再生プログラムであって、
    前記遠隔操作装置は、前記メディアデータの再生制御に関する指示を行わせるための制御図形情報を再生制御表示手段に表示し、再生位置における時刻に関連付けられる前記制御図形情報に対応した再生制御を前記メディアデータに対して行い、前記制御図形情報が移動先の位置の指定を含む場合に、前記制御図形情報で指定された移動先の位置に再生位置を移動する旨の再生制御指示情報を生成して、生成された前記再生制御指示情報を送信し、
    前記遠隔操作装置から前記再生制御指示情報を受信する再生制御受信手順と、
    前記再生制御受信手順によって受信した前記再生制御指示情報で指示された再生時刻の位置から前記メディアデータを再生する再生手順と、
    をコンピュータに実行させるためのメディアデータ再生プログラム。
JP2004149505A 2004-05-19 2004-05-19 メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム Expired - Fee Related JP4230959B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004149505A JP4230959B2 (ja) 2004-05-19 2004-05-19 メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム
US11/129,381 US20050259959A1 (en) 2004-05-19 2005-05-16 Media data play apparatus and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004149505A JP4230959B2 (ja) 2004-05-19 2004-05-19 メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム

Publications (2)

Publication Number Publication Date
JP2005333381A JP2005333381A (ja) 2005-12-02
JP4230959B2 true JP4230959B2 (ja) 2009-02-25

Family

ID=35375253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004149505A Expired - Fee Related JP4230959B2 (ja) 2004-05-19 2004-05-19 メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム

Country Status (2)

Country Link
US (1) US20050259959A1 (ja)
JP (1) JP4230959B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311462A (ja) * 2005-05-02 2006-11-09 Toshiba Corp コンテンツ検索装置及びその方法
JP4618166B2 (ja) * 2006-03-07 2011-01-26 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP4725377B2 (ja) * 2006-03-15 2011-07-13 オムロン株式会社 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
JP2008017042A (ja) 2006-07-04 2008-01-24 Sony Corp 情報処理装置および方法、並びにプログラム
JP2008078713A (ja) 2006-09-19 2008-04-03 Sony Corp 記録装置および方法、プログラム、並びに再生装置および方法
US8522301B2 (en) 2007-02-26 2013-08-27 Sony Computer Entertainment America Llc System and method for varying content according to a playback control record that defines an overlay
US20100082727A1 (en) * 2007-02-26 2010-04-01 Sony Computer Entertainment America Inc. Social network-driven media player system and method
US9183753B2 (en) * 2007-02-26 2015-11-10 Sony Computer Entertainment America Llc Variation and control of sensory work playback
US9083938B2 (en) 2007-02-26 2015-07-14 Sony Computer Entertainment America Llc Media player with networked playback control and advertisement insertion
JP2008283486A (ja) * 2007-05-10 2008-11-20 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP4999589B2 (ja) * 2007-07-25 2012-08-15 キヤノン株式会社 画像処理装置及び方法
JP2009076982A (ja) * 2007-09-18 2009-04-09 Toshiba Corp 電子機器および顔画像表示方法
JP2009081699A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 電子機器および顔画像抽出制御方法
JP2009089065A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 電子機器および顔画像表示装置
KR100827846B1 (ko) * 2007-10-18 2008-05-07 (주)올라웍스 동영상에 포함된 특정 인물을 검색하여 원하는 시점부터재생하기 위한 방법 및 시스템
JP2009296274A (ja) * 2008-06-04 2009-12-17 Toshiba Corp 映像音声信号処理装置
WO2009157707A2 (en) * 2008-06-24 2009-12-30 Samsung Electronics Co,. Ltd. Image processing method and apparatus
US20090317062A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Ltd. Image processing method and apparatus
US20090315980A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Image processing method and apparatus
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
JP5528008B2 (ja) * 2008-07-17 2014-06-25 キヤノン株式会社 再生装置及び再生方法
JP5232291B2 (ja) * 2011-12-22 2013-07-10 株式会社東芝 電子機器および顔画像表示方法
JP5930709B2 (ja) * 2011-12-27 2016-06-08 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
JP5910379B2 (ja) * 2012-07-12 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法、表示制御装置および表示制御方法
WO2014143534A1 (en) * 2013-03-14 2014-09-18 Motorola Mobility Llc Device for real-time recording of audio for insertion in photographic images
US20160014482A1 (en) * 2014-07-14 2016-01-14 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Generating Video Summary Sequences From One or More Video Segments
CN107657471B (zh) * 2016-09-22 2021-04-30 腾讯科技（北京）有限公司 一种虚拟资源的展示方法、客户端及插件
CN110326302A (zh) * 2017-02-28 2019-10-11 索尼公司 信息处理设备、信息处理方法以及程序

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH056195A (ja) * 1991-06-27 1993-01-14 Nec Corp 会話状況表示装置
US5339393A (en) * 1993-04-15 1994-08-16 Sony Electronics, Inc. Graphical user interface for displaying available source material for editing
JP3564747B2 (ja) * 1994-08-19 2004-09-15 ソニー株式会社 データ受信装置
JPH11203835A (ja) * 1998-01-16 1999-07-30 Sony Corp 編集装置および方法、並びに提供媒体
JP2001155468A (ja) * 1999-11-29 2001-06-08 Hitachi Kokusai Electric Inc 動画像編集方法及び動画像編集を実行するプログラムを記録した機械読み取り可能な記録媒体
JP3942792B2 (ja) * 2000-03-28 2007-07-11 パイオニア株式会社 映像編集方法及び装置、並びにそのための記憶媒体
JP4364469B2 (ja) * 2000-12-05 2009-11-18 パナソニック株式会社 記録再生装置及び記録媒体
GB0029861D0 (en) * 2000-12-07 2001-01-24 Sony Uk Ltd Replaying video information
US20040039934A1 (en) * 2000-12-19 2004-02-26 Land Michael Z. System and method for multimedia authoring and playback
JP3743321B2 (ja) * 2001-07-27 2006-02-08 ヤマハ株式会社 データ編集方法、情報処理装置、サーバ、データ編集プログラムおよび記録媒体
US8635531B2 (en) * 2002-02-21 2014-01-21 Ricoh Company, Ltd. Techniques for displaying information stored in multiple multimedia documents
JP2003224807A (ja) * 2002-01-28 2003-08-08 Telecommunication Advancement Organization Of Japan 字幕番組編集支援システムおよび半自動型字幕番組制作システム
JP3617975B2 (ja) * 2002-04-17 2005-02-09 株式会社東芝 デジタル情報媒体、デジタル情報記録方法およびデジタル情報再生方法
JP2004005344A (ja) * 2002-04-26 2004-01-08 Sharp Corp インデックス管理方法、インデックス表示方法、記録再生装置、および記録媒体

Also Published As

Publication number Publication date
US20050259959A1 (en) 2005-11-24
JP2005333381A (ja) 2005-12-02

Similar Documents

Publication Publication Date Title
JP4230959B2 (ja) メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム
US20090150147A1 (en) Recording audio metadata for stored images
JP2008217444A (ja) 利用者と対話する装置、方法およびプログラム
JP4261317B2 (ja) ショートフィルム生成再生装置およびその方法
US11496806B2 (en) Content providing server, content providing terminal, and content providing method
JP2011107808A (ja) コンテンツ推薦装置、コンテンツ推薦方法、及びコンテンツ推薦プログラム
JP2017129720A (ja) 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
JP2007066018A (ja) 情報処理方法及び情報処理装置
WO2020255767A1 (ja) 情報処理システム、情報処理方法、及び記録媒体
JP2005094713A (ja) データ表示システム、データ表示方法、プログラムおよび記録媒体
KR20220037819A (ko) 복수의 기동어를 인식하는 인공 지능 장치 및 그 방법
JP5522369B2 (ja) 会議記録要約システム、会議記録要約方法及びプログラム
JP2014107641A (ja) 情報処理装置および方法、並びにプログラム
JP6276570B2 (ja) 画像音声再生システム及び画像音声再生方法とプログラム
JP6678315B2 (ja) 音声再生方法、音声対話装置及び音声対話プログラム
JP6602423B2 (ja) コンテンツ提供サーバ、コンテンツ提供端末及びコンテンツ提供方法
WO2014203870A1 (ja) 演奏システム、演奏方法及び演奏プログラム
JP2006091680A (ja) 移動体通信端末、および、プログラム
JP5146258B2 (ja) 情報処理装置、情報処理システム、およびプログラム
JP7077585B2 (ja) 情報処理システム、情報処理装置およびプログラム
US20210089781A1 (en) Systems and methods for displaying subjects of a video portion of content and displaying autocomplete suggestions for a search related to a subject of the video portion
US20210089268A1 (en) Systems and methods for displaying subjects of an audio portion of content and displaying autocomplete suggestions for a search related to a subject of the audio portion
JP2007288539A (ja) 会議システム及び会議方法
US20210089577A1 (en) Systems and methods for displaying subjects of a portion of content and displaying autocomplete suggestions for a search related to a subject of the content
JP4780128B2 (ja) スライド再生装置、スライド再生システム、およびスライド再生プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees