JP4957960B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP4957960B2
JP4957960B2 JP2007017458A JP2007017458A JP4957960B2 JP 4957960 B2 JP4957960 B2 JP 4957960B2 JP 2007017458 A JP2007017458 A JP 2007017458A JP 2007017458 A JP2007017458 A JP 2007017458A JP 4957960 B2 JP4957960 B2 JP 4957960B2
Authority
JP
Japan
Prior art keywords
feature amount
processing
image data
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007017458A
Other languages
English (en)
Other versions
JP2008187324A (ja
Inventor
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007017458A priority Critical patent/JP4957960B2/ja
Priority to US11/966,326 priority patent/US8036470B2/en
Priority to KR20080008412A priority patent/KR20080071084A/ko
Priority to EP20080100982 priority patent/EP1950762A1/en
Priority to CN2008100049224A priority patent/CN101237551B/zh
Publication of JP2008187324A publication Critical patent/JP2008187324A/ja
Application granted granted Critical
Publication of JP4957960B2 publication Critical patent/JP4957960B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、画像の編集作業の容易化を図ることができるようにする画像処理装置、画像処理方法、及びプログラムに関する。
画像を編集する方法としては、リニア編集とノンリニア編集とがある。
リニア編集では、いわゆる素材データとしての画像データに、ユーザの操作に応じた処理が施され、その処理の結果得られる画像データである処理後画像データが記録媒体に記録される。そして、再生時には、記録媒体に記録された処理後画像データが再生されて出力される。
一方、ノンリニア編集では、ランダムアクセス可能な、例えば、ディスク状の記録媒体（ディスク状記録媒体）に、素材データとしての画像データが記録され、ユーザによる編集の操作（編集操作）に応じて画像に施すべき処理を直接的、又は間接的に表す情報、すなわち、例えば、画像に施すべき処理、又はユーザによる編集操作等を表す処理情報（パラメータ）が記録される。そして、再生時には、ディスク状記録媒体から素材データとしての画像データが再生され、処理情報が表す処理が、素材データとしての画像データに施されて出力される。
例えば、特許文献１には、ユーザによるパン操作、チルト操作、ズーム操作等の編集操作に応じて、広角の画像から抽出する領域を表すパラメータを記録し、再生時には、広角の画像から、パラメータが表す領域を抽出して出力することが記載されている。
特開2006-270187号公報
ところで、リニア編集、及びノンリニア編集のいずれであっても、編集を行うには、ユーザは、素材データ等の編集の対象とする画像データを再生し、その画像データに対応する画像を表示装置に表示して、ズーム等の処理を施すフレームを探し出す必要がある。
しかしながら、編集の対象とする画像データに対応する画像そのものを見て、ズーム等の処理を施すフレームを探し出すのは、面倒である。
すなわち、例えば、動きの激しい被写体のズームアップをする編集を行う場合には、ユーザは、表示装置に表示された画像を注意深く観察して、まず、動いている被写体が存在するかどうかを確認し、動いている被写体の存在の確認後に、その被写体の動きが激しいかどうかを確認しなければならない。
ここで、上述のように、動きの激しい被写体のズームアップをする編集を行う場合には、一見して、動いている被写体が存在するかどうかの確認をすることができれば、ユーザによる編集の作業（編集作業）の容易化を図ることができる。
また、従来のノンリニア編集では、処理情報が、フレームのタイムコードと対応付けられて記録され、再生時には、処理情報が表す処理が、その処理情報と対応付けられているタイムコードのフレームに施される。したがって、従来のノンリニア編集には、タイムコードが必要であるが、タイムコードがなくても、ノンリニア編集を行うことができれば便利である。
本発明は、このような状況に鑑みてなされたものであり、編集作業の容易化を図ることができるようにするものであり、併せて、タイムコードがなくても、ノンリニア編集を行うことができるようにするものである。
本発明の第１の側面の画像処理装置、又は、プログラムは、画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出手段と、前記圧縮特徴量を表示させる表示制御手段と、画像データから、画像データを特定しうる情報である処理特徴量を抽出する処理特徴量抽出手段と、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、前記処理情報を、その処理情報が表す処理を施す画像データの処理特徴量と対応付けて記録媒体に記録する記録手段と、前記記録媒体に記録された処理特徴量から、前記処理特徴量抽出手段により抽出された処理特徴量と一致する値の処理特徴量である一致特徴量を検出する一致特徴量検出手段と、前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する処理特徴量が抽出された画像データに施す処理反映手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
本発明の第１の側面の画像処理方法は、画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出ステップと、前記圧縮特徴量を表示させる表示制御ステップと、画像データから、画像データを特定しうる情報である処理特徴量を抽出する処理特徴量抽出ステップと、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定ステップと、前記処理情報を、その処理情報が表す処理を施す画像データの処理特徴量と対応付けて記録媒体に記録する記録ステップと、前記記録媒体に記録された処理特徴量から、前記処理特徴量抽出ステップにより抽出された処理特徴量と一致する値の処理特徴量である一致特徴量を検出する一致特徴量検出ステップと、前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する処理特徴量が抽出された画像データに施す処理反映ステップとを含む画像処理方法である。
以上のような第１の側面においては、画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量が抽出されて表示されるとともに、画像データから、画像データを特定しうる情報である処理特徴量が抽出される。また、画像データに施す処理が決定され、その処理を表す処理情報が、その処理情報が表す処理を施す画像データの処理特徴量と対応付けて記録媒体に記録される。そして、前記記録媒体に記録された処理特徴量から、画像データから抽出された処理特徴量と一致する値の処理特徴量である一致特徴量が検出され、前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理が、前記一致特徴量と値が一致する処理特徴量が抽出された画像データに施される。
本発明の第２の側面の画像処理装置、又は、プログラムは、画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出手段と、前記圧縮特徴量を表示させる表示制御手段と、ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、前記処理情報を、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録する記録手段と、前記記録媒体に記録された圧縮特徴量から、前記圧縮特徴量抽出手段により抽出された圧縮特徴量と一致する値の圧縮特徴量である一致特徴量を検出する一致特徴量検出手段と、前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する圧縮特徴量が抽出された画像データに施す処理反映手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
本発明の第２の側面の画像処理方法は、画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出ステップと、前記圧縮特徴量を表示させる表示制御ステップと、ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定ステップと、前記処理情報を、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録する記録ステップと、前記記録媒体に記録された圧縮特徴量から、前記圧縮特徴量抽出ステップにより抽出された圧縮特徴量と一致する値の圧縮特徴量である一致特徴量を検出する一致特徴量検出ステップと、前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する圧縮特徴量が抽出された画像データに施す処理反映ステップとを含む画像処理方法である。
以上のような第２の側面においては、画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量が抽出され、前記圧縮特徴量が表示される。一方、ユーザによって操作される操作手段の操作に従って、画像データに施す処理が決定されて、その処理を表す処理情報が出力される。そして、前記処理情報が、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録される。また、前記記録媒体に記録された圧縮特徴量から、画像データから抽出された圧縮特徴量と一致する値の圧縮特徴量である一致特徴量が検出され、前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理が、前記一致特徴量と値が一致する圧縮特徴量が抽出された画像データに施される。
なお、プログラムは、伝送媒体を介して伝送することにより、又は記録媒体に記録して、配布することができる。
本発明の第１及び第２の側面によれば、編集を行うことができる。特に、例えば、編集作業の容易化を図ることができ、併せて、タイムコードがなくても、ノンリニア編集を行うことができる。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用した画像処理システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない）の一実施の形態の構成例を示している。
図１において、画像処理システムは、記録メディア１１、画像再生装置１２、画像処理装置１３、リモートコマンダ１４、及び表示装置１５等から構成されている。
記録メディア１１は、例えば、動画像等のコンテンツが記録されているDVD（Digital Versatile Disc）やHD(Hard Disk)等のディスク状の記録媒体、磁気テープ等のテープ状の記録媒体、又は、フラッシュメモリ等の不揮発性の半導体メモリ（記録媒体）であり、画像再生装置１２に対して着脱可能となっている。
画像再生装置１２は、例えば、DVDや、磁気テープ、フラッシュメモリ等の記録メディア１１を駆動するドライブであり、画像処理装置１３やリモートコマンダ１４からの指示に従い、記録メディア１１から、そこに記録されている画像データを再生して、画像処理装置１３に供給する。
なお、画像再生装置１２としては、記録メディア１１から画像データを再生する再生機能の他、記録メディア１１に画像データを記録する記録機能をも有する装置を採用することができる。画像再生装置１２として、再生機能と記録機能の両方を有する装置を採用する場合には、記録メディア１１は、画像再生装置１２に着脱可能な記録媒体とする他、画像再生装置１２に内蔵させることができる。
また、画像再生装置１２としては、例えば、記録メディア１１が、インターネット上のサイトのストレージである場合に、そのストレージとしての記録メディア１１から画像データをダウンロードする通信機能を有する装置が含まれる。
画像処理装置１３は、リモートコマンダ１４からの指示等に従い、画像再生装置１２から供給される画像データを処理する。また、画像処理装置１３は、表示装置１５に表示させる画像に対応する画像データ（以下、適宜、表示データという）を、表示装置１５に供給する。
リモートコマンダ１４は、ユーザによって操作され、その操作に対応する操作信号を、赤外線等の無線で、画像再生装置１２や画像処理装置１３に送信する。
表示装置１５は、液晶パネルやCRT(Cathode Ray Tube)等で構成され、画像処理装置１３から供給される表示データに従い、その表示データに対応する画像を表示する。
以上のように構成される画像処理システムでは、画像再生装置１２が、例えば、リモートコマンダ１４からの指示に従い、記録メディア１１から画像データを再生し、画像処理装置１３に供給する。
画像処理装置１３は、画像再生装置１２からの画像データから、特徴量を抽出し、画像再生装置１２からの画像データ、又は、特徴量を、表示データとして、表示装置１５に供給して表示させる。
一方、ユーザが、例えば、ズーム、パン、チルトなどを指示するように、リモートコマンダ１４を編集操作すると、リモートコマンダ１４は、編集操作に対応する操作信号を、画像処理装置１３に送信する。
画像処理装置１３は、リモートコマンダ１４から編集操作に対応する操作信号が送信されてくると、その操作信号に応じて、画像再生装置１２からの画像データに施すべき処理（以下、適宜、編集処理という）を決定し、その編集処理を表す情報である処理情報を、その処理情報が表す編集処理を施す画像データの特徴量と対応付けて記録する。
以上のように、画像処理装置１３において、処理情報が特徴量と対応付けられて記録された後、再度、画像再生装置１２が、リモートコマンダ１４からの指示等に従い、記録メディア１１から画像データを再生し、画像処理装置１３に供給すると、画像処理装置１３では、画像再生装置１２からの画像データから、特徴量が抽出される。
さらに、画像処理装置１３は、処理情報と対応付けられて記録された特徴量の中から、画像データから抽出された特徴量と値が一致する特徴量を検出し、その特徴量に対応付けられている処理情報が表す編集処理を、画像再生装置１２からの画像データに施す。そして、画像処理装置１３は、編集処理が施された画像データを、表示データとして、表示装置１５に供給して表示させる。
以上のように、画像処理装置１３において、記録メディア１１に記録された画像データに施す編集処理を表す処理情報が記録された後は、その編集処理が施された後の画像データ（以下、適宜、編集後画像データという）を記録せずに、その編集後画像データを繰り返し再生することができる。
したがって、記録メディア１１に記録された画像データを対象としたノンリニア編集を、タイムコードなしで行うことができる。
また、記録メディア１１に記録されている画像データが、ノーモアコピー(No More Copy)などの、コピーが制限されているコンテンツであっても、その画像データに同一の編集処理を施した編集後画像データを繰り返し再生することができる。
ここで、記録メディア１１に記録された画像データそのものに対応する画像、及び、その画像データに編集処理が施された後の編集後画像データに対応する画像を、以下、適宜、コンテンツ画像という。
図２は、図１の画像処理装置１３の第１の構成例を示すブロック図である。
図２においては、画像処理装置１３は、特徴量抽出部４１、一致特徴量検出部４２、制御部４３、受光部４４、処理情報決定部４６、選択部４７、遅延部４８、処理反映部４９、記録部６１、記録媒体６２、及び読み出し部６３から構成される。
特徴量抽出部４１には、画像再生装置１２からの画像データが供給される。特徴量抽出部４１は、画像再生装置１２より順次供給されてくる画像データの各フレーム（又はフィールド）から、所定の特徴量を抽出し、その特徴量をフレーム単位で、一致特徴量検出部４２、及び記録部６１に供給する。
ここで、特徴量抽出部４１において画像データから抽出する特徴量としては、記録メディア１１に記録されている画像データを、１フレーム単位で識別しうる情報を採用することができる。画像データを、１フレーム単位で識別することができる情報としては、例えば、画像データのフレームの、いわゆる有効画像領域の全体、又は一部の領域の画素の画素値の加算値（総和）や、その加算値の下位８ビットなどの一部のビット列等を採用することができる。
一致特徴量検出部４２は、記録媒体６２に記録されている特徴量から、特徴量抽出部４１より供給される、画像再生装置１２により再生された画像データの特徴量に一致する特徴量（以下、適宜、一致特徴量という）を検出する。そして、一致特徴量検出部４２は、一致特徴量を検出することができたとき、その一致特徴量を、記録部６１及び読み出し部６３に供給する。
制御部４３は、受光部４４から供給される操作信号にしたがい、必要に応じて、画像再生装置１２や、画像処理装置１３を構成する各ブロックを制御する。
受光部４４は、リモートコマンダ１４から送信されてくる操作信号としての赤外線を受光して光電変換し、その結果得られる電気信号としての操作信号を、制御部４３と処理情報決定部４６に供給する。
処理情報決定部４６は、受光部４４より供給されてくる操作信号に基づいて、画像再生装置１２から供給される画像データに施すべき編集処理を決定（認識）し、その編集処理を表す処理情報を、選択部４７及び記録部６１に供給する。
選択部４７には、処理情報決定部４６から処理情報が供給される他、読み出し部６３からも処理情報が供給される。選択部４７は、処理情報決定部４６より処理情報が供給されてきた場合には、その処理情報決定部４６からの処理情報を、処理反映部４９に供給する。また、選択部４７は、処理情報決定部４６より処理情報の供給がなく、読み出し部６３より処理情報が供給された場合、読み出し部６３より供給された処理情報を、処理反映部４９に供給する。なお、処理情報決定部４６及び読み出し部６３のいずれからも処理情報が供給されてこない場合、選択部４７は、処理情報を処理反映部４９に供給しない。
遅延部４８には、画像再生装置１２から、特徴量抽出部４１に供給されるのと同一の画像データが供給される。遅延部４８は、特徴量抽出部４１や、一致特徴量検出部４２、選択部４７、記録部６１、読み出し部６３が処理に要する時間に応じて、画像再生装置１２より供給される画像データを一時的に記憶することにより、必要な時間だけ遅延し、処理反映部４９に供給する。
処理反映部４９は、遅延部４８より供給される画像データに対して、選択部４７より供給される処理情報が表す編集処理を施し、その編集処理の結果得られる編集後画像データを、表示データとして、表示装置１５に供給する。
なお、選択部４７から処理反映部４９に対して、処理情報が供給されない場合、処理反映部４９は、遅延部４８からの画像データを、そのまま、表示データとして、表示装置１５に供給する。
記録部６１は、特徴量抽出部４１より供給される特徴量を記録媒体６２に記録する。また、記録部６１は、処理情報決定部４６より供給される処理情報を、特徴量と対応付けて、記録媒体６２に記録する。
記録媒体６２は、例えば、ディスク状の記録媒体や半導体メモリ等であり、そこには、処理情報と特徴量が記録される。なお、記録媒体６２は、画像処理装置１３に内蔵させることもできるし、着脱可能にすることもできる。
読み出し部６３は、記録媒体６２において、一致特徴量検出部４２から供給される一致特徴量に対応付けられている処理情報を、記録媒体６２から読み出し、選択部４７に供給する。
次に、図３は、図２の一致特徴量検出部４２の構成例を示している。
図３においては、一致特徴量検出部４２は、３つの特徴量バッファ１０１−１ないし１０１−３、再生位置特徴量生成部１０２、比較部１０３、検索位置特徴量読み出し部１０４、及び検出部１０５から構成される。
一致特徴量検出部４２には、図２で説明したように、特徴量抽出部４１において、画像データから抽出された特徴量がフレーム単位で供給される。
特徴量バッファ１０１−１は、特徴量抽出部４１から供給される特徴量をラッチし、後段の特徴量バッファ１０１−２と、再生位置特徴量生成部１０２に供給する。特徴量バッファ１０１−２は、特徴量バッファ１０１−１から供給される特徴量をラッチし、後段の特徴量バッファ１０１−３と、再生位置特徴量生成部１０２に供給する。特徴量バッファ１０１−３は、特徴量バッファ１０１−２から供給される特徴量をラッチし、再生位置特徴量生成部１０２に供給する。
再生位置特徴量生成部１０２は、特徴量抽出部４１（図２）から、特徴量が供給されると、その特徴量と、特徴量バッファ１０１−１ないし１０１−３のそれぞれにラッチされている特徴量とを時間順に並べた、４フレーム分の特徴量のシーケンスを生成し、比較部１０３に供給する。
ここで、特徴量バッファ１０１−１ないし１０１−３は、特徴量抽出部４１（図２）から一致特徴量検出部４２に、新たなフレームの特徴量が供給されるタイミングでラッチを行う。したがって、特徴量抽出部４１から一致特徴量検出部４２に対して、例えば、第Nフレームの特徴量が供給されるとき、特徴量バッファ１０１−１には、第N-1フレームの特徴量が、特徴量バッファ１０１−２には、第N-2フレームの特徴量が、特徴量バッファ１０１−３には、第N-3フレームの特徴量が、それぞれラッチされており、再生位置特徴量生成部１０２では、第N-3フレームから第Nフレームまでの、連続する４フレームの特徴量のシーケンスが生成される。
なお、再生位置特徴量生成部１０２で生成される特徴量のシーケンスを、以下、適宜、再生位置特徴量という。
比較部１０３は、再生位置特徴量生成部１０２から供給される再生位置特徴量としての連続する４フレームの特徴量のシーケンスと、検索位置特徴量読み出し部１０４から供給される、後述する検索位置特徴量としての連続する４フレームの特徴量のシーケンスとを比較し、その比較結果を、検出部１０５に供給する。
検索位置特徴量読み出し部１０４は、記録媒体６２に記録された特徴量から、連続する４フレームの特徴量を、１フレーム分ずつずらしながら順次読み出す。また、検索位置特徴量読み出し部１０４は、記録媒体６２から読み出した、連続する４フレームの特徴量を時間順に並べた、４フレーム分の特徴量のシーケンスを生成し、検索位置特徴量として、比較部１０３及び検出部１０５に供給する。
検出部１０５は、比較部１０３からの比較結果に基づき、再生位置特徴量としての連続する４フレームの特徴量のシーケンスと、検索位置特徴量としての連続する４フレームの特徴量のシーケンスとが一致しているかどうかを判定（検出）し、一致している場合、検索位置特徴量読み出し部１０４からの検索位置特徴量を、記録部６１及び読み出し部６３（図２）に供給する。
ここで、検出部１０５が記録部６１及び読み出し部６３に供給する検索位置特徴量としての連続する４フレームの特徴量のシーケンスのうちの、例えば、最新のフレーム（時間的に最も後行するフレーム）の特徴量が、上述の一致特徴量である。
以上のように構成される一致特徴量検出部４２では、記録媒体６２に記録された特徴量から、特徴量抽出部４１により抽出された特徴量と一致する値の特徴量である一致特徴量を検出する一致特徴量検出処理が行われる。
図４を参照して、図３の一致特徴量検出部４２が行う一致特徴量検出処理について説明する。
一致特徴量検出部４２には、特徴量抽出部４１（図２）において、画像データから抽出された特徴量がフレーム単位で供給される。一致特徴量検出部４２では、特徴量抽出部４１からの特徴量が、再生位置特徴量生成部１０２に供給されるとともに、特徴量バッファ１０１−１ないし１０１−３において、順次ラッチされる。
再生位置特徴量生成部１０２は、特徴量抽出部４１からの特徴量と、特徴量バッファ１０１−１ないし１０１−３のそれぞれにラッチされている特徴量とを並べた、４フレーム分の特徴量のシーケンスを、再生位置特徴量G2として生成し、比較部１０３に供給する。
一方、検索位置特徴量読み出し部１０４は、記録媒体６２（図２）に記録された各フレームの特徴量のうちの、最初のフレームの特徴量から連続する４フレームの特徴量を読み出し、その４フレームの特徴量を並べた、４フレーム分の特徴量のシーケンスを、検索位置特徴量として生成して、比較部１０３及び検出部１０５に供給する。
比較部１０３では、再生位置特徴量生成部１０２からの再生位置特徴量としての連続する４フレームの特徴量のシーケンスと、検索位置特徴量読み出し部１０４からの検索位置特徴量G2としての連続する４フレームの特徴量のシーケンスとが比較され、その比較結果が、検出部１０５に供給される。
検出部１０５では、比較部１０３からの比較結果に基づき、再生位置特徴量G2としての連続する４フレームの特徴量のシーケンスと、検索位置特徴量としての連続する４フレームの特徴量のシーケンスとが一致しているかどうかを判定する。
再生位置特徴量と検索位置特徴量とが一致しない場合、検索位置特徴量読み出し部１０４は、記録媒体６２（図２）から前回読み出した検索位置特徴量としての連続する４フレームの特徴量から１フレーム分だけ未来の方向（時間的に後行する方向）にずれたフレームの特徴量を先頭として、連続する４フレームの特徴量を読み出し、その４フレームの特徴量を並べた、４フレーム分の特徴量のシーケンスを、新たな検索位置特徴量として生成して、比較部１０３及び検出部１０５に供給する。
比較部１０３では、再生位置特徴量生成部１０２からの再生位置特徴量G2と、検索位置特徴量読み出し部１０４からの新たな検索位置特徴量とが比較され、以下、同様の処理が繰り返される。
すなわち、例えば、図４に示すように、比較部１０３では、再生位置特徴量G2としての連続する４フレームの特徴量のシーケンスと、検索位置特徴量G0としての連続する４フレームの特徴量のシーケンスとが比較され、その比較結果が、検出部１０５に供給される。
再生位置特徴量G2と、検索位置特徴量G0とが一致しない場合、検索位置特徴量読み出し部１０４において、検索位置特徴量G0としての連続する４フレームの特徴量から１フレーム分だけ未来の方向にずれたフレームの特徴量を先頭とする、連続する４フレームの特徴量のシーケンスが、新たな検索位置特徴量G0'として生成される。さらに、比較部１０３において、新たな検索位置特徴量G0'と、再生位置特徴量G2とが比較され、以下、同様に、再生位置特徴量G2との比較が繰り返される。
そして、検索位置特徴量読み出し部１０４において新たに生成された検索位置特徴量G1と、再生位置特徴量G2とが一致する場合、その検索位置特徴量G1と、再生位置特徴量G2との比較結果が、比較部１０３から検出部１０５に供給されると、検出部１０５では、再生位置特徴量生成部１０２からの再生位置特徴量G2としての連続する４フレームの特徴量のシーケンスと、検索位置特徴量読み出し部１０４からの検索位置特徴量G1としての連続する４フレームの特徴量のシーケンスとが一致していると判定され、検索位置特徴量読み出し部１０４からの検索位置特徴量G1が、記録部６１及び読み出し部６３（図２）に供給される。
いま、画像再生装置１２（図２）において記録メディア１１から再生され、画像処理装置１３の特徴量抽出部４１と遅延部４８に供給された画像データのフレームを、注目フレームとすると、上述の処理により、注目フレームから特徴量抽出部４１で抽出された特徴量と値が一致する特徴量（一致特徴量）、すなわち、画像処理装置１３において、注目フレームが過去に処理されたときに注目フレームから抽出された特徴量を、記録媒体６２に記録された特徴量の中から検出することができる。
すなわち、再生位置特徴量と一致する検索位置特徴量としての連続する４フレームの特徴量のシーケンスの最後の特徴量が、注目フレームの特徴量と値が一致する一致特徴量、すなわち、画像処理装置１３において、注目フレームが過去に処理されたときに注目フレームから抽出された特徴量である。
なお、上述の場合には、再生位置特徴量及び検索位置特徴量を、連続する４フレームの特徴量のシーケンスとしたが、再生位置特徴量及び検索位置特徴量としては、その他、例えば、４フレーム以外の複数フレームだけ連続するフレームの特徴量のシーケンスや、例えば、１フレームおきなどの、連続しない複数のフレームの特徴量のシーケンスなどを採用することができる。
次に、図５及び図６のフローチャートを参照して、図２の画像処理装置１３の動作について説明する。
図２の画像処理装置１３では、記録メディア１１に記録された画像データの各フレームから特徴量を抽出して記録する特徴量記録処理や、記録メディア１１に記録された画像データの編集、及びその編集後の画像データ（編集後画像データ）の再生を行う編集／再生処理等が行われる。
ここで、画像処理装置１３の動作モードとしては、通常再生モードと、編集モードとがある。特徴量記録処理は、例えば、動作モードが通常再生モードのときに行われ、編集／再生処理は、例えば、動作モードが編集モードのときに行われる。
通常再生モードでは、リモートコマンダ１４が再生を行うように操作されると、画像処理装置１３は、画像再生装置１２から供給される画像データを、そのまま、表示データとして、表示装置１５に供給する。
また、編集モードでは、リモートコマンダ１４が編集操作されると、画像処理装置１３は、画像再生装置１２からの画像データに、編集操作に応じた編集処理を施し、その編集処理が施された後の編集後画像データを、表示データとして、表示装置１５に供給するとともに、編集操作に応じた編集処理を表す処理情報を、記録媒体６２に記録する。さらに、編集モードでは、画像再生装置１２からの画像データに対して、過去に記録媒体６２に記録された処理情報が表す編集処理を施し、その編集処理が施された後の編集後画像データを、表示データとして、表示装置１５に供給する。
なお、動作モードは、リモートコマンダ１４を操作することにより切り換えることができる。
まず、図５のフローチャートを参照して、図２の画像処理装置１３が行う特徴量記録処理について説明する。
例えば、ユーザが、記録メディア１１に記録された画像データの編集を行う前に、その画像データに対応する画像を確認して、編集の大まかな構想をたてようとする場合、ユーザは、動作モードを通常再生モードにして、再生を指示するように、リモートコマンダ１４を操作する。
この場合、リモートコマンダ１４は、ユーザによる再生の指示の操作に対応する操作信号を送信し、この操作信号は、受光部４４で受光され、制御部４３に供給される。制御部４３は、動作モードが通常再生モードである場合に、受光部４４から、再生の指示の操作に対応する操作信号が供給されると、ステップＳ１１において、画像再生装置１２に対して、再生を要求する再生コマンドを送信し、これにより、画像再生装置１２に、記録メディア１１に記録された画像データの再生を開始させる。
画像再生装置１２は、画像データの再生を開始すると、その画像データを、画像処理装置１３に供給し、画像処理装置１３では、画像再生装置１２からの画像データが、フレーム単位で、特徴量抽出部４１と遅延部４８に供給される。
そして、遅延部４８に供給された画像データは、処理反映部４９に供給され、処理反映部４９では、遅延部４８からの画像データが、そのまま、表示データとして、表示装置１５に供給される。これにより、表示装置１５では、記録メディア１１に記録された画像データそのものに対応する画像が表示され、ユーザは、この表示を見ることにより、記録メディア１１に記録された画像データに対応する画像を確認することができる。
その後、処理は、ステップＳ１１からステップＳ１２に進み、特徴量抽出部４１は、画像再生装置１２から供給される画像データのフレームから特徴量を抽出する特徴量抽出処理を行って、処理は、ステップＳ１３に進む。ここで、ステップＳ１２において、特徴量抽出部４１が特徴量抽出処理を行うことにより得られた特徴量は、記録部６１に供給される。
ステップＳ１３では、記録部６１は、特徴量抽出部４１から供給される特徴量を、記録媒体６２に記録して、処理は、ステップＳ１３からステップＳ１４に進む。
ここで、記録部６１による記録媒体６２への特徴量の記録は、その特徴量が抽出されたフレームの順番を維持するように行われる。すなわち、記録媒体６２に記録されたある特徴量が、記録メディア１１に記録された画像データの第Nフレームの特徴量であるとき、記録媒体６２への、第N+1フレーム（又は第N-1フレーム）の特徴量の記録は、その第N+1フレーム（又は第N-1フレーム）の特徴量が、既に記録されている第Nフレームの特徴量の１つ後（又は１つ前）のフレームの特徴量であることが分かるように行われる。
ステップＳ１４では、制御部４３が、記録メディア１１に記録された画像データの再生がすべて終了したかどうかを判定する。ステップＳ１４において、記録メディア１１に記録された画像データの再生が、まだ終了していないと判定された場合、即ち、画像再生装置１２において、画像データの再生が行われている場合、処理は、ステップＳ１２に戻り、画像再生装置１２から供給される画像データの次のフレームを対象に、以下、同様の処理が繰り返される。
また、ステップＳ１４において、記録メディア１１に記録された画像データの再生が、すべて終了したと判定された場合、即ち、画像再生装置１２において、画像データの再生が終了している場合、特徴量記録処理は終了する。
なお、記録媒体６２への特徴量の記録は、重複して行う必要はない。すなわち、例えば、過去に、特徴量記録処理が行われたことによって、記録メディア１１に記録された画像データの特徴量が、既に、記録媒体６２に記録されているときには、記録メディア１１に記録された画像データついては、再度、特徴量記録処理を行う必要はない。
次に、図６のフローチャートを参照して、図２の画像処理装置１３が行う編集／再生処理について説明する。
上述したように、通常再生モードにおいて、記録メディア１１に記録された画像データが再生され、これにより、ユーザが、記録メディア１１に記録された画像データに対応する画像を確認して、編集の大まかな構想をたてた後に、その画像データの編集を行う場合、ユーザは、動作モードを編集モードにして、再生を指示するように、リモートコマンダ１４を操作する。
この場合、リモートコマンダ１４は、ユーザによる再生の指示の操作に対応する操作信号を送信し、この操作信号は、受光部４４で受光され、制御部４３に供給される。制御部４３は、動作モードが編集モードである場合に、受光部４４から、再生の指示の操作に対応する操作信号が供給されると、画像再生装置１２に対して、再生を要求する再生コマンドを送信し、これにより、画像再生装置１２に、記録メディア１１に記録された画像データの再生を開始させる。
画像再生装置１２は、画像データの再生を開始すると、その画像データを、画像処理装置１３に供給し、画像処理装置１３では、画像再生装置１２からの画像データが、フレーム単位で、特徴量抽出部４１と遅延部４８に供給される。
そして、画像処理装置１３では、ステップＳ２１において、遅延部４８は、１フレームの画像データが画像再生装置１２より供給されてきたか否かを判定する。ステップＳ２１において、１フレームの画像データが供給されてきていないと判定された場合、処理は、ステップＳ３０に進む。
また、ステップＳ２１において、１フレームの画像データが供給されてきたと判定された場合、すなわち、画像再生装置１２において記録メディア１１から再生された画像データが、特徴量抽出部４１と遅延部４８に供給された場合、処理は、ステップＳ２２に進み、遅延部４８は、画像再生装置１２から供給された１フレームの画像データを、例えば、１フレームの時間だけ遅延させるために一時的に記憶する。
その後、処理は、ステップＳ２２からステップＳ２３に進み、特徴量抽出部４１は、画像データから特徴量を抽出する特徴量抽出処理を実行し、これにより、画像再生装置１２より供給された画像データのフレームを注目フレームとして、注目フレームから特徴量を抽出する。すなわち、遅延部４８が、画像再生装置１２からの注目フレームの画像データを遅延させるために一時的に記憶するとき、その注目フレームの画像データが特徴量抽出部４１にも供給されているため、同一のタイミングで、注目フレームの画像データが、一方では遅延のため一時的に記憶され、他方では特徴量が抽出される。
特徴量抽出部４１は、注目フレームの画像データから抽出した特徴量を、一致特徴量検出部４２と記録部６１に供給し、処理は、ステップＳ２３からステップＳ２４に進む。
ステップＳ２４では、一致特徴量検出部４２が、図４で説明した一致特徴量検出処理を行う。
すなわち、一致特徴量検出部４２は、図４で説明したように、特徴量抽出部４１からの注目フレームの特徴量（注目フレームの画像データから抽出された特徴量）を含む再生位置特徴量を生成する。さらに、一致特徴量検出部４２は、記録媒体６２に記録された特徴量のうちの４フレーム分の特徴量のシーケンスである検索位置特徴量を、１フレーム分ずつずらしながら生成し、再生位置特徴量と順次比較する。
そして、一致特徴量検出部４２は、再生位置特徴量と一致する検索位置特徴量を検出することができた場合、その再生位置特徴量と一致する検索位置特徴量を、記録部６１及び読み出し部６３に供給する。
ステップＳ２４で一致特徴量検出処理が行われた後、処理は、ステップＳ２５に進み、読み出し部６３は、再生位置特徴量と一致する検索位置特徴量を検出することができたかどうか、つまり、再生位置特徴量に含まれる注目フレームの特徴量と値が一致する一致特徴量を、記録媒体６２に記録された特徴量の中から検出することができたかどうかを判定する。
ステップＳ２５において、再生位置特徴量に含まれる注目フレームの特徴量と値が一致する一致特徴量を、記録媒体６２に記録された特徴量の中から検出することができなかったと判定された場合、すなわち、ステップＳ２４での一致特徴量検出処理において、再生位置特徴量と一致する検索位置特徴量が検出されず、このため、検索位置特徴量が、一致特徴量検出部４２から記録部６１及び読み出し部６３に供給されなかった場合、処理は、ステップＳ３３に進み、処理反映部４９は、遅延部４８に記憶された注目フレームの画像データを、そのまま表示データとして、表示装置１５に供給して、処理は、ステップＳ３０に進む。
したがって、注目フレームの特徴量を含む再生位置特徴量に一致する検索位置特徴量が記録媒体６２に記録されていない場合には、表示装置１５では、記録メディア１１から再生された注目フレームの画像データそのものに対応する画像が表示される。
また、ステップＳ２５において、再生位置特徴量に含まれる注目フレームの特徴量と値が一致する一致特徴量を、記録媒体６２に記録された特徴量の中から検出することができたと判定された場合、すなわち、ステップＳ２４での一致特徴量検出処理において、再生位置特徴量と一致する検索位置特徴量が検出され、その検索位置特徴量が、一致特徴量検出部４２から記録部６１及び読み出し部６３に供給された場合、処理は、ステップＳ２６に進み、処理情報決定部４６は、ユーザによってリモートコマンダ１４の編集操作が行われたかどうかを判定する。
ステップＳ２６において、編集操作が行われたと判定された場合、すなわち、ユーザが、表示装置１５に表示された画像を見ながら、例えば、２倍のズームアップ等の編集処理を行うように、リモートコマンダ１４を編集操作し、その編集操作に対応した操作信号が、受光部４４で受信され、処理情報決定部４６に供給された場合、処理は、ステップＳ２７に進み、処理情報決定部４６は、受光部４４から供給された操作信号に基づいて、注目フレームの画像データに対して施す編集処理を決定し、その編集処理を表す処理情報を、選択部４７及び記録部６１に供給して、処理は、ステップＳ２８に進む。
ステップＳ２８では、記録部６１が、一致特徴量検出部４２から供給された検索位置特徴量としての４フレームの特徴量のシーケンスを、記録媒体６２に記録された特徴量の中から検出し、そのうちの時間的に最も後の特徴量、つまり、注目フレームの特徴量と値が一致する一致特徴量に対応付けて、処理情報決定部４６からの処理情報を、記録媒体６２に記録して、処理は、ステップＳ２９に進む。
すなわち、注目フレームの画像データの再生中に、編集操作が行われた場合、その編集操作に対応する編集処理を表す処理情報が、その編集処理を施すべき注目フレームの画像データの特徴量に対応付けられて、記録媒体６２に記録される。
ステップＳ２９では、選択部４７は、処理情報決定部４６から直前のステップＳ２７で供給された処理情報を選択し、処理反映部４９に供給する。処理反映部４９は、遅延部４８に記憶されている注目フレームの画像データに対して、選択部４７より供給されてきた処理情報が表す編集処理、すなわち、いまの場合、ユーザによる編集操作に対応する編集処理を施し、その結果得られる編集後画像データを、表示データとして、表示装置１５に供給して、処理は、ステップＳ３０に進む。
したがって、編集操作がされた場合には、その編集操作に対応する編集処理を表す処理情報が、その編集処理を施すべき注目フレームの画像データの特徴量に対応付けられて、記録媒体６２に記録されるとともに、表示装置１５では、注目フレームの画像データに対して、編集操作に対応する編集処理が施された結果得られる編集後画像データに対応する画像が表示される。
一方、ステップＳ２６において、編集操作がされていないと判定された場合、処理は、ステップＳ３１に進み、読み出し部６３は、記録媒体６２において、注目フレームの特徴量に値が一致する一致特徴量に対応付けられた処理情報が記録されているかどうかを判定する。
すなわち、ステップＳ３１では、読み出し部６３は、記録媒体６２に記録されている特徴量のうちの、一致特徴量検出部４２から供給された検索位置特徴量としての４フレームの特徴量のシーケンスを、記録媒体６２に記録された特徴量の中から検出し、そのうちの時間的に最も後の特徴量、つまり、注目フレームの特徴量と値が一致する一致特徴量に対応付けて、処理情報が、記録媒体６２に記録されているかどうかを判定する。
ステップＳ３１において、注目フレームの特徴量に値が一致する一致特徴量に対応付けられた処理情報が記録されていないと判定された場合、すなわち、過去に行われた注目フレームの再生中に、その注目フレームに対して、編集操作が行われたことがなく、そのために、記録媒体６２に記録されている特徴量において、一致特徴量検出部４２から供給された検索位置特徴量としての４フレームの特徴量のシーケンスのうちの時間的に最も後の特徴量、つまり、注目フレームの特徴量と値が一致する一致特徴量（過去に注目フレームから抽出された特徴量）に対応付けて、処理情報が、記録媒体６２に記録されていない場合、処理は、ステップＳ３３に進み、上述したように、処理反映部４９は、遅延部４８に記憶された注目フレームの画像データを、そのまま表示データとして、表示装置１５に供給して、処理は、ステップＳ３０に進む。
したがって、編集操作がされず、かつ、記録媒体６２において、注目フレームの特徴量と値が一致する一致特徴量、つまり、注目フレームの特徴量に対応付けて、処理情報が記録されていない場合には、表示装置１５では、記録メディア１１から再生された注目フレームの画像データそのものに対応する画像が表示される。
一方、ステップＳ３１において、注目フレームの特徴量に値が一致する一致特徴量に対応付けられた処理情報が記録されていると判定された場合、すなわち、過去に行われた注目フレームの再生中に、その注目フレームに対して、編集操作が行われたことがあり、その結果、記録媒体６２に記録されている特徴量において、一致特徴量検出部４２から供給された検索位置特徴量としての４フレームの特徴量のシーケンスのうちの時間的に最も後の特徴量、つまり、注目フレームの特徴量と値が一致する一致特徴量に対応付けて、処理情報が、記録媒体６２に記録されている場合、処理は、ステップＳ３２に進み、読み出し部６３は、記録媒体６２において、一致特徴量、つまり、注目フレームの特徴量に対応付けられた処理情報を読み出し、選択部４７に供給して、処理は、ステップＳ２９に進む。
ステップＳ２９では、選択部４７は、読み出し部６３から直前のステップＳ３２で供給された処理情報を選択し、処理反映部４９に供給する。すなわち、いまの場合、編集操作がされていないので、選択部４７には、処理情報決定部４６から処理情報は供給されず、読み出し部６３のみから処理情報が供給されるので、選択部４７は、読み出し部６３から直前のステップＳ３２で供給された処理情報を選択して、処理反映部４９に供給する。
処理反映部４９は、遅延部４８に記憶されている注目フレームの画像データに対して、選択部４７より供給されてきた処理情報が表す編集処理、すなわち、いまの場合、記録媒体６２において注目フレームの特徴量と対応付けて記録されていた処理情報が表す編集処理を施し、その結果得られる編集後画像データを、表示データとして、表示装置１５に供給して、処理は、ステップＳ３０に進む。
したがって、今回の編集／再生処理では編集操作がされなかったが、過去に行われた注目フレームの再生中に編集操作が行われ、その結果、記録媒体６２において、注目フレームの特徴量に対応付けて、過去に行われた編集操作に対応する編集処理を表す処理情報が記録されている場合には、表示装置１５では、注目フレームの画像データに対して、過去に行われた編集操作に対応する編集処理が施された結果得られる編集後画像データに対応する画像が表示される。
ステップＳ３０では、制御部４３が、画像再生装置１２による記録メディア１１に記録された画像データのすべての再生が終了したか、又は、再生を終了するように、リモートコマンダ１４が操作されたかどうかを判定する。
ステップＳ３０において、記録メディア１１に記録された画像データのすべての再生が、まだ終了していないと判定され、かつ、再生を終了するように、リモートコマンダ１４が操作されていないと判定された場合、処理は、ステップＳ２１に戻り、次のフレームの画像データが画像再生装置１２より供給されてきたか否かが判定され、以下、同様の処理が繰り返される。
また、ステップＳ３０において、記録メディア１１に記録された画像データのすべての再生が終了したと判定されるか、又は、再生を終了するように、リモートコマンダ１４が操作されたと判定された場合、編集／再生処理は終了する。
なお、特徴量の記録媒体６２への記録は、特徴量記録処理（図５）で行う他、編集／再生処理（図６）のステップＳ２３で特徴量抽出処理を行った直後に行うこと等が可能である。
次に、図７の参照して、図２の画像処理装置１３による編集／再生処理について、さらに説明する。なお、特徴量記録処理（図５）は、既に終了していることとする。
図７では、時刻t0からt1までの時間を再生時間とする画像データが記録メディア１１に記録されており、まず、時刻t0より後の時刻t11から、画像データの再生が開始されている。
例えば、時刻t11より後の時刻t101ないしt102において、ユーザがリモートコマンダ１４を編集操作すると、その編集操作に対応する編集処理を表す処理情報が、時刻t101ないしt102の画像データの特徴量に対応付けられて、記録媒体６２に記録される。
その後、図７では、時刻t12において、早送りが開始され、時刻t21ないしt22において再び再生が行われている。続いて、時刻t31まで早送りがされ、時刻t31において再生が開始されている。
例えば、時刻t31からの再生の開始後の時刻t111ないしt112において、ユーザがリモートコマンダ１４を編集操作すると、その編集操作に対応する編集処理を表す処理情報が、時刻t111ないしt112の画像データの特徴量に対応付けられて、記録媒体６２に記録される。
図７では、さらに、時刻t32まで再生がされ、その後、時刻t121まで巻き戻しがされ、再生が開始されている。
例えば、時刻t121からの再生中の時刻t131ないしt132において、ユーザがリモートコマンダ１４を編集操作すると、その編集操作に対応する編集処理を表す処理情報が、時刻t131ないしt132の画像データの特徴量に対応付けられて、記録媒体６２に記録される。
図７では、その後、時刻t132まで再生が行われてから、先頭の時刻t0に近い時刻t151まで巻き戻がされ、最後の時刻ｔ1に近い時刻t152まで、再生がされている。
この場合、リモートコマンダ１４が編集操作された時刻t101ないしt102、時刻t131ないしt132、及び時刻t111ないしt112の画像データが再生されるときに、各時刻の画像データの特徴量と対応付けられている処理情報が、記録媒体６２から読み出され、その処理情報が表す編集処理が、その処理情報に特徴量が対応付けられている画像データに施される。
以上のように、図２の画像処理装置１３では、編集操作に基づいて、注目フレームの画像データに施す編集処理を決定し、その編集処理を表す処理情報を、その処理情報が表す編集処理を施す画像データの特徴量、すなわち、注目フレームの特徴量と対応付けて記録媒体６２に記録するので、記録媒体６２に記録された特徴量において、注目フレームの特徴量と値が一致する一致特徴量を検出し、その一致特徴量に対応付けられている処理情報が表す編集処理を、注目フレームに施すことで、注目フレームに対して、過去に行われた編集操作に対応する編集処理を施すことができる。
すなわち、注目フレームに施すべき編集処理を、注目フレームの特徴量に対応付けられている処理情報から特定し、注目フレームに施すことができる。
したがって、記録メディア１１に記録された画像データに編集処理を施して得られる編集後画像データを記録しておかなくても、その編集後画像データを再現することができる。また、タイムコードなしで、画像の編集を行うことができる。
なお、処理情報に対応付ける特徴量としては、１フレームの画素値の加算値を用いることとしたが、それ以外の特徴量であってもよく、例えば、動きベクトル（全画面動きとローカル動き）、特定の波形パターンがどれだけ出現するかを示す値、縮小画像における画素値の積算値、画像の特定部分の画素値の積算値、これらを複数フレーム分だけ用いた値、または、これらの複数の特徴量の組み合わせなどであってもよい。
すなわち、処理情報に対応付ける特徴量は、その処理情報が表す編集処理を施すフレームを特定しうる情報であれば良く、異なる画像に対して、必ず異なる値となる情報の他、異なる画像に対して、ある程度の高い確率で異なる値となる情報であっても良い。
異なる画像に対して、ある程度の高い確率で異なる値となる特徴量としては、例えば、上述した１フレームの画素値の加算値の下位８ビットがあるが、そのような特徴量であっても、図４で説明したように、４フレームなどの複数のフレームの特徴量のシーケンスどうし（再生位置特徴量と検索位置特徴量）を比較することにより、記録媒体６２に記録された特徴量の中から、注目フレームの特徴量（一致特徴量）を正確に検出することが可能となる。
ここで、処理情報に対応付ける特徴量を、以下、適宜、処理特徴量ともいう。
次に、図８は、図１の画像処理装置１３の第２の構成例を示すブロック図である。
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図８の画像処理装置１３は、特徴量抽出部４１、一致特徴量検出部４２、受光部４４、処理情報決定部４６、選択部４７、遅延部４８、及び処理反映部４９を有する点で、図２の場合と一致する。但し、図８の画像処理装置１３は、制御部４３、記録部６１、又は記録媒体６２それぞれに代えて、制御部１２２、記録部１２３、又は記録媒体１２４が設けられ、新たに、特徴抽出部１２１及び表示制御部１２５が設けられている点で、図２の場合と相違している。
特徴量抽出部１２１には、特徴量抽出部４１に供給されるのと同一の画像データが、画像再生装置１２から供給される。特徴量抽出部１２１は、特徴量抽出部４１と同様に、画像再生装置１２より順次供給されてくる画像データの各フレームから、特徴量を抽出し、その特徴量をフレーム単位で、記録部６１に供給する。
但し、特徴量抽出部１２１では、１フレームの画像データから、その１フレームの画像データよりもデータ量が少ない特徴量が抽出される。
ここで、以下、適宜、特徴量抽出部１２１で抽出される特徴量を、特徴量抽出部４１で抽出される処理特徴量と区別するために、圧縮特徴量という。
なお、特徴量抽出部１２１で抽出される圧縮特徴量は、処理情報と対応付けられる処理特徴量のように、処理情報が表す編集処理を施すフレームを特定しうる特徴量である必要はないが、そのような特徴量であっても良い。
制御部１２２は、図２の制御部４３と同様に、受光部４４から供給される操作信号にしたがい、画像再生装置１２や、画像処理装置１３を構成する各ブロックを制御する。また、制御部１２２は、動作モードに応じて、表示制御部１２５を制御する。
記録部１２３は、図２の記録部６１と同様に、特徴量抽出部４１より供給される処理特徴量を記録媒体６２に記録すること、及び、処理情報決定部４６より供給される処理情報を、処理特徴量と対応付けて、記録媒体６２に記録することを行う。
さらに、記録部１２３は、特徴量抽出部１２１から供給される圧縮特徴量を記録媒体６２に記録する。
記録媒体１２４は、図２の記録媒体６２と同様に、例えば、ディスク状の記録媒体や半導体メモリ等であり、そこには、処理情報と処理特徴量が記録される。さらに、記録媒体１２４には、圧縮特徴量が記録される。
表示制御部１２５は、制御部１２２の制御にしたがい、処理反映部４９から供給される画像データ、又は記録媒体１２４に記録された圧縮特徴量を表示データとして、表示装置１５に供給し、その表示データに対応する画像を表示させる。
次に、図９ないし図１１のフローチャートを参照して、図８の画像処理装置１３の動作について説明する。
図８の画像処理装置１３では、図２の場合と同様に、特徴量記録処理、及び編集／再生処理が行われる。さらに、図８の画像処理装置１３は、動作モードとして、通常再生モード、及び編集モードの他に、簡易編集モードを有しており、簡易編集モードの処理も行う。
まず、図９のフローチャートを参照して、図８の画像処理装置１３が行う特徴量記録処理について説明する。
例えば、図５で説明したように、動作モードが通常再生モードであるときに、ユーザが、再生を指示するように、リモートコマンダ１４を操作すると、その操作に対応する操作信号が、リモートコマンダ１４から送信され、受光部４４を介して、制御部１２２に供給される。制御部１２２は、動作モードが通常再生モードである場合に、再生の指示の操作に対応する操作信号が供給されると、ステップＳ５１において、画像再生装置１２に対して、再生を要求する再生コマンドを送信し、これにより、画像再生装置１２に、記録メディア１１に記録された画像データの再生を開始させる。
画像再生装置１２は、画像データの再生を開始すると、その画像データを、画像処理装置１３に供給し、画像処理装置１３では、画像再生装置１２からの画像データが、フレーム単位で、特徴量抽出部４１と１２１、及び遅延部４８に供給される。
そして、遅延部４８に供給された画像データは、処理反映部４９に供給され、処理反映部４９では、遅延部４８からの画像データが、そのまま、表示制御部１２５に供給される。表示制御部１２５は、通常再生モードでは、処理反映部４９からの画像データを、表示データとして、表示装置１５に供給し、これにより、表示装置１５では、記録メディア１１に記録された画像データそのものに対応するコンテンツ画像が表示される。ユーザは、このコンテンツ画像の表示を見ることにより、記録メディア１１に記録された画像データに対応する画像を確認することができる。
その後、処理は、ステップＳ５１からステップＳ５２に進み、特徴量抽出部４１が、画像再生装置１２から供給される画像データのフレームから処理特徴量を抽出するとともに、特徴抽出部１２１が、そのフレームから圧縮特徴量を抽出する特徴量抽出処理が行われ、処理は、ステップＳ５３に進む。
ここで、ステップＳ５２において、特徴量抽出部４１で抽出された処理特徴量、及び、特徴量抽出部１２１で抽出された圧縮特徴量は、記録部１２３に供給される。
ステップＳ５３では、記録部１２３は、特徴量抽出部４１からの処理特徴量と、特徴量抽出部１２１からの圧縮特徴量とを対応付け、すなわち、同一のフレームから抽出された処理特徴量と圧縮特徴量とを対応付け、記録媒体１２４に記録して、処理は、ステップＳ５３からステップＳ５４に進む。
ここで、記録部１２３による記録媒体１２４への処理特徴量及び圧縮特徴量の記録は、その処理特徴量及び圧縮特徴量が抽出されたフレームの順番を維持するように行われる。すなわち、記録媒体１２４に記録されたある処理特徴量及び圧縮特徴量が、記録メディア１１に記録された画像データの第Nフレームの処理特徴量及び圧縮特徴量であるとき、記録媒体１２４への、第N+1フレーム（又は第N-1フレーム）の処理特徴量及び圧縮特徴量の記録は、その第N+1フレーム（又は第N-1フレーム）の処理特徴量及び圧縮特徴量が、既に記録されている第Nフレームの特徴量の１つ後（又は１つ前）のフレームの処理特徴量及び圧縮特徴量であることが分かるように行われる。
ステップＳ５４では、制御部１２２が、記録メディア１１に記録された画像データの再生がすべて終了したかどうかを判定する。ステップＳ５４において、記録メディア１１に記録された画像データの再生が、まだ終了していないと判定された場合、即ち、画像再生装置１２において、画像データの再生が行われている場合、処理は、ステップＳ５２に戻り、画像再生装置１２から供給される画像データの次のフレームを対象に、以下、同様の処理が繰り返される。
また、ステップＳ５４において、記録メディア１１に記録された画像データの再生が、すべて終了したと判定された場合、即ち、画像再生装置１２において、画像データの再生が終了している場合、特徴量記録処理は終了する。
なお、記録媒体１２４への処理特徴量及び圧縮特徴量の記録は、記録媒体６２（図２）への処理特徴量の記録と同様に、重複して行う必要はない。
次に、図１０のフローチャートを参照して、図８の画像処理装置１３が行う編集／再生処理について説明する。
例えば、図６で説明したように、動作モードが編集モードであるときに、ユーザが、再生を指示するように、リモートコマンダ１４を操作すると、その操作に対応する操作信号が、リモートコマンダ１４から送信され、受光部４４を介して、制御部１２２に供給される。制御部１２２は、動作モードが編集モードである場合に、再生の指示の操作に対応する操作信号が供給されると、画像再生装置１２に対して、再生を要求する再生コマンドを送信し、これにより、画像再生装置１２に、記録メディア１１に記録された画像データの再生を開始させる。
画像再生装置１２は、画像データの再生を開始すると、その画像データを、画像処理装置１３に供給し、画像処理装置１３では、画像再生装置１２からの画像データが、フレーム単位で、特徴量抽出部４１と１２１、及び遅延部４８に供給される。
そして、画像処理装置１３では、ステップＳ６１ないしＳ７３において、図６のステップＳ２１ないしＳ３３とそれぞれ同様の処理が行われる。
但し、図１０のステップＳ６８に対応する図６のステップＳ２８では、記録部６１が、記録媒体６２に記録された処理特徴量のうちの、注目フレームの処理特徴量に対応付けて、処理情報決定部４６からの処理情報を、記録媒体６２に記録するが、図８の画像処理装置１３では、記録媒体１２４に、処理特徴量と圧縮特徴量とが対応付けられて記録されるため、図１０のステップＳ６８では、記録部１２３が、処理情報を、注目フレームの処理特徴量及び圧縮特徴量と対応付けて、記録媒体１２４に記録する。
また、ステップＳ６９及びＳ７３では、表示制御部１２５が、処理反映部４９から供給される画像データを、表示データとして、表示装置１５に供給することにより、その表示データに対応する画像が表示される。
次に、図１１のフローチャートを参照して、図８の画像処理装置１３が行う簡易編集モードの処理について説明する。
ユーザが、動作モードを簡易編集モードとして、再生を指示するように、リモートコマンダ１４を操作すると、その操作に対応する操作信号が、リモートコマンダ１４から送信される。この操作信号は、受光部４４で受光され、制御部１２２に供給される。制御部１２２は、動作モードが簡易編集モードである場合に、受光部４４から、再生の指示の操作に対応する操作信号が供給されると、ステップＳ９１において、表示制御部１２５を制御し、記録媒体１２４に記録された、記録メディア１１の画像データから抽出された圧縮特徴量を表示する圧縮特徴量の表示処理を開始させる。
すなわち、表示制御部１２５は、まず、記録媒体１２４から、記録メディア１１の画像データの最初のフレームの圧縮特徴量を、注目圧縮特徴量として読み出し、その注目圧縮特徴量を表示データして表示装置１５に供給して表示させ、次に、記録媒体１２４から、記録メディア１１の画像データの２番目のフレームの圧縮特徴量を、注目圧縮特徴量として読み出し、その注目圧縮特徴量を表示データとして表示装置１５に供給して表示させる。以下、同様にして、表示制御部１２５は、記録媒体１２４に記録された圧縮特徴量を、順次、注目圧縮特徴量として読み出し、表示装置１５に供給して表示させる。
以上のように、簡易編集モードでは、記録メディア１１に記録された画像データに対応するコンテンツ画像ではなく、その画像データの圧縮特徴量が表示される。
その後、処理は、ステップＳ９１からステップＳ９２に進み、処理情報決定部４６は、ユーザによってリモートコマンダ１４の編集操作が行われたかどうかを判定する。
ステップＳ９２において、編集操作が行われていないと判定された場合、処理は、ステップＳ９３及びＳ９４をスキップして、ステップＳ９５に進む。
また、ステップＳ９２において、編集操作が行われたと判定された場合、すなわち、ユーザが、表示装置１５に表示された圧縮特徴量を見ながら、例えば、２倍のズームアップ等の編集処理を行うように、リモートコマンダ１４を編集操作し、その編集操作に対応した操作信号が、受光部４４で受信され、処理情報決定部４６に供給された場合、処理は、ステップＳ９３に進み、処理情報決定部４６は、受光部４４から供給された操作信号に基づいて、注目フレームの画像データに対して施す編集処理を決定し、その編集処理を表す処理情報を、記録部１２３に供給して、処理は、ステップＳ９４に進む。
ステップＳ９４では、記録部１２３が、表示制御部１２５が注目圧縮特徴量として記録媒体１２４から読み出した圧縮特徴量、及び、その圧縮特徴量に対応付けられている処理特徴量に対応付けて、処理情報決定部４６からの処理情報を、記録媒体１２４に記録して、処理は、ステップＳ９５に進む。
すなわち、注目圧縮特徴量の表示中に、編集操作が行われた場合、その編集操作に対応する編集処理を表す処理情報が、その編集処理を施すべきフレームの圧縮特徴量及び処理特徴量に対応付けられて、記録媒体１２４に記録される。
ステップＳ９５では、表示制御部１２５が、記録媒体１２４に記録された圧縮特徴量のすべての表示が終了したか、又は、再生を終了するように、リモートコマンダ１４が操作されたかどうかを判定する。
ステップＳ９５において、記録媒体１２４に記録された圧縮特徴量のすべての表示が、まだ終了していないと判定され、かつ、再生を終了するように、リモートコマンダ１４が操作されていないと判定された場合、処理は、ステップＳ９２に戻り、以下、同様の処理が繰り返される。
また、ステップＳ９５において、記録媒体１２４に記録された圧縮特徴量のすべての表示が終了したと判定されるか、又は、再生を終了するように、リモートコマンダ１４が操作されたと判定された場合、簡易編集モードの処理は終了する。
以上のように、簡易編集モードでは、記録メディア１１に記録された画像データに対応するコンテンツ画像ではなく、その画像データの圧縮特徴量が表示されるので、ユーザは、その圧縮特徴量を見て編集操作を行うことになる。
次に、図１２ないし図１４を参照して、圧縮特徴量について説明する。
１フレームの画像データの圧縮特徴量としては、その１フレームの画像データよりもデータ量を少なくした情報であって、かつ、ユーザが見て、編集操作をする行動を喚起するような情報を採用することができる。
具体的には、例えば、１フレームの画像データの各画素の画素値（例えば、輝度値）を表すビット列の一部や、１フレームの画像データの動きを表す情報、１フレームの画像データの空間アクティビティを表す情報などを採用することができる。
図１２は、圧縮特徴量として、画素の画素値を表すビット列の一部を採用した場合の、圧縮特徴量の表示例を示している。
すなわち、図１２上側は、コンテンツ画像を示しており、図１２下側は、コンテンツ画像の画像データから抽出した圧縮特徴量としての、そのコンテンツ画像の画像データの画素の画素値を表すビット列の上位２ビットを画素値とする画像を示している。
図１２上側のコンテンツ画像では、第Nフレームから第N+4フレームかけて、左下から右上方向に移動する円形の物体が存在し、さらに、徐々に明るくなっている。
圧縮特徴量として、画素値を表すビット列の上位２ビットを採用し、その圧縮特徴量を表示すると、すなわち、その圧縮特徴量を画素値とする画像を表示すると、図１２下側に示すように、暗いシーンと明るいシーンとの区別がつきやすくなる。
したがって、コンテンツ画像において、明るいシーンだけを対象に編集を行う場合には、圧縮特徴量として、画素値を表すビット列の上位２ビットを採用して表示することにより、ユーザは、編集の対象とする明るいシーンのフレームを容易に探し出すことができ、その結果、編集作業の容易化を図ることができる。
また、編集の対象としない暗いシーンについては、例えば、ユーザが、リモートコマンダ１４を操作して、表示制御部１２５による圧縮特徴量の表示を早送りのようにすることにより、編集に要する時間の短縮化を図ることができる。
なお、圧縮特徴量とする、コンテンツ画像の画素値を表すビット列の一部としては、そのビット列の上位２ビットの他、例えば、最上位の１ビットや、上位３ビット等を採用することが可能である。
次に、図１３は、圧縮特徴量として、動きを表す情報を採用した場合の、圧縮特徴量の表示例を示している。
すなわち、図１３上側は、コンテンツ画像を示しており、図１３下側は、コンテンツ画像の画像データから抽出した圧縮特徴量としての、そのコンテンツ画像の隣接するフレームどうしの画素値の差分値（の絶対値）を所定の閾値で２値化した値を画素値とする画像を示している。
図１３上側のコンテンツ画像では、円形の被写体が存在し、その円形の被写体は、第Nフレームと第N+1フレームでは静止しており、第N+2フレームと第N+3フレームでは左下から右上方向に移動している。
圧縮特徴量として、隣接するフレームどうしの画素値の差分値を所定の閾値で２値化した値を採用し、その圧縮特徴量を表示すると、すなわち、その圧縮特徴量を画素値とする画像を表示すると、図１３下側に示すように、動きがある被写体が存在するシーンと、動きがある被写体が存在しないシーンとの区別がつきやすくなる。
したがって、コンテンツ画像において、動きがある被写体が存在するシーンだけを対象に編集を行う場合には、圧縮特徴量として、隣接するフレームどうしの画素値の差分値を所定の閾値で２値化した値を採用して表示することにより、ユーザは、編集の対象とする動きがある被写体が存在するシーンのフレームを容易に探し出すことができ、その結果、編集作業の容易化を図ることができる。
また、編集の対象としない、動きがある被写体が存在しないシーンについては、例えば、ユーザが、リモートコマンダ１４を操作して、表示制御部１２５による圧縮特徴量の表示を早送りのようにすることにより、編集に要する時間の短縮化を図ることができる。
なお、圧縮特徴量とする、コンテンツ画像の動きを表す情報としては、隣接するフレームどうしの画素値の差分値を所定の閾値で２値化した値の他、例えば、所定のブロック単位で検出した動きベクトルの大きさ等を採用することが可能である。
次に、図１４は、圧縮特徴量として、空間アクティビティを表す情報を採用した場合の、圧縮特徴量の表示例を示している。
すなわち、図１４上側は、コンテンツ画像を示しており、図１４下側は、コンテンツ画像の画像データから抽出した圧縮特徴量としての、そのコンテンツ画像の画素値のヒストグラムを示している。
図１４上側のコンテンツ画像では、第Nフレームと第N+1フレームには、雲がある空が映っており、その後、シーンチェンジが生じて、第N+2フレームと第N+3フレームには、人混みが映っている。
圧縮特徴量として、画素値のヒストグラムを採用し、その圧縮特徴量を表示すると、図１４下側に示すように、シーンチェンジの前後で、圧縮特徴量としてのヒストグラムの形状が大きく変化するので、シーンチェンジを容易に認識することができる。
したがって、コンテンツ画像において、シーンチェンジ付近のシーンだけを対象に編集を行う場合には、圧縮特徴量として、画素値のヒストグラムを採用して表示することにより、ユーザは、編集の対象とするシーンチェンジ付近のシーンを容易に探し出すことができ、その結果、編集作業の容易化を図ることができる。
また、編集の対象としない、シーンチェンジ付近以外のシーンについては、例えば、ユーザが、リモートコマンダ１４を操作して、表示制御部１２５による圧縮特徴量の表示を早送りのようにすることにより、編集に要する時間の短縮化を図ることができる。
なお、圧縮特徴量とする、空間アクティビティを表す情報としては、画素値のヒストグラムの他、例えば、隣接する画素どうしの画素値の差分値等を採用することが可能である。
ここで、記録メディア１１に記録された画像データが、例えば、いわゆるフルHD(High Definition)のような大容量の画像データであり、MPEG(Moving Picture Expert Group)方式等で符号化されている場合には、図７で説明した編集／再生処理で行われる再生や、早送り、巻き戻しの処理の負担が大になる。
一方、簡易編集モードの処理（図１１）では、記録メディア１１に記録された画像データに対応するコンテンツ画像に代えて、データ量が少ない圧縮特徴量が表示されるので、処理の負担を低減することができる。
なお、圧縮特徴量として、例えば、画素値のヒストグラムのような、それだけを見たのでは、コンテンツ画像の内容を把握することができない圧縮特徴量を採用した場合であっても、上述したように、ユーザが、記録メディア１１に記録された画像データの編集を行う前に、図９の特徴量記録処理が行われ、記録メディア１１に記録された画像データに対応する画像を確認して、編集の大まかな構想をたてていれば、ユーザは、ある程度、コンテンツ画像の内容を把握しているので、圧縮特徴量を見るだけでも、編集の対象とするシーンのおおよそのあたりをつけて、編集を行うことができる。
また、特徴量抽出部１２１において、例えば、上述した画素値を表すビット列の一部、動きを表す情報、及び、空間アクティビティを表す情報等の、複数種類の圧縮特徴量のうちのいずれを抽出するかは、例えば、ユーザが、編集の対象とするシーンを考慮して、リモートコマンダ１４を操作することにより指定することができる。
さらに、特徴量抽出部１２１において、複数種類の圧縮特徴量を抽出して、記録媒体１２４に記録しておくことができる。この場合、簡易編集モードの処理において、表示制御部１２５が読み出して表示装置１５に表示させる圧縮特徴量は、記録媒体１２４に記録された複数種類の圧縮特徴量の中から選択することができる。
簡易編集モードの処理において、複数種類の圧縮特徴量のうちのいずれを表示するかは、例えば、ユーザがリモートコマンダ１４を操作することにより指定することができる。さらに、表示制御部１２５では、左右又は上下に並べる形で、複数種類の圧縮特徴量のうちの２種類以上の圧縮特徴量を表示させることができる。
次に、図１２ないし図１４では、編集の対象としないシーンについては、ユーザによるリモートコマンダ１４の操作に応じ、いわば手動で、圧縮特徴量の表示を早送りするようにしたが、圧縮特徴量の表示の早送りは、いわば自動で行うこともできる。
そこで、図１５のフローチャートを参照して、圧縮特徴量の表示の早送りを自動で行う場合の、図１１のステップＳ９１で開始される圧縮特徴量の表示処理について説明する。
ステップＳ１０１において、表示制御部１２５は、記録媒体１２４に記録された圧縮特徴量において、まだ、注目圧縮特徴量としていない圧縮特徴量のうちの、時間的に最も先行するフレームの圧縮特徴量を、注目圧縮特徴量として読み出して、処理は、ステップＳ１０２に進む。
ステップＳ１０２では、表示制御部１２５は、注目圧縮特徴量が、早送りの条件を満たすかどうかを判定する。
ここで、早送りの条件としては、例えば、圧縮特徴量が、図１２で説明した、画素値を表すビット列の上位２ビットである場合には、その上位２ビットが、１フレームすべてについて0であること等を採用することができる。また、例えば、圧縮特徴量が、図１３で説明した、隣接するフレームどうしの画素値の差分値を所定の閾値で２値化した値である場合には、その２値化した値が、１フレームすべてについて0であること、あるいは、隣接するフレームどうしの画素値の差分値（の絶対値）の１フレームについての総和が所定の閾値以下であること等を採用することができる。
なお、早送りの条件は、例えば、ユーザがリモートコマンダ１４を操作することにより設定することができる。
ステップＳ１０２において、注目圧縮特徴量が、早送りの条件を満たすと判定された場合、すなわち、例えば、圧縮特徴量が、図１２で説明した、画素値を表すビット列の上位２ビットであり、１フレームの注目圧縮特徴量がすべて0である場合、処理は、ステップＳ１０３に進み、表示制御部１２５は、注目圧縮特徴量の表示をスキップするスキップ処理をして、処理は、ステップＳ１０５に進む。
ここで、スキップ処理では、１フレームの注目圧縮特徴量を、表示装置１５にまったく表示させないようにすることもできるし、コンテンツ画像のフレーム周期よりも十分短い時間だけ、１フレームの注目圧縮特徴量を、表示装置１５に表示させることもできる。
一方、ステップＳ１０２において、注目圧縮特徴量が、早送りの条件を満たさないと判定された場合、処理は、ステップＳ１０４に進み、表示制御部１２５は、１フレームの注目圧縮特徴量を、コンテンツ画像のフレーム周期の時間だけ、表示装置１５に表示させ、処理は、ステップＳ１０５に進む。
ステップＳ１０５では、表示制御部１２５が、コンテンツ画像のすべてのフレームの圧縮特徴量を、記録媒体１２４から読み出したかどうかを判定する。
ステップＳ１０５において、まだ、コンテンツ画像のすべてのフレームの圧縮特徴量を、記録媒体１２４から読み出していないと判定された場合、すなわち、まだ、注目圧縮特徴量とされていない圧縮特徴量がある場合、処理は、ステップＳ１０１に戻り、上述したように、表示制御部１２５は、記録媒体１２４に記録された圧縮特徴量において、まだ、注目圧縮特徴量としていない圧縮特徴量のうちの、時間的に最も先行するフレームの圧縮特徴量を、注目圧縮特徴量として読み出し、以下、同様の処理が繰り返される。
また、ステップＳ１０５において、コンテンツ画像のすべてのフレームの圧縮特徴量を、記録媒体１２４から読み出したと判定された場合、圧縮特徴量の表示処理は終了する。
次に、図１６は、図１の画像処理装置１３の第３の構成例を示すブロック図である。
なお、図中、図８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１６の画像処理装置１３は、特徴量抽出部４１、一致特徴量検出部４２、受光部４４、処理情報決定部４６、選択部４７、遅延部４８、処理反映部４９、特徴量抽出部１２１、制御部１２２、記録部１２３、及び記録媒体１２４を有する点で、図８の場合と一致する。但し、図１６の画像処理装置１３は、読み出し部６３、又は表示制御部１２５それぞれに代えて、読み出し部１３２、又は表示制御部１３３が設けられている点で、図８の場合と相違している。
読み出し部１３２は、図８（図２）の読み出し部６３と同様の処理を行う他、表示制御部１３３が表示装置１５に表示させる圧縮特徴量に対応付けられた処理特徴量を認識し、その処理特徴量に対応付けられた処理情報を、記録媒体１２４から処理情報を読み出して、選択部４７に供給する。
表示制御部１３３は、図８の表示制御部１２５と同様に、処理反映部４９から供給される画像データ、又は記録媒体１２４に記録された圧縮特徴量を表示データとして、表示装置１５に供給し、その表示データに対応する画像を表示させる。また、表示制御部１３３は、処理反映部４９から供給される画像データと、記録媒体１２４に記録された圧縮特徴量とを、左右又は上下等に並べた形の表示データを生成し、表示装置１５に表示させる。
以上のように構成される図１６の画像処理装置１３では、図８の場合と同様に、特徴量記録処理（図９）、編集／再生処理（図１０）、及び、圧縮特徴量の表示処理（図１５）を含む簡易編集モードの処理（図１１）を行うことができる。
ここで、図１１の簡易編集モードの処理（のステップＳ９１で開始される圧縮特徴量の表示処理）では、圧縮特徴量が表示されるが、コンテンツ画像は表示されない。そして、コンテンツ画像が表示されないので、ユーザは、リモートコマンダ１４を編集操作したときに、その編集操作に対応する編集処理によって、編集後の画像がどのようになるのかを確認することができない。
そこで、図１６の画像処理装置１３では、ユーザが、編集後の画像を確認することができるように、圧縮特徴量とともに、コンテンツ画像を表示する簡易編集モードの処理を行うことができるようになっている。
図１７のフローチャートを参照して、図１６の画像処理装置１３による、圧縮特徴量とともに、コンテンツ画像を表示する簡易編集モードの処理について説明する。
なお、図１６の画像処理装置１３において、特徴量記録処理（図９）は、既に行われ、終了しており、したがって、記録媒体１２４には、記録メディア１１に記録された画像データの各フレームの圧縮特徴量及び処理特徴量が記録されていることとする。
ユーザが、動作モードを簡易編集モードとして、再生を指示するように、リモートコマンダ１４を操作すると、その操作に対応する操作信号が、リモートコマンダ１４から送信される。この操作信号は、受光部４４で受光され、制御部１２２に供給される。制御部１２２は、動作モードが簡易編集モードである場合に、受光部４４から、再生の指示の操作に対応する操作信号が供給されると、ステップＳ１２１において、表示制御部１３３を制御し、図１１のステップＳ９１と同様に、記録媒体１２４に記録された、記録メディア１１の画像データから抽出された圧縮特徴量を表示する圧縮特徴量の表示処理を開始させる。
すなわち、表示制御部１３３は、記録媒体１２４から、記録メディア１１の画像データから抽出された各フレームの圧縮特徴量を、注目圧縮特徴量として順次読み出し、その注目圧縮特徴量を、表示装置１５に供給することにより、表示装置１５の表示画面の一部に表示させる。
その後、処理は、ステップＳ１２１からステップＳ１２２に進み、制御部１２２は、表示制御部１３３が表示装置１５に表示させている注目圧縮特徴量のフレームを、注目フレームとして認識し、処理は、ステップＳ１２３に進む。
ステップＳ１２３では、制御部１２２は、注目フレームの再生を、画像再生装置１２に要求し、処理は、ステップＳ１２４に進む。
ここで、画像再生装置１２は、注目フレームの再生の要求があると、記録メディア１１から、注目フレームの画像データを再生し、画像処理装置１３に供給する。画像処理装置１３では、画像再生装置１２からの注目フレームの画像データが、遅延部４８に供給される。遅延部４８は、画像再生装置１２からの注目フレームの画像データを一時記憶する。
ステップＳ１２４では、処理情報決定部４６が、ユーザによってリモートコマンダ１４の編集操作が行われたかどうかを判定する。
ステップＳ１２４において、編集操作が行われたと判定された場合、すなわち、ユーザが、表示装置１５に表示された注目フレームの圧縮特徴量を見ながら、例えば、２倍のズームアップ等の編集処理を行うように、リモートコマンダ１４を編集操作し、その編集操作に対応した操作信号が、受光部４４で受信され、処理情報決定部４６に供給された場合、処理は、ステップＳ１２５に進み、処理情報決定部４６は、受光部４４から供給された操作信号に基づいて、注目フレームの画像データに対して施す編集処理を決定し、その編集処理を表す処理情報を、選択部４７及び記録部１２３に供給して、処理は、ステップＳ１２６に進む。
ステップＳ１２６では、記録部１２３が、記録媒体１２４に記録された処理特徴量の中から、表示制御部１３３によって表示されている注目圧縮特徴量に対応付けられている処理特徴量を認識し、その処理特徴量に対応付けて、処理情報決定部４６からの処理情報を、記録媒体１２４に記録して、処理は、ステップＳ１２７に進む。
以上のように、ユーザが、編集操作を行った場合、その編集操作に対応する編集処理を表す処理情報が、編集操作が行われていたときに圧縮特徴量が表示されていたフレーム（注目フレーム）の処理特徴量に対応付けられて、記録媒体１２４に記録される。
ステップＳ１２７では、選択部４７は、処理情報決定部４６から直前のステップＳ１２５で供給された処理情報を選択し、処理反映部４９に供給する。処理反映部４９は、遅延部４８に記憶されている注目フレームの画像データに対して、選択部４７より供給されてきた処理情報が表す編集処理、すなわち、いまの場合、ユーザによる編集操作に対応する編集処理を施し、その結果得られる編集後画像データを、表示制御部１３３に供給する。
さらに、ステップＳ１２７では、表示制御部１３３は、処理反映部４９からの編集後画像データを、表示装置１５に供給することにより、表示装置１５の表示画面の他の一部、すなわち、例えば、注目圧縮特徴量が表示されている部分に隣接する部分に表示させ、処理は、ステップＳ１２８に進む。
したがって、編集操作がされた場合には、表示装置１５では、注目フレームの圧縮特徴量とともに、編集操作に対応する編集処理が施された結果得られる編集後画像データに対応するコンテンツ画像が表示される。その結果、ユーザは、編集後の画像を確認することができる。
一方、ステップＳ１２４において、編集操作がされていないと判定された場合、処理は、ステップＳ１２９に進み、読み出し部１３２は、記録媒体１２４に記録された注目圧縮特徴量に対応付けて、処理情報が記録されているかどうかを判定する。
すなわち、ステップＳ１２９では、読み出し部１３２は、記録媒体１２４に記録された処理特徴量の中から、表示制御部１３３によって表示されている注目圧縮特徴量に対応付けられている処理特徴量を認識し、その処理特徴量に対応付けて、処理情報が記録されているかどうかを判定する。
ステップＳ１２９において、注目圧縮特徴量に対応付けて、処理情報が記録されていないと判定された場合、すなわち、過去に、注目圧縮特徴量のフレーム（注目フレーム）に対して、編集操作が行われたことがなく、そのために、記録媒体１２４において、注目圧縮特徴量に対応付けて、処理情報が記録されていない場合、処理は、ステップＳ１３１に進み、処理反映部４９は、遅延部４８に記憶された注目フレームの画像データを、そのまま、表示制御部１３３に供給する。
さらに、ステップＳ１３１では、表示制御部１３３は、処理反映部４９からの画像データを、表示装置１５に供給することにより、表示装置１５の表示画面の他の一部、すなわち、例えば、注目圧縮特徴量が表示されている部分に隣接する部分に表示させ、処理は、ステップＳ１２８に進む。
したがって、編集操作がされず、かつ、記録媒体１２４において、注目圧縮特徴量（に対応付けられた処理特徴量）に対応付けて、処理情報が記録されていない場合には、表示装置１５では、注目フレームの圧縮特徴量とともに、記録メディア１１から再生された注目フレームの画像データに対応するコンテンツ画像が表示される。
一方、ステップＳ１２９において、注目圧縮特徴量に対応付けて、処理情報が記録されていると判定された場合、すなわち、過去に、注目圧縮特徴量のフレーム（注目フレーム）に対して、編集操作が行われたことがあり、その結果、記録媒体１２４において、注目圧縮特徴量に対応付けて、処理情報が記録されている場合、処理は、ステップＳ１３０に進み、読み出し部１３２は、記録媒体１２４において、注目フレームの注目圧縮特徴量に対応付けられた処理情報を読み出し、すなわち、記録媒体１２４において、注目圧縮特徴量に対応付けられている処理特徴量を認識して、その処理特徴量に対応付けられている処理情報を読み出し、選択部４７に供給して、処理は、ステップＳ１２７に進む。
ステップＳ１２７では、選択部４７は、読み出し部１３２から直前のステップＳ１３０で供給された処理情報を選択し、処理反映部４９に供給する。すなわち、いまの場合、編集操作がされていないので、選択部４７には、処理情報決定部４６から処理情報は供給されず、読み出し部１３２のみから処理情報が供給されるので、選択部４７は、読み出し部１３２から直前のステップＳ１３０で供給された処理情報を選択して、処理反映部４９に供給する。
処理反映部４９は、遅延部４８に記憶されている注目フレームの画像データに対して、選択部４７より供給されてきた処理情報が表す編集処理、すなわち、いまの場合、記録媒体１２４において注目フレームの注目圧縮特徴量と対応付けて記録されていた処理情報が表す編集処理を施し、その結果得られる編集後画像データを、表示制御部１３３に供給する。
表示制御部１３３は、処理反映部４９からの編集後画像データを、表示装置１５に供給することにより、表示装置１５の表示画面の他の一部、すなわち、例えば、注目圧縮特徴量が表示されている部分に隣接する部分に表示させ、処理は、ステップＳ１２７からステップＳ１２８に進む。
したがって、編集操作がされなかったが、過去に行われた注目フレームの再生中に編集処理が行われ、その結果、記録媒体１２４において、注目フレームの圧縮特徴量及び処理特徴量に対応付けて、過去に行われた編集操作に対応する編集処理を表す処理情報が記録されている場合には、表示装置１５では、注目フレームの圧縮特徴量とともに、注目フレームの画像データに対して、過去に行われた編集操作に対応する編集処理が施された結果得られる編集後画像データに対応するコンテンツ画像が表示される。
ステップＳ１２８では、表示制御部１３３が、記録媒体１２４に記録された圧縮特徴量のすべての表示が終了したか、又は、再生を終了するように、リモートコマンダ１４が操作されたかどうかを判定する。
ステップＳ１２８において、記録媒体１２４に記録された圧縮特徴量のすべての表示が、まだ終了していないと判定され、かつ、再生を終了するように、リモートコマンダ１４が操作されていないと判定された場合、処理は、ステップＳ１２２に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１２８において、記録媒体１２４に記録された圧縮特徴量のすべての表示が終了したと判定されるか、又は、再生を終了するように、リモートコマンダ１４が操作されたと判定された場合、簡易編集モードの処理は終了する。
以上のように、図１７の簡易編集モードの処理では、記録メディア１１に記録された画像データの圧縮特徴量が表示されるとともに、その画像データ、又はその画像データの編集処理後の編集後画像データに対応するコンテンツ画像が表示されるので、ユーザは、圧縮特徴量を見て編集操作を行い、その編集操作に対応する編集処理が施された後の画像を確認することができる。
次に、図１８は、図１の画像処理装置１３の第４の構成例を示すブロック図である。
なお、図中、図８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１８の画像処理装置１３は、一致特徴量検出部４２、受光部４４、処理情報決定部４６、選択部４７、遅延部４８、処理反映部４９、読み出し部６３、制御部１２２、記録部１２３、記録媒体１２４、及び表示制御部１２５を有する点で、図８の場合と一致する。但し、図１８の画像処理装置１３は、２つの特徴量抽出部４１及び１２１に代えて、１つの特徴量抽出部１４１だけが設けられている点で、図８の場合と相違している。
特徴量抽出部１４１には、画像再生装置１２から、記録メディア１１から再生された画像データが、１フレーム単位で供給されるようになっている。特徴量抽出部１４１は、画像再生装置１２からの１フレームの画像データから、特徴量を抽出し、一致特徴量検出部４２及び記録部１２３に供給する。
すなわち、図８においては、上述したように、特徴量抽出部４１は、１フレームの画像データから、そのフレームを特定しうる情報を、処理特徴量として抽出し、特徴量抽出部１２１は、１フレームの画像データから、その１フレームの画像データよりもデータ量を少なくした情報であって、かつ、ユーザが見て、編集操作をする行動を喚起するような情報を、圧縮特徴量として抽出する。
以上のような処理特徴量と、圧縮特徴量とは、その範疇に含まれる情報の範囲は異なるが、一部の情報は、処理特徴量としても、圧縮特徴量としても、採用することができることがある。
すなわち、例えば、図１２で説明した、圧縮特徴量としての、１フレームの画像データの画素値を表すビット列の上位２ビットは、処理特徴量としても用いることができる。
図１８の画像処理装置１３では、特徴量抽出部１４１において、１フレームの画像データから、上述のような、処理特徴量としても用いることができる圧縮特徴量（又は、圧縮特徴量としても用いることができる処理特徴量）が抽出される。
したがって、図１８の画像処理装置１３では、記録媒体１２４において、処理情報が、処理特徴量でもある圧縮特徴量と対応付けて記録される。
ここで、図１８の画像処理装置１３では、処理特徴量を用いて行われる処理が、圧縮特徴量を用いて行われる点を除けば、図８の場合と同様の特徴量記録処理（図９）、編集／再生処理（図１０）、及び簡易編集モードの処理（図１１）が行われるため、図１８の画像処理装置１３の処理の説明は、省略する。
なお、図１８の画像処理装置１３では、圧縮特徴量と処理特徴量として、同一の情報を採用する必要があるが、図８及び図１６の画像処理装置１３では、圧縮特徴量と処理特徴量として、同一の情報を採用することもできるし、異なる情報を採用することもできる。
また、図１６の画像処理装置１３でも、図１８の画像処理装置１３と同様に、圧縮特徴量と処理特徴量として、同一の情報を採用し、２つの特徴量抽出部４１及び１２１を、１つの特徴量抽出部１４１で兼用することができる。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図１９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 画像処理装置１３の第１の構成例を示すブロック図である。 一致特徴量検出部４２の構成例を示すブロック図である。 一致特徴量検出部４２による一致特徴量検出処理を説明する図である。 特徴量記録処理を説明するフローチャートである。 編集／再生処理を説明するフローチャートである。 編集／再生処理を説明する図である。 画像処理装置１３の第２の構成例を示すブロック図である。 特徴量記録処理を説明するフローチャートである。 編集／再生処理を説明するフローチャートである。 簡易編集モードの処理を説明するフローチャートである。 圧縮特徴量の表示例を示す図である。 圧縮特徴量の表示例を示す図である。 圧縮特徴量の表示例を示す図である。 圧縮特徴量の表示処理を説明するフローチャートである。 画像処理装置１３の第３の構成例を示すブロック図である。 簡易編集モードの処理を説明するフローチャートである。 画像処理装置１３の第４の構成例を示すブロック図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１１ 記録メディア， １２ 画像再生装置， １３ 画像処理装置， １４ リモートコマンダ， １５ 表示装置， ４１ 特徴量抽出部， ４２ 一致特徴量検出部， ４３ 制御部， ４４ 受光部， ４５ 処理情報決定部， ４７ 選択部， ４８ 遅延部， ４９ 処理反映部， ６１ 記録部， ６２ 記録媒体， ６３ 読み出し部， １０１−１ないし１０１−３ 特徴量バッファ， １０２ 再生位置特徴量生成部， １０３ 比較部， １０４ 検索位置特徴量読み出し部， １０５ 検出部， １２１ 特徴量抽出部， １２２ 制御部， １２３ 記録部， １２４ 記録媒体， １２５ 表示制御部， １３２ 読み出し部， １３３ 表示制御部， １４１ 特徴量抽出部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体

Claims (15)

  1. 画像を処理する画像処理装置において、
    画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出手段と、
    前記圧縮特徴量を表示させる表示制御手段と、
    画像データから、画像データを特定しうる情報である処理特徴量を抽出する処理特徴量抽出手段と、
    画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、
    前記処理情報を、その処理情報が表す処理を施す画像データの処理特徴量と対応付けて記録媒体に記録する記録手段と、
    前記記録媒体に記録された処理特徴量から、前記処理特徴量抽出手段により抽出された処理特徴量と一致する値の処理特徴量である一致特徴量を検出する一致特徴量検出手段と、
    前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する処理特徴量が抽出された画像データに施す処理反映手段と
    を備える画像処理装置。
  2. 前記処理情報決定手段は、ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定する
    請求項１に記載の画像処理装置。
  3. 前記圧縮特徴量抽出手段は、複数種類の圧縮特徴量を抽出し、
    前記表示制御手段は、前記複数種類の圧縮特徴量のうちの少なくとも１種類の圧縮特徴量を表示させる
    請求項１に記載の画像処理装置。
  4. 前記圧縮特徴量は、記録媒体に記録され、
    前記表示制御手段は、前記記録媒体に記録された圧縮特徴量を表示させる
    請求項１に記載の画像処理装置。
  5. 前記処理特徴量は、前記画像データの所定の領域の画素の画素値の加算値である
    請求項１に記載の画像処理装置。
  6. 前記圧縮特徴量は、前記画像データの動きを表す情報である
    請求項１に記載の画像処理装置。
  7. 前記圧縮特徴量は、前記画像データの空間アクティビティを表す情報である
    請求項１に記載の画像処理装置。
  8. 前記圧縮特徴量は、前記画像データの画素値を表すビット列の一部である
    請求項１に記載の画像処理装置。
  9. 前記処理特徴量と圧縮特徴量とは、異なる情報である
    請求項１に記載の画像処理装置。
  10. 前記処理特徴量と圧縮特徴量とは、同一の情報である
    請求項１に記載の画像処理装置。
  11. 画像を処理する画像処理方法において、
    画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出ステップと、
    前記圧縮特徴量を表示させる表示制御ステップと、
    画像データから、画像データを特定しうる情報である処理特徴量を抽出する処理特徴量抽出ステップと、
    画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定ステップと、
    前記処理情報を、その処理情報が表す処理を施す画像データの処理特徴量と対応付けて記録媒体に記録する記録ステップと、
    前記記録媒体に記録された処理特徴量から、前記処理特徴量抽出ステップにより抽出された処理特徴量と一致する値の処理特徴量である一致特徴量を検出する一致特徴量検出ステップと、
    前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する処理特徴量が抽出された画像データに施す処理反映ステップと
    を含む画像処理方法。
  12. 画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出手段と、
    前記圧縮特徴量を表示させる表示制御手段と、
    画像データから、画像データを特定しうる情報である処理特徴量を抽出する処理特徴量抽出手段と、
    画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、
    前記処理情報を、その処理情報が表す処理を施す画像データの処理特徴量と対応付けて記録媒体に記録する記録手段と、
    前記記録媒体に記録された処理特徴量から、前記処理特徴量抽出手段により抽出された処理特徴量と一致する値の処理特徴量である一致特徴量を検出する一致特徴量検出手段と、
    前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する処理特徴量が抽出された画像データに施す処理反映手段と
    して、コンピュータを機能させるためのプログラム。
  13. 画像を処理する画像処理装置において、
    画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出手段と、
    前記圧縮特徴量を表示させる表示制御手段と、
    ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、
    前記処理情報を、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録する記録手段と、
    前記記録媒体に記録された圧縮特徴量から、前記圧縮特徴量抽出手段により抽出された圧縮特徴量と一致する値の圧縮特徴量である一致特徴量を検出する一致特徴量検出手段と、
    前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する圧縮特徴量が抽出された画像データに施す処理反映手段と
    を備える画像処理装置。
  14. 画像を処理する画像処理方法において、
    画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出ステップと、
    前記圧縮特徴量を表示させる表示制御ステップと、
    ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定ステップと、
    前記処理情報を、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録する記録ステップと、
    前記記録媒体に記録された圧縮特徴量から、前記圧縮特徴量抽出ステップにより抽出された圧縮特徴量と一致する値の圧縮特徴量である一致特徴量を検出する一致特徴量検出ステップと、
    前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する圧縮特徴量が抽出された画像データに施す処理反映ステップと
    を含む画像処理方法。
  15. 画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出手段と、
    前記圧縮特徴量を表示させる表示制御手段と、
    ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、
    前記処理情報を、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録する記録手段と、
    前記記録媒体に記録された圧縮特徴量から、前記圧縮特徴量抽出手段により抽出された圧縮特徴量と一致する値の圧縮特徴量である一致特徴量を検出する一致特徴量検出手段と、
    前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する圧縮特徴量が抽出された画像データに施す処理反映手段と
    して、コンピュータを機能させるためのプログラム。
JP2007017458A 2007-01-29 2007-01-29 画像処理装置、画像処理方法、及びプログラム Expired - Fee Related JP4957960B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007017458A JP4957960B2 (ja) 2007-01-29 2007-01-29 画像処理装置、画像処理方法、及びプログラム
US11/966,326 US8036470B2 (en) 2007-01-29 2007-12-28 Image processing apparatus, image processing method, and program
KR20080008412A KR20080071084A (ko) 2007-01-29 2008-01-28 화상 처리 장치, 화상 처리 방법, 및 프로그램
EP20080100982 EP1950762A1 (en) 2007-01-29 2008-01-28 Image processing apparatus, image processing method, and program
CN2008100049224A CN101237551B (zh) 2007-01-29 2008-01-29 图像处理装置以及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007017458A JP4957960B2 (ja) 2007-01-29 2007-01-29 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2008187324A JP2008187324A (ja) 2008-08-14
JP4957960B2 true JP4957960B2 (ja) 2012-06-20

Family

ID=39400461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007017458A Expired - Fee Related JP4957960B2 (ja) 2007-01-29 2007-01-29 画像処理装置、画像処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US8036470B2 (ja)
EP (1) EP1950762A1 (ja)
JP (1) JP4957960B2 (ja)
KR (1) KR20080071084A (ja)
CN (1) CN101237551B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666019B1 (ko) * 2010-08-03 2016-10-14 삼성전자주식회사 외삽 뷰 생성을 위한 장치 및 방법
JP6191160B2 (ja) * 2012-07-12 2017-09-06 ノーリツプレシジョン株式会社 画像処理プログラムおよび画像処理装置
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
WO2015015712A1 (ja) 2013-07-30 2015-02-05 パナソニックＩｐマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
EP3043571A4 (en) 2013-09-04 2016-08-17 Panasonic Ip Man Co Ltd VIDEO RECEIVING DEVICE, VIDEO RECOGNITION METHOD, AND ADDITIONAL INFORMATION DISPLAY SYSTEM
WO2015033500A1 (ja) 2013-09-04 2015-03-12 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
CN105144735A (zh) 2014-03-26 2015-12-09 松下知识产权经营株式会社 影像接收装置、影像识别方法以及附加信息显示系统
WO2015145491A1 (ja) 2014-03-26 2015-10-01 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
WO2016009637A1 (ja) * 2014-07-17 2016-01-21 パナソニックＩｐマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
US11001129B2 (en) 2015-12-30 2021-05-11 Nikola Corporation Cargo door for semi-truck
US10981609B2 (en) 2015-12-30 2021-04-20 Nikola Corporation Systems, methods, and devices for an automobile door or window

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE148819T1 (de) 1990-09-19 1997-02-15 Philips Electronics Nv Methode und apparat zur regelung der anzeige des dargestellten bildes
US5228098A (en) * 1991-06-14 1993-07-13 Tektronix, Inc. Adaptive spatio-temporal compression/decompression of video image signals
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
JP3432348B2 (ja) * 1996-01-30 2003-08-04 三菱電機株式会社 代表画像表示方法、代表画像表示装置およびこの装置を用いた動画検索装置
JP3877371B2 (ja) * 1997-02-26 2007-02-07 株式会社東芝 映像再生装置
JP2002204450A (ja) * 2000-12-28 2002-07-19 Sony Corp データ処理装置および方法
GB9815638D0 (en) 1998-07-20 1998-09-16 Danmere Limited Identification of video storage media
JP3469122B2 (ja) * 1999-03-10 2003-11-25 日本電信電話株式会社 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体
JP3649043B2 (ja) * 1999-06-07 2005-05-18 セイコーエプソン株式会社 画像表示装置及び方法、並びに、画像処理装置及び方法
US6810131B2 (en) * 2000-01-05 2004-10-26 Canon Kabushiki Kaisha Information processing method and apparatus
US7177470B2 (en) * 2002-11-13 2007-02-13 Koninklijke Philips Electronics N. V. Method of and system for detecting uniform color segments
KR20050105399A (ko) 2004-05-01 2005-11-04 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP2006011159A (ja) * 2004-06-28 2006-01-12 Nippon Telegr & Teleph Corp <Ntt> コンテンツ応答処理装置、処理方法及びそのプログラム
JP2006050483A (ja) * 2004-08-09 2006-02-16 Ricoh Co Ltd 映像解析装置、映像解析方法およびコンテンツ作成装置、並びに、プログラムおよび記録媒体
JP2006109005A (ja) * 2004-10-04 2006-04-20 Canon Inc 画像出力装置および撮像装置
JP2006180407A (ja) * 2004-12-24 2006-07-06 Hitachi Ltd 録画再生装置およびその映像編集方法
JP4640579B2 (ja) 2005-01-27 2011-03-02 ソニー株式会社 情報処理装置および回収基板
JP3968665B2 (ja) 2005-03-22 2007-08-29 ソニー株式会社 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体
JP4816140B2 (ja) 2006-02-28 2011-11-16 ソニー株式会社 画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラム
JP4670683B2 (ja) 2006-02-28 2011-04-13 ソニー株式会社 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム
JP4720544B2 (ja) 2006-03-01 2011-07-13 ソニー株式会社 画像処理装置および方法、プログラム記録媒体、並びにプログラム
JP4839952B2 (ja) 2006-05-01 2011-12-21 ソニー株式会社 画像処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP2008187324A (ja) 2008-08-14
CN101237551B (zh) 2012-01-11
US8036470B2 (en) 2011-10-11
KR20080071084A (ko) 2008-08-01
US20080181515A1 (en) 2008-07-31
EP1950762A1 (en) 2008-07-30
CN101237551A (zh) 2008-08-06

Similar Documents

Publication Publication Date Title
JP4957960B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP3977245B2 (ja) 再生装置
US20070201769A1 (en) Image processing apparatus and method, data recording medium, program recording medium, and program therefor
JP2008166988A (ja) 情報処理装置および方法、並びにプログラム
US7853083B2 (en) Image processing apparatus and method, program recording medium, and program therefor
US8401302B2 (en) Image processing apparatus, image processing method, and program
US8860846B2 (en) Image recording/reproducing device and method to process fade effect in image recording/reproducing device
CN101106678A (zh) 信息处理设备、信息处理方法和计算机程序
US20070248316A1 (en) Image display device and method for editing program thereof
JP4973935B2 (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体
US7778977B2 (en) Composite image apparatus and copy method thereof
US20090142039A1 (en) Method and apparatus for recording video data
US20030091334A1 (en) Optical disk recording apparatus and method
JP4588287B2 (ja) 記録装置および方法、記録媒体、並びにプログラム
JP2009044515A (ja) 情報処理システム、記録装置、携帯機器、情報処理方法、及びプログラム
JP2009017478A (ja) 記録装置及び再生装置
EP1411521A1 (en) Data processing apparatus, data processing method, and program
JP3126029U (ja) 光ディスク記録再生装置
KR101362594B1 (ko) 참고 특징 점을 이용한 피사체 영상 검색방법
JP2006134432A (ja) 光ディスク装置
JP2009260513A (ja) 画像処理装置、画像処理方法、及び、プログラム
US20090190900A1 (en) Image recording apparatus and method
JP2004120035A (ja) 映像記録再生装置
JP2006303615A (ja) サムネール選択装置
KR20060026507A (ko) 디지털 인터페이스를 이용한 더빙 녹화 제어장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120307

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150330

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees