JP6524997B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP6524997B2
JP6524997B2 JP2016510075A JP2016510075A JP6524997B2 JP 6524997 B2 JP6524997 B2 JP 6524997B2 JP 2016510075 A JP2016510075 A JP 2016510075A JP 2016510075 A JP2016510075 A JP 2016510075A JP 6524997 B2 JP6524997 B2 JP 6524997B2
Authority
JP
Japan
Prior art keywords
frame
frames
moving image
comparison
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016510075A
Other languages
English (en)
Other versions
JPWO2015146241A1 (ja
Inventor
由紀子 村田
由紀子 村田
智生 中野
智生 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Precision Co Ltd
Original Assignee
Noritsu Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Precision Co Ltd filed Critical Noritsu Precision Co Ltd
Publication of JPWO2015146241A1 publication Critical patent/JPWO2015146241A1/ja
Application granted granted Critical
Publication of JP6524997B2 publication Critical patent/JP6524997B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置及び画像処理プログラムに関し、特に、１の動画内に異なるチャンネルに属するフレームが混在する場合に、これらのフレームをチャンネル毎に分類するための画像処理装置及び画像処理プログラムに関する。
動画の録画の一方式として、タイムラプスという間欠録画方式が知られている。これは、通常よりも低いフレームレートで、言うならばコマを落としながら録画する方式であり、同じ記録媒体に通常よりも長時間の録画を可能にする。防犯カメラにおいても、しばしばこのタイムラプスの方式が採用され、更には、フレームレートを下げることでできた隙間時間に、別の防犯カメラの映像が挿入されることもある。この場合、複数のカメラの映像、すなわち、複数のチャンネルの映像が１つのタイムラインに沿って交互に切り替わるような動画が録画される。
複数のチャンネルの映像を１つのタイムライン上にまとめて録画した動画は、専用機器を用いれば、カメラ毎の、すなわち、チャンネル毎の映像をモニターに表示することができる。特許文献１の専用機器では、映像の各フレームにチャンネル番号のデータが付与されており、再生時には、これを参照することで、複数のチャンネルの映像が混在した映像の中から任意のチャンネルの映像のみを取り出すことができる。
特開２００２−３１９２１０号公報
しかしながら、複数のチャンネルの映像が混在した映像を一般の再生機器で再生する場合には、チャンネル毎の映像を見ることができない。各フレームのチャンネルを認識するための仕様は、メーカー毎、又は機種毎に異なっており、一般の再生機器は、これらの仕様に対応していないからである。
本発明は、１の動画内に異なるチャンネルに属するフレームが混在する場合に、当該動画がどのような仕様で録画されたものであったとしても、チャンネル毎の再生を可能にする画像処理装置及び画像処理プログラムを提供することを目的とする。
本発明の第１観点に係る画像処理装置は、１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、自動分類部を備える。前記自動分類部は、前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する。
ここでは、１の動画内に異なるチャンネルに属するフレームが混在する場合に、これらのフレームをチャンネル毎に分類するための機能が提供される。具体的には、まず、動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度が算出され、これに応じて、複数のフレームが複数のチャンネルに自動的に分類される。この機能によれば、動画の仕様に関わらず、異なるチャンネルに属するフレームが混在する動画をチャンネル毎の動画へと分離することが可能になる。すなわち、１の動画内に異なるチャンネルに属するフレームが混在する場合において、当該動画がどのような仕様で録画されたものであったとしても、チャンネル毎の再生が可能になる。
本発明の第２観点に係る画像処理装置は、第１観点に係る画像処理装置であって、前記自動分類部は、設定部と、算出部と、判定部とを含む。前記設定部は、前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する。前記算出部は、算出処理を実行する。前記算出処理は、前記比較フレーム及び前記基準フレームを複数の部分領域に分割し、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、当該局所類似度の高い前記部分領域のみを用いて、総合類似度を算出する処理である。前記総合類似度は、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である。前記判定部は、前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行する。
なお、「フレームを複数の部分領域に分割する」ことには、フレーム全体を隈なく重複なく複数の部分領域に分割することの他、フレーム全体の一部の領域（例えば、外枠領域を除いた中央領域等）を隈なく重複なく複数の部分領域に分割することや、フレーム全体又は一部を一部重複する複数の部分領域に分割すること等が含まれる。
ここでは、動画に含まれるフレーム間の類似度を算出するために、比較フレーム及び基準フレームが部分領域に分割され、当該部分領域の単位で、比較フレームと基準フレームとの間の局所類似度が算出される。そして、局所類似度の高い部分領域のみを用いて、フレーム全体での総合類似度が算出される。この総合類似度は、比較フレームと基準フレームとが同じチャンネルに属するか否かの判断基準となる。
すなわち、ここでは、総合類似度を算出するに当たり、局所類似度の低い部分領域の情報は考慮されない。なぜならば、同じチャンネルに属するフレームどうしは、背景画像は一致するが、移動体が存在する部分（以下、移動体部分）においては異なる画像となる。そして、フレーム全体に占める移動体部分の割合が大きい場合に、フレーム全体の情報を用いてフレーム間の総合類似度を判断すると、たとえ同じチャンネルに属するフレームどうしであっても、総合類似度が低く判断される虞があるからである。従って、ここでは、誤判定を避けるべく、移動体部分を多く含むと考えられる局所類似度の低い部分領域は、総合類似度の算出に用いられない。その結果、移動体の影響を低減して、比較されるフレームどうしが同じチャンネルに属するか否かを正確に判断することができる。
本発明の第３観点に係る画像処理装置は、第１観点に係る画像処理装置であって、前記自動分類部は、設定部と、算出部と、判定部とを含む。前記設定部は、前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する。前記算出部は、算出処理を実行する。前記算出処理は、前記比較フレームの中から特徴点を検出し、前記特徴点毎にその近傍領域を設定し、前記近傍領域のみを用いて、総合類似度を算出する処理である。前記総合類似度は、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である。前記判定部は、前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かの判定処理を実行する。
ここでは、動画に含まれるフレーム間の類似度を算出するために、比較フレームの中から特徴点が検出され、当該特徴点の近傍領域のみを用いて、比較フレームと基準フレームとの間の総合類似度が算出される。この総合類似度は、比較フレームと基準フレームとが同じチャンネルに属するか否かの判断基準となる。
すなわち、ここでは、総合類似度を算出するに当たり、特徴点の近傍領域以外の領域の情報は考慮されない。なぜならば、異なるチャンネルに属するフレームどうしであっても、それらが似通った光景を撮影したものであれば、フレーム全体の情報を用いてフレーム間の総合類似度を判断すると、総合類似度が高く判断される虞があるからである。例えば、同一の店内の異なる場所を撮影した２つの映像においては、どちらも同じ均一色の壁紙や床等がフレームの大部分を占めることがあり、そのような場合、フレーム全体の総合類似度が高くなってしまう。従って、ここでは、誤判定を避けるべく、特徴点の近傍領域以外の領域、すなわち、同じ均一色の壁紙や床等の背景を写している可能性の高い領域は、総合類似度の算出に用いられない。その結果、似通った背景の影響を低減して、比較されるフレームどうしが同じチャンネルに属するか否かを正確に判断することができる。
本発明の第４観点に係る画像処理装置は、第３観点に係る画像処理装置であって、前記算出部は、前記比較フレームを複数の部分領域に分割し、前記比較フレームの中から前記部分領域毎に前記特徴点を検出する。
ここでは、動画に含まれるフレーム間の類似度を算出するために、比較フレームが部分領域に分割され、当該部分領域の単位で、特徴点が検出される。その結果、特徴点が、フレームの画面全体の一部の領域に偏ってしまうことがなく、フレーム全体の中から凡そ均等に検出される。その結果、特徴点の近傍領域のみを用いて総合類似度を算出する場合に、当該総合類似度が、偏った一部の領域の類似度を評価した値となることを避けることができる。従って、比較されるフレームどうしの類似度を正確に評価することができる。
本発明の第５観点に係る画像処理装置は、第３観点又は第４観点に係る画像処理装置であって、前記算出部は、前記近傍領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、当該局所類似度の高い前記近傍領域のみを用いて、前記総合類似度を算出する。
ここでは、動画に含まれるフレーム間の類似度を算出するために、比較フレームが部分領域に分割され、当該部分領域の単位で、特徴点が検出される。そして、特徴点の近傍領域の単位で、比較フレームと基準フレームとの間の局所類似度が算出され、更に、局所類似度の高い近傍領域のみを用いて、総合類似度が算出される。
すなわち、ここでは、総合類似度を算出するに当たり、局所類似度の低い特徴点の近傍領域の情報は考慮されない。なぜならば、同じチャンネルに属するフレームどうしは、背景画像は一致するが、移動体部分においては異なる画像となる。そして、フレーム全体に占める移動体部分の割合が大きい場合に、フレーム全体の情報を用いてフレーム間の総合類似度を判断すると、たとえ同じチャンネルに属するフレームどうしであっても、総合類似度が低く判断される虞があるからである。従って、ここでは、誤判定を避けるべく、移動体部分を多く含むと考えらえる局所類似度の低い領域は、総合類似度の算出に用いられない。その結果、移動体の影響を低減して、比較されるフレームどうしが同じチャンネルに属するか否かを正確に判断することができる。
本発明の第６観点に係る画像処理装置は、第２観点から第５観点のいずれかに係る画像処理装置であって、前記設定部は、フレームの画面内においてエリアの設定をユーザから受け付け、前記動画に含まれる特定のフレームの前記エリア内の画像を、又は前記動画に含まれる２以上の特定のフレームの前記エリア内の画像を合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームの前記エリア内の画像を比較フレームとして設定する。
例えば、処理対象となる動画が防犯カメラの映像等である場合には、しばしば、フレームの画面内には、日時の表示エリアが設けられている。そして、このような日時の表示エリアを含むフレーム全体の情報を用いてフレーム間の類似度を判断すると、同じチャンネルに属するフレームどうしであっても、類似度が低く判断される虞がある。また、フレームの画面内に、黒縁が設けられている場合がある。逆に、このような場合には、黒縁を含むフレーム全体の情報を用いてフレーム間の類似度を判断すると、異なるチャンネルに属するフレームどうしであっても、類似度が高く判断される虞がある。ここでは、フレームの画面内において、ユーザにより指定されたエリアのみが、類似度の算出の根拠として利用される。従って、以上のような誤判定の要因となり得るエリアを類似度の算出の根拠となるエリアから除外することができる。
本発明の第７観点に係る画像処理装置は、第２観点から第６観点のいずれかに係る画像処理装置であって、前記設定部は、前記基準フレームを複数設定することが可能である。前記算出部は、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理を実行する。前記判定部は、前記判定処理において、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定する。
ここでは、基準フレームを複数設定することが可能である。そして、比較フレームは各基準フレームと比較され、最も高い総合類似度を与える基準フレームと同じチャンネルに分類される。なお、ここでの基準フレームは、特定のチャンネルを代表するフレームとして機能する。その結果、動画に含まれるフレームを複数のチャンネルに正確に分類することができる。
本発明の第８観点に係る画像処理装置は、第７観点に係る画像処理装置であって、前記設定部は、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定する。前記設定部が前記比較フレームを新たに設定する度に、前記算出部は、前記算出処理を実行し、前記判定部は、前記判定処理を実行する。前記設定部は、前記判定処理により、前記比較フレームがいずれの前記基準フレームとも、又はいずれの前記基準フレームの合成元のフレームとも同じ前記チャンネルに属さないと判定された場合には、当該比較フレームを前記基準フレームとして再設定する。
ここでは、動画の中からフレームが順次選択され、最初に選択されたフレームが特定のチャンネルを代表する基準フレームとして設定される。また、２番目以降に選択されたフレームは、まずは比較フレームとして設定される。そして、比較フレームがそれまでに設定されている各基準フレームと比較され、いずれの基準フレームに対応するチャンネルにも属さないと判定された場合には、新たなチャンネルを代表する基準フレームとして再設定される。この方法によれば、例えば、動画に含まれるフレームの総当たりの比較を避けることができ、計算負荷を抑えつつ、動画に含まれるフレームを複数のチャンネルに分類することができる。
本発明の第９観点に係る画像処理装置は、第７観点又は第８観点に係る画像処理装置であって、前記設定部は、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定する。前記設定部が前記比較フレームを新たに設定する度に、前記算出部は、前記算出処理を実行し、前記判定部は、前記判定処理を実行する。前記設定部は、前記判定処理により、前記比較フレームがいずれかの前記基準フレームと、又はいずれかの前記基準フレームの合成元のフレームと同じ前記チャンネルに属すると判定された場合には、当該基準フレームに当該比較フレームを合成する。
ここでは、動画の中からフレームが順次選択され、最初に選択されたフレームが特定のチャンネルを代表する基準フレームとして設定される。また、２番目以降に選択されたフレームは、まずは比較フレームとして設定される。そして、比較フレームがそれまでに設定されている各基準フレームと比較され、いずれかの基準フレームに対応するチャンネルに属すると判定された場合には、当該比較フレームが当該基準フレームに合成される。この方法によれば、特定のチャンネルを代表する基準フレームが、当該チャンネルに属する様々なフレームを正確に代表する画像となり、動画に含まれるフレームを複数のチャンネルに正確に分類することができる。
本発明の第１０観点に係る画像処理装置は、第８観点又は第９観点に係る画像処理装置であって、前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後において、前記基準フレームが複数設定されている場合に、前記算出部は、前記複数の基準フレーム間の類似度を算出する。前記判定部は、前記複数の基準フレーム間の類似度の高い前記基準フレームに対応する前記チャンネルどうしを、１つのチャンネルに統合する。
ここでは、個々のフレームに対する自動分類の判定が終了した後に、再度チャンネル間の類似度が判定される。従って、最終的に自動分類により検出されるチャンネルの数を減らし、チャンネル分類の精度を向上させることができる。
本発明の第１１観点に係る画像処理装置は、第８観点から第１０観点のいずれかに係る画像処理装置であって、前記判定部は、前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる。
ここでは、個々のフレームに対する自動分類の判定が終了した後に、所定枚数以下のフレームしか属していないチャンネルが存在する場合には、そのようなチャンネルが消滅させられる。これにより、チャンネルとはみなせないようなチャンネルが、自動分類の最終的な結果に含まれることを回避し、チャンネル分類の精度を向上させることができる。
本発明の第１２観点に係る画像処理装置は、第１観点から第１１観点のいずれかに係る画像処理装置であって、前記類似度は、相関係数である。
ここでは、フレーム間の相関係数に基づいて、動画に含まれるフレームを複数のチャンネルに分類することができる。
本発明の第１３観点に係る画像処理プログラムは、１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップをコンピュータに実行させる。ここでは、第１観点と同様の効果を奏することができる。
本発明の第１４観点に係る画像処理プログラムは、第１３観点に係る画像処理プログラムであって、前記分類するステップは、前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するステップと、前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、前記比較フレーム及び前記基準フレームを複数の部分領域に分割するステップと、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出するステップと、局所類似度の高い前記部分領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出するステップと、前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行するステップとを含む。ここでは、第２観点と同様の効果を奏することができる。
本発明の第１５観点に係る画像処理プログラムは、第１３観点に係る画像処理プログラムであって、前記分類するステップは、前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するステップと、前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、前記比較フレームの中から特徴点を検出するステップと、前記特徴点毎にその近傍の領域である近傍領域を設定するステップと、前記近傍領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出するステップと、前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かを判定するステップとを含む。ここでは、第３観点と同様の効果を奏することができる。
本発明によれば、動画の仕様に関わらず、異なるチャンネルに属するフレームが混在する動画をチャンネル毎の動画へと分離することが可能になる。すなわち、１の動画内に異なるチャンネルに属するフレームが混在する場合において、当該動画がどのような仕様で録画されたものであったとしても、チャンネル毎の再生が可能になる。
本発明の第１実施形態に係る画像処理装置のブロック図。 画像データが取り込まれる前の基本画面の図。 画像データが取り込まれた後の基本画面の図。 １のタイムラインに属する静止画群を示す図。 エリア設定ウィンドウを示す図。 再分類ウィンドウを示す図。 再分類ウィンドウを示す別の図。 確認ウィンドウを示す図。 本発明の第１実施形態に係る自動分類処理の流れを示すフローチャート。 本発明の第１実施形態に係る類似度の算出の方法を説明する概念図。 本発明の第２実施形態に係る自動分類処理の流れを示すフローチャート。 本発明の第２実施形態に係る類似度の算出の方法を説明する概念図。 本発明の第３の実施形態に係る自動分類処理の流れを示すフローチャート。 本発明の第３実施形態に係る類似度の算出の方法を説明する概念図。 本発明の第３実施形態に係る別の類似度の算出の方法を説明する概念図。 本発明の第３実施形態に係るさらに別の類似度の算出の方法を説明する概念図。 本発明の第３の実施形態に係る色彩傾向を評価する処理の流れを示すフローチャート。 印象度を定義する情報を説明する図。
以下、図面を参照しつつ、本発明のいくつかの実施形態に係る画像処理装置及び画像処理プログラムについて説明する。
＜１．第１実施形態＞
＜１−１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２が、これを格納するＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体６０等から提供され、インストールされている。画像処理プログラム２は、動画及び静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。
画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０及び制御部４０を有する。これらの部１０〜４０は、互いにバス線やケーブル等５を介して接続されており、適宜、通信可能である。ディスプレイ１０は、液晶ディスプレイ等から構成され、後述する画面等をユーザに対し表示する。入力部２０は、マウス及びキーボート等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスク等から構成される不揮発性の記憶領域である。制御部４０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成される。
画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１、加工ファイル領域５２及び印象度定義領域５３が確保されている。各領域５１〜５３の役割については、後述する。
制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に自動分類部４１及び再分類部４５として動作する。また、自動分類部は、設定部４２、算出部４３及び判定部４４としても動作する。各部４１〜４５の動作については、後述する。
＜１−２．画像処理装置の構成及び動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。なお、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示は、制御部４０により制御される。
＜１−２−１．画像データの取込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する再生処理、画像処理及びチャンネル分離処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。
静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパス及びファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパス及びフォルダ名をユーザに入力させる。その後、制御部４０は、指定された静止画ファイル又は指定されたフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。
一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパス及びファイル名を入力する。制御部４０は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して特定の区間を選択したことを検知すると、指定された動画ファイルのその区間に含まれるフレーム群に１対１で対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。従って、本実施形態では、後述する再生処理、画像処理及びチャンネル分離処理の対象となる画像データは、動画ファイルではなく、静止画ファイルである。
なお、制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来する場合だけではなく、静止画ファイルに由来する場合であっても、静止画ファイル群を１のタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性等から自動的に付与される。
＜１−２−２．再生処理＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、制御部４０は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ作成される。
表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームの静止画ファイル）が表示される。その後、後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。
制御部４０は、表示ウィンドウＷ２内で、その表示ウィンドウＷ２に対応するタイムラインに属するフレーム群を、動画として再生可能である。ここで、図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４及びタイムラインバーＴ５が配置されている。
表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。
再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。制御部４０は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。
コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。
タイムラインバーＴ５は、アクティブタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。
図３に示すように、タイムラインバーＴ５は、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを異なる態様で表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に対応するフレーム群である。
タイムラインバーＴ５は、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。言い換えると、ユーザは、入力部２０を介してタイムラインバーＴ５上の分割領域を操作することにより、アクティブフレーム群の中から、任意のフレームを任意の数だけ選択することができる。制御部４０は、選択フレーム群を後述される画像処理及びチャンネル分離処理の対象として認識する。なお、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブ表示フレームは、最新に選択された分割領域に対応するフレームに切り替わる。
＜１−２−３．画像処理＞
以下、選択フレーム群に対する画像処理について説明する。制御部４０は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、回転、文字／矢印／モザイクの付加、画像平均などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。
ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。制御部４０は、ユーザが画像処理モジュールを選択したことを検知する度に、選択フレーム群に対しその画像処理モジュールを実行する。
フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームに対応する静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。制御部４０は、第１次以降のフレームに対応する静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個に保存する。
図４は、１のタイムラインに属する静止画群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、静止画Ｑ（ｎ，ｍ）を表している。静止画Ｑ（ｎ，ｍ）は、タイムライン上でｎ番目のフレームの第ｍ次の静止画である（ｎは、自然数であり、ｍは、０以上の整数である）。
制御部４０は、各フレームについて、現在選択されている座標ｍの値をパラメータｍsとして管理する。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、座標ｍsは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍsは１ずつインクリメントされる。また、ユーザは、入力部２０を介して所定の操作を行うことにより、選択フレーム群の座標ｍsを自在に変更することができる。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの第ｍs次の静止画に対し画像処理モジュールを実行することである。従って、座標ｍsを変更することには、画像処理モジュールの実行の対象を変更するという意味がある。また、フレームを表示するとは、そのフレームの座標ｍsの静止画を表示することである。従って、座標ｍsを変更することには、アクティブな表示ウィンドウＷ２内に表示される対象を変更するという意味もある。
＜１−３．チャンネル分離処理＞
以下、画像処理プログラム２に実装されているチャンネル分離処理について説明する。チャンネル分離処理とは、異なるチャンネルに属する映像が混在する動画を、チャンネル毎の動画へと分離する処理である。すなわち、チャンネル分離処理の対象とされるべき動画とは、典型的には、タイムラプスの方式で録画される複数の動画を、各動画の隙間時間に他の動画の映像を埋める形式で１つのタイムライン上に混合した動画（以下、混合タイムラプス動画という）である。混合タイムラプス動画は、複数のチャンネルの映像がタイムラインに沿って交互に切り替わるような動画である。
チャンネル分離処理は、選択フレーム群に対し実行されるが、チャンネル分離処理の実行には、複数のフレームが必要となる。従って、選択フレーム群としてフレームが１枚しか選択されていない状態では、チャンネル分離処理の開始のための操作ボタン等が無効化されており、チャンネル分離処理は開始させることができないものとする。或いは、選択フレーム群としてフレームが１枚しか選択されていなかったとしても、アクティブタイムライン上に複数のフレームが存在する場合には、アクティブタイムライン上の全てのフレームを、チャンネル分離処理の対象とすることもできる。以下では、チャンネル分離処理の対象となるフレーム群を対象フレーム群と呼ぶ。また、対象フレーム群により構成される動画を対象動画と呼ぶ。
チャンネル分離処理は、対象動画に含まれる複数のフレームを複数のチャンネルに自動的に分類する自動分類処理と、自動分類処理による分類結果をユーザが手動操作により修正する再分類処理とからなる。
自動分類処理は、自動分類部４１により実行される。自動分類処理は、対象動画に含まれる複数のフレームに画像処理を施すことにより、これらのフレームを複数のチャンネルに自動的に分類する処理である。具体的には、自動分類部４１は、フレーム間の類似度を算出し、当該類似度に応じて、対象動画に含まれる複数のフレームを複数のチャンネルに分類する。フレーム間の類似度は、比較されるフレームが同じチャンネルに属することの指標として算出される。自動分類処理の詳細については後述するが、自動分類処理の結果、複数のチャンネルが検出される。各チャンネルには、複数のフレームが所属する。なお、混合タイムラプス動画が対象とされる限りには、通常、複数のチャンネルが検出されることになるが、自動分類処理の結果、１のチャンネルしか検出されないこともあり得る。また、自動分類処理において、いずれのチャンネルにも属さないと判定されたフレームには、「未分類」という分類のラベリングが付与される。従って、自動分類処理の結果、対象動画に含まれる各フレームには、いずれかのチャンネルのチャンネル名、又は「未分類」のいずれかのラベリングが付与される。
再分類処理は、再分類部４５により実行される。再分類処理は、ユーザの操作に従って、対象動画に含まれる任意のフレームを任意のチャンネルに個別に分類する処理である。具体的には、再分類処理では、自動分類処理によりいずれのチャンネルにも分類されなかった未分類のフレームを、個別に特定のチャンネルに分類することができる。また、自動分類処理により誤ったチャンネルに分類されてしまったフレームを、正しい別のチャンネルに分類することもできる。従って、ユーザは、自動分類処理の結果がおかしいと感じた場合に、問題のフレームの所属先のチャンネルをフレーム単位で修正することができる。また、再分類処理では、ユーザの操作に従って、チャンネルを新規作成したり、複数のチャンネルを１のチャンネルに統合したりすることも可能である。すなわち、再分類処理は、自動分類処理の結果の手動での修正に利用される。
自動分類部４１は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、チャンネル分離処理を開始させる。チャンネル分離処理が開始すると、設定部４２は、まず、基本画面Ｗ１上に、選択フレームを表示するエリア設定ウィンドウＷ３（図５参照）を重ねて表示させる。エリア設定ウィンドウＷ３は、選択フレーム内で、自動分類処理においてフレーム間の類似度を算出するための基準となるエリアの指定をユーザから受け付ける画面である。選択フレームとは、対象フレーム群に含まれる１のフレームであり、例えば、対象フレーム群の中でタイムラインに沿って先頭のフレームとしたり、アクティブ表示フレームとしたりすることができる。なお、既に述べたことから明らかであるが、アクティブ表示フレームは、タイムラインバーＴ５上で最新に選択されたフレームであるため、必ず対象フレーム群に含まれている。
対象動画が防犯カメラの映像等である場合には、しばしば、フレームの画面内には（図５の例では左下の部分）、日時の表示エリアが設けられている。そして、このような日時の表示エリアを含むフレーム全体の情報を用いてフレーム間の類似度を判断すると、同じチャンネルに属するフレームどうしであっても、類似度が低く判断される虞がある。また、フレームの画面内に、黒縁が設けられている場合がある。逆に、このような場合には、黒縁を含むフレーム全体の情報を用いてフレーム間の類似度を判断すると、異なるチャンネルに属するフレームどうしであっても、類似度が高く判断される虞がある。また、対象動画が、異なるエレベータ内に設置された防犯カメラの映像から構成される混合タイムラプス動画である場合にも、異なるチャンネルに属するフレーム間の類似度が高く判断され易い。エレベータ内の風景は、いずれも似通っているからである。エリア設定ウィンドウＷ３は、このような事態を避け、自動分類処理で算出されるフレーム間の類似度が同じチャンネルに属することの正確な指標となるよう、誤判定の要因となり得るエリアを類似度の算出の根拠となるエリアから除外するのに役立つ。具体的には、ユーザは、エリア設定ウィンドウＷ３の選択フレーム内で、各チャンネルの背景を特徴づけるエリアを指定する。エレベータの例で言うと、各エレベータ内の風景を特徴づけるポスター等が写っているエリアを指定すればよい。ユーザが、エリア設定ウィンドウＷ３上で、マウス等の操作により選択フレーム内の任意のエリアを指定すると、選択フレーム内には、ユーザにより指定されたエリアを示す囲み線７１が表示される。これにより、ユーザは、正しいエリアを指定できているか否かを確認することができる。
そして、ユーザによりエリア設定ウィンドウＷ３上の開始ボタン７２が押されると、その旨が自動分類部４１により検知され、後述する自動分類処理が開始する。また、同時に、エリア設定ウィンドウＷ３が閉じられる。なお、選択フレーム内でエリアが指定されていない状態で、開始ボタン７２が押された場合には、自動分類処理において、フレームの画面全体が類似度の算出の根拠として使用される。キャンセルボタン７３は、エリア設定ウィンドウＷ３を介してのエリア指定をキャンセルするためのボタンである。
自動分類処理の実行中は、自動分類処理の進捗状況を示すダイアログボックスが表示される。そして、自動分類処理が終了すると、当該ダイアログボックスが閉じられるとともに、再分類部４５が再分類処理を開始する。自動分類処理の詳細については、後述する。再分類部４５は、まず、基本画面Ｗ１上に、自動分類処理後に再分類を行うためのユーザーインターフェースとして、図６に示す再分類ウィンドウＷ４を重ねて表示させる。
再分類ウィンドウＷ４上には、チャンネル一覧エリアＣ１、フレーム一覧エリアＣ２、再生エリアＣ３、及びタイムラインバーＣ４が配置されている。チャンネル一覧エリアＣ１内には、自動分類処理で検出されたチャンネルにそれぞれ対応するチャンネルオブジェクト９１が配列される。図６の例では、４つのチャンネルＣＨ０１，ＣＨ０２，ＣＨ０３，ＣＨ０４に対応する４つのチャンネルオブジェクト９１が配列されている。本実施形態では、チャンネルオブジェクト９１は、アイコンの形態である。
図６に示すとおり、チャンネルオブジェクト９１には、対応するチャンネルのチャンネル名ＣＨ０１，ＣＨ０２，・・・が表示される。また、チャンネルオブジェクト９１には、対応するチャンネルに属する複数のフレームを代表する代表フレームのサムネイル画像が表示される。代表フレームは、後述するユーザの操作を受けて適宜切り替わるが、デフォルトは、例えば、対応するチャンネルに属するフレームのうち、タイムラインに沿って先頭のフレームである。なお、図６には示されていないが、チャンネルの数が多くなり、全てのチャンネルに対応するチャンネルオブジェクト９１をチャンネル一覧エリアＣ１内に配置しきれなくなると、当該エリアＣ１内にスクロールバーが登場し、当該エリアＣ１は実質的に拡大される。また、チャンネルオブジェクト９１には、対応するチャンネルに属するフレームの枚数も表示される。このようなフレームの枚数は、後述するユーザの操作を受けて変化するが、当該変化に合わせて、チャンネルオブジェクト９１における枚数の表示も、リアルタイムに切り替わる。
また、チャンネル一覧エリアＣ１内には、チャンネルオブジェクト９１の他、未分類オブジェクト９２も配置されている。未分類オブジェクト９２は、対象フレーム群の中で、いずれのチャンネルにも属さない未分類のフレームをまとめる分類に対応するオブジェクトである。なお、未分類のフレームをまとめる分類とは、現実のチャンネルには対応しないが、フレームをまとめていると言う意味では、仮想的には１つのチャンネルを構成している。そのため、未分類オブジェクト９２は、チャンネルオブジェクト９１と類似の形態を有し、本実施形態では、同じサイズのアイコンである。具体的には、未分類オブジェクト９２では、チャンネル名に代えて「未分類」の表示がされ、チャンネルに属するフレームの枚数に代えて未分類フレームの枚数が表示される。未分類オブジェクト９２における枚数の表示も、未分類のフレームの枚数の変化に合わせて、リアルタイムに切り替わる。また、未分類オブジェクト９２にも、「未分類」のフレームを代表する代表フレームのサムネイル画像が表示される。この代表フレームも、後述するユーザの操作を受けて適宜切り替わるが、デフォルトは、例えば、「未分類」の分類に属するフレームのうち、タイムラインに沿って先頭のフレームである。本実施形態では、未分類オブジェクト９２とチャンネルオブジェクト９１との間には、境界線９３が引かれている。
再分類部４５は、チャンネル一覧エリアＣ１内において、全てのチャンネルオブジェクト９１及び未分類オブジェクト９２の中から、任意の１のオブジェクトを選択する選択操作をユーザから受け付けている。全てのオブジェクト９１，９２のうち、現在選択されているオブジェクトは、その他のオブジェクトとは異なる態様で表示される。図６の例では、チャンネルＣＨ０１のオブジェクト９１が、その他のオブジェクト９１，９２とは異なる色で表示されている。以下では、現在選択されている１のオブジェクト９１，９２に対応するチャンネル又は分類を、選択チャンネルと呼ぶ。
フレーム一覧エリアＣ２内では、選択チャンネルに属する全てのフレームのサムネイル画像９４が一覧表示される。なお、選択チャンネルに属するフレームの枚数が多く、全てのサムネイル画像９４をフレーム一覧エリアＣ２内に配置しきれない場合には、当該エリアＣ２内にスクロールバー９５が登場し、当該エリアＣ２は実質的に拡大される。従って、ユーザは、オブジェクト９１，９２の選択状態を切り替えることにより、フレーム一覧エリアＣ２内に、未分類の全てのフレーム、又はいずれかのチャンネルに属する全てのフレームを選択的に一覧表示させることができる。従って、フレーム一覧エリアＣ２内の限られたスペースを有効利用しつつ、対象フレーム群に含まれる未分類及び分類済みのフレームを全て確認することができる。特に、この一覧表示の態様によれば、各チャンネルに誤ったフレームが分類されていたとしても、それを発見することが容易になる。なお、本実施形態では、チャンネル一覧エリアＣ１内のサムネイル画像９４は、多段式に配列可能であり、元のフレームのタイムライン上での順番ｎが大きくなるにつれて、左から右へ、上から下へと時系列順に配置される。
再分類部４５は、各チャンネルに属する特定の１枚のフレームを、アクティブフレームとして管理するとともに、特定の１枚の未分類のフレームについても、アクティブフレームとして管理する。フレーム一覧エリアＣ２内では、アクティブフレームのサムネイル画像９４には、他のフレームのサムネイル画像９４と区別するためのサインとして、囲み枠９６が付される。フレーム一覧エリアＣ２内のサムネイル画像９４は、各々、オブジェクトとして認識されており、ユーザは、クリック操作等により、フレーム一覧エリアＣ２内の全てのサムネイル画像９４の中から、任意の１のサムネイル画像９４を選択することができる。また、キーボード上の特定のキーを押下しながら、クリック操作を繰り返す操作等により、フレーム一覧エリアＣ２内のサムネイル画像９４を同時に複数選択することも可能である。再分類部４５は、フレーム一覧エリアＣ２内でサムネイル画像９４が選択される度に、選択チャンネルのアクティブフレームを、最新に選択されたサムネイル画像９４に対応するフレームに切り替える。このとき、囲み枠９６の位置も移動する。また、アクティブフレームは、チャンネルオブジェクト９１及び未分類オブジェクト９２に表示されるサムネイル画像と連動しており、各チャンネル又は分類のアクティブフレームが変更される度に、当該チャンネル又は分類に対応するオブジェクト９１，９２のサムネイル画像も切り替わる。すなわち、本実施形態では、各チャンネル及び分類の代表フレームとは、アクティブフレームに一致する。
フレーム一覧エリアＣ２内のアクティブフレームのサムネイル画像９４は、ドラッグ＆ドロップ操作により、チャンネル一覧エリアＣ１内のいずれかのオブジェクト９１，９２上に重ねるように個別に移動させることができる。また、フレーム一覧エリアＣ２内で複数のサムネイル画像９４が同時選択されている場合には、これらの複数のサムネイル画像９４を一括して、チャンネル一覧エリアＣ１内のいずれかのオブジェクト９１，９２上に重ねるように移動させることができる。（ただし、「移動」と言っても、サムネイル画像９４は、目的のオブジェクト９１，９２上でリリースされると、フォルダに挿入されたかの如く消える。）言い換えると、再分類部４５は、フレーム一覧エリアＣ２内の任意のサムネイル画像９４を、任意のチャンネル又は分類に関連付ける操作をユーザから受け付けている。この関連付け操作がされると、当該操作で移動させられたサムネイル画像９４に対応するフレームは、当該サムネイル画像９４の移動先となったオブジェクト９１，９２に対応するチャンネル又は分類に再分類される。なお、当該操作に係るサムネイル画像９４に対応するフレームが、元々、当該操作に係るオブジェクト９１，９２に対応するチャンネル又は分類に分類されていた場合には、当該操作は無視され、再分類は行われない。
図６に示すとおり、チャンネル一覧エリアＣ１内には、オブジェクト９１，９２の配列の後に、新規作成オブジェクト９７が配置されている。新規作成オブジェクト９７は、チャンネルを新規作成するためのオブジェクトであり、本実施形態では、アイコンの形態である。そして、以上の関連付け操作と同様の操作は、オブジェクト９１，９２だけでなく、新規作成オブジェクト９７に対しても行うことができる。具体的には、再分類部４５は、ドラッグ＆ドロップ操作により、フレーム一覧エリアＣ２内のアクティブフレームのサムネイル画像９４を新規作成オブジェクト９７上に重ねるように個別に移動させる操作をユーザから受け付けている。また、フレーム一覧エリアＣ２内で複数のサムネイル画像９４が同時選択されている場合には、これらの複数のサムネイル画像９４を一括して、新規作成オブジェクト９７上に重ねるように移動させることもできる。（ただし、「移動」と言っても、サムネイル画像９４は、新規作成オブジェクト９７上でリリースされると、フォルダに挿入されたかの如く消える。）そして、この関連付け操作がなされると、新規作成オブジェクト９７が存在していた位置に、チャンネルオブジェクト９１が新規作成される。
新規作成されたチャンネルオブジェクト９１は、関連付け操作により移動させられた１又は複数のサムネイル画像９４に対応するフレームを要素とする新たなチャンネルを表すオブジェクトとなる。言い換えると、関連付け操作により移動させられた１又は複数のサムネイル画像９４に対応するフレームが、新たなチャンネルに再分類される。従って、チャンネルオブジェクト９１が新規作成された直後において、移動されられたサムネイル画像９４が１つしかなかった場合には、当該オブジェクト９１上には、当該サムネイル画像９４が表示される。一方、複数のサムネイル画像９４が移動させられた場合には、それらのサムネイル画像９４の中の１つ（例えば、最後に選択されたもの）が、新規作成されたチャンネルオブジェクト９１上に表示される。チャンネル名も、適宜付与され、表示される。また、チャンネルオブジェクト９１の新規作成に伴って、新規作成オブジェクト９７は、新規作成されたオブジェクト９１を含むオブジェクト９１，９２の配列の後に移動する。
以上の各種関連付け操作によりフレームの再分類が行われると、再分類されたフレームには、再分類先のチャンネル又は分類に応じて、チャンネル名ＣＨ０１，ＣＨ０２，・・・又は「未分類」のラベリングが再付与される。また、フレーム一覧エリアＣ２内からは、再分類されたフレームのサムネイル画像９４が削除される。このとき、フレーム一覧エリアＣ２内では、削除されたサムネイル画像９４が配置されていたスペースを埋めるように、残りのサムネイル画像９４が整列される。なお、再分類されたフレームには、必ずアクティブフレームが含まれている。従って、再分類後、選択チャンネルのアクティブフレームは、タイムラインに沿って後ろのフレームのうち最も近い、なければタイムラインに沿って前のフレームのうち最も近いフレームに変更される。選択チャンネルのアクティブフレームの変更は、囲み枠９６の位置、及び、オブジェクト９１，９２上のサムネイル画像の表示に、適宜反映される。また、再分類されたフレームの移動前及び移動先のオブジェクト９１，９２に対応するチャンネル及び／又は分類に属するフレームの枚数が再計算され、オブジェクト９１，９２の表示に反映される。
また、以上の各種関連付け操作は、ドラッグ＆ドロップ操作以外の態様でも実現可能である。具体的には、図６に示すとおり、フレーム一覧エリアＣ２内のオブジェクト９１，９２，９７には、右下にキーボードの特定のキーを示す文字列が表示されている。再分類部４５は、オブジェクト９１，９２，９７に表示されている特定のキーが押下されたことを検知すると、その時点の選択チャンネルのアクティブフレーム、すなわち、フレーム一覧エリアＣ２内で現在囲み枠９６が付されているフレームが、当該特定のキーに対応するオブジェクト９１，９２，９７に関連付けられたものと判断する。その後の処理は、ドラッグ＆ドロップ操作の態様で関連付け操作が行われた場合と同様である。
また、再分類部４５は、ユーザの操作を受けて、複数のチャンネル（本段落及び次段落において、「未分類」の分類も含む。）を統合することもできる。具体的には、チャンネル一覧エリアＣ１内では、任意の１のオブジェクト９１，９２を、ドラッグ＆ドロップ操作により、別の任意の１のオブジェクト９１，９２上に重ねるように個別に移動させることができる。また、複数のオブジェクト９１，９２を同時に複数選択可能とし、これらの複数のオブジェクト９１，９２を一括して、別の任意の１のオブジェクト９１，９２上に移動可能としてもよい。（ただし、「移動」と言っても、移動させられたオブジェクト９１，９２は、移動先のオブジェクト９１，９２上でリリースされると、フォルダに挿入されたかの如く消える。）言い換えると、再分類部４５は、チャンネル一覧エリアＣ１内の任意のチャンネルを、別の任意のチャンネルに関連付ける操作をユーザから受け付けている。この関連付け操作がされると、当該操作で移動させられたオブジェクト９１，９２に対応するチャンネルは、当該オブジェクト９１，９２の移動先となった別のオブジェクト９１，９２に対応するチャンネルに統合される。
以上の関連付け操作によりチャンネルの統合が行われると、移動させられたオブジェクト９１，９２に対応するチャンネルに属する全てのフレームには、移動先のオブジェクト９１，９２に対応するチャンネルのチャンネル名「未分類」、ＣＨ０１，ＣＨ０２，・・・のラベリングが再付与される。その結果、移動先のオブジェクト９１，９２が、統合された新たなチャンネルを表すオブジェクトとなる。統合されたチャンネルのアクティブフレームとしては、移動先となったオブジェクト９１，９２のアクティブフレームが継続して用いられる。また、再分類部４５は、統合されたチャンネルに属するフレームの枚数を計算し、オブジェクト９１，９２上の表示に反映させる。また、チャンネル一覧エリアＣ１内では、チャンネルオブジェクト９１が移動させられた場合には、移動させられたチャンネルオブジェクト９１が消失し、消失したチャンネルオブジェクト９１が配置されていたスペースを埋めるように、残りのオブジェクト９１，９７が整列される。未分類オブジェクト９２が移動させられた場合には、フレームの枚数は０となるが、未分類オブジェクト９２はそのまま残る。
また、チャンネルオブジェクト９１が複数存在する場合に、チャンネル一覧エリアＣ１内でのこれらのオブジェクト９１の配列の順番は、ドラッグ＆ドロップ操作により自在に変更することができる。例えば、図６の状態で、チャンネルＣＨ０１のチャンネルオブジェクト９１をチャンネルＣＨ０２のチャンネルオブジェクト９１の右側へと移動したい場合には、チャンネルＣＨ０１のチャンネルオブジェクト９１を、チャンネルＣＨ０２，ＣＨ０３のチャンネルオブジェクト９１の間に移動させればよい。
次に、再生エリアＣ３について説明する。再生エリアＣ３は、選択チャンネルに属するフレーム群を動画として再生可能である。図６に示すとおり、再分類ウィンドウＷ４上には、再生ボタン７６、コマ送りボタン７７及びコマ戻しボタン７８が配置されている。
再生ボタン７６は、選択チャンネルに属するフレーム群の動画としての再生の命令をユーザから受け付ける。再分類部４５は、再生ボタン７６が押下されたことを検知すると、再生エリアＣ３内に、選択チャンネルに属するフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。再生は、再生ボタン７６が押下された時点の選択チャンネルのアクティブフレームから開始する。また、再生は、選択チャンネルに応じたフレームレートで行われる。そして、再生中、再生エリアＣ３内に表示されるフレームは順次切り替わることになるが、当該切り替えの度に、再分類部４５により管理されるアクティブフレームは、当該切り替え後のフレームへとリアルタイムに更新される。また、再生ボタン７６は、再生の停止の命令をユーザから受け付ける。再分類部４５は、再生中に再生ボタン７６が押下されたことを検知すると、再生エリアＣ３内の表示を、その時点のアクティブフレームに固定する。なお、停止中においても、再生エリアＣ３内には、常に選択チャンネルのアクティブフレームが表示される。従って、停止中、フレーム一覧エリアＣ２内でのサムネイル画像９４の選択操作によりアクティブフレームが変更されると、再生エリアＣ３内の表示もリアルタイムに変更される。
また、再生中、アクティブフレームは随時更新されてゆくが、フレーム一覧エリアＣ２内の囲み枠９６も、最新のアクティブフレームのサムネイル画像９４を囲む位置にリアルタイムに移動する。また、このとき、選択チャンネルに対応するオブジェクト９１，９２のサムネイル画像も、リアルタイムに更新される。すなわち、再生エリアＣ３内での表示は、囲み枠９６の位置及びオブジェクト９１，９２のサムネイル画像の表示と、同期が取られている。しかしながら、他の実施形態では、再生中はこのような同期は取らない構成としてもよい。その場合、例えば、再生が停止した時点で初めて、囲み枠９６の位置が移動し、及び／又は、オブジェクト９１，９２のサムネイル画像が更新されるようにしてもよい。
コマ送りボタン７７、コマ戻しボタン７８はそれぞれ、再生エリアＣ３内の表示を、選択チャンネルに属するフレーム群のうち、タイムラインに沿って１つ後、１つ前のフレームへと切り替える命令をユーザから受け付ける。ボタン７７，７８操作による再生エリアＣ３内の表示の変更も、アクティブフレームの変更に連動している。
以上の再生の機能は、既存のチャンネル内に誤って分類されているフレームを発見するのに役立つ。すなわち、人は、動画を再生中に、突然、異なるチャンネルに属するフレームが現れた場合には、直ぐにそれを発見することができる。そして、そのような場合には、直ちに再生を停止させ、フレーム一覧エリアＣ２内で対応するフレームのサムネイル画像９４を探し出し、当該サムネイル画像９４を以上の関連付け操作により正しいチャンネルへと移動させればよい。
再分類ウィンドウＷ４上の再生エリアＣ３の下方には、選択チャンネルのフレームレートを表示するフレームレートエリアＣ５が表示されている。フレームレートは、様々な方法で算出することができ、例えば、選択チャンネルに属するフレームの枚数を、選択チャンネルに属する先頭のフレームの時刻と最後のフレームの時刻との差で割った値として算出することができる。或いは、選択チャンネルのフレームレートは、以下の式に基づいて算出することもできる。
（アクティブタイムラインに対応する動画のフレームレート）×（選択チャンネルに属するフレームの枚数）÷（アクティブタイムラインに属するフレーム数）
ところで、上述したとおり、選択チャンネルに属するフレームは、フレームの再分類により変化する。従って、再分類部４５は、再分類が行われる度に、選択チャンネルのフレームレートを再計算し、リアルタイムにフレームレートエリアＣ５の表示を変更する。また、フレームレートエリアＣ５の近傍には、選択チャンネルのチャンネル名又は分類名が表示されるチャンネル名エリアＣ６が配置されている。従って、ユーザは、再生エリアＣ３内に表示されている映像がどのチャンネルに属し、また、フレームレートエリアＣ５内に表示されているフレームレートがどのチャンネルのフレームレートであるかを正確に理解することができる。
次に、タイムラインバーＣ４について説明する。タイムラインバーＣ４は、基本画面Ｗ１上のタイムラインバーＴ５と同様に、アクティブタイムラインを図式的に示すオブジェクトである。チャンネル分離処理の対象となる対象フレーム群は、アクティブフレーム群の一部又は全部を構成する。従って、再分類ウィンドウＷ４上においても、アクティブタイムラインを管理できることは重要であるため、基本画面Ｗ１上のタイムラインバーＴ５と同様のタイムラインバーＣ４が配置されている。タイムラインバーＣ４は、左右方向に
延びており、左右方向にアクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＣ４上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。
再分類部４５は、タイムラインバーＣ４上において、選択チャンネルのアクティブフレームに対応する分割領域を示すサインとして、当該分割領域の位置に直線８３を表示する。すなわち、直線８３は、エリアＣ３内、及び、エリアＣ２の囲み枠９６内に表示されているフレームの、アクティブタイムライン上での位置を示している。また、タイムラインバーＣ４の下方には、対象範囲バー８５が表示されている。対象範囲バー８５は、タイムラインバーＣ４と同様に左右方向に、対象フレーム群の占める区間に対応する範囲に亘って延びている。
タイムラインバーＣ４は、左右方向に拡縮可能である。具体的には、再分類ウィンドウＷ４上には、尺度変更バー８６が配置されており、尺度変更バー８６は、スライド溝６１及びスライダー６２の２つのオブジェクトを組み合わせたオブジェクトである。スライド溝６１は、左右方向に直線状に延びる溝のようなＧＵＩを有し、スライダー６２は、スライド溝６１内を左右方向にスライドするようなＧＵＩを有する。ユーザは、入力部２０を介してスライダー６２を操作することにより、スライド溝６１に沿ってスライダー６２を左右方向に往復移動させることができる。再分類部４５は、スライド溝６１内でのスライダー６２の左右方向の位置に応じて、タイムラインバーＣ４の左右方向の尺度を段階的に変更する。具体的には、スライダー６２が右側へ移動するにつれて、タイムラインバーＣ４の左右方向の尺度は段階的に短くなり、スライダー６２が左側へ移動するにつれて、タイムラインバーＣ４の左右方向の尺度は段階的に長くなる。なお、タイムラインバーＣ４の左右方向の尺度が変更されると、それに比例して、全ての分割領域の左右方向のサイズも均等に変更される。ただし、スライダー６２がスライド溝６１内の最左の位置に達すると、タイムラインバーＣ４は、サムネイル一覧Ｃ７に変化する（図７参照）。また、タイムラインバーＣ４及びサムネイル一覧Ｃ７の左右方向の尺度が長く、再分類ウィンドウＷ４内に収まりきらない場合には、左右方向にスクロールするスクロールバー８７が登場し、タイムラインバーＣ４を表示するためのエリアは左右方向に実質的に拡大される。
サムネイル一覧Ｃ７は、アクティブタイムラインに属する全てのフレームのサムネイル画像８８を左右方向に配列したものである。従って、ユーザは、再分類ウィンドウＷ４上で、アクティブタイムラインに含まれる対象フレーム群以外のフレームについても、確認することができる。サムネイル一覧Ｃ７上の左からｎ番目のサムネイル画像８８は、アクティブタイムライン上でｎ番目のフレームのサムネイル画像である（ｎは、自然数）。サムネイル一覧Ｃ７内において、選択チャンネルのアクティブフレームのサムネイル画像８８には、その他のサムネイル画像８８から区別するためのサインとして、囲み枠８９が付される。
タイムラインバーＣ４及びサムネイル一覧Ｃ７は、タイムラインバーＴ５と同様に、アクティブタイムライン上の任意のフレームの選択をユーザから受け付ける。言い換えると、ユーザは、クリック操作等によりタイムラインバーＣ４上の分割領域、又はサムネイル一覧Ｃ７内の任意のサムネイル画像８８を選択することにより、アクティブフレーム群の中から、任意のフレームを選択することができる。そして、再分類部４５は、タイムラインバーＣ４及びサムネイル一覧Ｃ７上でフレームが選択される度に、当該フレームが対象フレーム群に含まれる否かを判断する。そして、含まれると判断された場合には、当該フレームの属するチャンネル又は分類を、選択チャンネルに切り替える。同時に、再分類部４５は、当該フレームを選択チャンネルのアクティブフレームに切り替える。ここでの選択チャンネル及びアクティブフレームの変更は、チャンネル一覧エリアＣ１、フレーム一覧エリアＣ２、再生エリアＣ３、フレームレートエリアＣ５及びチャンネル名エリアＣ６の表示にリアルタイムに反映される。また、直線８３及び囲み枠８９の位置も、リアルタイムに変更される。
ユーザは、以上説明した様々な機能を用いて、対象フレーム群に含まれる複数のフレームの再分類を行うことができる。そして、再分類が終了したと判断した時点で、ＯＫボタンＥ５を押下する。これを受けて、再分類部４５は、再分類ウィンドウＷ４を閉じるとともに、新たなタイムラインに属する１又は複数の動画を新規作成する。新規作成される１又は複数の動画は、再分類ウィンドウＷ４上で最終的に定義されていたチャンネルであって、ユーザにより選択されていたもの（以下、最終チャンネル）に１対１で対応する。ユーザによる最終チャンネルの選択は、図６に示すとおり、チャンネルオブジェクト９１上に配置されている選択ボックス９８に選択の印を入れることにより行われる。なお、本実施形態では、選択ボックス９８のデフォルト値は「選択」の状態である。従って、ユーザは、動画の作成が不要と判断したチャンネルについてのみ、対応するオブジェクト９１上の選択ボックスを操作し、「非選択」の状態にすればよい。また、本実施形態では、再生エリアＣ３の下方にも、選択ボックス９９が配置されている。選択ボックス９９は、選択チャンネル（ただし、「未分類」の分類は含まれない）の動画の作成の要否を選択するためのオブジェクトであり、チャンネルオブジェクト９１上の選択ボックス９８と同期が取られている。再分類部４５は、選択ボックス９８，９９の選択状態を判断し、最終チャンネルを決定する。
以上のとおり新規作成される動画は、それぞれに対応する最終チャンネルに属する全てのフレームを、新たなタイムラインに沿って配列したものである。また、このとき、これらの新たな動画に１対１で対応する表示ウィンドウＷ２が新規作成される。更に、再分類部４５は、これらの新たな動画に含まれるフレーム群に１対１で対応する静止画ファイル群を作成し、加工ファイル領域５２内に格納し、第０次のフレームとして扱う。すなわち、これ以降、これらの新たな動画は、オリジナル画像領域５１へ取り込まれた静止画ファイル群と同様に処理されることが可能になる。具体的には、表示ウィンドウＷ２内で同様に再生可能となり、同様に各種画像処理の対象となる。
なお、「未分類」の分類に対応する動画は、新規作成されない。そのため、ＯＫボタンＥ５が押下された時点で、再分類部４５は、未分類のフレームが残っているか否かを判断し、残っている場合にはその旨をユーザに伝えるようにしてもよい。この場合、例えば、再分類部４５は、未分類のフレームが残っていると判断される場合に、図８に示すような確認ウィンドウＷ５をディスプレイ１０上に表示させる。そして、「はい」ボタン７４が押されるのを待って、以上の動画の新規作成処理に移行する。「いいえ」ボタン７５が押された場合には、確認ウィンドウＷ５を閉じ、再分類ウィンドウＷ４に復帰する。一方、未分類のフレームが残っていないと判断される場合には、直ちに以上の動画の新規作成処理に移行する。
＜１−４．自動分類のアルゴリズム＞
以下、図９を参照しつつ、自動分類処理の詳細について説明する。自動分類処理は、上述したとおり、エリア設定ウィンドウＷ３上の開始ボタン７２が押下された時に開始する。以下では、対象フレーム群を構成する複数のフレームを、Ｆ1，Ｆ2，・・・，ＦJと表す（Ｊは、２以上の整数）。なお、フレームＦ1，Ｆ2，・・・，ＦJの配列は、タイムライン上での配列に等しい。
まず、ステップＳ１では、自動分類部４１が、対象フレーム群に含まれる各フレームＦ1，Ｆ2，・・・，ＦJのサイズを縮小する。このとき、例えば、フレームの横及び／又は縦の画素数が規定数となるように縮小してもよいし、元のサイズから所定の割合のサイズとなるように縮小してもよい。また、このとき、アスペクト比が保存されるようにしてもよいし、しなくてもよい。この縮小のステップにより、以下の処理の高速化が図られるとともに、ノイズの影響が低減される。以下では、縮小後のフレームＦ1，Ｆ2，・・・，ＦJも、Ｆ1，Ｆ2，・・・，ＦJと表す。
続くステップＳ２では、設定部４２が、チャンネルＣＨ1を定義し、フレームＦ1をチャンネルＣＨ1に分類する。具体的には、フレームＦ1にチャンネル名ＣＨ1のラベリングを付与する。また、設定部４２は、フレームＦ1を、チャンネルＣＨ1に属するフレーム群を代表する基準フレームＧ1として設定する。なお、後述されるステップＳ１０により、チャンネル数は随時増加し得る。そして、新たに作成されるチャンネルＣＨlついても、それぞれのチャンネルに属するフレーム群を代表する基準フレームＧlが設定されることになる（ｌ＝２，３，・・・）。
以上の前処理が終了すると、設定部４２は、残りのフレームＦ2，Ｆ3，・・・，ＦJの中からタイムラインに沿って順次フレームＦjを選択し（ｊ＝２，３，・・・，Ｊ）、比較フレームとして設定する。一方で、算出部４３、判定部４４及び設定部４２は、比較フレームＦjが設定される度に、比較フレームＦjに対し以下のステップＳ３〜Ｓ１０を繰り返し、既存の基準フレームＧ1，Ｇ2，・・・，ＧLとの比較を行う（Ｌは、既存のチャンネル数）。
ステップＳ３では、算出部４３は、比較フレームＦj全体を規定数Ｋ（Ｋは、２以上の整数）の部分領域（ブロック）Ｄ1，Ｄ2，・・・，ＤKに分割する（図１０参照）。なお、ここでいう比較フレームＦj全体とは、エリア設定ウィンドウＷ３上でエリアの指定がされていた場合には、当該エリア全体であり、指定がされていない場合には、フレームの画面全体である。なお、部分領域Ｄ1，Ｄ2，・・・，ＤKは、比較フレームＦj全体を隈なく分割したものである必要はなく、また、互いに一部重複していてもよい。形状については、矩形である必要はなく、例えば、円形であっても、他の多角形であってもよい。また、形状やサイズについては、均一とすることもできるし、互いに異なるものとすることもできる。
続くステップＳ４では、算出部４３は、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々を、部分領域Ｄ'1，Ｄ'2，・・・，Ｄ'Kに分割する（図１０参照）。部分領域Ｄ'1，Ｄ'2，・・・，Ｄ'Kは、フレームの画面内において、それぞれ部分領域Ｄ1，Ｄ2，・・・，ＤKと同じ位置を占めるように定義される。
次に、ステップＳ５では、算出部４３は、部分領域Ｄk，Ｄ'k（ｋ＝１，２，・・・，Ｋ）の組み合わせ毎に、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）との類似度（以下、局所類似度）Ｙlkを算出する。すなわち、局所類似度Ｙlkとは、比較フレームＦjの部分領域Ｄkと基準フレームＧlの部分領域Ｄ'kとの類似度である。本実施形態では、正規化相互相関（ＺＮＣＣ）と呼ばれる相関係数が算出されるが、他の実施形態では、ＮＣＣと呼ばれる相関係数や、ＳＤＤ、ＳＡＤと呼ばれる類似度等、他の類似度が算出されてもよい。
次に、ステップＳ６では、算出部４３は、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）とのフレーム全体での類似度（以下、総合類似度）Ｂlを算出する。具体的には、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、局所類似度Ｙlkの高い部分領域Ｄk，Ｄ'kを判断する。このとき、例えば、局所類似度Ｙlkが上位規定割合に入るものを高いと判断することもできるし、局所類似度Ｙlkが所定の閾値よりも大きいものを高いと判断することもできる。そして、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、フレーム全体の中で局所類似度Ｙlkの高い部分領域Ｄk，Ｄ'kのみを用いて、比較フレームＦjと基準フレームＧlとの類似度を再度算出し、総合類似度Ｂlとする（図１０参照）。本実施形態では、総合類似度Ｂlとしても、正規化相互相関（ＺＮＣＣ）が算出されるが、局所類似度Ｙlkと同様に、他の類似度が算出されてもよい。また、総合類似度Ｂlと局所類似度Ｙlkとが異なる方法で算出されてもよい。
以上より、本実施形態では、総合類似度Ｂlを算出するに当たり、局所類似度Ｙlkの低い部分領域Ｄk，Ｄ'kの情報は考慮されないが、これは、以下の理由による。すなわち、同じチャンネルのフレームどうしは、背景画像は一致するが、移動体部分においては異なる画像となる。そして、フレーム全体に占める移動体部分の割合が大きい場合に、フレーム全体の情報を用いて総合類似度Ｂlを判断すると、たとえ同じチャンネルのフレームどうしであっても、総合類似度Ｂlが低くなるからである。従って、ここでは、誤判定を避けるべく、移動体部分を多く含むと考えられる局所類似度Ｙlkの低い部分領域Ｄk，Ｄ'kは、総合類似度Ｂlの算出に用いられない。その結果、移動体の影響が低減され、比較されるフレームどうしが同じチャンネルに属するか否かを正確に判断することができる。
続くステップＳ７では、判定部４４が、ステップＳ６で算出された総合類似度Ｂ1，Ｂ2，・・・，ＢLのうち最大のものを判定し、当該最大のものが所定の閾値よりも大きいか否かを判定する。そして、所定の閾値よりも大きいと判定された場合には、処理はステップＳ８に進み、所定の閾値以下と判定された場合には、処理はステップＳ１０に進む。
ステップＳ８では、判定部４４は、比較フレームＦjがチャンネルＣＨMAXに属すると判定する。ＭＡＸとは、最大の総合類似度Ｂlを与えるｌの値である。具体的には、判定部４４は、比較フレームＦjにチャンネル名ＣＨMAXのラベリングを付与し、比較フレームＦjをチャンネルＣＨMAXに分類する。これにより、比較フレームＦjは、チャンネルＣＨMAXに属するフレーム群と同じチャンネルに属することになる。
ステップＳ８の後、処理はステップＳ９に進められる。ステップＳ９では、設定部４２が、チャンネルＣＨMAXの基準フレームＧMAXを更新する。具体的には、設定部４２は、比較フレームＦjと既存の基準フレームＧMAXとを合成して、新たな基準フレームＧMAXとする。本実施形態では、合成の態様として、既存の基準フレームＧMAXよりも比較フレームＦjの重みが大きくなるような重み付け平均が採用される。こうすることで、チャンネルＣＨMAXに属するフレーム群を代表する基準フレームＧMAXが、より直近のフレームに重みが置かれた合成画像となる。その結果、フレーム間のチャンネルの異同を判断するに当たり、時系列の変化に対応することが可能になる。なお、他の実施形態では、比較フレームＦjをそのまま、新たな基準フレームＧMAXとして設定してもよい。また、ステップＳ９を省略し、基準フレームＧMAXの更新を行わないようにすることもできる。
一方、ステップＳ１０は、ステップＳ６で算出された総合類似度Ｂ1，Ｂ2，・・・，ＢLが、いずれも所定の閾値以下と判断される場合に実行されるステップである。言い換えると、ステップＳ１０は、比較フレームＦjが、いずれのチャンネルＣＨlの基準フレームＧlとも類似しない場合に実行されるステップである。ステップＳ１０では、設定部４２は、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLに加え、新たなチャンネルＣＨL+1を定義し、比較フレームＦjを当該チャンネルＣＨL+1に分類する。具体的には、比較フレームＦjに新たなチャンネル名ＣＨL+1のラベリングを付与する。また、設定部４２は、比較フレームＦjを、新たなチャンネルＣＨL+1に属するフレーム群を代表する基準フレームＧL+1として設定する。
全てのフレームＦ1，Ｆ2，・・・，ＦJに対するステップＳ３〜Ｓ１０が終了すると、処理はステップＳ１１に進められる。ステップＳ１１では、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの修正が行われる。具体的には、算出部４３は、基準フレームＧ1，Ｇ2，・・・，ＧL間のフレーム全体の類似度を総当たりで算出する。なお、ここでいうフレーム全体とは、ステップＳ３と同様、エリア設定ウィンドウＷ３上でエリアの指定がされていた場合には、当該エリア全体であり、指定がされていない場合には、フレームの画面全体である。また、本実施形態では、ステップＳ５，Ｓ６と同様、類似度として正規化相互相関（ＺＮＣＣ）が算出されるが、他の類似度が算出されてもよい。また、類似度が、総合類似度Ｂl及び局所類似度Ｙlkとは異なる方法で算出されてもよい。そして、判定部４４は、これらの類似度に所定の閾値を超えるものがあれば、そのような類似度を与える基準フレームＧlに対応するチャンネルＣＨlどうしを、１つのチャンネルに統合する。具体的には、統合されるチャンネルＣＨlに属するフレームＦjの全てに、同じチャンネル名のラベリングを再付与する。なお、ここでは、３つ以上のチャンネルＣＨlが１つに統合されることもある。
更に、判定部４４は、以上のチャンネルの統合を行ってもなお１枚のフレームしか含まれないチャンネルＣＨlが存在する場合には、当該チャンネルＣＨlを消滅させる。具体的には、判定部４４は、消滅させる全てのチャンネルＣＨlに属するフレームＦjに、「未分類」のラベリングを再付与する。なお、本実施形態では、１枚のフレームＦjしか含まれないチャンネルＣＨlが消滅の対象となるが、このような基準値を２枚、３枚、・・・としてもよい。また、作成可能なチャンネル数に上限を設けておくこともできる。この場合、チャンネル数が上限を超えないように、フレームＦjの枚数の少ないチャンネルから消滅させるようにすることができる。
以上の処理によると、最終的に作成されたチャンネルのチャンネル名ＣＨlに含まれる数値は、連続番号とはなっていない可能性が高い。そこで、判定部４４は、最終的に作成されたチャンネルＣＨlに、ＣＨ０１，ＣＨ０２，・・・とのチャンネル名を順番に再付与し、各フレームＦjに付与されているラベリングを、これらの新たなチャンネル名で更新する。そして、その後、自動分類処理が終了する。
＜２．第２実施形態＞
以下、本発明の第２実施形態について説明する。図１１は、第２実施形態に係る自動分類処理の流れを示しており、第２実施形態と第１実施形態とは、自動分類のアルゴリズムのみが相違する。また、図９及び図１１を比較すれば分かるように、両自動分類処理の相違点は、第２実施形態においてはステップＳ４〜Ｓ６の代わりに、ステップＳ２４〜Ｓ２６が挿入されている点のみである。従って、以下では、簡単のため、当該相違点のみを説明する。
第２実施形態では、第１実施形態と同様のステップＳ１〜Ｓ３の実行後に、ステップＳ２４が実行される。ステップＳ２４では、算出部４３が、比較フレームＦjの各部分領域Ｄ1，Ｄ2，・・・，ＤK内で、特徴点を検出する。このとき、各部分領域Ｄ1，Ｄ2，・・・，ＤK内で検出される特徴点の数は、同数とすることが好ましい。以下、比較フレームＦj内の特徴点を、Ｐ1，Ｐ2，・・・，ＰU（Ｕは、２以上の整数）と表す。
算出部４３は、比較フレームＦj内において、各特徴点Ｐu（ｕ＝１，２，・・・，Ｕ）の近傍に、部分領域Ｖuを設定する（図１２参照）。部分領域Ｖuは、特徴点Ｐuを中心とする所定サイズの領域である。そして、算出部４３は、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々に対し、部分領域Ｖ'1，Ｖ'2，・・・，Ｖ'Uを設定する（図１２参照）。部分領域Ｖ'1，Ｖ'2，・・・，Ｖ'Uは、フレームの画面内において、それぞれ部分領域Ｖ1，Ｖ2，・・・，ＶUと同じ位置を占めるように定義される。
以上のとおり、本実施形態では、比較フレームＦjの中から、部分領域Ｄ1，Ｄ2，・・・，ＤKの単位で、特徴点Ｐ1，Ｐ2，・・・，ＰUが検出される。その結果、特徴点Ｐ1，Ｐ2，・・・，ＰUが、比較フレームＦjの画面全体の一部の領域に偏ってしまうことがなく、比較フレームＦj全体の中から凡そ均等に検出される。
次に、ステップＳ２５では、算出部４３は、部分領域Ｖu，Ｖ'u（ｕ＝１，２，・・・，Ｕ）の組み合わせ毎に、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）との局所類似度Ｙluを算出する。すなわち、局所類似度Ｙluとは、比較フレームＦjの部分領域Ｖuと基準フレームＧlの部分領域Ｖ' uとの類似度である。なお、第１及び第２実施形態における局所類似度は、共に部分領域での類似度を表すという点で共通するため、同じ記号Ｙを用いて表す。また、本実施形態では、正規化相互相関（ＺＮＣＣ）と呼ばれる相関係数が算出されるが、第１実施形態と同様に、他の類似度が算出されてもよい。
次に、ステップＳ２６では、算出部４３は、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）とのフレーム全体での総合類似度Ｂlを算出する。なお、第１及び第２実施形態における総合類似度は、共にフレーム全体での類似度を表すという点で共通するため、同じ記号Ｂを用いて表す。具体的には、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、局所類似度Ｙluの高い部分領域Ｖu，Ｖ'uを判断する。このとき、例えば、局所類似度Ｙluが上位規定割合に入るものを高いと判断することもできるし、局所類似度Ｙluが所定の閾値よりも大きいものを高いと判断することもできる。そして、各ｌ（ｌ＝１，２，・・・，Ｌ）について、フレーム全体の中で局所類似度Ｙluの高いＶu，Ｖ'uのみを用いて、比較フレームＦjと基準フレームＧlとの類似度を再度算出し、総合類似度Ｂlとする。本実施形態でも、総合類似度Ｂlとしては、正規化相互相関（ＺＮＣＣ）が算出されるが、第１実施形態と同様に、他の類似度が算出されてもよい。また、本実施形態でも、総合類似度Ｂlと局所類似度Ｙluとが異なる方法で算出されてもよい。
以上のステップＳ２６により、総合類似度Ｂ1，Ｂ2，・・・，ＢLが算出される。その後の処理の流れは、第１実施形態と同様である。
以上のとおり、本実施形態では、総合類似度を算出するに当たり、特徴点Ｐ1，Ｐ2，・・・，ＰUの近傍の部分領域Ｖ1，Ｖ2，・・・，ＶU以外の領域の情報は考慮されない。なぜならば、異なるチャンネルのフレームどうしであっても、それらが似通った光景を撮影したものであれば、フレーム全体の情報を用いて総合類似度Ｂlを判断すると、総合類似度Ｂlが高くなるからである。例えば、同一の店内の異なる場所を撮影した２つの映像においては、どちらも同じ均一色の壁紙や床等がフレームの大部分を占めることがあり、そのような場合、総合類似度Ｂlが高くなってしまう。従って、ここでは、誤判定を避けるべく、同じ均一色の壁紙や床等の背景を写している可能性の高い領域、すなわち、特徴点Ｐ1，Ｐ2，・・・，ＰUの近傍以外の領域は、総合類似度Ｂlの算出に用いられない。その結果、似通った背景の影響を低減して、比較されるフレームどうしが同じチャンネルに属するか否かを正確に判断することができる。
更に、本実施形態では、総合類似度Ｂlを算出するに当たり、局所類似度Ｙluの低い部分領域Ｖu，Ｖ'uの情報も考慮されない。なぜならば、フレーム全体に占める移動体部分の割合が大きい場合に、フレーム全体の情報を用いて総合類似度Ｂlを判断すると、たとえ同じチャンネルのフレームどうしであっても、総合類似度Ｂlが低くなるからである。従って、ここでは、誤判定を避けるべく、移動体部分を多く含むと考えらえる局所類似度Ｙluの低い部分領域Ｖu，Ｖ'uは、総合類似度Ｂlの算出に用いられない。その結果、移動体の影響を低減して、比較されるフレームどうしが同じチャンネルに属するか否かをさらに正確に判断することができる。
＜３．第３実施形態＞
以下、本発明の第３実施形態について説明する。図１３は、第３実施形態に係る自動分類処理の流れを示しており、第３実施形態と第１及び第２実施形態とは、自動分類のアルゴリズムのみが相違する。また、図１３と図９とを比較すれば分かるように、第１及び第３実施形態に係る自動分類処理の相違点は、第３実施形態においてはステップＳ５，Ｓ６の代わりに、サブルーチンＳ３０が挿入されている点のみである。従って、以下では、簡単のため、当該相違点のみを説明する。
上記のとおり、第１及び第２実施形態では、フレーム間の類似度として相関係数が算出されたが、第３実施形態では、フレーム間の類似度がフレームの色彩傾向に基づいて評価される。また、フレームの色彩傾向としては、フレームの画面内における全体的な色彩傾向と、フレームの画面内における局所的な色彩傾向とが総合的に考慮される。以下、具体的に説明する。
まず、第３実施形態では、第１実施形態と同様のステップＳ１〜Ｓ４が実行され、続いて、サブルーチンＳ３０が実行される。サブルーチンＳ３０は、フレームの画面内における局所的な又は全体的な色彩傾向を示す様々な色指標を評価する処理であり、図１７にその詳細が示される。特に、サブルーチンＳ３０に含まれるステップＳ３１〜Ｓ３３では、濃度が考慮され、ステップＳ３４〜Ｓ３８では、彩度が考慮され、ステップＳ３９〜Ｓ４３では、色相が考慮される。なお、ステップＳ３１〜Ｓ３３では、濃度が考慮されるが、濃度に代えて、明度や輝度が用いられてもよい。また、サブルーチンＳ３０に含まれるステップＳ４４〜４６では、フレームの全体的な印象度が考慮される。
まず、ステップＳ３１では、算出部４３は、比較フレームＦj全体の平均濃度Ｈｄを算出する。なお、ここでいう比較フレームＦj全体とは、エリア設定ウィンドウＷ３上でエリアの指定がされていた場合には、当該エリア全体であり、指定がされていない場合には、フレームの画面全体である。また、算出部４３は、比較フレームＦj内の各部分領域Ｄk（ｋ＝１，２，・・・，Ｋ）における平均濃度Ｅｄkを算出する。なお、平均濃度は、対象とするエリア内の全ての画素の濃度の平均値として算出され、各画素の濃度は、当該画素のＲＧＢ値の平均値として算出される。続いて、算出部４３は、各部分領域Ｄk（ｋ＝１，２，・・・，Ｋ）に対し、濃度Ｅｄk＞濃度Ｈｄとなる場合には、「１」の値を付与し、濃度Ｅｄk≦濃度Ｈｄとなる場合には、「０」の値を付与する（図１４参照）。なお、この「１」「０」は、局所領域の濃度がフレーム全体を基準として相対的に高いか低いかを示す指標であり、濃度（明るさ）に関する局所的な色彩傾向を表す色指標（以下、濃度指標）である。
続くステップＳ３２では、算出部４３は、ステップＳ３１と同様の処理を、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々に対し実行する。すなわち、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、基準フレームＧl内の各部分領域Ｄ'k（ｋ＝１，２，・・・，Ｋ）に対し、濃度指標を算出する（図１４参照）。なお、図１３及び図１７に示すとおり、ステップＳ３２は繰り返し実行されることになるため、濃度指標が算出済みである基準フレームＧlについては、当該値が参照され、新たな算出の処理は省略される。
続くステップＳ３３では、算出部４３は、ステップＳ３１，Ｓ３２で算出された濃度指標に基づいて、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）との間の類似度Ｂｄlを算出する。具体的には、算出部４３は、類似度Ｂｄlとして、比較フレームＦj内での濃度指標の分布パターンと、各基準フレームＧl内での濃度指標の分布パターンとの類似度を算出する。本実施形態では、「１」「０」の濃度指標が一致しない部分領域Ｄk，Ｄ'kの組み合わせの数をカウントし、当該カウント値を部分領域の数Ｋで割った値の二乗値を、類似度Ｂｄlとする（図１４参照）。なお、ここで、部分領域の数Ｋでの除算が行われるのは、類似度Ｂｄlを０〜１の間の値に維持し、正規化するためである。また、ステップＳ３３、及び後述するステップＳ３８，Ｓ４３で算出される類似度は、類似している程小さな値となる。この意味で、これらの類似度は、非類似度と捉えることもできる。
ところで、画像の構図とは、画面内における複数の要素の配置により決定される。そして、多くの画像は、単純化すれば、注目物体を表す領域とその背景を表す領域とに大きく分かれる構図となる。すなわち、濃度指標が「１」の領域と「０」の領域とは、一方が注目物体を表し、他方がその背景を表していると考えることができる。この考え方からすると、比較フレームＦj内での濃度指標の分布パターンとは、比較フレームＦjの構図を表しており、基準フレームＧl内での濃度指標の分布パターンとは、基準フレームＧlの構図を表していると言える。従って、類似度Ｂｄlは、比較フレームＦj及び基準フレームＧl間の構図の類似度を表していると言える。
続くステップＳ３４では、算出部４３は、比較フレームＦj内での濃度指標の分布パターンに基づいて、比較フレームＦjを２つの部分領域Ｒ1，Ｒ2に分割する（図１５参照）。部分領域Ｒ1は、比較フレームＦj内で濃度指標が「１」となる部分領域Ｄkを全て結合した領域であり、部分領域Ｒ2は、比較フレームＦj内で濃度指標が「０」となる部分領域Ｄkを全て結合した領域である。すなわち、ステップＳ３４では、比較フレームＦjの構図に基づいて、比較フレームＦjを注目物体を表す領域とその背景を表す領域とに分割している。
続くステップＳ３５では、ステップＳ３４と同様に、算出部４３は、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々における濃度指標の分布パターンに基づいて、基準フレームＧ1，Ｇ2，・・・，ＧLの各々を部分領域Ｒ'1，Ｒ'2に分割する（図１５参照）。部分領域Ｒ'1は、基準フレームＧl内で濃度指標が「１」となる部分領域Ｄ'kを全て結合した領域であり、部分領域Ｒ'2は、基準フレームＧl内で濃度指標が「０」となる部分領域Ｄ'kを全て結合した領域である。すなわち、ステップＳ３５では、基準フレームＧlの構図に基づいて、基準フレームＧlを注目物体を表す領域とその背景を表す領域とに分割している。
続くステップＳ３６では、算出部４３は、比較フレームＦj内の部分領域Ｒ1，Ｒ2の各々に対し、ＲＧＢ別の３つの平均値を算出する。続いて、算出部４３は、部分領域Ｒ1におけるＲＧＢ別の３つの平均値から、部分領域Ｒ1の彩度を算出するとともに、部分領域Ｒ2におけるＲＧＢ別の３つの平均値から、部分領域Ｒ2の彩度を算出する。次に、算出部４３は、部分領域Ｒ1，Ｒ2の間の相対的な彩度（以下、相対彩度）を算出する。相対彩度は、部分領域Ｒ1の彩度と部分領域Ｒ2の彩度との差の絶対値として算出される。相対彩度は、彩度に関する色彩傾向を表す色指標（以下、彩度指標）である。
続くステップＳ３７では、算出部４３は、ステップＳ３６と同様の処理を、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々に対し実行する。すなわち、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、基準フレームＧl内の部分領域Ｒ'1，Ｒ'2の各々の彩度を算出し、これらの差の絶対値である相対彩度を算出する。なお、図１３及び図１７に示すとおり、ステップＳ３７は繰り返し実行されることになるため、相対彩度が算出済みである基準フレームＧlについては、当該値が参照され、新たな算出の処理は省略される。ステップＳ３５も、同様に省略され得る。
続くステップＳ３８では、算出部４３は、ステップＳ３６，Ｓ３７で算出された比較フレームＦjの相対彩度と、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）の相対彩度との類似度Ｂｓlを算出する。本実施形態では、類似度Ｂｓlは、両相対彩度の差を２５５で割った値の二乗値として算出される。なお、ここで、２５５での除算が行われるのは、類似度Ｂｓlを０〜１の間の値に維持し、正規化するためである。
続くステップＳ３９では、算出部４３は、比較フレームＦjを、主領域Ｏ1及び副領域Ｏ2の２つの領域に分割する。具体的には、ステップＳ３４で算出された部分領域Ｒ1，Ｒ2のうち、面積のより広い方の領域を主領域Ｏ1とし、より狭い方の領域を副領域Ｏ2として設定する（図１６参照）。すなわち、ステップＳ３９は、比較フレームＦjの構図に基づいて、比較フレームＦjを注目物体を表す領域とその背景を表す領域とに分割している。
続くステップＳ４０では、ステップＳ３９と同様に、算出部４３は、基準フレームＧ1，Ｇ2，・・・，ＧLの各々を、主領域Ｏ'1及び副領域Ｏ'2の２つの領域に分割する。具体的には、ステップＳ３５で算出された部分領域Ｒ'1，Ｒ'2のうち、面積のより広い方の領域を主領域Ｏ'1とし、より狭い方の領域を副領域Ｏ'2として設定する（図１６参照）。すなわち、ステップＳ４０では、基準フレームＧlの構図に基づいて、基準フレームＧlを注目物体を表す領域とその背景を表す領域とに分割している。
続くステップＳ４１では、算出部４３は、主領域Ｏ1の平均色相を算出するとともに、副領域Ｏ2の平均色相を算出する。なお、この平均色相は、色相に関する局所的な色彩傾向を表す色指標（以下、色相指標）であり、対象とするエリア内の全ての画素の色相の平均値として算出される。
続くステップＳ４２では、算出部４３は、ステップＳ４１と同様の処理を、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々に対し実行する。すなわち、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、基準フレームＧl内の領域Ｏ'1，Ｏ'2の各々に対し、色相指標を算出する。なお、図１３及び図１７に示すとおり、ステップＳ４２は繰り返し実行されることになるため、色相指標が算出済みである基準フレームＧlについては、当該値が参照され、新たな算出の処理は省略される。ステップＳ４０も、同様に省略され得る。
続くステップＳ４３では、算出部４３は、比較フレームＦj内の主領域Ｏ1における色相指標と、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）内の主領域Ｏ'1における色相指標との類似度Ｂｈ1lを算出する。本実施形態では、類似度Ｂｈ1lは、主領域Ｏ1，Ｏ'1の色相指標の差を１８０で割った値の二乗値として算出される。また、算出部４３は、比較フレームＦj内の副領域Ｏ2における色相指標と、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）内の副領域Ｏ'2における色相指標との類似度Ｂｈ2lを算出する。具体的には、副領域Ｏ2，Ｏ'2の色相指標の差を１８０で割った値の二乗値を、類似度Ｂｈ2lとする。なお、ここで、１８０での除算が行われるのは、類似度Ｂｈ1l，Ｂｈ2lを０〜１の間の値に維持し、正規化するためである。
続くステップＳ４４〜Ｓ４６は、フレームの画面内における全体的な色彩傾向を示す色指標を評価するステップである。本実施形態では、フレームの画面内における全体的な色彩傾向を評価するために、様々な印象度Ｚ1，Ｚ2，・・・，ＺI（Ｉは、２以上の整数）が定義されている。なお、これらの印象度Ｚ1，Ｚ2，・・・，ＺIを定義するための各種情報は、ソフトウェア管理領域５０内の印象度定義領域５３内に格納されている。
以下、印象度Ｚi（ｉ＝１，２，・・・，Ｉ）について、説明する。各印象度Ｚiは、１又は複数の色条件に関連付けられており、これらの色条件には、重みが定義されている。なお、同じ印象度Ｚiに関連付けられている１又は複数の色条件の重みは、合計して１となる。図１８は、印象度Ｚ1「ナチュラル」の例を示しており、印象度Ｚ1「ナチュラル」は、「緑」「茶」及び「ベージュ」の３つの色条件に関連付けられている。また、「緑」「茶」及び「ベージュ」の３つの色条件には、それぞれ０．５，０．２５，０．２５の重みが付与されている。図１８に示すとおり、各色条件には、濃度（明度）、彩度及び色相の値に対する評価値が定義されている。ここで、ある画素が与えられた場合、各色条件の値は、当該画素の濃度、彩度及び色相の値に対応する評価値を導出した後、これらの評価値を掛け合わせることにより算出される。そして、当該画素の印象度Ｚiの値は、各色条件の値に以上の重みを付けて加算した値として算出される。
ステップＳ４４では、算出部４３は、比較フレームＦjのフレーム全体での各印象度Ｚi（ｉ＝１，２，・・・，Ｉ）の値を算出する。なお、ここでいうフレーム全体とは、エリア設定ウィンドウＷ３上でエリアの指定がされていた場合には、当該エリア全体であり、指定がされていない場合には、フレームの画面全体である。具体的には、算出部４３は、各ｉ（ｉ＝１，２，・・・，Ｉ）について、比較フレームＦjのフレーム全体に含まれる各画素について印象度Ｚiの値を算出し、これらの値の平均値を算出し、当該平均値をフレーム全体での印象度Ｚiの値とする。なお、フレーム全体での印象度Ｚiの値は、印象度Ｚiに関するフレーム全体での色彩傾向を表す色指標（以下、印象指標）である。
続くステップＳ４５では、算出部４３は、ステップＳ４４と同様の処理を、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々に対し実行する。すなわち、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、印象度Ｚ1，Ｚ2，・・・，ＺIの各々に対し、基準フレームＧlの印象指標を算出する。なお、図１３及び図１７に示すとおり、ステップＳ４５は繰り返し実行されることになるため、印象指標が算出済みである基準フレームＧlについては、当該値が参照され、新たな算出の処理は省略される。
続くステップＳ４６では、算出部４３は、印象度Ｚ1，Ｚ2，・・・，ＺIに基づいて、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）とのフレーム全体での類似度Ｂｉlを算出する。具体的には、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）及び各ｉ（ｉ＝１，２，・・・，Ｉ）について、比較フレームＦjのフレーム全体での印象度Ｚiの値と基準フレームＧlのフレーム全体での印象度Ｚiの値の差の二乗値を算出する。そして、各ｌ（ｌ＝１，２，・・・，Ｌ）について、これらのＩ個の二乗値の合計値の平方根（Ｉ次元の印象度空間内における比較フレームＦjと基準フレームＧlとの距離）を１から引いた値を算出し、これを類似度Ｂｉlとする。
次に、ステップＳ４７では、算出部４３は、既に算出された類似度Ｂｄl，Ｂｓl，Ｂｈ1l，Ｂｈ2l，Ｂｉl（ｌ＝１，２，・・・，Ｌ）に基づいて、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）との類似度（以下、総合類似度）Ｂlを算出する。なお、第１及び第３実施形態における総合類似度は、共にフレーム全体での類似度を表すという点で共通するため、同じ記号Ｂを用いて表す。本実施形態では、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、Ｂｄl，Ｂｓl，Ｂｈ1l，Ｂｈ2lの合計値の平方根（４つの指標に関する４次元空間内における比較フレームＦjと基準フレームＧlとの距離）を１から引いた値（構図比較結果）を算出した後、当該値とＢｉl（印象比較結果）を掛け合わせた値を総合類似度Ｂlとする。なお、他の実施形態では、異なる方法を採用することも可能であり、例えば、構図比較結果及び／又は印象比較結果に適当な係数を掛けたり、適当な値を足したり引いたりした後に、両値を掛け合わせるようにしてもよい。或いは、適宜係数を加えつつ、１−Ｂｄlの平方根，１−Ｂｓlの平方根，１−Ｂｈ1lの平方根，１−Ｂｈ2lの平方根，Ｂｉlを足し合わせた値を総合類似度Ｂlとしてもよい。
以上のステップＳ４７により、総合類似度Ｂ1，Ｂ2，・・・，ＢLが算出される。その後の処理の流れは、第１実施形態と同様である。
＜４．用途＞
画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができ、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析する場面でも利用され得る。例えば、同じ店舗内に多数の防犯カメラが設置されることがあるが、これらの監視映像は、しばしば、混合タイムラプス動画の形式で記録される。そして、このような場合、防犯カメラを設置している店舗内の専用機器を用いれば、混合タイムラプス動画に含まれる各チャンネルを分離することができるが、警察等においては、各メーカーの各機種に対応した専用機器を所有している訳ではないため、再生が困難になる。従って、動画の仕様に関わらず、混合タイムラプス動画をチャンネル毎の動画へと分離することが可能な以上のタイムライン分離処理は、このような場面で活用することができる。
＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。
＜５−１＞
上記実施形態における再分類ウィンドウＷ４を、複数のウィンドウから構成してもよい。
＜５−２＞
上記実施形態では、選択チャンネルを切り替えることにより、フレーム一覧エリアＣ２内においてフレーム群がチャンネル又は分類の単位で切り替え表示されるようになっていた。しかしながら、複数のチャンネル及び「未分類」の分類の各々に対し、フレーム群を一覧表示するためのフレーム一覧エリアを設けてもよい。この場合においては、画面スペースを効率的に使用するべく、各フレーム一覧エリア内において、フレーム群をサムネイル表示することが好ましく、さらに、サムネイル画像群をタイムラインに沿って配列することが好ましい。また、この場合、アイコンの形態のチャンネルオブジェクト９１及び未分類オブジェクト９２を省略し、各チャンネル用のフレーム一覧エリアを、関連付け操作のためのチャンネルオブジェクトとして使用するとともに、「未分類」の分類用のフレーム一覧エリアを、関連付け操作のための未分類オブジェクトとして使用することができる。すなわち、「未分類」のフレーム一覧エリアの中から任意のフレームを選択し、これをチャンネル用の任意のフレーム一覧エリア（チャンネルオブジェクト）にドラッグ＆ドロップすることにより、当該フレームを当該エリアに対応するチャンネルに分類できるように構成することも可能である。チャンネルに含まれるフレームを、別のチャンネル又は分類に移動させる場合も同様である。
或いは、「未分類」のフレーム群を一覧表示するためのフレーム一覧エリアと、チャンネルに属するフレーム群を一覧表示するためのフレーム一覧エリアとを設け、「未分類」のフレーム群が前者のエリア内で常に表示されるようにしてもよい。この場合、後者のエリア内では、現在選択されているチャンネルに属するフレーム群のみが一覧表示されるようにすることができる。
＜５−３＞
第３実施形態では、様々な色指標が定義され、これらが様々に組み合わされて総合類似度Ｂlが定義されたが、他の態様で色指標を定義することも可能であるし、他の態様で色指標を組み合わせて総合類似度Ｂlを定義することも可能である。例えば、第３実施形態では、濃度に関する色指標に基づいて構図が決定されたが、例えば、色相及び／又は彩度に関する色指標に基づいて構図を決定してもよい。また、部分領域Ｒ1，Ｒ2の間の相対彩度に基づいて類似度Ｂｓlが算出されたが、部分領域Ｒ1，Ｒ'1間での絶対的な彩度の差や、部分領域Ｒ2，Ｒ'2間での絶対的な彩度の差を類似度Ｂｓlとしてもよい。また、部分領域Ｒ1，Ｒ'1間での濃度の差や、部分領域Ｒ2，Ｒ'2間での濃度の差を類似度として算出し、総合類似度Ｂlに加味してもよい。
＜５−４＞
上記実施形態では、チャンネル分離処理が開始した直後に、エリア設定ウィンドウＷ３が表示され、誤判定を避けるためのエリアの設定ができるように構成されていた。しかしながら、このようなエリア設定ウィンドウＷ３を表示させず、かかるエリアの設定ができないようにしてもよい。或いは、チャンネル分離処理が開始した直後は、エリア設定ウィンドウＷ３が表示されないものの、再分類ウィンドウＷ４上に、エリアの設定を行った上で自動分類処理のやり直しを命じるためのボタンを用意してもよい。この場合、ユーザは、エリアを設定せずに行った自動分類処理の結果が適切ではない（誤判定が多い）場合にのみ、以上のボタンを押下し、エリア設定ウィンドウＷ３を表示させる。そして、エリアの設定を行った上で、再度自動分類処理を実行させることができる。或いは、チャンネル分離処理が開始した直後にエリア設定ウィンドウＷ３を表示させ、エリアを設定した状態で自動分類処理を実行することができるようにしつつ、さらに、再分類ウィンドウＷ４上に上述のボタンを用意してもよい。
＜５−５＞
上記実施形態のステップＳ９では、比較フレームＦjと既存の基準フレームＧMAXとを重み付け平均により合成したものを、新たな基準フレームＧMAXとした。しかしながら、基準フレームＧMAXの更新方法は、これに限られない。例えば、各画素について、チャンネルＣＨMAXに含まれる全てのフレーム（その時点の比較フレームＦjも含まれる）の画素値のヒストグラムを作成し、最頻となる画素値を基準フレームＧMAXの当該画素の画素値としてもよい。或いは、ヒストグラム中の中央値となる画素値を基準フレームＧMAXの当該画素の画素値としてもよい。
＜５−６＞
上記実施形態において、ステップＳ１０の直後等にチャンネル数Ｌが一定数以上に達しているか否かを判定し、一定数以上に達していると判定される場合には、ステップＳ１１と同様の既存のチャンネルの修正処理を行うようにしてもよい。チャンネル数Ｌが増えすぎると、処理負荷が多大になるからである。ただし、フレーム数が１のチャンネルが存在したとしても、当該１のフレームが、現在選択されている比較フレームＦjから時間的に一定値以内の近さであれば、当該チャンネルの削除を行わないようにすることが好ましい。当該チャンネルは、最近作成されたチャンネルであり、今後当該チャンネルに分類されるフレームが出現する可能性が高いからである。なお、以上のようなチャンネルの削除を行っただけでは、チャンネル数Ｌが一定値を超えてしまう場合には、チャンネル数が２以上のチャンネル、３以上のチャンネルも、順次削除の対象とし、チャンネル数が一定数以下に保たれるようにすることができる。
１ 画像処理装置
２ 画像処理プログラム
４１ 自動分類部
４２ 設定部
４３ 算出部
４４ 判定部
４５ 再分類部
９１ チャンネルオブジェクト
９２ 未分類オブジェクト
Ｃ３ 再生エリア
Ｗ４ 再分類ウィンドウ（再分類画面）

Claims (22)

  1. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部
    を備え、
    前記自動分類部は、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する設定部と、
    前記比較フレーム及び前記基準フレームを複数の部分領域に分割し、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、当該局所類似度の高い前記部分領域のみの画素値を用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である総合類似度を算出する算出処理を実行する算出部と、
    前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行する判定部と
    を含み、
    前記部分領域は、複数の画素を有する、
    画像処理装置。
  2. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部
    を備え、
    前記自動分類部は、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する設定部と、
    前記比較フレームの中から特徴点を検出し、前記特徴点毎にその近傍領域を設定し、前記近傍領域のみの画素値を用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である総合類似度を算出する算出処理を実行する算出部と、
    前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かの判定処理を実行する判定部と
    を含み、
    前記近傍領域は、複数の画素を有する、
    請求項１に記載の画像処理装置。
  3. 前記算出部は、前記比較フレームを複数の部分領域に分割し、前記比較フレームの中から前記部分領域毎に前記特徴点を検出する、
    請求項２に記載の画像処理装置。
  4. 前記算出部は、前記近傍領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、当該局所類似度の高い前記近傍領域のみを用いて、前記総合類似度を算出する、
    請求項２又は３に記載の画像処理装置。
  5. 前記設定部は、フレームの画面内においてエリアの設定をユーザから受け付け、前記動画に含まれる特定のフレームの前記エリア内の画像を、又は前記動画に含まれる２以上の特定のフレームの前記エリア内の画像を合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームの前記エリア内の画像を比較フレームとして設定する、
    請求項１から４のいずれかに記載の画像処理装置。
  6. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部
    を備え、
    前記自動分類部は、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する設定部と、
    前記比較フレーム及び前記基準フレームを複数の部分領域に分割し、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、当該局所類似度の高い前記部分領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である総合類似度を算出する算出処理を実行する算出部と、
    前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行する判定部と
    を含み、
    前記設定部は、前記基準フレームを複数設定することが可能であり、
    前記算出部は、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理を実行し、
    前記判定部は、前記判定処理において、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定し、
    前記設定部は、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
    前記設定部が前記比較フレームを新たに設定する度に、前記算出部は、前記算出処理を実行し、前記判定部は、前記判定処理を実行し、
    前記設定部は、前記判定処理により、前記比較フレームがいずれの前記基準フレームとも、又はいずれの前記基準フレームの合成元のフレームとも同じ前記チャンネルに属さないと判定された場合には、当該比較フレームを前記基準フレームとして再設定し、
    前記判定部は、前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
    画像処理装置。
  7. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部
    を備え、
    前記自動分類部は、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する設定部と、
    前記比較フレーム及び前記基準フレームを複数の部分領域に分割し、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、当該局所類似度の高い前記部分領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である総合類似度を算出する算出処理を実行する算出部と、
    前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行する判定部と
    を含み、
    前記設定部は、前記基準フレームを複数設定することが可能であり、
    前記算出部は、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理を実行し、
    前記判定部は、前記判定処理において、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定し、
    前記設定部は、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
    前記設定部が前記比較フレームを新たに設定する度に、前記算出部は、前記算出処理を実行し、前記判定部は、前記判定処理を実行し、
    前記設定部は、前記判定処理により、前記比較フレームがいずれかの前記基準フレームと、又はいずれかの前記基準フレームの合成元のフレームと同じ前記チャンネルに属すると判定された場合には、当該基準フレームに当該比較フレームを合成し、
    前記判定部は、前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
    画像処理装置。
  8. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部
    を備え、
    前記自動分類部は、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する設定部と、
    前記比較フレームの中から特徴点を検出し、前記特徴点毎にその近傍領域を設定し、前記近傍領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である総合類似度を算出する算出処理を実行する算出部と、
    前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かの判定処理を実行する判定部と
    を含み、
    前記設定部は、前記基準フレームを複数設定することが可能であり、
    前記算出部は、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理を実行し、
    前記判定部は、前記判定処理において、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定し、
    前記設定部は、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
    前記設定部が前記比較フレームを新たに設定する度に、前記算出部は、前記算出処理を実行し、前記判定部は、前記判定処理を実行し、
    前記設定部は、前記判定処理により、前記比較フレームがいずれの前記基準フレームとも、又はいずれの前記基準フレームの合成元のフレームとも同じ前記チャンネルに属さないと判定された場合には、当該比較フレームを前記基準フレームとして再設定し、
    前記判定部は、前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
    画像処理装置。
  9. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部
    を備え、
    前記自動分類部は、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する設定部と、
    前記比較フレームの中から特徴点を検出し、前記特徴点毎にその近傍領域を設定し、前記近傍領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である総合類似度を算出する算出処理を実行する算出部と、
    前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かの判定処理を実行する判定部と
    を含み、
    前記設定部は、前記基準フレームを複数設定することが可能であり、
    前記算出部は、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理を実行し、
    前記判定部は、前記判定処理において、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定し、
    前記設定部は、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
    前記設定部が前記比較フレームを新たに設定する度に、前記算出部は、前記算出処理を実行し、前記判定部は、前記判定処理を実行し、
    前記設定部は、前記判定処理により、前記比較フレームがいずれかの前記基準フレームと、又はいずれかの前記基準フレームの合成元のフレームと同じ前記チャンネルに属すると判定された場合には、当該基準フレームに当該比較フレームを合成し、
    前記判定部は、前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
    画像処理装置。
  10. 前記設定部は、前記判定処理により、前記比較フレームがいずれかの前記基準フレームと、又はいずれかの前記基準フレームの合成元のフレームと同じ前記チャンネルに属すると判定された場合には、当該基準フレームに当該比較フレームを合成する、
    請求項６又は８に記載の画像処理装置。
  11. 前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後において、前記基準フレームが複数設定されている場合に、
    前記算出部は、前記複数の基準フレーム間の類似度を算出し、
    前記判定部は、前記複数の基準フレーム間の類似度の高い前記基準フレームに対応する前記チャンネルどうしを、１つのチャンネルに統合する、
    請求項６から１０のいずれかに記載の画像処理装置。
  12. 前記類似度は、相関係数である、
    請求項１から１１のいずれかに記載の画像処理装置。
  13. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
    をコンピュータに実行させ、
    前記分類するステップは、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するステップと、
    前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
    前記比較フレーム及び前記基準フレームを複数の部分領域に分割するステップと、
    前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出するステップと、
    前記局所類似度の高い前記部分領域のみの画素値を用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出するステップと、
    前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行するステップと
    を含み、
    前記部分領域は、複数の画素を有する、
    画像処理プログラム。
  14. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
    をコンピュータに実行させ、
    前記分類するステップは、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するステップと、
    前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
    前記比較フレームの中から特徴点を検出するステップと、
    前記特徴点毎にその近傍領域を設定するステップと、
    前記近傍領域のみの画素値を用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出するステップと、
    前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かを判定するステップと
    を含み、
    前記近傍領域は、複数の画素を有する、
    画像処理プログラム。
  15. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
    をコンピュータに実行させ、
    前記分類するステップは、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
    前記比較フレーム及び前記基準フレームを複数の部分領域に分割し、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、前記局所類似度の高い前記部分領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出する算出処理を実行するステップと、
    前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行するステップと
    を含み、
    前記基準フレームは、複数設定することが可能であり、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理が実行され、
    前記判定処理では、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定され、
    前記設定するステップは、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
    前記比較フレームが新たに設定される度に、前記算出処理及び前記判定処理が実行され、
    前記判定処理では、前記比較フレームがいずれの前記基準フレームとも、又はいずれの前記基準フレームの合成元のフレームとも同じ前記チャンネルに属さないと判定された場合には、当該比較フレームが前記基準フレームとして再設定され、
    前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
    画像処理プログラム。
  16. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
    をコンピュータに実行させ、
    前記分類するステップは、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
    前記比較フレーム及び前記基準フレームを複数の部分領域に分割し、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、前記局所類似度の高い前記部分領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出する算出処理を実行するステップと、
    前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行するステップと
    を含み、
    前記基準フレームは、複数設定することが可能であり、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理が実行され、
    前記判定処理では、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定され、
    前記設定するステップは、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
    前記比較フレームが新たに設定される度に、前記算出処理及び前記判定処理が実行され、
    前記判定処理では、前記比較フレームがいずれかの前記基準フレームと、又はいずれかの前記基準フレームの合成元のフレームと同じ前記チャンネルに属すると判定された場合には、当該基準フレームに当該比較フレームが合成され、
    前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
    画像処理プログラム。
  17. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
    をコンピュータに実行させ、
    前記分類するステップは、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
    前記比較フレームの中から特徴点を検出し、前記特徴点毎にその近傍領域を設定し、前記近傍領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出する算出処理を実行するステップと、
    前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かを判定する判定処理を実行するステップと
    を含み、
    前記基準フレームは、複数設定することが可能であり、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理が実行され、
    前記判定処理では、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定され、
    前記設定するステップは、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
    前記比較フレームが新たに設定される度に、前記算出処理及び前記判定処理が実行され、
    前記判定処理では、前記比較フレームがいずれの前記基準フレームとも、又はいずれの前記基準フレームの合成元のフレームとも同じ前記チャンネルに属さないと判定された場合には、当該比較フレームが前記基準フレームとして再設定され、
    前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
    画像処理プログラム。
  18. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
    をコンピュータに実行させ、
    前記分類するステップは、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
    前記比較フレームの中から特徴点を検出し、前記特徴点毎にその近傍領域を設定し、前記近傍領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出する算出処理を実行するステップと、
    前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かを判定する判定処理を実行するステップと
    を含み、
    前記基準フレームは、複数設定することが可能であり、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理が実行され、
    前記判定処理では、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定され、
    前記設定するステップは、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
    前記比較フレームが新たに設定される度に、前記算出処理及び前記判定処理が実行され、
    前記判定処理では、前記比較フレームがいずれかの前記基準フレームと、又はいずれかの前記基準フレームの合成元のフレームと同じ前記チャンネルに属すると判定された場合には、当該基準フレームに当該比較フレームが合成され、
    前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
    画像処理プログラム。
  19. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理方法であって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
    を備え、
    前記分類するステップは、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するステップと、
    前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
    前記比較フレーム及び前記基準フレームを複数の部分領域に分割するステップと、
    前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出するステップと、
    前記局所類似度の高い前記部分領域のみの画素値を用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出するステップと、
    前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行するステップと
    を含み、
    前記部分領域は、複数の画素を有する、
    画像処理方法。
  20. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理方法であって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
    を備え、
    前記分類するステップは、
    前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するステップと、
    前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
    前記比較フレームの中から特徴点を検出するステップと、
    前記特徴点毎にその近傍領域を設定するステップと、
    前記近傍領域のみの画素値を用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出するステップと、
    前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かを判定するステップと
    を含み、
    前記近傍領域は、複数の画素を有する、
    画像処理方法。
  21. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類し、前記複数のフレームを前記複数のチャンネルに分類した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる自動分類部
    を備える、
    画像処理装置。
  22. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類し、前記複数のフレームを前記複数のチャンネルに分類した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させるステップ
    をコンピュータに実行させる、
    画像処理プログラム。
JP2016510075A 2014-03-27 2015-01-20 画像処理装置 Active JP6524997B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014066865 2014-03-27
JP2014066865 2014-03-27
PCT/JP2015/051363 WO2015146241A1 (ja) 2014-03-27 2015-01-20 画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2015146241A1 JPWO2015146241A1 (ja) 2017-04-13
JP6524997B2 true JP6524997B2 (ja) 2019-06-05

Family

ID=54194783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016510075A Active JP6524997B2 (ja) 2014-03-27 2015-01-20 画像処理装置

Country Status (5)

Country Link
US (1) US10469793B2 (ja)
EP (1) EP3128744A4 (ja)
JP (1) JP6524997B2 (ja)
CN (1) CN105981372A (ja)
WO (1) WO2015146241A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058813A1 (ko) * 2021-10-06 2023-04-13 주식회사 마인즈랩 영상 촬영 가이드 제공 방법, 장치 및 컴퓨터 프로그램

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6593327B2 (ja) * 2014-05-07 2019-10-23 日本電気株式会社 画像処理装置、画像処理方法およびコンピュータ可読記録媒体
CN108353126B (zh) 2015-04-23 2019-08-23 苹果公司 处理相机的内容的方法、电子设备和计算机可读存储介质
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN109002336B (zh) * 2017-06-06 2021-10-22 许继电气股份有限公司 一种充电桩远程监控导航视窗的生成方法和装置
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
CN109635143B (zh) * 2018-12-24 2021-01-08 维沃移动通信有限公司 图片处理方法及终端设备
CN111901475A (zh) * 2019-05-06 2020-11-06 苹果公司 用于捕获和管理视觉媒体的用户界面
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11416461B1 (en) 2019-07-05 2022-08-16 The Nielsen Company (Us), Llc Methods and apparatus to estimate audience sizes of media using deduplication based on binomial sketch data
US11561942B1 (en) 2019-07-05 2023-01-24 The Nielsen Company (Us), Llc Methods and apparatus to estimate audience sizes of media using deduplication based on vector of counts sketch data
US10998007B2 (en) * 2019-09-30 2021-05-04 Adobe Inc. Providing context aware video searching
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US12032535B2 (en) * 2020-06-30 2024-07-09 The Nielsen Company (Us), Llc Methods and apparatus to estimate audience sizes of media using deduplication based on multiple vectors of counts
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278446B1 (en) * 1998-02-23 2001-08-21 Siemens Corporate Research, Inc. System for interactive organization and browsing of video
JP2001036867A (ja) * 1999-07-23 2001-02-09 Gen Tec:Kk 複数チャネル動画像同期表示装置
US7016540B1 (en) * 1999-11-24 2006-03-21 Nec Corporation Method and system for segmentation, classification, and summarization of video images
JP3685730B2 (ja) 2001-03-28 2005-08-24 三洋電機株式会社 画像検索装置およびこれを用いた監視カメラシステム
US20030023910A1 (en) * 2001-07-25 2003-01-30 Myler Harley R. Method for monitoring and automatically correcting digital video quality by reverse frame prediction
JP2002319210A (ja) 2002-02-04 2002-10-31 Hitachi Ltd 記録再生装置及び再生装置
JP2004254244A (ja) 2003-02-21 2004-09-09 Matsushita Electric Ind Co Ltd 監視カメラシステム、及びその画像記録再生方法
US7379627B2 (en) * 2003-10-20 2008-05-27 Microsoft Corporation Integrated solution to digital image similarity searching
WO2007072347A2 (en) * 2005-12-22 2007-06-28 Koninklijke Philips Electronics N.V. System and method for processing video
WO2008018064A2 (en) * 2006-08-07 2008-02-14 Yeda Research And Development Co. Ltd. Data similarity and importance using local and global evidence scores
JP5060224B2 (ja) 2007-09-12 2012-10-31 株式会社東芝 信号処理装置及びその方法
JP4165615B2 (ja) * 2007-11-26 2008-10-15 ソニー株式会社 画像表示装置、画像表示方法、プログラム、及び記録媒体
US9226047B2 (en) * 2007-12-07 2015-12-29 Verimatrix, Inc. Systems and methods for performing semantic analysis of media objects
US8135222B2 (en) 2009-08-20 2012-03-13 Xerox Corporation Generation of video content from image sets
JP2012039524A (ja) 2010-08-10 2012-02-23 Sony Corp 動画像処理装置、動画像処理方法およびプログラム
JP2012039523A (ja) 2010-08-10 2012-02-23 Sony Corp 動画像処理装置、動画像処理方法およびプログラム
JP5777380B2 (ja) 2011-04-05 2015-09-09 キヤノン株式会社 画像認識装置、画像認識方法、及びプログラム
JP5765255B2 (ja) * 2012-01-31 2015-08-19 Ｎｋワークス株式会社 画像処理プログラムおよび画像処理装置
CN103440640B (zh) 2013-07-26 2016-02-10 北京理工大学 一种视频场景聚类及浏览方法
JP5868358B2 (ja) 2013-08-20 2016-02-24 グローリー株式会社 画像処理方法
EP3042504A1 (en) 2013-09-03 2016-07-13 Thomson Licensing Method for displaying a video and apparatus for displaying a video
EP3125535A4 (en) * 2014-03-27 2017-11-15 Noritsu Precision Co., Ltd. Image processing device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058813A1 (ko) * 2021-10-06 2023-04-13 주식회사 마인즈랩 영상 촬영 가이드 제공 방법, 장치 및 컴퓨터 프로그램
KR20230049473A (ko) * 2021-10-06 2023-04-13 주식회사 마인즈랩 영상 촬영 가이드 제공 방법, 장치 및 컴퓨터 프로그램
KR102604672B1 (ko) * 2021-10-06 2023-11-23 주식회사 마음에이아이 영상 촬영 가이드 제공 방법, 장치 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
EP3128744A4 (en) 2017-11-01
EP3128744A1 (en) 2017-02-08
CN105981372A (zh) 2016-09-28
WO2015146241A1 (ja) 2015-10-01
US10469793B2 (en) 2019-11-05
US20170257596A1 (en) 2017-09-07
JPWO2015146241A1 (ja) 2017-04-13

Similar Documents

Publication Publication Date Title
JP6524997B2 (ja) 画像処理装置
JP6485452B2 (ja) 画像処理装置
KR101747511B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR102488930B1 (ko) 표시 제어장치, 표시 제어방법, 및 기억매체
US8515172B2 (en) Segmentation of image data
JP7286392B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010079446A (ja) 電子機器、ぼけ画像選別方法及びプログラム
JP2011254240A (ja) 画像処理装置、画像処理方法およびプログラム
US10776974B2 (en) Information processing apparatus and control method of information processing apparatus
JP2006259788A (ja) 画像出力装置
JP2007006129A (ja) 代表画像抽出装置及びその方法
US9202286B2 (en) Image processing apparatus, computer-readable medium storing an image processing program, and image processing method
EP3151243B1 (en) Accessing a video segment
CN106031145A (zh) 图像处理装置和图像处理方法
JP6948787B2 (ja) 情報処理装置、方法およびプログラム
JP2013200867A (ja) アニメーション作成装置、カメラ
WO2015146242A1 (ja) 画像処理装置
CN108269260B (zh) 动态影像去背方法、系统与计算机可读取存储装置
JP2012133459A (ja) 画像評価装置、及び方法、並びにプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN110222207B (zh) 图片的整理方法、装置和智能终端
EP2614489A1 (en) Method and system for obtaining a control information related to a digital image
JP5761386B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5459072B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014199509A (ja) 画像処理装置、画像処理方法及びプログラム
JP2013098790A (ja) 映像編集装置およびその制御方法

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190422

R150 Certificate of patent or registration of utility model

Ref document number: 6524997

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250