JP4816140B2 - 画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラム - Google Patents

画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4816140B2
JP4816140B2 JP2006052644A JP2006052644A JP4816140B2 JP 4816140 B2 JP4816140 B2 JP 4816140B2 JP 2006052644 A JP2006052644 A JP 2006052644A JP 2006052644 A JP2006052644 A JP 2006052644A JP 4816140 B2 JP4816140 B2 JP 4816140B2
Authority
JP
Japan
Prior art keywords
image
processing
information
feature amount
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006052644A
Other languages
English (en)
Other versions
JP2007235373A (ja
JP2007235373A5 (ja
Inventor
一隆 安藤
哲二郎 近藤
泰史 野出
通雅 尾花
啓 平泉
昌紀 町村
雅人 赤尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006052644A priority Critical patent/JP4816140B2/ja
Priority to US11/675,309 priority patent/US7856145B2/en
Priority to EP07103071A priority patent/EP1826763A3/en
Priority to EP14175019.0A priority patent/EP2787723A2/en
Priority to KR1020070020353A priority patent/KR101321969B1/ko
Priority to CN200910173997A priority patent/CN101677364A/zh
Priority to CNB2007100796321A priority patent/CN100571363C/zh
Publication of JP2007235373A publication Critical patent/JP2007235373A/ja
Publication of JP2007235373A5 publication Critical patent/JP2007235373A5/ja
Application granted granted Critical
Publication of JP4816140B2 publication Critical patent/JP4816140B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00318—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a multi-media apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00347—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0072—Detecting the status of a connected apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラムに関し、特に、画像に所定の被写体が含まれているとき、その所定の被写体に対応した加工を施すようにした画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラムに関する。
画像を手軽に処理するための技術が普及しつつある。
従来、ビデオカメラなどで撮像された画像を編集するには、オリジナルの画像データを再生させながら、各種の処理を加える操作を実行し、処理結果となる画像を別の記録媒体に記録させるといったリニア編集が主流であった。
また、上述のようなリニア編集の場合、オリジナルの画像データがCOPY ONCEの場合、一度VTR（Video Tape Recorder）に記録したものを再生し、さらに編集した映像については記録できないという問題があった。
そこで、画像を編集させるための処理を指示する操作を記憶させる方法が提案されている（特許文献１参照）。
特開２００３−２０２９４４号公報
しかしながら、リニア編集の場合、画像と、その画像の時間を示すタイムコードとを同時に通信することでタイムコードに合わせて編集することができるが、民生用のVTRなどではタイムコードはVTR内部にあり、タイムコードを外部に伝えることは事実上できない状態であり、画像と、画像を編集させるための処理を指示する操作とを同期させることができないため、操作を単に記憶させるようにしても、正確に画像の再生に同期しつつ、画像に処理を加えて表示させることは困難であった。
また、仮にタイムコード以外の手法を用いて、画像と、画像を編集させるための処理を指示する操作とを同期させることができたとしても、使用者により異なる編集をしたいような場合、使用者ごとに編集処理を繰り返す必要があった。すなわち、運動会を撮像した動画像などを編集する場合、被写体となる人物は複数に存在する場合が多い。このような動画像では、使用者により画像の中心やズームの中心に配置したい被写体は異なることになる。従って、１つの動画像に対して編集操作は、使用者の数だけ異なることが考えられ、それらを個別に実行するには膨大な手間や時間が必要となることがあった。
本発明はこのような状況に鑑みてなされたものであり、特に、撮像される画像内に所定の被写体が存在するとき、その被写体に対応した処理を画像に加えると供に、オリジナルの画像データに処理を加えることなく、画像に加える処理と、画像の特徴量とを対応付けて記憶させることで、被写体ごとに画像を再生させるたびに、画像に対して所定の処理を加えて再現できるようにするものである。
本発明の第１の側面の画像処理システムは、撮像装置および画像処理装置からなる画像処理システムであって、前記撮像装置が、被写体を含む画像を撮像する撮像手段と、前記被写体の状態情報を取得する状態情報取得手段と、前記画像と、前記被写体の状態情報とを記録する記録手段とを含み、前記画像処理装置が、前記記録手段により記録された画像と、前記被写体の状態情報とにより、前記画像に対しての加工内容を指示する加工内容決定手段と、前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定手段と、前記画像より特徴量を抽出する第１の特徴量抽出手段と、前記第１の特徴量抽出手段により抽出された前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する記録手段とを含み、前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される。
前記被写体の状態情報には、前記被写体の位置情報を含ませるようにすることができる。
前記画像処理装置には、前記第１の記録手段により記録された画像と、前記被写体の位置情報とにより前記画像内の特定の被写体が含まれているか否かを判定する判定手段をさらに含ませるようにすることができ、前記加工内容決定手段には、前記判定手段の判定結果により前記画像内に特定の被写体が含まれている場合、前記画像内に含まれる特定の被写体の状態情報に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示させるようにすることができる。
前記撮像装置には、前記画像に、前記被写体の状態情報を合成する合成手段をさらに含ませるようにすることができ、前記第１の記録手段には、前記合成手段により前記被写体の状態情報が合成された画像を画像記録媒体に記録させ、前記画像処理装置には、前記合成手段により前記被写体の状態情報が合成された画像より、前記画像と、前記状態情報とを分離する分離手段を含ませるようにすることができ、前記加工内容決定手段には、前記分離手段により分離された前記画像および前記状態情報に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示させるようにすることができる。
前記第１の記録手段には、前記画像を記録する画像記録手段と、前記画像より特徴量を抽出する第２の特徴量抽出手段と、前記第２の特徴量抽出手段により抽出された特徴量に対応付けて、前記被写体の状態情報を記録する状態情報記録手段とを含ませるようにすることができ、前記画像記録手段には、前記画像を画像記録媒体に記録し、前記状態情報記録手段は、前記第２の特徴量抽出手段により抽出された前記特徴量に対応付けて前記被写体の状態情報を状態情報記録媒体に記録させ、前記画像処理装置には、前記状態情報記録媒体に記録されている前記特徴量と、前記第２の特徴量抽出手段により抽出された特徴量とを同期させる同期手段と、前記同期手段により同期した特徴量に対応付けられた状態情報を、前記状態情報記録媒体より取得する取得手段とをさらに含ませるようにすることができ、前記加工内容決定手段には、前記画像記録媒体に記録された画像、および、前記取得手段により取得された状態情報に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示させるようにすることができる。
本発明の第１の側面の撮像装置および画像処理装置からなる画像処理システムの画像処理方法であって、前記撮像装置の画像処理方法が、被写体を含む画像を撮像する撮像ステップと、前記被写体の状態情報を取得する状態情報取得ステップと、前記画像と、前記被写体の状態情報とを記録する記録ステップとを含み、前記画像処理装置の画像処理方法が、前記記録ステップの処理により記録された画像と、前記被写体の状態情報とにより、前記画像に対しての加工内容を指示する加工内容決定ステップと、前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定ステップと、前記画像より特徴量を抽出する第１の特徴量抽出ステップと、前記第１の特徴量抽出ステップの処理により抽出された前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する記録ステップとを含み、前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される。
本発明の第１の側面の撮像装置および画像処理装置からなる画像処理システムを制御するプログラムを記録するプログラム記録媒体であって、前記撮像装置を制御するプログラムが、被写体を含む画像を撮像する撮像ステップと、前記被写体の状態情報を取得する状態情報取得ステップと、前記画像と、前記被写体の状態情報とを記録する記録ステップとを含み、前記画像処理装置を制御するプログラムが、前記記録ステップの処理により記録された画像と、前記被写体の状態情報とにより、前記画像に対しての加工内容を指示する加工内容決定ステップと、前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定ステップと、前記画像より特徴量を抽出する第１の特徴量抽出ステップと、前記第１の特徴量抽出ステップの処理により抽出された前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する記録ステップとを含み、前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される。
本発明の第１の側面の撮像装置および画像処理装置からなる画像処理システムを制御するコンピュータのプログラムのうち、前記撮像装置を制御するコンピュータに、被写体を含む画像を撮像する撮像ステップと、前記被写体の状態情報を取得する状態情報取得ステップと、前記画像と、前記被写体の状態情報とを記録する記録ステップとを含む処理を実行させ、前記画像処理装置を制御するコンピュータに、前記記録ステップの処理により記録された画像と、前記被写体の状態情報とにより、前記画像に対しての加工内容を指示する加工内容決定ステップと、前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定ステップと、前記画像より特徴量を抽出する第１の特徴量抽出ステップと、前記第１の特徴量抽出ステップの処理により抽出された前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する記録ステップとを含む処理を実行させ、前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される。
本発明の第２の側面の画像処理装置は、画像内に特定の被写体の状態により、前記画像に対しての加工内容を指示する加工内容決定手段と、前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定手段と、前記画像より特徴量を抽出する特徴量抽出手段と、前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する記録手段とを含み、前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される。
前記画像には、前記被写体毎の状態情報が含まれるようにすることができ、前記加工内容決定手段には、前記被写体毎の状態情報に基づいた、前記画像内の特定の被写体の状態に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示させるようにすることができる。
前記状態情報には、位置情報を含ませるようにすることができ、前記被写体毎の位置情報に基づいて、前記特定の被写体が、前記画像内に存在して、かつ、他の被写体よりも前に存在するか否かにより、前記画像内に特定の被写体が含まれているか否かを判定する前記判定手段をさらに含ませるようにすることができ、前記加工内容決定手段には、前記判定手段の判定結果に基づいて、前記画像内に含まれている特定の被写体の状態情報に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示させるようにすることができる。
前記画像の特徴量に対応付けられている前記被写体毎の状態情報を取得する取得手段をさらに含ませるようにすることができ、前記加工内容決定手段には、前記画像の特徴量に対応付けられている前記被写体毎の状態情報に基づいて、前記特定の被写体の状態に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示させるようにすることができる。
前記状態情報には、位置情報を含ませるようにすることができ、前記画像の特徴量に対応付けられている前記被写体毎の位置情報に基づいて、前記特定の被写体が、前記画像内に存在して、かつ、他の被写体よりも前に存在するか否かにより、前記画像内に特定の被写体が含まれているか否かを判定する前記判定手段をさらに含ませるようにすることができ、前記加工内容決定手段には、前記判定手段の判定結果に基づいて、前記画像内に含まれている特定の被写体の状態情報に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示させるようにすることができる。
本発明の第２の側面の画像処理方法は、画像内の特定の被写体の状態により、前記画像に対しての加工内容を指示する加工内容決定ステップと、前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定ステップと、前記画像より特徴量を抽出する特徴量抽出ステップと、前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する記録ステップとを含み、前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される。
本発明の第２の側面のプログラム記録媒体のプログラムは、画像内の特定の被写体の状態により、前記画像に対しての加工内容を指示する加工内容決定ステップと、前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定ステップと、前記画像より特徴量を抽出する特徴量抽出ステップと、前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する記録ステップとを含み、前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生されるコンピュータが読み取り可能なプログラムが記録されている。
本発明の第２の側面のプログラムは、画像内の特定の被写体の状態により、前記画像に対しての加工内容を指示する加工内容決定ステップと、前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定ステップと、前記画像より特徴量を抽出する特徴量抽出ステップと、前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する記録ステップとを含む処理をコンピュータに実行させ、前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される。
本発明の第１の側面の画像処理システムおよび方法、並びにプログラムにおいては、前記撮像装置により、被写体を含む画像が撮像され、前記被写体の状態情報が取得され、前記画像と、前記被写体の状態情報とが記録され、前記画像処理装置により、記録された画像と、前記被写体の状態情報とにより、前記画像に対しての加工内容が指示され、前記加工内容に基づいて、前記画像に加工を加えるための設定情報が設定され、前記画像より特徴量が抽出され、抽出された前記画像の特徴量に対応付けて前記設定情報が設定情報記録媒体に記録され、前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される。
本発明の第２の側面の画像処理装置および方法、並びにプログラムにおいては、画像内の特定の被写体の状態により、前記画像に対しての加工内容が指示され、前記加工内容に基づいて、前記画像に加工を加えるための設定情報が設定され、前記画像より特徴量が抽出され、前記画像の特徴量に対応付けて前記設定情報が設定情報記録媒体に記録され、前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される。
本発明の画像処理装置および撮像装置は、独立した装置であっても良いし、画像処理および撮像を行うブロックであっても良い。
本発明の第１の側面によれば、撮像される画像と、被写体の位置情報とを記録することが可能となり、画像に特定の被写体が存在するとき、オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して所定の処理を加えて再現することが可能となる。また、複製できない画像データであっても、再生させる度に、同一の処理を加えて繰り返し再生することが可能となる。
また、本発明の第１の側面によれば、撮像される画像と、被写体の位置情報とを記録することが可能となり、その画像および被写体の位置情報により、画像に特定の被写体が存在するとき、その特定の被写体に対応する画像を処理するための設定情報を、画像の特徴量に対応付けて記録することが可能となる。
本発明の第２の側面によれば、画像に特定の被写体が存在するとき、オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して所定の処理を加えて再現することが可能となる。また、複製できない画像データであっても、再生させる度に、同一の処理を加えて繰り返し再生することが可能となる。
また、本発明の第２の側面によれば、画像に特定の被写体が存在するとき、その特定の被写体に対応する画像を処理するための設定情報を、画像の特徴量に対応付けて記録することが可能となる。
本発明の第３の側面によれば、画像を撮像するとき、被写体の位置情報を画像に対応付けて記録することが可能となる。
また、本発明の第３の側面によれば、画像を撮像するとき、被写体の位置情報を画像の記録タイミングに対応付けて記録することが可能となる。
まず、図１を参照して、本発明を適用した画像処理装置の概念について説明する。本発明を適用した画像処理装置は、予め記録された画像に対して、使用者により指示された処理を施し表示する。このとき、画像処理装置は、画像の特徴量を抽出して、特徴量に対応付けて加工内容である加工情報を蓄積させる。さらに、画像処理装置は、予め記録された画像を再生するとき、この蓄積された加工情報を読み出して、画像に加工を施し表示する。
より具体的には、画像処理装置２の動作は、大きく分けて記録モードと再生モードとの２つのモードからなる。
記録モードでは、図１の上部で示されるように、画像処理装置２は、例えば、DVD（Digital Versatile Disc）などの動画像を含むコンテンツが予め記録されている記録メディア１からDVDプレーヤなどにより再生される画像を表示部３に表示させる。この状態で、リモートコントローラなどが使用者などにより操作されることにより、所望とする画像への加工内容として、例えば、ズーム、パン、チルトなどが指示されると、画像処理装置２は、操作内容に対応する加工情報を生成すると供に、加工情報に対応付けられた加工処理を画像に施して表示部３に表示させる。さらに、画像処理装置２は、画像より特徴量を抽出し、抽出した特徴量に対応付けて加工情報を加工情報記録再生装置４に蓄積させる。
次に、再生モードでは、図１の下部で示されるように、画像処理装置２は、動画像を含むコンテンツが予め記録されている記録メディア１からDVDプレーヤなどにより再生される画像を読み出すと供に、特徴量を抽出する。このとき、画像処理装置２は、加工情報記録再生装置４に特徴量に対応付けられて記録されている加工情報を、記録メディア１から読み出した画像の特徴量に同期して読み出すと供に、読み出した加工情報に基づいて、画像に加工処理を施し、表示部３に表示させる。
以上のような動作により、画像処理装置２は、予め記録された画像に対する加工内容のみを蓄積して、加工処理結果である画像を記録することなく、加工処理結果である画像を繰り返し再生できるようにすることができる。結果として、Copy Onceなどの複製回数に制限があるような予め記録された画像に対して、様々な画像処理を加えると言った加工処理を繰り返すことが可能となる。尚、図１においては、記録メディア１に記録された家と山を含む画像のうち、山の部分を拡大する加工処理が指示され、結果として、拡大された山の部分が表示部３に表示されている例が示されている。
このように、画像処理装置２は、蓄積された加工情報を用いてオリジナルの画像である記録メディア１の画像に加工処理を加えて表示させることができるので、加工情報を変化させることで、記録メディア１に記録された画像を様々な画像に加工処理して表示させることができる。
また、画像処理装置２は、図２で示されるように、記録メディア１に使用者Ａ乃至Ｃが撮像されている画像が存在する場合、被写体となる使用者Ａ乃至Ｃのそれぞれが画像に含まれているか否かを判断し、それぞれに対して所定の加工情報を生成すると供に、生成した加工情報に基づいて、画像を加工処理し、表示部３−１乃至３−３に表示されている画像として表示する。尚、図２において、表示部３−１乃至３−３は、表示状態を区別するために異なる符合が付されているが、同一の表示部３により表示される画像を示している。図２においては、画像処理装置２は、加工情報４ａ乃至４ｃのそれぞれに基づいて、記録メディア１に記録された画像に対して、所定の加工処理として、使用者Ａ乃至Ｃが画像の中央でズーム表示されるような加工処理を加えて、表示部３−１乃至３−３で示されるように表示する。
結果として、画像処理装置２は、画像を被写体に合わせて加工情報を生成すると供に、加工結果を表示させることができるので、使用者Ａ乃至Ｃは、記録メディア１と、それぞれの加工情報４ａ乃至４ｃを使用することで、記録メディア１に撮像された共通の画像を不可逆処理することなく、それぞれの加工情報４ａ乃至４ｃの処理結果として視聴することが可能となるので、あたかも自らを中心として撮像された画像として鑑賞することが可能となる。また、記録メディア１と加工情報４ａ，４ｂ、または４ｃとをセットにすることにより、それらを用いて再生される画像は、使用者Ａ乃至Ｃのそれぞれに対して付加価値を付することが可能となるため、記録メディア１の販売効果を高めることが可能となる。
以下、図１，図２を参照して説明した画像処理装置２について詳細を説明する。
図３は、図１，図２の記録メディア１に対応する共通メディア１６を生成する画像記録装置の一実施の形態の構成を示した図である。
センサ１１−１乃至１１−３は、共通メディア１６に記録される画像の被写体たる使用者Ａ乃至Ｃにそれぞれ所持されるものであり、GPS（Global Positionning System）を用いて位置情報を取得し、位置情報取得部１３に送信する。ここでは、例えば、上述した加工情報の購入を希望する使用者Ａ乃至Ｃが、予めセンサ１１−１乃至１１−３を所持しているものとする。尚、センサ１１−１乃至１１−３をそれぞれ特に区別する必要がない場合、単に、センサ１１と称するものとし、その他の構成についても同様に称するものとする。また、センサ１１の構成については、図５を参照して、詳細を後述するものとする。
撮像部１２は、CCD（Charge Coupled Device）やCMOS（Complementary Metal-Oxide Semiconductor）などからなる撮像素子を用いて入射される光を光電変換により電気信号とすることで、画像を撮像し、撮像された画像を画像データとして合成部１４に供給する。
位置情報取得部１３は、センサ１１より供給されてくる位置情報を取得し、合成部１４に供給する。合成部１４は、撮像部１２より供給されてくる画像データに、位置情報取得部１３より供給されてくる位置情報を合成し、録画機１５に供給する。録画機１５は、DVD-Rなどの記録メディアに位置情報が合成されている画像データを、所定の記録形式にエンコードすると供に記録し、共通メディア１６を生成する。
次に、図４を参照して、図１，図２の画像処理装置２に対応する画像記録装置により生成された共通メディア１６に加工処理を加える画像処理装置の一実施の形態の構成について説明する。
再生部２１は、共通メディア１６に所定の形式でエンコードされた状態で記録されている位置情報が合成された画像データを読み出して、デコードすると供に分離部２２に供給する。分離部２２は、再生部２１より供給されてきた画像データより位置情報を分離して、画像データを加工処理装置２３に、位置情報を加工情報決定部２５にそれぞれ供給する。
加工情報決定部２５は、分離部２２より供給されてくる各センサ１１の位置情報に基づいて、撮像された画像内での位置を求めると供に、制御部２４を介して入力される加工対象となる使用者の所持する位置情報により、画像内に表示されているか否かを判断し、画像内に表示されているとき、画像に対する加工内容を決定し、対応する加工情報を生成して加工処理装置２３に供給する。尚、加工情報決定部２５の構成については、図６を参照して、詳細な構成について後述するものとする。
加工処理装置２３は、加工情報決定部２５より供給されてくる加工情報に基づいて、分離部２２より供給されてくる画像に対して加工処理を施すための設定情報を決定し、決定した設定情報に基づいて画像を加工処理して表示すると供に、設定情報を画像の特徴量に対応付けてデータ記録メディア２６に記録する。尚、加工処理装置２３の構成については、図７を参照して、詳細を後述する。
データ記録メディア２６は、加工処理装置２３に対して着脱可能なリムーバブルメディアであり、画像の加工処理に必要な設定情報をセンサ１１毎に、すなわち、被写体となる使用者単位で記録する。したがって、図示せぬ複数のスロットにより使用者毎に複数のデータ記録メディア２６が装着されるような構成であっても良い。また、１つのデータ記録メディア２６に全使用者の設定情報を使用者毎の個別のファイル、または個別のフォルダなどの形式で区別して記録するようにしても良い。
次に、図５を参照して、センサ１１の一実施の形態の構成について説明する。
GPS位置取得部３１は、測地衛星の発信する電波を受信することにより、地球上での位置情報（経度／緯度）を取得すると供に送信部３２に供給する。送信部３２は、GPS位置取得部３１より供給されてくる位置情報にセンサ１１に固有のID３２ａを付して送信する。従って、位置情報には、ID３２ａが含まれているため、個々のセンサ１１の位置情報を識別することが可能である。換言すれば、個々の使用者の位置情報は、このID３２ａにより識別することが可能である。
次に、図６を参照して、加工情報決定部２５の一実施の形態の構成について説明する。
位置情報取得部４１は、分離部２２より供給されてくる全ての位置情報を取得し、画像内位置計算部４２に供給する。画像内位置計算部４２は、位置情報取得部４１より供給されてくる位置情報に基づいて、撮像部１２により撮像される画像内おける位置を計算する。すなわち、撮像部１２は、固定カメラであるため地球上の位置と、撮影方向とが固定されているので、どの様な画角の画像が取得されるか予め確定している。そこで、画像内位置計算部４２は、センサ１１の位置情報から、使用者が撮像部１２により撮像される画像内で、どのように配置された状態で表示されるかを計算し、計算結果を加工判定部４３、および加工情報生成部４５に供給する。
加工判定部４３は、画像内位置計算部４２より供給されてくる画像内における位置の計算結果から、制御部２４を介して供給されてくる加工対象となる使用者の情報に基づいて、画像内に使用者が存在し、かつ、他の被写体よりも撮像部１２の前に存在するか否かを判定し、画像内に使用者が存在し、かつ、他の被写体よりも撮像部１２の前に存在する場合、加工を指示すると供に、加工対象となる使用者の情報を加工内容決定部４４に供給する。
加工内容決定部４４は、加工判定部４３より加工対象となる使用者の情報と供に、加工の指示があったとき、加工内容を決定する。より具体的には、加工内容決定部４４は、例えば、使用者Ａの所持するセンサ１１のID３２ａに対応する位置情報の被写体を画像内で中央になるように拡大処理するといった加工内容を決定し、決定した加工内容を加工情報生成部４５に供給する。加工情報生成部４５は、加工内容決定部４４より供給されてくる加工内容の情報と、画像内位置計算部４２からの画像内位置の計算結果に基づいて、加工処理装置２３に対して画像を加工するための具体的な情報を生成し、加工処理装置２３に供給する。より具体的には、例えば、加工情報生成部４５は、オリジナルの画像内における中心とするピクセル位置および拡大率などを加工情報として加工処理装置２３に供給する。
次に、図７を参照して、加工処理装置２３の一実施の形態の構成について説明する。
特徴量抽出部６１は、再生部２１より順次供給されてくる画像の特徴量を抽出して、同期検出部６２、および特徴量設定情報記録部６３に供給する。尚、特徴量抽出部６１の構成については、図８を参照して詳細を後述する。
加工情報認識部６８は、加工情報を認識し、認識結果である具体的な加工処理の内容を示す情報を設定情報決定部６９に供給する。
設定情報決定部６９は、加工情報認識部６８より供給されてくる加工処理の内容を示す情報に基づいて、後述する反映部６７に対して画像への加工処理内容を指示するための設定情報を決定し、特徴量設定情報記録部６３および選択部６５に供給する。
特徴量設定情報記録部６３は、特徴量抽出部６１より供給されてくる特徴量と、設定情報決定部６９より供給されてくる設定情報とを対応付けてデータ記録メディア２６（図１，図２の加工情報記録再生装置４に対応するもの）に蓄積させる。
同期検出部６２は、データ記録メディア２６に蓄積されている特徴量（後述する検索位置特徴量）のうち、特徴量抽出部６１より供給されてくる再生部２１により再生されている画像の特徴量（後述する再生位置特徴量）を検索し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を特徴量設定情報読出部６４に供給する。尚、同期検出部６２の構成については、図１０を参照して詳細を後述する。
特徴量設定情報読出部６４は、同期検出部６２より同期位置として検出された特徴量（検索位置特徴量）を取得すると、その特徴量に対応付けられて、データ記録メディア２６に記憶されている設定情報を読み出し、選択部６５に供給する。選択部６５は、設定情報決定部６９より設定情報が供給されてきた場合、仮に、同一のタイミングで特徴量設定情報読出部６４より設定情報が供給されることがあっても、設定情報決定部６９からの設定情報を反映部６７に供給する。また、選択部６５は、設定情報決定部６９より設定情報の供給がなく、特徴量設定情報読出部６４より設定情報が供給された場合、特徴量設定情報読出部６４より供給された設定情報を反映部６７に供給する。さらに、いずれからも設定情報が供給されてこない場合、選択部６５は、設定情報を反映部６７に供給しない。
遅延部６６は、特徴量抽出部６１、同期検出部６２、および、選択部６５の処理における遅延時間だけ、供給されてくる画像を一時的に記憶し、反映部６７に出力する。反映部６７は、選択部６５より設定情報が供給されてくる場合、遅延部６６より供給されてくる画像に対する処理を反映して、表示部７０に表示する。また、反映部６７は、選択部６５より設定情報が供給されてこない場合、遅延部より供給されてくる画像を、そのまま表示部７０に表示させる。
次に、図８を参照して、特徴量抽出部６１の詳細な構成について説明する。
DFF（D型フリップフロップ）８１は、直前の入力信号を記憶して、図示せぬクロック信号発生器からのクロック信号（clk）が入力されるタイミングで加算器８２に出力する。また、DFF８１は、入力信号が画像の信号のうち画像データ領域外のものであるとき、リセット信号が入力され入力信号が消去されて出力される。すなわち、画像信号は、図９で示されるように同期データ領域と画像データ領域から構成されているため、図中の水平方向のサンプルと垂直方向のラインの丸印の原点であるフレーム開始点Ｓから順次入力されてくる位置の情報に応じて、画像データ領域外の同期データの場合、リセット信号が入力され、同期データを構成する信号が、加算器８２に出力されない。つまり、DFF８１は、画像を構成する入力信号のうち、画像データ領域のデータのみをクロック信号に同期して加算器８２に供給する。
加算器８２は、DFF８１より供給されてくる信号と、DFF８３より供給されてくる信号とを加算してDFF８３に出力する。より詳細には、加算器８２は、DFF８１より供給されてくる信号と、DFF８３より供給されてくる信号との加算結果のうち、下位８ビットを抽出してDFF８３に供給する。
DFF８３は、加算器８２より供給されてくる信号を図示せぬクロック発生器より発生されるクロック信号（clk）が入力されるタイミングで加算器８２および出力部８４に供給する。また、DFF８３は、フレーム開始点（図中の水平方向のサンプルと垂直方向のラインの丸印の原点）Ｓの信号が入力される際、リセット信号が入力され入力信号が消去されて出力される。すなわち、DFF８３は、画像を構成する入力信号のうち、画像データ領域のデータのみが加算器８２により累積的に加算された値を出力部８４に供給する。
出力部８４は、1フレーム（または、1フィールド）の値がDFF８３より供給されてきたとき、その値を１フレーム（または、そのフィールド）分の画像の特徴量として出力する。すなわち、出力部８４は、画像データ領域のデータのみが加算器８２により累積的に加算された値の下位８ビットをそのフレーム（または、そのフィールド）の特徴量として出力する。尚、特徴量は、画像を１フレーム単位で識別できる情報であればよいので、画像データ領域のデータのみ（画素値のみ）が累積的に加算された値の下位８ビットに限るものではなく、例えば、画像データ領域の中央近傍の所定領域内の画素値のみの加算結果をそのまま使用してもよい。
次に、図１０を参照して、同期検出部６２の詳細な構成について説明する。
特徴量バッファ１０１−１乃至１０１−３は、供給されてきた特徴量を一時的に記憶すると供に、それまでに記憶していた特徴量を再生位置特徴量生成部１０２および後段の特徴量バッファ１０１−２，１０１−３に順次出力する。尚、特徴量バッファ１０１−３は、後段の特徴量バッファ１０１が存在しないため、再生位置特徴量生成部１０２にのみ出力する。再生位置特徴量生成部１０２は、特徴量バッファ１０１−１乃至１０１−３より供給されてくる最新の特徴量を含めた過去３フレーム分の特徴量を順次取得し、これを纏めて再生位置情報（再生位置特徴量）として生成し、比較部１０３に出力する。すなわち、再生位置特徴量生成部１０２は、再生位置を特定するための特徴量として最新のフレームから３フレーム前までの合計４個の特徴量を使用して、再生位置特徴量を生成する。
検索位置特徴量読出部１０４は、データ記録メディア２６に蓄積されている特徴量を連続する４個ずつを順次読み出し、検索位置特徴量として比較部１０３および検出部１０５に供給する。比較部１０３は、再生位置特徴量生成部１０２より供給されてくる再生位置特徴量と、検索位置特徴量読出部１０４より順次供給されてくる検索位置特徴量とを比較する。比較部１０３は、再生位置特徴量と一致する検索位置特徴量を検索した場合、同期が検出されたとみなし、検出結果として同期が検出されたことを検出部１０５に通知する。検出部１０５は、比較部１０３より同期が検出されたとみなされたタイミングで、検索位置特徴量読出部１０４より供給されてきた検索位置特徴量を同期検出結果として出力する。
次に、図１１のフローチャートを参照して、図３の画像記録装置による画像記録処理について説明する。
ステップＳ１において、センサ１１のGPS位置取得部３１は、所定の時間が経過したか否かを判定し、所定の時間が経過するまでその処理を繰り返す。例えば、ステップＳ１において、所定の時間が経過したと判定された場合、ステップＳ２において、GPS位置取得部３１は、測地衛星の発信する電波を受信し、地球上での緯度経度を計算することにより、位置情報を取得し、位置情報を送信部３２に供給する。
ステップＳ３において、送信部３２は、GPS位置取得部３１より供給されてきた位置情報にID３２ａを付して送信し、その処理は、ステップＳ１に戻る。
ステップＳ１１において、画像記録装置の撮像部１２は、所定の画像を撮像し、撮像により得られた画像より画像データを生成して合成部１４に供給する。
ステップＳ１２において、位置情報取得部１３は、位置情報がセンサ１１より送信されてきたか否かを判定し、送信されてこない場合、その処理は、ステップＳ１１に戻る。すなわち、位置情報が送信されてくるまで、画像を撮像し続ける。例えば、ステップＳ３の処理により、位置情報がセンサ１１より送信されてきたと判定された場合、ステップＳ１３において、位置情報取得部１３は、センサ１１より送信されてきた、センサ１１毎のID３２ａを含む位置情報を取得し、取得した位置情報を合成部１４に供給する。尚、位置情報取得部１３は、複数のセンサ１１より同時に位置情報が送信されてくるような場合、それらを同時に取得し、複数の位置情報を合成部１４に供給する。
ステップＳ１４において、合成部１４は、撮像部１２より供給されてきた画像データに、位置情報取得部１３より供給されてきたセンサ１１毎のID３２ａを含む位置情報を合成し、録画機１５に供給する。
ステップＳ１５において、録画機１５は、合成部１４より供給されてきた位置情報が合成されている画像データを共通メディア１６に順次記録し、その処理は、ステップＳ１１に戻る。
以上の処理により、画像が撮像されるとき、位置情報が供給されてくると、そのタイミングで位置情報が合成されることになり、画像データに同期した位置情報が記録されている共通メディア１６が生成される。
次に、図１２のフローチャートを参照して、図４の画像処理装置による画像加工処理について説明する。
ステップＳ２１において、分離部２２は、再生部２１より次の画像が供給されてきたか否かを判定し、供給されてくるまでその処理を繰り返す。例えば、上述した画像記録処理により生成された共通メディア１６が再生部２１により再生され、位置情報を含む画像データが供給されてきた場合、ステップＳ２２において、分離部２２は、画像データより位置情報を分離し、画像データを加工処理装置２３に、位置情報を加工情報決定部２５にそれぞれ供給する。
ステップＳ２３において、加工情報決定部２５は、加工情報決定処理を実行し、加工情報を生成して加工処理装置２３に供給する。
ここで、図１３のフローチャートを参照して、加工情報決定処理について説明する。
ステップＳ４１において、位置情報取得部４１は、分離部２２より位置情報が供給されてきたか否かを判定し、供給されてくるまで、その処理を繰り返す。例えば、ステップＳ２２の処理により、分離部２２より位置情報が供給されてきた場合、ステップＳ４２において、位置情報取得部４１は、供給されてきた位置情報を取得し、画像内位置計算部４２に供給する。画像内位置計算部４２は、供給されてきた全ての位置情報に基づいて、撮像部１２により撮像される画像内の被写体となる使用者の位置を計算し、計算結果を加工判定部４３および加工情報生成部４５に供給する。
画像内位置計算部４２は、例えば、使用者Ａ乃至Ｅの位置情報について、図１４で示されるような位置関係であることを計算により求める。図１４においては、撮像部１２の撮像範囲が、上面からの２次元の平面図として示されている。すなわち、図１４においては、点線で示される範囲内が撮像範囲である場合、使用者Ａ乃至Ｄは、撮像部１２の撮像範囲内であるが、使用者Ｅの位置は、撮像部１２の撮像範囲外であることが示されている。
ステップＳ４３において、加工判定部４３は、制御部２４を介して、対象となる被写体である使用者が指定されているか否かを判定し、指定されるまでその処理を繰り返す。例えば、使用者により制御部２４が操作されて使用者が指定された場合、ステップＳ４４において、加工判定部４３は、選択された被写体となる使用者が画像内で表示されているか否かを判定する。すなわち、図１４の場合、使用者Ａ乃至Ｄであれば、撮像部１２の撮像範囲内であるので、被写体が画像内で表示されているものとして判定されることになるので、その処理は、ステップＳ４５に進む。
ステップＳ４５において、加工判定部４３は、選択された被写体となる使用者が他の被写体となる使用者よりも撮像部１２に対して前に存在するか否かを判定する。すなわち、図１４の場合、使用者Ａ乃至Ｃについては、撮像部１２との間に他の被写体となる使用者が存在せず、他の被写体よりも前に存在することになるので、その処理は、ステップＳ４６に進む。
ステップＳ４６において、加工判定部４３は、加工可能であることを示す判定結果を加工内容決定部４４に対して通知すると供に、対象とされる被写体である使用者の情報を供給する。加工内容決定部４４は、対象となる被写体としての使用者を画像内の中心位置として所定の加工処理を加工内容として決定し、決定結果を加工情報生成部４５に供給する。すなわち、例えば、図１４の場合、使用者Ａが対象として選択されていた場合、加工内用決定部４４は、選択された使用者Ａを中心とした、ズーム画像に加工処理するといった加工内容を加工情報生成部４５に供給する。
ステップＳ４８において、加工情報生成部４５は、加工内容決定部４４からの加工内容の情報に基づいて、加工処理装置２３に対して具体的な加工を指示する加工情報を生成し、加工処理装置２３に対して供給する。すなわち、例えば、加工内容が、選択された使用者Ａを中心として、所定の倍率のズーム画像に加工処理すると言うものであった場合、加工情報生成部４５は、画像内位置計算部４２の計算結果により、使用者Ａの位置情報から画像内の中心位置となる画素位置を求め、求められた画素位置を中心として、使用者Ａを拡大したとき十分に中心位置とできるような画像となる倍率を求める。加工情報生成部４５は、このようにして求められた画像内のズーム画像を生成する上での中心画素位置と、倍率の情報とからなる加工情報を生成して、加工処理装置２３に供給する。
一方、ステップＳ４４において、例えば、図１４において、対象となる被写体として使用者Ｅが選択されていた場合、選択された被写体は、画像内ではないと判定されるので、その処理は、ステップＳ４７に進む。また、ステップＳ４５において、例えば、図１４において、対象となる被写体として使用者Ｄが選択された場合、使用者Ｄと撮像部１２の間に使用者Ｂが存在するため、他の被写体よりも前ではないため、その処理は、ステップＳ４７に進む。
ステップＳ４７において、加工判定部４３は、加工不能であることを示す判定結果を加工内容決定部４４に対して通知すると供に、対象とされる被写体である使用者の情報を供給する。加工内容決定部４４は、対象とされる被写体である使用者ＤまたはＥの情報と供に、加工処理しないことを加工内容として加工情報生成部４５に供給する。
この結果、ステップＳ４８において、加工情報生成部４５は、加工処理なしを示す加工情報を生成して加工処理装置２３に供給する。
以上の処理により、撮像部１２により撮像される画像内に、加工処理の対象となる被写体が撮像された状態であるか否かにより、加工可能であるか否かが判定され、加工可能であるとき、加工処理装置２３における加工処理に必要な加工情報が生成される。尚、以上においては、対象となる被写体が、使用者により選択される例について説明してきたが、特に、指定がない場合、全ての被写体について順次加工情報決定処理を繰り返し、全ての被写体について加工情報を決定するようにしてもよい。また、加工内容については、対象となる被写体を中心としたズーム画像を生成する例について説明してきたが、それ以外の加工内容でもよく、例えば、対象となる被写体を指定するとき、併せて、その被写体ごとに加工内容を使用者により指定させるようにしても良い。さらに、画像内に使用者が含まれるか否かの判定をする際の説明をするに当たり、図１４を参照して上部からみた２次元の配置による判断の例を示したが、当然のことながら位置情報に基づいて、３次元の配置により画像内に対象となる被写体たる使用者が存在するか否かを判断するようにしても良いことは言うまでもない。
ここで、図１２のフローチャートの説明に戻る。
ステップＳ２４において、加工処理装置２３は、加工処理を実行し、加工情報決定部２５より供給されてくる加工情報に基づいて、分離部２２より供給された画像を加工処理し、データ記録メディア２６に加工処理に必要な設定情報を記録すると供に、表示部７０に処理結果である画像を表示する。
ここで、図１５のフローチャートを参照して、図７の加工処理装置２３による加工処理について説明する。
ステップＳ６１において、遅延部６６は、供給されてきた画像を１フレーム分一時的に遅延させるために記憶する。尚、以降においては、画像を１フレーム単位で処理するものとして説明を進めるが、当然のことながら、画像は、１フレーム単位に限らず、例えば、１フィールド単位で処理するようにしても良い。
ステップＳ６２において、特徴量抽出部６１は、特徴量抽出処理を実行し、分離部２２より供給されてきた１フレーム分の画像の特徴量を抽出する。すなわち、遅延部６６が、新たな画像を１フレーム分遅延させるために一時的に記憶するとき、同様に、１フレーム分の画像が特徴量抽出部６１にも供給されているため、同一のタイミングで、同一の画像が、一方では遅延のため一時的に記憶され、他方では特徴量が抽出される。
ここで、図１６のフローチャートを参照して、特徴量抽出処理について説明する。
ステップＳ９１において、DFF８３は、フレーム開始点Ｓ（図９）によりリセットされる。
ステップＳ９２において、未処理の画素が選択され、ステップＳ９３において、画像データ領域外であるか否かが判定される。より詳細には、例えば、ラスタスキャン順に１フレーム分の画像より未処理の画素が順次読み出され、画像データ領域外であるか否かが判定される。
図９で示されるように、最初の画素（フレーム開始点Ｓの画素）の場合、同期データに含まれるため画像データ領域外であるので、ステップＳ９５において、DFF８１はリセットされ、０を画素値として出力する。一方、ラスタスキャン順に処理対象となる画素が選択され、例えば、画像データ領域内である場合、ステップＳ９４において、DFF８１は、クロック信号の発生タイミングで画素値を加算器８２に供給する。
ステップＳ９６において、加算器８２は、入力された画素値と、DFF８３より供給されてくる信号とを加算してDFF８３に供給する。
ステップＳ９７において、DFF８３は、クロック信号の発生タイミングで加算器８２より供給されてきた加算結果の下位８ビットを加算器８２に戻す。このとき、DFF８３は、加算結果を出力部８４にも供給するが、出力部８４は、加算結果を出力しない。
ステップＳ９８において、未処理の画素があるか否かが判定され、未処理の画素がある場合、その処理は、ステップＳ９２に戻る。すなわち、１フレーム分の画素が全て処理されるまで、ステップＳ９２乃至Ｓ９８の処理が繰り返される。そして、１フレーム分の画素の全てが処理されたと判定された場合、ステップＳ９９において、出力部８４は、DFF８３より供給されてくる加算結果、すなわち、画像データ領域に属する画素値の累積加算結果の下位８ビットを１フレームの画像の特徴量として出力する。
以上の処理により、１フレーム分の画像信号より画像データ領域の全ての画素値の累積加算結果の下位８ビットが、そのフレームの特徴量として抽出されることになる。
ここで、図１５のフローチャートの説明に戻る。
ステップＳ６３において、加工情報認識部６８は、加工情報決定部２５より供給されてきた加工情報が加工処理ありか否かを判定する。例えば、図１３のステップＳ４７，Ｓ４８の処理により、加工情報が加工処理がないという加工内容に対応するものであるか、または、加工情報そのものが存在しない場合、加工処理なしとしてみなされ、ステップＳ４６，Ｓ４８の処理により、加工情報が所定の加工内容に応じたものとして設定された場合、加工情報があると判定される。
ステップＳ６３において、例えば、加工情報があると判定された場合、ステップＳ６４において、加工情報認識部６８は、加工情報を認識し、設定情報決定部６９に供給する。設定情報決定部６９は、加工情報に基づいて、反映部６７に対して画像に処理を施すための設定情報を決定し、特徴量設定情報記録部６３および選択部６５に供給する。すなわち、例えば、画像内のズーム画像を生成する上での中心画素位置と、倍率の情報とからなる加工情報に基づいて、設定情報決定部６９は、設定情報を決定し、特徴量設定情報記録部６３および選択部６５に供給する。
ステップＳ６５において、特徴量設定情報記録部６３は、特徴量抽出部６１より供給されてくる特徴量をデータ記録メディア２６に記録させると共に、その特徴量に対応付けて、設定情報決定部６９より供給されてくる設定情報を、データ記録メディア２６に記録させることで、特徴量と設定情報とを蓄積させる。より詳細には、図１７で示されるように、特徴量Ｃ１を所定のアドレスＡに記録させた場合、そのm倍のアドレス、すなわち、アドレスｍ×Ａに、特徴量Ｃ１に対応付けられた設定情報Ｅ１を記憶させる。尚、図１７においては、データ記録メディア２６の内部における特徴量と設定情報とが記憶されるアドレスの配置が示されている。
以降、特徴量設定情報記録部６３は、同様にして、特徴量Ｃ２をアドレスＢに記憶させるとき、対応する設定情報Ｅ２をｍ×Ｂに記憶させ、さらに、特徴量Ｃ３をアドレスＣに記憶させるとき、対応する設定情報Ｅ３をｍ×Ｃに記憶させる。このように特徴量に対応付けて設定情報を記憶させることにより、特徴量が決まれば、特徴量のアドレスから設定情報のアドレスが特定できるので、設定情報蓄積部６２内における特徴量毎の設定情報の検索をスムーズにすることが可能となる。尚、特徴量および設定情報は、同一の処理が連続して指定されている期間について連続して記録される。すなわち、例えば、図１７における特徴量Ｃ１乃至Ｃ３は、いずれも１フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の特徴量が連続的に記録されている。また、同様にして、設定情報についても、例えば、図１７における設定情報Ｅ１乃至Ｅ３は、特徴量Ｃ１乃至Ｃ３に対応付けられたアドレスから、いずれも１フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の設定情報が連続的に記録されている。
ステップＳ６６において、選択部６５は、設定情報決定部６９より設定情報が供給されてきているので、設定情報決定部６９より供給されてきた設定情報を反映部６７に供給する。反映部６７は、遅延部６６に記憶されている画像に対して、選択部６５より供給されてきた設定情報に基づいて、処理を加えて、使用者からの指示内容に応じた処理を反映させて表示部７０に表示させる。
すなわち、使用者により加工情報に基づいて、ステップＳ６１乃至Ｓ６６の処理により、特徴量と共に、特徴量に対応付けられて、加工情報に伴った設定情報がデータ記録メディア２６に蓄積されていく。このステップＳ６１乃至Ｓ６６の処理が、図１，図２を参照して説明した記録モードに対応する動作である。
一方、ステップＳ６３において、加工処理がないと判定された場合、ステップＳ６７において、特徴量設定情報読出部６４は、選択部６５に対して設定情報を供給しない。この処理により、選択部６５は、設定情報決定部６９および特徴量設定情報読出部６４のいずれからも設定情報の供給がない状態となるため、反映部６７に対して処理を指定する設定情報が供給されないことになる。結果として、反映部６７は、遅延部６６に一時的に記憶された１フレーム分の画像を、そのままの状態で表示部７０に表示させる。
ここで、図１２のフローチャートの説明に戻る。
ステップＳ２４の加工処理が終了した後、処理は、ステップＳ２１に戻り、順次フレーム単位で画像に加工処理が加えられると供に、加工処理に必要とされる設定情報がデータ記録メディア２６に記録される。
以上の処理により、共通メディア１６の位置情報が含まれた画像データに基づいて、対象として設定された被写体である使用者が画像内に存在し、かつ、他の被写体よりも前に存在するとき、使用者を中心とした加工処理が加えられると供に、加工処理に必要とされる設定情報が特徴量に対応付けられた状態でデータ記録メディア２６に記録される。
次に、図１８のフローチャートを参照して、図４の画像処理装置による再生処理について説明する。
ステップＳ１０１において、分離部２２は、再生部２１より次の画像が供給されてきたか否かを判定し、供給されてくるまでその処理を繰り返す。例えば、上述した画像記録処理により生成された共通メディア１６が再生部２１により再生され、位置情報を含む画像データが供給されてきた場合、ステップＳ１０２において、分離部２２は、画像データより位置情報を分離し、画像データを加工処理装置２３に、位置情報を加工情報決定部２５にそれぞれ供給する。
ステップＳ１０３において、加工処理装置２３の特徴量抽出部６１は、特徴量抽出処理を実行し、分離部２２より供給されてきた１フレーム分の画像の特徴量を抽出する。尚、特徴量抽出処理については、図１６のフローチャートを参照して説明した特徴量抽出処理と同様であるので、その説明は省略する。
ステップＳ１０５において、同期検出部６２は、同期検出処理を実行して、再生中の画像の特徴量と、画像に処理を施すための設定情報が対応付けられている特徴量との同期を検出する。
ここで、図１９のフローチャートを参照して、同期検出処理について説明する。
ステップＳ１１１において、同期検出部６２の再生位置特徴量生成部１０２は、特徴量抽出部６１より特徴量が供給されてきたか否かを判定し、供給されてくるまでその処理を繰り返す。例えば、ステップＳ１０４の特徴量抽出処理により特徴量が抽出されて、特徴量抽出部６１より今現在再生中の画像の特徴量が供給されてきた場合、その処理は、ステップＳ１１２に進む。
ステップＳ１１２において、検索位置特徴量読出部１０４は、検索位置の特徴量をカウントするためのカウンタｉを０に初期化する。
ステップＳ１１３において、再生位置特徴量生成部１０２は、供給されてきた特徴量を取得すると供に、特徴量バッファ１０１−１乃至１０１−３にそれまで記憶していた特徴量を取得する。すなわち、特徴量バッファ１０１−１は、新たに特徴量が供給されてくると、それまでに記憶していた特徴量を、再生位置特徴量生成部１０２および特徴量バッファ１０１−２に供給する。同様に、特徴量バッファ１０１−２は、供給されてきた特徴量を記憶すると供に、それまで記憶していた特徴量を、再生位置特徴量生成部１０２および特徴量バッファ１０１−３に供給する。さらに、特徴量バッファ１０１−３は、特徴量バッファ１０１−２より供給されてきた特徴量を記憶すると供に、それまで記憶していた特徴量を、再生位置特徴量生成部１０２に供給する。結果として、再生位置特徴量生成部１０２には、最新のフレームの特徴量と、特徴量バッファ１０１−１乃至１０１−３にそれぞれ記憶されていた過去３フレーム分の特徴量が供給されてくることになる。そこで、再生位置特徴量生成部１０２は、再生中のフレームを含めた４フレーム分の特徴量を再生位置特徴量として比較部１０３に供給する。
ステップＳ１１４において、検索位置特徴量読出部１０４は、データ記録メディア２６に蓄積されている特徴量の先頭位置からｉ番目より連続する４フレームの特徴量を検索位置特徴量として読み出し比較部１０３および検出部１０５に供給する。
ステップＳ１１５において、比較部１０３は、再生位置特徴量生成部１０２より供給されてきた再生中のフレームを含む過去３フレーム分の合計４個の特徴量からなる再生位置特徴量と、検索位置特徴量読出部１０４より供給されてきた、データ記録メディア２６に蓄積されている特徴量の先頭位置からｉ番目より連続する４フレームの特徴量からなる検索位置特徴量とを比較する。
ステップＳ１１６において、比較部１０３は、比較結果に基づいて一致しているか否かを判定する。ステップＳ１１６において、例えば、一致しないと判定された場合、ステップＳ１１８において、検索位置特徴量読出部１０４は、データ記録メディア２６に蓄積されている全ての特徴量について、再生位置特徴量と比較したか否かを判定する。例えば、ステップＳ１１８において、全ての特徴量と比較していないと判定された場合、ステップＳ１１９において、検索位置特徴量読出部１０４は、カウンタｉを１インクリメントし、その処理は、ステップＳ１１４に戻る。すなわち、この処理により、再生位置特徴量と、検索位置特徴量が一致せず、かつ、蓄積されている全ての特徴量と比較されるまで、ステップＳ１１４乃至Ｓ１１６，Ｓ１１８，Ｓ１１９の処理が繰り返され、順次１フレーム間隔でずれながら、連続する４フレーム分の特徴量からなる検索位置特徴量と、再生位置特徴量との比較が繰り返される。
すなわち、検索位置特徴量とは、例えば、図２０の右上部で示されるように、特徴量抽出部６１より順次蓄積されている特徴量のうち、今の場合、連続する４個の特徴量の塊である。尚、図２０においては、図中の縦長の長方形状のマスは、１フレーム分の特徴量を示しており、斜線部のＧ１，Ｇ２は同一の連続する特徴量が配置されていることを示している。また、再生位置特徴量とは、図２０の右下部で示されているように、特徴量抽出部６１より供給されてくる再生中の特徴量を含めた連続する４フレーム分の特徴量の塊である。
例えば、図２０で示されるように再生位置特徴量Ｇ２で示されるような場合、検索位置特徴量Ｇ０と比較する場合、同一ではないので、同期位置としては検出されない。さらに、蓄積されている全ての特徴量との比較がされていないので、カウンタｉが１インクリメントされて、検索位置特徴量Ｇ０’と再生位置特徴量Ｇ２とが比較される。このように、検索位置特徴量が図中の右方向に１フレーム間隔でずれながら、再生位置特徴量Ｇ２との比較が繰り返される。
ステップＳ１１６において、例えば、再生位置特徴量Ｇ２と検索位置特徴量Ｇ１とが比較されるような場合、検索位置特徴量Ｇ１が再生位置特徴量Ｇ２と同一の構成となっているため、一致したと判定され、ステップＳ１１７において、比較部１０３は、一致したことを検出部１０５に通知する。検出部１０５は、この通知に基づいて、今現在検索位置特徴量読出部１０４より供給されている検索位置特徴量の先頭位置、すなわち、先頭位置からｉ番目の特徴量を同期位置情報として特徴量設定情報読出部６４に供給する。
一方、ステップＳ１１８において、蓄積されている全ての検索位置特徴量との比較が終了したと判定された場合、ステップＳ１２０において、検出部１０５は、再生位置特徴量と一致する検索位置特徴量が存在せず、同期しないことを出力する。
以上の処理により、データ記録メディア２６に蓄積されている特徴量と、再生中の画像の特徴量とを同期させることが可能となる。すなわち、同期検出部６２は、再生中のフレームの特徴量のみを、データ記録メディア２６に蓄積されている特徴量と比較することで、偶然に特徴量が一致してしまうことで、間違った位置で同期が検出される可能性を低減させるために、現在再生されているフレームの特徴量のみではなく、再生されているフレームを含む過去３フレーム分の４フレームで比較することにより正確に同期検出を実施している。また、このように特徴量を使用することにより、各フレーム単位でのタイムコードの代わりに特徴量を設定することが可能となり、タイムコードを使用することなく、フレーム単位での同期検出を行うことが可能となる。
ここで、図１８のフローチャートの説明に戻る。
ステップＳ１０６において、特徴量設定情報読出部６４は、再生中のフレームの再生位置特徴量と、一致する特徴量がデータ記録メディア２６に蓄積されているか否かを判定する。例えば、図１９のフローチャートのステップＳ１１７の処理により同期位置情報が供給されてきた場合、再生中のフレームの再生位置特徴量と、一致する特徴量がデータ記録メディア２６に蓄積されていることになるので、その処理は、ステップＳ１０７に進む。
ステップＳ１０７において、特徴量設定情報読出部６４は、同期した特徴量に対応付けられた設定情報がデータ記録メディア２６に蓄積されているか否かを判定する。すなわち、特徴量は、設定情報がない状態でもデータ記録メディア２６に蓄積することが可能であるので、この処理により、特徴量に対応付けられた設定情報の有無が判定される。
ステップＳ１０７において、例えば、特徴量に対応付けられた設定情報が蓄積されていないと判定された場合、ステップＳ１０８において、特徴量設定情報読出部６４は、選択部６５に対して設定情報を供給しない。この処理により、選択部６５は、設定情報決定部６９および特徴量設定情報読出部６４のいずれからも設定情報の供給がない状態となるため、反映部６７に対して処理を指定する設定情報が供給されないことになる。結果として、反映部６７は、遅延部６６に一時的に記憶された１フレーム分の画像を、そのままの状態で表示部７０に表示させる。
一方、ステップＳ１０７において、例えば、特徴量に対応付けられた設定情報が蓄積されていると判定された場合、ステップＳ１０９において、特徴量設定情報読出部６４は、データ記録メディア２６より、同期位置情報の特徴量に対応付けて蓄積されている設定情報を読み出し選択部６５に供給し、その処理は、ステップＳ１１０に進む。
ステップＳ１１０において、選択部６５は、設定情報決定部６９からの設定情報がなく、特徴量設定情報読出部６４から設定情報が供給されるため、特徴量設定情報読出部６４からの設定情報が反映部６７に供給され、その設定情報に基づいて遅延部６６に蓄積されていた１フレーム分の画像に処理が反映されて、表示部７０に表示される。
以上の処理により、画像加工処理によりデータ記録メディア２６に特徴量に対応付けて記録された設定情報に基づいて、共通メディア１６に記録された画像が加工された状態で表示されることになる。
尚、図１８の再生処理が、図１，図２を参照して説明した再生モードに対応する処理である。
以上の処理により、撮像部１２により画像を撮像する際、被写体となる使用者がセンサ１１を所持した状態で撮像されると、各センサ１１の位置情報を含む画像データが共通メディア１６に記録される。また、共通メディア１６に記録されている画像データに基づいて画像を再生させながら、含まれている位置情報に基づいて、上述した画像加工処理によりセンサ１１を所持した使用者毎に画像を加工するための設定情報が画像の特徴量に対応付けられた状態でデータ記録メディア２６に蓄積される。さらに、共通メディア１６に記録された画像データを再生させるとき、再生された画像を、データ記録メディア２６に画像の特徴量に対応付けて記録されている設定情報に基づいて加工した画像として再生することができる。
結果として、例えば、加工処理として、加工対象となる使用者を中心としたズーム処理を行うようにすると、共通メディア１６に記録された画像が再生される度に、画像内に加工対象となる使用者が含まれている限り、使用者を中心としたズーム処理が常に行なわれる状態で再生されることになるため、あたかも加工対象となる使用者のみを撮像部１２が追いかけながら撮像しているかのような画像を再生させることが可能となる。
また、共通メディア１６に記録されている画像そのものには、加工が加えられない状態であるため、仮に、共通メディアに記録されている画像がCopy Onceなどの既に複製ができない画像であっても、加工対象となる使用者に合わせた画像として再生させることができる。また、別のセンサ１１を所持する他の使用者に対しても、データ記録メディア２６に記録される設定情報を変えることで個々の使用者に対応する画像を加工しながら繰り返し再生することができる。
さらに、共通メディア１６に位置情報と供に記録される画像の撮像前に、予めセンサ１１のみを複数の使用者に配布して、画像を撮像したのち、画像加工処理により設定情報が記録されたデータ記録メディア２６を生成し、共通メディア１６と、共通メディア１６に記録されている画像の特徴量に対応付けて設定情報が記録されているデータ記録メディア２６とを加工対象となる使用者毎にセットにして販売することにより、単に１台の撮像部１２のみで撮像した画像が記録されているメディアを販売するのと比べて、個々の使用者の購買意欲を高揚させる可能性が高く、結果として、経済活動の活性化に寄与することが可能となる。
尚、特徴量は、以上においては、１フレーム分の画像信号中の画像データ領域の画素値の積算値を用いる例について説明してきたが、それ以外の特徴量であってもよく、例えば、動きベクトル（全画面動きとローカル動き）、特定の波形パターンがどれだけ出現するかを示す値、縮小画像における画素値の積算値、画像の特定部分の画素値の積算値、これらを複数フレーム分用いた値、または、これらの複数の特徴量の組み合わせなどであってもよい。
また、設定情報については、ズーム倍率を例にして説明してきたが、それ以外の情報であってもよく、例えば、ズーム位置（中心位置）、もしくはズーム位置とズーム倍率との組み合わせなどのズームパラメータ、明るさ、コントラスト、ガンマ補正、DRC（Digital Reality Creation）パレット値（解像度設定値、およびノイズ設定値）などの画質設定パラメータ、または、音量、音声切替（使用言語の切り替え）などの音声パラメータなどを用いるようにしてもよい。
さらに、図３の画像記録装置および図４の画像処理装置は、共通メディア１１を介在させた１つの画像処理システムを構成していると言える。
また、以上においては、位置情報により、特定の被写体である使用者が、画像内に含まれるか否かに基づいて、画像に処理を施すか否かを判断する例について説明してきたが、これは、特定の被写体である使用者の状態に基づいて画像に処理を施す内容を設定しているとも言える。したがって、被写体の状態情報に基づいた画像処理であれば、被写体の位置情報により被写体が画像内に含まれるか否かの状態により画像に加える処理内容を判断するといった処理に限られるものではなく、例えば、特定の被写体となる使用者が撮像部に顔を向けているか否かを状態情報として測定し、顔が撮像部を向いていたらズーム処理したり、特定の被写体の使用者の体温情報などをサーモセンサなどで状態情報として測定し、測定した温度情報に応じてズーム倍率を変化させて画像処理するといったように、被写体の状態情報に応じて画像処理を加える処理であるとも捉えることができる。
以上においては、画像記録処理により撮像部１２により撮像される画像に、位置情報取得部１３により取得される位置情報が合成された状態で共通メディア１６が生成される例について説明してきたが、共通メディア１６に記録された画像の画像データは、位置情報が合成されているので、分離部２２のように画像データと、位置情報とを分離する機能を備えた再生装置でない限り画像データを再生することができないことがある。そこで、撮像部１２で撮像された画像のみを共通メディア１６に記録するようにし、位置情報を別の位置情報記録メディアに記録するようにしても良い。この場合、画像上の再生位置と、位置情報とを同期させる必要があるので、位置情報を画像の特徴量に対応付けて記録させるようにしても良い。
図２１は、撮像部１２で撮像された画像のみを共通メディアに記録するようにし、位置情報を別の位置情報記録メディアに記録するようにした画像記録装置の構成例を示している。尚、図２１において、図３と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。
図２１の画像記録装置において、センサ１１−１乃至１１−３、および撮像部１２は、図３の画像記録装置と同様である。図２１の画像記録装置において、図３の画像記録装置と異なるのは、合成部１４および録画機１５に代えて、録画機２０１、特徴量抽出部２０２、および位置情報記録機器２０３が設けられている点である。
録画機２０１は、撮像部１２より供給されてくる画像データを共通メディア１６’に記録する。すなわち、図２１の画像記録装置においては、画像データのみが記録された共通メディア１６’が生成される。また、録画機２０１は、撮像部１２より供給されてくる画像をそのまま特徴量抽出部２０２に供給する。
特徴量抽出部２０２は、基本的に図７の特徴量抽出部６１と同様の機能のものであり、録画機２０１を介して撮像部１２より供給されてくる画像データに基づいて、画像の特徴量をフレーム単位で抽出し位置情報記録機器２０３に供給する。
位置情報記録機器２０３は、位置情報取得部１３より供給されてくる位置情報を、特徴量抽出部２０２より供給されてくる特徴量と対応付けて位置情報記録メディア２１１に記録させる。
次に、図２２を参照して、撮像部１２で撮像された画像のみを共通メディア１６’に記録するようにし、位置情報を別の位置情報記録メディア２１１に記録するようにした場合の画像処理装置の構成例について説明する。尚、図２２において、図４と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。
図２２の画像処理装置において、再生部２１、制御部２４、および加工情報決定部２５は、図４の画像処理装置と同様である。図２３の画像処理装置において、図４の画像処理装置と異なるのは、分離部２２に代えて位置情報再生部２１１および加工処理装置２２２が設けられている点である。
位置情報再生部２１１は、位置情報取得部１３より供給されてくる位置情報を、加工情報処理部２２２より供給されてくる、再生部２１より供給されてくる画像の特徴量に対応付けて位置情報記録メディア２１１に記録する。
次に、図２３を参照して、加工処理装置２２２の構成例について説明する。尚、図７の加工処理装置２３の構成と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。すなわち、図２３の加工処理装置２２２は、図７の加工処理装置２３と同様のものであるが、特徴量抽出部６１は、同期検出部６２、および特徴量設定情報記録部６３に加えて、位置情報再生部２１１にも特徴量を供給する点が異なるのみである。
次に、図２４を参照して、位置情報再生部２２１の構成例について説明する。
特徴量取得部２４１は、加工処理装置２２２の特徴量抽出部６１より供給されてくる特徴量を取得し、同期検出部２４２に供給する。同期検出部２４２は、基本的に図７の同期検出部６２と同一のものであり、位置情報記録メディア２１１に蓄積されている特徴量（検索位置特徴量）のうち、特徴量取得部２４１より供給されてくる再生されている画像の特徴量（再生位置特徴量）を検索し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を位置情報取得部２４３に供給する。
位置情報取得部２４３は、同期検出部２４２より同期位置として検出された特徴量（検索位置特徴量）を取得すると、その特徴量に対応付けられて、位置情報記録メディア２１１に記憶されている位置情報を取得し、出力部２４４に供給する。出力部２４４は、位置情報取得部２４３より供給されてきた位置情報を加工情報決定部２５に供給する。
次に、図２５のフローチャートを参照して、図２１の画像記録装置による画像記録処理について説明する。尚、図２５のフローチャートにおいて、ステップＳ１５１乃至Ｓ１５３の処理については、図１１のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
ステップＳ１６１において、画像記録装置の撮像部１２は、所定の画像を撮像し、撮像により得られた画像より画像データを生成して録画機２０１に供給する。
ステップＳ１６２において、録画機２０１は、撮像部１２より供給されてきた画像データを共通メディア１６’に記録すると供に、その画像を特徴量抽出部２０２に供給する。
ステップＳ１６３において、位置情報取得部１３、位置情報がセンサ１１より送信されてきたか否かを判定し、送信されてこない場合、その処理は、ステップＳ１６１に戻る。例えば、ステップＳ１５３の処理により、位置情報がセンサ１１より送信されてきたと判定された場合、ステップＳ１６４において、位置情報取得部１３は、センサ１１より送信されてきた、センサ１１毎のID３２ａを含む位置情報を取得し、取得した位置情報を位置情報記録機器２０３に供給する。
ステップＳ１６４において、位置情報記録機器２０３は、位置情報取得部１３より供給されてきた位置情報を取得する。
ステップＳ１６５において、特徴量抽出部２０２は、特徴量抽出処理を実行し、録画機２０１を介して撮像部１２より供給されてきた画像データに基づいて、画像の特徴量を抽出し、抽出した特徴量を位置情報記録機器２０３に供給する。尚、特徴量抽出処理については、図１６のフローチャートを参照して説明した処理と同様であるので、その説明は省略するものとする。
ステップＳ１６６において、位置情報記録機器２０３は、特徴量抽出部２０２より供給されてきた特徴量と供に、その特徴量に対応付けて、位置情報取得部１３より供給されてきた位置情報を、位置情報記録メディア２１１に記録し、その処理は、ステップＳ１６１に戻る。
以上の処理により、画像が撮像されるとき、画像は、共通メディア１６’に単独で記録され、位置情報は、そのタイミングで画像の特徴量に対応付けて位置情報記録メディア２１１に記録される。結果として、共通メディア１６’には、画像のみが記録される状態となるので、市販の再生装置でも再生することが可能となる。また、位置情報については、画像の特徴量に対応付けて位置情報記録メディア２１１に記録されることになるので、後述する再生処理により共通メディア１６’に記録された画像を再生しつつ、再生される画像と同期して図２２の画像処理装置により再生処理に反映させることが可能となる。
次に、図２６フローチャートを参照して、図２２の画像処理装置による画像加工処理について説明する。
ステップＳ１９１において、加工処理装置２２２の特徴量抽出部６１は、再生部２１より次の画像が供給されてきたか否かを判定し、供給されてくるまでその処理を繰り返す。例えば、上述した画像記録処理により生成された共通メディア１６’が再生部２１により再生され画像データが供給されてきた場合、ステップＳ１９２において、特徴量抽出部６１は、特徴量抽出処理を実行し、抽出した特徴量を同期検出部６２、特徴量設定情報記録部６３、および位置情報再生部２２１に供給する。尚、特徴量抽出処理については、図１６のフローチャートを参照して、説明した処理と同様であるので、その説明は省略する。
ステップＳ１９３において、位置情報再生部２２１は、位置情報抽出処理を実行し、特徴量に同期して、位置情報記録メディア２１１より位置情報を抽出し、加工情報決定部２５に供給する。
ここで、図２７のフローチャートを参照して、位置情報取得部２２１による位置情報抽出処理について説明する。
ステップＳ２０１において、特徴量取得部２４１は、加工処理装置２２２の特徴量抽出部６１より供給されてくる、共通メディア１６’より今現在再生されている画像の特徴量を取得する。
ステップＳ２０２において、同期検出部２４２は、特徴量取得部２４１より供給されてくる特徴量に基づいて、同期検出処理を実行し、再生中の画像の特徴量と、位置情報記録メディア２１１に記録されている位置情報が対応付けられている特徴量との同期を検出し、検出結果を位置情報取得部２４３に供給する。尚、同期検出処理については、図１９のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
ステップＳ２０３において、位置情報取得部２４３は、位置情報記録メディア２１１に特徴量に対応付けて記録されている位置情報のうち、同期検出結果として供給されてきた特徴量に対応付けて記録されている位置情報を取得して、出力部２４４に供給する。
ステップＳ２０４において、出力部２４４は、位置情報取得部２４３より供給されてきた位置情報を加工情報決定部２５に供給する。
以上の処理により、再生される画像の特徴量により同期して対応付けて記録されている位置情報が位置情報記録メディア２１１より読み出されて加工情報決定部２５に供給される。
ここで、図２６のフローチャートの説明に戻る。
ステップＳ１９４において、加工情報決定部２５は、加工情報決定処理を実行し、加工情報を生成して加工処理装置２２２に供給する。尚、加工情報決定処理については、図１３のフローチャートを参照して説明した処理であるので、その説明は省略する。
ステップＳ１９５において、加工処理装置２２２は、加工情報決定部２５より供給されてくる加工情報に基づいて加工処理を実行し、画像の加工に必要とされる設定情報を特徴量に対応付けてデータ記録メディア２６に記録し、その処理は、ステップＳ１９１に戻る。
ここで、図２９のフローチャートを参照して、加工処理装置２２２による加工処理について説明するが、図２９のフローチャートのステップＳ２１１乃至Ｓ２１６の処理は、図１５のフローチャートにおけるステップＳ６１，Ｓ６３乃至Ｓ６７の処理と同様である。すなわち、ステップＳ６２の処理である特徴量抽出処理が、ステップＳ１９２の処理により既に実行されているため削除されている点が異なるのみである。したがって、その他の処理は、同様であるため、その説明は省略するものとする。
以上の処理により、共通メディア１６’の画像データおよび位置情報記録メディア２１１の位置情報に基づいて、対象として設定された被写体である使用者が画像内に存在し、かつ、他の被写体よりも前に存在するとき、使用者を中心とした加工処理が加えられると供に、加工処理に必要とされる設定情報がデータ記録メディア２６に記録される。
次に、図２９のフローチャートを参照して、図２２の画像処理装置による再生処理について説明するが、図２９のフローチャートにおけるステップＳ２３１乃至Ｓ２３９の処理は、図１８のフローチャートにおけるステップＳ１０１，Ｓ１０３乃至Ｓ１１０の処理と同様である。すなわち、ステップＳ１０２の処理である画像データと位置情報の分離が不要となるため削除されている点が異なるのみである。したがって、その他の処理は、同様であるため、その説明は省略するものとする。
以上の処理により、撮像部１２により画像を撮像する際、被写体となる使用者がセンサ１１を所持した状態で撮像されると、画像データのみが共通メディア１６’に記録され、各センサ１１の位置情報が画像の特徴量に対応付けられた状態で位置情報記録メディア２１１に記録される。また、共通メディア１６’に記録されている画像データと、位置情報記録メディア２１１に画像の特徴量に対応付けられて記録されている位置情報に基づいて画像を再生させながら、上述した画像加工処理によりセンサ１１を所持した使用者毎に画像を加工するための設定情報が画像の特徴量に対応付けられた状態でデータ記録メディア２６に蓄積される。さらに、共通メディア１６’に記録された画像データを再生させるとき、データ記録メディア２６に画像の特徴量に対応付けて記録されている設定情報に基づいて、再生された画像を加工した画像として再生することができる。
結果として、例えば、加工処理として、加工対象となる使用者を中心としたズーム処理を行うようにすると、共通メディア１６’に記録された画像が再生される度に、画像内に加工対象となる使用者が含まれている限り、使用者を中心としたズーム処理が常に行なわれる状態で再生されることになるため、あたかも加工対象となる使用者のみを撮像部１２が追いかけながら撮像しているかのような画像を再生することが可能となる。
また、共通メディア１６’に記録されている画像そのものには、加工が加えられない状態であるため、仮に、共通メディアに記録されている画像がCopy Onceなどの既に複製ができない画像であっても、加工対象となる使用者に合わせた画像として再生させることができる。さらに、別のセンサ１１を所持する他の使用者に対しても、データ記録メディア２６に記録される設定情報を変えることで個々の使用者に対応する画像を加工しながら繰り返し再生することができる。また、共通メディア１６’には、画像データのみが記録されているので、市販の再生装置でも撮像部１２で撮像された加工が加えられていない画像を再生させることができる。
さらに、共通メディア１６’に記録される画像の撮像前に、予めセンサ１１のみを複数の使用者に配布して、画像を撮像したのち、画像加工処理により設定情報が記録されたデータ記録メディア２６を生成し、共通メディア１６’に記録されている画像の特徴量に対応付けて設定情報が記録されているデータ記録メディア２６、共通メディア１６’、および、画像の特徴量に対応付けて位置情報が記録されている位置情報記録メディア２１１からなる３点を加工対象となる使用者毎にセットにして販売することにより、単に１台の撮像部１２のみで撮像した画像が記録されているメディアを販売するのと比べて、個々の使用者の購買意欲を高揚させる可能性が高く、結果として、経済活動の活性化に寄与することが可能となる。
以上においては、位置情報を取得するに当たり、GPSを用いる例について説明してきたが、位置が特定できればこれに限るものではなく、例えば、個々の使用者にICタグを所持させ、地中にICタグを検出するセンサを配置することで、使用者の位置情報を取得するようにしても良い。
本発明の第１の側面によれば、被写体を含む画像を撮像し、前記被写体の位置情報を取得し、前記画像と、前記被写体の位置情報とを記録し、記録された画像と、前記被写体の位置情報とにより前記画像内に特定の被写体が含まれているか否かを判定し、判定結果により前記画像内に特定の被写体が含まれている場合、前記画像に対しての加工内容を指示し、前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定し、前記画像より特徴量を抽出し、抽出した前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録するようにした。
結果として、撮像される画像と、被写体の位置情報とを記録することが可能となり、画像に特定の被写体が存在するとき、オリジナルの画像データに不可逆処理を加えることなく、画像を再生させる度に、画像に対して、所定の処理を加えて再現することが可能となる。また、複製できない画像データであっても、再生させる度に、同一の処理を加えて繰り返し再生することが可能となる。また、撮像される画像と、被写体の位置情報とを記録することが可能となり、その画像および被写体の位置情報により、画像に特定の被写体が存在するとき、その特定の被写体に対応する画像を処理するための設定情報を、画像の特徴量に対応付けて記録することが可能となる。
本発明の第２の側面によれば、画像より前記画像内に特定の被写体が含まれているか否かを判定し、判定結果により前記画像内に特定の被写体が含まれている場合、前記画像に対しての加工内容を指示し、前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定し、前記画像より特徴量を抽出し、前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録するようにした。
結果として、画像に特定の被写体が存在するとき、オリジナルの画像データに不可逆な処理を加えることなく、画像を再生させる度に、画像に対して所定の処理を加えて再現することが可能となる。また、複製できない画像データであっても、再生させる度に、同一の処理を加えて繰り返し再生することが可能となる。また、画像に特定の被写体が存在するとき、その特定の被写体に対応する画像を処理するための設定情報を、画像の特徴量に対応付けて記録することが可能となる。
本発明の第３の側面によれば、被写体を含む画像を撮像し、前記被写体の位置情報を取得し、前記画像と、前記被写体の位置情報とを記録するようにした。
結果として、画像を撮像するとき、被写体の位置情報を画像に対応付けて記録することが可能となる。また、画像を撮像するとき、被写体の位置情報を画像に同期して記録することが可能となる。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
図３０は、図３，図２１の画像記録装置、または図４，図２２の画像処理装置の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１００１は、パーソナルコンピュータの全体の動作を制御する。また、CPU１００１は、バス１００４および入出力インタフェース１００５を介してユーザからキーボードやマウスなどからなる入力部１００６から指令が入力されると、それに対応してROM(Read Only Memory)１００２に格納されているプログラムを実行する。あるいはまた、CPU１００１は、ドライブ１０１０に接続された磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリを含むリムーバルディスク１０２１から読み出され、記憶部１００８にインストールされたプログラムを、RAM(Random Access Memory)１００３にロードして実行する。これにより、上述した図３，図２１の画像記録装置、または図４，図２２の画像処理装置の機能が、ソフトウェアにより実現されている。さらに、CPU１００１は、通信部１００９を制御して、外部と通信し、データの授受を実行する。
プログラムが記録されている記録媒体は、図３０に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク（MD（Mini-Disc）を含む）、もしくは半導体メモリを含むリムーバルメディア１０２１などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１００２や、記憶部１００８に含まれるハードディスクなどで構成される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
本発明の画像処理装置の概念を説明するための図である。 本発明の画像処理装置の概念を説明するための図である。 本発明を適用した画像記録装置の一実施の形態の構成を示すブロック図である。 本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。 図３のセンサの構成例を示すブロック図である。 図４の加工情報決定部の構成例を示すブロック図である。 図４の加工処理装置の構成例を示すブロック図である。 図７の特徴量抽出部の構成例を説明する図である。 画像信号の構成例を説明する図である。 図７の同期検出部の構成例を示すブロック図である。 図３の画像記録装置による画像記録処理を説明するフローチャートである。 図７の加工処理装置による画像加工処理を説明するフローチャートである。 図１２の加工情報決定処理を説明するフローチャートである。 図１２の加工情報決定処理を説明する図である。 図７の加工処理装置による加工処理を説明するフローチャートである。 図１５の特徴量抽出処理を説明するフローチャートである。 図１５の特徴量抽出処理を説明する図である。 図４の画像処理装置による再生処理を説明するフローチャートである。 図１８の同期検出処理を説明するフローチャートである。 図１８の同期検出処理を説明する図である。 図３の画像記録装置のその他の構成例を説明する図である。 図４の画像処理装置のその他の構成例を説明する図である。 図２３の画像処理装置における加工処理装置の構成例をを説明する図である。 図２３の画像処理装置における位置情報再生部の構成例をを説明する図である。 図２２の画像記録装置による画像記録処理を説明するフローチャートである。 図２３の画像処理装置による画像加工処理を説明するフローチャートである。 図２７の位置情報抽出処理を説明するフローチャートである。 図２７の加工処理を説明するフローチャートである。 図２３の画像処理装置による再生処理を説明するフローチャートである。 媒体を説明する図である。
符号の説明
１１，１１−１乃至１１−３ センサ， １２ 撮像部， １３ 位置情報取得部， １４ 合成部， １５ 録画機， １６，１６’ 共通メディア， ２１ 再生部， ２２ 分離部， ２３ 加工処理装置， ２４ 制御部， ２５ 加工情報決定部， ２６ データ記録メディア， ３１ GPS位置取得部、 ３２ 送信部， ３２ａ ID， ４１ 位置情報取得部， ４２ 画像内位置計算部， ４３ 加工判定部， ４４ 加工内容決定部， ４５ 加工情報生成部， ６１ 特徴量抽出部， ６２ 同期検出部， ６３ 特徴量設定情報記録部， ６４ 特徴量設定情報読出部， ６５ 選択部， ６６ 遅延部， ６７ 反映部， ６８ 加工情報認識部， ６９ 設定情報決定部， ２０１ 録画機， ２０２ 特徴量抽出部， ２０３ 位置情報記録機器， ２１１ 位置情報記録メディア， ２２１ 位置情報再生部， ２２２ 加工処理装置

Claims (16)

  1. 撮像装置および画像処理装置からなる画像処理システムにおいて、
    前記撮像装置は、
    被写体を含む動画像を撮像する撮像手段と、
    前記被写体の状態情報を取得する状態情報取得手段と、
    前記動画像を構成するフレームまたはフィールド単位の画像と、前記被写体の状態情報とを記録する第１の記録手段と
    を含み、
    前記画像処理装置は、
    前記第１の記録手段により記録された画像と、前記被写体の状態情報とに対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する加工内容決定手段と、
    前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定手段と、
    前記画像より特徴量を抽出する第１の特徴量抽出手段と、
    前記第１の特徴量抽出手段により抽出された前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する第２の記録手段と
    を含み、
    前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される
    画像処理システム。
  2. 前記被写体の状態情報は、前記被写体の位置情報を含む
    請求項１に記載の画像処理システム。
  3. 前記画像処理装置は、
    前記第１の記録手段により記録された画像と、前記被写体の位置情報とにより前記画像内の特定の被写体が含まれているか否かを判定する判定手段をさらに含み、
    前記加工内容決定手段は、前記判定手段の判定結果により前記画像内に特定の被写体が含まれている場合、前記画像内に含まれる特定の被写体の状態情報に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する
    請求項２に記載の画像処理システム。
  4. 前記撮像装置は、
    前記画像に、前記被写体の状態情報を合成する合成手段をさらに含み、
    前記第１の記録手段は、前記合成手段により前記被写体の状態情報が合成された画像を画像記録媒体に記録し、
    前記画像処理装置は、
    前記合成手段により前記被写体の状態情報が合成された画像より、前記画像と、前記状態情報とを分離する分離手段を含み、
    前記加工内容決定手段は、前記分離手段により分離された前記画像および前記状態情報に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する
    請求項１に記載の画像処理システム。
  5. 前記第１の記録手段は、
    前記画像を記録する画像記録手段と、
    前記画像より特徴量を抽出する第２の特徴量抽出手段と、
    前記第２の特徴量抽出手段により抽出された特徴量に対応付けて、前記被写体の状態情報を記録する状態情報記録手段と
    を含み、
    前記画像記録手段は、前記画像を画像記録媒体に記録し、
    前記状態情報記録手段は、前記第２の特徴量抽出手段により抽出された前記特徴量に対応付けて前記被写体の状態情報を状態情報記録媒体に記録し、
    前記画像処理装置は、
    前記状態情報記録媒体に記録されている前記特徴量と、前記第２の特徴量抽出手段により抽出された特徴量とを同期させる同期手段と、
    前記同期手段により同期した特徴量に対応付けられた状態情報を、前記状態情報記録媒体より取得する取得手段とをさらに含み、
    前記加工内容決定手段は、前記画像記録媒体に記録された画像、および、前記取得手段により取得された状態情報に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する
    請求項１に記載の画像処理システム。
  6. 撮像装置および画像処理装置からなる画像処理システムの画像処理方法において、
    前記撮像装置の画像処理方法は、
    被写体を含む動画像を撮像する撮像ステップと、
    前記被写体の状態情報を取得する状態情報取得ステップと、
    前記動画像を構成するフレームまたはフィールド単位の画像と、前記被写体の状態情報とを記録する第１の記録ステップと
    を含み、
    前記画像処理装置の画像処理方法は、
    前記第１の記録ステップの処理により記録された画像と、前記被写体の状態情報とに対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する加工内容決定ステップと、
    前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定ステップと、
    前記画像より特徴量を抽出する第１の特徴量抽出ステップと、
    前記第１の特徴量抽出ステップの処理により抽出された前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する第２の記録ステップと
    を含み、
    前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される
    画像処理システムの画像処理方法。
  7. 撮像装置および画像処理装置からなる画像処理システムを制御するプログラムを記録するプログラム記録媒体において、
    前記撮像装置を制御するプログラムは、
    被写体を含む動画像を撮像する撮像ステップと、
    前記被写体の状態情報を取得する状態情報取得ステップと、
    前記動画像を構成するフレームまたはフィールド単位の画像と、前記被写体の状態情報とを記録する第１の記録ステップと
    を含み、
    前記画像処理装置を制御するプログラムは、
    前記第１の記録ステップの処理により記録された画像と、前記被写体の状態情報とに対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する加工内容決定ステップと、
    前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定ステップと、
    前記画像より特徴量を抽出する第１の特徴量抽出ステップと、
    前記第１の特徴量抽出ステップの処理により抽出された前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する第２の記録ステップと
    を含み、
    前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される
    コンピュータが読み取り可能なプログラムが記録されているプログラム記録媒体。
  8. 撮像装置および画像処理装置からなる画像処理システムを制御するコンピュータのプログラムのうち、
    前記撮像装置を制御するコンピュータに、
    被写体を含む動画像を撮像する撮像ステップと、
    前記被写体の状態情報を取得する状態情報取得ステップと、
    前記動画像を構成するフレームまたはフィールド単位の画像と、前記被写体の状態情報とを記録する第１の記録ステップと
    を含む処理を実行させ、
    前記画像処理装置を制御するコンピュータに、
    前記第１の記録ステップの処理により記録された画像と、前記被写体の状態情報とに対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する加工内容決定ステップと、
    前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定ステップと、
    前記画像より特徴量を抽出する第１の特徴量抽出ステップと、
    前記第１の特徴量抽出ステップの処理により抽出された前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する第２の記録ステップと
    を含む処理を実行させ、
    前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される
    プログラム。
  9. 動画像を構成するフレームまたはフィールド単位の画像内の特定の被写体の状態に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する加工内容決定手段と、
    前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定手段と、
    前記画像より特徴量を抽出する特徴量抽出手段と、
    前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する記録手段と
    を含み、
    前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される
    画像処理装置。
  10. 前記画像には、前記被写体毎の状態情報が含まれ、
    前記加工内容決定手段は、前記被写体毎の状態情報に基づいた、前記画像内の特定の被写体の状態に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する
    請求項９に記載の画像処理装置。
  11. 前記状態情報は、位置情報を含み、
    前記被写体毎の位置情報に基づいて、前記特定の被写体が、前記画像内に存在して、かつ、他の被写体よりも前に存在するか否かにより、前記画像内に特定の被写体が含まれているか否かを判定する前記判定手段をさらに含み、
    前記加工内容決定手段は、前記判定手段の判定結果に基づいて、前記画像内に含まれている特定の被写体の状態情報に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する
    請求項１０に記載の画像処理装置。
  12. 前記画像の特徴量に対応付けられている前記被写体毎の状態情報を取得する取得手段をさらに含み、
    前記加工内容決定手段は、前記画像の特徴量に対応付けられている前記被写体毎の状態情報に基づいた、前記特定の被写体の状態に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する
    請求項９に記載の画像処理装置。
  13. 前記状態情報は、位置情報を含み、
    前記画像の特徴量に対応付けられている前記被写体毎の位置情報に基づいて、前記特定の被写体が、前記画像内に存在して、かつ、他の被写体よりも前に存在するか否かにより、前記画像内に特定の被写体が含まれているか否かを判定する前記判定手段をさらに含み、
    前記加工内容決定手段は、前記判定手段の判定結果に基づいて、前記画像内に含まれている特定の被写体の状態情報に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する
    請求項１２に記載の画像処理装置。
  14. 動画像を構成するフレームまたはフィールド単位の画像内の特定の被写体の状態に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する加工内容決定ステップと、
    前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定ステップと、
    前記画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する記録ステップと
    を含み、
    前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される
    画像処理方法。
  15. 動画像を構成するフレームまたはフィールド単位の画像内の特定の被写体の状態に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する加工内容決定ステップと、
    前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定ステップと、
    前記画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する記録ステップと
    を含み、
    前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される
    コンピュータが読み取り可能なプログラムが記録されているプログラム記録媒体。
  16. 動画像を構成するフレームまたはフィールド単位の画像内の特定の被写体の状態に対応して、前記画像を再生する際、前記画像に対して加える加工内容を指示する加工内容決定ステップと、
    前記加工内容に基づいて、前記画像に加工を加えるための設定情報を設定する設定ステップと、
    前記画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像の特徴量に対応付けて前記設定情報を設定情報記録媒体に記録する記録ステップと
    を含む処理をコンピュータに実行させ、
    前記動画像は、再生される際、前記動画像を構成するフレームまたはフィールド単位の画像より特徴量が抽出され、抽出された特徴量に対応付けて前記設定情報記録媒体に記録されている前記設定情報に基づいた、前記状態情報に対応して指示された加工内容の加工が加えられて再生される
    プログラム。
JP2006052644A 2006-02-28 2006-02-28 画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラム Expired - Fee Related JP4816140B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2006052644A JP4816140B2 (ja) 2006-02-28 2006-02-28 画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラム
US11/675,309 US7856145B2 (en) 2006-02-28 2007-02-15 Image processing system and method therefor, image processing apparatus and method, image capturing apparatus and method, program recording medium, and program
EP14175019.0A EP2787723A2 (en) 2006-02-28 2007-02-26 Image processing system and method therefor, program recording medium, and program for applying an appropriate process for an object to a captured image
EP07103071A EP1826763A3 (en) 2006-02-28 2007-02-26 Image processing system and method therefor, image processing apparatus and method, image capturing apparatus and method, program recording medium, and program
KR1020070020353A KR101321969B1 (ko) 2006-02-28 2007-02-28 화상 처리 시스템 및 방법, 화상 처리 장치 및 방법, 촬상장치 및 방법, 프로그램 기록 매체, 및 프로그램
CN200910173997A CN101677364A (zh) 2006-02-28 2007-02-28 摄像设备和摄像方法
CNB2007100796321A CN100571363C (zh) 2006-02-28 2007-02-28 图像处理设备、系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006052644A JP4816140B2 (ja) 2006-02-28 2006-02-28 画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2007235373A JP2007235373A (ja) 2007-09-13
JP2007235373A5 JP2007235373A5 (ja) 2009-02-19
JP4816140B2 true JP4816140B2 (ja) 2011-11-16

Family

ID=38001771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006052644A Expired - Fee Related JP4816140B2 (ja) 2006-02-28 2006-02-28 画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラム

Country Status (5)

Country Link
US (1) US7856145B2 (ja)
EP (2) EP2787723A2 (ja)
JP (1) JP4816140B2 (ja)
KR (1) KR101321969B1 (ja)
CN (2) CN100571363C (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005026488A1 (ja) * 2003-09-08 2005-03-24 Sony Corporation 制御装置および制御方法、記録媒体、プログラム、並びに建造物
JP4363371B2 (ja) * 2005-07-08 2009-11-11 ブラザー工業株式会社 画像形成データ生成装置、その方法、及び、そのプログラム
US20090076352A1 (en) * 2005-08-29 2009-03-19 Olympus Corporation Receiving Apparatus
JP4839952B2 (ja) 2006-05-01 2011-12-21 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4957960B2 (ja) 2007-01-29 2012-06-20 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US8108359B1 (en) * 2007-12-14 2012-01-31 Symantec Corporation Methods and systems for tag-based object management
KR100926133B1 (ko) 2007-12-15 2009-11-11 한국전자통신연구원 디지털 영상 촬영 방법 및 촬영 장치
JP5137633B2 (ja) * 2008-03-13 2013-02-06 株式会社日本ビジネスエンジニアリング 撮像データ加工装置
JP5020894B2 (ja) * 2008-06-10 2012-09-05 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
US20100245610A1 (en) * 2009-03-31 2010-09-30 Electronics And Telecommunications Research Institute Method and apparatus for processing digital image
JP2011247860A (ja) * 2010-05-31 2011-12-08 Denso Corp ナビゲーション装置
JP5481710B2 (ja) * 2010-08-26 2014-04-23 日本電信電話株式会社 映像管理装置、方法、及びプログラム
JP5082005B2 (ja) * 2011-09-26 2012-11-28 株式会社日本ビジネスエンジニアリング 撮像データ加工装置
JP5716728B2 (ja) * 2012-11-29 2015-05-13 コニカミノルタ株式会社 画像形成システム、画像形成装置およびプログラム
JP6363561B2 (ja) * 2015-06-18 2018-07-25 日本電信電話株式会社 情報加工システム
JP2017175517A (ja) * 2016-03-25 2017-09-28 オリンパス株式会社 撮像装置および撮像方法
US20190113871A1 (en) * 2017-10-16 2019-04-18 Fuji Xerox Co.,Ltd. Information processing apparatus and non-transitory computer readable medium

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204749A (en) * 1984-05-25 1993-04-20 Canon Kabushiki Kaisha Automatic follow-up focus detecting device and automatic follow-up device
JPH0863612A (ja) * 1994-08-18 1996-03-08 Toshiba Corp 図形・イメージ編集装置及び図形・イメージ編集方法
DE69632585T2 (de) * 1995-06-30 2005-06-16 Fox Sports Productions, Inc., Los Angeles Vorrichtung zur verbesserung der fernsehdarstellung eines objekts bei einer sportveranstaltung
EP0878965A3 (en) * 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
US6445409B1 (en) * 1997-05-14 2002-09-03 Hitachi Denshi Kabushiki Kaisha Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object
JP2001094921A (ja) * 1999-09-22 2001-04-06 Canon Inc 記録システム、装置及び方法
WO2002001754A1 (en) * 2000-06-23 2002-01-03 Sportvision, Inc. Gps based tracking system
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7170633B2 (en) * 2001-01-23 2007-01-30 Minolta Co., Ltd. Imaging apparatus
JP2002271723A (ja) * 2001-03-09 2002-09-20 Fuji Photo Film Co Ltd 画像記録方法及び画像記録システム
US7046273B2 (en) * 2001-07-02 2006-05-16 Fuji Photo Film Co., Ltd System and method for collecting image information
JP2003202944A (ja) 2001-10-31 2003-07-18 Matsushita Electric Ind Co Ltd 動作指示装置
JP4090926B2 (ja) * 2002-03-29 2008-05-28 富士フイルム株式会社 画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
JP2004274735A (ja) 2003-02-17 2004-09-30 Matsushita Electric Ind Co Ltd 撮像装置及び画像処理装置
US20040160635A1 (en) * 2003-02-17 2004-08-19 Matsushita Electric Industrial Co., Ltd. Imaging apparatus and image processing apparatus
JP4030440B2 (ja) * 2003-02-26 2008-01-09 富士フイルム株式会社 メッセージ再生装置、メッセージ記録および再生方法、およびプログラム
US20050046706A1 (en) * 2003-08-28 2005-03-03 Robert Sesek Image data capture method and apparatus
JP4345424B2 (ja) 2003-10-01 2009-10-14 株式会社ニコン カメラシステム
JP2005303908A (ja) * 2004-04-15 2005-10-27 Fuji Photo Film Co Ltd 画像編集装置，方法およびプログラム
WO2005125208A1 (ja) * 2004-06-15 2005-12-29 Matsushita Electric Industrial Co., Ltd. 監視装置および車両周辺監視装置
JP4206488B2 (ja) 2004-07-08 2009-01-14 日本電信電話株式会社 画像処理装置、撮影システム、画像処理方法、画像処理プログラム、および、記録媒体
US7212126B2 (en) * 2004-11-19 2007-05-01 Uniden Corporation Location information detecting method and system
US7860162B2 (en) * 2005-09-29 2010-12-28 Panasonic Corporation Object tracking method and object tracking apparatus

Also Published As

Publication number Publication date
EP1826763A3 (en) 2012-10-10
KR20070089643A (ko) 2007-08-31
EP2787723A2 (en) 2014-10-08
JP2007235373A (ja) 2007-09-13
EP1826763A2 (en) 2007-08-29
CN100571363C (zh) 2009-12-16
CN101677364A (zh) 2010-03-24
US7856145B2 (en) 2010-12-21
US20070201107A1 (en) 2007-08-30
CN101031054A (zh) 2007-09-05
KR101321969B1 (ko) 2013-10-25

Similar Documents

Publication Publication Date Title
JP4816140B2 (ja) 画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラム
US10033931B2 (en) Image processing apparatus and image processing method for processing still image data
CN101527790B (zh) 摄像装置、图像再现装置、摄影控制方法及图像再现方法
JP4670683B2 (ja) 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム
JP4720544B2 (ja) 画像処理装置および方法、プログラム記録媒体、並びにプログラム
JP2008010979A (ja) カメラ装置
JP2007036538A (ja) 動画の人数記録制御装置および方法ならびに静止画再生装置および方法
US8401302B2 (en) Image processing apparatus, image processing method, and program
JP2004153764A (ja) メタデータ制作装置及び検索装置
JP2007060026A (ja) 映像処理装置及びオブジェクト特定方法
JP2006041586A (ja) 画像再生表示装置
JP6314465B2 (ja) 情報処理装置、画像処理システム、情報処理装置におけるデータ表示方法及びプログラム
JP2005117182A (ja) 画像表示装置、画像表示方法、プログラム及び記録媒体
JP5729056B2 (ja) 画像処理装置および画像処理方法
JP2010157960A (ja) 撮像装置
JP6263002B2 (ja) 撮像装置およびその制御方法、プログラム
JP2007243259A (ja) 画像処理装置および方法、プログラム記録媒体、並びにプログラム
JP2002135708A (ja) 記録再生システム及び記録再生方法
JP2005181393A (ja) 撮像装置
JP2005078726A (ja) カメラシステム
JP2007166549A (ja) 画像記録装置、方法、及びコンピュータプログラム
JP2008227780A (ja) 画像再生装置
JP2009272855A (ja) 動画再生装置
JP2005346233A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110815

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees