JP4174234B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP4174234B2
JP4174234B2 JP2002127285A JP2002127285A JP4174234B2 JP 4174234 B2 JP4174234 B2 JP 4174234B2 JP 2002127285 A JP2002127285 A JP 2002127285A JP 2002127285 A JP2002127285 A JP 2002127285A JP 4174234 B2 JP4174234 B2 JP 4174234B2
Authority
JP
Japan
Prior art keywords
still image
image signal
recording
screen
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002127285A
Other languages
English (en)
Other versions
JP2003324678A (ja
JP2003324678A5 (ja
Inventor
弘治 小薬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002127285A priority Critical patent/JP4174234B2/ja
Priority to US10/409,118 priority patent/US8078039B2/en
Publication of JP2003324678A publication Critical patent/JP2003324678A/ja
Publication of JP2003324678A5 publication Critical patent/JP2003324678A5/ja
Application granted granted Critical
Publication of JP4174234B2 publication Critical patent/JP4174234B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00458Sequential viewing of a plurality of images, e.g. browsing or scrolling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00461Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet marking or otherwise tagging one or more displayed image, e.g. for selective reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212Motion video recording combined with still video recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2125Display of information relating to the still picture recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/215Recording a sequence of still pictures, e.g. burst mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/21Intermediate information storage
    • H04N2201/218Deletion of stored data; Preventing such deletion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Facsimiles In General (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えば、動画像データを記録媒体に記録する装置或いはシステムに用いられる、画像処理装置及び画像処理方法に関するものである。
【0002】
【従来の技術】
従来より例えば、動画像データを、光ディスクや、磁気テープ、或いはメモリカード等の記録媒体に記録し、当該記録画像データを再生する画像記録再生装置として、ビデオカメラが知られている。
【0003】
また、ビデオカメラをパーソナルコンピュータ(パソコン)に接続し、パソコンにおいて、ビデオカメラで得られた動画像データの中の1場面(1シーン)を切り出し、これを静止画ファイルとして作成することや、ビデオカメラにおいて、動画像の他に高精細な静止画を記録媒体に記録することが行なわれている。
【0004】
【発明が解決しようとする課題】
しかしながら、上述したような従来の画像処理方法では、動画像から静止画を切り出して記録媒体に記録する場合、インターレースや動画の画素数等の関係により、動画像から高精細な静止画を切り出すことは非常に難しい。
【0005】
特に、例えば、動画撮影と静止画撮影を同時に行うことが可能であり、高精細な静止画をメモリカード等に記録するようになされたビデオカメラにおいて、ユーザが、動画撮影中に静止画記録のための静止画シャッターを操作すると、動画像が乱れる等の動画像に支障をきたす場合が多い。
【0006】
そこで、本発明は、上記の欠点を除去するためになされたもので、動画像に支障をきたすことなく、良好な高精細静止画像を記録できる、画像処理装置及び画像処理方法を提供することを目的とする。
【0007】
具体的には例えば、ビデオカメラ等の撮像装置で得られた動画像を記録媒体に記録する際、ユーザが意識することなく、動画像とは別に高精細な静止画を記録媒体に記録できるようにする。
【0008】
【課題を解決するための手段】
斯かる目的下において、本発明に係る画像処理装置は、入力された動画像信号から所定のタイミングで一画面の静止画像信号を抽出すると共に、前記動画像信号の時間経過に従って前記静止画像信号を抽出する時間間隔を変更する抽出手段と、前記抽出手段により抽出された静止画像信号を記録媒体に記録する記録手段と、前記抽出手段により抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出手段が新たに一画面の前記静止画像信号を抽出したことに応じて、既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除すると共に、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理手段とを備える。
本発明に係る画像処理装置は、入力された動画像信号から一定間隔で一画面の静止画像信号を抽出すると共に、所定時間経過する毎に前記静止画像信号の抽出間隔を長くする抽出手段と、前記抽出手段により抽出された静止画像信号を記録媒体に記録する記録手段と、前記抽出手段により抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出手段が新たに一画面の前記静止画像信号を抽出したことに応じて、既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除すると共に、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理手段とを備える。
本発明に係る画像処理装置は、入力された動画像信号から所定のタイミングで一画面の静止画像信号を抽出する抽出手段と、前記抽出手段により抽出された静止画像信号を前記動画像信号と対応付けて記録媒体に記録する記録手段と、前記抽出手段により抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出手段が新たに一画面の前記静止画像信号を抽出したことに応じて、既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除すると共に、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理手段とを備える。
本発明に係る画像処理装置は、入力された動画像信号から所定のタイミングで一画面の静止画像信号を抽出する抽出手段と、前記抽出手段により抽出された静止画像信号と前記動画像信号とを記録媒体に記録する記録手段と、前記抽出手段により抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出手段が新たに一画面の前記静止画像信号を抽出したことに応じて、既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除すると共に、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理手段とを備え、前記抽出手段は、前記動画像信号の記録開始の指示に応じて前記静止画像信号の抽出処理を開始することを特徴とする。
【0009】
また、本発明に係る画像処理方法は、入力された動画像信号から所定のタイミングで一画面の静止画像信号を抽出すると共に、前記動画像信号の時間経過に従って前記静止画像信号を抽出する時間間隔を変更する抽出ステップと、前記抽出された静止画像信号を記録媒体に記録する記録ステップと、前記抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出により新たに一画面の前記静止画像信号を抽出したことに応じて既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除し、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理ステップとを有する。
本発明に係る画像処理方法は、入力された動画像信号から一定間隔で一画面の静止画像信号を抽出すると共に、所定時間経過する毎に前記静止画像信号の抽出間隔を長くする抽出ステップと、前記抽出された静止画像信号を記録媒体に記録する記録ステップと、前記抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出により新たに一画面の前記静止画像信号を抽出したことに応じて既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除し、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理ステップとを有する。
本発明に係る画像処理方法は、入力された動画像信号から所定のタイミングで一画面の静止画像信号を抽出する抽出ステップと、前記抽出された静止画像信号を前記動画像信号と対応付けて記録媒体に記録する記録ステップと、前記抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出により新たに一画面の前記静止画像信号を抽出したことに応じて既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除し、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理ステップとを有する。
本発明に係る画像処理方法は、入力された動画像信号から所定のタイミングで一画面の静止画像信号を抽出する抽出ステップと、前記抽出された静止画像信号と前記動画像信号とを記録媒体に記録する記録ステップと、前記抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出により新たに一画面の前記静止画像信号を抽出したことに応じて既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除し、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理ステップとを有し、前記抽出ステップは、前記動画像信号の記録開始の指示に応じて前記静止画像信号の抽出処理を開始することを特徴とする。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【0013】
[第1の実施の形態]
本発明は、例えば、図1に示すような画像記録再生装置100に適用される。本実施の形態の画像記録再生装置100は、撮影動作により取得した動画像及び静止画像を記録媒体110に記録可能であると共に、動画像撮影と静止画像撮影を同時に可能な装置であり、特に、次のような特徴とする構成を有する。
【0014】
・動画撮影中にユーザが意識することなく自動的に高精細な静止画を記録する。
・自動的に高精細な静止画を記録する間隔である自動静止画記録間隔Tを、動画撮影中に自動的に変動させる。
・自動的に記録する静止画に対して優先順位を付加して記録媒体110に記録する際に、記録媒体110の残量が不足した場合、優先順位の低い静止画を消去若しくは上書きする。
【0015】
上記のような構成により、1つの動画クリップ撮影中に自動的に記録されたいくつかの高精細静止画は、1つの静止画フォルダにまとめ、撮影後、記録時刻順に再生することで、当該動画クリップのスライドショー再生として用いることができる。このとき、スライドショーの再生間隔を、静止画フォルダに含まれる静止画の記録時刻の間隔、若しくは動画クリップの撮影時間により決定するようにしてもよい。
【0016】
以下、本実施の形態の画像記録再生装置100の構成及び動作について、具体的に説明する。
【0017】
<画像記録再生装置100の構成>
画像記録再生装置100は、上記図1に示すように、被写体光を後段の撮像素子102に導くレンズ101と、レンズ101からの被写体光を結像する撮像素子102と、撮像素子102からの光電変換画像信号を標準的な画像信号とする信号処理を実行するカメラ信号処理部103と、カメラ信号処理部103で得られた画像信号を表示するLCD104と、画像記録再生装置100全体の動作制御を司るシステムコントローラ105と、カメラ信号処理部103で得られた画像信号(動画像信号)を圧縮符号化する動画像処理部106と、カメラ信号処理部103で得られた画像信号(静止画信号)を圧縮符号化する静止画像処理部107と、ユーザとのインタフェースである操作キー108と、動画像処理部106及び静止画像処理部107で得られた符号化後の画像信号を画像ファイルとして記録媒体110に記録すると共に記録媒体110から画像再生する記録再生部109とを備えている。
【0018】
尚、上記図1に示した画像記録再生装置100の構成を、例えば、図2に示すような構成としてもよい。
すなわち、上記図2に示す画像記録再生装置100´は、動画像(動画クリップ)を記録する記録媒体110と、静止画像(静止画ファイル)を記録する記録媒体112(メモリカード)とを別に設けるようにしたものであり、このため、静止画ファイルをメモリカード112に記録するためのメモリカードモジュール111を備える構成としている。
【0019】
図3は、画像記録再生装置100において、最も特徴とする構成である、動画及び静止画の自動記録の構成を概略イメージで示したものである。
【0020】
まず、画像記録再生装置100は、動画撮影中に自動的に静止画を記録するモード(自動静止画記録動画撮影モード)に設定されているものとする。
また、動画撮影中にユーザが意識せずに画像記録再生装置100が自動的に静止画を記録する間隔を「自動静止画記録間隔T」、その初期設定値を「1秒」(T=1)とし、1動画クリップにおける静止画記録枚数を「N」、その枚数を一例として「10枚」(N=10)とし、静止画を記録するか否かを判定するためのカウンタを「自動静止画記録カウンタC」、その初期設定値を「0」(C=0)とする。
【0021】
そこで、ユーザは、画像記録再生装置100により、自動静止画記録動画撮影モードで動画撮影を行う。
画像記録再生装置100は、撮影開始と共に、自動静止画記録カウンタCをカウントし始め、自動静止画記録カウンタCが自動静止画記録間隔T以上、すなわち自動静止画記録カウンタCが1秒以上(C≧1秒)となると、ユーザが意識することなく自動的に静止画を記録し、自動静止画記録カウントCを“0”にリセットする。
【0022】
画像記録再生装置100は、上記の動作を、静止画記録枚数Nに設定されている枚数分、すなわち10枚分(10回)実行し、その後、さらに記録を続け、自動静止画記録カウンタCが1秒以上となり、静止画を記録しようとすると現在撮影している動画クリップに割り当てられた静止画記録領域に空き容量がない状態(上記図3(a)の「静止画記録領域 時間10」参照)となると、現在撮影している動画クリップに割り当てられている静止画領域から優先順位の低い静止画を消去し、その領域に新たに静止画を記録する。
【0023】
例えば、上記図3(b)に示すように、優先順位を判定する要素が「等間隔」で設定されている場合、画像記録再生装置100は、静止画ファイル2を消去し、静止画ファイル11を記録する。
【0024】
このとき、画像記録再生装置100は、動画撮影時間が10(T*N)秒を経過していることにより、自動静止画記録間隔Tに対して、現在設定されている値「1秒」を2倍した値「2秒」に設定する。
【0025】
その後、画像記録再生装置100は、再設定した自動静止画記録間隔Tに従って、2秒間隔で静止画ファイルを作成し、一番優先順位の低い静止画ファイルを消去しながら、新たに作成した静止画ファイルを記録する。
【0026】
すなわち、画像記録再生装置100は、
静止画ファイル4を消去し、静止画ファイル12を記録、
静止画ファイル6を消去し、静止画ファイル13を記録、

というようにして、自動静止画記録動画撮影モードで動作する。この結果、動画撮影時間が20秒となったときの静止画記録領域は、上記図3(a)の「静止画記録領域 時間20」の状態となる。また、動画撮影時間が30秒となったときの静止画記録領域は、上記図3(a)の「静止画記録領域 時間30」に示す状態となる。
【0027】
したがって、動画撮影時間が<自動静止画記録間隔Tの初期設定>*<2のn乗>経過した時点(上記図3(b)参照)では、等間隔に静止画が記録されることになる。
【0028】
また、上記以外の経過時間(上記図3(c)参照)では、画像記録再生装置100は、<等間隔の静止画>+α(<撮影終了時の自動静止画記録間隔T(n)での静止画>+<1つ前の自動静止画記録間隔T(n-1)での静止画>)で記録処理する。この結果、静止画の記録間隔が密になる部分が生じる。上記図3(c)では、静止画ファイル13及び15が、αにあたる静止画ファイルとなる。
【0029】
上述のような構成により静止画記録することで、ユーザが意識することなく、動画クリップに関連した静止画を記録することができる。ここでは、静止画記録枚数Nを一例として「10枚」としているので、10 枚の静止画が1つの静止画ファイル群として記録される。
【0030】
尚、本実施の形態では一例として、静止画ファイルを消去する優先順位を「等間隔」としているが、これに限られることはなく、例えば、動き検出等を行った結果を用いて、動きが多いシーンに対して優先順位を高くし、或いは、動画クリップの撮影開始時付近のシーンに対して優先順位を高くし、当該優先順位に基づき静止画ファイルを消去するようにしてもよい。
【0031】
<画像記録再生装置100の動作>
図4は、画像記録再生装置100のシステムコントローラ105の制御により実施される、画像記録再生装置100の動作をフローチャートにより示したものである。
【0032】
ステップS301:
ユーザは、画像記録再生装置100の操作キー108を操作することで、動画記録を行うか選択する。
画像記録再生装置100において、システムコントローラ105は、ユーザの上記操作を認識し、動画記録を行うことが選択されていた場合のみ次のステップS302からの処理を実行し、動画記録を行わないことが選択されていた場合には本処理を終了とする。
【0033】
ステップS302:
ユーザから動画記録を行うことが選択された場合、システムコントローラ105は、画像記録再生装置100を動画記録動作させる。
これにより、動画像処理部106は、カメラ信号処理部103で得られた画像信号を処理し、記録再生部109は、当該処理後の画像信号を記録媒体110に記録する。
【0034】
ステップS303、ステップS304:
システムコントローラ105は、自動静止画記録カウンタCをカウントアップ(C =C+1)し(ステップS303)、この結果、自動静止画記録カウンタCが自動静止画記録間隔T以上であるか否かを判別する(ステップS304)。
ステップS304の判別の結果、C≧Tである場合にはステップS305に進み、そうでない場合には再びステップS301へ戻る。
【0035】
ステップS305:
静止画像処理部107は、システムコントローラ105からの制御により、カメラ信号処理部103で得られた画像信号(静止画像信号)を処理して、静止画ファイルを生成する。
また、システムコントローラ105は、自動静止画記録カウンタCをリセット(C=00)する。
【0036】
ステップS306:
システムコントローラ105は、記録再生部109を介して、記録媒体110の静止画ファイルを記録するメモリ領域(静止画メモリ領域)に、ステップS305で生成された静止画ファイルを記録する容量があるか否かを判別する。
この判別の結果、容量不足である場合にはステップS307を介してステップS308に進み、そうでない場合にはそのままステップS308に進む。
【0037】
ステップS307:
システムコントローラ105は、記録媒体110の静止画メモリ領域内に存在する優先順位の低いファイルを消去する。
【0038】
ステップS308:
記録再生部109は、システムコントローラ105からの制御により、ステップS305で生成された静止画ファイルを、記録媒体110の静止画メモリ領域に記録する。
【0039】
ステップS309:
システムコントローラ105は、動画撮影T*Nの時間が経過したか否かを判別する。
この判別の結果、動画撮影T*Nの時間が経過した場合にはステップS310を介して再びステップS301に戻り、そうでない場合にはそのままステップS301に戻る。
【0040】
ステップS310:
システムコントローラ105は、自動静止画記録間隔Tに現在設定されている値を2倍した値を、自動静止画記録間隔Tに対して設定(T =2*T)する。
【0041】
尚、本実施の形態では、動画と静止画を記録する記録媒体として、記録媒体110を用いるようにしたが、上記図2に示したように、動画を記録する記録媒体110と、静止画を記録する記録媒体112(画像記録再生装置100´に装着可能なメモリカード)とを異なるように構成してもよい。
【0042】
[第2の実施の形態]
本実施の形態では、第1の実施の形態における画像記録再生装置100で記録処理された静止画ファイルを、以下に説明するようにして再生する。
【0043】
例えば、図5(a)及び(b)に示すように、画像記録再生装置100により、動画クリップを時間20秒撮影したときに記録した静止画ファイル群を静止画ファイル群Aとし、時間30秒撮影したときに記録した静止画ファイル群を静止画ファイル群Bとする。
【0044】
上記図5(a)に示す静止画ファイル群Aを再生する場合、例えば、図6に示すように、先ず、インデックス表示される(ステップS401)。ユーザは、当該インデックス表示上から、再生する静止画ファイル群Aを選択する。
【0045】
具体的には例えば、静止画ファイル群Aを通常再生する場合、ユーザは、先ず、上記インデックス表示上から静止画ファイル群Aを選択し、決定ボタン(不図示)を押下する。
ユーザが決定ボタンを押下すると、静止画ファイル群Aに含まれる静止画ファイルがインデックス表示される(ステップS402)。
ユーザは、上記インデックス表示上から、所望する静止画ファイルを選択し、決定ボタン(不図示)を押下する。
ユーザが決定ボタンを押下すると、ユーザが選択した静止画が表示される。
【0046】
一方、静止画ファイル群Aを動画クリップのスライドショーとして再生する場合、ユーザは、ステップS401の状態から再生ボタン(不図示)を押下する。
ユーザが再生ボタンを押下すると、記録時刻に従ってスライドショー再生が実行される(ステップS403)。
【0047】
ここで、スライドショー再生の場合、静止画ファイルの記録間隔によってスライドショーの静止画切り替え間隔が異なる。
例えば、上記図5(a)に示す静止画ファイル群Aは、記録時間が20秒であり、自動静止画記録間隔が一様にT1である。一方、上記図5(b)に示す静止画ファイル群Bは、記録時間30秒であり、自動静止画記録間隔がT1及びT2を含むものである。
【0048】
自動静止画記録間隔T1を2秒とし、T2を4秒とする。そして、静止画ファイル群Aをスライドショー再生する場合、10枚の静止画ファイルを0.5秒間隔でスライドショー再生し、スライドショー再生開始から4.5秒で終了する。一方、静止画ファイル群Bをスライドショー再生する場合、記録間隔T1の静止画を0.5秒間隔で再生し、記録間隔T2の静止画を1秒間隔で再生し、スライドショー再生開始から7秒で終了する。
【0049】
尚、本実施の形態では、スライドショー再生の間隔を自動静止画記録間隔T1,T2に関連して実行するようにしたが、これに限られることはなく、例えば、ユーザに指示させて、静止画ファイル群の枚数に応じて再生間隔を変更するようにしてもよい。或いは、優先順位の高いファイルは再生間隔を長くして、再生するようにしてもよい。
【0050】
尚、本発明の目的は、第1及び第2の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が第1及び第2の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ROM、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第1及び第2の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS等が実際の処理の一部又は全部を行い、その処理によって第1及び第2の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって第1及び第2の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0051】
図7は、上記コンピュータの機能600を示したものである。
コンピュータ機能600は、上記図7に示すように、CPU601と、ROM602と、RAM603と、キーボード(KB)609のキーボードコントローラ(KBC)605と、表示部としてのCRTディスプレイ(CRT)610のCRTコントローラ(CRTC)606と、ハードディスク(HD)611及びフレキシブルディスク(FD)612のディスクコントローラ(DKC)607と、ネットワーク620との接続のためのネットワークインターフェースコントローラ(NIC)608とが、システムバス604を介して互いに通信可能に接続された構成としている。
【0052】
CPU601は、ROM602或いはHD611に記憶されたソフトウェア、或いはFD612より供給されるソフトウェアを実行することで、システムバス604に接続された各構成部を総括的に制御する。
すなわち、CPU601は、所定の処理シーケンスに従った処理プログラムを、ROM602、或いはHD611、或いはFD612から読み出して実行することで、第1及び第2の実施の形態での動作を実現するための制御を行う。
【0053】
RAM603は、CPU601の主メモリ或いはワークエリア等として機能する。
KBC605は、KB609や図示していないポインティングデバイス等からの指示入力を制御する。
CRTC606は、CRT610の表示を制御する。
DKC607は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び第1及び第2の実施の形態における所定の処理プログラム等を記憶するHD611及びFD612とのアクセスを制御する。
NIC608は、ネットワーク620上の装置或いはシステムと双方向にデータをやりとりする。
【0054】
【発明の効果】
以上説明したように本発明によれば、例えば、動画像撮影と静止画像撮影を同時に可能な装置或いはシステム(ビデオカメラ等)において、ユーザは、動画撮影中に意識することなく、且つ動画像の撮影に支障をきたすことなく、自動的に高精細な静止画を記録することができる。
【0056】
また、ユーザの設定による動画クリップの等間隔の位置や、クリップの初めの部分、或いは動画像の重要な部分等のタイミングで静止画像を自動記録することができる。
【0058】
また、例えば、自動記録静止画を動画クリップ単位で記録媒体内のフォルダにまとめておき、これを再生を実行することで、動画クリップ単位のスライドショー再生が可能となる。このとき、さらに、スライドショー再生の再生間隔をフォルダ内の静止画像の記録時刻等に従って変更するように構成すれば、より効果的なスライドショー再生を行える。
【図面の簡単な説明】
【図1】第1の実施の形態において、本発明を適用した画像記録再生装置の構成を示すブロック図である。
【図2】上記画像記録再生装置の他の構成例を示すブロック図である。
【図3】上記画像記録再生装置の自動静止画記録動作を説明するための図である。
【図4】上記画像記録再生装置の動作を説明するためのフローチャートである。
【図5】第2の実施の形態において、上記画像記録再生装置で記録処理された静止画群の一例を説明するための図である。
【図6】上記静止画群を再生するための構成を説明するための図である。
【図7】第1及び第2の実施の形態による機能をコンピュータに実現させるためのプログラムをコンピュータ読出可能な記憶媒体から読み出して実行する当該コンピュータの構成を示すブロック図である。
【符号の説明】
100 画像記録再生装置
101 レンズ
102 画像素子(撮像素子)
103 カメラ信号処理部
104 LCD
105 システムコントローラ
106 動画像処理部
107 静止画像処理部
108 操作キー
109 記録再生部
110 記録媒体
111 メモリカードモジュール
112 メモリカード

Claims (8)

  1. 入力された動画像信号から所定のタイミングで一画面の静止画像信号を抽出すると共に、前記動画像信号の時間経過に従って前記静止画像信号を抽出する時間間隔を変更する抽出手段と、
    前記抽出手段により抽出された静止画像信号を記録媒体に記録する記録手段と、
    前記抽出手段により抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出手段が新たに一画面の前記静止画像信号を抽出したことに応じて、既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除すると共に、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理手段とを備える画像処理装置。
  2. 入力された動画像信号から一定間隔で一画面の静止画像信号を抽出すると共に、所定時間経過する毎に前記静止画像信号の抽出間隔を長くする抽出手段と、
    前記抽出手段により抽出された静止画像信号を記録媒体に記録する記録手段と、
    前記抽出手段により抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出手段が新たに一画面の前記静止画像信号を抽出したことに応じて、既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除すると共に、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理手段とを備える画像処理装置。
  3. 入力された動画像信号から所定のタイミングで一画面の静止画像信号を抽出する抽出手段と、
    前記抽出手段により抽出された静止画像信号を前記動画像信号と対応付けて記録媒体に記録する記録手段と、
    前記抽出手段により抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出手段が新たに一画面の前記静止画像信号を抽出したことに応じて、既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除すると共に、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理手段とを備える画像処理装置。
  4. 入力された動画像信号から所定のタイミングで一画面の静止画像信号を抽出する抽出手段と、
    前記抽出手段により抽出された静止画像信号と前記動画像信号とを記録媒体に記録する記録手段と、
    前記抽出手段により抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出手段が新たに一画面の前記静止画像信号を抽出したことに応じて、既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除すると共に、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理手段とを備え、
    前記抽出手段は、前記動画像信号の記録開始の指示に応じて前記静止画像信号の抽出処理を開始することを特徴とする画像処理装置。
  5. 入力された動画像信号から所定のタイミングで一画面の静止画像信号を抽出すると共に、前記動画像信号の時間経過に従って前記静止画像信号を抽出する時間間隔を変更する抽出ステップと、
    前記抽出された静止画像信号を記録媒体に記録する記録ステップと、
    前記抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出により新たに一画面の前記静止画像信号を抽出したことに応じて既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除し、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理ステップとを有する画像処理方法。
  6. 入力された動画像信号から一定間隔で一画面の静止画像信号を抽出すると共に、所定時間経過する毎に前記静止画像信号の抽出間隔を長くする抽出ステップと、
    前記抽出された静止画像信号を記録媒体に記録する記録ステップと、
    前記抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出により新たに一画面の前記静止画像信号を抽出したことに応じて既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除し、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理ステップとを有する画像処理方法。
  7. 入力された動画像信号から所定のタイミングで一画面の静止画像信号を抽出する抽出ステップと、
    前記抽出された静止画像信号を前記動画像信号と対応付けて記録媒体に記録する記録ステップと、
    前記抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出により新たに一画面の前記静止画像信号を抽出したことに応じて既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除し、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理ステップとを有する画像処理方法。
  8. 入力された動画像信号から所定のタイミングで一画面の静止画像信号を抽出する抽出ステップと、
    前記抽出された静止画像信号と前記動画像信号とを記録媒体に記録する記録ステップと、
    前記抽出された静止画像信号の合計がN画面(Nは2以上の整数)に達した場合、前記抽出により新たに一画面の前記静止画像信号を抽出したことに応じて既に前記記録媒体に記録されているN画面の静止画像信号の中の一画面の静止画像信号を削除し、前記削除した静止画像信号に代えて前記新たに抽出された一画面の静止画像信号を加えたN画面の静止画像信号を前記記録媒体に記録する静止画処理ステップとを有し、
    前記抽出ステップは、前記動画像信号の記録開始の指示に応じて前記静止画像信号の抽出処理を開始することを特徴とする画像処理方法。
JP2002127285A 2002-04-26 2002-04-26 画像処理装置及び画像処理方法 Expired - Fee Related JP4174234B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002127285A JP4174234B2 (ja) 2002-04-26 2002-04-26 画像処理装置及び画像処理方法
US10/409,118 US8078039B2 (en) 2002-04-26 2003-04-09 Recording apparatus capable of recording moving image and still image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002127285A JP4174234B2 (ja) 2002-04-26 2002-04-26 画像処理装置及び画像処理方法

Publications (3)

Publication Number Publication Date
JP2003324678A JP2003324678A (ja) 2003-11-14
JP2003324678A5 JP2003324678A5 (ja) 2005-09-15
JP4174234B2 true JP4174234B2 (ja) 2008-10-29

Family

ID=29243836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002127285A Expired - Fee Related JP4174234B2 (ja) 2002-04-26 2002-04-26 画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US8078039B2 (ja)
JP (1) JP4174234B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4314980B2 (ja) * 2003-12-01 2009-08-19 ソニー株式会社 撮像装置
US20050168589A1 (en) * 2004-01-30 2005-08-04 D. Amnon Silverstein Method and system for processing an image with an image-capturing device
JP2005303907A (ja) * 2004-04-15 2005-10-27 Fuji Photo Film Co Ltd 画像編集装置,方法およびプログラム
JP2006339720A (ja) * 2005-05-31 2006-12-14 Funai Electric Co Ltd 動画像処理装置
JP2007325110A (ja) * 2006-06-02 2007-12-13 Canon Inc 撮像装置及び撮像装置の制御方法
JP4285704B2 (ja) * 2006-08-16 2009-06-24 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP2010130114A (ja) * 2008-11-25 2010-06-10 Fujitsu Ten Ltd ドライブレコーダ
JP5230381B2 (ja) * 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像装置の制御方法
JP5820281B2 (ja) * 2012-01-12 2015-11-24 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
US9247098B2 (en) * 2013-04-09 2016-01-26 Here Global B.V. Automatic time lapse capture
EP2851900B1 (en) * 2013-09-18 2017-08-23 Nxp B.V. Media content real time analysis and semi-automated summarization for capturing a fleeting event.
JP6221638B2 (ja) * 2013-10-31 2017-11-01 株式会社ニコン 撮像装置
US9992443B2 (en) * 2014-05-30 2018-06-05 Apple Inc. System and methods for time lapse video acquisition and compression
US9426409B2 (en) 2014-09-30 2016-08-23 Apple Inc. Time-lapse video capture with optimal image stabilization
JP6485517B2 (ja) * 2017-10-05 2019-03-20 株式会社ニコン 撮像装置
JP6723566B2 (ja) * 2018-10-17 2020-07-15 株式会社アジェンシア コンテンツ生成プログラム、コンテンツ生成方法及びコンテンツ生成システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2899029B2 (ja) * 1989-12-04 1999-06-02 キヤノン株式会社 記録装置
US5583791A (en) * 1992-12-11 1996-12-10 Canon Kabushiki Kaisha Recording-reproduction apparatus
JP3598524B2 (ja) * 1993-08-16 2004-12-08 ソニー株式会社 画像記録装置及び方法
US5835667A (en) * 1994-10-14 1998-11-10 Carnegie Mellon University Method and apparatus for creating a searchable digital video library and a system and method of using such a library
JP3740213B2 (ja) * 1996-05-22 2006-02-01 キヤノン株式会社 再生装置
US6310848B1 (en) * 1998-02-10 2001-10-30 Victor Company Of Japan, Ltd. Power saving system for optical disc recording/reproducing apparatus
TWI251218B (en) * 1998-06-24 2006-03-11 Samsung Electronics Co Ltd Recording medium for storing virtually deleted still picture information, recording and/or reproducing method and apparatus therefor
JP4201439B2 (ja) 1999-08-05 2008-12-24 シャープ株式会社 静止画キャプチャー装置
JP3389545B2 (ja) * 1999-12-27 2003-03-24 シャープ株式会社 記録装置、再生装置およびこれらを接続した記録再生装置
JP4390967B2 (ja) * 2000-04-21 2009-12-24 富士フイルム株式会社 電子カメラ

Also Published As

Publication number Publication date
JP2003324678A (ja) 2003-11-14
US8078039B2 (en) 2011-12-13
US20030202777A1 (en) 2003-10-30

Similar Documents

Publication Publication Date Title
JP4174234B2 (ja) 画像処理装置及び画像処理方法
US7417667B2 (en) Imaging device with function to image still picture during moving picture imaging
EP1971134B1 (en) Information processing apparatus, imaging apparatus, image display control method and computer program
US7502560B2 (en) Image capturing apparatus, method for recording captured image data, and captured image data processing apparatus and method
CN1283361A (zh) 一种同时记录和播放数据流的时间移动的方法
US8810687B2 (en) Image capturing apparatus and control method thereof
KR20080084725A (ko) 화상 처리 장치, 촬상 장치, 화상 표시 제어 방법, 및컴퓨터 프로그램
JP4378325B2 (ja) 動画の人数記録制御装置および方法ならびに静止画再生装置および方法
KR101268923B1 (ko) 기록장치
JP2005086734A (ja) 画像記録装置
JP3814565B2 (ja) 記録装置
US8538247B2 (en) Image processing apparatus and image processing method
WO2009136469A1 (ja) 動画像の記録並びに再生を行う装置
JP5207943B2 (ja) 撮像装置
JP2003304492A (ja) 画像処理装置
JP4503867B2 (ja) 画像再生装置及び電子カメラ装置並びに画像再生方法
JP2003189228A (ja) 画像記録装置
JP3683462B2 (ja) 動画表示装置
US7479992B2 (en) Image recording apparatus
JP4942196B2 (ja) 画像管理装置及び方法
JP2011234180A (ja) 撮像装置、再生装置、および再生プログラム
JP3840125B2 (ja) 画像処理装置
JP5010420B2 (ja) 画像再生装置、プログラム、および画像再生方法
JP3914411B2 (ja) 撮像記録装置
JP2006211041A (ja) 動画再生装置及び撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080818

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130822

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees