JP5230483B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP5230483B2
JP5230483B2 JP2009046424A JP2009046424A JP5230483B2 JP 5230483 B2 JP5230483 B2 JP 5230483B2 JP 2009046424 A JP2009046424 A JP 2009046424A JP 2009046424 A JP2009046424 A JP 2009046424A JP 5230483 B2 JP5230483 B2 JP 5230483B2
Authority
JP
Japan
Prior art keywords
image data
still image
data
moving image
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009046424A
Other languages
English (en)
Other versions
JP2009260943A5 (ja
JP2009260943A (ja
Inventor
昭雄 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009046424A priority Critical patent/JP5230483B2/ja
Priority to US12/404,169 priority patent/US8279298B2/en
Priority to CN200910129411XA priority patent/CN101540867B/zh
Publication of JP2009260943A publication Critical patent/JP2009260943A/ja
Publication of JP2009260943A5 publication Critical patent/JP2009260943A5/ja
Priority to US13/598,004 priority patent/US8587683B2/en
Application granted granted Critical
Publication of JP5230483B2 publication Critical patent/JP5230483B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/333—Mode signalling or mode changing; Handshaking therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/21—Intermediate information storage
    • H04N2201/212—Selecting different recording or reproducing modes, e.g. high or low resolution, field or frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/333—Mode signalling or mode changing; Handshaking therefor
    • H04N2201/33307—Mode signalling or mode changing; Handshaking therefor of a particular mode
    • H04N2201/33342—Mode signalling or mode changing; Handshaking therefor of a particular mode of transmission mode
    • H04N2201/33357—Compression mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は撮像装置及びその制御方法に関し、特に、動画と静止画とを撮影するために用いて好適な技術に関する。
従来、画像を撮影してメモリカードなどの記録媒体に記録するビデオカメラが知られている。ビデオカメラにおいては、近年、撮像素子の多画素化が進み、動画に加えて高精細な静止画を撮影することが可能となってきた。また、動画の撮影中に静止画を撮影することができるビデオカメラもある。このビデオカメラでは、動画の記録中にシャッターボタンが押されると、静止画を撮影することができる。
例えば、特許文献１に開示されているビデオカメラは、ＭＰＥＧ方式を用いて動画を符号化して記録する。そして、動画の記録中に静止画像の撮影指示があると、イントラ（Ｉ）フレームとして動画を符号化する。さらに、Ｉフレームを静止画データとしてメモリに記憶しておき、動画の撮影が終了した後に、記録媒体に静止画データを記録している。
また、特許文献２に記載のビデオカメラでは、静止画用のバッファメモリを備えている。そして、動画を記録している時に静止画の撮影要求があった場合に、静止画データをバッファメモリに一旦記憶する。そして、動画データの記録が終了すると、バッファメモリから静止画データを読み出して、記録媒体に記録する。
さらに、特許文献３に記載の画像記録装置では、動画データを第１の記録媒体に記録する。そして、動画データを記録している時に静止画の撮影要求があった場合、静止画データを第２の記録媒体に記録する。そして、動画データの記録が終了した後に、第２の記録媒体に記録された静止画データを第１の記録媒体にコピーしている。
特開平７−２８４０５８号公報 特開平９−２３３４１０号公報 特開２００５−１２３７８号公報
しかしながら、特許文献１では、動画の撮影中に静止画撮影が指示されたフレームをＩフレームとして記録する。このため、動画データを再生する時の画質を劣化させるという問題点があった。
また、特許文献２では、動画の撮影中に静止画の撮影が指示されると、バッファメモリに静止画データを記憶し、動画の撮影が終了した後に記録媒体に記録する。しかし、動画の撮影中にバッファメモリの空き容量が無くなると、それ以上静止画を撮影することができなくなるという問題点があった。また、動画の撮影が終了した後にバッファに記憶された静止画データを記録媒体に記録するため、記録媒体に静止画データを記録し終わるまで、ユーザは、撮影など次の操作をすぐに行うことができないという問題点があった。
さらに、特許文献３では、動画の撮影中に静止画の撮影が指示されると、動画データを記録している記録媒体とは別の記録媒体に静止画データを記録する。そして、動画の撮影が終了した後に別の記録媒体に記録されている静止画データを動画データが記録された記録媒体に記録する。このため、動画の撮影停止後、動画データが記録された記録媒体に静止画データを記録し終わるまで、ユーザは、撮影など次の操作をすぐに行うことができないという問題点があった。また、そもそも複数の記録媒体に対して動画と静止画とを記録できなければならない。
この様に、前記特許文献１〜３に記載の技術では、動画の撮影中に静止画の撮影指示があると、撮影した静止画を一旦バッファメモリに蓄積し、動画の記録が終了した後に静止画を記録している。このため、動画の撮影中に、静止画用のバッファメモリの空き容量がなくなった場合、それ以上静止画を撮影できないという制約や、動画の記録が終了した後に次の操作を行うことができないといった制約が生じる。そのため、非常に使い勝手が悪いものであった。
本発明は前述の問題点に鑑み、動画と静止画とを記録する場合の使い勝手を向上させることを目的としている。
本発明の撮像装置は、撮像手段と、前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化してデータ量を圧縮する動画符号化手段と、前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記記録手段により記録される動画データの画質を設定する設定手段と、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御手段は、前記設定手段により設定された画質に基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整し、前記設定手段により設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化手段を制御することにより、前記動画データの記録中に生成される前記静止画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置の他の特徴とするところは、撮像手段と、前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化してデータ量を圧縮する動画符号化手段と、前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記記録手段により記録される動画データの画質を設定する設定手段と、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記制御手段は、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定手段により設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて、前記静止画符号化手段により符号化される静止画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置のその他の特徴とするところは、撮像手段と、前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化してデータ量を圧縮する動画符号化手段と、前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記記録手段により記録される静止画データの画質を設定する設定手段と、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御手段は、前記設定手段により設定された画質に基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記設定手段により設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置のその他の特徴とするところは、撮像手段と、前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化してデータ量を圧縮する動画符号化手段と、前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記記録手段により記録される静止画データの画質を設定する設定手段と、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御手段は、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定手段により設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて、前記動画符号化手段により符号化される動画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置のその他の特徴とするところは、撮像手段と、前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化してデータ量を圧縮する動画符号化手段と、前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記記録手段により記録される動画データの画質と、前記記録手段により記録される静止画データの画質とを、それぞれ設定する設定手段と、第１のモードと第２のモードとの何れかを選択する選択手段と、前記選択手段により選択されたモードに応じて、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御手段は、前記第１のモードにおいては、前記設定手段により設定された動画データの画質に基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整し、前記設定手段により設定された動画データの画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化手段を制御することにより前記動画データの記録中に記録される前記静止画データのデータ量を調整し、前記第２のモードにおいては、前記設定手段により設定された静止画データの画質に基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記設定手段により設定された静止画データの画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整することを特徴とする。
本発明の撮像装置の制御方法は、撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、前記動画データを符号化してデータ量を圧縮する動画符号化工程と、前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、前記記録工程において記録される動画データの画質を設定する設定工程と、前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御工程においては、前記設定工程において設定された画質に基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整し、前記設定工程において設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化工程における処理を制御することにより、前記動画データの記録中に生成される前記静止画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置の制御方法の他の特徴とするところは、撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、前記動画データを符号化してデータ量を圧縮する動画符号化工程と、前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、前記記録工程において記録される動画データの画質を設定する設定工程と、前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記制御工程においては、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定工程において設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて、前記静止画符号化工程において符号化される静止画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置の制御方法のその他の特徴とするところは、撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、前記動画データを符号化してデータ量を圧縮する動画符号化工程と、前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、前記記録工程において記録される静止画データの画質を設定する設定工程と、前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御工程においては、前記設定工程において設定された画質に基づいて前記静止画符号化工程における処理を制御することにより前記静止画データのデータ量を調整し、前記設定工程において設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置の制御方法のその他の特徴とするところは、撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、前記動画データを符号化してデータ量を圧縮する動画符号化工程と、前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、前記記録工程において記録される静止画データの画質を設定する設定工程と、前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御工程においては、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定工程において設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて、前記動画符号化工程において符号化される動画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置の制御方法のその他の特徴とするところは、撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、前記動画データを符号化してデータ量を圧縮する動画符号化工程と、前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、前記記録工程において記録される動画データの画質と、前記記録工程において記録される静止画データの画質とを、それぞれ設定する設定工程と、第１のモードと第２のモードとの何れかを選択する選択工程と、前記選択工程において選択されたモードに応じて、前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、前記制御工程は、前記第１のモードにおいては、前記設定工程において設定された動画データの画質に基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整し、前記設定工程において設定された動画データの画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化工程における処理を制御することにより前記動画データの記録中に記録される前記静止画データのデータ量を調整し、前記第２のモードにおいては、前記設定工程において設定された静止画データの画質に基づいて前記静止画符号化工程における処理を制御することにより前記静止画データのデータ量を調整し、前記設定工程において設定された静止画データの画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整することを特徴とする。
本発明によれば、動画と静止画とを撮影する場合における使い勝手がよくなる。
本発明の実施形態に係る撮像装置の構成を示すブロック図である。 動画符号化部の構成を示すブロック図である。 静止画符号化部の構成を示すブロック図である。 静止画符号化部の構成を示すブロック図である。 静止画符号化部の構成を示すブロック図である。 動画の画質モード設定処理を示すフローチャートである。 記録処理を示すフローチャートである。 静止画記録処理を示すフローチャートである。 本発明の実施形態に係る撮像装置の構成を示すブロック図である。 記録処理を示すフローチャートである。 静止画符号化処理を示すフローチャートである。 記録処理を示すフローチャートである。 静止画符号化部を示すブロック図である。
（第１の実施形態）
本発明の第１の実施形態について図１を参照しながら説明する。
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。
図１において、撮像部１０１は、ＣＣＤなどの撮像素子、画像信号をデジタル信号に変換するＡＤ変換器などを有する。撮像部１０１は、被写体像を撮影し、動画データを出力する。動画信号処理部１０２は、撮像部１０１から出力された動画データに対し、後述の如く必要な処理を施す。動画符号化部１０３は、動画信号処理部１０２から出力された動画データを受け、公知の符号化方式により動画データを符号化してその情報量を圧縮する。
マルチプレクサ１０４は、動画符号化部１０３からの動画データと、静止画符号化部１０８からの静止画データとの何れか一方を選択し、記録処理部１０５に出力する。記録処理部１０５は、マルチプレクサ１０４から出力された動画データ、或いは静止画データに対し、必要な処理を施し、記録するのに適した形式に変換して記録媒体１０６に記録する。
記録媒体１０６はランダムアクセスな記録媒体であり、例えば、メモリカードやハードディスクドライブ（ＨＤＤ）、光ディスクなどを含む。また、本実施形態では、記録媒体１０６の記録データレートは、動画データのデータレートよりも高く、記録媒体１０６として大容量ＨＤＤを用いる。さらに、本実施形態では、記録媒体１０６として、ＨＤＤが撮像装置１００の本体に内蔵されており、容易に取り出せない構成としているが、不図示のメカニズムなどにより、ＨＤＤを容易に交換できるようにしてもよい。
静止画信号処理部１０７は、システム制御部１１１からの静止画の撮影指示に従い、撮像部１０１から出力された動画データのうちの１フレームを静止画として選択し、静止画データを生成する。そして、選択したフレームの静止画データに対して必要な処理を施して静止画符号化部１０８に出力する。静止画符号化部１０８は、静止画信号処理部１０７から出力された静止画データを公知の符号化方式により符号化し、その情報量を圧縮する。
符号量制御部１０９は、後述の如く動画符号化部１０３、静止画符号化部１０８の符号化処理を制御する。表示部１１０は、撮像部１０１から出力された動画データに係る動画像、或いは、静止画の撮影指示に対応する静止画像の他、各種の情報を表示する。
システム制御部１１１は、撮像装置１００各部の動作を制御する。操作部１１２は、電源スイッチや動画の記録開始、停止を指示する動画記録スイッチ、静止画の撮影を指示する静止画記録スイッチなどを含む。また、操作部１１２は、後述の様に、公知のメニュー画面を用いて動画の画質モードや静止画の連写枚数、静止画の画質などを設定するためのメニュースイッチやジョイスティックなどを含む。
本実施形態では、ユーザは、記録する動画像の画質を複数の所定の画質の中から選択することができる。例えば、本実施形態では、標準画質モードと高画質モードとの２つの画質モードを用意しておき、ユーザは何れか一方の画質モードを選択する。ユーザは、記録停止中など、撮影動作中以外のタイミングで操作部１１２を操作することにより、記録する動画の画質モードを選択することができる。
また、高画質モードにおいて記録される動画データのデータレート（単位時間当たりのデータ量）は、標準画質モードにおいて記録される動画データのデータレートとは異なる。即ち、動画符号化部１０３は、高画質モードにおける動画像データのデータレートの上限値を標準画質モードよりも高く設定し、動画データを符号化する。
次に、撮像装置１００による画質モードの設定に伴う動画データのデータレート、及び、動画の撮影中に記録する静止画データのデータ量の設定処理について説明する。図６は、画質モードの設定処理の際に実行される処理を示すフローチャートである。なお、図６の処理は、システム制御部１１１が各部を制御することにより実行される。
前述の様に、ユーザにより動画データの画質モードが選択されると、システム制御部１１１は、設定された画質モードを示す情報を符号量制御部１０９に出力する（Ｓ６０１）。符号量制御部１０９は、システム制御部１１１からの画質モードの情報に基づき、動画データのデータレートＲｍｖ（ビット／秒）を決定し、このＲｍｖの情報を動画符号化部１０３に出力する。前述の様に、各画質モードにおける動画データのデータレートの上限値Ｒｍｖが予め決まっているため、システム制御部１１１は、設定された画質モードに対応するデータレートＲｍｖを決定する。
次に、符号量制御部１０９は、記録処理部１０５が記録媒体１０６にデータを記録する際のデータレートの最大値Ｒｍａｘ（ビット／秒）の情報を取得する（Ｓ６０２）。本実施形態では、記録媒体１０６として、撮像装置１００に内蔵されているＨＤＤを用いるため、このＨＤＤに記録可能なデータレートの最大値は予め記録処理部１０５が保持しているものとする。これ以外にも、例えば、メモリカードなどの交換可能な記録媒体を用いた場合には、記録媒体から、データレートの最大値の情報を読み出すことにより、記録データレートＲｍａｘの情報を取得できる。
次に、符号量制御部１０９は、動画データのデータレートＲｍｖと記録媒体１０６の記録データレートＲｍａｘとに基づいて、動画の撮影中に記録する静止画データの１画面あたりのデータ量Ｖｓｔを以下の様に算出する。
まず、ＲｍａｘからＲｍｖを除いた、残りのデータレートＲｓｔ（ビット／秒）を以下の様に算出する。
Ｒｓｔ＝Ｒｍａｘ−Ｒｍｖ
Ｒｓｔは、動画データの記録中に動画データ以外のデータを記録する場合に、この動画データ以外のデータのデータレートの上限値を示している。ここでは、動画データの記録中に記録するデータを静止画データとする。
さらに、符号量制御部１０９は、Ｒｓｔに基づいて、動画像データの記録中に記録する静止画像データの１画面当たりのデータ量Ｖｓｔ（ビット）を、以下の様に算出する。
Ｖｓｔ＝Ｒｓｔ／Ｎ
ここで、Ｎは撮像装置１００において単位時間当たり、例えば１秒間に撮影可能な静止画の枚数である。本実施形態では、Ｎの値は予め決定されているものとするが、例えば、操作部１１２を設定することにより、上限枚数までの間で任意に変更できるようにしてもよい。この様に、単位時間に撮影されるＮ画面の静止画データのデータ量が、互いに同じデータ量Ｖｓｔとなる。
符号量制御部１０９は、この様にＶｓｔを算出すると、このＶｓｔを示す情報を静止画符号化部１０８に出力する（Ｓ６０３）。
このように、本実施形態では、動画像の画質モードが設定されると、設定された画質モードと記録媒体の記録データレートとに基づいて、動画像データ同時に記録する静止画データの１枚当たりのデータ量Ｖｓｔを決定する。従って、動画データの画質モードを標準画質モードに設定すると、高画質モードよりも、動画の撮影中に記録する静止画データのデータ量が多くなる。即ち、高画質な静止画を撮影することができる。
次に、撮像装置１００による記録動作について説明する。図７は、本実施形態における記録処理を示すフローチャートである。図７の処理は、システム制御部１１１が各部を制御することにより実行される。
操作部１１２により動画の撮影開始が指示されると、システム制御部１１１は、動画データの記録を開始するために各ブロックを制御する（Ｓ７０１）。そして、撮像部１０１から動画データが動画信号処理部１０２に出力される。動画信号処理部１０２は、出力された動画データに対して、ホワイトバランス、色処理、ガンマ処理、輪郭補正などの処理を施し、動画符号化部１０３に出力する。動画符号化部１０３は、供給された動画データを公知の符号化方式に従って符号化する。
本実施形態では、動画符号化部１０３は、ＭＰＥＧ方式により動画データを符号化する。ＭＰＥＧ方式は、フレーム内符号化ピクチャ（Ｉピクチャ）、前方予測フレーム間符号化ピクチャ（Ｐピクチャ）、及び双方向予測フレーム間符号化ピクチャ（Ｂピクチャ）を用いて動画データを符号化する方式である。
図２は、動画符号化部１０３の構成を示すブロック図である。
図２において、ブロック化回路２０１は、入力された動画データを水平方向及び垂直方向が８×８画素単位のブロックに分割し、減算器２０２、及び動き補償回路２１０に供給する。
動き補償回路２１０は、符号化するピクチャがＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであるかに応じて、減算器２０２に対して参照データを出力する。即ち、動き補償回路２１０は、Ｉピクチャ（フレーム内符号化ピクチャ）を符号化する際には、０データを減算器２０２に出力する。また、Ｐピクチャ、またはＢピクチャを符号化する際には、メモリ２０９に記憶された参照フレームのデータとブロック化回路２０１から出力されたデータを比較する。そして、最も差分が小さくなるブロックのデータをメモリ２０９から読み出し、参照データとして減算器２０２に出力する。
まず、フレーム内符号化を行う場合について説明する。
この場合、減算器２０２には０データが参照データとして入力されるので、入力された画像データがそのまま直交変換回路２０３に出力される。直交変換回路２０３は、減算器２０２からの動画データをブロック毎に直交変換し、量子化回路２０４に出力する。
符号量制御回路２１１には、符号量制御部１０９から動画データのデータレートＲｍｖの情報が入力される。符号量制御回路２１１は、このＲｍｖに応じて、量子化回路２０４が動画データを量子化する際の量子化ステップの初期値を設定する。量子化回路２０４は、設定された量子化ステップに従って、直交変換回路２０３からの直交変換後のデータをブロック毎に量子化し、符号化回路２０５、及び逆量子化回路２０７に出力する。
逆量子化回路２０７は、量子化回路２０４から出力された量子化後のデータをブロック毎に逆量子化及び逆直交変換し、加算器２０８に出力する。ここで、フレーム内符号化を行う場合、前述の様に動き補償回路２１０からは０データが供給されており、加算器２０８は逆量子化回路２０７からのデータをそのままメモリ２０９に出力する。メモリ２０９は、供給されたフレームのデータが参照フレームのデータとして記憶される。
また、符号化回路２０５は、量子化回路２０４からのデータに対してハフマン符号などを用いて可変長符号化し、バッファメモリ２０６に出力する。バッファメモリ２０６は符号化されたデータを一時蓄積し、所定のタイミングで符号化動画データとしてマルチプレクサ１０４に出力する。
また、符号量制御回路２１１は、バッファメモリ２０６に蓄積されたデータの蓄積速度を監視する。そして、動画データのデータレートが設定された値Ｒｍｖ以下になるように、量子化回路２０４の量子化ステップを制御する。
次に、フレーム間符号化を行う場合について説明する。
この場合、減算器２０２には動き補償回路２１０から参照データが供給される。減算器２０２では、ブロック化回路２０１からのデータから、動き補償回路２１０から供給される参照データを減算して予測誤差を求め直交変換回路２０３に出力する。直交変換回路２０３は、減算器２０２からのデータに対してブロック毎に直交変換を施して量子化回路２０４に出力する。
量子化回路２０４は、符号量制御回路２１１により制御される量子化ステップに従い、直交変換回路２０３からのデータを量子化し、符号化回路２０５及び逆量子化回路２０７に供給する。逆量子化回路２０７は、量子化回路２０４からのデータを逆量子化及び逆直交変換し、加算器２０８に出力する。
フレーム間符号化を行う場合、加算器２０８に対しては、動き補償回路２１０から参照データが供給されている。加算器２０８は、逆量子化回路２０７からのデータに動き補償回路２１０から供給される参照データを加算してメモリ２０９に出力する。これにより、メモリ２０９には、供給されるフレームのデータが参照フレームのデータとして記憶される。なお、フレーム間予測により符号化されるデータのうち、Ｐピクチャのデータだけが参照フレームのデータとしてメモリ２０９に蓄積される。
符号化回路２０５は、量子化回路２０４からのデータに対してハフマン符号などを用いて可変長符号化し、バッファメモリ２０６に出力する。符号量制御回路２１１は、前述の通り、動画データのデータレートがＲｍｖ以下になるように、量子化回路２０４の量子化ステップを制御する。
図１及び図７の説明に戻り、マルチプレクサ１０４は、静止画の撮影指示が無い場合には、動画符号化部１０３からの符号化後動画データを選択し、記録処理部１０５に出力する。記録処理部１０５は、マルチプレクサ１０４から出力された動画データを内部のメモリに一時蓄積する。そして、メモリに蓄積された動画データのデータ量が所定量に達すると、メモリから動画データを読み出し、必要なデータを付加して記録媒体１０６に記録する。メモリに蓄積された動画データが決められたデータ量になると、記録媒体１０６への記録を中止する。この様に、本実施形態では、記録媒体に対し、動画データを間欠的に記録している。
次に、動画データの記録中、操作部１１２から静止画の撮影指示があるかどうかを判別する（Ｓ７０２）。静止画撮影の指示が無い場合、動画の記録停止の指示があったかどうかを判別する（Ｓ７０３）。動画記録停止の指示が無い場合にはＳ７０１に戻り、そのまま動画データの記録を続ける。
一方、動画の記録停止の指示があると、記録媒体１０６に対する動画データの記録を停止する（Ｓ７０４）。本実施形態では、動画データをファイルとして記録し、記録開始の指示から記録停止の指示までの間に記録した１シーンの動画データを１つのファイルとして管理する。
次に、Ｓ７０２で、動画の撮影中に静止画の撮影指示があった場合の処理について説明する。動画の記録中に静止画撮影の指示があると、Ｓ７０５に移行し、静止画記録処理を実行する。
図８は、図７のＳ７０５の静止画記録処理を示すフローチャートである。
静止画撮影の指示があると、システム制御部１１１は、静止画信号処理部１０７に対して静止画撮影を指示する。静止画信号処理部１０７は、静止画撮影の指示があると、撮像部１０１から出力されている動画データのうち、静止画撮影の指示に応じたタイミングで１画面のデータを選択し、内部のメモリに一時蓄積する（Ｓ８０１）。そして、静止画信号処理部１０７は、メモリに蓄積した１画面の静止画データに対し、撮像部１０１から出力される画像信号に対して、ホワイトバランス、色処理、ガンマ処理、輪郭補正などの処理を施して、静止画符号化部１０８に出力する。
次に、静止画符号化部１０８は、入力した静止画データを公知の符号化方式に従って符号化する。本実施形態では、静止画符号化部１０８は、ＪＰＥＧ方式に従って静止画データを符号化する。
図３は、静止画符号化部１０８の構成を示すブロック図である。
図３において、ブロック化回路３０１は、入力された静止画データを水平方向及び垂直方向で８×８画素単位のブロックに分割し、直交変換回路３０２に出力する。直交変換回路３０２は、静止画データをブロック毎に直交変換してメモリ３０３に蓄積する。
符号量制御回路３０７には、符号量制御部１０９から静止画データの１枚当たりのデータ量Ｖｓｔの情報が入力される。符号量制御回路３０７は、静止画のサイズ（画素数）、１画素当たりのビット幅等を考慮して、量子化回路３０４に対して、量子化ステップの初期値を設定する。
量子化回路３０４は、メモリ３０３から直交変換された静止画データを読み出す。そして、符号量制御回路３０７の指示に従って、直交変換された静止画データをブロック毎に量子化し、符号化回路３０５に供給する。符号化回路３０５は、量子化された静止画データをブロック毎に可変長符号化し、バッファメモリ３０６に蓄積する。また、符号化の際の符号長についての情報を符号量制御回路３０７に出力する（Ｓ８０２）。
次に、符号量制御回路３０７は、符号化回路３０５から出力される情報に応じて、１枚当たりの静止画データのデータ量を算出する（Ｓ８０３）。そして、算出したデータ量が、設定されたデータ量Ｖｓｔを上回っているかどうか判別する（Ｓ８０４）。
算出したデータ量が、設定されたデータ量Ｖｓｔを上回っていた場合は、符号量制御回路３０７は、量子化回路３０４の量子化ステップを大きくする（Ｓ８０７）。そして、再度、直交変換された静止画データをメモリ３０３から読み出し、量子化及び符号化を行い（Ｓ８０８）、Ｓ８０３に戻ってデータ量を算出する。このように、撮影された静止画データのデータ量が設定されたデータ量Ｖｓｔ以下になるように符号化する。
一方、静止画データのデータ量がＶｓｔ以下になった場合は（Ｓ８０４でＹＥＳ）、符号量制御回路３０７は、バッファメモリ３０６から符号化された静止画データを読み出し、マルチプレクサ１０４に出力する（Ｓ８０５）。
次に、マルチプレクサ１０４は、システム制御部１１１から静止画撮影の指示を受け、静止画符号化部１０８から前記の様に符号化された静止画データが出力されると、この静止画データを選択して記録処理部１０５に出力する。そして、記録処理部１０５は、マルチプレクサ１０４から出力された静止画データをメモリに一時蓄積する。そして、動画データの記録を行っていない所定のタイミングで静止画データをメモリから読み出し、記録媒体１０６に記録する（Ｓ８０６）。なお、本実施形態では、１回の静止画撮影指示によって記録される１画面の静止がデータを１つのファイルとして管理する。
以上のように本実施形態によれば、記録媒体１０６の記録データレートと、記録する動画データのデータレートとに基づいて、動画の撮影中に記録する静止画データのデータ量を決定する。そのため、動画データを記録しながら静止画データを記録することができるとともに、静止画像の最小撮影間隔を保証することができるようになる。
従って、１シーンの動画の撮影中に静止画撮影指示があっても、撮影した静止画データを動画の撮影終了まで記憶しておくためのバッファメモリが不要となる。また、動画の撮影中に撮影できる静止画の枚数の制限が無くなる。
また、動画の撮影が終了した後に静止画データを記録せずに済むので、ユーザは、動画の撮影終了後、すぐに次の操作を行うことができる。さらに、ユーザが設定した画質モードに従って動画データのデータレートを決めるので、１シーンの中で動画データの符号量のばらつきを抑え、良好な画質を得ることができる。
なお、本実施形態において、動画データの記録中に静止画像データを記録する場合には、静止画データのデータ量をＶｓｔ以下となるように符号化した。一方、本実施形態では、動画データの記録中以外にも静止画データを記録することができる。即ち、記録停止状態において、ユーザが操作部１１２を操作して静止画の撮影を指示すると、システム制御部１１１が静止画信号処理部１０７と静止画符号化部１０８を制御して、１画面の静止画データを生成し、符号化する。そして、この静止画データを記録処理部１０５により記録媒体１０６に記録する。
このとき、静止画データのデータ量は、動画データの画質（データレート）に無関係に設定する。即ち、静止画データのデータ量を所定のデータ量としてもよい。或いは、動画データの画質モードとは別に、静止画像のみを記録する場合の静止画像データの画質モードをユーザが設定できるようにしてもよい。システム制御部１１１は、この様に、静止画のみを記録する場合の静止画データの画質モードに従い、静止画データのデータ量を調整する。
また、本実施形態では、動画データの画質モードとして、２種類のモードを用意したが、これに限らず、３つ以上の画質モードを用意し、ユーザが画質モードを選択できるようにしてもよい。
（第２の実施形態）
本実施形態では、静止画符号化部１０８が、符号量算出回路を複数備える構成とした。
図４は、本実施形態の静止画符号化部１０８の構成を示すブロック図である。なお、撮像装置の全体構成及び動画符号化回路の構成については第１の実施形態と同様である。以下、第１の実施形態と異なる箇所のみ説明する。
図４において、符号量算出回路４０７ａ〜４０７ｃはそれぞれ、直交変換された静止画データを異なる量子化ステップで量子化した場合の符号量を算出する回路である。それぞれの符号量算出回路４０７ａ〜４０７ｃは、メモリ４０３から直交変換された静止画データを読み出して、ブロック毎に各々量子化する。本実施形態では、符号量制御回路４０８は、Ｖｓｔに基づいて、それぞれの符号量算出回路４０７ａ〜４０７ｃに対し、それぞれ異なる量子化ステップを設定する。
符号量算出回路４０７ａ〜４０７ｃはそれぞれ、量子化したデータを可変長符号化し、静止画データの１枚の符号量を算出する。そして、符号量算出回路４０７ａ〜４０７ｃはそれぞれ、算出した符号量の情報を符号量制御回路４０８に出力する。
符号量制御回路４０８は、符号量算出回路４０７ａ〜４０７ｃによって符号量が算出された静止画データのうち、符号量がＶｓｔ以下で、かつ符号量が大きいものを選択する。そして、選択した静止画データを符号化するために設定した量子化ステップを量子化回路４０４に設定する。量子化回路４０４は、メモリ４０３から直交変換された静止画データを読み出して量子化し、符号化回路４０５に出力する。
符号化回路４０５は、入力されたデータを可変長符号化してバッファメモリ４０６に出力し、符号化データを記憶する。バッファメモリ４０６に記憶されたデータは、マルチプレクサ１０４に出力される。
以上のように、本実施形態によれば、静止画データの符号量の見積もりを並列に実行するようにしたので、静止画データの符号化に要する時間を短縮することが可能になる。そのため、動画の撮影中における静止画の撮影間隔を短くすることが可能になる。
なお、図４では、３つの符号量算出回路４０７ａ〜４０７ｃを備え、各符号量算出回路によって静止画データの符号量の見積もりを並列に実行する構成とした。これ以外にも、２つ、或いは４つ以上の符号量算出回路を備える構成としてもよい。
（第３の実施形態）
本実施形態では、第１及び第２の実施形態とは異なる構成の静止画像符号化回路の場合について説明する。
図５は、本実施形態の静止画符号化部１０８の構成を示すブロック図である。なお、撮像装置の全体構成及び動画像符号化回路の構成については第１の実施形態と同様である。以下、第１の実施形態と異なる箇所のみ説明する。
図５において、量子化回路５０４ａ〜５０４ｃはそれぞれ、メモリ５０３から直交変換された静止画データを読み出して、ブロック毎に各々量子化する。本実施形態では、符号量制御回路５０８は、Ｖｓｔに基づいて、それぞれの量子化回路５０４ａ〜５０４ｃに対し、それぞれ異なる量子化ステップを設定する。
符号化回路５０５ａ〜５０５ｃはそれぞれ、入力したデータを可変長符号化し、符号化したデータをバッファメモリ５０６ａ〜５０６ｃに記憶する。また、符号化回路５０５ａ〜５０５ｃはそれぞれ、符号長の情報を符号量制御回路５０８に出力する。符号量制御回路５０８は、符号化回路５０５ａ〜５０５ｃ毎に、静止画データの１枚の符号量を算出する。
また、符号量制御回路５０８は、符号化回路５０５ａ〜５０５ｃにより符号化された静止画データのうち、データ量がＶｓｔ以下で、かつ符号量が大きいものを選択する。そして、セレクタ５０７を制御し、バッファメモリ５０６ａ〜５０６ｃのうち、選択した静止画データを記憶したバッファメモリから静止画データを読み出し、マルチプレクサ１０４に出力する。
以上のように本実施形態によれば、静止画像データの符号量の見積もりを並列に実行するとともに、その時の符号化データをバッファメモリに記憶するようにした。これにより、静止画像データの符号化に要する時間をさらに短縮することが可能になり、動画像の撮影中における静止画像の撮影間隔を短くすることが可能になる。
なお、図５では、３つの量子化回路５０４ａ〜５０４ｃを備え、各量子化回路によって並列に静止画データを量子化する構成とした。これ以外にも、２つ、或いは４つ以上の量子化回路を備える構成としてもよい。
（第４の実施形態）
本実施形態では、動画の撮影中に記録する静止画の画質（データ量）をユーザが任意に設定できるようにした。
図９は、本実施形態に係る撮像装置１００ａの構成例を示すブロック図である。図９の撮像装置１００ａは、図１の撮像装置１００と同様の機能ブロックを備え、同様に、動画、静止画の撮影機能を持つ。以下、第１の実施形態と異なる箇所について説明する。
本実施形態では、ユーザは、操作部１１２を操作することにより、動画の撮影中に記録する静止画データの画質を設定することができる。例えば、本実施形態では、静止画の画質モードとして、標準画質モードと高画質モードとの２つの画質モードを用意しておき、ユーザは何れか一方の画質モードを選択する。ユーザは、記録停止中など、撮影動作中以外のタイミングで操作部１１２を操作することにより、記録する静止画の画質モードを選択することができる。
システム制御部１１１は、ユーザにより選択された画質モードの情報を符号量制御部１０９ａに出力する。符号量制御部１０９ａは、システム制御部１１１からの静止画の画質モードの情報に基づいて、動画の撮影中に記録する静止画データの量子化ステップを決定し、静止画符号化部１０８ａに出力する。
また、符号量制御部１０９ａは、第１の実施形態と同様、ユーザが選択した動画データの画質モードに従って動画データのデータレートＲｍｖを決定し、動画符号化部１０３に出力する。さらに、符号量制御部１０９ａは、記録媒体１０６の記録データレートＲｍａｘの情報を取得する。
次に、撮像装置１００による記録動作について説明する。図１０は、本実施形態における記録処理を示すフローチャートである。図１０の処理は、システム制御部１１１が各部を制御することにより実行される。
システム制御部１１１は、操作部１１２より動画の撮影開始の指示があると、各部を制御して動画データの符号化、及び記録処理を開始する（Ｓ１００１）。このとき、第１の実施形態と同様、符号量制御部１０９ａは動画データのデータレートＲｍｖの情報を動画符号化部１０３に出力する。動画符号化部１０３は、符号化される動画データのデータレートがＲｍｖを超えない様に符号量を調整する。
そして、この様に動画データを記録中に、操作部１１２から静止画の撮影指示があるかどうかを判別する（Ｓ１００２）。静止画撮影の指示が無い場合は、動画の記録停止の指示があったかどうかを判別する（Ｓ１０１０）。記録停止の指示が無い場合にはＳ１００１に戻り、そのまま動画データの記録を続ける。また、動画の記録停止の指示があると、記録媒体１０６に対する動画データの記録を停止する（Ｓ１０１１）。
次に、Ｓ１００２で、動画の撮影中に静止画の撮影指示があった場合の処理について説明する。動画の記録中に静止画撮影の指示があると、Ｓ１００３に移行し、静止画符号化処理を実行する。
図１３は、本実施形態における静止画符号化部１０８ａの構成を示す図である。なお、図１３において、図３と同様の構成については同一番号を付加し、その詳細な説明は省略する。また、図１１は、Ｓ１００３の静止画記録処理を示すフローチャートである。
図１１において、静止画撮影の指示があると、システム制御部１１１は、静止画信号処理部１０７に対して静止画撮影を指示する。静止画信号処理部１０７は、静止画撮影の指示があると、撮像部１０１から出力されている動画データのうち、静止画撮影の指示に応じたタイミングで１画面のデータを選択し、内部のメモリに一時蓄積する（Ｓ１１０１）。そして、静止画信号処理部１０７は、メモリに蓄積した１画面の静止画データに対し、撮像部１０１から出力される画像信号に対して、ホワイトバランス、色処理、ガンマ処理、輪郭補正などの処理を施して、静止画符号化部１０８ａに出力する。
静止画符号化部１０８ａの符号量制御回路１３０７は、前記の様に符号量制御部１０９ａより入力した静止画の画質モードの情報に基づき、量子化回路３０４における量子化ステップを設定する（Ｓ１１０２）。そして、静止画符号化部１０８ａは、設定された量子化ステップに従い、前述の様に静止画データを符号化し（Ｓ１１０３）、符号化した静止画データをバッファメモリ３０６に保存する（Ｓ１１０４）。
また、本実施形態では、符号量制御回路１３０７は、符号化回路３０５より、静止画データの符号化結果を順次取得し、一画面の静止画データのデータ量Ｓｖを算出する。そして、このＳｖ（ビット）の情報を符号量制御部１０９ａに出力する。
この様に図１０のＳ１００３において静止画データの符号化が終了すると、図１０のＳ１００４に進み、符号量制御部１０９ａは、静止画符号化部１０８ａより静止画データのデータ量Ｓｖの情報を取得する（Ｓ１００４）。そして、このデータ量Ｓｖに応じて、動画データのデータレートＲｍｖを変更するか否かを判別する（Ｓ１００５）。
このとき、まず、符号量制御部１０９ａは、例えば、静止画を撮影する間隔Ｎが１に設定されている場合、下記の式を満たすかどうかを判別する。
Ｒｍａｘ−Ｒｍｖ＞Ｓｖ
即ち、記録媒体の記録データレートから動画データのデータレートを引いた残りが、静止画データのデータ量Ｓｖよりも大きいかどうかを判別する。前記の式を満たしている場合、動画像データのデータレートＲｍｖを変更すること無く、動画データの記録中に静止画データを記録することができると判断し、Ｓ１０１０に進む。
一方、ステップＳ１００５において、静止画データのデータ量Ｓｖが、
Ｒｍａｘ−Ｒｍｖ≦Ｓｖ
である場合、動画データの記録中に静止画データを記録するためには、動画データのデータレートを現在よりも下げる必要があると判断し、Ｓ１００６に進む。そして、以下の様に動画データのデータレートＲｍｖ'を算出する。
Ｒｍｖ'＝Ｒｍｖ×α（ただし、０＜α＜１）
そして、動画データのデータレートをＲｍｖ'に変更するよう、動画符号化部１０３に対し、Ｒｍｖ'の情報を出力する（Ｓ１００６）。なお、αの値が極端に小さいと、動画の画質が著しく低下するため、概ね０．７〜０．９程度とすることが望ましい。
動画符号化部１０３は、符号化された動画データのデータレートが新たに設定されたＲｍｖ'を超えないよう、動画データを符号化する。そして、記録処理部１０５は、マルチプレクサ１０４を介してバッファメモリ３０６に保存されている静止画データを読み出し、この静止画データと符号化された動画データとを記録媒体１０６に記録する（Ｓ１００７）。
そして、静止画データの記録を開始した後、静止画データの記録が終了するのを待つ（Ｓ１００８）。静止画の記録が終了すると、動画データのデータレートを変更前のＲｍｖに戻し、このＲｍｖの情報を動画符号化部１０３に出力する。すると、動画符号化部１０３は、再び、動画データのデータレートがＲｍｖを超えない様に符号化し、記録処理部１０５は、符号化された動画データを記録媒体１０６に記録する（Ｓ１００９）。
この様に静止画データを記録した場合、データ量Ｓｖの静止画データを記録し終わるまでの時間Ｔは、
Ｔ＝Ｓｖ／（Ｒｍａｘ−Ｒｍｖ×α） （秒）
となる。
以上説明した様に、本実施形態によれば、動画の撮影中に記録する静止画データの画質をユーザが予め設定しておく。そして、動画の撮影中に静止画撮影の指示があると、符号化された静止画データのデータ量に基づいて動画データのデータレートを変更して動画データ及び静止画データを記録する。このため、動画の撮影中に静止画撮影の指示があった場合に、動画を記録しながら、ユーザが設定した画質の静止画を記録できる。
また、１シーンの動画の撮影中に静止画撮影の指示があっても、撮影した静止画データを動画の撮影終了まで記憶しておくためのバッファメモリが不要となる。また、動画の撮影中に撮影できる静止画の枚数の制限が無くなる。
また、動画の撮影が終了した後に静止画データを記録せずに済むので、ユーザは、動画の撮影終了後、すぐに次の操作を行うことができる。さらに、動画の撮影中に静止画を撮影する場合に、動画のデータレートを下げたく無い場合は、静止画の画質を低く設定すればよい。
なお、本実施形態では、動画の撮影中に記録する静止画の画質モードとして、２種類のモードを用意したが、これに限らず、３つ以上の画質モードを用意し、ユーザが画質モードを選択できるようにしてもよい。
（第５の実施形態）
第１〜第３の実施形態では、動画の撮影中に静止画を撮影する場合に、動画データのデータレートは変えずに、静止画データのデータ量を設定した。一方、第４の実施形態では、動画の撮影中に静止画を撮影する場合に、設定された静止画データの画質（データ量）は変えずに、動画データのデータレートを設定した。
これに対して本実施形態では、動画の撮影中に静止画を撮影する場合に、動画のデータレートは変えずに静止画のデータ量を設定する第１のモードと、静止画の画質を変えずに動画のデータレートを設定する第２のモードとを備える。そして、ユーザが、これらの第１、及び第２のモードの何れかを選択し、設定できるようにした。
なお、本実施形態における撮像装置の構成は、図１に記載の撮像装置１００に図９に記載の撮像装置１００ａの機能を付加したものと同様であり、また、基本的な記録処理も同様である。即ち、ユーザは、操作部１１２により、記録する動画データの画質モードを設定すると共に、動画の撮影中に記録する静止画の画質モードも設定する。また、ユーザは操作部１１２を操作することにより、前記の第１のモード（動画優先モード）と第２のモード（静止画優先モード）とを選択する。そして、システム制御部１１１は、動画の撮影中に静止画撮影の指示があると、ユーザが設定したモードに応じて各部を制御する。
図１２は、本実施形態における記録処理を示すフローチャートである。なお、図１２の処理は、システム制御部１１１が各部を制御することにより実行される。
ユーザにより、動画の記録開始が指示されると、システム制御部１１１は、動画優先モード、静止画優先モードの何れが選択されているかを判別する（Ｓ１２０１）。動画優先モードが選択されていた場合、Ｓ１２０２の動画優先モード処理を実行する。この動画優先モード処理においては、第１の実施形態にて説明した図７、図８の処理と同様の処理を実行する。
一方、静止画優先モードが選択されていた場合、Ｓ１２０３の静止画優先モード処理を実行する。この静止画優先モード処理においては、第４の実施形態において説明した図１０、図１１の処理と同様の処理を実行する。
（本発明に係る他の実施形態）
前述した本発明の実施形態における撮像装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図６〜図８、図１０〜図１２）に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
１００ 撮像装置
１０１ 撮像部
１０２ 動画信号処理部
１０３ 動画符号化部
１０４ マルチプレクサ
１０５ 記録処理部
１０６ 記録媒体
１０７ 静止画信号処理部
１０８ 静止画符号化部
１０９ 符号量制御部
１１０ 表示部
１１１ システム制御部
１１２ 操作部

Claims (20)

  1. 撮像手段と、
    前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、
    前記動画データを符号化してデータ量を圧縮する動画符号化手段と、
    前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、
    前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
    前記記録手段により記録される動画データの画質を設定する設定手段と、
    前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
    前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
    前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
    前記制御手段は、前記設定手段により設定された画質に基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整し、前記設定手段により設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化手段を制御することにより、前記動画データの記録中に生成される前記静止画データのデータ量を調整することを特徴とする撮像装置。
  2. 前記制御手段は、前記記録媒体の記録データレートと前記設定手段により設定された画質に対応したデータレートとの差に基づいて、前記静止画データのデータ量を調整することを特徴とする請求項１に記載の撮像装置。
  3. 前記信号処理手段は、単位時間あたりＮ画面の前記静止画データを生成し、前記制御手段は、Ｎ画面それぞれの前記静止画データの情報量が同じになるように前記静止画データのデータ量を調整することを特徴とする請求項１または２に記載の撮像装置。
  4. 前記設定手段は、ユーザの操作に応じて複数の画質のうちの何れかを選択することを特徴とする請求項１から３の何れか１項に記載の撮像装置。
  5. 前記設定手段は更に、前記記録手段により記録される静止画データの画質を設定し、前記制御手段は、前記設定手段により設定された静止画データの画質に基づいて、前記動画データを記録していないときに前記信号処理手段により生成される静止画データのデータ量を調整することを特徴とする請求項１に記載の撮像装置。
  6. 撮像手段と、
    前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、
    前記動画データを符号化してデータ量を圧縮する動画符号化手段と、
    前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、
    前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
    前記記録手段により記録される動画データの画質を設定する設定手段と、
    前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
    前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
    前記制御手段は、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定手段により設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて、前記静止画符号化手段により符号化される静止画データのデータ量を調整することを特徴とする撮像装置。
  7. 撮像手段と、
    前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、
    前記動画データを符号化してデータ量を圧縮する動画符号化手段と、
    前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、
    前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
    前記記録手段により記録される静止画データの画質を設定する設定手段と、
    前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
    前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
    前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
    前記制御手段は、前記設定手段により設定された画質に基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記設定手段により設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整することを特徴とする撮像装置。
  8. 前記制御手段は、前記記録媒体の記録データレートと前記静止画データのデータ量との差に基づいて前記動画データのデータ量を調整することを特徴とする請求項７に記載の撮像装置。
  9. 前記設定手段は、ユーザの操作に応じて複数の所定の画質のうちの何れかを選択することを特徴とする請求項７または８に記載の撮像装置。
  10. 前記設定手段は更に、前記記録手段により記録される動画データの画質を設定し、
    前記制御手段は、前記動画データの記録開始の指示に応じて、前記設定手段により設定された動画データの画質に基づいて前記動画データのデータ量を調整し、前記動画データの記録中における静止画撮影指示に応じて、前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて、前記動画データのデータ量を調整することを特徴とする請求項７に記載の撮像装置。
  11. 前記制御手段は、前記記録手段が前記静止画データの記録を終了した場合、前記設定手段により設定された動画データの画質に基づいて前記動画データのデータ量を調整することを特徴とする請求項１０に記載の撮像装置。
  12. 撮像手段と、
    前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、
    前記動画データを符号化してデータ量を圧縮する動画符号化手段と、
    前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、
    前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
    前記記録手段により記録される静止画データの画質を設定する設定手段と、
    前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
    前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
    前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
    前記制御手段は、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定手段により設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて、前記動画符号化手段により符号化される動画データのデータ量を調整することを特徴とする撮像装置。
  13. 撮像手段と、
    前記撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理手段と、
    前記動画データを符号化してデータ量を圧縮する動画符号化手段と、
    前記静止画データを符号化してデータ量を圧縮する静止画符号化手段と、
    前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
    前記記録手段により記録される動画データの画質と、前記記録手段により記録される静止画データの画質とを、それぞれ設定する設定手段と、
    第１のモードと第２のモードとの何れかを選択する選択手段と、
    前記選択手段により選択されたモードに応じて、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
    前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
    前記制御手段は、前記第１のモードにおいては、前記設定手段により設定された動画データの画質に基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整し、前記設定手段により設定された動画データの画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化手段を制御することにより前記動画データの記録中に記録される前記静止画データのデータ量を調整し、前記第２のモードにおいては、前記設定手段により設定された静止画データの画質に基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記設定手段により設定された静止画データの画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化手段を制御することにより前記動画データのデータ量を調整することを特徴とする撮像装置。
  14. 前記制御手段は、前記第１のモードにおいて、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記静止画符号化手段により符号化される静止画データのデータ量を調整することを特徴とする請求項１３に記載の撮像装置。
  15. 前記制御手段は、前記第２のモードにおいて、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記動画符号化手段により符号化される動画データのデータ量を調整することを特徴とする請求項１３に記載の撮像装置。
  16. 撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、
    前記動画データを符号化してデータ量を圧縮する動画符号化工程と、
    前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、
    前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、
    前記記録工程において記録される動画データの画質を設定する設定工程と、
    前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、
    前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
    前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
    前記制御工程においては、前記設定工程において設定された画質に基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整し、前記設定工程において設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化工程における処理を制御することにより、前記動画データの記録中に生成される前記静止画データのデータ量を調整することを特徴とする撮像装置の制御方法。
  17. 撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、
    前記動画データを符号化してデータ量を圧縮する動画符号化工程と、
    前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、
    前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、
    前記記録工程において記録される動画データの画質を設定する設定工程と、
    前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、
    前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
    前記制御工程においては、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定工程において設定された画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて、前記静止画符号化工程において符号化される静止画データのデータ量を調整することを特徴とする撮像装置の制御方法。
  18. 撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、
    前記動画データを符号化してデータ量を圧縮する動画符号化工程と、
    前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、
    前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、
    前記記録工程において記録される静止画データの画質を設定する設定工程と、
    前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、
    前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
    前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
    前記制御工程においては、前記設定工程において設定された画質に基づいて前記静止画符号化工程における処理を制御することにより前記静止画データのデータ量を調整し、前記設定工程において設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整することを特徴とする撮像装置の制御方法。
  19. 撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、
    前記動画データを符号化してデータ量を圧縮する動画符号化工程と、
    前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、
    前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、
    前記記録工程において記録される静止画データの画質を設定する設定工程と、
    前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、
    前記信号処理工程においては、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、
    前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
    前記制御工程においては、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記設定工程において設定された画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて、前記動画符号化工程において符号化される動画データのデータ量を調整することを特徴とする撮像装置の制御方法。
  20. 撮像手段により得られた画像データを用いて動画データと静止画データとを生成する信号処理工程と、
    前記動画データを符号化してデータ量を圧縮する動画符号化工程と、
    前記静止画データを符号化してデータ量を圧縮する静止画符号化工程と、
    前記動画符号化工程において符号化された動画データと前記静止画符号化工程において符号化された静止画データとを記録媒体に記録する記録工程と、
    前記記録工程において記録される動画データの画質と、前記記録工程において記録される静止画データの画質とを、それぞれ設定する設定工程と、
    第１のモードと第２のモードとの何れかを選択する選択工程と、
    前記選択工程において選択されたモードに応じて、前記動画符号化工程と前記静止画符号化工程とにおける処理を制御する制御工程とを備え、
    前記記録工程においては、前記動画データの記録中に前記静止画データを前記記録媒体に記録し、
    前記制御工程は、前記第１のモードにおいては、前記設定工程において設定された動画データの画質に基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整し、前記設定工程において設定された動画データの画質に対応したデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化工程における処理を制御することにより前記動画データの記録中に記録される前記静止画データのデータ量を調整し、前記第２のモードにおいては、前記設定工程において設定された静止画データの画質に基づいて前記静止画符号化工程における処理を制御することにより前記静止画データのデータ量を調整し、前記設定工程において設定された静止画データの画質に基づいて前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化工程における処理を制御することにより前記動画データのデータ量を調整することを特徴とする撮像装置の制御方法。
JP2009046424A 2008-03-18 2009-02-27 撮像装置及びその制御方法 Active JP5230483B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009046424A JP5230483B2 (ja) 2008-03-18 2009-02-27 撮像装置及びその制御方法
US12/404,169 US8279298B2 (en) 2008-03-18 2009-03-13 Imaging apparatus having improved usability when moving images and still images are recorded
CN200910129411XA CN101540867B (zh) 2008-03-18 2009-03-18 摄像设备
US13/598,004 US8587683B2 (en) 2008-03-18 2012-08-29 Imaging apparatus having improved usability when moving images and still images are recorded

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008070420 2008-03-18
JP2008070420 2008-03-18
JP2009046424A JP5230483B2 (ja) 2008-03-18 2009-02-27 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2009260943A JP2009260943A (ja) 2009-11-05
JP2009260943A5 JP2009260943A5 (ja) 2012-04-12
JP5230483B2 true JP5230483B2 (ja) 2013-07-10

Family

ID=41088478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009046424A Active JP5230483B2 (ja) 2008-03-18 2009-02-27 撮像装置及びその制御方法

Country Status (3)

Country Link
US (2) US8279298B2 (ja)
JP (1) JP5230483B2 (ja)
CN (1) CN101540867B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4137085B2 (ja) * 2005-04-21 2008-08-20 キヤノン株式会社 撮像装置
US20110066979A1 (en) * 2009-09-14 2011-03-17 Olympus Corporation Nondestructive testing apparatus
JP2011223079A (ja) * 2010-04-05 2011-11-04 Canon Inc 画像処理装置
KR101711009B1 (ko) * 2010-08-26 2017-03-02 삼성전자주식회사 영상 저장장치, 영상 재생장치, 영상 저장방법, 영상 제공방법, 저장매체 및 촬영장치
JP6021594B2 (ja) * 2012-11-08 2016-11-09 オリンパス株式会社 撮像装置及びプログラム
JP2014095781A (ja) * 2012-11-08 2014-05-22 Olympus Imaging Corp ズームレンズ及びそれを備えた撮像装置
EP2999213A1 (en) 2013-08-23 2016-03-23 Canon Kabushiki Kaisha Image recording apparatus and method, and image playback apparatus and method
WO2015068485A1 (ja) * 2013-11-08 2015-05-14 富士フイルム株式会社 カメラシステム、カメラ本体及び通信方法
JP6489879B2 (ja) * 2015-03-09 2019-03-27 キヤノン株式会社 画像再生装置及び画像再生方法
DE102016109179B4 (de) * 2015-05-29 2023-08-03 Canon Kabushiki Kaisha Bildaufnahmeeinrichtung und Bildgebungsvorrichtung
CN116760988B (zh) * 2023-08-18 2023-11-10 瀚博半导体(上海)有限公司 基于人类视觉系统的视频编码方法和装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4774562A (en) * 1987-06-02 1988-09-27 Eastman Kodak Company Image transmission system with preview mode
JP3182289B2 (ja) 1994-04-06 2001-07-03 三洋電機株式会社 画像記録方法及び画像記録装置
US7058721B1 (en) * 1995-07-14 2006-06-06 Broadband Royalty Corporation Dynamic quality adjustment based on changing streaming constraints
JPH09233410A (ja) 1996-02-27 1997-09-05 Olympus Optical Co Ltd デジタルビデオカメラ
US7110025B1 (en) * 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
US6151069A (en) * 1997-11-03 2000-11-21 Intel Corporation Dual mode digital camera for video and still operation
US6545601B1 (en) * 1999-02-25 2003-04-08 David A. Monroe Ground based security surveillance system for aircraft and other commercial vehicles
JP2001211425A (ja) * 2000-01-27 2001-08-03 Hitachi Ltd 情報処理装置
JP2002290908A (ja) * 2001-03-28 2002-10-04 Minolta Co Ltd 撮影装置、動画および静止画の記録制御方法、画像編集装置
US7024045B2 (en) * 2001-08-21 2006-04-04 Sun Microsystems, Inc. Dynamic bandwidth adaptive image compression/decompression scheme
JP2005303336A (ja) * 2001-10-25 2005-10-27 Matsushita Electric Ind Co Ltd 映像信号記録装置および映像信号再生装置
US6888891B2 (en) * 2002-01-09 2005-05-03 Octa Technology, Inc. Wavelet domain half-pixel motion compensation
JP4189627B2 (ja) * 2002-04-24 2008-12-03 富士フイルム株式会社 画像サーバ並びに画像表示システム
AU2003241143A1 (en) * 2002-06-25 2004-01-06 Quix Technologies Ltd. Image processing using probabilistic local behavior assumptions
JP2005012378A (ja) 2003-06-17 2005-01-13 Fuji Photo Film Co Ltd 画像記録装置及び画像記録方法
JP2005217493A (ja) * 2004-01-27 2005-08-11 Canon Inc 撮像装置
EP1725998B1 (en) * 2004-03-11 2009-03-04 Ultrawaves design holding B. V. Transmitter and receiver for a surveillance system
JP4337758B2 (ja) * 2004-03-30 2009-09-30 カシオ計算機株式会社 撮像装置、動画撮影時の静止画表示方法、及びプログラム
CN101156434B (zh) * 2004-05-01 2010-06-02 雅各布·伊莱泽 具有非均匀图像分辨率的数码相机
SE0401574D0 (sv) * 2004-06-18 2004-06-18 Henrik Ehrnlund Trådlöst sensornätverk
US8018489B2 (en) * 2005-02-04 2011-09-13 Mccutchen David Surveillance system
US20070047642A1 (en) * 2005-08-31 2007-03-01 Erlandson Erik E Video data compression
JP2007259156A (ja) * 2006-03-23 2007-10-04 Olympus Imaging Corp カメラ、カメラの画像処理方法、プログラム、記録媒体
EP2052552A4 (en) * 2006-07-16 2011-12-28 Seambi Ltd SYSTEM AND METHOD FOR POSITIONING VIRTUAL CONTENT
US20080165843A1 (en) * 2007-01-03 2008-07-10 Human Monitoring Ltd. Architecture for image compression in a video hardware

Also Published As

Publication number Publication date
US20120321274A1 (en) 2012-12-20
CN101540867B (zh) 2012-01-25
US8587683B2 (en) 2013-11-19
US8279298B2 (en) 2012-10-02
US20090237519A1 (en) 2009-09-24
JP2009260943A (ja) 2009-11-05
CN101540867A (zh) 2009-09-23

Similar Documents

Publication Publication Date Title
JP5230483B2 (ja) 撮像装置及びその制御方法
US8428423B2 (en) Reproducing apparatus for video data
JP4560422B2 (ja) 撮像装置及びその制御方法
JP5153674B2 (ja) 動画像符号化装置及び動画像符号化方法
US9042447B2 (en) Image coding apparatus and image coding method
JP4724639B2 (ja) 撮像装置
JP4875008B2 (ja) 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置
US8306110B2 (en) Moving image coding apparatus and method using copy pictures depending on virtual buffer verifier occupancy
JP5773855B2 (ja) 画像処理装置
JP4795211B2 (ja) 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体
JP2006340001A (ja) 画像符号化装置及び画像符号化方法
JPH10271498A (ja) 圧縮データ変換方法、画像圧縮データの情報量変換方法およびその方法を適用した画像記録装置
JP2005175974A (ja) 撮像装置
JP4854580B2 (ja) 画像処理装置
JP2011049927A (ja) 画像処理装置、およびそれを搭載した撮像装置
JP4759360B2 (ja) 画像処理装置
JP2004180345A (ja) 撮影画像記録装置
US20130057719A1 (en) Image pickup apparatus
JP4423216B2 (ja) 画像処理装置
JP5355234B2 (ja) 符号化装置及び符号化方法
JP5349904B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2009081727A (ja) 画像符号化装置及びその制御方法、プログラム
JP2006174025A (ja) 動画静止画同時記録可能な撮像記録再生装置
JP3645254B2 (ja) 画像データ記録システムおよび画像データ記録方法
JP2006237845A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130319

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3