JP4172504B2 - 画像処理装置、撮像装置、および方法 - Google Patents

画像処理装置、撮像装置、および方法 Download PDF

Info

Publication number
JP4172504B2
JP4172504B2 JP2006172974A JP2006172974A JP4172504B2 JP 4172504 B2 JP4172504 B2 JP 4172504B2 JP 2006172974 A JP2006172974 A JP 2006172974A JP 2006172974 A JP2006172974 A JP 2006172974A JP 4172504 B2 JP4172504 B2 JP 4172504B2
Authority
JP
Japan
Prior art keywords
image
unit
screen rate
display
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006172974A
Other languages
English (en)
Other versions
JP2008005242A (ja
Inventor
正成 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006172974A priority Critical patent/JP4172504B2/ja
Priority to US11/764,401 priority patent/US20070296826A1/en
Priority to KR1020070060985A priority patent/KR20070121566A/ko
Priority to TW096122349A priority patent/TW200816797A/zh
Priority to CNA2007101120903A priority patent/CN101094322A/zh
Publication of JP2008005242A publication Critical patent/JP2008005242A/ja
Application granted granted Critical
Publication of JP4172504B2 publication Critical patent/JP4172504B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42692—Internal components of the client ; Characteristics thereof for reading from or writing on a volatile storage medium, e.g. Random Access Memory [RAM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0105—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level using a storage device with different write and read speed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)

Description

本発明は、画像信号を処理する画像処理装置、固体撮像素子を用いて画像を撮像する撮像装置、およびこれらの装置における処理方法に関し、特に、標準より高速な画面レートの画像信号を処理することが可能な画像処理装置、撮像装置、および方法に関する。
近年、撮像素子の性能や信号処理技術の進歩に伴い、従来のＮＴＳＣ（National Television Standards Committee）規格より解像度が高められたＨＤＴＶ（High Definition Television）規格の画像を撮像して記録可能な民生用のデジタルビデオカメラが実現されている。
また、このようなデジタルビデオカメラやデジタルスチルカメラなどの撮像装置で使用される撮像素子においては、現状のＴＶ放送規格の表示周期より短い周期で撮像画像を出力できるものも多くなってきている。そこで、このような高速撮像機能を搭載した撮像装置が考えられている。例えば、このような撮像素子を利用して標準より高速な画面レートで撮像して記録したビデオデータを、標準の画面レートで再生・表示することで、スロー再生を可能にした撮像装置が考えられている。
ところで、撮像された画像のデータを撮像装置の内部で伝送する際のデータ伝送量は、空間解像度（画像サイズ）×時間解像度（画面レート）に比例する。従って、画面レートを高速化して撮像すると撮像装置内のデータ伝送量が大きくなり、その画像データを処理するための処理回路の性能を向上させる必要が生じる。具体的には、撮像によって得られた画像データを基に画質補正や撮像動作制御などの処理を行う信号処理回路や、画像データの圧縮符号化回路、圧縮符号化された画像データを磁気テープなどに記録するための記録系回路、撮像中の画像を画角確認用のモニタに表示するための表示系回路などについて、画面レートの高速化に合わせて高性能化する必要がでてくる。このため、これらの回路の製造コストや回路規模、消費電力が増大することが問題となる。
これに対して、高速レートで撮像された画像のデータを、高速にアクセス可能な内部メモリに一旦蓄積した後、その内部メモリから標準レートで画像データを読み出して圧縮符号化し、記録媒体に記録する手法が考えられている。このような手法により、内部メモリから読み出して記録媒体に記録するまでの信号系として、標準レートに対応する従来回路をそのまま使用できるので、製造・開発コストを抑制できるようになる。また、記録した画像は、標準レートに対応する従来の再生装置で再生することによりスロー再生されるので、記録したデータの互換性を保つこともできる。
なお、撮像中の画像をモニタに表示する機能を持たない従来のビデオカメラ（例えば、アナログ画像信号を記録するビデオカメラ）としては、標準画像サイズの１／４の画像を４倍の速度で撮像し、それらの１／４サイズの画像を標準レートの画像に４枚分埋め込み、標準レートで記録するようにしたものがあった（例えば、特許文献１および２参照）。
特開平９−１０７５１６号公報（段落番号〔００１０〕〜〔００１４〕、図４） 特開平８−８８８３３号公報（段落番号〔００２３〕〜〔００３４〕、図１１）
ところで、デジタルビデオカメラなどの民生用の撮像装置においてはメーカ間の競争が激化しており、より一層の高画質化や小型化、高機能化が求められている。このような観点から、通常の撮像レートよりも高速なレートで撮像を行う高速撮像機能は、撮像装置を高機能化してその商品価値を高める上で重要な付加機能となり得る。
しかし、上述したように、高速撮像機能を実現するためには装置内部の処理性能を向上させる必要があり、それによる製造コストの上昇や装置の大型化が、民生用の撮像装置に搭載する上で問題となる。すなわち、高速撮像機能や、高速レートで撮像された画像をスロー再生させる機能を、既存の回路構成をできるだけ変えずに実現できることが望まれている。さらに、記録したデータについては、他の再生機器での再生互換性ができるだけ保たれていることも望まれている。
また、上述したような、高速レートで撮像された画像のデータを内部メモリに一旦蓄積した後、標準レートで読み出して記録する手法では、記録した画像を既存の再生装置で再生した場合にはスロー再生のみ可能となり、通常レートで撮像した場合に対応する１倍速再生を基本的には実行できない。このため、音声と画像との同時記録や、その音声を１倍速再生により正常に出力することができなかった。さらに、この手法では、高速レートで撮像できる時間が内部メモリの容量に依存するという問題もあった。
本発明はこのような点に鑑みてなされたものであり、標準より高速な画面レートで入力された画像信号を処理可能な安価な画像処理装置およびその画像処理方法を提供することを目的とする。
また、本発明の他の目的は、標準より高速な画面レートで撮像された画像信号を処理可能な安価な撮像装置およびその撮像方法を提供することである。
本発明では上記課題を解決するために、画像信号を処理する画像処理装置において、高速画面レートで入力された画像を、そのｎ枚（ｎは２以上の整数）の連続した入力画像が１画面上に配列された画像に変換して、変換した画像を前記高速画面レートの１／ｎである低速画面レートで出力する画像変換部と、前記画像変換部からの画像に対して所定の画質補正処理を施す信号処理部と、前記信号処理部により処理された画像から、ｎ枚のうち１つの前記入力画像を切り出して前記低速画面レートで出力する表示画像切り出し部と、前記表示画像切り出し部から出力された画像を表示装置に表示させるための画像信号を生成する表示処理部と、前記信号処理部により処理された画像のデータを前記低速画面レートの画像データとして圧縮符号化する画像符号化部と、前記画像符号化部からの符号化画像データを記録媒体に記録するように制御する記録制御部と、を有することを特徴とする画像処理装置が提供される。
このような画像処理装置では、高速画面レートで画像が入力されると、画像変換部により、連続したｎ枚の入力画像が１画面上に配列された画像に変換され、その画像が高速画面レートの１／ｎである低速画面レートで出力される。変換された画像は、信号処理部によって所定の画質補正処理が施され、処理後の画像からは、表示画像切り出し部において、ｎ枚のうちの１つの入力画像が切り出され、その画像が低速画面レートで表示処理部に出力される。表示処理部では、切り出された入力画像を低速画面レートで表示装置に表示させるための画像信号が生成される。さらに、信号処理部によって処理された画像のデータは、画像符号化部によって低速画面レートの画像データとして圧縮符号化され、記録制御部の制御により記録媒体に記録される。
また、本発明では、画像信号を処理する画像処理装置において、高速画面レートで入力された画像を、そのｎ枚（ｎは２以上の整数）の連続した入力画像が１画面上に配列された画像に変換して、変換した画像を前記高速画面レートの１／ｎである低速画面レートで出力する画像変換部と、前記画像変換部からの画像に対して所定の画質補正処理を施す信号処理部と、前記信号処理部により処理された画像から、ｎ枚のうち１つの前記入力画像を切り出して前記低速画面レートで出力する表示画像切り出し部と、前記表示画像切り出し部から出力された画像を表示装置に表示させるための画像信号を生成する表示処理部と、前記信号処理部により処理された画像からｎ枚の前記入力画像を順次切り出して、前記高速画面レートで出力する記録画像切り出し部と、前記記録画像切り出し部から出力された前記入力画像のデータを前記高速画面レートの画像データとして圧縮符号化する画像符号化部と、前記画像符号化部からの符号化画像データを記録媒体に記録するように制御する記録制御部と、を有することを特徴とする画像処理装置が提供される。
このような画像処理装置では、高速画面レートで画像が入力されると、画像変換部により、連続したｎ枚の入力画像が１画面上に配列された画像に変換され、その画像が高速画面レートの１／ｎである低速画面レートで出力される。変換された画像は、信号処理部によって所定の画質補正処理が施され、処理後の画像からは、表示画像切り出し部において、ｎ枚のうちの１つの入力画像が切り出され、その画像が低速画面レートで表示処理部に出力される。表示処理部では、切り出された入力画像を低速画面レートで表示装置に表示させるための画像信号が生成される。さらに、信号処理部によって処理された画像からは、記録画像切り出し部においてｎ枚の入力画像が順次切り出される。切り出された入力画像のデータは、画像符号化部により高速画面レートの画像データとして圧縮符号化され、記録制御部の制御により記録媒体に記録される。
また、本発明では、固体撮像素子を用いて画像を撮像する撮像装置において、前記固体撮像素子により高速画面レートで撮像された画像を、そのｎ枚（ｎは２以上の整数）の連続した撮像画像が１画面上に配列された画像に変換して、変換した画像を前記高速画面レートの１／ｎである低速画面レートで出力する画像変換部と、前記画像変換部からの画像に対して所定の画質補正処理を施す信号処理部と、前記信号処理部により処理された画像から、ｎ枚のうち１つの前記撮像画像を切り出して前記低速画面レートで出力する表示画像切り出し部と、前記表示画像切り出し部から出力された画像を表示装置に表示させるための画像信号を生成する表示処理部と、前記信号処理部により処理された画像のデータを前記低速画面レートの画像データとして圧縮符号化する画像符号化部と、前記画像符号化部からの符号化画像データを記録媒体に記録する記録部と、を有することを特徴とする撮像装置が提供される。
このような撮像装置では、固体撮像素子により高速画面レートで撮像が行われると、画像変換部により、ｎ枚の連続した撮像画像が１画面上に配列された画像に変換され、その画像が高速画面レートの１／ｎである低速画面レートで出力される。変換された画像は、信号処理部において所定の画質補正処理が施された後、表示画像切り出し部に供給され、その画像からｎ枚のうちの１つの撮像画像が切り出されて、低速画面レートで表示処理部に出力される。表示処理部では、切り出された撮像画像を低速画面レートで表示装置に表示させるための画像信号が生成され、これにより撮像中の画像を表示装置で視認できるようになる。さらに、信号処理部によって処理された画像のデータは、画像符号化部によって低速画面レートの画像データとして圧縮符号化され、記録媒体に記録される。
また、本発明では、固体撮像素子を用いて画像を撮像する撮像装置において、前記固体撮像素子により高速画面レートで撮像された画像を、そのｎ枚（ｎは２以上の整数）の連続した撮像画像が１画面上に配列された画像に変換して、変換した画像を前記高速画面レートの１／ｎである低速画面レートで出力する画像変換部と、前記画像変換部からの画像に対して所定の画質補正処理を施す信号処理部と、前記信号処理部により処理された画像から、ｎ枚のうち１つの前記撮像画像を切り出して前記低速画面レートで出力する表示画像切り出し部と、前記表示画像切り出し部から出力された画像を表示装置に表示させるための画像信号を生成する表示処理部と、前記信号処理部により処理された画像からｎ枚の前記撮像画像を順次切り出して、前記高速画面レートで出力する記録画像切り出し部と、前記記録画像切り出し部から出力された前記撮像画像のデータを前記高速画面レートの画像データとして圧縮符号化する画像符号化部と、前記画像符号化部からの符号化画像データを記録媒体に記録する記録部と、を有することを特徴とする撮像装置が提供される。
このような撮像装置では、固体撮像素子により高速画面レートで撮像が行われると、画像変換部により、ｎ枚の連続した撮像画像が１画面上に配列された画像に変換され、その画像が高速画面レートの１／ｎである低速画面レートで出力される。変換された画像は、信号処理部において所定の画質補正処理が施された後、表示画像切り出し部に供給され、その画像からｎ枚のうちの１つの撮像画像が切り出されて、低速画面レートで表示処理部に出力される。表示処理部では、切り出された撮像画像を低速画面レートで表示装置に表示させるための画像信号が生成され、これにより撮像中の画像を表示装置で視認できるようになる。さらに、信号処理部によって処理された画像からは、記録画像切り出し部においてｎ枚の撮像画像が順次切り出される。切り出された撮像画像のデータは、画像符号化部により高速画面レートの画像データとして圧縮符号化され、記録媒体に記録される。
本発明の画像処理装置によれば、入力画像をｎ枚分配列できるだけの解像度を持つ画像を低速画面レートで伝送可能な既存の信号処理部を用いて、そのｎ倍の高速画面レートの入力画像を処理できる。これとともに、表示処理部では高速画面レートでの入力画像が間欠的に供給されて低速画面レートで処理されるので、この表示処理部を高速画面レートでの処理に対応させる必要がなくなる。従って、高速画面レートの画像信号を処理可能であり、なおかつ製造コストが抑制された画像処理装置を実現できる。
また、本発明の撮像装置によれば、撮像画像をｎ枚分配列できるだけの解像度を持つ画像を低速画面レートで伝送可能な既存の信号処理部を用いて、そのｎ倍の高速画面レートの撮像画像を処理できる。これとともに、表示処理部では高速画面レートでの撮像画像が間欠的に供給されて低速画面レートで処理されるので、この表示処理部を高速画面レートでの処理に対応させることなく、撮像中の画像を表示装置で視認できるようになる。従って、高速画面レートで撮像された画像信号を処理可能であり、なおかつ製造コストが抑制された画像処理装置を実現できる。
以下、本発明の実施の形態を図面を参照して詳細に説明する。
〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。
図１に示す撮像装置は、動画像を撮像し、その撮像画像をデジタルデータとして記録媒体に記録する、いわゆるデジタルビデオカメラである。
この撮像装置は、光学ブロック１１、撮像素子１２、アナログフロントエンド（ＡＦＥ）回路１３、カメラ信号処理回路１４、ビデオＣＯＤＥＣ（Coder／Decoder）１５、表示処理回路１６、ＬＣＤ（Liquid Crystal Display）１７、ビデオ出力端子１８、マイクロフォン１９、Ａ／Ｄコンバータ２０、オーディオＣＯＤＥＣ２１、Ｄ／Ａ（デジタル／アナログ）コンバータ・アンプ２２、スピーカ２３、オーディオ出力端子２４、ＭＵＸ／ＤＥＭＵＸ（Multiplexer／Demultiplexer）２５、記録装置２６、マイクロコンピュータ３１、入力部３２、およびＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３３を具備する。
光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを備えている。
撮像素子１２は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの固体撮像素子であり、光学ブロック１１により集光された光を電気信号に変換する。なお、後述するように、撮像素子１２は、標準画面レート（６０フィールド／秒）の他に、それより高速な画面レート（ここでは標準の４倍とする）で、撮像画像信号を出力できるようになっている。
ＡＦＥ回路１３は、マイクロコンピュータ３１による制御の下で、撮像素子１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御して、デジタル変換した画像データを出力する。また、後述するように、ＡＦＥ回路１３は、撮像素子１２により高速画面レートで撮像された画像のデータを解像度変換し、標準画面レートのＨＤ画像のデータに変換する機能を備えている。
カメラ信号処理回路１４は、マイクロコンピュータ３１による制御の下で、ＡＦＥ回路１３からの画像データに基づく各種検波処理や、その画像データに対する各種信号補正処理を実行する。例えば、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）などの撮像動作調整用の検波処理や、このカメラ信号処理回路１４における信号補正処理用の検波処理などを行い、その検波値をマイクロコンピュータ３１に通知する。また、その通知結果に基づくマイクロコンピュータ３１からの制御信号を受けて、ＡＦＥ回路１３からの画像データに対して、ホワイトバランス調整などの信号補正処理を施す。なお、後述するように、カメラ信号処理回路１４の最終段には、入力画像データから画像領域の一部を切り出す機能を備えている。
ビデオＣＯＤＥＣ１５は、マイクロコンピュータ３１による制御の下で、カメラ信号処理回路１４から出力された画像データを圧縮符号化し、ビデオＥＳ（Elementary Stream）としてＭＵＸ／ＤＥＭＵＸ２５に供給する。また、ＭＵＸ／ＤＥＭＵＸ２５により分離されたビデオＥＳを伸張復号化する。本実施の形態では、ビデオＣＯＤＥＣ１５は、ＭＰＥＧ（Moving Picture Experts Group）方式に従って圧縮符号化・伸張復号化処理を行うものとする。
表示処理回路１６は、カメラ信号処理回路１４からの画像データ、あるいはビデオＣＯＤＥＣ１５で伸張復号化された画像データを、画面表示のための信号に変換する。ＬＣＤは、表示処理回路１６から画像信号の供給を受け、撮影中の画像や記録装置２６に記録されたデータの再生画像を表示する。ビデオ出力端子１８は、表示処理回路１６からの画像信号を外部機器に出力する。なお、このビデオ出力端子１８からは、高解像度（すなわちＨＤ画質）の画像と低解像度（すなわちＳＤ画質）の画像とを出力できるようになっている。
マイクロフォン１９は、音声信号を収音する。Ａ／Ｄコンバータ２０は、マイクロフォン１９により収音された音声信号を、所定のサンプリングレートでデジタルデータに変換する。オーディオＣＯＤＥＣ２１は、マイクロコンピュータ３１による制御の下で、デジタル化された音声データを例えばＭＰＥＧ方式などの所定の圧縮符号化方式に従って符号化し、オーディオＥＳとしてＭＵＸ／ＤＥＭＵＸ２５に供給する。また、ＭＵＸ／ＤＥＭＵＸ２５により分離されたオーディオＥＳを伸張復号化する。
Ｄ／Ａコンバータ・アンプ２２は、オーディオＣＯＤＥＣ２１により伸張復号化された音声データをアナログ信号に変換する。また、変換した音声信号を増幅し、スピーカ２３に出力して音声を再生出力させる。オーディオ出力端子２４は、Ｄ／Ａコンバータ・アンプ２２からのアナログオーディオ信号を外部機器に出力する。
ＭＵＸ／ＤＥＭＵＸ２５は、マイクロコンピュータ３１による制御の下で、ビデオＣＯＤＥＣ１５およびオーディオＣＯＤＥＣ２１からのビデオＥＳおよびオーディオＥＳをパケット化し、それらのパケットを多重化してＰＳ（Program Stream）を生成して、記録装置２６に出力する。また、記録装置２６から読み出されたＰＳからビデオＥＳおよびオーディオＥＳを分離し、それぞれビデオＣＯＤＥＣ１５およびオーディオＣＯＤＥＣ２１に出力する。
記録装置２６は、ＭＵＸ／ＤＥＭＵＸ２５で生成されたビデオ／オーディオのストリームデータ（ＰＳ）を記録する装置であり、例えば、磁気テープ、光ディスクなどの可搬型記録媒体のドライブ装置、あるいはＨＤＤ（Hard Disk Drive）などとして実現される。また、記録装置２６に記録されたＰＳを読み出して、ＭＵＸ／ＤＥＭＵＸ２５に供給することもできる。
マイクロコンピュータ３１は、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭなどのメモリを備え、メモリに格納されたプログラムを実行することで、この撮像装置を統括的に制御する。入力部３２は、図示しない入力装置に対するユーザによる操作入力に応じた制御信号を、マイクロコンピュータ３１に出力する。ＳＤＲＡＭ３３は、主に、この撮像装置における情報処理中に必要なデータ（画像データなど）を一時的に記憶する。
このような撮像装置において、画像・音声データの記録が行われる場合は、カメラ信号処理回路１４で処理された撮像画像のデータが、表示処理回路１６に出力され、撮像中の画像がＬＣＤ１７に表示されるとともに、その撮像画像のデータがビデオＣＯＤＥＣ１５にも供給され、圧縮符号化処理（エンコード処理）が実行されて、ビデオＥＳが生成される。また、オーディオＣＯＤＥＣ２１は、収音された音声のデータをエンコードし、オーディオＥＳを生成する。ＭＵＸ／ＤＥＭＵＸ２５は、生成されたビデオＥＳおよびオーディオＥＳを多重化してＰＳを生成し、そのＰＳがデータファイルとして記録装置２６に記録される。
一方、記録装置２６に記録されたＰＳを再生する場合には、記録装置２６から読み出されたＰＳがＭＵＸ／ＤＥＭＵＸ２５により分離され、分離されたビデオＥＳがビデオＣＯＤＥＣ１５により伸張復号化（デコード）される。デコードされた画像データは表示処理回路１６に供給され、これにより再生画像がＬＣＤ１７に表示される。また、再生画像の信号をビデオ出力端子１８から出力することもできる。また、ＭＵＸ／ＤＥＭＵＸ２５で分離されたオーディオＥＳは、オーディオＣＯＤＥＣ２１によりデコードされ、デコードされた音声データはＤ／Ａコンバータ・アンプ２２に供給される。これにより、スピーカ２３から音声が出力される。また、その音声の信号をオーディオ出力端子２４から出力することもできる。
図２は、この撮像装置において処理可能な画像のサイズについて説明するための図である。
本実施の形態に係る撮像装置は、基本的に、ＨＤ画質の画像（ＨＤ画像）とＳＤ画質の画像（ＳＤ画像）の双方を取り扱うことが可能となっている。すなわち、ＨＤ画像およびＳＤ画像のいずれのデータを、カメラ信号処理回路１４やビデオＣＯＤＥＣ１５などを含む信号伝送系に伝送可能であり、それらのデータに基づく画像をＬＣＤ１７に表示することも、それらのデータを記録装置２６に記録することも可能である。また、いずれの画質の画像信号をビデオ出力端子１８から出力することも可能である。
本実施の形態では、記録・出力可能なＨＤ画像の例として、ＨＤ画質の標準画像フォーマットの１つである１９２０画素×１０８０画素のインタレース画像を適用し、ＳＤ画像の例として、ＮＴＳＣ（National Television Standards Committee）規格の標準画像フォーマットである７２０画素×４８０画素のインタレース画像を適用する。
ところで、この撮像装置の主要な内部回路は、１０８０ｉのＨＤ画像のデータを処理する能力を備えている。例えば、カメラ信号処理回路１４やビデオＣＯＤＥＣ１５は、入力されたＨＤ画像のデータを６０フィールド／秒の速度で処理できる。一方、前述したように、この撮像装置の撮像素子１２は、標準画面レート（６０フィールド／秒）より高速な画面レートで画像を撮像して出力することが可能になっている。
ここで、撮像装置の内部回路においては、画面レート（すなわち時間解像度）を標準のｎ倍（ただし、ｎは１以上の整数）としたとき、空間解像度を標準画像の１／ｎに変換すれば、その変換後のｎ枚分の画像データを標準画像内に組み込んで伝送させ、処理することが可能である。本実施の形態においては、図２に示すように、１枚のＨＤ画像は、４枚分のＳＤ画像を、各ＳＤ画像における画素の空間的配列を特に変えることなく配置できるだけの空間解像度を備えている。そこで、本実施の形態ではこのことを利用して、撮像素子１２において標準の４倍の画面レートで撮像した画像を、ＳＤ画像に変換し、４枚分のＳＤ画像を１枚のＨＤ画像に組み込んで、そのＨＤ画像を内部回路に伝送させるようにする。これにより、主要な内部回路の構成をできるだけ変えずに４倍の高速撮像を実現する。
なお、上記のように、本実施の形態で用いられるＨＤ画像およびＳＤ画像のフォーマットでは、ともに画像データがフィールド単位で伝送されるが、以下ではわかりやすいように、伝送される画像データをフレーム単位で説明することにする。例えば、標準画面レートを３０ｆｐｓ（フレーム／秒）として表す。
図３は、第１の実施の形態における画像記録時の信号の流れを説明するための図である。
まず、高速撮像モードで撮像される際には、撮像素子１２からは標準時の４倍の画面レート（１２０ｆｐｓ）で、所定の解像度を持つ画像信号が出力される。撮像素子１２からの画像信号は、その速度を保ったままＡＦＥ回路１３においてデジタル変換され、変換後の画像データはＳＤＲＡＭ３３内のメモリ領域３３ａに一旦格納される（ステップＳ１）。図３では、連続して撮像された４枚分の画像をＰ１〜Ｐ４と表している。
次に、メモリ領域３３ａに格納された画像データは、４倍速を保ったまま、ＡＦＥ回路１３の最終段に設けられた解像度変換部１３ａに読み出される（ステップＳ２）。解像度変換部１３ａは、入力画像データの解像度を変換する機能を持つブロックであり、メモリ領域３３ａから読み出した画像データを順次ＳＤ画質の画像データに変換して、再びメモリ領域３３ａに格納する（ステップＳ３）。図３では、連続して撮像された画像Ｐ１〜Ｐ４が、解像度変換部１３ａによりそれぞれＳＤ画像Ｐｓ１〜Ｐｓ４に変換された様子が示されている。
なお、高速撮像モードにおいて撮像素子１２で撮像される画像の解像度は、特に制限されるものではないが、後段での画質劣化の防止を考慮するとＳＤ画像の解像度以上であることが望ましい。
また、解像度変換部１３ａは、通常撮像モードにおいて例えばＨＤ画像を記録する際には、撮像後にメモリ領域３３ａに格納された画像をＨＤ画像の解像度に変換してメモリ領域３３ａに格納するように動作する。この場合、変換後のＨＤ画像はメモリ領域３３ａからカメラ信号処理回路１４によって処理された後、ビデオＣＯＤＥＣ１５により３０ｆｐｓのＨＤ画像としてエンコードされ、記録装置２６に記録される。
次に、ステップＳ３の処理によりＳＤ画質に変換された画像データは、標準時と同じ速度でメモリ領域３３ａからＡＦＥ回路１３に順次読み出される。このとき、例えばマイクロコンピュータ３１からの読み出しアドレス制御の下で、メモリ領域３３ａに格納された連続した４枚のＳＤ画像が内部に組み込まれた１枚のＨＤ画像として読み出される。図３では、メモリ領域３３ａに格納された連続したＳＤ画像Ｐｓ１〜Ｐｓ４が、１枚のＨＤ画像Ｐｈ１に組み込まれた状態で読み出された様子が示されている。
このように４枚のＳＤ画像が組み込まれたＨＤ画像は、通常のＨＤ画像の撮像・記録時と全く同じ制御手順で、ＡＦＥ回路１３からカメラ信号処理回路１４に送信され、所定の画質補正処理などが施された後、ＳＤＲＡＭ３３内のメモリ領域３３ｂに一旦格納される（ステップＳ４）。
次に、メモリ領域３３ｂに格納されたＨＤ画像は、カメラ信号処理回路１４の最終段に設けられた画像切り出し部１４ａに、標準時と同じ３０ｆｐｓの速度で読み出される。画像切り出し部１４ａは、入力画像から所定領域の画像を切り出し、その画像データを出力する機能を備えている。画像切り出し部１４ａは、ＬＣＤ１７への表示用の代表画像として、メモリ領域３３ｂからのＨＤ画像から、撮像順の４枚のＳＤ画像のうちの所定の画像の領域（ここでは先頭の画像領域とする）のみ切り出し、その画像データを表示処理回路１６に出力する（ステップＳ５）。図３では、ＨＤ画像Ｐｈ１から先頭のＳＤ画像Ｐｓ１が代表画像として切り出された様子が示されている。なお、実際には、画像切り出し部１４ａは、切り出した先頭のＳＤ画像のデータをＬＣＤ１７に合わせた解像度に変換して、表示処理回路１６に出力する。
これにより、表示処理回路１６から画像信号を受けたＬＣＤ１７は、連続して撮像された４枚の画像のうち先頭の画像のみを順次表示する。このとき、表示処理回路１６およびＬＣＤ１７では、撮像時の１／４の速度、すなわち標準と同じ３０ｆｐｓで画像信号が転送されるので、通常撮像モードと全く同じ動作が実行される。
一方、撮像した画像の記録装置２６への記録が要求されている場合には、メモリ領域３３ｂから３０ｆｐｓの速度で読み出されたＨＤ画像は、画像切り出し部１４ａをそのまま通過してビデオＣＯＤＥＣ１５に供給され、標準時と同じ３０ｆｐｓのＨＤ画像としてエンコードされる（ステップＳ６）。エンコードされたＨＤ画像のデータは音声データと多重化されて、ストリームデータ（ＰＳ）として記録装置２６に記録されるが、このようにして記録装置２６に記録された画像データは、後述するように、図中のＨＤ画像Ｐｈ１のように４枚のＳＤ画像が配置されたＨＤ画像として、同じＨＤ画像フォーマットに対応するあらゆる再生機器で再生し、表示できるようになる。
次に、このように記録されたＨＤ画像データを再生する際の動作について説明する。以下のように、この撮像装置は、撮像時と同じ時間経過に沿って画像を再生する通常再生モードと、その１／４の速度で再生するスロー再生モードとを備えている。まず、図４を用いて、スロー再生モードでの動作について説明する。
図４は、第１の実施の形態におけるスロー再生モードでの信号の流れを示す図である。
スロー再生モードにおいては、上述したＨＤ画像データは、記録装置２６から標準時の１／４の速度で読み出される。ビデオＣＯＤＥＣ１５は、そのように低速で読み出された画像データをデコードし、デコードしたデータを１／４の速度でメモリ領域３３ｂに一旦格納する（ステップＳ１１）。なお、実際の読み出し速度、およびビデオＣＯＤＥＣ１５での処理速度は、通常時と同じ速度としてもよく、この場合は通常４フレーム分処理する間に１フレーム分だけを間欠的に処理すればよい。
次に、メモリ領域３３ｂに格納されたＨＤ画像は、カメラ信号処理回路１４の画像切り出し部１４ａに読み出され、そのＨＤ画像に組み込まれたＳＤ画像のデータ領域が撮像順に順次切り出され、表示処理回路１６に対して標準と同じ３０ｆｐｓで供給される（ステップＳ１２）。
この処理では、例えば、メモリ領域３３ｂからＨＤ画像のデータを画像切り出し部１４ａに３０ｆｐｓで読み出すようにする。この場合、ＨＤ画像のデータはメモリ領域３３ｂに対して標準時の１／４の速度で格納されるので、画像切り出し部１４ａは同じＨＤ画像のデータを４回連続して読み出す。そして、画像切り出し部１４ａは、読み込んだそれぞれのＨＤ画像から、左上のＳＤ画像領域（図中のＳＤ画像Ｐｓ１に対応）、右上のＳＤ画像領域（ＳＤ画像Ｐｓ２に対応）、左下のＳＤ画像領域（ＳＤ画像Ｐｓ３に対応）、右下のＳＤ画像領域（ＳＤ画像Ｐｓ４に対応）を順に切り出し、表示処理回路１６に出力する。
このような処理により、表示処理回路１６から画像信号を受けたＬＣＤ１７には、ＳＤ画質の画像が３０ｆｐｓで順次表示される。このとき、表示画面の切り替え周期は撮像時の４倍となるので、１／４のスロー再生が実現されることになる。なお、画像切り出し部１４ａから表示処理回路１６に供給された３０ｆｐｓのＳＤ画像のデータを、ビデオ出力端子１８から例えばアナログ画像信号として外部機器に出力することもでき、この場合には外部機器においてＳＤ画質のスロー再生画像を視聴できるようになる。また、この３０ｆｐｓのＳＤ画像を例えば表示処理回路１６でアップコンバートし、ＨＤ画像の信号としてビデオ出力端子１８から出力してもよい。
図５は、第１の実施の形態における通常再生モードでの信号の流れを示す図である。
通常再生モードにおいては、上記のように４枚のＳＤ画像が組み込まれたＨＤ画像のデータは、記録装置２６から標準の速度で読み出され、ビデオＣＯＤＥＣ１５でデコードされる。デコード後のＨＤ画像のデータは、３０ｆｐｓの速度のままでメモリ領域３３ｂに一旦格納される（ステップＳ２１）。
次に、メモリ領域３３ｂに格納されたＨＤ画像は、３０ｆｐｓの速度のままでカメラ信号処理回路１４の画像切り出し部１４ａに読み出される。そして、画像切り出し部１４ａにより、ＨＤ画像のデータから、表示用の代表画像として例えば先頭のＳＤ画像（図中のＳＤ画像Ｐｓ１に対応）のデータ領域が切り出され、３０ｆｐｓの速度で表示処理回路１６に供給される（ステップＳ２２）。この結果、ＬＣＤ１７では、撮像された画像の４枚のうちの１枚のみが代表画像として間欠的に表示されるが、この代表画像の表示周期は撮像時の時間経過に沿ったものとなるので、ユーザはこのＳＤ画像を通常の速度の再生画像として視聴できる。
なお、スロー再生モードの場合と同様に、通常再生モードにおいても、表示処理回路１６に供給された３０ｆｐｓのＳＤ画像のデータを、例えばアナログ画像信号としてビデオ出力端子１８から出力してもよい。また、このＳＤ画像をＨＤ画像にアップコンバートし、ビデオ出力端子１８から出力してもよい。
以上の処理において、まず、図３で説明した高速撮像モードでの記録処理では、標準の４倍の画面レートで画像を撮像しているにもかかわらず、そのように撮像された画像のデータが、カメラ信号処理回路１４以降では標準の画面レートのＨＤ画像として処理される。従って、カメラ信号処理回路１４以降の信号伝送系（カメラ信号処理回路１４、表示処理回路１６およびビデオＣＯＤＥＣ１５を含む）としては、画像切り出し部１４ａの機能を除くと、ＨＤ画像の処理に対応している既存の回路を、特に処理能力を高めることなくそのまま利用することが可能となる。
なお、このような記録処理手順により、高速撮像モードで撮像した画像の連続記録時間は、例えば信号伝送の間に一時的に保持されるメモリの容量などに依存せず、最終的に記録される記録装置の容量のみに依存するようになる。
また、図５で説明した通常再生モードでの処理でも、ビデオＣＯＤＥＣ１５はＨＤ画像を通常通りデコードし、表示処理回路１６はＳＤ画像を通常通り処理しているので、これらの回路を含む信号伝送系についても既存のものをそのまま利用できる。さらに、図４で説明したスロー再生モードでの処理では、表示処理回路１６は同様にＳＤ画像を通常通り処理している。ビデオＣＯＤＥＣ１５は、標準の１／４の速度で画像データを受けるが、通常時の４フレームに対して１フレームの画像データのみを間欠的にデコードする手順とすれば、制御手順を変更することで既存の回路をほぼそのまま利用できる。
また、画像切り出し部１４ａが備える画像の切り出し機能は、例えばカメラ信号処理回路１４における検波処理などで従来から一般的に利用されている機能である。このため、画像切り出し部１４ａを設けたことで、製造コストが大幅に上昇したり、回路規模が大幅に増加するということは考えられない。従って、上記の一連の処理により、既存の回路構成を大幅に変更することなく、標準より高速な画面レートで撮像した画像のデータを記録できるようになり、またその画像データの通常再生およびスロー再生を実現できる。すなわち、このような機能を、製造コストや装置サイズの増大を招くことなく、容易に実現できる。
なお、従来の撮像装置には、被写体の意図した位置にフォーカスが合っているか否かを確認するために、撮像画像の一部を切り出してＬＣＤに拡大表示する機能を持つものがある。このような機種では、拡大表示用の画像切り出し機能を本実施の形態の画像切り出し部１４ａとしてそのまま流用できる。
また、上記の高速撮像モードで記録されたＨＤ画像のデータは、標準のＨＤ画像フォーマットに準拠した汎用データとなる。すなわち、このＨＤ画像のデータは、４枚のほぼ同じＳＤ画像（正確には、撮像タイミングが１／１２０秒ずつずれた４枚の画像）が整列されたものとなるものの、同じＨＤ画像フォーマットに対応する他の再生機器でも再生できることが保証される。
さらに、記録される画像データがこのような汎用データとなるため、高速撮像モードで撮像・記録したものであっても、この汎用データに対応する音声データを画像データとともに多重化して記録しておくことができ、その記録データを基に音声付き画像を再生できるようになる。そこで、次に、上記のような高速撮像モードでの画像記録とともに実行される音声記録と、その記録データの再生の各動作について説明する。
図６は、第１の実施の形態における画像および音声の記録・再生時の動作を概略的に示すタイムチャートである。なお、この図６では、例として、通常撮像モードと高速撮像モードとが画像記録中に連続的に切り替えられた場合を示しているが、実際には、画像記録中に各モードを切り替えられない仕様であってもよい（後の図１０も同様）。
図６において、時刻ｔ０から２／３０秒後までの期間では通常撮像モードとされ、撮像素子１２では３０ｆｐｓで撮像が行われて、その撮像により得られたＨＤ画像がエンコードされ、ビデオＥＳが生成される。これと同時に、所定のサンプリングレートで音声データも取り込まれ、オーディオＣＯＤＥＣ２１からはオーディオＥＳが生成される。ＭＵＸ／ＤＥＭＵＸ２５では、オーディオＥＳはビデオＥＳの１フレーム分に対応するオーディオフレーム単位でビデオＥＳと多重化され、生成されたＰＳが記録装置２６に記録される。
また、図６において、時刻ｔ０＋（２／３０）からは高速撮像モードとされ、撮像素子１２では標準の４倍の１２０ｆｐｓで撮像が行われる。しかし、上述したように、高速画面レートの撮像画像はＳＤ画像に変換された後、その４枚分のＳＤ画像がＨＤ画像に組み込まれ、３０ｆｐｓのＨＤ画像として内部回路を伝送される。従って、音声データは通常撮像モードと同じ処理でエンコードされ、ＭＵＸ／ＤＥＭＵＸ２５でも、４枚のＳＤ画像が組み込まれたＨＤ画像のビデオＥＳに対して、通常撮像モードと同じ処理で、オーディオＥＳがオーディオフレーム単位で多重化される。これにより、通常撮像モードと同じ汎用フォーマットのストリームデータ（ＰＳ）が、記録装置２６に記録されることになる。
また、図６の下方では、上記のように記録されたＰＳを再生したときの動作を概略的に示している。通常撮像モードで記録されたＰＳを再生したときは、ＭＵＸ／ＤＥＭＵＸ２５で分離されたビデオＥＳからＨＤ画像がデコードされ、表示される。これとともに、１フレーム分のビデオＥＳに対応するオーディオフレームがＭＵＸ／ＤＥＭＵＸ２５で分離され、オーディオＣＯＤＥＣ２１でデコードされることにより、撮像時の時間経過に沿って、ＨＤ画像と音声とが同期再生される。
一方、高速撮像モードで記録されたＰＳを再生した場合、画像データについては、ＭＵＸ／ＤＥＭＵＸ２５においてビデオＥＳを分離し、ビデオＣＯＤＥＣ１５でデコードするまでの動作は、通常撮像モードと全く変わらない。また、上述したように、デコードされたＨＤ画像からは１つのＳＤ画像の領域のみが画像切り出し部１４ａで切り出され、そのＳＤ画像が表示される。ただし、その表示画像の速度は３０ｆｐｓに保たれるので、音声データについては、通常撮像モードと同様に処理することで、表示されるＳＤ画像に同期して再生出力することができる。
なお、高速撮像モードで記録されたＰＳをスロー再生モードで再生した場合には、表示される画像の切り替え速度が撮像時の時間経過と異なるものとなるため、音声を再生することは通常、不可能となる。
また、上述したように、高速撮像モードで記録した画像データは、同じＨＤ画像フォーマットに対応する他の再生機器でも再生できるので、音声データを同時記録したストリームデータであっても、ＨＤ画像の再生に同期して音声を再生することができる。すなわち、この場合には、４枚のＳＤ画像が整列された３０ｆｐｓのＨＤ画像に同期して、撮像時と同じ時間経過に沿って音声が再生される。
以上のように、本実施の形態の撮像装置によれば、高速撮像モードで記録した画像データを用いてスロー再生を実行できるとともに、その画像データを通常再生モードで再生した場合には、音声付きで再生できるようになる。また、その画像データを他の汎用再生機器で再生した場合にも、音声付きで再生できることが保証される。
〔第２の実施の形態〕
上述した第１の実施の形態では、高速撮像モードにおいては、画像データを３０ｆｐｓのＨＤ画像として記録することで、記録した画像データの再生互換性を確実にしていた。これに対して、第２の実施の形態では、高速撮像モードで記録した画像データを、撮像時の画面レートと同じ１２０ｆｐｓの画像として記録する。
図７は、第２の実施の形態における画像記録時の信号の流れを説明するための図である。
この図７において、撮像素子１２が１２０ｆｐｓで画像を撮像し、その画像がＳＤ画像に変換され、４枚のＳＤ画像が１枚のＨＤ画像に組み込まれて、カメラ信号処理回路１４での画質補正が行われるまでの処理（ステップＳ３１〜Ｓ３４）は、図３に示した第１の実施の形態における処理（ステップＳ１〜Ｓ４）と同じである。
次に、画像切り出し部１４ａは、４枚のＳＤ画像が組み込まれたＨＤ画像をメモリ領域３３ｂから読み込むと、このＨＤ画像から各ＳＤ画像の領域を切り出す。そして、切り出したうちの１枚のＳＤ画像（例えば、図中のＳＤ画像Ｐｓ１のような先頭のＳＤ画像）を、代表画像として表示処理回路１６に供給する（ステップＳ３５）。これにより、ＬＣＤ１７には、第１の実施の形態と同様、代表画像が３０ｆｐｓで表示される。
また、撮像した画像の記録装置２６への記録が要求されている場合、画像切り出し部１４ａは、メモリ領域３３ｂから読み込んだＨＤ画像から切り出した４枚のＳＤ画像（図中のＳＤ画像Ｐｓ１〜Ｐｓ４に対応）を、順にビデオＣＯＤＥＣ１５に供給する（ステップＳ３６）。ここで、メモリ領域３３ｂからのＨＤ画像を３０ｆｐｓで読み出すと、そのＨＤ画像から切り出した４枚のＳＤ画像を、処理速度を変えることなく４倍の１２０ｆｐｓでビデオＣＯＤＥＣ１５に転送できる。
ビデオＣＯＤＥＣ１５は、転送されたＳＤ画像を１２０ｆｐｓでエンコードし、ビデオＥＳを生成する。このとき、例えば、各フレームの画像データに対して１／１２０秒間隔の再生時刻管理情報（ＰＴＳ：Presentation Time Stamp）を付加することにより、１２０ｆｐｓのＳＤ画像によるビデオＥＳが生成される。生成されたビデオＥＳはＭＵＸ／ＤＥＭＵＸ２５においてオーディオＥＳと多重化され、ストリームデータ（ＰＳ）として記録装置２６に記録される。
図８は、第２の実施の形態におけるスロー再生モードでの信号の流れを示す図である。
スロー再生モードにおいては、上述した１２０ｆｐｓのＳＤ画像のデータは、記録装置２６から、規定された画面レートに対して１／４の速度（すなわち３０ｆｐｓ）で読み出される。この動作はすなわち、３０ｆｐｓのＳＤ画像を通常通り読み出す場合と同じ動作となる。
また、読み出されたＳＤ画像のデータは、その速度を保ったまま、ビデオＣＯＤＥＣ１５においてデコードされ、一旦メモリ領域３３ｂに格納される（ステップＳ４１）。このデコード処理では、規定された画面レート（すなわち１２０ｆｐｓ）の４倍の時間をかけて各フレームをデコードすることになる。このためにビデオＣＯＤＥＣ１５は、例えば、ビデオＥＳから抽出されたＰＴＳを４倍の時間間隔の情報に変換するなどといった機能を新たに備える必要がある。
ビデオＣＯＤＥＣ１５でデコードされたＳＤ画像のデータは、３０ｆｐｓでメモリ領域３３ｂに格納された後、同じく３０ｆｐｓで読み出されて、表示処理回路１６に順次供給される（ステップＳ４２）。これにより、表示処理回路１６から画像信号を受けたＬＣＤ１７には、第１の実施の形態と同様、ＳＤ画質の画像が３０ｆｐｓで順次表示される。このとき、表示画面の切り替え周期は撮像時の４倍となるので、１／４のスロー再生が実現されることになる。
以上の図７および図８で説明したように、本実施の形態で用いられるビデオＣＯＤＥＣ１５は、ＳＤ画像に対する１２０ｆｐｓでのエンコードと、１／４倍速で供給されたＳＤ画像のデコードとを実行できる必要がある。ただし、ビデオＣＯＤＥＣ１５は元々、３０ｆｐｓのＨＤ画像のエンコードが可能になっているので、このエンコード時と同じ速度の処理クロックを用いて、ＨＤ画像の１／４以下のデータ量を持つＳＤ画像を４倍の１２０ｆｐｓで処理することが可能である。従って、例えば、１２０ｆｐｓのＳＤ画像をエンコードしたときに特に消費電力が増加するようなことは考えられず、また、このような機能を備えるエンコーダを新たに開発することは比較的容易であると言える。さらに、ＳＤ画像の１／４倍速のデコードについても、例えばＰＴＳを変換するといった制御機能を追加する必要はあるものの、処理能力の面では特に強化する必要はないので、このようなデコード機能を持つデコーダの新たな開発は比較的容易であると言える。
図９は、第２の実施の形態における通常再生モードでの信号の流れを示す図である。
通常再生モードにおいては、上記のように記録装置２６に記録された１２０ｆｐｓのＳＤ画像のデータが規定通り（すなわち１２０ｆｐｓ）で読み出され、ビデオＣＯＤＥＣ１５に供給される（ステップＳ５１）。このときの単位時間当たりの読み出しデータ量は、標準（すなわち３０ｆｐｓ）のＨＤ画像を読み出したときのデータ量以下となるので、３０ｆｐｓのＨＤ画像の通常の読み出し動作と同じ処理速度で実行できる。従って、このような読み出し動作を、既存の信号伝送系をほぼそのまま利用して実行できる。
ビデオＣＯＤＥＣ１５は、入力される１２０ｆｐｓのＳＤ画像のうち、４枚に１枚の画像（例えば、図中のＳＤ画像Ｐｓ１のような先頭のＳＤ画像）のデータのみを代表画像としてデコードし、メモリ領域３３ｂに一旦格納する（ステップＳ５２）。このとき、代表画像以外のデータは破棄される。
次に、メモリ領域３３ｂに格納された代表のＳＤ画像は、表示処理回路１６に対して３０ｆｐｓで供給される（ステップＳ５３）。この結果、ＬＣＤ１７では、撮像された画像の４枚のうちの１枚のみが代表画像として間欠的に表示されるが、第１の実施の形態と同様、このときの画像表示周期は撮像時の時間経過に沿ったものとなるので、ユーザはこのＳＤ画像を通常の速度の再生画像として視聴できる。
以上の図９の動作のためには、ビデオＣＯＤＥＣ１５が、１２０ｆｐｓのＳＤ画像を間欠的にデコードする機能を備えている必要がある。しかし、このときの処理は実質的にＳＤ画像を３０ｆｐｓでデコードする場合とほぼ同じであり、このような機能を備えたデコーダは容易に実現できると言える。
また、読み出されたビデオＥＳにおいてフレームごとに１／１２０秒間隔のＰＴＳが付加されている場合、ビデオＣＯＤＥＣ１５におけるデコード処理時に、全フレームのＰＴＳをその都度読み出して再生時刻を制御する仕様になっていれば、３０ｆｐｓでの再生時刻に合致するＰＴＳを持つフレームのみが自動的にデコードされるため、上記の動作を特に仕様変更することなく実現できる。従って、このような画像データであれば、同様な仕様のデコーダを持つ他の再生機器において、３０ｆｐｓのＳＤ画像として問題なく再生できることになり、その範囲で記録データの互換性を維持することもできる。しかも、そのように再生された場合には、第１の実施の形態と異なり、元々１枚分の画像として撮像されたＳＤ画像がそのまま再生表示されるので、ユーザは何の違和感もなく再生画像を視聴できる。
以上のように、本実施の形態に係る通常再生モードでは、第１の実施の形態と同様、３０ｆｐｓの画像が出力されるので、高速撮像モードにおいて画像データとともに音声データを多重化して記録した場合には、音声付きで画像を再生することができる。
図１０は、第２の実施の形態における画像および音声の記録・再生時の動作を概略的に示すタイムチャートである。
上述したように、高速撮像モードでは、撮像素子１２での画面レートに同期した１２０ｆｐｓのＳＤ画像がエンコードされ、ビデオＥＳが生成される。このとき、音声データについては、通常撮像モードと同じ処理手順でエンコードされ、エンコードされたオーディオＥＳの各オーディオＥＳには、連続する４枚のＳＤ画像のうちの１枚（例えば先頭画像）に同期するようにＰＴＳが付加される。そして、これらのビデオＥＳおよびオーディオＥＳが多重化されて、ＰＳとして記録装置２６に記録される。
このような画像データを通常再生モードで再生した場合、記録装置２６からＳＤ画像が１２０ｆｐｓで読み出され、４枚に１枚のＳＤ画像のみがデコードされる。このとき、実質的にＳＤ画像が３０ｆｐｓでデコードされることになり、このＳＤ画像に同期して音声データ（オーディオフレーム）をデコードすることにより、通常撮像モードで記録された画像および音声の再生時と同じように、画像および音声が再生出力される。
また、高速撮像モードで記録されたＰＳを、全フレームのＰＴＳに基づいて再生時刻を制御する仕様のビデオデコーダを持つ他の再生機器で再生した場合には、この撮像装置での通常再生モードでの再生時と同様に、３０ｆｐｓのＳＤ画像を音声とともに再生出力させることができる。
以上のように、第２の実施の形態に係る撮像装置においても、高速撮像モードで記録した画像データを用いてスロー再生を実行できるとともに、その画像データを通常再生モードで再生した場合には、音声付きで再生できるようになる。また、その画像データを他の汎用再生機器で再生した場合には、その再生機器のデコーダの仕様によっては、通常のＳＤ画像として音声付きで再生できる。このとき、第１の実施の形態の場合のように複数の画像が整列された画像ではなく、元々１枚分の画像として撮像されたＳＤ画像をそのまま表示させることができ、通常通り記録されたＳＤ画像と何ら変わらない画像を表示できる。そして、このような機能を、既存の回路構成に小さな変更を加えるだけで実現でき、既存の撮像装置からの製造コストの上昇や装置サイズの大型化を極力、抑制することができる。
なお、以上の第２の実施の形態でも、第１の実施の形態と同様に、高速撮像モードで撮像した画像の連続記録時間は、記録装置の容量のみによって制限されるようになる。
また、第２の実施の形態でも、第１の実施の形態と同様に、スロー再生モードにおいては音声データを正常に再生することができないので、この再生モードにおいては音声を再生しないようにする。
また、以上の各実施の形態では、標準の４倍の画面レートでの撮像によって得た４枚のＳＤ画像を１枚のＨＤ画像に組み込み、そのＨＤ画像を撮像装置の内部で伝送するようにしたが、例えば、撮像素子１２において標準の３倍，２倍の画面レートで撮像した場合には、それぞれ３枚、２枚のＳＤ画像に変換して１枚のＨＤ画像に組み込んで伝送することで、同様に処理することができる。すなわち、このようにして記録された画像データを、それぞれ１／３，１／２の速度でスロー再生することができるようになる。
このように、本発明を実施するにあたり、撮像時の画面レート（時間解像度）を標準のｎ倍とし、それによって得た画像を標準の１／ｎの空間解像度を持つ画像に変換して、ｎ枚の連続画像を標準サイズの画像に組み込む際には、そのｎの値としては再生時に求められる画像の空間解像度に応じて任意に変更することが可能である。ただし、ｎ枚の連続画像を標準サイズの画像において画素の空間的配列を変えることなく配置できるように、ｎを設定することが望ましい。
また、上記の各実施の形態では、撮像・収音した画像および音声を記録媒体に記録する撮像装置に本発明を適用した例を示したが、このような画像および音声の信号を符号化してデータストリームを生成し、ネットワークを通じて外部機器へ送出する機器に対して、本発明を適用してもよい。また、符号化する対象の画像および音声は、撮像・収音したものに限らず、例えば、ＴＶチューナによって受信された放送コンテンツの信号であってもよいし、あるいは、デジタルまたはアナログの画像・音声入力端子を通じて入力された信号であってもよい。すなわち、複数の画面レートが切り替えられる画像信号の入力を受けて、これらの信号を符号化してデータストリームを生成する装置に対して、本発明を適用できる。
本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。 撮像装置において処理可能な画像のサイズについて説明するための図である。 第１の実施の形態における画像記録時の信号の流れを説明するための図である。 第１の実施の形態におけるスロー再生モードでの信号の流れを示す図である。 第１の実施の形態における通常再生モードでの信号の流れを示す図である。 第１の実施の形態における画像および音声の記録・再生時の動作を概略的に示すタイムチャートである。 第２の実施の形態における画像記録時の信号の流れを説明するための図である。 第２の実施の形態におけるスロー再生モードでの信号の流れを示す図である。 第２の実施の形態における通常再生モードでの信号の流れを示す図である。 第２の実施の形態における画像および音声の記録・再生時の動作を概略的に示すタイムチャートである。
符号の説明
１１……光学ブロック、１２……撮像素子、１３……アナログフロントエンド（ＡＦＥ）回路、１３ａ……解像度変換部、１４……カメラ信号処理回路、１４ａ……画像切り出し部、１５……ビデオＣＯＤＥＣ、１６……表示処理回路、１７……ＬＣＤ、１８……ビデオ出力端子、１９……マイクロフォン、２０……Ａ／Ｄコンバータ、２１……オーディオＣＯＤＥＣ、２２……Ｄ／Ａコンバータ・アンプ、２３……スピーカ、２４……オーディオ出力端子、２５……ＭＵＸ／ＤＥＭＵＸ、２６……記録装置、３１……マイクロコンピュータ、３２……入力部、３３……ＳＤＲＡＭ、３３ａ，３３ｂ……メモリ領域

Claims (21)

  1. 画像信号を処理する画像処理装置において、
    高速画面レートで入力された画像を、そのｎ枚（ｎは２以上の整数）の連続した入力画像が１画面上に配列された画像に変換して、変換した画像を前記高速画面レートの１／ｎである低速画面レートで出力する画像変換部と、
    前記画像変換部からの画像に対して所定の画質補正処理を施す信号処理部と、
    前記信号処理部により処理された画像から、ｎ枚のうち１つの前記入力画像を切り出して前記低速画面レートで出力する表示画像切り出し部と、
    前記表示画像切り出し部から出力された画像を表示装置に表示させるための画像信号を生成する表示処理部と、
    前記信号処理部により処理された画像のデータを前記低速画面レートの画像データとして圧縮符号化する画像符号化部と、
    前記画像符号化部からの符号化画像データを記録媒体に記録するように制御する記録制御部と、
    を有することを特徴とする画像処理装置。
  2. 画像信号を処理する画像処理装置において、
    高速画面レートで入力された画像を、そのｎ枚（ｎは２以上の整数）の連続した入力画像が１画面上に配列された画像に変換して、変換した画像を前記高速画面レートの１／ｎである低速画面レートで出力する画像変換部と、
    前記画像変換部からの画像に対して所定の画質補正処理を施す信号処理部と、
    前記信号処理部により処理された画像から、ｎ枚のうち１つの前記入力画像を切り出して前記低速画面レートで出力する表示画像切り出し部と、
    前記表示画像切り出し部から出力された画像を表示装置に表示させるための画像信号を生成する表示処理部と、
    前記信号処理部により処理された画像からｎ枚の前記入力画像を順次切り出して、前記高速画面レートで出力する記録画像切り出し部と、
    前記記録画像切り出し部から出力された前記入力画像のデータを前記高速画面レートの画像データとして圧縮符号化する画像符号化部と、
    前記画像符号化部からの符号化画像データを記録媒体に記録するように制御する記録制御部と、
    を有することを特徴とする画像処理装置。
  3. 固体撮像素子を用いて画像を撮像する撮像装置において、
    前記固体撮像素子により高速画面レートで撮像された画像を、そのｎ枚（ｎは２以上の整数）の連続した撮像画像が１画面上に配列された画像に変換して、変換した画像を前記高速画面レートの１／ｎである低速画面レートで出力する画像変換部と、
    前記画像変換部からの画像に対して所定の画質補正処理を施す信号処理部と、
    前記信号処理部により処理された画像から、ｎ枚のうち１つの前記撮像画像を切り出して前記低速画面レートで出力する表示画像切り出し部と、
    前記表示画像切り出し部から出力された画像を表示装置に表示させるための画像信号を生成する表示処理部と、
    前記信号処理部により処理された画像のデータを前記低速画面レートの画像データとして圧縮符号化する画像符号化部と、
    前記画像符号化部からの符号化画像データを記録媒体に記録する記録部と、
    を有することを特徴とする撮像装置。
  4. 前記記録媒体に記録された前記符号化画像データを読み出し、前記低速画面レートの１／ｎの画面レートで伸張復号化する画像復号化部をさらに有し、
    前記表示画像切り出し部は、前記画像復号化部で復号化された画像からｎ枚の前記撮像画像を順次切り出し、前記低速画面レートで前記表示処理部に出力することを特徴とする請求項３記載の撮像装置。
  5. 前記画像復号化部は、前記記録媒体に記録された前記符号化画像データを読み出して前記低速画面レートで伸張復号化する機能をさらに有し、
    前記表示画像切り出し部は、前記画像復号化部において前記低速画面レートで復号化された画像から、ｎ枚のうち１つの前記撮像画像を切り出し、前記低速画面レートで前記表示処理部に出力する、
    ことを特徴とする請求項４記載の撮像装置。
  6. 音声を収音する収音部と、
    前記収音部により収音された音声のデータを圧縮符号化する音声符号化部と、
    をさらに有し、
    前記記録部は、前記画像符号化部からの前記符号化画像データと前記音声符号化部からの符号化音声データとを多重化した多重化データとして前記記録媒体に記録することを特徴とする請求項３記載の撮像装置。
  7. 前記記録媒体に記録された前記多重化データを読み出して、当該多重化データ内の前記符号化画像データを前記低速画面レートの１／ｎの画面レートで伸張復号化する機能と、読み出した前記多重化データ内の前記符号化画像データを前記低速画面レートで伸張復号化する機能とを備える画像復号化部と、
    前記画像復号化部により前記低速画面レートで復号化処理が実行されたときにのみ、前記多重化データ内の前記符号化音声データを記録時と同じ処理速度で伸張復号化する音声復号化部と、
    をさらに有し、
    前記画像復号化部により前記低速画面レートでの１／ｎの画面レートでの復号化が実行されたとき、前記表示画像切り出し部は、復号化された画像からｎ枚の前記撮像画像を順次切り出して前記低速画面レートで前記表示処理部に出力し、
    前記画像復号化部により前記低速画面レートでの復号化が実行されたとき、前記表示画像切り出し部は、復号化された画像から、ｎ枚のうち１つの前記撮像画像を切り出して前記低速画面レートで前記表示処理部に出力する、
    ことを特徴とする請求項６記載の撮像装置。
  8. 前記固体撮像素子により前記高速画面レートで撮像された画像の解像度を、前記画像変換部が出力する画像が持つ解像度の１／ｎ以下に変換して、変換後の画像を前記画像変換部に出力する解像度変換部をさらに有することを特徴とする請求項３記載の撮像装置。
  9. 前記固体撮像素子は、前記低速画面レートで撮像する機能をさらに備え、
    前記解像度変換部は、前記固体撮像素子により前記低速画面レートで撮像された画像の解像度を、前記画像変換部が出力する画像が持つ解像度に変換して、変換後の画像を前記信号処理部に出力する機能をさらに備えたことを特徴とする請求項８記載の撮像装置。
  10. 固体撮像素子を用いて画像を撮像する撮像装置において、
    前記固体撮像素子により高速画面レートで撮像された画像を、そのｎ枚（ｎは２以上の整数）の連続した撮像画像が１画面上に配列された画像に変換して、変換した画像を前記高速画面レートの１／ｎである低速画面レートで出力する画像変換部と、
    前記画像変換部からの画像に対して所定の画質補正処理を施す信号処理部と、
    前記信号処理部により処理された画像から、ｎ枚のうち１つの前記撮像画像を切り出して前記低速画面レートで出力する表示画像切り出し部と、
    前記表示画像切り出し部から出力された画像を表示装置に表示させるための画像信号を生成する表示処理部と、
    前記信号処理部により処理された画像からｎ枚の前記撮像画像を順次切り出して、前記高速画面レートで出力する記録画像切り出し部と、
    前記記録画像切り出し部から出力された前記撮像画像のデータを前記高速画面レートの画像データとして圧縮符号化する画像符号化部と、
    前記画像符号化部からの符号化画像データを記録媒体に記録する記録部と、
    を有することを特徴とする撮像装置。
  11. 前記記録媒体に記録された前記符号化画像データを読み出し、前記低速画面レートで伸張復号化して前記表示処理部に出力する画像復号化部をさらに有することを特徴とする請求項１０記載の撮像装置。
  12. 前記画像復号化部は、前記記録媒体に記録された前記符号化画像データを読み出し、連続したｎ枚の前記符号化画像データのうちの１つを間欠的に前記低速画面レートで伸張復号化して前記表示処理部に出力する機能をさらに有することを特徴とする請求項１１記載の撮像装置。
  13. 音声を収音する収音部と、
    前記収音部により収音された音声のデータを圧縮符号化する音声符号化部と、
    をさらに有し、
    前記記録部は、前記画像符号化部からの前記符号化画像データと前記音声符号化部からの符号化音声データとを多重化した多重化データとして前記記録媒体に記録することを特徴とする請求項１０記載の撮像装置。
  14. 前記記録媒体に記録された前記多重化データを読み出し、前記低速画面レートで伸張復号化して前記表示処理部に出力する機能と、読み出した前記多重化データ内の連続したｎ枚の前記符号化画像データのうちの１つを間欠的に前記低速画面レートで伸張復号化して前記表示処理部に出力する機能とを備える画像復号化部と、
    前記画像復号化部により、ｎ枚の前記符号化画像データのうちの１つを前記低速画面レートで復号化する処理が実行されたときにのみ、前記多重化データ内の前記符号化音声データを記録時と同じ処理速度で伸張復号化する音声復号化部と、
    をさらに有することを特徴とする請求項１３記載の撮像装置。
  15. 前記画像符号化部は、前記撮像画像をｎ枚だけ配列可能な解像度を持つ画像を前記信号処理部から受けて、前記低速画面レートで圧縮符号化することが可能であることを特徴とする請求項１０記載の撮像装置。
  16. 前記固体撮像素子により前記高速画面レートで撮像された画像の解像度を、前記画像変換部が出力する画像が持つ解像度の１／ｎ以下に変換して、変換後の画像を前記画像変換部に出力する解像度変換部をさらに有することを特徴とする請求項１０記載の撮像装置。
  17. 前記固体撮像素子は、前記低速画面レートで撮像する機能をさらに備え、
    前記解像度変換部は、前記固体撮像素子により前記低速画面レートで撮像された画像の解像度を、前記画像変換部が出力する画像が持つ解像度に変換して、変換後の画像を前記信号処理部に出力する機能をさらに備えた、
    ことを特徴とする請求項１６記載の撮像装置。
  18. 画像信号を処理する画像処理方法において、
    画像変換部が、高速画面レートで入力された画像を、そのｎ枚（ｎは２以上の整数）の連続した入力画像が１画面上に配列された画像に変換して、変換した画像を前記高速画面レートの１／ｎである低速画面レートで出力し、
    信号処理部が、前記画像変換部からの画像に対して所定の画質補正処理を施し、
    表示画像切り出し部が、前記信号処理部により処理された画像から、ｎ枚のうち１つの前記入力画像を切り出して前記低速画面レートで出力し、
    表示処理部が、前記表示画像切り出し部から出力された画像を表示装置に表示させるための画像信号を生成し、
    画像符号化部が、前記信号処理部により処理された画像のデータを前記低速画面レートの画像データとして圧縮符号化し、
    記録制御部が、前記画像符号化部からの符号化画像データを記録媒体に記録するように制御する、
    ことを特徴とする画像処理方法。
  19. 画像信号を処理する画像処理方法において、
    画像変換部が、高速画面レートで入力された画像を、そのｎ枚（ｎは２以上の整数）の連続した入力画像が１画面上に配列された画像に変換して、変換した画像を前記高速画面レートの１／ｎである低速画面レートで出力し、
    信号処理部が、前記画像変換部からの画像に対して所定の画質補正処理を施し、
    表示画像切り出し部が、前記信号処理部により処理された画像から、ｎ枚のうち１つの前記入力画像を切り出して前記低速画面レートで出力し、
    表示処理部が、前記表示画像切り出し部から出力された画像を表示装置に表示させるための画像信号を生成し、
    記録画像切り出し部が、前記信号処理部により処理された画像からｎ枚の前記入力画像を順次切り出して、前記高速画面レートで出力し、
    画像符号化部が、前記記録画像切り出し部から出力された前記入力画像のデータを前記高速画面レートの画像データとして圧縮符号化し、
    記録制御部が、前記画像符号化部からの符号化画像データを記録媒体に記録するように制御する、
    ことを特徴とする画像処理方法。
  20. 固体撮像素子を用いて画像を撮像するための撮像方法において、
    画像変換部が、前記固体撮像素子により高速画面レートで撮像された画像を、そのｎ枚（ｎは２以上の整数）の連続した撮像画像が１画面上に配列された画像に変換して、変換した画像を前記高速画面レートの１／ｎである低速画面レートで出力し、
    信号処理部が、前記画像変換部からの画像に対して所定の画質補正処理を施し、
    表示画像切り出し部が、前記信号処理部により処理された画像から、ｎ枚のうち１つの前記撮像画像を切り出して前記低速画面レートで出力し、
    表示処理部が、前記表示画像切り出し部から出力された画像を表示装置に表示させるための画像信号を生成し、
    画像符号化部が、前記信号処理部により処理された画像のデータを前記低速画面レートの画像データとして圧縮符号化し、
    記録部が、前記画像符号化部からの符号化画像データを記録媒体に記録する、
    ことを特徴とする撮像方法。
  21. 固体撮像素子を用いて画像を撮像するための撮像方法において、
    画像変換部が、前記固体撮像素子により高速画面レートで撮像された画像を、そのｎ枚（ｎは２以上の整数）の連続した撮像画像が１画面上に配列された画像に変換して、変換した画像を前記高速画面レートの１／ｎである低速画面レートで出力し、
    信号処理部が、前記画像変換部からの画像に対して所定の画質補正処理を施し、
    表示画像切り出し部が、前記信号処理部により処理された画像から、ｎ枚のうち１つの前記撮像画像を切り出して前記低速画面レートで出力し、
    表示処理部が、前記表示画像切り出し部から出力された画像を表示装置に表示させるための画像信号を生成し、
    記録画像切り出し部が、前記信号処理部により処理された画像からｎ枚の前記撮像画像を順次切り出して、前記高速画面レートで出力し、
    画像符号化部が、前記記録画像切り出し部から出力された前記撮像画像のデータを前記高速画面レートの画像データとして圧縮符号化し、
    記録部が、前記画像符号化部からの符号化画像データを記録媒体に記録する、
    ことを特徴とする撮像方法。
JP2006172974A 2006-06-22 2006-06-22 画像処理装置、撮像装置、および方法 Expired - Fee Related JP4172504B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006172974A JP4172504B2 (ja) 2006-06-22 2006-06-22 画像処理装置、撮像装置、および方法
US11/764,401 US20070296826A1 (en) 2006-06-22 2007-06-18 Picture processing apparatus, imaging apparatus and method of the same
KR1020070060985A KR20070121566A (ko) 2006-06-22 2007-06-21 화상 처리 장치, 촬상 장치, 및 방법
TW096122349A TW200816797A (en) 2006-06-22 2007-06-21 Picture processing apparatus, imaging apparatus and method of the same
CNA2007101120903A CN101094322A (zh) 2006-06-22 2007-06-22 图像处理设备、成像设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006172974A JP4172504B2 (ja) 2006-06-22 2006-06-22 画像処理装置、撮像装置、および方法

Publications (2)

Publication Number Publication Date
JP2008005242A JP2008005242A (ja) 2008-01-10
JP4172504B2 true JP4172504B2 (ja) 2008-10-29

Family

ID=38873169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006172974A Expired - Fee Related JP4172504B2 (ja) 2006-06-22 2006-06-22 画像処理装置、撮像装置、および方法

Country Status (5)

Country Link
US (1) US20070296826A1 (ja)
JP (1) JP4172504B2 (ja)
KR (1) KR20070121566A (ja)
CN (1) CN101094322A (ja)
TW (1) TW200816797A (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5381279B2 (ja) * 2009-04-23 2014-01-08 日本電気株式会社 撮影装置
US20100283868A1 (en) * 2010-03-27 2010-11-11 Lloyd Douglas Clark Apparatus and Method for Application of Selective Digital Photomontage to Motion Pictures
JP5750235B2 (ja) 2010-04-29 2015-07-15 富士機械製造株式会社 製造作業機
CN102934539B (zh) 2010-04-29 2015-12-02 富士机械制造株式会社 集中控制装置及集中控制方法
JP2012034215A (ja) * 2010-07-30 2012-02-16 Sony Corp 画像処理装置および方法、並びにプログラム
JP5146503B2 (ja) * 2010-09-06 2013-02-20 カシオ計算機株式会社 動画処理装置、動画再生装置、動画処理方法、動画再生方法及びプログラム
IT1403450B1 (it) * 2011-01-19 2013-10-17 Sisvel S P A Flusso video costituito da frame video combinati, e procedimento e dispositivi per la sua generazione, trasmissione, ricezione e riproduzione
EP2716039A4 (en) * 2011-05-27 2014-11-05 Looxcie Inc SCALABLE AUDIOVISUAL STREAMING METHOD AND DEVICE THEREFOR
US9269399B2 (en) * 2011-06-13 2016-02-23 Voxx International Corporation Capture, syncing and playback of audio data and image data
DE202012013640U1 (de) * 2012-01-03 2018-11-12 solar-semi GmbH Substratteller
US8754972B2 (en) * 2012-02-01 2014-06-17 Kla-Tencor Corporation Integrated multi-channel analog front end and digitizer for high speed imaging applications
JP6403479B2 (ja) * 2014-07-30 2018-10-10 キヤノン株式会社 撮像装置およびその制御方法
CN104184948A (zh) * 2014-08-22 2014-12-03 惠州Tcl移动通信有限公司 通过移动终端远程控制拍照设备延时拍照的方法及系统
CN105472410A (zh) * 2015-12-30 2016-04-06 惠州市伟乐科技股份有限公司 一种avs+编码装置
US11553148B2 (en) * 2018-04-04 2023-01-10 Sony Semiconductor Solutions Corporation Solid-state imaging device
KR20220022335A (ko) * 2020-08-18 2022-02-25 엘지디스플레이 주식회사 구동 회로와 이를 이용한 표시장치

Also Published As

Publication number Publication date
US20070296826A1 (en) 2007-12-27
CN101094322A (zh) 2007-12-26
KR20070121566A (ko) 2007-12-27
TW200816797A (en) 2008-04-01
JP2008005242A (ja) 2008-01-10

Similar Documents

Publication Publication Date Title
JP4172504B2 (ja) 画像処理装置、撮像装置、および方法
JP5036410B2 (ja) 撮像装置及びその制御方法
JP4515465B2 (ja) 動画撮影装置および動画撮影方法、記録媒体に記録された映像信号を再生する動画再生装置および動画再生方法
JP4680166B2 (ja) 撮像装置および撮像方法
JP4904914B2 (ja) ストリーム生成装置、撮像装置、およびストリーム生成方法
JP4724577B2 (ja) 撮像装置及びその制御方法
US7986345B2 (en) Image pickup apparatus, image processing method, and program
JP4725183B2 (ja) 撮像装置、および方法
US8743227B2 (en) Imaging apparatus and control method for reducing a load of writing image data on a recording medium
US8094991B2 (en) Methods and apparatus for recording and reproducing a moving image, and a recording medium in which program for executing the methods is recorded
JP2009111518A (ja) 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造
JP2008124671A (ja) 撮像装置および撮像方法
JP5600405B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4901673B2 (ja) 撮像装置、記録装置、再生装置、撮像方法、記録方法、再生方法及びプログラム
JP4281778B2 (ja) 撮像装置および撮像画像記録方法
JP5012985B2 (ja) 撮像装置及びそのプログラム
JP5290568B2 (ja) 動画像記録装置、動画像再生装置及びプログラム
JP4770581B2 (ja) 動画像データ処理装置、ストリーム生成装置、撮像装置、および動画像データ処理方法
JP4289055B2 (ja) トランスコーダおよびこれを用いた記録再生装置
KR100899046B1 (ko) 동영상 촬영 장치, 동영상 재생 장치, 동영상 촬영 방법, 부호화 영상 신호 재생 방법, 및 동영상 재생 방법
JPWO2003088659A1 (ja) 記録再生装置
JP2015029211A (ja) 撮像装置
US20100149375A1 (en) Apparatus and method for faster recording and reproduction of digital video images
JP2005229553A (ja) 画像処理装置
JP2003250114A (ja) 映像記録装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080722

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080804

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees