JP4973497B2 - 撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システム - Google Patents
撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システム Download PDFInfo
- Publication number
- JP4973497B2 JP4973497B2 JP2007534493A JP2007534493A JP4973497B2 JP 4973497 B2 JP4973497 B2 JP 4973497B2 JP 2007534493 A JP2007534493 A JP 2007534493A JP 2007534493 A JP2007534493 A JP 2007534493A JP 4973497 B2 JP4973497 B2 JP 4973497B2
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- recording
- signal
- audio signal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 11
- 230000005236 sound signal Effects 0.000 claims description 168
- 238000003384 imaging method Methods 0.000 claims description 74
- 239000000463 material Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
本発明は、記録媒体を介して可変フレームレートの画像信号を記録再生する撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システムに関する。
本出願は、日本国において２００５年９月８日に出願された日本特許出願番号２００５−２６１０９４を基礎として優先権を主張するものであり、この出願は参照することにより、本出願に援用される。
本出願は、日本国において２００５年９月８日に出願された日本特許出願番号２００５−２６１０９４を基礎として優先権を主張するものであり、この出願は参照することにより、本出願に援用される。
従来、従来の映画製作等では、特殊な映像効果を得ることができるように、フィルムカメラの撮影速度、すなわち１秒間のコマ数を可変させた撮影が行われている。例えば、撮影は通常の速度よりも高速で行い、再生は通常速度で行うものとすると、再生画像はスロー再生画像となる。このため、水面に水滴が落下したときのような高速度動作を容易かつ詳細に観察できる。また、撮影は通常の速度よりも低速で行い、再生は通常速度で行うものとすると、高速再生画像となる。このため、格闘シーンやカーチェイスシーン等でのスピード感を高めて臨場感の高い画像提示を行うことができる。
また、テレビジョン番組制作等では、番組の撮像や編集及び送出等のデジタル化が図られていたが、デジタル技術の進展に伴う高画質化や機器の低価格化によって、映画製作等においてもデジタル化が図られてきている。
また、高速再生やスロー再生等の特殊な映像効果を容易に得ることができるように、フレームレートを可変することのできる撮像装置が提供されている（例えば、特開２０００−１２５２１０号公報参照）。この撮像装置を用いて、所定フレームレートよりもフレームレートを低下させて撮像を行い、この撮像画像を所定フレームレートで再生すれば、簡単に高速再生画像を得ることができる。また、フレームレートを高くして撮像を行い、この撮像画像を所定フレームレートで再生すれば、簡単にスロー再生画像を得ることができる。例えば、画像信号を記録するときのフレームレート（以下「記録フレームレート」という）が一定である例えばビデオテープレコーダ等の信号記録装置を用い、撮像装置では記録フレームレートの信号中に撮像画像のフレームが可変フレームレート分含まれた信号を生成してビデオテープレコーダ（ＶＴＲ）などの信号記録装置に供給する。
信号記録装置では、撮像装置から供給された画像信号を用いて可変速フレームレート撮像画像を記録媒体に記録する。この記録媒体に記録された可変速フレームレート撮像画像を再生すると、可変速フレームレート撮像画像のフレームレートが再生時のフレームレート（以下「再生フレームレート」という）よりも低いときは被写体の動きが実際の動きより早くなり、可変速フレームレート撮像画像のフレームレートが再生フレームレートよりも高いときは被写体の動きが実際の動きより遅くなる。このため、特殊な映像効果を容易に得ることができる。
また、テレビジョン番組制作等では、番組の撮像や編集及び送出等のデジタル化が図られていたが、デジタル技術の進展に伴う高画質化や機器の低価格化によって、映画製作等においてもデジタル化が図られてきている。
また、高速再生やスロー再生等の特殊な映像効果を容易に得ることができるように、フレームレートを可変することのできる撮像装置が提供されている（例えば、特開２０００−１２５２１０号公報参照）。この撮像装置を用いて、所定フレームレートよりもフレームレートを低下させて撮像を行い、この撮像画像を所定フレームレートで再生すれば、簡単に高速再生画像を得ることができる。また、フレームレートを高くして撮像を行い、この撮像画像を所定フレームレートで再生すれば、簡単にスロー再生画像を得ることができる。例えば、画像信号を記録するときのフレームレート（以下「記録フレームレート」という）が一定である例えばビデオテープレコーダ等の信号記録装置を用い、撮像装置では記録フレームレートの信号中に撮像画像のフレームが可変フレームレート分含まれた信号を生成してビデオテープレコーダ（ＶＴＲ）などの信号記録装置に供給する。
信号記録装置では、撮像装置から供給された画像信号を用いて可変速フレームレート撮像画像を記録媒体に記録する。この記録媒体に記録された可変速フレームレート撮像画像を再生すると、可変速フレームレート撮像画像のフレームレートが再生時のフレームレート（以下「再生フレームレート」という）よりも低いときは被写体の動きが実際の動きより早くなり、可変速フレームレート撮像画像のフレームレートが再生フレームレートよりも高いときは被写体の動きが実際の動きより遅くなる。このため、特殊な映像効果を容易に得ることができる。
ところで、可変速録画を行う場合、従来、フィルムカメラでは画像のみ収録していた。ＶＴＲになっても、画像と音声の同期処理が使えないために、画像はフレームレートの可変可能な撮像装置で取り込み、音声はミューティングして、可変速フレームレート撮像画像のみを記録し、可変速フレームレート撮像画像に対応する音声は別機材で収録を行い、別々に処理して、特殊効果を実現していた。
このように、特殊効果を実現するためには、画像と音声を別々に収録して処理しなければならず、そのための各種機材を必要とするばかりでばく、多大な手間と時間を要していた。
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、画像の可変速に合わせた音声を可変速フレームレート撮像画像とともに記録再生することができるようにすることにある。
本発明に係る撮像画像記録装置は、被写体を撮像して、可変フレームレートの画像信号を出力する画像処理手段と、音声信号を取得し、システムフレームレートに合わせたフレーム数の音声信号を生成して出力する音声処理手段と、上記画像処理手段により取得された画像信号と上記音声処理手段により取得された音声信号を記録媒体に記録する記録手段と、これら各手段の動作を制御する制御手段を備え、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録することを特徴とする。
本発明に係る撮像画像記録装置では、上記記録信号として、例えば、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像の可変フレーム数とシステムフレームレートに合わせたフレーム数のメタデータを記録媒体に記録する。
また、本発明に係る撮像画像記録装置では、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをＭＸＦ（Material Exchange Format）ファイルとして上記記録媒体に記録する。
さらに、本発明に係る撮像画像記録装置では、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをＭＰ４ファイルとして上記記録媒体に記録する。
また、本発明に係る撮像画像記録方法は、被写体を撮像して、可変フレームレートの画像信号を取得するとともに、音声信号を取得してシステムフレームレートに合わせたフレーム数の音声信号を生成し、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録することを特徴とする。
また、本発明は、被写体を撮像した可変フレームレートの画像信号とシステムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがファイルとして記録された記録媒体から上記画像信号と音声信号を再生する撮像画像再生装置であって、上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する再生制御手段と、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力する再生画像処理手段と、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力する再生音声処理手段とを備え、上記撮像フレームレートとシステムフレームレートの比から決定した再生レートの音声信号を生成することにより、上記再生フレームレートの画像信号と同じ速度で音声信号を再生することを特徴とする。
本発明に係る撮像画像再生装置では、上記記録信号として、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像の可変フレーム数とシステムフレームレートに合わせたフレーム数のメタデータが記録された記録媒体から、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号を読み出す前に、上記メタデータを読み出して上記撮像フレームレートとシステムフレームレートを取得する。
また、本発明に係る撮像画像再生装置では、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがＭＸＦ（Material Exchange Format）ファイルとして記録された記録媒体から、上記画像信号と音声信号を再生する。
さらに、本発明に係る撮像画像再生装置では、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがＭＰ４ファイルとして記録された記録媒体から、上記画像信号と音声信号を再生する。
また、本発明は、被写体を撮像した可変フレームレートの画像信号とシステムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがファイルとして記録された記録媒体から上記画像信号と音声信号を再生する撮像画像再生方法であって、上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定し、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力するとともに、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生レートの音声信号を生成して出力し、上記再生フレームレートの画像信号と同じ速度で音声信号を再生することを特徴とする。
さらに、本発明に係る撮像画像記録再生システムは、被写体を撮像して、可変フレームレートの画像信号を出力する画像処理手段と、音声信号を取得し、システムフレームレートに合わせたフレーム数の音声信号を生成して出力する音声処理手段と、上記画像処理手段により取得された画像信号と上記音声処理手段により取得された音声信号を記録媒体に記録する記録手段と、これら各手段の動作を制御する制御手段を備え、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録する記録系と、上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する再生制御手段と、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力する再生画像処理手段と、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力する再生音声処理手段とを備え、上記撮像フレームレートとシステムフレームレートの比から決定した再生レートの音声信号を生成することにより、上記再生フレームレートの画像信号と同じ速度で音声信号を再生する再生系とからなることを特徴とする。
このような構成の本発明では、被写体を撮像して、可変フレームレートの画像信号を取得するとともに、音声信号を取得してシステムフレームレートに合わせたフレーム数の音声信号を生成し、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録するので、上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定し、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力するとともに、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力し、上記再生フレームレートの画像信号と同じ速度で音声信号を再生することができる。したがって、記録媒体を介して可変速フレームレートの画像信号を音声信号とともに記録再生することができる。また、画像と音声、メタデータを一緒に収録することで、特殊な処理（加工）を行わないで、画像の可変速に合わせた音声を記録再生することができる。
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
このように、特殊効果を実現するためには、画像と音声を別々に収録して処理しなければならず、そのための各種機材を必要とするばかりでばく、多大な手間と時間を要していた。
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、画像の可変速に合わせた音声を可変速フレームレート撮像画像とともに記録再生することができるようにすることにある。
本発明に係る撮像画像記録装置は、被写体を撮像して、可変フレームレートの画像信号を出力する画像処理手段と、音声信号を取得し、システムフレームレートに合わせたフレーム数の音声信号を生成して出力する音声処理手段と、上記画像処理手段により取得された画像信号と上記音声処理手段により取得された音声信号を記録媒体に記録する記録手段と、これら各手段の動作を制御する制御手段を備え、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録することを特徴とする。
本発明に係る撮像画像記録装置では、上記記録信号として、例えば、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像の可変フレーム数とシステムフレームレートに合わせたフレーム数のメタデータを記録媒体に記録する。
また、本発明に係る撮像画像記録装置では、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをＭＸＦ（Material Exchange Format）ファイルとして上記記録媒体に記録する。
さらに、本発明に係る撮像画像記録装置では、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをＭＰ４ファイルとして上記記録媒体に記録する。
また、本発明に係る撮像画像記録方法は、被写体を撮像して、可変フレームレートの画像信号を取得するとともに、音声信号を取得してシステムフレームレートに合わせたフレーム数の音声信号を生成し、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録することを特徴とする。
また、本発明は、被写体を撮像した可変フレームレートの画像信号とシステムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがファイルとして記録された記録媒体から上記画像信号と音声信号を再生する撮像画像再生装置であって、上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する再生制御手段と、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力する再生画像処理手段と、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力する再生音声処理手段とを備え、上記撮像フレームレートとシステムフレームレートの比から決定した再生レートの音声信号を生成することにより、上記再生フレームレートの画像信号と同じ速度で音声信号を再生することを特徴とする。
本発明に係る撮像画像再生装置では、上記記録信号として、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像の可変フレーム数とシステムフレームレートに合わせたフレーム数のメタデータが記録された記録媒体から、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号を読み出す前に、上記メタデータを読み出して上記撮像フレームレートとシステムフレームレートを取得する。
また、本発明に係る撮像画像再生装置では、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがＭＸＦ（Material Exchange Format）ファイルとして記録された記録媒体から、上記画像信号と音声信号を再生する。
さらに、本発明に係る撮像画像再生装置では、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがＭＰ４ファイルとして記録された記録媒体から、上記画像信号と音声信号を再生する。
また、本発明は、被写体を撮像した可変フレームレートの画像信号とシステムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがファイルとして記録された記録媒体から上記画像信号と音声信号を再生する撮像画像再生方法であって、上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定し、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力するとともに、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生レートの音声信号を生成して出力し、上記再生フレームレートの画像信号と同じ速度で音声信号を再生することを特徴とする。
さらに、本発明に係る撮像画像記録再生システムは、被写体を撮像して、可変フレームレートの画像信号を出力する画像処理手段と、音声信号を取得し、システムフレームレートに合わせたフレーム数の音声信号を生成して出力する音声処理手段と、上記画像処理手段により取得された画像信号と上記音声処理手段により取得された音声信号を記録媒体に記録する記録手段と、これら各手段の動作を制御する制御手段を備え、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録する記録系と、上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する再生制御手段と、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力する再生画像処理手段と、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力する再生音声処理手段とを備え、上記撮像フレームレートとシステムフレームレートの比から決定した再生レートの音声信号を生成することにより、上記再生フレームレートの画像信号と同じ速度で音声信号を再生する再生系とからなることを特徴とする。
このような構成の本発明では、被写体を撮像して、可変フレームレートの画像信号を取得するとともに、音声信号を取得してシステムフレームレートに合わせたフレーム数の音声信号を生成し、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録するので、上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定し、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力するとともに、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力し、上記再生フレームレートの画像信号と同じ速度で音声信号を再生することができる。したがって、記録媒体を介して可変速フレームレートの画像信号を音声信号とともに記録再生することができる。また、画像と音声、メタデータを一緒に収録することで、特殊な処理（加工）を行わないで、画像の可変速に合わせた音声を記録再生することができる。
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
本発明は、例えば図１に示すような構成の撮像画像記録再生システム１００に適用される。
この撮像画像記録再生システム１００は、画像信号を取得する画像処理部１０と、音声信号を取得する音声処理部２０と、上記画像処理部１０と音声処理部２０に接続された記録再生部３０と、これら動作を制御する制御部４０からなる。
上記画像処理部１０は、例えばＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いて構成された撮像部１１、この撮像部１１により得られた撮像信号が撮像信号処理部１２を介して供給されるベースバンド処理部１３、このベースバンド処理部１３に接続されたビューファインダ１４及びＤ／Ａ変換器１５等からなり、上記ベースバンド処理部１３が記録再生部３０に接続されている。
上記画像処理部１０の撮像部１１は、撮像フレームレートを可変して可変速フレームレート撮像画像信号を出力する機能を有するもので、制御部４０からの制御信号により上記撮像部１１の動作を制御し、例えばＣＣＤイメージセンサの電荷蓄積期間や撮像電荷の読み出しタイミング等を制御することで撮像フレームレートを可変することができるようになっている。
撮像信号処理部１２は、上記撮像部１１から供給される可変速フレームレートの撮像信号を増幅したのちノイズ成分を除去する。またノイズ除去された画像信号をデジタル信号に変換したのち、フィードバッククランプ処理やフレアー補正、撮像素子の欠陥に対する補正処理、プロセス処理等を行い、処理済みの画像信号をベースバンド処理部１３に供給する。
そして、ベースバンド処理部１３は、撮像信号処理部１２から供給される可変速フレームレートの画像信号を記録再生部３０に供給するとともに、可変速フレームレートの画像信号のフレームレートを変換することにより、ビューファインダ信号を生成してビューファインダ１４に供給する。このように、ビューファインダ信号をビューファインダ５０に供給して撮像画像等を表示させることで、撮像状態例えば被写体の位置や画角及び明るさ等の確認を行うことができる。さらに、このベースバンド処理部１３は、記録再生部３０により再生された可変速フレームレートの画像信号のフレームレートを変換することにより、出力フレームレートの再生画像信号を生成してＤ／Ａ変換器１５に供給する。Ｄ／Ａ変換器１５は、再生画像信号をアナログ信号に変換して出力端子１６から外部に出力する。
また、上記音声処理部２０は、マイクロホン２１、このマイクロホン２１により得られた音声信号が供給されるＡ／Ｄ変換器２２、このＡ／Ｄ変換器２２に接続された音声信号処理部２３、この音声信号処理部２３に接続されたＤ／Ａ変換器２４、このＤ／Ａ変換器２４に接続されたスピーカ２５等からなり、上記音声信号処理部２３が記録再生部３０に接続されている。
この音声処理部２０では、上記マイクロホン２１により得られた音声信号がＡ／Ｄ変換器２２によりデジタル信号に変換された音声信号が供給される音声信号処理部２３において、上記画像処理部１０により得られる画像信号のシステムフレームレートに合わせたフレーム数の音声信号を生成して記録再生部３０に供給する。また、上記音声信号処理部２３は、メタデータから算出した再生スピードで再生された音声信号をＤ／Ａ変換器２４に供給する。Ｄ／Ａ変換器２４は、再生音声信号をアナログ信号に変換してスピーカ２５から出力する。
さらに、上記記録再生部３０は、上記画像処理部１０のベースバンド処理部１３に接続されたエンコーダ３１及びデコーダ３２、上記音声処理部２０の上記音声信号処理部２３、上記エンコーダ３１及びデコーダ３２に接続された記録再生処理部３３からなる。
この記録再生部３０におけるエンコーダ３１では、上記画像処理部１０のベースバンド処理部１３から供給される可変速フレームレートの画像信号を圧縮処理して、記録フレームレートの画像信号と、この記録フレームレートの画像信号の撮像フレームレートとシステムフレームレートを示す識別情報を生成し、上記記録フレームレートの画像信号と識別情報を記録再生処理部３３に供給する。
そして、記録再生処理部３３は、上記音声処理部２０の音声信号処理部２３から供給されるシステムフレームレートに合わせたフレーム数の音声信号Ａと、上記記録再生処理部３３により生成された上記画像信号Ｖ及び識別情報をＡ／Ｖデータにまとめてファイルとして記録単位毎にエラー訂正符号を付加した記録フレームレートの記録信号を生成して、光ディスクや半導体メモリなどの記録媒体３５に記録する。
すなわち、この撮像画像記録再生システム１００では、画像信号を取得する画像処理部１０と、音声信号を取得する音声処理部２０と、上記画像処理部１０と音声処理部２０に接続された記録再生部３０と、これら動作を制御する制御部４０にて記録系が構成され、上記画像処理部１０により、被写体を撮像して、可変フレームレートＸＦの画像信号を取得するとともに、上記音声処理部２０により音声信号を取得してシステムフレームレートに合わせたフレーム数の音声信号を生成し、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録再生部３０により上記記録フレームレートの記録信号を記録媒体３５に記録する際に、上記記録再生部３０の記録再生処理部３３により、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに上記識別情報すなわち撮像フレームレートとシステムフレームレートを例えばＭＸＦ（Material Exchange Format）ファイルとして上記記録媒体３５に記録する。
ここで、ＭＸＦファイルは、そのファイル構造を図２に示すように、ファイルヘッダＦＨ、ファイルボディＦＢ及びファイルフッタＦＦからなり、ファイルヘッダＦＨは、ランインＲＩ、ヘッダパーティションパックＨＰＰ、ヘッダメタデータＨＭ、及びインテックステーブルＩＴからなり、パーティション情報やファイル全体に関する情報についてのメタデータなどを含む。そして、上記ファイルボディＦＢは、ビデオファイルとオーディオファイルが図３に示すように交互に繰り返し挿入されたエッセンスコンテナＥＣからなり、上記ヘッダメタデータＨＭとして、タイムコードやＶＡＵＸなどとともに、可変速記録フラグ、撮像フレームレート、システムフレームレートすなわち、上記識別情報が上記ファイルボディＦＢに付加されている。また、上記ファイルフッタＦＦは、ファイルの終わりを示すフッタポーションパックからなる。
なお、この撮像画像記録再生システム１００では、上記記録媒体３５に記録する信号のファイル形式は、上記ＭＸＦファイルに限定されるものでなく、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに上記識別情報すなわち撮像フレームレートとシステムフレームレートを記録することのできるものであればよく、ＭＰ４ファイルなどを採用してもよい。
また、上記記録再生部３０は、上記記録再生処理部３３により上記記録媒体３５からＡ／Ｖデータを再生して得られる再生画像信号をデコーダ３２を介して上記画像処理部１０のベースバンド処理部１３に供給するとともに、上記記録媒体３５からＡ／Ｖデータを再生して得られる上記画像信号のシステムレートに合わせたフレーム数の再生音声信号を上記音声処理部２０の音声信号処理部２３に供給する。
そして、上記画像処理部１０は、上記記録媒体３５からＡ／Ｖデータを再生して得られる上記可変フレームレートの再生画像信号を上記画像処理部１０のベースバンド処理部１３から出力フレームレートの再生画像信号としてＤ／Ａ変換器１５に供給し、Ｄ／Ａ変換器１５によりアナログ信号に変換して、出力端子１６から外部に出力する。
また、上記音声処理部２０は、上記記録媒体３５からＡ／Ｖデータを再生することにより得られた再生音声信号、すなわち、上記画像信号のシステムレートに合わせたフレーム数の再生音声信号から、制御部４０により指定される再生レートの音声信号を音声信号処理部２３により生成し、フレーム単位にまとめてＤ／Ａ変換器２４に供給し、再生レートの音声信号をＤ／Ａ変換器２４によりアナログ信号に変換して、スピーカ２５から出力する。
ここで、制御部４０は、上記記録媒体３５から、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号を読み出す前に、上記記録再生部３０により、上記記録媒体３５から上記メタデータを読み出して上記撮像フレームレートとシステムフレームレートを取得し、取得した上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する。
すなわち、この撮像画像記録再生システム１００では、上記画像処理部１０と、音声処理部２０と、上記画像処理部１０と音声処理部２０に接続された記録再生部３０と、これら動作を制御する制御部４０にて再生系が構成され、上記記録再生部３０により上記記録媒体３５から撮像フレームレートとシステムフレームレートを読み込み、上記制御部４０により上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定し、上記記録媒体３５から読み出される上記可変フレームレートの画像信号を上記画像処理部１０により再生フレームレートの画像信号として出力するとともに、上記記録媒体３５から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記音声処理部２０により上記再生レートの音声信号を生成して出力し、上記再生フレームレートの画像信号と同じ速度で音声信号を再生する。
ここで、この撮像画像記録再生システム１００では、画像信号の記録／再生を行うに当たり、通常のフレームレート例えば３０フレーム／秒にフレームレートを指定して画像信号の記録／再生を行う通常モードと、３０フレーム／秒以外のフレームレートを指定して画像信号の記録／再生を行う可変速モードがあり、制御部４０により動作モードが設定される。
例えば、図４に示すように、制御部４０により通常モードが設定され、撮像部１１により通常のフレームレート例えば３０フレーム／秒の画像信号を取得して、記録再生部３０により記録媒体３５を介して記録／再生する場合には、上記画像信号のフレームレートすなわち３０フレーム／秒に対応するフレーム数の音声信号を音声処理部２０により取得し、上記記録再生部３０において、上記画像処理部１０により取得した３０フレーム／秒の画像信号をエンコーダ３１により圧縮処理した画像信号に、音声処理部２０により取得した音声信号を付加した３０フレーム分のＡ／Ｖデータにまとめて記録単位毎にエラー訂正符号を付けた記録フレームレート（３０フレーム／秒）の記録信号を記録再生処理部３３により生成して記録媒体３５に記録する。
そして、上記記録媒体３５に記録された３０フレーム／秒の画像信号を再生する場合には、上記記録再生処理部３３で上記記録媒体３５からＡ／Ｖデータを上記記録単位毎に再生することにより、圧縮された３０フレーム／秒の画像信号と、上記画像信号のフレームレートすなわち３０フレーム／秒に対応するフレーム数の音声信号を得る。
上記圧縮された３０フレーム／秒の画像信号は、デコーダ３２１で伸張処理を施すことにより元の３０フレーム／秒の画像信号に戻され、ベースバンド処理部１３から出力フレームレートの再生画像信号としてＤ／Ａ変換器１５に供給され、Ｄ／Ａ変換器１５によりアナログ信号に変換され、出力端子１６から外部に出力される。
また、上記画像信号のフレームレートすなわち３０フレーム／秒に対応する音声信号は、上記音声処理部２０の音声信号処理部２３によりフレーム単位にまとめられてＤ／Ａ変換器２４に供給され、Ｄ／Ａ変換器２４によりアナログ信号に変換され、スピーカ２５から出力される。
すなわち、この撮像画像記録再生システム１００は、通常モードでは、３０フレーム／秒をシステムフレームレートとし、記録フレームレート及び再生フレームレートが共に３０フレーム／秒のシステムフレームレートで動作する。
また、例えば、図６に示すように、上記制御部４０により制御部４０により可変速モードが設定され、３０フレーム／秒以外の可変速フレームレート例えば１５フレーム／秒が指定されると、この撮像画像記録再生システム１００では、指定された可変速フレームレートすなわち１５フレーム／秒の画像信号を画像処理部１０により取得し、また、音声処理部２０において、マイクロホン２１により得られた音声信号をデジタル化した音声信号から、上記画像処理部１０により得られる画像信号のシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号を生成する。
記録再生部３０では、図７に示すように、上記画像処理部１０により取得した１５フレーム／秒の画像信号をエンコーダ３１により圧縮処理した画像信号に、音声処理部２０により生成されたシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号を付加した３０フレー分のＡ／Ｖデータにまとめて記録単位毎にエラー訂正符号を付けた記録フレームレート（６０フレーム／秒）の記録信号を記録再生処理部３３により生成して記録媒体３５に記録する。
そして、上記記録媒体３５に記録された可変速フレームレートすなわち１５フレーム／秒の画像信号を再生する場合には、上記記録再生処理部３３で上記記録媒体３５からＡ／Ｖデータを上記記録単位毎に再生することにより、圧縮された１５フレーム／秒の画像信号と、システムフレームレート（３０フレーム／秒）のフレーム数の音声信号を得る。
上記圧縮された１５フレーム／秒の画像信号は、デコーダ３２１で伸張処理を施すことにより元の１５フレーム／秒の画像信号に戻して、詰めて連続した画像信号とされ、ベースバンド処理部１３から出力フレームレート（３０フレーム／秒）で２倍速の再生画像信号としてＤ／Ａ変換器１５に供給され、Ｄ／Ａ変換器１５によりアナログ信号に変換され、出力端子１６から外部に出力される。
また、上記システムフレームレート（３０フレーム／秒）のフレーム数の音声信号は、上記制御部４０によりメタデータからシステムフレームレート（３０フレーム／秒）／可変速フレームレート（１５フレーム／秒）として算出される再生スピードすなわち２倍速が上記音声処理部２０の音声信号処理部２３に指定されることにより、上記音声信号処理部２３において２倍速の再生音声信号に変換されてフレーム単位にまとめられてＤ／Ａ変換器２４に供給され、Ｄ／Ａ変換器２４によりアナログ信号に変換され、スピーカ２５から出力される。
すなわち、この撮像画像記録再生システム１００は、記録系において、可変フレームレート（１５フレーム／秒）の画像信号とシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号から記録フレームレート（６０フレーム／秒）の記録信号を生成し、上記記録フレームレート（６０フレーム／秒）の記録信号を記録媒体３５に記録する際に、上記可変フレームレート（１５フレーム／秒）の画像信号と上記システムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号とともに撮像フレームレート（１５フレーム／秒）とシステムフレームレート（３０フレーム／秒）をファイルとして上記記録媒体３５に記録し、再生系において、上記記録媒体３５から上記撮像フレームレート（１５フレーム／秒）の画像信号を再生フレームレート（３０フレーム／秒）で２倍速の再生画像信号として出力するとともに、上記撮像フレームレート（１５フレーム／秒）とシステムフレームレート（３０フレーム／秒）の比から決定した再生レートで音声信号を生成することにより、上記再生フレームレート（３０フレーム／秒）の画像信号と同じ速度で音声信号を再生して出力することにより、２倍速で画像信号と音声信号の再生出力を得ることができる。
また、例えば、図８に示すように、上記制御部４０により制御部４０により可変速モードが設定され、３０フレーム／秒以外の可変速フレームレート例えば４５フレーム／秒が指定されると、この撮像画像記録再生システム１００では、指定された可変速フレームレートすなわち４５フレーム／秒の画像信号を画像処理部１０により取得し、また、音声処理部２０において、マイクロホン２１により得られた音声信号をデジタル化した音声信号から、上記画像処理部１０により得られる画像信号のシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号を生成する。
記録再生部３０では、図９に示すように、上記画像処理部１０により取得した４５フレーム／秒の画像信号をエンコーダ３１により圧縮処理した画像信号に、音声処理部２０により生成されたシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号を付加した３０フレー分のＡ／Ｖデータにまとめて記録単位毎にエラー訂正符号を付けた記録フレームレート（６０フレーム／秒）の記録信号を記録再生処理部３３により生成して記録媒体３５に記録する。
そして、上記記録媒体３５に記録された可変速フレームレートすなわち４５フレーム／秒の画像信号を再生する場合には、上記記録再生処理部３３で上記記録媒体３５からＡ／Ｖデータを上記記録単位毎に再生することにより、圧縮された４５フレーム／秒の画像信号と、システムフレームレート（３０フレーム／秒）のフレーム数の音声信号を得る。
上記圧縮された４５フレーム／秒の画像信号は、デコーダ３２１で伸張処理を施すことにより元の４５フレーム／秒の画像信号に戻して、詰めて連続した画像信号とされ、ベースバンド処理部１３から出力フレームレート（３０フレーム／秒）で０．６６倍速の再生画像信号としてＤ／Ａ変換器１５に供給され、Ｄ／Ａ変換器１５によりアナログ信号に変換され、出力端子１６から外部に出力される。
また、上記システムフレームレート（３０フレーム／秒）のフレーム数の音声信号は、上記制御部４０によりメタデータからシステムフレームレート（３０フレーム／秒）／可変速フレームレート（４５フレーム／秒）として算出される再生スピードすなわち０．６６倍速が上記音声処理部２０の音声信号処理部２３に指定されることにより、上記音声信号処理部２３において０．６６倍速の再生音声信号に変換されてフレーム単位にまとめられてＤ／Ａ変換器２４に供給され、Ｄ／Ａ変換器２４によりアナログ信号に変換され、スピーカ２５から出力される。
すなわち、この撮像画像記録再生システム１００は、記録系において、可変フレームレート（４５フレーム／秒）の画像信号とシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号から記録フレームレート（６０フレーム／秒）の記録信号を生成し、上記記録フレームレート（６０フレーム／秒）の記録信号を記録媒体３５に記録する際に、上記可変フレームレート（４５フレーム／秒）の画像信号と上記システムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号とともに撮像フレームレート（４５フレーム／秒）とシステムフレームレート（３０フレーム／秒）をファイルとして上記記録媒体３５に記録し、再生系において、上記記録媒体３５から上記撮像フレームレート（４５フレーム／秒）の画像信号を再生して再生フレームレート（３０フレーム／秒）で０．６６倍速の再生画像信号として出力するとともに、上記撮像フレームレート（４５フレーム／秒）とシステムフレームレート（３０フレーム／秒）の比から決定した再生レート（０．６６倍速）で音声信号を生成することにより、上記再生フレームレート（３０フレーム／秒）の画像信号と同じ速度で音声信号を再生して出力することにより、０．６６倍速で画像信号と音声信号の再生出力を得ることができる。
このように、この撮像画像記録再生システム１００では、可変速モードにおいて、画像処理部１０により可変速フレームレートの画像信号を取得して記録再生するに当たり、音声処理部２０において、マイクロホン２１により得られた音声信号をデジタル化した音声信号から、システムフレームレートのフレーム数の音声信号を生成して、記録再生部３０により、可変速フレームレートの画像信号と可変速フレームレートに合わせたフレーム数の音声信号をＡ／Ｖデータにまとめて、記録媒体３５を介して記録再生する。すなわち、可変速モードでは、音声信号は、画像信号とフレーム単位での同期をとらずに、システムフレームレートのフレーム数分を記録する。
これにより、可変速フレームレートの画像信号を音声信号とともに記録再生することができる。
例えば、この撮像画像記録再生システム１００では、２４Ｐ（プログレッシブ方式の２４フレーム／秒）に対応させ場合、可変速モードにおいて、画像処理部１０により可変速フレームレート（１２Ｐ）の画像信号を取得して記録再生するに当たり、音声処理部２０において、マイクロホン２１により得られた音声信号から、システムフレームレート（２４Ｐ）のフレーム数の音声信号を生成して、記録再生部３０により、可変速フレームレート（１２Ｐ）の画像信号とシステムフレームレート（２４Ｐ）のフレーム数の音声信号をＡ／Ｖデータにまとめて、記録媒体３５を介して記録フレームレート（２４Ｐ）で記録再生する。この場合も、音声信号は、画像信号とフレーム単位での同期をとらずに、収録される。
また、上記記録再生部３０において、可変速フレームレートの画像のフレームを示す識別情報をメタデータとして生成して、可変速フレームレートの画像信号及び上記可変速フレームレートに合わせたサンプル数の音声信号とともに上記識別情報を記録することによって、再生時に、特殊な処理（加工）を必要とすることなく、上記識別情報を基づいて、画像信号の可変速フレームレートに合わせた音声信号を再生することができる。
なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく、添付の請求の範囲及びその趣旨を逸脱することなく、様々な変更、置換又はその同等のものを行うことができることは同業者にとって明らかである。
本発明は、例えば図１に示すような構成の撮像画像記録再生システム１００に適用される。
この撮像画像記録再生システム１００は、画像信号を取得する画像処理部１０と、音声信号を取得する音声処理部２０と、上記画像処理部１０と音声処理部２０に接続された記録再生部３０と、これら動作を制御する制御部４０からなる。
上記画像処理部１０は、例えばＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いて構成された撮像部１１、この撮像部１１により得られた撮像信号が撮像信号処理部１２を介して供給されるベースバンド処理部１３、このベースバンド処理部１３に接続されたビューファインダ１４及びＤ／Ａ変換器１５等からなり、上記ベースバンド処理部１３が記録再生部３０に接続されている。
上記画像処理部１０の撮像部１１は、撮像フレームレートを可変して可変速フレームレート撮像画像信号を出力する機能を有するもので、制御部４０からの制御信号により上記撮像部１１の動作を制御し、例えばＣＣＤイメージセンサの電荷蓄積期間や撮像電荷の読み出しタイミング等を制御することで撮像フレームレートを可変することができるようになっている。
撮像信号処理部１２は、上記撮像部１１から供給される可変速フレームレートの撮像信号を増幅したのちノイズ成分を除去する。またノイズ除去された画像信号をデジタル信号に変換したのち、フィードバッククランプ処理やフレアー補正、撮像素子の欠陥に対する補正処理、プロセス処理等を行い、処理済みの画像信号をベースバンド処理部１３に供給する。
そして、ベースバンド処理部１３は、撮像信号処理部１２から供給される可変速フレームレートの画像信号を記録再生部３０に供給するとともに、可変速フレームレートの画像信号のフレームレートを変換することにより、ビューファインダ信号を生成してビューファインダ１４に供給する。このように、ビューファインダ信号をビューファインダ５０に供給して撮像画像等を表示させることで、撮像状態例えば被写体の位置や画角及び明るさ等の確認を行うことができる。さらに、このベースバンド処理部１３は、記録再生部３０により再生された可変速フレームレートの画像信号のフレームレートを変換することにより、出力フレームレートの再生画像信号を生成してＤ／Ａ変換器１５に供給する。Ｄ／Ａ変換器１５は、再生画像信号をアナログ信号に変換して出力端子１６から外部に出力する。
また、上記音声処理部２０は、マイクロホン２１、このマイクロホン２１により得られた音声信号が供給されるＡ／Ｄ変換器２２、このＡ／Ｄ変換器２２に接続された音声信号処理部２３、この音声信号処理部２３に接続されたＤ／Ａ変換器２４、このＤ／Ａ変換器２４に接続されたスピーカ２５等からなり、上記音声信号処理部２３が記録再生部３０に接続されている。
この音声処理部２０では、上記マイクロホン２１により得られた音声信号がＡ／Ｄ変換器２２によりデジタル信号に変換された音声信号が供給される音声信号処理部２３において、上記画像処理部１０により得られる画像信号のシステムフレームレートに合わせたフレーム数の音声信号を生成して記録再生部３０に供給する。また、上記音声信号処理部２３は、メタデータから算出した再生スピードで再生された音声信号をＤ／Ａ変換器２４に供給する。Ｄ／Ａ変換器２４は、再生音声信号をアナログ信号に変換してスピーカ２５から出力する。
さらに、上記記録再生部３０は、上記画像処理部１０のベースバンド処理部１３に接続されたエンコーダ３１及びデコーダ３２、上記音声処理部２０の上記音声信号処理部２３、上記エンコーダ３１及びデコーダ３２に接続された記録再生処理部３３からなる。
この記録再生部３０におけるエンコーダ３１では、上記画像処理部１０のベースバンド処理部１３から供給される可変速フレームレートの画像信号を圧縮処理して、記録フレームレートの画像信号と、この記録フレームレートの画像信号の撮像フレームレートとシステムフレームレートを示す識別情報を生成し、上記記録フレームレートの画像信号と識別情報を記録再生処理部３３に供給する。
そして、記録再生処理部３３は、上記音声処理部２０の音声信号処理部２３から供給されるシステムフレームレートに合わせたフレーム数の音声信号Ａと、上記記録再生処理部３３により生成された上記画像信号Ｖ及び識別情報をＡ／Ｖデータにまとめてファイルとして記録単位毎にエラー訂正符号を付加した記録フレームレートの記録信号を生成して、光ディスクや半導体メモリなどの記録媒体３５に記録する。
すなわち、この撮像画像記録再生システム１００では、画像信号を取得する画像処理部１０と、音声信号を取得する音声処理部２０と、上記画像処理部１０と音声処理部２０に接続された記録再生部３０と、これら動作を制御する制御部４０にて記録系が構成され、上記画像処理部１０により、被写体を撮像して、可変フレームレートＸＦの画像信号を取得するとともに、上記音声処理部２０により音声信号を取得してシステムフレームレートに合わせたフレーム数の音声信号を生成し、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録再生部３０により上記記録フレームレートの記録信号を記録媒体３５に記録する際に、上記記録再生部３０の記録再生処理部３３により、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに上記識別情報すなわち撮像フレームレートとシステムフレームレートを例えばＭＸＦ（Material Exchange Format）ファイルとして上記記録媒体３５に記録する。
ここで、ＭＸＦファイルは、そのファイル構造を図２に示すように、ファイルヘッダＦＨ、ファイルボディＦＢ及びファイルフッタＦＦからなり、ファイルヘッダＦＨは、ランインＲＩ、ヘッダパーティションパックＨＰＰ、ヘッダメタデータＨＭ、及びインテックステーブルＩＴからなり、パーティション情報やファイル全体に関する情報についてのメタデータなどを含む。そして、上記ファイルボディＦＢは、ビデオファイルとオーディオファイルが図３に示すように交互に繰り返し挿入されたエッセンスコンテナＥＣからなり、上記ヘッダメタデータＨＭとして、タイムコードやＶＡＵＸなどとともに、可変速記録フラグ、撮像フレームレート、システムフレームレートすなわち、上記識別情報が上記ファイルボディＦＢに付加されている。また、上記ファイルフッタＦＦは、ファイルの終わりを示すフッタポーションパックからなる。
なお、この撮像画像記録再生システム１００では、上記記録媒体３５に記録する信号のファイル形式は、上記ＭＸＦファイルに限定されるものでなく、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに上記識別情報すなわち撮像フレームレートとシステムフレームレートを記録することのできるものであればよく、ＭＰ４ファイルなどを採用してもよい。
また、上記記録再生部３０は、上記記録再生処理部３３により上記記録媒体３５からＡ／Ｖデータを再生して得られる再生画像信号をデコーダ３２を介して上記画像処理部１０のベースバンド処理部１３に供給するとともに、上記記録媒体３５からＡ／Ｖデータを再生して得られる上記画像信号のシステムレートに合わせたフレーム数の再生音声信号を上記音声処理部２０の音声信号処理部２３に供給する。
そして、上記画像処理部１０は、上記記録媒体３５からＡ／Ｖデータを再生して得られる上記可変フレームレートの再生画像信号を上記画像処理部１０のベースバンド処理部１３から出力フレームレートの再生画像信号としてＤ／Ａ変換器１５に供給し、Ｄ／Ａ変換器１５によりアナログ信号に変換して、出力端子１６から外部に出力する。
また、上記音声処理部２０は、上記記録媒体３５からＡ／Ｖデータを再生することにより得られた再生音声信号、すなわち、上記画像信号のシステムレートに合わせたフレーム数の再生音声信号から、制御部４０により指定される再生レートの音声信号を音声信号処理部２３により生成し、フレーム単位にまとめてＤ／Ａ変換器２４に供給し、再生レートの音声信号をＤ／Ａ変換器２４によりアナログ信号に変換して、スピーカ２５から出力する。
ここで、制御部４０は、上記記録媒体３５から、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号を読み出す前に、上記記録再生部３０により、上記記録媒体３５から上記メタデータを読み出して上記撮像フレームレートとシステムフレームレートを取得し、取得した上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する。
すなわち、この撮像画像記録再生システム１００では、上記画像処理部１０と、音声処理部２０と、上記画像処理部１０と音声処理部２０に接続された記録再生部３０と、これら動作を制御する制御部４０にて再生系が構成され、上記記録再生部３０により上記記録媒体３５から撮像フレームレートとシステムフレームレートを読み込み、上記制御部４０により上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定し、上記記録媒体３５から読み出される上記可変フレームレートの画像信号を上記画像処理部１０により再生フレームレートの画像信号として出力するとともに、上記記録媒体３５から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記音声処理部２０により上記再生レートの音声信号を生成して出力し、上記再生フレームレートの画像信号と同じ速度で音声信号を再生する。
ここで、この撮像画像記録再生システム１００では、画像信号の記録／再生を行うに当たり、通常のフレームレート例えば３０フレーム／秒にフレームレートを指定して画像信号の記録／再生を行う通常モードと、３０フレーム／秒以外のフレームレートを指定して画像信号の記録／再生を行う可変速モードがあり、制御部４０により動作モードが設定される。
例えば、図４に示すように、制御部４０により通常モードが設定され、撮像部１１により通常のフレームレート例えば３０フレーム／秒の画像信号を取得して、記録再生部３０により記録媒体３５を介して記録／再生する場合には、上記画像信号のフレームレートすなわち３０フレーム／秒に対応するフレーム数の音声信号を音声処理部２０により取得し、上記記録再生部３０において、上記画像処理部１０により取得した３０フレーム／秒の画像信号をエンコーダ３１により圧縮処理した画像信号に、音声処理部２０により取得した音声信号を付加した３０フレーム分のＡ／Ｖデータにまとめて記録単位毎にエラー訂正符号を付けた記録フレームレート（３０フレーム／秒）の記録信号を記録再生処理部３３により生成して記録媒体３５に記録する。
そして、上記記録媒体３５に記録された３０フレーム／秒の画像信号を再生する場合には、上記記録再生処理部３３で上記記録媒体３５からＡ／Ｖデータを上記記録単位毎に再生することにより、圧縮された３０フレーム／秒の画像信号と、上記画像信号のフレームレートすなわち３０フレーム／秒に対応するフレーム数の音声信号を得る。
上記圧縮された３０フレーム／秒の画像信号は、デコーダ３２１で伸張処理を施すことにより元の３０フレーム／秒の画像信号に戻され、ベースバンド処理部１３から出力フレームレートの再生画像信号としてＤ／Ａ変換器１５に供給され、Ｄ／Ａ変換器１５によりアナログ信号に変換され、出力端子１６から外部に出力される。
また、上記画像信号のフレームレートすなわち３０フレーム／秒に対応する音声信号は、上記音声処理部２０の音声信号処理部２３によりフレーム単位にまとめられてＤ／Ａ変換器２４に供給され、Ｄ／Ａ変換器２４によりアナログ信号に変換され、スピーカ２５から出力される。
すなわち、この撮像画像記録再生システム１００は、通常モードでは、３０フレーム／秒をシステムフレームレートとし、記録フレームレート及び再生フレームレートが共に３０フレーム／秒のシステムフレームレートで動作する。
また、例えば、図６に示すように、上記制御部４０により制御部４０により可変速モードが設定され、３０フレーム／秒以外の可変速フレームレート例えば１５フレーム／秒が指定されると、この撮像画像記録再生システム１００では、指定された可変速フレームレートすなわち１５フレーム／秒の画像信号を画像処理部１０により取得し、また、音声処理部２０において、マイクロホン２１により得られた音声信号をデジタル化した音声信号から、上記画像処理部１０により得られる画像信号のシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号を生成する。
記録再生部３０では、図７に示すように、上記画像処理部１０により取得した１５フレーム／秒の画像信号をエンコーダ３１により圧縮処理した画像信号に、音声処理部２０により生成されたシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号を付加した３０フレー分のＡ／Ｖデータにまとめて記録単位毎にエラー訂正符号を付けた記録フレームレート（６０フレーム／秒）の記録信号を記録再生処理部３３により生成して記録媒体３５に記録する。
そして、上記記録媒体３５に記録された可変速フレームレートすなわち１５フレーム／秒の画像信号を再生する場合には、上記記録再生処理部３３で上記記録媒体３５からＡ／Ｖデータを上記記録単位毎に再生することにより、圧縮された１５フレーム／秒の画像信号と、システムフレームレート（３０フレーム／秒）のフレーム数の音声信号を得る。
上記圧縮された１５フレーム／秒の画像信号は、デコーダ３２１で伸張処理を施すことにより元の１５フレーム／秒の画像信号に戻して、詰めて連続した画像信号とされ、ベースバンド処理部１３から出力フレームレート（３０フレーム／秒）で２倍速の再生画像信号としてＤ／Ａ変換器１５に供給され、Ｄ／Ａ変換器１５によりアナログ信号に変換され、出力端子１６から外部に出力される。
また、上記システムフレームレート（３０フレーム／秒）のフレーム数の音声信号は、上記制御部４０によりメタデータからシステムフレームレート（３０フレーム／秒）／可変速フレームレート（１５フレーム／秒）として算出される再生スピードすなわち２倍速が上記音声処理部２０の音声信号処理部２３に指定されることにより、上記音声信号処理部２３において２倍速の再生音声信号に変換されてフレーム単位にまとめられてＤ／Ａ変換器２４に供給され、Ｄ／Ａ変換器２４によりアナログ信号に変換され、スピーカ２５から出力される。
すなわち、この撮像画像記録再生システム１００は、記録系において、可変フレームレート（１５フレーム／秒）の画像信号とシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号から記録フレームレート（６０フレーム／秒）の記録信号を生成し、上記記録フレームレート（６０フレーム／秒）の記録信号を記録媒体３５に記録する際に、上記可変フレームレート（１５フレーム／秒）の画像信号と上記システムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号とともに撮像フレームレート（１５フレーム／秒）とシステムフレームレート（３０フレーム／秒）をファイルとして上記記録媒体３５に記録し、再生系において、上記記録媒体３５から上記撮像フレームレート（１５フレーム／秒）の画像信号を再生フレームレート（３０フレーム／秒）で２倍速の再生画像信号として出力するとともに、上記撮像フレームレート（１５フレーム／秒）とシステムフレームレート（３０フレーム／秒）の比から決定した再生レートで音声信号を生成することにより、上記再生フレームレート（３０フレーム／秒）の画像信号と同じ速度で音声信号を再生して出力することにより、２倍速で画像信号と音声信号の再生出力を得ることができる。
また、例えば、図８に示すように、上記制御部４０により制御部４０により可変速モードが設定され、３０フレーム／秒以外の可変速フレームレート例えば４５フレーム／秒が指定されると、この撮像画像記録再生システム１００では、指定された可変速フレームレートすなわち４５フレーム／秒の画像信号を画像処理部１０により取得し、また、音声処理部２０において、マイクロホン２１により得られた音声信号をデジタル化した音声信号から、上記画像処理部１０により得られる画像信号のシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号を生成する。
記録再生部３０では、図９に示すように、上記画像処理部１０により取得した４５フレーム／秒の画像信号をエンコーダ３１により圧縮処理した画像信号に、音声処理部２０により生成されたシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号を付加した３０フレー分のＡ／Ｖデータにまとめて記録単位毎にエラー訂正符号を付けた記録フレームレート（６０フレーム／秒）の記録信号を記録再生処理部３３により生成して記録媒体３５に記録する。
そして、上記記録媒体３５に記録された可変速フレームレートすなわち４５フレーム／秒の画像信号を再生する場合には、上記記録再生処理部３３で上記記録媒体３５からＡ／Ｖデータを上記記録単位毎に再生することにより、圧縮された４５フレーム／秒の画像信号と、システムフレームレート（３０フレーム／秒）のフレーム数の音声信号を得る。
上記圧縮された４５フレーム／秒の画像信号は、デコーダ３２１で伸張処理を施すことにより元の４５フレーム／秒の画像信号に戻して、詰めて連続した画像信号とされ、ベースバンド処理部１３から出力フレームレート（３０フレーム／秒）で０．６６倍速の再生画像信号としてＤ／Ａ変換器１５に供給され、Ｄ／Ａ変換器１５によりアナログ信号に変換され、出力端子１６から外部に出力される。
また、上記システムフレームレート（３０フレーム／秒）のフレーム数の音声信号は、上記制御部４０によりメタデータからシステムフレームレート（３０フレーム／秒）／可変速フレームレート（４５フレーム／秒）として算出される再生スピードすなわち０．６６倍速が上記音声処理部２０の音声信号処理部２３に指定されることにより、上記音声信号処理部２３において０．６６倍速の再生音声信号に変換されてフレーム単位にまとめられてＤ／Ａ変換器２４に供給され、Ｄ／Ａ変換器２４によりアナログ信号に変換され、スピーカ２５から出力される。
すなわち、この撮像画像記録再生システム１００は、記録系において、可変フレームレート（４５フレーム／秒）の画像信号とシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号から記録フレームレート（６０フレーム／秒）の記録信号を生成し、上記記録フレームレート（６０フレーム／秒）の記録信号を記録媒体３５に記録する際に、上記可変フレームレート（４５フレーム／秒）の画像信号と上記システムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号とともに撮像フレームレート（４５フレーム／秒）とシステムフレームレート（３０フレーム／秒）をファイルとして上記記録媒体３５に記録し、再生系において、上記記録媒体３５から上記撮像フレームレート（４５フレーム／秒）の画像信号を再生して再生フレームレート（３０フレーム／秒）で０．６６倍速の再生画像信号として出力するとともに、上記撮像フレームレート（４５フレーム／秒）とシステムフレームレート（３０フレーム／秒）の比から決定した再生レート（０．６６倍速）で音声信号を生成することにより、上記再生フレームレート（３０フレーム／秒）の画像信号と同じ速度で音声信号を再生して出力することにより、０．６６倍速で画像信号と音声信号の再生出力を得ることができる。
このように、この撮像画像記録再生システム１００では、可変速モードにおいて、画像処理部１０により可変速フレームレートの画像信号を取得して記録再生するに当たり、音声処理部２０において、マイクロホン２１により得られた音声信号をデジタル化した音声信号から、システムフレームレートのフレーム数の音声信号を生成して、記録再生部３０により、可変速フレームレートの画像信号と可変速フレームレートに合わせたフレーム数の音声信号をＡ／Ｖデータにまとめて、記録媒体３５を介して記録再生する。すなわち、可変速モードでは、音声信号は、画像信号とフレーム単位での同期をとらずに、システムフレームレートのフレーム数分を記録する。
これにより、可変速フレームレートの画像信号を音声信号とともに記録再生することができる。
例えば、この撮像画像記録再生システム１００では、２４Ｐ（プログレッシブ方式の２４フレーム／秒）に対応させ場合、可変速モードにおいて、画像処理部１０により可変速フレームレート（１２Ｐ）の画像信号を取得して記録再生するに当たり、音声処理部２０において、マイクロホン２１により得られた音声信号から、システムフレームレート（２４Ｐ）のフレーム数の音声信号を生成して、記録再生部３０により、可変速フレームレート（１２Ｐ）の画像信号とシステムフレームレート（２４Ｐ）のフレーム数の音声信号をＡ／Ｖデータにまとめて、記録媒体３５を介して記録フレームレート（２４Ｐ）で記録再生する。この場合も、音声信号は、画像信号とフレーム単位での同期をとらずに、収録される。
また、上記記録再生部３０において、可変速フレームレートの画像のフレームを示す識別情報をメタデータとして生成して、可変速フレームレートの画像信号及び上記可変速フレームレートに合わせたサンプル数の音声信号とともに上記識別情報を記録することによって、再生時に、特殊な処理（加工）を必要とすることなく、上記識別情報を基づいて、画像信号の可変速フレームレートに合わせた音声信号を再生することができる。
なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく、添付の請求の範囲及びその趣旨を逸脱することなく、様々な変更、置換又はその同等のものを行うことができることは同業者にとって明らかである。
Claims (11)
- 被写体を撮像して、可変フレームレートの画像信号を出力する画像処理手段と、
音声信号を取得し、システムフレームレートに合わせたフレーム数の音声信号を生成して出力する音声処理手段と、
上記画像処理手段により取得された画像信号と上記音声処理手段により取得された音声信号を記録媒体に記録する記録手段と、
これら各手段の動作を制御する制御手段を備え、
上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録することを特徴とする撮像画像記録装置。 - 上記記録信号として、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像の可変フレーム数とシステムフレームレートに合わせたフレーム数のメタデータを記録媒体に記録することを特徴とする請求項１記載の撮像画像記録装置。
- 上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをＭＸＦ（Material Exchange Format）ファイルとして上記記録媒体に記録することを特徴とする請求項１記載の撮像画像記録装置。
- 上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをＭＰ４ファイルとして上記記録媒体に記録することを特徴とする請求項１記載の撮像画像記録装置。
- 被写体を撮像して、可変フレームレートの画像信号を取得するとともに、音声信号を取得してシステムフレームレートに合わせたフレーム数の音声信号を生成し、
上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録する
ことを特徴とする撮像画像記録方法。 - 被写体を撮像した可変フレームレートの画像信号とシステムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがファイルとして記録された記録媒体から上記画像信号と音声信号を再生する撮像画像再生装置であって、
上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する再生制御手段と、
上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力する再生画像処理手段と、
上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力する再生音声処理手段とを備え、
上記撮像フレームレートとシステムフレームレートの比から決定した再生レートの音声信号を生成することにより、
上記再生フレームレートの画像信号と同じ速度で音声信号を再生することを特徴とする撮像画像再生装置。 - 上記記録信号として、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像の可変フレーム数とシステムフレームレートに合わせたフレーム数のメタデータが記録された記録媒体から、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号を読み出す前に、上記メタデータを読み出して上記撮像フレームレートとシステムフレームレートを取得することを特徴とする請求項６記載の撮像画像再生装置。
- 上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがＭＸＦファイルとして記録された記録媒体から、上記画像信号と音声信号を再生することを特徴とする請求項６記載の撮像画像再生装置。
- 上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがＭＰ４ファイルとして記録された記録媒体から、上記画像信号と音声信号を再生することを特徴とする請求項６記載の撮像画像再生装置。
- 被写体を撮像した可変フレームレートの画像信号とシステムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがファイルとして記録された記録媒体から上記画像信号と音声信号を再生する撮像画像再生方法であって、
上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定し、
上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力するとともに、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生レートの音声信号を生成して出力し、
上記再生フレームレートの画像信号と同じ速度で音声信号を再生することを特徴とする撮像画像再生方法。 - 被写体を撮像して、可変フレームレートの画像信号を出力する画像処理手段と、音声信号を取得し、システムフレームレートに合わせたフレーム数の音声信号を生成して出力する音声処理手段と、上記画像処理手段により取得された画像信号と上記音声処理手段により取得された音声信号を記録媒体に記録する記録手段と、これら各手段の動作を制御する制御手段を備え、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録する記録系と、
上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する再生制御手段と、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力する再生画像処理手段と、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力する再生音声処理手段とを備え、上記撮像フレームレートとシステムフレームレートの比から決定した再生レートの音声信号を生成することにより、上記再生フレームレートの画像信号と同じ速度で音声信号を再生する再生系とからなる撮像画像記録再生システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007534493A JP4973497B2 (ja) | 2005-09-08 | 2006-09-08 | 撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システム |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005261094 | 2005-09-08 | ||
| JP2005261094 | 2005-09-08 | ||
| JP2007534493A JP4973497B2 (ja) | 2005-09-08 | 2006-09-08 | 撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システム |
| PCT/JP2006/317913 WO2007029832A1 (ja) | 2005-09-08 | 2006-09-08 | 撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2007029832A1 JPWO2007029832A1 (ja) | 2009-03-19 |
| JP4973497B2 true JP4973497B2 (ja) | 2012-07-11 |
Family
ID=37835946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007534493A Expired - Fee Related JP4973497B2 (ja) | 2005-09-08 | 2006-09-08 | 撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8081864B2 (ja) |
| EP (1) | EP1806922A4 (ja) |
| JP (1) | JP4973497B2 (ja) |
| KR (1) | KR101264817B1 (ja) |
| CN (1) | CN101091386B (ja) |
| WO (1) | WO2007029832A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4958758B2 (ja) * | 2007-12-14 | 2012-06-20 | 三星電子株式会社 | 記録装置、再生装置、記録方法、再生方法及びプログラム |
| JP2010178124A (ja) * | 2009-01-30 | 2010-08-12 | Victor Co Of Japan Ltd | 記録装置及び記録方法 |
| JP5631598B2 (ja) * | 2010-01-15 | 2014-11-26 | 株式会社ザクティ | データ処理装置 |
| JP7342520B2 (ja) * | 2019-08-23 | 2023-09-12 | ヤマハ株式会社 | 動画ファイルの処理方法およびプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000125210A (ja) * | 1998-10-14 | 2000-04-28 | Sony Corp | ビデオカメラ |
| JP2004180233A (ja) * | 2002-11-29 | 2004-06-24 | Matsushita Electric Ind Co Ltd | 受信再生装置、媒体及び情報集合体 |
| JP2004334046A (ja) * | 2003-05-09 | 2004-11-25 | Brother Ind Ltd | 圧縮音声データ再生装置、カラオケ装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002320203A (ja) * | 2001-04-19 | 2002-10-31 | Matsushita Electric Ind Co Ltd | 映像信号記録装置および映像信号再生装置 |
| US8023796B2 (en) * | 2000-11-07 | 2011-09-20 | Panasonic Corporation | Video signal producing system and video signal recording/reproducing device in that system |
| JP4277688B2 (ja) * | 2002-04-04 | 2009-06-10 | ソニー株式会社 | 撮像画像記録システムおよび信号記録装置と信号記録方法 |
| CN100380958C (zh) * | 2002-11-15 | 2008-04-09 | 索尼株式会社 | 发送装置、发送方法、再现装置、再现方法 |
| JP4332364B2 (ja) * | 2003-04-04 | 2009-09-16 | ソニー株式会社 | 映像記録システム，映像記録方法 |
| JP2004334064A (ja) * | 2003-05-12 | 2004-11-25 | Sharp Corp | 液晶表示装置及びその製造方法 |
-
2006
- 2006-09-08 CN CN2006800011688A patent/CN101091386B/zh not_active Expired - Fee Related
- 2006-09-08 EP EP06797739A patent/EP1806922A4/en not_active Withdrawn
- 2006-09-08 KR KR1020077010452A patent/KR101264817B1/ko not_active IP Right Cessation
- 2006-09-08 US US11/667,162 patent/US8081864B2/en not_active Expired - Fee Related
- 2006-09-08 WO PCT/JP2006/317913 patent/WO2007029832A1/ja active Application Filing
- 2006-09-08 JP JP2007534493A patent/JP4973497B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000125210A (ja) * | 1998-10-14 | 2000-04-28 | Sony Corp | ビデオカメラ |
| JP2004180233A (ja) * | 2002-11-29 | 2004-06-24 | Matsushita Electric Ind Co Ltd | 受信再生装置、媒体及び情報集合体 |
| JP2004334046A (ja) * | 2003-05-09 | 2004-11-25 | Brother Ind Ltd | 圧縮音声データ再生装置、カラオケ装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20080007633A1 (en) | 2008-01-10 |
| EP1806922A1 (en) | 2007-07-11 |
| KR101264817B1 (ko) | 2013-05-15 |
| EP1806922A4 (en) | 2010-11-03 |
| CN101091386A (zh) | 2007-12-19 |
| US8081864B2 (en) | 2011-12-20 |
| KR20080042763A (ko) | 2008-05-15 |
| JPWO2007029832A1 (ja) | 2009-03-19 |
| CN101091386B (zh) | 2010-05-19 |
| WO2007029832A1 (ja) | 2007-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| USRE36338E (en) | Electronic still camera for recording and regenerating image data and sound data | |
| JP4904914B2 (ja) | ストリーム生成装置、撮像装置、およびストリーム生成方法 | |
| JP4958758B2 (ja) | 記録装置、再生装置、記録方法、再生方法及びプログラム | |
| KR20080068149A (ko) | 동영상 촬영 장치, 동영상 재생 장치 및 기록 매체 | |
| KR20090063062A (ko) | 동화상 기록 장치, 동화상 재생 장치 및 기록매체 | |
| KR19990062665A (ko) | 비디오 기록 장치, 비디오 재생 장치 및 비디오 기록재생 장치 | |
| JP4973497B2 (ja) | 撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システム | |
| JP4743084B2 (ja) | 記録装置及び記録プログラム | |
| JP5600405B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5118465B2 (ja) | 記録装置、再生装置、記録方法、再生方法及びプログラム | |
| JP5290568B2 (ja) | 動画像記録装置、動画像再生装置及びプログラム | |
| JP3925487B2 (ja) | 撮像装置と撮像方法 | |
| JP2007158434A (ja) | カメラレコーダ | |
| KR100899046B1 (ko) | 동영상 촬영 장치, 동영상 재생 장치, 동영상 촬영 방법, 부호화 영상 신호 재생 방법, 및 동영상 재생 방법 | |
| JP2008288934A (ja) | 動画撮影装置および動画再生装置 | |
| JP2006180315A (ja) | 動画撮影装置、動画再生装置および動画撮影方法、動画再生方法 | |
| JP2015029211A (ja) | 撮像装置 | |
| JP2003348542A (ja) | ディジタルビデオカムコーダ | |
| JP2005286829A (ja) | 映像信号記録再生システム | |
| JP2004186905A (ja) | 撮像装置 | |
| KR20050036559A (ko) | 기록매체에 기록된 동영상신호를 다른 기록매체로 복사할수 있는 촬영장치 및 그의 기록매체간 동영상신호 복사방법 | |
| KR20090064274A (ko) | 기록 장치, 재생 장치, 기록 방법, 재생 방법 및 이를수행하는 컴퓨터 프로그램을 기록한 저장매체 | |
| JP2010199781A (ja) | 動画編集装置および動画編集方法 | |
| JPH1051735A (ja) | 高速度撮影装置 | |
| JP2009017063A (ja) | 動画像記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120313 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120326 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |