WO2015190248A1 - 符号化装置、符号化方法、カメラ、レコーダおよびカメラ一体型レコーダ - Google Patents

符号化装置、符号化方法、カメラ、レコーダおよびカメラ一体型レコーダ Download PDF

Info

Publication number
WO2015190248A1
WO2015190248A1 PCT/JP2015/064387 JP2015064387W WO2015190248A1 WO 2015190248 A1 WO2015190248 A1 WO 2015190248A1 JP 2015064387 W JP2015064387 W JP 2015064387W WO 2015190248 A1 WO2015190248 A1 WO 2015190248A1
Authority
WO
WIPO (PCT)
Prior art keywords
video signal
encoding
unit
signal
progressive
Prior art date
Application number
PCT/JP2015/064387
Other languages
English (en)
French (fr)
Inventor
典生 若槻
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/314,335 priority Critical patent/US10582197B2/en
Publication of WO2015190248A1 publication Critical patent/WO2015190248A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Definitions

  • the present technology relates to an encoding device, an encoding method, a camera, a recorder, and a camera-integrated recorder, and more particularly to an encoding device that handles progressive video signals.
  • the low-resolution encoded data is called a proxy for the high-resolution main line data.
  • the proxy data has a smaller resolution and code amount than the main line data, and it is easy to perform a decoding process and a transmission process associated with the content confirmation after recording. Therefore, there is an advantage that the proxy is recorded simultaneously with the main line data.
  • an HDTV signal of horizontal 1920 pixels ⁇ vertical 1080 lines is encoded by the MPEG-2 system and combined with data such as audio, and main line recording is performed at a data rate of about 60 Mbps, and the resolution (SIF: horizontal 352 ⁇ vertical 240 lines) It is encoded in MPEG-4 AVC format in Source (Input Format) and recorded as a proxy at a data rate of about 1.5 Mbps together with audio data.
  • HDTV content is recorded and stored as encoded data in the MPEG-2 system, MPEG-4 AVC system, etc., whether it is a broadcast / business camcorder or a home camcorder.
  • MPEG-2 system MPEG-4 AVC system
  • MPEG-4 AVC system etc.
  • most of them are 59.94i and 50i interlaced signals encoded.
  • the main content resolution is 4k.
  • the HDTV resolution is also shot, and further encoded and recorded with MPEG-2 or MPEG4-4 AVC, the compatibility with the existing HDTV content creation process can be enhanced.
  • the purpose of this technology is to enable efficient editing when mixed with video material encoded as an interlaced signal.
  • a first encoding unit that encodes a first video signal in a progressive format
  • Scan mode conversion for obtaining a third video signal by converting the first video signal or the second video signal having a reduced resolution and / or frame rate of the first video signal from a progressive signal to an interlaced signal
  • a second encoding unit that encodes the third video signal.
  • the first video signal of the progressive method is encoded by the first encoding unit.
  • an imaging unit that obtains the first video signal may be further provided.
  • the first video signal may be a progressive signal with a resolution of 4k or higher.
  • the scan mode conversion unit converts the first video signal or the second video signal in which the resolution and / or the frame rate of the first video signal is reduced from a progressive signal to an interlaced signal, thereby generating a third video signal.
  • the second video signal may be a progressive signal having an HD resolution and a frame rate of 29.97 Hz or 25 Hz.
  • the third video signal is encoded by the second encoding unit.
  • the second encoding unit may be configured to perform encoding in ISO / IEC 13818-2 MPEG-2 system or ISO / IEC 14496-10 MPEG-4 AVC system.
  • a recording unit for recording the encoded data obtained by the first encoding unit and the encoded data obtained by the second encoding unit on a recording medium may be further provided.
  • a third video signal obtained by converting a video signal from a progressive signal to an interlace signal is encoded.
  • a selection unit that selectively extracts the second video signal or the third video signal is further provided, and the second encoding unit encodes the video signal extracted by the selection unit. , May be.
  • a progressive signal or an interlace signal can be selectively encoded as a proxy as required.
  • FIG. 1 shows a configuration example of a camera-integrated recorder 100 according to the first embodiment.
  • This camera-integrated recorder 100 includes a system control unit 101, a user operation unit 102, an imaging unit 103, a video signal preprocessing unit 104, a main video encoding unit 105, a resolution / frame rate conversion unit 106, A scan mode conversion unit 107 is included.
  • the camera-integrated recorder 100 includes a proxy video encoding unit 109, an audio signal preprocessing unit 110, an audio encoding unit 111, a metadata generation unit 112, stream multiplexing units 113 and 114, a recording A media interface unit 115 and a recording medium 116 are provided.
  • the system control unit 101 controls each unit of the camera-integrated recorder 100.
  • the system control unit 101 includes one or more CPUs (Central / Processing / Unit).
  • the user operation unit 102 is connected to the system control unit 101 and constitutes a user interface for the user to perform various operations.
  • the imaging unit 103 captures an image by progressive scanning, and obtains a video signal having a resolution of 4k or more, here, a progressive video signal having a resolution of 4k and a frame rate of 120 Hz.
  • 4k resolution means a resolution of, for example, horizontal 3840 pixels and vertical 2160 lines, or horizontal 4096 pixels and vertical 2160 lines.
  • the video signal preprocessing unit 104 performs processes such as gain control, white balance adjustment, and gamma correction on the 4k / 120P video signal obtained by the imaging unit 103.
  • the main line video encoding unit 105 performs encoding processing on the 4k / 120p video signal processed by the video signal preprocessing unit 104 to obtain encoded data of a 4k progressive signal.
  • the main line video encoding unit 105 performs, for example, ISO / IEC 14496-10 MPEG-4 AVC encoding.
  • the resolution / frame rate conversion unit 106 performs resolution / frame rate conversion processing on the 4k / 120p video signal processed by the video signal preprocessing unit 104 to obtain a HD resolution and a frame rate of 29.97 Hz or A progressive video signal of 25 Hz is obtained.
  • the HD resolution means a resolution of, for example, horizontal 1920 pixels and vertical 1080 lines, or horizontal 1440 pixels and vertical 1080 lines.
  • the scan mode conversion unit 107 converts the HD / 29.97p or HD / 25p video signal obtained by the resolution / frame rate conversion unit 106 from a progressive signal to an interlace signal, and converts the HD / 59.94i or HD / 50i video signal. Obtain an interlaced video signal.
  • the proxy video encoding unit 109 performs encoding processing on the video signal obtained by the scan mode conversion unit 107 to obtain encoded data of an HD interlace signal.
  • the encoding parameters at this time are aligned with the encoding parameters of an existing camera-integrated recorder or recorder that generates a material that is expected to be mixed and operated later.
  • the proxy video encoding unit 109 performs, for example, ISO / IEC 13818-2 MPEG-2 encoding, ISO / IEC 14496-10 MPEG-4 AVC encoding, or the like.
  • the audio signal preprocessing unit 110 performs processing such as level control and noise removal on the audio signal corresponding to the video signal obtained by the imaging unit 103, for example.
  • the audio encoding unit 111 performs an encoding process on the audio signal processed by the audio signal preprocessing unit 110 to obtain encoded data of the audio signal.
  • the voice encoding unit 111 outputs encoded data for main line and proxy, but the two encoded data may be the same or different.
  • the encoded data for the main line may be linear PCM
  • the encoded data for proxy may be compressed encoded data.
  • the metadata generation unit 112 generates auxiliary data other than video and audio as metadata.
  • the stream multiplexing unit 113 is generated by the encoded data of the 4k progressive signal obtained by the main line video encoding unit 105, the audio encoded data obtained by the audio encoding unit 111, and the metadata generation unit 112.
  • the main line recording data is generated by bundling the metadata according to a file format such as MXF (Material-Exchange Format), MP4 (ISO / IEC 14496-14: 2003), or the like.
  • the stream multiplexing unit 114 generates HD interlaced signal encoded data obtained by the proxy video encoding unit 109, audio encoded data obtained by the audio encoding unit 111, and metadata generation unit 112.
  • the recorded metadata is bundled according to a file format such as MXF or MP4 to generate proxy recording data.
  • the recording media interface unit 115 records the recording data generated by the stream multiplexing units 113 and 114 on the recording medium 116.
  • the recording medium 116 is a semiconductor memory, an optical disk, a magnetic disk, or the like. In the illustrated example, only one recording medium 116 is shown, but the recording medium 116 that records main line recording data and the recording medium 116 that records proxy recording data may be provided separately. In the illustrated example, recording is performed on one recording medium 116, but a configuration in which recording is performed simultaneously on a plurality of recording media is also conceivable.
  • the imaging unit 103 captures an image by progressive scanning, and a progressive video signal having a 4k resolution and a frame rate of 120 Hz is obtained.
  • the progressive video signal is supplied to the video signal pre-processing unit 104, and processing such as gain control, white balance adjustment, and gamma correction is performed.
  • the processed 4k / 120p video signal is supplied to the main line encoding unit 105.
  • the main line encoding unit 105 performs an encoding process on the video signal to obtain encoded data of a 4k progressive signal.
  • the processed 4k / 120p video signal is supplied to the resolution / frame rate conversion unit 106.
  • This resolution / frame rate conversion unit 106 performs resolution / frame rate conversion processing on the processed 4k / 120p video signal to obtain a progressive video with HD resolution and a frame rate of 29.97 Hz or 25 Hz. A signal is obtained.
  • This progressive video signal is supplied to the scan mode conversion unit 107.
  • the scan mode conversion unit 107 converts a progressive signal into an interlaced signal and obtains an HD / 59.94i or HD / 50i interlaced video signal.
  • This interlaced video signal is supplied to the proxy video encoding unit 109.
  • the proxy video encoding unit 109 performs encoding processing to obtain encoded data of an HD interlace signal.
  • the encoding parameters are aligned with the encoding parameters of an existing camera-integrated recorder or recorder that has generated a material that is expected to be used later.
  • an audio signal corresponding to the video signal obtained by the imaging unit 103 is supplied to the audio signal preprocessing unit 110.
  • processing such as level control and noise removal is performed.
  • the processed audio signal is supplied to the audio encoding unit 111.
  • encoding processing is performed on the audio signal, and encoded data is obtained.
  • the metadata generation unit 112 generates auxiliary data other than video and audio as metadata.
  • the encoded data of the 4k progressive signal obtained by the main line video encoding unit 105, the audio encoded data obtained by the audio encoding unit 111, and the metadata generated by the metadata generation unit 112 are a stream multiplexing unit. 113.
  • the data is bundled according to a file format such as MXF or MP4, and main line recording data is generated.
  • the encoded data of the HD interlace signal obtained by the proxy video encoding unit 109, the audio encoded data obtained by the audio encoding unit 111, and the metadata generated by the metadata generation unit 112 are streams. It is supplied to the multiplexing unit 114. In the stream multiplexing unit 114, such data is bundled according to a file format such as MXF or MP4, and proxy recording data is generated.
  • the main line recording data generated by the stream multiplexing unit 113 and the proxy recording data generated by the stream multiplexing unit 114 are supplied to the recording media interface unit 115. In the recording medium interface unit 115, these recording data are recorded on the recording medium 116.
  • the camera-integrated recorder 100 shown in FIG. 1 records a 4k progressive video signal as a main line video signal, and at the same time, is compatible with the material of an HD interlaced video signal that is expected to occupy much of the current situation. It is possible to simultaneously record a high-definition HD interlace video signal as a proxy video signal. Therefore, it is possible to perform smart rendering at an editing point in NLE (Non Linear Editing) editing mixed with existing video signal materials.
  • NLE Non Linear Editing
  • FIG. 2 shows a configuration example of a camera-integrated recorder 200 as the second embodiment.
  • This camera-integrated recorder 200 includes a system control unit 201, a user operation unit 202, an imaging unit 203, a video signal preprocessing unit 204, a main video encoding unit 205, and a scan mode conversion unit 206. Yes.
  • the camera-integrated recorder 200 includes a proxy video encoding unit 207, an audio signal preprocessing unit 208, an audio encoding unit 209, a metadata generation unit 210, stream multiplexing units 211 and 212, a recording A media interface unit 213 and a recording medium 214 are provided.
  • the system control unit 201 controls each unit of the camera-integrated recorder 200.
  • the system control unit 201 includes one or a plurality of CPUs (Central Processing Unit).
  • the user operation unit 202 is connected to the system control unit 101 and constitutes a user interface for the user to perform various operations.
  • the imaging unit 203 captures an image by progressive scan, and obtains a progressive video signal having HD resolution and a frame rate of 29.97 Hz.
  • the HD resolution means a resolution of, for example, horizontal 1920 pixels and vertical 1080 lines, or horizontal 1440 pixels and vertical 1080 lines.
  • the video signal preprocessing unit 204 performs processes such as gain control, white balance adjustment, and gamma correction on the HD / 29.97p video signal obtained by the imaging unit 203, for example.
  • the main line video encoding unit 205 performs encoding processing on the HD / 29.97p video signal processed by the video signal preprocessing unit 204 to obtain encoded data of the HD progressive signal.
  • the main line video encoding unit 205 performs, for example, high bit rate (220 Mbps) ISO / IEC 14496-10 MPEG-4 AVC encoding.
  • the scan mode conversion unit 206 converts the HD / 29.97p video signal processed by the video signal preprocessing unit 204 from a progressive signal to an interlaced signal to obtain an HD / 59.94i interlaced video signal.
  • the proxy video encoding unit 207 performs encoding processing on the video signal obtained by the scan mode conversion unit 206 to obtain encoded data of an HD interlace signal.
  • the encoding parameters at this time are aligned with the encoding parameters of an existing camera-integrated recorder or recorder that generates a material that is expected to be mixed and operated later.
  • the proxy video encoding unit 207 performs, for example, ISO / IEC 13818-2 MPEG-2 encoding at a low bit rate (50 Mbps).
  • the audio signal preprocessing unit 208 performs processes such as level control and noise removal on the audio signal corresponding to the video signal obtained by the imaging unit 203.
  • the audio encoding unit 209 performs an encoding process on the audio signal processed by the audio signal preprocessing unit 208 to obtain encoded data of the audio signal.
  • the speech encoding unit 209 outputs the main line and proxy encoded data, but the two encoded data may be the same or different.
  • the encoded data for the main line may be linear PCM
  • the encoded data for proxy may be compressed encoded data.
  • the metadata generation unit 210 generates auxiliary data other than video and audio as metadata.
  • the stream multiplexing unit 211 is generated by the HD progressive signal encoded data obtained by the main line video encoding unit 205, the audio encoded data obtained by the audio encoding unit 209, and the metadata generation unit 210.
  • the main line recording data is generated by bundling the metadata according to a file format such as MXF or MP4.
  • the stream multiplexing unit 212 generates the HD interlaced signal encoded data obtained by the proxy video encoding unit 207, the audio encoded data obtained by the audio encoding unit 209, and the metadata generation unit 210.
  • the recorded metadata is bundled according to a file format such as MXF or MP4 to generate proxy recording data.
  • the recording media interface unit 213 records the recording data generated by the stream multiplexing units 211 and 212 on the recording medium 214.
  • the recording medium 214 is a semiconductor memory, an optical disk, a magnetic disk, or the like. In the illustrated example, only one recording medium 214 is shown, but the recording medium 214 for recording main line recording data and the recording medium 214 for recording proxy recording data may be provided separately.
  • the imaging unit 203 captures an image by progressive scan, and a progressive video signal having an HD resolution and a frame rate of 29.97 Hz is obtained.
  • This progressive video signal is supplied to the video signal pre-processing unit 204, where processing such as gain control, white balance adjustment, and gamma correction is performed.
  • the processed HD / 29.97p video signal is supplied to the main line encoding unit 205.
  • the main line encoding unit 205 performs high bit rate MPEG-4 AVC encoding processing, and obtains HD progressive signal encoded data.
  • the processed HD / 29.97p video signal is supplied to the scan mode conversion unit 206.
  • the progressive signal is converted into an interlace signal, and an HD / 59.94i interlace video signal is obtained.
  • This interlaced video signal is supplied to the proxy video encoding unit 207.
  • the proxy video encoding unit 207 performs low bit rate MPEG-2 encoding processing and obtains HD interlaced signal encoded data. At this time, the encoding parameters are aligned with the encoding parameters of an existing camera-integrated recorder or recorder that has generated a material that is expected to be used later.
  • an audio signal corresponding to the video signal obtained by the imaging unit 203 is supplied to the audio signal preprocessing unit 208.
  • the audio signal processing unit 208 for example, processing such as level control and noise removal is performed.
  • the processed audio signal is supplied to the audio encoding unit 209.
  • the audio encoding unit 209 encoding processing is performed on the audio signal, and encoded data is obtained.
  • the metadata generation unit 210 generates auxiliary data other than video and audio as metadata.
  • the encoded data of the HD progressive signal obtained by the main line video encoding unit 205, the audio encoded data obtained by the audio encoding unit 209, and the metadata generated by the metadata generation unit 210 are the stream multiplexing unit. 211.
  • the data is bundled according to a file format such as MXF or MP4, and main line recording data is generated.
  • the encoded data of the HD interlace signal obtained by the proxy video encoding unit 207, the audio encoded data obtained by the audio encoding unit 209, and the metadata generated by the metadata generation unit 210 are stream The data is supplied to the multiplexing unit 212.
  • the stream multiplexing unit 212 such data is bundled according to a file format such as MXF or MP4, and proxy recording data is generated.
  • the main line recording data generated by the stream multiplexing unit 211 and the proxy recording data generated by the stream multiplexing unit 212 are supplied to the recording media interface unit 213.
  • the recording medium interface unit 213 records these recording data on the recording medium 214.
  • the camera-integrated recorder 200 shown in FIG. 2 records an HD progressive video signal as a main line video signal, and at the same time, is compatible with the material of an HD interlaced video signal that is expected to occupy much of the current situation. It is possible to simultaneously record a high-definition HD interlace video signal as a proxy video signal. Therefore, smart rendering at an editing point is possible in NLE editing mixed with existing video signal material.
  • FIG. 3 shows a configuration example of a camera-integrated recorder 300 according to the third embodiment. 3, parts corresponding to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • This camera-integrated recorder 300 includes a system control unit 101, a user operation unit 102, an imaging unit 103, a video signal preprocessing unit 104, a main video encoding unit 105, a resolution / frame rate conversion unit 106, A scan mode conversion unit 107 is included. Further, the camera-integrated recorder 300 includes a selection unit 108, a proxy video encoding unit 109, an audio signal preprocessing unit 110, an audio encoding unit 111, a metadata generation unit 112, and a stream multiplexing unit 113. , 114, a recording medium interface unit 115, and a recording medium 116.
  • the selection unit 108 selectively extracts the interlaced video signal obtained by the scan mode conversion unit 107 or the progressive video signal obtained by the resolution / frame rate conversion unit 106.
  • the selection in the selection unit 108 is controlled by the system control unit 101 in accordance with, for example, a user selection operation.
  • the video signal extracted by the selection unit 108 is encoded, and encoded data of an HD interlace signal or a progressive signal is obtained.
  • the stream multiplexing unit 114 the HD interlace signal or progressive signal encoded data obtained by the proxy video encoding unit 109, the audio encoded data and metadata generation unit 112 obtained by the audio encoding unit 111, and the like.
  • the metadata generated in step (b) is bundled according to a file format such as MXF or MP4 to generate proxy recording data.
  • the other configuration of the camera-integrated recorder 300 shown in FIG. 3 is the same as that of the camera-integrated recorder 100 in FIG.
  • the camera-integrated recorder 300 shown in FIG. 3 can selectively record an HD interlaced video signal or an HD progressive video signal as a proxy video signal.
  • the camera-integrated recorder 300 shown in FIG. 3 shows an example of recording a 4k progressive video signal and an HD interlaced video signal, or a 4k progressive video signal and an HD progressive video signal. It is also conceivable to record all HD interlaced video signals and HD progressive video signals.
  • this technique can also take the following structures.
  • a first encoding unit that encodes a first video signal in a progressive format; Scan mode conversion for obtaining a third video signal by converting the first video signal or the second video signal having a reduced resolution and / or frame rate of the first video signal from a progressive signal to an interlaced signal And And a second encoding unit that encodes the third video signal.
  • the encoding device according to (1) further including an imaging unit that obtains the first video signal.
  • the recording apparatus according to (1) further including a recording unit that records the encoded data obtained by the first encoding unit and the encoded data obtained by the second encoding unit on a recording medium. Encoding device.
  • the encoding according to (1) further comprising: a recording unit that records the encoded data obtained by the first encoding unit and the encoded data obtained by the second encoding unit on a recording medium. apparatus. (5) a selection unit that selectively extracts the second video signal or the third video signal;
  • the second encoding unit includes: The encoding device according to any one of (1) to (4), wherein the video signal extracted by the selection unit is encoded.
  • the encoding device includes: ISO / IEC 13818-2 The encoding device according to any one of (1) to (7), which performs MPEG-2 encoding.
  • the second encoding unit includes: The encoding device according to any one of (1) to (7), wherein encoding is performed according to ISO / IEC 14496-10 MPEG-4 AVC system.
  • a first encoding step of encoding the progressive first video signal by the first encoding unit Scan mode conversion for obtaining a third video signal by converting the first video signal or the second video signal having a reduced resolution and / or frame rate of the first video signal from a progressive signal to an interlaced signal Steps, And a second encoding step of encoding the third video signal by a second encoding unit.
  • an imaging unit that obtains a progressive first video signal
  • a first encoding unit for encoding the first video signal
  • Scan mode conversion for obtaining a third video signal by converting the first video signal or the second video signal having a reduced resolution and / or frame rate of the first video signal from a progressive signal to an interlaced signal
  • a second encoding unit that encodes the third video signal.
  • a first encoding unit that encodes a first video signal in a progressive format
  • Scan mode conversion for obtaining a third video signal by converting the first video signal or the second video signal having a reduced resolution and / or frame rate of the first video signal from a progressive signal to an interlaced signal
  • a second encoding unit for encoding the third video signal
  • a recorder comprising: a recording unit that records the encoded data obtained by the first encoding unit and the encoded data obtained by the second encoding unit on a recording medium.
  • an imaging unit that obtains a first video signal of a progressive method
  • a first encoding unit for encoding the first video signal
  • Scan mode conversion for obtaining a third video signal by converting the first video signal or the second video signal having a reduced resolution and / or frame rate of the first video signal from a progressive signal to an interlaced signal
  • a second encoding unit for encoding the third video signal
  • a camera-integrated recorder comprising: a recording unit that records the encoded data obtained by the first encoding unit and the encoded data obtained by the second encoding unit on a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　インタレース信号として符号化された映像の素材と混在させて編集する際に効率的な編集を可能とする。　プログレッシブ方式の第１の映像信号を得る。この第１の映像信号を符号化する。第１の映像信号あるいは第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して第３の映像信号を得る。第３の映像信号を符号化する。第１の映像信号の符号化データおよび第３の映像信号の符号化データを記録メディアに記録する。

Description

符号化装置、符号化方法、カメラ、レコーダおよびカメラ一体型レコーダ
　本技術は、符号化装置、符号化方法、カメラ、レコーダおよびカメラ一体型レコーダに関し、特に、プログレッシブ方式の映像信号を取り扱う符号化装置などに関する。
　従来、高解像度の画像信号とともに低解像度の画像信号を符号化、記録するカメラ一体型レコーダ（以下、適宜、「カムコーダ」という）や、レコーダが存在する。低解像度の符号化データは、高解像度の本線データに対してプロキシと呼ばれている。プロキシのデータは、本線データと比較して、解像度、符号量も小さく、記録した後の内容確認に伴う復号処理や伝送処理が行い易い。そのため、本線データと同時にプロキシを記録する利点がある。
　例えば、水平１９２０画素×垂直１０８０ラインのＨＤＴＶ信号をＭＰＥＧ－２方式で符号化して音声等のデータと合わせて６０Ｍｂｐｓ程度のデータレートで本線記録とし、水平３５２素×垂直２４０ラインの解像度（ＳＩＦ：Source Input Format）でＭＰＥＧ－４　ＡＶＣ方式で符号化して音声等のデータと合わせて１．５Ｍｂｐｓ程度のデータレートでプロキシとして記録する。
　ところで、現在はＨＤＴＶの普及に伴い、放送・業務用のカムコーダでも、家庭用のカムコーダでもＨＤＴＶコンテンツがＭＰＥＧ－２方式やＭＰＥＧ－４　ＡＶＣ方式などの符号化データとして記録、保存されるようになったが、その多くは、５９．９４ｉや５０ｉのインタレース信号を符号化したものである。
　一方、今後は４ｋや８ｋといったさらに高解像度のコンテンツも作成できるようになり、本線の画像が４ｋあるいは８ｋで、プロキシの画像はＨＤＴＶの解像度とする構成のカメラ一体型レコーダ、レコーダが主流になりうることが想定される。しかし、４ｋや８ｋの解像度においては、今後インタレーススキャンによる撮像は無いとみられる。
　実際、現在市場に出ている４ｋカメラ一体型レコーダは全てプログレッシブスキャンで撮像し、符号化はプログレッシブ信号として行われている。同時に低解像度のプロキシを記録できるものも存在するが、それがHDTV解像度であっても1920x1080/59.94p や、1920x1080/29.97pなど、信号源がプログレッシブなら本線もプロキシもプログレッシブ信号の符号化が行われている。
　さて、これから先、４ｋ等の高解像度の撮影・記録・保存が比較的容易にできるようになっても、前述のように現状はＨＤＴＶが主たるコンテンツの解像度であるとすると、４ｋ等の高解像度のコンテンツの撮影と同時にＨＤＴＶの解像度による撮影も行い、さらにＭＰＥＧ－２やＭＰＥＧ４－４　ＡＶＣで符号化、記録することで、既存のＨＤＴＶのコンテンツ作成プロセスとの親和性を高めることができる。
　コンテンツ作成プロセスの一部に編集作業があり、近年はＰＣ上で符号化データを切り貼りして編集するいわゆるノンリニア編集が多くなっている。このとき、たとえばＭＰＥＧ－２方式で符号化された素材同志であれば、同じ解像度、同じフレームレートなど一定の条件を満たせば、切り貼りしてもその編集点付近だけ再符号化を行って効率よく編集を行うスマートレンダリングという方法を利用できる（例えば、特許文献１参照）。ただし、インタレース信号か、プログレッシブ信号かはスマートレンダリングの可否を決める一つの条件であり、両者が混在する編集はスマートレンダリングできない。どちらかのスキャン方式に合わせるために片方の素材を符号化しなおす必要がある。
　このようなワークフローを鑑みると、ＨＤＴＶのインタレース素材が大量に存在する以上、ＨＤＴＶ解像度でプロキシとしての符号化データが生成できても、プログレッシブ信号としての符号化データしか生成できなければ、たとえＭＰＥＧ－２やＭＰＥＧ－４　ＡＶＣといった符号化方式であっても、既存のインタレース素材と混在させるような編集プロセスにおいては広範囲にわたる再符号化の処理が必要となり、再符号化に伴う画質劣化と、時間的なロスが生じ、効率の良いコンテンツ作成を阻害する要因になっていた。
特開２０１０－１５４５０２号公報
　本技術の目的は、インタレース信号として符号化された映像の素材と混在させて編集する際に効率的な編集を可能とすることにある。
　本技術の概念は、
　プログレッシブ方式の第１の映像信号を符号化する第１の符号化部と、
　上記第１の映像信号あるいは上記第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して第３の映像信号を得るスキャンモード変換部と、
　上記第３の映像信号を符号化する第２の符号化部とを備える
　符号化装置にある。
　本技術において、第１の符号化部により、プログレッシブ方式の第１の映像信号が符号化される。例えば、第１の映像信号を得る撮像部をさらに備える、ようにされてもよい。また、例えば、第１の映像信号は、４ｋ以上の解像度のプログレッシブ信号である、ようにされてもよい。
　スキャンモード変換部により、第１の映像信号あるいは第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号がプログレッシブ信号からインタレース信号に変換されて第３の映像信号が得られる。例えば、第２の映像信号は、ＨＤ解像度で、フレームレートが２９．９７Ｈｚまたは２５Ｈｚのプログレッシブ信号である、ようにされてもよい。
　第２の符号化部により、第３の映像信号が符号化される。例えば、第２の符号化部は、ＩＳＯ/ＩＥＣ　１３８１８－２　ＭＰＥＧ－２方式またはＩＳＯ/ＩＥＣ　１４４９６－１０　ＭＰＥＧ－４　ＡＶＣ方式の符号化を行う、ようにされてもよい。また、第１の符号化部で得られた符号化データおよび第２の符号化部で得られた符号化データを記録メディアに記録する記録部をさらに備える、ようにされてもよい。
　このように本技術においては、プログレッシブ方式の第１の映像信号を符号化する他に、この第２の映像信号あるいはこの第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して得られた第３の映像信号を符号化するものであり、インタレース信号として符号化された映像の素材と混在させて編集する際に、効率的な編集が可能となる。
　なお、本技術において、例えば、第２の映像信号または第３の映像信号を選択的に取り出す選択部をさらに備え、第２の符号化部は、選択部で取り出された映像信号を符号化する、ようにされてもよい。この場合、プロキシとして、プログレッシブ信号またはインタレース信号を必要に応じて選択的に符号化することが可能となる。
　本技術によれば、インタレース信号として符号化された映像の素材と混在させて編集する際に効率的な編集が可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
第１の実施の形態としてのカメラ一体型レコーダの構成例を示すブロック図である。 第２の実施の形態としてのカメラ一体型レコーダの構成例を示すブロック図である。 第３の実施の形態としてのカメラ一体型レコーダの構成例を示すブロック図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態
　２．第２の実施の形態
　３．第３の実施の形態
　４．変形例
　＜１．第１の実施の形態＞
　［映像処理装置の構成］
　図１は、第１の実施の形態としてのカメラ一体型レコーダ１００の構成例を示している。このカメラ一体型レコーダ１００は、システムコントロール部１０１と、ユーザ操作部１０２と、撮像部１０３と、映像信号前処理部１０４と、本線映像符号化部１０５と、解像度/フレームレート変換部１０６と、スキャンモード変換部１０７を有している。また、このカメラ一体型レコーダ１００は、プロキシ映像符号化部１０９と、音声信号前処理部１１０と、音声符号化部１１１と、メタデータ生成部１１２と、ストリーム多重化部１１３，１１４と、記録メディアインタフェース部１１５と、記録メディア１１６を有している。
　システムコントロール部１０１は、カメラ一体型レコーダ１００の各部を制御する。このシステムコントロール部１０１は、１つあるいは複数のＣＰＵ（Central Processing Unit）により構成される。ユーザ操作部１０２は、システムコントロール部１０１に接続されており、ユーザが種々の操作を行うためのユーザインタフェースを構成する。
　撮像部１０３は、プログレッシブスキャンで撮像し、４ｋ以上の解像度の映像信号、ここでは４ｋ解像度で、フレームレートが１２０Ｈｚである、プログレッシブ映像信号を得る。ここで、４ｋ解像度は、例えば、水平３８４０画素、垂直２１６０ライン、あるいは水平４０９６画素、垂直２１６０ラインなどの解像度を意味する。映像信号前処理部１０４は、撮像部１０３で得られる４ｋ/１２０Ｐの映像信号に対して、例えば、利得制御、ホワイトバランス調整、ガンマ補正などの処理を行う。
　本線映像符号化部１０５は、映像信号前処理部１０４で処理された４ｋ/１２０ｐの映像信号に対して符号化処理を行って、４ｋのプログレッシブ信号の符号化データを得る。この本線映像符号化部１０５は、例えば、ＩＳＯ/ＩＥＣ　１４４９６－１０　ＭＰＥＧ－４　ＡＶＣ方式の符号化を行う。
　解像度/フレームレート変換部１０６は、映像信号前処理部１０４で処理された４ｋ/１２０ｐの映像信号に対して解像度/フレームレートの変換処理を行って、ＨＤ解像度で、フレームレートが２９．９７Ｈｚあるいは２５Ｈｚである、プログレッシブ映像信号を得る。ここで、ＨＤ解像度は、例えば、水平１９２０画素、垂直１０８０ライン、あるいは水平１４４０画素、垂直１０８０ラインなどの解像度を意味する。スキャンモード変換部１０７は、解像度/フレームレート変換部１０６で得られるＨＤ/２９．９７ｐあるいはＨＤ/２５ｐの映像信号をプログレッシブ信号からインタレース信号に変換し、ＨＤ/５９．９４ｉあるいはＨＤ/５０ｉのインタレース映像信号を得る。
　プロキシ映像符号化部１０９は、スキャンモード変換部１０７で得られる映像信号に対して符号化処理を行って、ＨＤのインタレース信号の符号化データを得る。この際の符号化パラメータは、後に混在して運用すると思われる素材を生成した既存のカメラ一体型レコーダやレコーダの符号化パラメータと揃えられる。このプロキシ映像符号化部１０９は、例えば、ＩＳＯ/ＩＥＣ　１３８１８－２　ＭＰＥＧ－２方式の符号化、あるいはＩＳＯ/ＩＥＣ　１４４９６－１０　ＭＰＥＧ－４　ＡＶＣ方式などの符号化を行う。
　音声信号前処理部１１０は、撮像部１０３で得られる映像信号に対応した音声信号に対して、例えば、レベル制御、ノイズ除去などの処理を行う。音声符号化部１１１は、音声信号前処理部１１０で処理された音声信号に対して符号化処理を行って、音声信号の符号化データを得る。この場合、音声符号化部１１１は、本線用およびプロキシ用の符号化データを出力するが、２つの符号化データは同じでも別でもよい。例えば、本線用の符号化データはリニアＰＣＭとされ、プロキシ用の符号化データは圧縮符号化データであってもよい。メタデータ生成部１１２は、映像音声以外の補助データなどをメタデータとして生成する。
　ストリーム多重化部１１３は、本線映像符号化部１０５で得られた４ｋのプログレッシブ信号の符号化データと、音声符号化部１１１で得られた音声符号化データと、メタデータ生成部１１２で生成されたメタデータを、例えば、ＭＸＦ（Material Exchange Format）、ＭＰ４（ISO/IEC 14496-14:2003）などのファイルフォーマットに従って束ねて本線記録データを生成する。
　ストリーム多重化部１１４は、プロキシ映像符号化部１０９で得られたＨＤのインタレース信号の符号化データと、音声符号化部１１１で得られた音声符号化データと、メタデータ生成部１１２で生成されたメタデータを、例えば、ＭＸＦ、ＭＰ４などのファイルフォーマットに従って束ねてプロキシ記録データを生成する。
　記録メディアインタフェース部１１５は、ストリーム多重化部１１３，１１４で生成された記録データを、記録メディア１１６に記録する。記録メディア１１６は、半導体メモリ、光ディスク、磁気ディスクなどである。なお、図示の例では、記録メディア１１６を一つだけ示しているが、本線記録データを記録する記録メディア１１６と、プロキシ記録データを記録する記録メディア１１６が別々になっていてもよい。また、図示の例では、一つの記録メディア１１６に記録するようになっているが、複数の記録メディアに同時に記録する構成も考えられる。
　図１に示すカメラ一体型レコーダ１００の動作を説明する。撮像部１０３で、プログレッシブスキャンで撮像が行われ、４ｋ解像度で、フレームレートが１２０Ｈｚである、プログレッシブ映像信号が得られる。このプログレッシブ映像信号は、映像信号前処理部１０４に供給され、例えば、利得制御、ホワイトバランス調整、ガンマ補正などの処理が行われる。処理後の４ｋ/１２０ｐの映像信号は、本線符号化部１０５に供給される。本線符号化部１０５では、この映像信号に対して符号化処理が行われ、４ｋのプログレッシブ信号の符号化データが得られる。
　また、処理後の４ｋ/１２０ｐの映像信号は、解像度/フレームレート変換部１０６に供給される。この解像度/フレームレート変換部１０６では、処理後の４ｋ/１２０ｐの映像信号に対して解像度/フレームレートの変換処理が行われ、ＨＤ解像度で、フレームレートが２９．９７Ｈｚあるいは２５Ｈｚである、プログレッシブ映像信号が得られる。このプログレッシブ映像信号は、スキャンモード変換部１０７に供給される。
　スキャンモード変換部１０７では、プログレッシブ信号からインタレース信号に変換され、ＨＤ/５９．９４ｉあるいはＨＤ/５０ｉのインタレース映像信号が得られる。このインタレース映像信号は、プロキシ映像符号化部１０９に供給される。プロキシ映像符号化部１０９では、符号化処理が行われ、ＨＤのインタレース信号の符号化データが得られる。この際、符号化パラメータは、後に混在して運用すると思われる素材を生成した既存のカメラ一体型レコーダやレコーダの符号化パラメータと揃えられる。
　また、撮像部１０３で得られる映像信号に対応した音声信号は、音声信号前処理部１１０に供給される。この音声信号処理部１１０では、例えば、レベル制御、ノイズ除去などの処理が行われる。処理後の音声信号は、音声符号化部１１１に供給される。音声符号化部１１１では、この音声信号に対して符号化処理が行われ、符号化データが得られる。また、メタデータ生成部１１２では、映像音声以外の補助データなどがメタデータとして生成される。
　本線映像符号化部１０５で得られた４ｋのプログレッシブ信号の符号化データ、音声符号化部１１１で得られた音声符号化データおよびメタデータ生成部１１２で生成されたメタデータは、ストリーム多重化部１１３に供給される。このストリーム多重化部１１３では、それらのデータが、例えば、ＭＸＦ、ＭＰ４などのファイルフォーマットに従って束ねられ、本線記録データが生成される。
　また、プロキシ映像符号化部１０９で得られたＨＤのインタレース信号の符号化データ、音声符号化部１１１で得られた音声符号化データおよびメタデータ生成部１１２で生成されたメタデータは、ストリーム多重化部１１４に供給される。このストリーム多重化部１１４では、それらのデータが、例えば、ＭＸＦ、ＭＰ４などのファイルフォーマットに従って束ねられ、プロキシ記録データが生成される。
　ストリーム多重化部１１３で生成された本線記録データおよびストリーム多重化部１１４で生成されたプロキシ記録データは、記録メディアインタフェース部１１５に供給される。そして、この記録メディアインタフェース部１１５では、これらの記録データが記録メディア１１６に記録される。
　上述したように、図１に示すカメラ一体型レコーダ１００においては、４ｋのプログレッシブ映像信号を本線映像信号として記録すると同時に、現行の多くを占めると思われるＨＤのインタレース映像信号の素材と親和性の高い、ＨＤのインタレース映像信号をプロキシ映像信号として同時に記録することが可能となる。そのため、既存の映像信号素材と混在するＮＬＥ（Non Linear Editing）編集において編集点でのスマートレンダリングが可能となる。
　現行のＨＤから４ｋ，８ｋへと高解像度化が進んでいく移行期においては、近い将来のために出来るだけ高解像度、高画質で素材を残すとともに、一方で現行システムや現行ワークフローの上で効率よくコンテンツ制作を行いたいというニーズも高まると予想される。図１に示すカメラ一体型レコーダ１００によってその両方を満たすことができる。
　＜２．第２の実施の形態＞
　［映像処理装置の構成］
　図２は、第２の実施の形態としてのカメラ一体型レコーダ２００の構成例を示している。このカメラ一体型レコーダ２００は、システムコントロール部２０１と、ユーザ操作部２０２と、撮像部２０３と、映像信号前処理部２０４と、本線映像符号化部２０５と、スキャンモード変換部２０６を有している。また、このカメラ一体型レコーダ２００は、プロキシ映像符号化部２０７と、音声信号前処理部２０８と、音声符号化部２０９と、メタデータ生成部２１０と、ストリーム多重化部２１１，２１２と、記録メディアインタフェース部２１３と、記録メディア２１４を有している。
　システムコントロール部２０１は、カメラ一体型レコーダ２００の各部を制御する。このシステムコントロール部２０１は、１つあるいは複数のＣＰＵ（Central Processing Unit）により構成される。ユーザ操作部２０２は、システムコントロール部１０１に接続されており、ユーザが種々の操作を行うためのユーザインタフェースを構成する。
　撮像部２０３は、プログレッシブスキャンで撮像し、ＨＤ解像度で、フレームレートが２９．９７Ｈｚである、プログレッシブ映像信号を得る。ここで、ＨＤ解像度は、例えば、水平１９２０画素、垂直１０８０ライン、あるいは水平１４４０画素、垂直１０８０ラインなどの解像度を意味する。映像信号前処理部２０４は、撮像部２０３で得られるＨＤ/２９．９７ｐの映像信号に対して、例えば、利得制御、ホワイトバランス調整、ガンマ補正などの処理を行う。
　本線映像符号化部２０５は、映像信号前処理部２０４で処理されたＨＤ/２９．９７ｐの映像信号に対して符号化処理を行って、ＨＤのプログレッシブ信号の符号化データを得る。この本線映像符号化部２０５は、例えば、高ビットレート（２２０Ｍｂｐｓ）のＩＳＯ/ＩＥＣ　１４４９６－１０　ＭＰＥＧ－４　ＡＶＣ方式の符号化を行う。
　スキャンモード変換部２０６は、映像信号前処理部２０４で処理されたＨＤ/２９．９７ｐの映像信号をプログレッシブ信号からインタレース信号に変換し、ＨＤ/５９．９４ｉのインタレース映像信号を得る。プロキシ映像符号化部２０７は、スキャンモード変換部２０６で得られる映像信号に対して符号化処理を行って、ＨＤのインタレース信号の符号化データを得る。この際の符号化パラメータは、後に混在して運用すると思われる素材を生成した既存のカメラ一体型レコーダやレコーダの符号化パラメータと揃えられる。このプロキシ映像符号化部２０７は、例えば、低ビットレート（５０Ｍｂｐｓ）のＩＳＯ/ＩＥＣ　１３８１８－２　ＭＰＥＧ－２方式の符号化を行う。
　音声信号前処理部２０８は、撮像部２０３で得られる映像信号に対応した音声信号に対して、例えば、レベル制御、ノイズ除去などの処理を行う。音声符号化部２０９は、音声信号前処理部２０８で処理された音声信号に対して符号化処理を行って、音声信号の符号化データを得る。この場合、音声符号化部２０９は、本線用およびプロキシ用の符号化データを出力するが、２つの符号化データは同じでも別でもよい。例えば、本線用の符号化データはリニアＰＣＭとされ、プロキシ用の符号化データは圧縮符号化データであってもよい。メタデータ生成部２１０は、映像音声以外の補助データなどをメタデータとして生成する。
　ストリーム多重化部２１１は、本線映像符号化部２０５で得られたＨＤのプログレッシブ信号の符号化データと、音声符号化部２０９で得られた音声符号化データと、メタデータ生成部２１０で生成されたメタデータを、例えば、ＭＸＦ、ＭＰ４などのファイルフォーマットに従って束ねて本線記録データを生成する。
　ストリーム多重化部２１２は、プロキシ映像符号化部２０７で得られたＨＤのインタレース信号の符号化データと、音声符号化部２０９で得られた音声符号化データと、メタデータ生成部２１０で生成されたメタデータを、例えば、ＭＸＦ、ＭＰ４などのファイルフォーマットに従って束ねてプロキシ記録データを生成する。
　記録メディアインタフェース部２１３は、ストリーム多重化部２１１，２１２で生成された記録データを、記録メディア２１４に記録する。記録メディア２１４は、半導体メモリ、光ディスク、磁気ディスクなどである。なお、図示の例では、記録メディア２１４を一つだけ示しているが、本線記録データを記録する記録メディア２１４と、プロキシ記録データを記録する記録メディア２１４が別々になっていてもよい。
　図２に示すカメラ一体型レコーダ２００の動作を説明する。撮像部２０３で、プログレッシブスキャンで撮像が行われ、ＨＤ解像度で、フレームレートが２９．９７Ｈｚである、プログレッシブ映像信号が得られる。このプログレッシブ映像信号は、映像信号前処理部２０４に供給され、例えば、利得制御、ホワイトバランス調整、ガンマ補正などの処理が行われる。処理後のＨＤ/２９．９７ｐの映像信号は、本線符号化部２０５に供給される。本線符号化部２０５では、高ビットレートのＭＰＥＧ－４　ＡＶＣ方式の符号化処理が行われ、ＨＤのプログレッシブ信号の符号化データが得られる。
　また、処理後のＨＤ/２９．９７ｐの映像信号は、スキャンモード変換部２０６に供給される。このスキャンモード変換部２０６では、プログレッシブ信号からインタレース信号に変換され、ＨＤ/５９．９４ｉのインタレース映像信号が得られる。このインタレース映像信号は、プロキシ映像符号化部２０７に供給される。プロキシ映像符号化部２０７では、低ビットレートのＭＰＥＧ－２方式の符号化処理が行われ、ＨＤのインタレース信号の符号化データが得られる。この際、符号化パラメータは、後に混在して運用すると思われる素材を生成した既存のカメラ一体型レコーダやレコーダの符号化パラメータと揃えられる。
　また、撮像部２０３で得られる映像信号に対応した音声信号は、音声信号前処理部２０８に供給される。この音声信号処理部２０８では、例えば、レベル制御、ノイズ除去などの処理が行われる。処理後の音声信号は、音声符号化部２０９に供給される。音声符号化部２０９では、この音声信号に対して符号化処理が行われ、符号化データが得られる。また、メタデータ生成部２１０では、映像音声以外の補助データなどがメタデータとして生成される。
　本線映像符号化部２０５で得られたＨＤのプログレッシブ信号の符号化データ、音声符号化部２０９で得られた音声符号化データおよびメタデータ生成部２１０で生成されたメタデータは、ストリーム多重化部２１１に供給される。このストリーム多重化部２１１では、それらのデータが、例えば、ＭＸＦ、ＭＰ４などのファイルフォーマットに従って束ねられ、本線記録データが生成される。
　また、プロキシ映像符号化部２０７で得られたＨＤのインタレース信号の符号化データ、音声符号化部２０９で得られた音声符号化データおよびメタデータ生成部２１０で生成されたメタデータは、ストリーム多重化部２１２に供給される。このストリーム多重化部２１２では、それらのデータが、例えば、ＭＸＦ、ＭＰ４などのファイルフォーマットに従って束ねられ、プロキシ記録データが生成される。
　ストリーム多重化部２１１で生成された本線記録データおよびストリーム多重化部２１２で生成されたプロキシ記録データは、記録メディアインタフェース部２１３に供給される。そして、この記録メディアインタフェース部２１３では、これらの記録データが記録メディア２１４に記録される。
　上述したように、図２に示すカメラ一体型レコーダ２００においては、ＨＤのプログレッシブ映像信号を本線映像信号として記録すると同時に、現行の多くを占めると思われるＨＤのインタレース映像信号の素材と親和性の高い、ＨＤのインタレース映像信号をプロキシ映像信号として同時に記録することが可能となる。そのため、既存の映像信号素材と混在するＮＬＥ編集において編集点でのスマートレンダリングが可能となる。
　＜３．第３の実施の形態＞
　［映像処理装置の構成］
　図３は、第３の実施の形態としてのカメラ一体型レコーダ３００の構成例を示している。この図３において、図１と対応する部分には、同一符号を付し、その詳細説明は省略する。
　このカメラ一体型レコーダ３００は、システムコントロール部１０１と、ユーザ操作部１０２と、撮像部１０３と、映像信号前処理部１０４と、本線映像符号化部１０５と、解像度/フレームレート変換部１０６と、スキャンモード変換部１０７を有している。また、このカメラ一体型レコーダ３００は、選択部１０８と、プロキシ映像符号化部１０９と、音声信号前処理部１１０と、音声符号化部１１１と、メタデータ生成部１１２と、ストリーム多重化部１１３，１１４と、記録メディアインタフェース部１１５と、記録メディア１１６を有している。
　選択部１０８では、スキャンモード変換部１０７で得られるインタレース映像信号または解像度/フレームレート変換部１０６で得られるプログレッシブ映像信号が選択的に取り出される。この選択部１０８における選択は、例えば、ユーザの選択操作に応じて、システムコントロール部１０１により制御される。
　プロキシ映像符号化部１０９では、選択部１０８で取り出される映像信号に対して符号化処理が行われ、ＨＤのインタレース信号あるいはプログレッシブ信号の符号化データが得られる。ストリーム多重化部１１４では、プロキシ映像符号化部１０９で得られた、ＨＤのインタレース信号あるいはプログレッシブ信号の符号化データ、音声符号化部１１１で得られた音声符号化データおよびメタデータ生成部１１２で生成されたメタデータが、例えば、ＭＸＦ、ＭＰ４などのファイルフォーマットに従って束ねられてプロキシ記録データが生成される。
　詳細説明は省略するが、図３に示すカメラ一体型レコーダ３００のその他の構成は、図１にカメラ一体型レコーダ１００と同様である。
　上述したように、図３に示すカメラ一体型レコーダ３００においては、プロキシ映像信号として、ＨＤインタレース映像信号またはＨＤプログレッシブ映像信号を選択的に記録することが可能となる。
　図３に示すカメラ一体型レコーダ３００では、４ｋのプログレッシブ映像信号およびＨＤのインタレース映像信号、あるいは４ｋのプログレッシブ映像信号およびＨＤのプログレッシブ映像信号を記録する例を示したが、４ｋのプログレッシブ映像信号、ＨＤのインタレース映像信号およびＨＤのプログレッシブ映像信号の全てを記録することも考えられる。
　＜４．変形例＞
　なお、上述実施の形態においては、本技術をカメラ一体型レコーダに適用した例を示したが、撮像部を備えていないレコーダ、あるいは記録部を備えていないカメラなどにも同様に適用できることは勿論である。
　また、本技術は、以下のような構成を取ることもできる。
　（１）プログレッシブ方式の第１の映像信号を符号化する第１の符号化部と、
　上記第１の映像信号あるいは上記第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して第３の映像信号を得るスキャンモード変換部と、
　上記第３の映像信号を符号化する第２の符号化部とを備える
　符号化装置。
　（２）上記第１の映像信号を得る撮像部をさらに備える
　前記（１）に記載の符号化装置。
　（３）上記第１の符号化部で得られた符号化データおよび上記第２の符号化部で得られた符号化データを記録メディアに記録する記録部をさらに備える
　前記（１）に記載の符号化装置。
　（４）上記第１の映像信号を得る撮像部と、
　上記第１の符号化部で得られた符号化データおよび上記第２の符号化部で得られた符号化データを記録メディアに記録する記録部とをさらに備える
　前記（１）に記載の符号化装置。
　（５）上記第２の映像信号または上記第３の映像信号を選択的に取り出す選択部をさらに備え、
　上記第２の符号化部は、
　上記選択部で取り出された映像信号を符号化する
　前記（１）から（４）のいずれかに記載の符号化装置。
　（６）上記第２の映像信号は、ＨＤ解像度で、フレームレートが２９．９７Ｈｚまたは２５Ｈｚのプログレッシブ信号である
　前記（１）から（５）のいずれかに記載の符号化装置。
　（７）上記第１の映像信号は、４ｋ以上の解像度のプログレッシブ信号である
　前記（１）から（６）のいずれかに記載の符号化装置。
　（８）上記第２の符号化部は、
　ＩＳＯ/ＩＥＣ　１３８１８－２　ＭＰＥＧ－２方式の符号化を行う
　前記（１）から（７）のいずれかに記載の符号化装置。
　（９）上記第２の符号化部は、
　ＩＳＯ/ＩＥＣ　１４４９６－１０　ＭＰＥＧ－４　ＡＶＣ方式の符号化を行う
　前記（１）から（７）のいずれかに記載の符号化装置。
　（１０）プログレッシブ方式の第１の映像信号を第１の符号化部で符号化する第１の符号化ステップと、
　上記第１の映像信号あるいは上記第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して第３の映像信号を得るスキャンモード変換ステップと、
　上記第３の映像信号を第２の符号化部で符号化する第２の符号化ステップとを有する
　符号化方法。
　（１１）プログレッシブ方式の第１の映像信号を得る撮像部と、
　上記第１の映像信号を符号化する第１の符号化部と、
　上記第１の映像信号あるいは上記第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して第３の映像信号を得るスキャンモード変換部と、
　上記第３の映像信号を符号化する第２の符号化部とを備える
　カメラ。
　（１２）プログレッシブ方式の第１の映像信号を符号化する第１の符号化部と、
　上記第１の映像信号あるいは上記第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して第３の映像信号を得るスキャンモード変換部と、
　上記第３の映像信号を符号化する第２の符号化部と、
　上記第１の符号化部で得られた符号化データおよび上記第２の符号化部で得られた符号化データを記録メディアに記録する記録部とを備える
　レコーダ。
　（１３）プログレッシブ方式の第１の映像信号を得る撮像部と、
　上記第１の映像信号を符号化する第１の符号化部と、
　上記第１の映像信号あるいは上記第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して第３の映像信号を得るスキャンモード変換部と、
　上記第３の映像信号を符号化する第２の符号化部と、
　上記第１の符号化部で得られた符号化データおよび上記第２の符号化部で得られた符号化データを記録メディアに記録する記録部とを備える
　カメラ一体型レコーダ。
　１００，２００，３００・・・カメラ一体型レコーダ
　１０１，２０１・・・システムコントロール部
　１０２，２０２・・・ユーザ操作部
　１０３，２０３・・・撮像部
　１０４，２０４・・・映像信号前処理部
　１０５，２０５・・・本線映像符号化部
　１０６・・・解像度/フレームレート変換部
　１０７，２０６・・・スキャンモード変換部
　１０８・・・選択部
　１０９，２０７・・・プロキシ映像符号化部
　１１０，２０８・・・音声信号前処理部
　１１１，２０９・・・音声符号化部
　１１２，２１０・・・メタデータ生成部
　１１３，１１４，２１１，２１２・・・ストリーム多重化部
　１１５，２１３・・・記録メディアインタフェース部
　１１６，２１４・・・記録メディア

Claims (13)

  1. 　プログレッシブ方式の第１の映像信号を符号化する第１の符号化部と、
    　上記第１の映像信号あるいは上記第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して第３の映像信号を得るスキャンモード変換部と、
    　上記第３の映像信号を符号化する第２の符号化部とを備える
    　符号化装置。
  2. 　上記第１の映像信号を得る撮像部をさらに備える
    　請求項１に記載の符号化装置。
  3. 　上記第１の符号化部で得られた符号化データおよび上記第２の符号化部で得られた符号化データを記録メディアに記録する記録部をさらに備える
    　請求項１に記載の符号化装置。
  4. 　上記第１の映像信号を得る撮像部と、
    　上記第１の符号化部で得られた符号化データおよび上記第２の符号化部で得られた符号化データを記録メディアに記録する記録部とをさらに備える
    　請求項１に記載の符号化装置。
  5. 　上記第２の映像信号または上記第３の映像信号を選択的に取り出す選択部をさらに備え、
    　上記第２の符号化部は、
    　上記選択部で取り出された映像信号を符号化する
    　請求項１に記載の符号化装置。
  6. 　上記第２の映像信号は、ＨＤ解像度で、フレームレートが２９．９７Ｈｚまたは２５Ｈｚのプログレッシブ信号である
    　請求項１に記載の符号化装置。
  7. 　上記第１の映像信号は、４ｋ以上の解像度のプログレッシブ信号である
    　請求項１に記載の符号化装置。
  8. 　上記第２の符号化部は、
    　ＩＳＯ/ＩＥＣ　１３８１８－２　ＭＰＥＧ－２方式の符号化を行う
    　請求項１に記載の符号化装置。
  9. 　上記第２の符号化部は、
    　ＩＳＯ/ＩＥＣ　１４４９６－１０　ＭＰＥＧ－４　ＡＶＣ方式の符号化を行う
    　請求項１に記載の符号化装置。
  10. 　プログレッシブ方式の第１の映像信号を第１の符号化部で符号化する第１の符号化ステップと、
    　上記第１の映像信号あるいは上記第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して第３の映像信号を得るスキャンモード変換ステップと、
    　上記第３の映像信号を第２の符号化部で符号化する第２の符号化ステップとを有する
    　符号化方法。
  11. 　プログレッシブ方式の第１の映像信号を得る撮像部と、
    　上記第１の映像信号を符号化する第１の符号化部と、
    　上記第１の映像信号あるいは上記第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して第３の映像信号を得るスキャンモード変換部と、
    　上記第３の映像信号を符号化する第２の符号化部とを備える
    　カメラ。
  12. 　プログレッシブ方式の第１の映像信号を符号化する第１の符号化部と、
    　上記第１の映像信号あるいは上記第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して第３の映像信号を得るスキャンモード変換部と、
    　上記第３の映像信号を符号化する第２の符号化部と、
    　上記第１の符号化部で得られた符号化データおよび上記第２の符号化部で得られた符号化データを記録メディアに記録する記録部とを備える
    　レコーダ。
  13. 　プログレッシブ方式の第１の映像信号を得る撮像部と、
    　上記第１の映像信号を符号化する第１の符号化部と、
    　上記第１の映像信号あるいは上記第１の映像信号の解像度および/またはフレームレートを低下させた第２の映像信号をプログレッシブ信号からインタレース信号に変換して第３の映像信号を得るスキャンモード変換部と、
    　上記第３の映像信号を符号化する第２の符号化部と、
    　上記第１の符号化部で得られた符号化データおよび上記第２の符号化部で得られた符号化データを記録メディアに記録する記録部とを備える
    　カメラ一体型レコーダ。
PCT/JP2015/064387 2014-06-13 2015-05-19 符号化装置、符号化方法、カメラ、レコーダおよびカメラ一体型レコーダ WO2015190248A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/314,335 US10582197B2 (en) 2014-06-13 2015-05-19 Encoder, encoding method, camera, recorder, and camera-integrated recorder

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014122640A JP2016005032A (ja) 2014-06-13 2014-06-13 符号化装置、符号化方法、カメラ、レコーダおよびカメラ一体型レコーダ
JP2014-122640 2014-06-13

Publications (1)

Publication Number Publication Date
WO2015190248A1 true WO2015190248A1 (ja) 2015-12-17

Family

ID=54833353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064387 WO2015190248A1 (ja) 2014-06-13 2015-05-19 符号化装置、符号化方法、カメラ、レコーダおよびカメラ一体型レコーダ

Country Status (3)

Country Link
US (1) US10582197B2 (ja)
JP (1) JP2016005032A (ja)
WO (1) WO2015190248A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153183A (ja) * 1992-11-02 1994-05-31 Sony Corp 画像信号符号化装置、画像信号復号化装置、画像信号符号化方法、画像信号復号化方法及び画像信号記録媒体
JPH07162870A (ja) * 1993-09-21 1995-06-23 At & T Corp ビデオ信号符号化装置
JPH10507886A (ja) * 1994-10-20 1998-07-28 トムソン コンシユーマ エレクトロニクス インコーポレイテツド プリレコード形ディジタル・ビデオを記録するためのｈｄｔｖトリック再生・ストリームの生成
JP2006303627A (ja) * 2005-04-15 2006-11-02 Sony Corp 記録装置及びその制御方法
JP2010041408A (ja) * 2008-08-05 2010-02-18 Victor Co Of Japan Ltd 動画像符号化装置、動画像復号化装置、動画像符号化方法および動画像復号化方法
JP2013162485A (ja) * 2012-02-08 2013-08-19 Canon Inc 記録装置、記録方法および記録システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867625A (en) 1994-10-20 1999-02-02 Thomson Consumer Electronics, Inc. Digital VCR with trick play steam derivation
EP1243141B1 (en) * 1999-12-14 2011-10-19 Scientific-Atlanta, LLC System and method for adaptive decoding of a video signal with coordinated resource allocation
US7136417B2 (en) * 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
EP1700482A1 (en) * 2003-12-22 2006-09-13 Koninklijke Philips Electronics N.V. Compatible interlaced sdtv and progressive hdtv
JP4830376B2 (ja) * 2005-07-11 2011-12-07 日産自動車株式会社 車両用地絡検出装置
GB0910117D0 (en) * 2008-07-14 2009-07-29 Holicom Film Ltd Method and system for filming
US8766810B2 (en) * 2012-07-08 2014-07-01 International Intelligent Metering, LLC Indirect measurement method and system for monitoring and reporting leakage currents
US9979960B2 (en) * 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153183A (ja) * 1992-11-02 1994-05-31 Sony Corp 画像信号符号化装置、画像信号復号化装置、画像信号符号化方法、画像信号復号化方法及び画像信号記録媒体
JPH07162870A (ja) * 1993-09-21 1995-06-23 At & T Corp ビデオ信号符号化装置
JPH10507886A (ja) * 1994-10-20 1998-07-28 トムソン コンシユーマ エレクトロニクス インコーポレイテツド プリレコード形ディジタル・ビデオを記録するためのｈｄｔｖトリック再生・ストリームの生成
JP2006303627A (ja) * 2005-04-15 2006-11-02 Sony Corp 記録装置及びその制御方法
JP2010041408A (ja) * 2008-08-05 2010-02-18 Victor Co Of Japan Ltd 動画像符号化装置、動画像復号化装置、動画像符号化方法および動画像復号化方法
JP2013162485A (ja) * 2012-02-08 2013-08-19 Canon Inc 記録装置、記録方法および記録システム

Also Published As

Publication number Publication date
US20170201748A1 (en) 2017-07-13
US10582197B2 (en) 2020-03-03
JP2016005032A (ja) 2016-01-12

Similar Documents

Publication Publication Date Title
KR102498725B1 (ko) 화상 부호화 장치, 화상 부호화 방법 및 기록 매체
US20190215534A1 (en) Image processing apparatus and image processing method
US20190238839A1 (en) Image processing apparatus and image processing method
US10779009B2 (en) Image decoding device and method
RU2513912C2 (ru) Устройство и способ обработки изображений
CN102833564A (zh) 图像处理设备和图像处理方法
WO2018003757A1 (ja) 信号処理装置、信号処理方法、カメラシステム、ビデオシステムおよびサーバ
JP6690741B2 (ja) 画像符号化装置および方法、並びに、プログラム
JP2010011154A (ja) 画像生成装置及び画像再生装置
JP2018007246A (ja) 信号処理装置、信号処理方法、カメラシステム、ビデオシステムおよびサーバ
US20110052140A1 (en) Image editing device and imaging device provided with the image editing device, image reproduction device and imaging device provided with the image reproduction device
JP2011217272A (ja) 映像処理装置及びその制御方法
TWI713355B (zh) 解碼裝置、解碼方法、顯示裝置、及顯示方法
JP4797974B2 (ja) 撮像装置
JP4902854B2 (ja) 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
WO2015190248A1 (ja) 符号化装置、符号化方法、カメラ、レコーダおよびカメラ一体型レコーダ
US20090142039A1 (en) Method and apparatus for recording video data
JP2016149693A (ja) 情報処理装置、情報処理方法、およびプログラム、並びに記録媒体
JP2011049927A (ja) 画像処理装置、およびそれを搭載した撮像装置
JP4645401B2 (ja) 記録装置および方法、並びにプログラム
JP2011078068A (ja) 映像伝送方式
JP4647645B2 (ja) デジタルシネマ再生装置，デジタルシネマ再生方法およびデジタルシネマ再生プログラム
US7933494B2 (en) Recording apparatus and method, and program
JP2010212772A (ja) 映像データ送信装置、映像データ受信装置およびそれらを備えた映像伝送システム
JP2016058815A (ja) トランスコード方法及びトランスコード装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15807543

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15314335

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15807543

Country of ref document: EP

Kind code of ref document: A1