WO2016046860A1 - Image encoding/transmitting apparatus, image decoding apparatus, image encoding/transmitting method, and image decoding method - Google Patents
Image encoding/transmitting apparatus, image decoding apparatus, image encoding/transmitting method, and image decoding method Download PDFInfo
- Publication number
- WO2016046860A1 WO2016046860A1 PCT/JP2014/004834 JP2014004834W WO2016046860A1 WO 2016046860 A1 WO2016046860 A1 WO 2016046860A1 JP 2014004834 W JP2014004834 W JP 2014004834W WO 2016046860 A1 WO2016046860 A1 WO 2016046860A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- encoded data
- unit
- encoding
- entire
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
Definitions
- the present invention relates to an image encoding / transmission apparatus that encodes and transmits an image, and an image decoding apparatus that decodes received encoded image data.
- image encoding techniques for reducing the volume of image data include H.264 used in MPEG-2 (Moving Picture Expert Group), Blu-ray (registered trademark) disks used in digital broadcasting and the like. H.264.
- MPEG-2 TS Transport Stream
- MPEG-2 TS Transport Stream
- Patent Document 1 An example of an image encoding device using H.264 is disclosed.
- An encoding apparatus related to Patent Literature 1 includes first encoded data obtained by converting and encoding a pixel range of an input image, a decoded image obtained by decoding the first encoded data, and an input image. By generating the second encoded data obtained by encoding the difference between the two, the quality of the image is improved while suppressing an increase in the code amount.
- H. 265 MMT (MPEG Media Transport) is expected to be applied as a transmission method.
- the bandwidth required for transmission of high-definition images such as 4K and 8K is enormous. Even if H.265 is used, it cannot be said that transmission is easy.
- the present invention has been made in view of the above problems, and an object of the present invention is to provide an image encoding / transmission apparatus capable of maintaining image quality while suppressing an increase in the amount of codes.
- An image encoding / transmission apparatus includes: An overall encoding unit that encodes the entire input image to generate overall encoded data; An image trimming unit that identifies an important region in the input image, outputs a trimmed image obtained by extracting an image of the identified important region, and trimming position information indicating the position of the trimmed image; A partial encoding unit that encodes the trimmed image at a higher bit rate than the overall encoded data to generate partial encoded data; A multiplexing unit that multiplexes the entire encoded data, the partially encoded data, and the trimming position information and outputs the multiplexed data to a transmission path; Is provided.
- the entire encoded data obtained by encoding the entire input image and the trimmed image of the important area in the input image are encoded at a higher bit rate than the entire encoded data. Since the converted partial encoded data is superimposed and output to the transmission path, the subjective image quality in the decoded image can be maintained by decoding and superimposing the entire encoded data and the partial encoded data.
- FIG. 1 is a configuration diagram illustrating an image encoding / transmission apparatus according to the first embodiment.
- the image encoding / transmission apparatus illustrated in FIG. 1 includes an overall encoding unit 101, a trimming unit 102, a trimming encoding unit 103, and a multiplexing unit 104.
- the overall encoding unit 101 is MPEG-2, H.264, or the like. H.264, H.C.
- the entire input image is encoded using an encoding method such as H.265, and the entire encoded data is output. Note that the encoding method is not limited to these methods.
- the image trimming unit 102 identifies an important region to be noted in the input image (hereinafter referred to as an important region), extracts the identified important region, and outputs the extracted important region to the partial encoding unit 103.
- the image trimming unit 102 also outputs trimming position information indicating the position of the trimmed image to the multiplexing unit 104. Details of the trimming process will be described later.
- the partial encoding unit 103 encodes the trimmed image at a bit rate higher than that of the entire image, and outputs the encoded image to the multiplexing unit 104 as partially encoded data. Assume that the encoding bit rate of the trimmed image is sufficient to maintain the standard image quality. Since the trimmed image is a part of the entire image, even if the bit rate is set higher than that of the entire image, the bit rate does not increase significantly.
- the multiplexing unit 104 outputs the entire encoded data, partial encoded data, and trimming position information as multiplexed data.
- FIG. 2 is a diagram illustrating an example of the trimming process in the image trimming unit 102.
- the method of specifying the important area to be trimmed differs depending on the target content. For example, it is conceivable that a person, particularly a face area, is an important area. In the example shown in FIG. 2, a person's face and one place are trimmed as an important area, but a plurality of places may be trimmed according to the contents of an image.
- the trimming position information indicating the position of the trimmed image has the upper left corner of the input image as the origin (0, 0), and the upper left coordinates (x 1 , y 1 ) and the lower right coordinates (x 2 , y 2 ) of the trimmed image. Use.
- the size of the trimming frame is set according to the block size of the image encoding method used in the partial encoding unit 103. For example, H.C. When the H.264 method is used, the width and height of the trimmed image must be a multiple of 16.
- An example of an object detection method in an image is disclosed in JP-T-2006-527882, and an example of a face detection method is disclosed in Japanese Patent No. 4903192.
- FIG. 3 is a diagram illustrating another example of the trimming process in the image trimming unit 102.
- FIG. 3 shows a trimming process when there is a movement in the important area. Since a general moving picture coding method uses GOP (Group Of Picture) as a coding unit, it is necessary to unify the position and size of the trimmed image within the GOP. Therefore, the trimming frame is set so as to include an important area that moves within the GOP.
- FIG. 3 shows an example in which a car moving from left to right is trimmed as an important area. As shown in FIG. 3, the trimming frame is set so as to include a moving vehicle for each of GOP ⁇ A and GOP B.
- the moving range of the object is obtained with reference to not only the first and last pictures of the GOP but also all the pictures, and a trimming frame is set.
- the multiplexing unit 104 multiplexes the entire encoded data, partial encoded data, and trimming position information using the MMT method.
- Layout_Configuration_Table (layout setting table) for specifying in what layout a plurality of pieces of image information are displayed is defined.
- a plurality of layouts can be specified in this layout setting table, and a layout can be set for each MPU (Media Processing Unit) which is a playback unit of media using MPU_presentaion_region_descriptor () (MPU presentation region descriptor).
- the trimming position information set for each GOP is described in the layout setting table, and the MPU and the layout using the MPU presentation area descriptor.
- the setting table is linked and multiplexed, and is output to the transmission path together with the entire encoded data and the partially encoded data. Note that the MMT scheme is an example, and other multiplexing schemes having similar functions may be used.
- FIG. 4 is a diagram illustrating an image decoding apparatus that decodes multiplexed data output by the image encoding / transmission apparatus illustrated in FIG. 2.
- the image decoding apparatus illustrated in FIG. 4 includes a demultiplexing unit 105, an entire decoding unit 106, a trimming decoding unit 107, and an image superimposing unit 108.
- the demultiplexing unit 105 demultiplexes multiplexed data acquired from a plurality of transmission paths into entire encoded data, partial encoded data, and trimming position information. Output to the unit 108.
- Overall decoding section 106 decodes the overall encoded data to generate an overall decoded image, and outputs it to image superposition section 108.
- the partial decoding unit 107 decodes the partial encoded data to generate a partial decoded image, and outputs the partial decoded image to the image superimposing unit 108.
- the image superimposing unit 108 superimposes the partially decoded image on the entire decoded image using the trimming position information, and generates a superimposed decoded image.
- the generated superimposed decoded image is output to a display device or the like.
- FIG. 5 is a diagram illustrating an example of a superimposed decoded image.
- an area indicated by a dotted frame is specified by the trimming position information, and the partial decoded image shown in FIG. 5B is superimposed on this area, and the superposition shown in FIG. A decoded image is generated.
- the entire encoded data is encoded at a lower bit rate than the partially encoded data, but the partially encoded data is encoded at a bit rate sufficient to maintain the image quality.
- the image quality of the important area is maintained. Therefore, it is possible to maintain the subjective image quality of the decoded image while suppressing an increase in the encoding bit rate.
- the image coding and transmission apparatus trims an important area of an entire image, encodes the trimmed important image at a higher bit rate than the entire image, and the entire image has a lower bit rate than the important area. Encode.
- the decoded partial image is superimposed on the decoded whole image. In this way, by encoding the entire image at a bit rate lower than that of the important area, it is possible to maintain subjective image quality without increasing the bit rate.
- the entire encoded data and the partially encoded data may be multiplexed separately and transmitted using different transmission paths.
- the entire encoded data encoded at a standard bit rate is transmitted on a broadcast wave
- the partially encoded data encoded at a high bit rate is transmitted on a communication line such as the Internet line, so that only the broadcast wave can be transmitted.
- a normal quality content can be provided to a user who cannot receive, and a higher quality content can be provided to a user who has both a broadcast wave and a communication line.
- the trimming position information may be added to either the entire encoded data or the partially encoded data.
- Different encoding methods may be used for the entire encoded data and the partially encoded data.
- Standard for users who have decoding devices that do not support the latest coding method by applying the popular coding method for the whole coded data and applying the latest coding method for the partially coded data.
- a high-quality content can be provided to a user who provides a whole image with a typical image quality and has a decoding device compatible with the latest encoding method.
- FIG. 6 is a block diagram showing an image encoding / transmission apparatus according to the second embodiment. 6 includes an image reduction unit 201, an entire encoding unit 202, an image trimming unit 203, It comprises a partial encoding unit 204 and a multiplexing unit 205.
- the image reduction unit 201 reduces the input image to generate a reduced image, and outputs the reduced image to the overall encoding unit 202 and the image trimming unit 203.
- the overall encoding unit 202 encodes the entire reduced image to generate reduced overall encoded data, and outputs it to the multiplexing unit 205.
- the image trimming unit 203 trims the important region in the input image by the method described in the first embodiment, generates a trimmed image and trimming position information, and outputs them to the partial encoding unit 204 and the multiplexing unit 205, respectively.
- the image trimming unit 203 may perform object detection processing for determining an important region in an image to be trimmed using a reduced image. When the reduced image is used, the processing amount can be reduced as compared with the case where the input image having a large amount of information is used.
- the partial encoding unit 204 encodes the trimmed image to generate partial encoded data, and outputs the partial encoded data to the multiplexing unit 205.
- the multiplexing unit 205 outputs multiplexed data obtained by multiplexing the reduced overall encoded data, the partial encoded data, and the trimming position information.
- FIG. 7 is a diagram illustrating an image decoding apparatus that decodes multiplexed data output by the image encoding / transmission apparatus illustrated in FIG. 6.
- the image decoding apparatus illustrated in FIG. 7 includes a demultiplexing unit 206, an entire decoding unit 207, an image enlarging unit 208, a partial decoding unit 209, and an image superimposing unit 210.
- the demultiplexing unit 206 converts the reduced overall encoded data, partial encoded data, and trimming position information obtained by demultiplexing multiplexed data acquired from a plurality of transmission paths into an overall decoding unit 207, a partial decoding unit 209, And output to the image superimposing unit 210, respectively.
- Overall decoding section 207 decodes the reduced overall encoded data to generate a reduced decoded image, and outputs it to image enlargement section 208.
- the image enlarging unit 208 outputs the entire decoded image obtained by enlarging the reduced entire decoded image to the image superimposing unit 210.
- the partial decoding unit 209 outputs a partial decoded image obtained by decoding the partial encoded data to the image superimposing unit 210.
- the image superimposing unit 210 superimposes the partial decoded image on the entire decoded image using the trimming position information and generates a superimposed decoded image using the same method as in the first embodiment.
- the entire input image is reduced and encoded, and the important region is encoded while maintaining the resolution, so that the increase in bit rate is significantly suppressed. , Subjective image quality can be maintained.
- FIG. 8 is a configuration diagram illustrating an image encoding / transmission apparatus according to the third embodiment.
- the image encoding / transmission apparatus shown in FIG. 8 includes an image trimming unit 301, an image processing unit 302, an overall encoding unit 303, a trimming encoding unit 304, and a multiplexing unit 305.
- the image trimming unit 301 trims the important area by the same method as in the first embodiment, and outputs the trimmed image to the partial encoding unit 304. Also, trimming position information indicating the position of the important region is output to the image processing unit 302 and the multiplexing unit 305.
- the image processing unit 302 performs image processing on the important area indicated by the trimming position information.
- the image processed by the image processing unit 302 is output to the entire encoding unit 303 as a processed image.
- the overall encoding unit 303 outputs the overall encoded data obtained by encoding the entire processed image to the multiplexing unit 305.
- the partial encoding unit 304 encodes the trimmed image and outputs it to the multiplexing unit 305 as partial encoded data.
- the multiplexing unit 305 multiplexes the entire encoded data, partial encoded data, and trimming position information, and outputs the multiplexed data.
- FIG. 9 is a block diagram showing an example of an image decoding apparatus corresponding to the image encoding / transmission apparatus shown in FIG.
- the image decoding apparatus illustrated in FIG. 9 includes a user authentication unit 401 and an image decoding unit 402.
- the user authentication unit 401 performs user authentication using user authentication information such as a user ID and password input from the outside, and outputs an authentication result to the image decoding unit 402.
- the user authentication information may be biometric authentication information such as a fingerprint.
- FIG. 10 is a diagram illustrating a configuration of the image encoding unit 402.
- the user authentication result output from the user authentication unit 401 is input to the image superimposing unit 408.
- the image superimposing unit 408 selects and outputs the decoded superimposed image or the entire decoded image based on the user authentication result. Specifically, when the user is authenticated, the superimposed decoded image is output. When the user is not authenticated, the entire decoded image is output without superimposing the partial decoded image. Since the configuration other than the image superimposing unit 408 is the same as that of the image decoding apparatus shown in FIG. 4 described in the first embodiment, the corresponding components are denoted by the same reference numerals and description thereof is omitted.
- the user authentication result may be input to the demultiplexing unit, and the partial encoded data may be generated only when authentication is established.
- a specific user registered as a user can be selected and output based on the user authentication result by selecting and outputting the decoded superimposed image or the entire decoded image.
- an image of an important area can be disclosed.
- the image decoding apparatus shown in FIG. 10 can also be used corresponding to the image decoding transmission apparatus according to Embodiments 1 and 2 shown in FIGS.
- low-quality or standard-quality images can be provided to unregistered users, and high-quality images can be provided to specially registered users.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
The present invention was made in view of the problem and addresses the problem of providing an image encoding/transmitting apparatus that can maintain image quality while suppressing an increase in coding amount.
In order to solve the problem, an image encoding/transmitting apparatus of the present invention is provided with: a whole encoding unit that encodes the whole of an input image, thereby generating whole-encoded data; an image trimming unit that determines an important area in the input image and that outputs a trimmed image, obtained by extracting an image of the determined important area, and trimming position information indicating the position of the trimmed image; a partial encoding unit that encodes the trimmed image at a higher bit rate than the whole-encoded data, thereby generating partial-encoded data; and a multiplex unit that multiplexes and outputs the whole-encoded data, the partial-encoded data, and the trimming position information to a transmission path.
Description
この発明は、画像を符号化して伝送する画像符号化伝送装置と、受信した符号化画像データを復号する画像復号装置に関するものである。
The present invention relates to an image encoding / transmission apparatus that encodes and transmits an image, and an image decoding apparatus that decodes received encoded image data.
画像データの容量を削減する画像符号化技術として代表的なものに、デジタル放送等で用いられるMPEG-2(Moving Picture Expert Group)、Blu-ray(登録商標)ディスク等で用いられるH.264が挙げられる。また、符号化した画像データを伝送する方式として、地上デジタル放送やBlu-rayディスクではMPEG-2 TS(Transport Stream)が採用されている。
Representative examples of image encoding techniques for reducing the volume of image data include H.264 used in MPEG-2 (Moving Picture Expert Group), Blu-ray (registered trademark) disks used in digital broadcasting and the like. H.264. In addition, MPEG-2 TS (Transport Stream) is adopted as a method for transmitting encoded image data in terrestrial digital broadcasting and Blu-ray discs.
下記特許文献1にH.264を用いた画像符号化装置の一例が開示されている。特許文献1に関わる符号化装置は、入力画像の画素レンジを変換して符号化して得られる第1の符号化データと、第1の符号化データを復号して得られる復号画像と入力画像との差分を符号化した第2の符号化データとを生成することで、符号量の増加を抑えつつ画像の品質を高めるものである。
In the following Patent Document 1, H. An example of an image encoding device using H.264 is disclosed. An encoding apparatus related to Patent Literature 1 includes first encoded data obtained by converting and encoding a pixel range of an input image, a decoded image obtained by decoding the first encoded data, and an input image. By generating the second encoded data obtained by encoding the difference between the two, the quality of the image is improved while suppressing an increase in the code amount.
次世代の4Kまたは8K放送については、画像符号化技術としてH.265、伝送方式としてMMT(MPEG Media Transport)の適用がそれぞれ見込まれている。4K、8Kといった高精細画像の伝送に要する帯域は膨大であり、H.265を用いても容易に伝送可能とはいえない。
For next-generation 4K or 8K broadcasts, H. 265, MMT (MPEG Media Transport) is expected to be applied as a transmission method. The bandwidth required for transmission of high-definition images such as 4K and 8K is enormous. Even if H.265 is used, it cannot be said that transmission is easy.
本発明は上記課題に鑑みてなされたものであり、符号量の増加を抑えつつ画像の品質を維持することが可能な画像符号化伝送装置を提供することを課題とする。
The present invention has been made in view of the above problems, and an object of the present invention is to provide an image encoding / transmission apparatus capable of maintaining image quality while suppressing an increase in the amount of codes.
本発明に係わる画像符号化伝送装置は、
入力画像全体を符号化して全体符号化データを生成する全体符号化部と、
入力画像中の重要領域を特定し、特定された当該重要領域の画像を抽出して得られるトリミング画像、および当該トリミング画像の位置を示すトリミング位置情報を出力する画像トリミング部と、
前記トリミング画像を前記全体符号化データよりも高いビットレートで符号化して部分符号化データを生成する部分符号化部と、
前記全体符号化データ、前記部分符号化データ、および前記トリミング位置情報を多重化して伝送路に出力する多重化部と、
を備えるものである。 An image encoding / transmission apparatus according to the present invention includes:
An overall encoding unit that encodes the entire input image to generate overall encoded data;
An image trimming unit that identifies an important region in the input image, outputs a trimmed image obtained by extracting an image of the identified important region, and trimming position information indicating the position of the trimmed image;
A partial encoding unit that encodes the trimmed image at a higher bit rate than the overall encoded data to generate partial encoded data;
A multiplexing unit that multiplexes the entire encoded data, the partially encoded data, and the trimming position information and outputs the multiplexed data to a transmission path;
Is provided.
入力画像全体を符号化して全体符号化データを生成する全体符号化部と、
入力画像中の重要領域を特定し、特定された当該重要領域の画像を抽出して得られるトリミング画像、および当該トリミング画像の位置を示すトリミング位置情報を出力する画像トリミング部と、
前記トリミング画像を前記全体符号化データよりも高いビットレートで符号化して部分符号化データを生成する部分符号化部と、
前記全体符号化データ、前記部分符号化データ、および前記トリミング位置情報を多重化して伝送路に出力する多重化部と、
を備えるものである。 An image encoding / transmission apparatus according to the present invention includes:
An overall encoding unit that encodes the entire input image to generate overall encoded data;
An image trimming unit that identifies an important region in the input image, outputs a trimmed image obtained by extracting an image of the identified important region, and trimming position information indicating the position of the trimmed image;
A partial encoding unit that encodes the trimmed image at a higher bit rate than the overall encoded data to generate partial encoded data;
A multiplexing unit that multiplexes the entire encoded data, the partially encoded data, and the trimming position information and outputs the multiplexed data to a transmission path;
Is provided.
本発明に係わる画像符号化伝送装置によれば、入力画像全体の符号化して得られる全体符号化データと、当該入力画像における重要領域のトリミング画像を、全体符号化データよりも高いビットレートで符号化した部分符号化データを重畳して伝送路に出力するので、全体符号化データと部分符号化データとを復号して重畳することにより、復号画像における主観的な画質を維持することができる。
According to the image coding and transmission apparatus according to the present invention, the entire encoded data obtained by encoding the entire input image and the trimmed image of the important area in the input image are encoded at a higher bit rate than the entire encoded data. Since the converted partial encoded data is superimposed and output to the transmission path, the subjective image quality in the decoded image can be maintained by decoding and superimposing the entire encoded data and the partial encoded data.
実施の形態1.
図1は実施の形態1に関わる画像符号化伝送装置を示す構成図である。図1に示す画像符号化伝送装置は、全体符号化部101、トリミング部102、トリミング符号化部103、および多重化部104から構成される。
全体符号化部101は、MPEG-2、H.264、H.265等の符号化方式を用いて入力画像全体を符号化し、全体符号化データを出力する。なお、符号化方式はこれらの方式に限られない。画像トリミング部102は、入力画像において注目される重要な領域(以下、重要領域)を特定し、特定した重要領域を抽出し、トリミング画像として部分符号化部103に出力する。画像トリミング部102はまた、トリミング画像の位置を示すトリミング位置情報を多重化部104に出力する。トリミング処理の詳細については後述する。 Embodiment 1 FIG.
FIG. 1 is a configuration diagram illustrating an image encoding / transmission apparatus according to the first embodiment. The image encoding / transmission apparatus illustrated in FIG. 1 includes anoverall encoding unit 101, a trimming unit 102, a trimming encoding unit 103, and a multiplexing unit 104.
Theoverall encoding unit 101 is MPEG-2, H.264, or the like. H.264, H.C. The entire input image is encoded using an encoding method such as H.265, and the entire encoded data is output. Note that the encoding method is not limited to these methods. The image trimming unit 102 identifies an important region to be noted in the input image (hereinafter referred to as an important region), extracts the identified important region, and outputs the extracted important region to the partial encoding unit 103. The image trimming unit 102 also outputs trimming position information indicating the position of the trimmed image to the multiplexing unit 104. Details of the trimming process will be described later.
図1は実施の形態1に関わる画像符号化伝送装置を示す構成図である。図1に示す画像符号化伝送装置は、全体符号化部101、トリミング部102、トリミング符号化部103、および多重化部104から構成される。
全体符号化部101は、MPEG-2、H.264、H.265等の符号化方式を用いて入力画像全体を符号化し、全体符号化データを出力する。なお、符号化方式はこれらの方式に限られない。画像トリミング部102は、入力画像において注目される重要な領域(以下、重要領域)を特定し、特定した重要領域を抽出し、トリミング画像として部分符号化部103に出力する。画像トリミング部102はまた、トリミング画像の位置を示すトリミング位置情報を多重化部104に出力する。トリミング処理の詳細については後述する。 Embodiment 1 FIG.
FIG. 1 is a configuration diagram illustrating an image encoding / transmission apparatus according to the first embodiment. The image encoding / transmission apparatus illustrated in FIG. 1 includes an
The
部分符号化部103は、トリミング画像を全体画像よりも高いビットレートで符号化し、部分符号化データとして多重化部104に出力する。トリミング画像の符号化ビットレートは標準的な画質を維持できるのに充分なレートであるものとする。トリミング画像は全体画像の一部であることから、ビットレートを全体画像に比して高く設定しても大幅にビットレートが増大することはない。多重化部104は、全体符号化データ、部分符号化データ、およびトリミング位置情報を多重化データとして出力する。
The partial encoding unit 103 encodes the trimmed image at a bit rate higher than that of the entire image, and outputs the encoded image to the multiplexing unit 104 as partially encoded data. Assume that the encoding bit rate of the trimmed image is sufficient to maintain the standard image quality. Since the trimmed image is a part of the entire image, even if the bit rate is set higher than that of the entire image, the bit rate does not increase significantly. The multiplexing unit 104 outputs the entire encoded data, partial encoded data, and trimming position information as multiplexed data.
図2は、画像トリミング部102におけるトリミング処理の一例を示す図である。トリミングする重要領域の特定方法は対象とするコンテンツによって異なる。例えば、人物、特に顔の領域を重要領域とすることが考えられる。図2に示す例では人物の顔、一カ所を重要領域としてトリミングしているが、画像の内容に応じて複数箇所をトリミングしてもよい。トリミング画像の位置を示すトリミング位置情報は、入力画像の左上を原点(0,0)とし、トリミング画像の左上の座標(x1,y1)と右下の座標(x2,y2)を用いる。この座標は絶対値を用いてもよいが、最大値を100として百分率で表した相対値を用いてもよい。トリミング枠の大きさは、部分符号化部103において用いられる画像符号化方式のブロックサイズに応じて設定される。例えばH.264方式を用いる場合、トリミング画像の幅、高さは16の倍数にする必要がある。
なお、画像内のオブジェクト検出方法については特表2006-527882号公報に、顔検出方法については特許第4903192号公報に一例がそれぞれ開示されている。 FIG. 2 is a diagram illustrating an example of the trimming process in theimage trimming unit 102. The method of specifying the important area to be trimmed differs depending on the target content. For example, it is conceivable that a person, particularly a face area, is an important area. In the example shown in FIG. 2, a person's face and one place are trimmed as an important area, but a plurality of places may be trimmed according to the contents of an image. The trimming position information indicating the position of the trimmed image has the upper left corner of the input image as the origin (0, 0), and the upper left coordinates (x 1 , y 1 ) and the lower right coordinates (x 2 , y 2 ) of the trimmed image. Use. Although absolute values may be used for these coordinates, relative values expressed as percentages with the maximum value being 100 may be used. The size of the trimming frame is set according to the block size of the image encoding method used in the partial encoding unit 103. For example, H.C. When the H.264 method is used, the width and height of the trimmed image must be a multiple of 16.
An example of an object detection method in an image is disclosed in JP-T-2006-527882, and an example of a face detection method is disclosed in Japanese Patent No. 4903192.
なお、画像内のオブジェクト検出方法については特表2006-527882号公報に、顔検出方法については特許第4903192号公報に一例がそれぞれ開示されている。 FIG. 2 is a diagram illustrating an example of the trimming process in the
An example of an object detection method in an image is disclosed in JP-T-2006-527882, and an example of a face detection method is disclosed in Japanese Patent No. 4903192.
図3は、画像トリミング部102におけるトリミング処理の他の例を示す図である。図3は、重要領域に動きがある場合のトリミング処理を示している。一般的な動画像符号化方式はGOP(Group Of Picture)を符号化単位としているので、トリミング画像の位置、大きさはGOP内で統一する必要がある。このためトリミング枠は、GOP内において移動する重要領域を含むように設定される。図3は、左から右に移動する車を重要領域としてトリミングする例を示している。図3に示すようにトリミング枠は、GOP A、およびGOP Bの各々について移動する車を含むように設定される。重要領域のオブジェクトが複雑な動きをする場合、GOPの最初と最後のピクチャのみでなく、全てのピクチャを参照してオブジェクトの移動範囲を求め、トリミング枠を設定する。
FIG. 3 is a diagram illustrating another example of the trimming process in the image trimming unit 102. FIG. 3 shows a trimming process when there is a movement in the important area. Since a general moving picture coding method uses GOP (Group Of Picture) as a coding unit, it is necessary to unify the position and size of the trimmed image within the GOP. Therefore, the trimming frame is set so as to include an important area that moves within the GOP. FIG. 3 shows an example in which a car moving from left to right is trimmed as an important area. As shown in FIG. 3, the trimming frame is set so as to include a moving vehicle for each of GOP 、 A and GOP B. When the object in the important region moves in a complicated manner, the moving range of the object is obtained with reference to not only the first and last pictures of the GOP but also all the pictures, and a trimming frame is set.
図1に示す画像符号化伝送装置において、多重部104はMMT方式を用いて全体符号化データ、部分符号化データ、およびトリミング位置情報を多重化する。MMT方式では複数の画像情報をどのようなレイアウトで表示するか指定するためのLayout_Configuration_Table()(レイアウト設定テーブル)が規定されている。このレイアウト設定テーブルには複数個のレイアウトが指定可能であり、MPU_presentaion_region_descriptor()(MPU提示領域記述子)を用いてメディアの再生単位であるMPU(Media Processing Unit)毎にレイアウトを設定可能である。符号化単位としてのGOPと再生単位としてのMPUとの対応関係を利用して、GOP単位で設定されるトリミング位置情報をレイアウト設定テーブルに記述するとともに、MPU提示領域記述子を用いてMPUとレイアウト設定テーブルを紐づけて多重化し、全体符号化データ、および部分符号化データとともに伝送路に出力する。なお、MMT方式は一例であり、同様の機能を持つ他の多重化方式を用いてもよい。
1, the multiplexing unit 104 multiplexes the entire encoded data, partial encoded data, and trimming position information using the MMT method. In the MMT method, Layout_Configuration_Table () (layout setting table) for specifying in what layout a plurality of pieces of image information are displayed is defined. A plurality of layouts can be specified in this layout setting table, and a layout can be set for each MPU (Media Processing Unit) which is a playback unit of media using MPU_presentaion_region_descriptor () (MPU presentation region descriptor). Using the correspondence between the GOP as the encoding unit and the MPU as the reproduction unit, the trimming position information set for each GOP is described in the layout setting table, and the MPU and the layout using the MPU presentation area descriptor. The setting table is linked and multiplexed, and is output to the transmission path together with the entire encoded data and the partially encoded data. Note that the MMT scheme is an example, and other multiplexing schemes having similar functions may be used.
図4は、図2に示す画像符号化伝送装置により出力される多重化データを復号する画像復号装置を示す図である。図4に示す画像復号装置は、多重分離部105、全体復号部106、トリミング復号部107、および画像重畳部108から構成される。
多重分離部105は、複数の伝送路から取得される多重化データを、全体符号化データ、部分符号化データ、およびトリミング位置情報に分離し、全体復号部106、部分復号部107、および画像重畳部108にそれぞれ出力する。全体復号部106は、全体符号化データを復号して全体復号画像を生成し、画像重畳部108に出力する。部分復号部107は、部分符号化データを復号して部分復号画像を生成し、画像重畳部108に出力する。画像重畳部108は、トリミング位置情報を用いて部分復号画像を全体復号画像に対して重畳し、重畳復号画像を生成する。生成された重畳復号画像は表示装置などに出力される。 FIG. 4 is a diagram illustrating an image decoding apparatus that decodes multiplexed data output by the image encoding / transmission apparatus illustrated in FIG. 2. The image decoding apparatus illustrated in FIG. 4 includes ademultiplexing unit 105, an entire decoding unit 106, a trimming decoding unit 107, and an image superimposing unit 108.
Thedemultiplexing unit 105 demultiplexes multiplexed data acquired from a plurality of transmission paths into entire encoded data, partial encoded data, and trimming position information. Output to the unit 108. Overall decoding section 106 decodes the overall encoded data to generate an overall decoded image, and outputs it to image superposition section 108. The partial decoding unit 107 decodes the partial encoded data to generate a partial decoded image, and outputs the partial decoded image to the image superimposing unit 108. The image superimposing unit 108 superimposes the partially decoded image on the entire decoded image using the trimming position information, and generates a superimposed decoded image. The generated superimposed decoded image is output to a display device or the like.
多重分離部105は、複数の伝送路から取得される多重化データを、全体符号化データ、部分符号化データ、およびトリミング位置情報に分離し、全体復号部106、部分復号部107、および画像重畳部108にそれぞれ出力する。全体復号部106は、全体符号化データを復号して全体復号画像を生成し、画像重畳部108に出力する。部分復号部107は、部分符号化データを復号して部分復号画像を生成し、画像重畳部108に出力する。画像重畳部108は、トリミング位置情報を用いて部分復号画像を全体復号画像に対して重畳し、重畳復号画像を生成する。生成された重畳復号画像は表示装置などに出力される。 FIG. 4 is a diagram illustrating an image decoding apparatus that decodes multiplexed data output by the image encoding / transmission apparatus illustrated in FIG. 2. The image decoding apparatus illustrated in FIG. 4 includes a
The
図5は、重畳復号画像の一例を示す図である。図5(a)に示す全体復号画像において点線枠で示される領域がトリミング位置情報によって指定され、この領域に図5(b)に示す部分復号画像が重畳され、図5(c)に示す重畳復号画像が生成される。ここで、全体符号化データは部分符号化データよりも低いビットレートで符号化されているが、部分符号化データは画質を保つのに充分なビットレートで符号化されているので、元画像の重要領域の画質は維持されている。したがって、符号化ビットレートの増加を抑えつつ、復号画像の主観的な画質を維持することが可能となる。
FIG. 5 is a diagram illustrating an example of a superimposed decoded image. In the entire decoded image shown in FIG. 5A, an area indicated by a dotted frame is specified by the trimming position information, and the partial decoded image shown in FIG. 5B is superimposed on this area, and the superposition shown in FIG. A decoded image is generated. Here, the entire encoded data is encoded at a lower bit rate than the partially encoded data, but the partially encoded data is encoded at a bit rate sufficient to maintain the image quality. The image quality of the important area is maintained. Therefore, it is possible to maintain the subjective image quality of the decoded image while suppressing an increase in the encoding bit rate.
本実施の形態に関わる画像符号化伝送装置は、全体画像の重要領域をトリミングし、トリミングした重要画像を全体画像よりも高いビットレートで符号化し、全体画像については重要領域よりも低いビットレートで符号化する。画像復号装置においては、復号した全体画像に復号した部分画像を重畳する。このように、全体画像を重要領域よりも低いビットレートで符号化することにより、ビットレートの増大を伴うことなく主観的な画質を維持することができる。
The image coding and transmission apparatus according to the present embodiment trims an important area of an entire image, encodes the trimmed important image at a higher bit rate than the entire image, and the entire image has a lower bit rate than the important area. Encode. In the image decoding apparatus, the decoded partial image is superimposed on the decoded whole image. In this way, by encoding the entire image at a bit rate lower than that of the important area, it is possible to maintain subjective image quality without increasing the bit rate.
MMT方式では複数の画像情報を複数の伝送路を用いて伝送することが可能である。したがって、全体符号化データと部分符号化データとを別々に多重化し、それぞれ異なる伝送路を用いて伝送してもよい。例えば、標準的なビットレートで符号化した全体符号化データを放送波で伝送し、高ビットレートで符号化した部分符号化データをインターネット回線などの通信回線で伝送することにより、放送波のみしか受信できないユーザに対しては通常画質のコンテンツを提供し、放送波と通信回線両方を有するユーザに対してはより高画質のコンテンツを提供することができる。この場合、トリミング位置情報は全体符号化データおよび部分符号化データのいずれに付加してもよい。
In the MMT system, it is possible to transmit a plurality of pieces of image information using a plurality of transmission paths. Therefore, the entire encoded data and the partially encoded data may be multiplexed separately and transmitted using different transmission paths. For example, the entire encoded data encoded at a standard bit rate is transmitted on a broadcast wave, and the partially encoded data encoded at a high bit rate is transmitted on a communication line such as the Internet line, so that only the broadcast wave can be transmitted. A normal quality content can be provided to a user who cannot receive, and a higher quality content can be provided to a user who has both a broadcast wave and a communication line. In this case, the trimming position information may be added to either the entire encoded data or the partially encoded data.
全体符号化データと部分符号化データは異なる符号化方式を用いてもよい。全体符号化データについては普及した符号化方式を適用し、部分符号化データについては最新の符号化方式を適用することで、最新の符号化方式に対応しない復号装置を有するユーザに対しては標準的な画質の全体画像を提供し、最新の符号化方式に対応した復号装置を有するユーザに対しては高画質のコンテンツを提供することができる。
Different encoding methods may be used for the entire encoded data and the partially encoded data. Standard for users who have decoding devices that do not support the latest coding method by applying the popular coding method for the whole coded data and applying the latest coding method for the partially coded data. A high-quality content can be provided to a user who provides a whole image with a typical image quality and has a decoding device compatible with the latest encoding method.
実施の形態2.
図6は実施の形態2に関わる画像符号化伝送装置を示す構成図である。図6に示す画像符号化伝送装置は、画像縮小部201、全体符号化部202、画像トリミング部203、
部分符号化部204、および多重化部205から構成される。
画像縮小部201は、入力画像を縮小して縮小画像を生成し、全体符号化部202および画像トリミング部203に出力する。全体符号化部202は、縮小画像全体を符号化して縮小全体符号化データを生成し、多重部205に出力する。画像トリミング部203は実施の形態1において説明した手法により、入力画像における重要領域をトリミングしてトリミング画像およびトリミング位置情報を生成し、部分符号化部204および多重化部205にそれぞれ出力する。画像トリミング部203は、トリミングを行う画像内の重要領域を決定するためのオブジェクト検出処理を、縮小画像を用いて行ってもよい。縮小画像を用いた場合、情報量の多い入力画像を用いるよりも処理量を減らすことができる。部分符号化部204は、トリミング画像を符号化して部分符号化データを生成し、多重化部205に出力する。多重化部205は、縮小全体符号化データ、部分符号化データ、およびトリミング位置情報を多重化した多重化データを出力する。 Embodiment 2. FIG.
FIG. 6 is a block diagram showing an image encoding / transmission apparatus according to the second embodiment. 6 includes animage reduction unit 201, an entire encoding unit 202, an image trimming unit 203,
It comprises apartial encoding unit 204 and a multiplexing unit 205.
Theimage reduction unit 201 reduces the input image to generate a reduced image, and outputs the reduced image to the overall encoding unit 202 and the image trimming unit 203. The overall encoding unit 202 encodes the entire reduced image to generate reduced overall encoded data, and outputs it to the multiplexing unit 205. The image trimming unit 203 trims the important region in the input image by the method described in the first embodiment, generates a trimmed image and trimming position information, and outputs them to the partial encoding unit 204 and the multiplexing unit 205, respectively. The image trimming unit 203 may perform object detection processing for determining an important region in an image to be trimmed using a reduced image. When the reduced image is used, the processing amount can be reduced as compared with the case where the input image having a large amount of information is used. The partial encoding unit 204 encodes the trimmed image to generate partial encoded data, and outputs the partial encoded data to the multiplexing unit 205. The multiplexing unit 205 outputs multiplexed data obtained by multiplexing the reduced overall encoded data, the partial encoded data, and the trimming position information.
図6は実施の形態2に関わる画像符号化伝送装置を示す構成図である。図6に示す画像符号化伝送装置は、画像縮小部201、全体符号化部202、画像トリミング部203、
部分符号化部204、および多重化部205から構成される。
画像縮小部201は、入力画像を縮小して縮小画像を生成し、全体符号化部202および画像トリミング部203に出力する。全体符号化部202は、縮小画像全体を符号化して縮小全体符号化データを生成し、多重部205に出力する。画像トリミング部203は実施の形態1において説明した手法により、入力画像における重要領域をトリミングしてトリミング画像およびトリミング位置情報を生成し、部分符号化部204および多重化部205にそれぞれ出力する。画像トリミング部203は、トリミングを行う画像内の重要領域を決定するためのオブジェクト検出処理を、縮小画像を用いて行ってもよい。縮小画像を用いた場合、情報量の多い入力画像を用いるよりも処理量を減らすことができる。部分符号化部204は、トリミング画像を符号化して部分符号化データを生成し、多重化部205に出力する。多重化部205は、縮小全体符号化データ、部分符号化データ、およびトリミング位置情報を多重化した多重化データを出力する。 Embodiment 2. FIG.
FIG. 6 is a block diagram showing an image encoding / transmission apparatus according to the second embodiment. 6 includes an
It comprises a
The
図7は、図6に示す画像符号化伝送装置により出力される多重化データを復号する画像復号装置を示す図である。図7に示す画像復号装置は、多重分離部206、全体復号部207、画像拡大部208、部分復号部209、画像重畳部210から構成される。
多重分離部206は、複数の伝送路から取得される多重化データを分離して得られる、縮小全体符号化データ、部分符号化データ、およびトリミング位置情報を全体復号部207、部分復号部209、および画像重畳部210にそれぞれ出力する。全体復号部207は、縮小全体符号化データを復号して縮小復号画像を生成し、画像拡大部208に出力する。画像拡大部208は、縮小全体復号画像を拡大した全体復号画像を画像重畳部210に出力する。部分復号部209は、部分符号化データを復号して得られる部分復号画像を画像重畳部210に出力する。画像重畳部210は、実施の形態1と同様の手法により、トリミング位置情報を用いて全体復号画像に部分復号画像を重畳し、重畳復号画像を生成する。 FIG. 7 is a diagram illustrating an image decoding apparatus that decodes multiplexed data output by the image encoding / transmission apparatus illustrated in FIG. 6. The image decoding apparatus illustrated in FIG. 7 includes ademultiplexing unit 206, an entire decoding unit 207, an image enlarging unit 208, a partial decoding unit 209, and an image superimposing unit 210.
Thedemultiplexing unit 206 converts the reduced overall encoded data, partial encoded data, and trimming position information obtained by demultiplexing multiplexed data acquired from a plurality of transmission paths into an overall decoding unit 207, a partial decoding unit 209, And output to the image superimposing unit 210, respectively. Overall decoding section 207 decodes the reduced overall encoded data to generate a reduced decoded image, and outputs it to image enlargement section 208. The image enlarging unit 208 outputs the entire decoded image obtained by enlarging the reduced entire decoded image to the image superimposing unit 210. The partial decoding unit 209 outputs a partial decoded image obtained by decoding the partial encoded data to the image superimposing unit 210. The image superimposing unit 210 superimposes the partial decoded image on the entire decoded image using the trimming position information and generates a superimposed decoded image using the same method as in the first embodiment.
多重分離部206は、複数の伝送路から取得される多重化データを分離して得られる、縮小全体符号化データ、部分符号化データ、およびトリミング位置情報を全体復号部207、部分復号部209、および画像重畳部210にそれぞれ出力する。全体復号部207は、縮小全体符号化データを復号して縮小復号画像を生成し、画像拡大部208に出力する。画像拡大部208は、縮小全体復号画像を拡大した全体復号画像を画像重畳部210に出力する。部分復号部209は、部分符号化データを復号して得られる部分復号画像を画像重畳部210に出力する。画像重畳部210は、実施の形態1と同様の手法により、トリミング位置情報を用いて全体復号画像に部分復号画像を重畳し、重畳復号画像を生成する。 FIG. 7 is a diagram illustrating an image decoding apparatus that decodes multiplexed data output by the image encoding / transmission apparatus illustrated in FIG. 6. The image decoding apparatus illustrated in FIG. 7 includes a
The
実施の形態2に関わる画像符号化伝送装置によれば、入力画像全体を縮小して符号化するとともに、重要領域については解像度を維持して符号化するので、ビットレートの増大を大幅に抑えつつ、主観的な画質を維持することができる。
According to the image encoding / transmission apparatus according to the second embodiment, the entire input image is reduced and encoded, and the important region is encoded while maintaining the resolution, so that the increase in bit rate is significantly suppressed. , Subjective image quality can be maintained.
実施の形態3.
図8は、実施の形態3に関わる画像符号化伝送装置を示す構成図である。図8に示す画像符号化伝送装置は、画像トリミング部301、画像処理部302、全体符号化部303、トリミング符号化部304、および多重化部305から構成される。
画像トリミング部301は、実施の形態1と同様の手法により、重要領域をトリミングし、トリミング画像を部分符号化部304に出力する。また、重要領域の位置を示すトリミング位置情報を画像処理部302、および多重化部305に出力する。画像処理部302は、トリミング位置情報により示される重要領域に画像処理を行う。例えば、重要領域の画像のモザイク化、ぼかしといった処理が挙げられる。画像処理部302により処理された画像は処理済画像として全体符号化部303に出力される。全体符号化部303は、処理済画像全体を符号化した全体符号化データを多重化部305に出力する。部分符号化部304は、トリミング画像を符号化し、部分符号化データとして多重化部305に出力する。多重化部305は、全体符号化データ、部分符号化データ、およびトリミング位置情報を多重化し、多重化データとして出力する。 Embodiment 3 FIG.
FIG. 8 is a configuration diagram illustrating an image encoding / transmission apparatus according to the third embodiment. The image encoding / transmission apparatus shown in FIG. 8 includes animage trimming unit 301, an image processing unit 302, an overall encoding unit 303, a trimming encoding unit 304, and a multiplexing unit 305.
Theimage trimming unit 301 trims the important area by the same method as in the first embodiment, and outputs the trimmed image to the partial encoding unit 304. Also, trimming position information indicating the position of the important region is output to the image processing unit 302 and the multiplexing unit 305. The image processing unit 302 performs image processing on the important area indicated by the trimming position information. For example, processing such as mosaicing or blurring of an image in an important area can be mentioned. The image processed by the image processing unit 302 is output to the entire encoding unit 303 as a processed image. The overall encoding unit 303 outputs the overall encoded data obtained by encoding the entire processed image to the multiplexing unit 305. The partial encoding unit 304 encodes the trimmed image and outputs it to the multiplexing unit 305 as partial encoded data. The multiplexing unit 305 multiplexes the entire encoded data, partial encoded data, and trimming position information, and outputs the multiplexed data.
図8は、実施の形態3に関わる画像符号化伝送装置を示す構成図である。図8に示す画像符号化伝送装置は、画像トリミング部301、画像処理部302、全体符号化部303、トリミング符号化部304、および多重化部305から構成される。
画像トリミング部301は、実施の形態1と同様の手法により、重要領域をトリミングし、トリミング画像を部分符号化部304に出力する。また、重要領域の位置を示すトリミング位置情報を画像処理部302、および多重化部305に出力する。画像処理部302は、トリミング位置情報により示される重要領域に画像処理を行う。例えば、重要領域の画像のモザイク化、ぼかしといった処理が挙げられる。画像処理部302により処理された画像は処理済画像として全体符号化部303に出力される。全体符号化部303は、処理済画像全体を符号化した全体符号化データを多重化部305に出力する。部分符号化部304は、トリミング画像を符号化し、部分符号化データとして多重化部305に出力する。多重化部305は、全体符号化データ、部分符号化データ、およびトリミング位置情報を多重化し、多重化データとして出力する。 Embodiment 3 FIG.
FIG. 8 is a configuration diagram illustrating an image encoding / transmission apparatus according to the third embodiment. The image encoding / transmission apparatus shown in FIG. 8 includes an
The
図9は、図8に示す画像符号化伝送装置に対応する画像復号装置の一例を示す構成図である。図9に示す画像復号装置は、ユーザ認証部401、画像復号部402から構成される。 ユーザ認証部401は、外部から入力されるユーザID、パスワード等のユーザ認証情報を用いてユーザ認証を行い、認証結果を画像復号部402に出力する。ユーザ認証情報は、指紋などの生態認証情報であってもよい。
FIG. 9 is a block diagram showing an example of an image decoding apparatus corresponding to the image encoding / transmission apparatus shown in FIG. The image decoding apparatus illustrated in FIG. 9 includes a user authentication unit 401 and an image decoding unit 402. The user authentication unit 401 performs user authentication using user authentication information such as a user ID and password input from the outside, and outputs an authentication result to the image decoding unit 402. The user authentication information may be biometric authentication information such as a fingerprint.
図10は画像符号化部402の構成を示す図である。図10に示すように、ユーザ認証部401から出力されるユーザ認証結果は画像重畳部408に入力される。画像重畳部408は、ユーザ認証結果に基づいて、復号重畳画像または全体復号画像を選択して出力する。具体的には、ユーザが認証された場合は上記重畳復号画像を出力し、認証されなかった場合は部分復号画像を重畳せずに全体復号画像を出力する。
画像重畳部408以外の構成は、実施の形態1において説明した図4に示す画像復号装置と同様であることから、対応する構成に同一符号を付して説明を省略する。
なお、ユーザ認証結果を多重分離部に入力し、認証が成立した場合のみ部分符号化データを生成するよう構成してもよい。 FIG. 10 is a diagram illustrating a configuration of theimage encoding unit 402. As shown in FIG. 10, the user authentication result output from the user authentication unit 401 is input to the image superimposing unit 408. The image superimposing unit 408 selects and outputs the decoded superimposed image or the entire decoded image based on the user authentication result. Specifically, when the user is authenticated, the superimposed decoded image is output. When the user is not authenticated, the entire decoded image is output without superimposing the partial decoded image.
Since the configuration other than theimage superimposing unit 408 is the same as that of the image decoding apparatus shown in FIG. 4 described in the first embodiment, the corresponding components are denoted by the same reference numerals and description thereof is omitted.
The user authentication result may be input to the demultiplexing unit, and the partial encoded data may be generated only when authentication is established.
画像重畳部408以外の構成は、実施の形態1において説明した図4に示す画像復号装置と同様であることから、対応する構成に同一符号を付して説明を省略する。
なお、ユーザ認証結果を多重分離部に入力し、認証が成立した場合のみ部分符号化データを生成するよう構成してもよい。 FIG. 10 is a diagram illustrating a configuration of the
Since the configuration other than the
The user authentication result may be input to the demultiplexing unit, and the partial encoded data may be generated only when authentication is established.
実施の形態3に関わる画像符号化伝送装置、および画像復号装置によれば、ユーザ認証結果に基づいて、復号重畳画像または全体復号画像を選択して出力することで、ユーザ登録された特定のユーザに対して重要領域の画像を開示することが可能となる。
According to the image encoding / transmission apparatus and the image decoding apparatus according to the third embodiment, a specific user registered as a user can be selected and output based on the user authentication result by selecting and outputting the decoded superimposed image or the entire decoded image. In contrast, an image of an important area can be disclosed.
図10に示す画像復号装置は、図1および6に示す実施の形態1および2に関わる画像復号伝送装置に対応して用いることも可能である。この場合、登録されていないユーザに対しては低画質、または標準画質の画像を提供し、特録されたユーザに対しては高画質の画像を提供することができる。
The image decoding apparatus shown in FIG. 10 can also be used corresponding to the image decoding transmission apparatus according to Embodiments 1 and 2 shown in FIGS. In this case, low-quality or standard-quality images can be provided to unregistered users, and high-quality images can be provided to specially registered users.
101 全体符号化部、102 画像トリミング部、103 部分符号化部、104 多重化部、105 多重分離部、106 全体復号部、107 部分復号部、108 画像重畳部、201 画像縮小部、202 全体符号化部、203 画像トリミング部、204 画像符号化部、205 多重化部、206 多重分離部、207 全体復号部、208 画像拡大部、209 部分復号部、210 画像重畳部、301 画像トリミング部、302 画像処理部、303 全体符号化部、304 部分符号化部、305 多重化部、401 ユーザ認証部、402 画像復号部
101 overall encoding unit, 102 image trimming unit, 103 partial encoding unit, 104 multiplexing unit, 105 demultiplexing unit, 106 overall decoding unit, 107 partial decoding unit, 108 image superimposing unit, 201 image reduction unit, 202 overall code Conversion unit, 203 image trimming unit, 204 image encoding unit, 205 multiplexing unit, 206 demultiplexing unit, 207 overall decoding unit, 208 image enlargement unit, 209 partial decoding unit, 210 image superimposing unit, 301 image trimming unit, 302 Image processing unit, 303 Overall coding unit, 304 Partial coding unit, 305 Multiplexing unit, 401 User authentication unit, 402 Image decoding unit
Claims (14)
- 入力画像全体を符号化して全体符号化データを生成する全体符号化部と、
入力画像中の重要領域を特定し、特定された当該重要領域の画像を抽出して得られるトリミング画像、および当該トリミング画像の位置を示すトリミング位置情報を出力する画像トリミング部と、
前記トリミング画像を前記全体符号化データよりも高いビットレートで符号化して部分符号化データを生成する部分符号化部と、
前記全体符号化データ、前記部分符号化データ、および前記トリミング位置情報を多重化して伝送路に出力する多重化部と、
を備える画像符号化伝送装置。 An overall encoding unit that encodes the entire input image to generate overall encoded data;
An image trimming unit that identifies an important region in the input image, outputs a trimmed image obtained by extracting an image of the identified important region, and trimming position information indicating the position of the trimmed image;
A partial encoding unit that encodes the trimmed image at a higher bit rate than the overall encoded data to generate partial encoded data;
A multiplexing unit that multiplexes the entire encoded data, the partially encoded data, and the trimming position information and outputs the multiplexed data to a transmission path;
An image encoding transmission apparatus comprising: - 前記入力画像を縮小して縮小画像を生成する画像縮小部をさらに備え、
前記全体符号化部は、前記縮小画像を符号化して前記全体符号化データを生成する請求項1記載の画像符号化伝送装置。 An image reduction unit that reduces the input image to generate a reduced image;
The image encoding transmission apparatus according to claim 1, wherein the entire encoding unit generates the entire encoded data by encoding the reduced image. - 前記トリミング位置情報に基づいて、前記重要領域の画像に対して画像処理を行う画像処理部をさらに備える請求項1記載の画像符号化伝送装置。 The image coding and transmitting apparatus according to claim 1, further comprising an image processing unit that performs image processing on an image in the important area based on the trimming position information.
- 前記多重化部は、前記全体符号化データと、前記部分符号化データとを別々に多重化し、前記全体符号化データを含む多重化データと、前記部分符号化データを含む多重化データとを異なる伝送路に出力する請求項1又は2記載の画像符号化伝送装置。 The multiplexing unit multiplexes the entire encoded data and the partially encoded data separately, and differs the multiplexed data including the entire encoded data and the multiplexed data including the partially encoded data. The image encoding transmission apparatus according to claim 1 or 2, wherein the image encoding transmission apparatus outputs to a transmission path.
- 符号化された画像データを含む多重化データを受信し、受信した当該多重化データに多重分離処理を行って画像全体を符号化した全体符号化データ、前記画像の一部を抽出して得られるトリミング画像を符号化した部分符号化データ、および前記トリミング画像の位置情報であるトリミング位置情報を出力する多重分離部と、
前記全体符号化データを復号して全体復号画像を生成する全体復号部と、
前記部分符号化データを復号して部分復号画像を生成する部分復号部と、
前記トリミング位置情報に基づいて前記全体復号画像に前記部分復号画像を重畳した重畳復号画像を生成する画像重畳部と、
を備える画像復号装置。 Obtained by receiving multiplexed data including encoded image data, extracting the whole encoded data obtained by encoding and demultiplexing the received multiplexed data, and extracting a part of the image A demultiplexer that outputs partial encoded data obtained by encoding a trimmed image, and trimming position information that is position information of the trimmed image;
An overall decoding unit that decodes the overall encoded data to generate an overall decoded image;
A partial decoding unit that decodes the partial encoded data to generate a partial decoded image;
An image superimposing unit that generates a superimposed decoded image in which the partial decoded image is superimposed on the entire decoded image based on the trimming position information;
An image decoding apparatus comprising: - 前記全体復号画像が縮小画像である場合に拡大処理を行う画像拡大部をさらに備え、
前記画像重畳部は前記画像拡大部によって拡大された前記復号画像に前記部分復号画像を重畳する請求項5記載お画像復号装置。 An image enlarging unit that performs enlarging processing when the entire decoded image is a reduced image;
6. The image decoding apparatus according to claim 5, wherein the image superimposing unit superimposes the partial decoded image on the decoded image enlarged by the image enlarging unit. - ユーザ認証情報に基づいてユーザ認証を行うユーザ認証部をさらに備え、
前記画像重畳部は、前記ユーザ認証の結果に基づいて前記全体復号画像および前記重畳復号画像のいずれかを出力する請求項5または6に記載の画像復号装置。 A user authentication unit that performs user authentication based on the user authentication information;
The image decoding device according to claim 5 or 6, wherein the image superimposing unit outputs either the entire decoded image or the superimposed decoded image based on a result of the user authentication. - 入力画像全体を符号化して全体符号化データを生成する工程と、
入力画像中の重要領域を特定し、特定された当該重要領域の画像を抽出して得られるトリミング画像、および当該トリミング画像の位置を示すトリミング位置情報を出力する工程と、
前記トリミング画像を前記全体符号化データよりも高いビットレートで符号化して部分符号化データを生成する工程と、
前記全体符号化データ、前記部分符号化データ、および前記トリミング位置情報を多重化して伝送路に出力する工程と、
を備える画像符号化伝送方法。 Encoding the entire input image to generate overall encoded data;
A step of specifying an important region in the input image, outputting a trimming image obtained by extracting an image of the identified important region, and trimming position information indicating the position of the trimming image;
Encoding the trimmed image at a higher bit rate than the overall encoded data to generate partially encoded data;
Multiplexing the entire encoded data, the partially encoded data, and the trimming position information and outputting them to a transmission line;
An image encoding transmission method comprising: - 前記入力画像を縮小して縮小画像を生成する工程をさらに備え、
前記縮小画像を符号化して前記全体符号化データを生成する請求項1記載の画像符号化伝送装置。 Further comprising the step of reducing the input image to generate a reduced image,
The image encoding transmission apparatus according to claim 1, wherein the reduced image is encoded to generate the entire encoded data. - 前記トリミング位置情報に基づいて、前記重要領域の画像に対して画像処理を行う工程をさらに備える請求項1記載の画像符号化伝送方法。 The image encoding transmission method according to claim 1, further comprising a step of performing image processing on the image of the important region based on the trimming position information.
- 前記全体符号化データと、前記部分符号化データとを別々に多重化し、前記全体符号化データを含む多重化データと、前記部分符号化データを含む多重化データとを異なる伝送路に出力する請求項9又は10記載の画像符号化伝送装置。 The entire encoded data and the partially encoded data are multiplexed separately, and the multiplexed data including the entire encoded data and the multiplexed data including the partially encoded data are output to different transmission paths. Item 15. The image encoding transmission apparatus according to Item 9 or 10.
- 符号化された画像データを含む多重化データを受信し、受信した当該多重化データに多重分離処理を行って画像全体を符号化した全体符号化データ、前記画像の一部を抽出して得られるトリミング画像を符号化した部分符号化データ、および前記トリミング画像の位置情報であるトリミング位置情報を出力する工程と、
前記全体符号化データを復号して全体復号画像を生成する工程と、
前記部分符号化データを復号して部分復号画像を生成する工程と、
前記トリミング位置情報に基づいて前記全体復号画像に前記部分復号画像を重畳した重畳復号画像を生成する工程と、
を備える画像復号方法。 Obtained by receiving multiplexed data including encoded image data, extracting the whole encoded data obtained by encoding and demultiplexing the received multiplexed data, and extracting a part of the image Outputting partially encoded data obtained by encoding a trimmed image, and trimming position information which is position information of the trimmed image;
Decoding the overall encoded data to generate an overall decoded image;
Decoding the partially encoded data to generate a partially decoded image;
Generating a superimposed decoded image in which the partial decoded image is superimposed on the entire decoded image based on the trimming position information;
An image decoding method comprising: - 前記全体復号画像が縮小画像である場合に拡大処理を行う工程をさらに備え、
拡大された前記復号画像に前記部分復号画像を重畳する請求項12記載お画像復号方法。 A step of performing an enlargement process when the entire decoded image is a reduced image;
The image decoding method according to claim 12, wherein the partial decoded image is superimposed on the enlarged decoded image. - ユーザ認証情報に基づいてユーザ認証を行う工程をさらに備え、
前記ユーザ認証の結果に基づいて前記全体復号画像および前記重畳復号画像のいずれかを出力する請求項12または13に記載の画像復号方法。 Further comprising a step of performing user authentication based on the user authentication information;
The image decoding method according to claim 12 or 13, wherein either the entire decoded image or the superimposed decoded image is output based on a result of the user authentication.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/004834 WO2016046860A1 (en) | 2014-09-22 | 2014-09-22 | Image encoding/transmitting apparatus, image decoding apparatus, image encoding/transmitting method, and image decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/004834 WO2016046860A1 (en) | 2014-09-22 | 2014-09-22 | Image encoding/transmitting apparatus, image decoding apparatus, image encoding/transmitting method, and image decoding method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016046860A1 true WO2016046860A1 (en) | 2016-03-31 |
Family
ID=55580426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/004834 WO2016046860A1 (en) | 2014-09-22 | 2014-09-22 | Image encoding/transmitting apparatus, image decoding apparatus, image encoding/transmitting method, and image decoding method |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2016046860A1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07288806A (en) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | Moving image communication system |
JPH10271499A (en) * | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | Image processing method using image area, image processing unit using the method and image processing system |
JP2001211164A (en) * | 2000-01-27 | 2001-08-03 | Victor Co Of Japan Ltd | Image encoding system |
JP2002330440A (en) * | 2001-05-01 | 2002-11-15 | Sony Corp | Image transmission method, program for the image transmission method, recording medium for recording the program for the image transmission method, and image transmitter |
JP2005086453A (en) * | 2003-09-08 | 2005-03-31 | Matsushita Electric Ind Co Ltd | Method and device for hierarchized data transmission |
JP2008035006A (en) * | 2006-07-27 | 2008-02-14 | Sony Corp | Content-providing method, program of content-providing method, recording medium where program of content-providing method is recorded, and content-providing device |
-
2014
- 2014-09-22 WO PCT/JP2014/004834 patent/WO2016046860A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07288806A (en) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | Moving image communication system |
JPH10271499A (en) * | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | Image processing method using image area, image processing unit using the method and image processing system |
JP2001211164A (en) * | 2000-01-27 | 2001-08-03 | Victor Co Of Japan Ltd | Image encoding system |
JP2002330440A (en) * | 2001-05-01 | 2002-11-15 | Sony Corp | Image transmission method, program for the image transmission method, recording medium for recording the program for the image transmission method, and image transmitter |
JP2005086453A (en) * | 2003-09-08 | 2005-03-31 | Matsushita Electric Ind Co Ltd | Method and device for hierarchized data transmission |
JP2008035006A (en) * | 2006-07-27 | 2008-02-14 | Sony Corp | Content-providing method, program of content-providing method, recording medium where program of content-providing method is recorded, and content-providing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102498725B1 (en) | Image encoding device, image encoding method and recording medium | |
JP6202330B2 (en) | Decoding device and decoding method, and encoding device and encoding method | |
JP6355521B2 (en) | Digital broadcast receiving apparatus and method | |
CN105472392B (en) | Screen video decoding method and codec based on the compression of gradual character block | |
US8570360B2 (en) | Stereoscopic parameter embedding device and stereoscopic image reproducer | |
US20190215534A1 (en) | Image processing apparatus and image processing method | |
US9317957B2 (en) | Enhancement of stereoscopic effect of an image through use of modified depth information | |
JP6883219B2 (en) | Coding device and coding method, and system | |
JP2010512096A (en) | Non-real-time digital actual broadcasting transmission / reception system and method | |
JP6095659B2 (en) | Transmitting apparatus, receiving apparatus and transmission / reception method thereof | |
KR20170005366A (en) | Method and Apparatus for Extracting Video from High Resolution Video | |
US20200288123A1 (en) | Image processing apparatus and image processing method | |
US9036715B2 (en) | Video coding | |
JP2014039219A (en) | Video decoder, video transmission reception system, video decoding method and video transmission reception method | |
JP2013527676A (en) | Method and apparatus for encoding 3D video data, and decoding method and apparatus | |
TWI626841B (en) | Adaptive processing of video streams with reduced color resolution | |
JP2020036368A (en) | Decoding device and decoding method | |
US20110085023A1 (en) | Method And System For Communicating 3D Video Via A Wireless Communication Link | |
WO2016046860A1 (en) | Image encoding/transmitting apparatus, image decoding apparatus, image encoding/transmitting method, and image decoding method | |
KR20120127605A (en) | Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream | |
JP6197708B2 (en) | Moving picture transmission system, moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding computer program, and moving picture decoding computer program | |
JP6679536B2 (en) | Broadcast signal receiving apparatus and receiving method | |
US20210099723A1 (en) | Creating different video stream representations | |
JP2012209634A (en) | Image decoding apparatus, image transmitting and receiving apparatus, image decoding method, and image transmitting and receiving method | |
JP2006512832A (en) | Video encoding and decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14902860 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
NENP | Non-entry into the national phase |
Ref country code: JP |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 14902860 Country of ref document: EP Kind code of ref document: A1 |