WO2014045507A1 - 動画像符号化装置 - Google Patents

動画像符号化装置 Download PDF

Info

Publication number
WO2014045507A1
WO2014045507A1 PCT/JP2013/004583 JP2013004583W WO2014045507A1 WO 2014045507 A1 WO2014045507 A1 WO 2014045507A1 JP 2013004583 W JP2013004583 W JP 2013004583W WO 2014045507 A1 WO2014045507 A1 WO 2014045507A1
Authority
WO
WIPO (PCT)
Prior art keywords
tile
likelihood
update
quality
tiles
Prior art date
Application number
PCT/JP2013/004583
Other languages
English (en)
French (fr)
Inventor
巡 高田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014536564A priority Critical patent/JP6217643B2/ja
Priority to CN201380048659.8A priority patent/CN104662900B/zh
Priority to US14/429,053 priority patent/US9307245B2/en
Publication of WO2014045507A1 publication Critical patent/WO2014045507A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment

Definitions

  • the present invention relates to a moving image encoding device, and more particularly to a moving image encoding device, a moving image encoding method, and a program for encoding video on a computer screen.
  • drawing data of an application program executed on the server device is transferred to a terminal device on the client side through a network such as a LAN and displayed on the screen of the terminal device. For this reason, when the processing amount of drawing data increases or the number of terminal devices connected to the server device increases, the load on the server device for transferring drawing data to the terminal device increases, and the response time increases. Problems such as a drop and a significant limitation on the number of connected terminal devices occur.
  • a method of encoding and transmitting image data of a rectangular area including an updated area of an image has been proposed as a first related technique related to the present invention (see, for example, Patent Document 1).
  • the first related technique when only a partial region in the image is updated, it is not necessary to encode and transmit the entire image, and only the partial region of image data is encoded and transmitted. Therefore, the amount of data to be transmitted can be reduced.
  • an irreversible transformation such as quantization
  • the quality of the image decoded on the receiving side may be deteriorated compared to the original image on the transmitting side.
  • the image quality on the receiving side may deteriorate.
  • an intra update intra refresh
  • intra update since the amount of code becomes very large when the entire frame is encoded, a method of dividing the frame into a plurality of partial areas (tiles) and transmitting them little by little is used.
  • encoding a block including a character area with high quality has been proposed as a fifth related technique related to the present invention (see, for example, Patent Document 5).
  • the quantization coefficient in the character area where sharpness is required in the moving image is larger than the predetermined threshold value independently of the quantization coefficient in the other areas.
  • the quality deterioration of the character information is alleviated by updating it so that it is below the threshold value.
  • JP2008-085502 Japanese Patent No. 004035475 JP 2010-206753 JP 2009-194627 JP 2002-204459 A JP 2005-197879 A
  • the area that is encoded with low quality and transmitted is subjected to intra update while circulating through the low quality tiles within the range of the surplus transmittable code amount of the subsequent frame.
  • a tile to be retransmitted with high quality is selected based on the quality of the tile and the period when the tile is not refreshed.
  • the photo area is selected with priority.
  • the character area is left long and low quality.
  • the fifth related technique is applied to the third related technique related to the present invention, and the encoding quality of the character area is made higher than that of the other areas when the update area is encoded. It is done.
  • the size of the update area is large and the ratio occupied by the character area is large, if the total code amount of the update area exceeds the upper limit of the allowable code amount per frame, it is impossible to improve the image quality of all the character areas. As a result, as described above, there is a case where the character area is left long and low quality, and the legibility of the characters in the video is lowered.
  • An object of the present invention is the above-described problem, that is, in a video encoding apparatus that performs intra update while circulating low-quality tiles within a range of surplus transmittable code amount after encoding and transmitting an update region, It is an object of the present invention to provide a moving image encoding apparatus that solves the problem that the legibility of characters in video is lowered.
  • a moving image encoding apparatus includes: Update region encoding means for detecting and encoding the update region from the frame of the input image signal; From the screen, retransmission candidate tile extraction means for extracting tiles that are partial areas that do not belong to the update area in the current frame and are encoded and transmitted with a quality equal to or lower than the first quality, For the tile extracted by the retransmission candidate tile extraction means, a character likelihood estimation means for calculating a likelihood value indicating the character area likelihood, Characters that are selected from the tiles extracted by the retransmission candidate tile extraction means in the descending order of the likelihood value, encoded with a second quality higher than the first quality, and transmitted. And a likelihood order intra update means.
  • a moving picture encoding method includes: Detect and encode the update region from the frame of the input image signal, From the screen, extract a tile that is a partial area that does not belong to the update area in the current frame and is encoded and transmitted with a quality equal to or lower than the first quality, For the extracted tile, calculate a likelihood value indicating the character area likelihood, The tiles are selected from the extracted tiles in descending order of the likelihood value, and encoded and transmitted with a second quality higher than the first quality.
  • a program is: Computer Update region encoding means for detecting and encoding the update region from the frame of the input image signal; From the screen, retransmission candidate tile extraction means for extracting tiles that are partial areas that do not belong to the update area in the current frame and are encoded and transmitted with a quality equal to or lower than the first quality, For the tile extracted by the retransmission candidate tile extraction means, a character likelihood estimation means for calculating a likelihood value indicating the character area likelihood, Characters that are selected from the tiles extracted by the retransmission candidate tile extraction means in the descending order of the likelihood value, encoded with a second quality higher than the first quality, and transmitted. It is made to function as a likelihood order intra update means.
  • FIG. 1 is a block diagram of a video signal encoding device according to an embodiment of the present invention. It is a flowchart which shows the flow of a process of the video signal encoding apparatus which concerns on embodiment of this invention. It is a figure which shows an example of the state of the update tile memory in the video signal encoding apparatus which concerns on embodiment of this invention. It is a figure which shows an example of the state of the tile quality memory in the video signal encoding apparatus which concerns on embodiment of this invention. It is a figure which shows an example of the state of the character likelihood memory in the video signal encoding apparatus which concerns on embodiment of this invention. It is a figure which shows the other example of the state of the tile quality memory in the video signal encoding apparatus which concerns on embodiment of this invention. It is a figure which shows the other example of the state of the character likelihood memory in the video signal encoding apparatus which concerns on embodiment of this invention.
  • the first embodiment of the present invention includes a signal input device 11, a data storage device 12, a data processing device 13 operated by program control, and a code output device 14. .
  • the signal input device 11 is a device for inputting a video signal.
  • a color video signal on a display screen of a computer (not shown) is analog-captured or digitally captured and stored in the data storage device 12.
  • the captured video signal for one screen is called a frame or screen data.
  • the code output device 14 includes a storage device such as a magnetic disk device or a communication device that stores or transmits the code information encoded by the data processing device 13.
  • the data storage device 12 includes a previous frame memory 121, a current frame memory 122, an updated tile memory 123, a tile quality memory 124, a character likelihood memory 125, an allowable code amount memory 126, an output code amount counter 127, including.
  • the previous frame memory 121 holds one or more frames input in the past.
  • the current frame memory 122 holds one most recently input frame.
  • the update tile memory 123 divides the frame into tiles, and holds data indicating whether or not a difference is detected between the previous frame and the current frame for each divided tile.
  • a tile in which a difference is detected is called an update tile.
  • the tile quality memory 124 stores data representing the quality encoded immediately before for each tile.
  • the character likelihood memory 125 stores a likelihood value indicating the likelihood of the character area for the retransmission candidate tile.
  • the allowable code amount memory 126 stores the upper limit of the code amount that can be output in the current frame.
  • the output code amount counter 127 stores the code amount already output in the current frame.
  • the data processing device 13 includes an update region detection unit 131, an update region encoding unit 132, an update tile recording unit 133, a retransmission candidate tile extraction unit 134, a character likelihood estimation unit 135, and a character likelihood order tile extraction.
  • Means 136, intra update means 137, and output code amount initialization means 138 are included. Each of these means can be realized by the data processing device 13 executing a program (not shown) stored in the data storage device 12.
  • the update area detecting means 131 reads the previous frame data from the previous frame memory 121 and the current frame data from the current frame memory 122 and compares the pixel values between the frames. Detect areas.
  • the update area detection unit 131 notifies the update area encoding unit 132 and the retransmission candidate tile extraction unit 134 of the coordinate information of the update area.
  • the update area encoding unit 132 reads and encodes the pixel data of the notified coordinate from the current frame memory 122 and outputs the pixel data to the code output device 14. To do.
  • the encoding quality parameter is adjusted so that the sum of the code amounts of all the update regions is within the value stored in the allowable code amount memory 126.
  • the update area encoding unit 132 obtains a tile overlapping with the update area, and notifies the update tile recording unit 133 of the tile coordinates.
  • the update area encoding unit 132 notifies the update tile recording unit 133 of the quality parameter when the update area is encoded.
  • the update region encoding unit 132 accumulates the output code amount obtained by encoding the update region in the output code amount counter 127.
  • JPEG can be used as the encoding method of the update area.
  • a JPEG Q parameter can be used as a quality parameter at that time.
  • the update tile recording unit 133 When the update tile recording unit 133 is notified of the coordinate information of the update tile from the update area encoding unit 132, the update tile recording unit 133 rewrites the data of the corresponding tile in the update tile memory 123 to a state with update.
  • the update tile encoding unit 132 is notified of the quality parameter of the update tile, the update tile recording unit 133 writes the notified quality parameter as the quality value of the corresponding tile in the tile quality memory 124.
  • the retransmission candidate tile extraction unit 134 refers to the update tile memory 123 and the tile quality memory 124, and does not correspond to the update tile among the tiles in the screen and has a quality (retransmission required quality) equal to or lower than a predetermined value. Extract tiles. The extracted tile is notified to the character likelihood estimating means 135 as a retransmission candidate tile.
  • the character likelihood estimating unit 135 calculates, for each retransmission candidate tile notified from the retransmission candidate tile extracting unit 134, an index value of likelihood of a character area of the tile, that is, a likelihood value, and the calculated likelihood value is used as a character likelihood. To the memory 125. For example, the character likelihood estimating means 135 obtains the edge strength for each pixel, and uses the variance value in the tile of the edge strength as the likelihood value of the character area likelihood of the tile.
  • a pixel having a very strong edge strength (boundary between a character and a background) and a pixel having a very weak edge (monochromatic background) are mixed, and therefore, a dispersion value of the edge strength takes a large value. For this reason, the variance value of the edge strength is suitable as a likelihood value indicating the character area-likeness.
  • the character likelihood order tile extracting unit 136 refers to the character likelihood memory 125 and extracts retransmission candidate tiles in descending order of likelihood values. The extracted tile is notified to the intra update unit 137 as a retransmission tile.
  • the intra update unit 137 sequentially encodes the retransmission tile notified from the character likelihood order tile extraction unit 136 with a parameter (referred to as an intra update quality) having a quality higher than a predetermined quality.
  • the intra update quality is set to a value higher than the above-described retransmission required quality. Further, every time one retransmission tile is encoded, the intra update unit 137 accumulates the code amount of the tile in the output code amount counter 127.
  • the intra update unit 137 outputs the code of the retransmission tile to the code output device 14 when the accumulated result does not exceed the value of the allowable code amount memory 126.
  • the intra update unit 137 rewrites the corresponding tile in the tile quality memory 124 with the value of the intra update quality for the retransmission tile to which the code has been output. Further, the intra update unit 137 deletes the corresponding tile from the retransmission candidate tiles in the character likelihood memory 125.
  • JPEG Joint Photographic Experts Group
  • JPEG Q parameter is used as the quality parameter
  • experience has shown that the Q parameter that can ensure sufficient character readability is set in advance as the intra update quality. That's fine.
  • the character area encoded with the low Q parameter is preferentially encoded and updated with the Q parameter having high character readable property, and the character readable property of the user can be improved at an early stage.
  • the output code amount initialization means 138 initializes the value of the output code amount counter 127 to 0 every time frame processing is started.
  • the output code amount initialization means 138 initializes the value of the output code amount counter 127 to 0 (step S101).
  • the update area detection unit 131 reads the previous frame from the previous frame memory 121, reads the current frame data from the current frame memory 122, compares the pixel values of both frames, and changes the pixel value. That is, an update area is detected (step S102). At this time, the update region detection unit 131 notifies the update region encoding unit 132 and the retransmission candidate tile extraction unit 134 of the coordinate information of the update region.
  • the update area encoding unit 132 when notified of the coordinate information of the update area from the update area detection unit 131, reads out the pixel data of the coordinate from the current frame memory 122, encodes it, and outputs it to the code output device 14 (Step S103).
  • the update region encoding unit 132 adjusts the encoding quality parameter so that, for example, the sum of the code amounts of all the update regions falls within the value stored in the allowable code amount memory 126.
  • the update area encoding unit 132 notifies the tile coordinate of the tile overlapping with the update area to the update tile recording unit 133, and at the same time, the update tile recording unit 133 sets the quality parameter when the update area is encoded. To notify.
  • the update region encoding unit 132 accumulates the output code amount in the output code amount counter 127 (step S104).
  • step S105 when the update tile recording unit 133 is notified of the coordinate information of the update tile from the update region encoding unit 132, the update tile recording unit 133 rewrites the corresponding tile in the update tile memory 123 to an updated state (step S105).
  • FIG. 3 shows an example of the state of the update tile memory 123.
  • the update tile memory 123 is a memory indicating whether or not each tile in the frame has been updated.
  • the shaded tiles represent the updated tiles.
  • Step S106 when the update tile encoding unit 132 is notified of the coordinate information and quality parameters of the update tile from the update region encoding unit 132, the update tile recording unit 133 writes the notified quality parameter as the quality value of the corresponding tile in the tile quality memory 124.
  • FIG. 4 shows an example of the state of the tile quality memory 124.
  • the tile quality memory 124 is a memory that indicates the quality value of each tile in the frame, and numerical values such as 2, 3, and 9 in FIG. 4 represent the quality value of each tile. Here, a larger numerical value represents a higher quality value.
  • a quality value 3
  • an update tile overlapping the update area in the current frame update tile memory 123 in FIG. 3
  • 3 is written as a quality value.
  • the retransmission candidate tile extraction unit 134 receives the coordinate information of the update region from the update region detection unit 131 and refers to the update tile memory 123 and the tile quality memory 124 to update the current frame from the screen. An update tile that does not correspond to the area and has a quality equal to or lower than a predetermined value is extracted as a retransmission candidate tile (step S107).
  • the retransmission candidate tile extracting unit 134 determines whether or not a retransmission candidate tile has been extracted (step S108), and if it has not been extracted (Yes in step S108), the processing of the frame ends.
  • the extracted retransmission candidate tile is notified to the character likelihood estimating means 135.
  • the character likelihood estimating unit 135 calculates, for each retransmission candidate tile notified from the retransmission candidate tile extracting unit 134, a likelihood value indicating the character area likelihood of the tile, and whether or not it is a retransmission candidate tile.
  • the calculated likelihood value is written into the character likelihood memory 125 (step S109).
  • FIG. 5 shows an example of the state of the character likelihood memory 125.
  • tiles (excluding update tiles) of a predetermined value (3 in this case) or less from the tile quality memory 124 are extracted as retransmission candidate tiles (shaded tiles in FIG. 5).
  • the character likelihood values (3 to 8) calculated for each retransmission candidate tile are stored together.
  • the character likelihood order tile extracting unit 136 refers to the character likelihood memory 125 and extracts a retransmission candidate tile having the maximum character likelihood as a retransmission tile (step S110).
  • retransmission tiles are extracted in order from the tile having the highest character likelihood value (8).
  • retransmission tiles are determined by an arbitrary method (such as selecting one that appears before or after in the scan order). Here, it is assumed that the one that appeared before in the scan order is selected.
  • step S111 the character likelihood order tile extraction unit 136 determines whether no retransmission tile is extracted (that is, no retransmission candidate tiles remain) (step S111). In step S111, the processing of the frame ends. If extracted (No in step S111), the process proceeds to step S112 and subsequent steps.
  • the intra update unit 137 encodes the retransmission tile notified from the character likelihood order tile extraction unit 136 with a parameter (intra update quality) higher than a predetermined quality (step S112).
  • the intra update unit 137 accumulates the code amount of the tile in the output code amount counter 127 (step S113).
  • the intra update unit 137 determines whether or not the accumulated result exceeds the value of the allowable code amount memory 126 (step S114), and if it exceeds (Yes in step S114), the processing of the frame is ended. If not (No in step S114), the process proceeds to step S115 and subsequent steps.
  • the intra update unit 137 outputs the code of the retransmission tile to the code output device 14 (step S115).
  • the intra update unit 137 rewrites the corresponding tile in the tile quality memory 124 with the value of the intra update quality (for example, 9) for the retransmission tile to which the code has been output. Further, the corresponding tile is deleted from the retransmission candidate tiles in the character likelihood memory 125.
  • the process returns to step S110 to repeat the process.
  • the retransmitted tiles in the tile quality memory 124 in FIG. 1 are overwritten with the value of intra update quality (in this case, 9) as shown in the shaded tile in FIG.
  • intra update quality in this case, 9
  • every time a tile is retransmitted retransmission candidate tiles corresponding to the tile in the character likelihood memory 125 are deleted.
  • the present embodiment it is possible to improve the legibility of characters in a video in a short frame period.
  • the reason is that the image quality can be improved by performing intra-update in order from the character area that is important for grasping the contents in the low quality area.
  • the likelihood value representing the likelihood of a character area is calculated instead of two determinations as to whether or not the retransmission candidate tile is a character area. For this reason, retransmission candidate tiles having a higher likelihood value, that is, retransmission candidate tiles having a higher possibility of being a character region, can be retransmitted in order.
  • the updated tile recording unit 133 writes the notified quality parameter value in the tile quality memory 124 as it is.
  • the lower one of the notified quality parameter and the already written quality value May be written as the quality value of the corresponding tile.
  • the low quality part remains as a tile remaining in the candidate for intra update. be able to.
  • the intra update unit 137 searches for a tile having the maximum character likelihood from the remaining retransmission candidate tiles every time one tile is encoded.
  • the intra update unit 137 may first sort the retransmission candidate tiles in descending order of the character likelihood, and select the tiles in order from the sorted sequence.
  • the search process that occurs every time one tile is encoded in the above embodiment can be omitted.
  • the character likelihood order tile extracting unit 136 extracts tiles having a larger character likelihood one by one, but a method of preferentially retransmitting a tile having a higher character likelihood. If so, the same effect can be obtained with other methods. Therefore, as another embodiment of the present invention, the character likelihood order tile extracting unit 136, for example, provides thresholds in several stages and sequentially applies tiles having character likelihoods exceeding the respective thresholds by applying the threshold values in order from a large threshold value. You may extract in a lump. For example, in the case of the character likelihood memory 125 shown in FIG. 5, the character likelihood order tile extraction unit 136 uses three threshold values of 6, 3, and 0 in that order.
  • the character likelihood order tile extracting unit 136 first calculates a total of three tiles, that is, two tiles having a character likelihood of 8 and one tile having a character likelihood of 7 as tiles having a character likelihood exceeding the threshold value 6. Select and notify the intra-update means 137. Thereby, first, these three tiles are transmitted with high image quality. In the next stage, the character likelihood order tile extracting unit 136 selects a total of three tiles, one tile having the character likelihood 5 exceeding the threshold 3 and two tiles having the character likelihood 4, and the intra update unit. 137 is notified. In this way, a tile having a high character likelihood is preferentially improved in image quality, and the object of the present invention is achieved.
  • the upper limit tile number per frame is set (stored) in advance, and the intra update unit 137 determines whether the number of transmission tiles in the current frame is equal to or less than the upper limit tile number. May be used as the end condition.
  • a target time for completing the processing of the current frame is set (stored) in advance, and the intra update unit 137 is before the target time at which the current time is set. It is good also as end condition.
  • the intra update unit 137 comprises a clocking means such as a timer that counts the elapsed time from the start of processing of the current frame, and the intra update means 137 uses the clocking means after the update area encoding means 132 encodes the update area. Encoding processing is performed in a range in which the clocking time is before the target end time.
  • whether the accumulated code amount exceeds the allowable code amount, whether the number of transmission tiles in the current frame is equal to or less than the upper limit tile number, and before the target time at which the current time is set can also be used.
  • the present invention can be used in a screen transmission type thin client system for sharpening images under a limited transmission band.
  • the present invention can also be applied to distribution of various videos including characters and photographs, for example, video distribution type digital signage.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

更新領域符号化手段は、入力画像信号のフレームから更新領域を検出し符号化する。再送候補タイル抽出手段は、画面内から、現フレームにおいて更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出する。文字尤度推定手段は、再送候補タイル抽出手段によって抽出されたタイルについて、文字領域らしさを示す尤度値を算出する。文字尤度順イントラ更新手段は、再送候補タイル抽出手段で抽出されたタイルの中から、尤度値のより大きい順にタイルを選択し、第１の品質より高品質な第２の品質で符号化して送信する。

Description

動画像符号化装置
　本発明は動画像符号化装置に関し、特にコンピュータ画面の映像を符号化する動画像符号化装置、動画像符号化方法、およびプログラムに関する。
　近年、コンピュータの端末装置からの情報の漏洩の防止と端末側でのアプリケーション管理の容易性を図るため等を目的として、端末装置にて入出力および表示される全てのアプリケーションをサーバ装置で実行させ、これに伴う全ての生成ファイルもサーバ装置で管理するようにしたシン・クライアント・システムが導入されるようになってきた。
　このようなシン・クライアント・システムでは、サーバ装置で実行されるアプリケーションプログラムの描画データが、ＬＡＮなどのネットワークを通じてクライアント側の端末装置へ転送され、端末装置の画面に表示される。このため、描画データの処理量が大きくなったり、サーバ装置に接続される端末装置の台数が多くなったりすると、描画データを端末装置に転送するためのサーバ装置の負荷が増大し、応答時間の低下や端末装置の接続台数の大幅な制限などの問題が生じる。
　そこで、画像のうち更新された領域を含む矩形領域の画像データを符号化して送信する方式が本発明に関連する第１の関連技術として提案されている（たとえば特許文献１を参照）。この第１の関連技術によれば、画像中の一部の領域しか更新されていない場合に、画像全体を全て符号化して送信する必要がなくなり、一部領域の画像データのみを符号化して送信すればよいので、送信するデータ量を減らすことができる。
　一方、通信ネットワークを介して画像データを送受信する場合、データ量を圧縮するために画像データを符号化することは周知である（たとえば特許文献２を参照）。
　ここで、データ圧縮時に量子化のような非可逆変換を用いると、受信側で復号された画像の品質が送信側の元画像よりも劣化する場合がある。また、通信路などにおいてデータ欠落や伝送エラーが発生した場合にも、受信側の画像品質が低下する場合がある。これに起因する後続フレームへの画質劣化の伝播を抑制するため、映像伝送の際には、定期的にイントラ更新（イントラリフレッシュ）の信号を挿入して伝送する方式が考案されている。一般に、イントラ更新では、フレーム全体を符号化すると符号量が非常に大きくなるため、フレームを複数の部分領域（タイル）に分割して少しずつ伝送する方法が用いられる。
　たとえば、更新領域の符号を伝送した後、余剰の伝送可能符号量の範囲で、低品質タイルを巡回しながらイントラ更新を行うことが、本発明に関連する第３の関連技術として提案されている（たとえば特許文献３を参照）。これによって、フレームの描画更新領域の面積が大きく変動した場合にも、イントラ更新の対象となる領域の面積を変動させることで、余剰帯域を十分に活用しながら高画質化が行える。たとえば、無差分のフレームや、描画更新領域の面積が小さいフレームでは、余剰帯域に収まる限り多くのタイルに亘ってイントラ更新を行うことができる。また、低画質で符号化された領域のタイルや、長期間リフレッシュされていないタイルを優先的に巡回する工夫を加えることで、低品質タイルが画面内に残留する期間を短縮することができる。
　他方、動き補償後の更新領域を画像として符号化することが本発明に関連する第４の関連技術として提案されている（たとえば特許文献４を参照）。
　また、文字領域を含むブロックを高品質で符号化することが本発明に関連する第５の関連技術として提案されている（たとえば特許文献５を参照）。この第５の関連技術では、動画像中の鮮明さが要求される文字領域での量子化係数をそれ以外の領域での量子化係数とは独立に、その量子化係数が所定の閾値より大きい場合には閾値以下となるように更新することにより、文字情報の品質劣化を緩和している。
　さらに、フレームバッファからマクロブロック単位での映像信号を読み出し、このマクロブロックに白レベルが多いとき、隣接ブロックにデータがあるとき、メディアンフィルタの結果が連続性を示しているときにテロップ（文字領域）と判断することが、本発明に関連する第６の関連技術として提案されている（たとえば特許文献６を参照）。
特開2008-085502号公報 特許第004035475号公報 特開2010-206753号公報 特開2009-194627号公報 特開2002-204459号公報 特開2005-197879号公報
　１フレーム当たりの出力符号量の上限が定まっている場合、更新領域の面積が大きいフレームでは、更新領域を高品質に符号化することが困難なため、低品質で更新領域を符号化せざるを得なくなる。低品質で符号化されて送信された領域は、その後のフレームの余剰の伝送可能符号量の範囲で、低品質タイルを巡回しながらイントラ更新を行う。このとき、上記第３の関連技術で説明したように、タイルの品質やリフレッシュされていない期間に基づいて、高品質で再送すべきタイルを選択する。このため、再送候補タイルの中に、文字領域に比べてより低品質な写真領域や、文字領域に比べてよりリフレッシュされていない期間の長い写真領域が存在する場合、写真領域が優先されて選択され、文字領域が長く低品質のまま放置されるケースが発生する。
　しかし、品質の程度による影響は、文字情報の方が写真情報よりも一般に大きい。それは、文字情報は、細部形状の違いによって意味が大きく変わるのに対して、写真情報は、概略だけでおおまかな意味が判断できてしまうことによる。
　上述したように文字領域を含むブロックを高品質で符号化することが本発明に関連する第５の関連技術として提案されている。そこで、この第５の関連技術を本発明に関連する第３の関連技術に適用し、更新領域の符号化の際に、文字領域の符号化の品質を他の領域よりも高くすることが考えられる。しかしながら、更新領域のサイズが大きく、しかも文字領域が占める割合が多い場合、更新領域の全符号量がフレーム当たりの許容符号量の上限を超えてしまうと、全ての文字領域を高画質化できない。結果として、上述と同様に、文字領域が長く低品質のまま放置されるケースが発生し、映像中の文字の判読性が低下する。
　本発明の目的は、上述した課題、すなわち、更新領域を符号化して伝送した後、余剰の伝送可能符号量の範囲で、低品質タイルを巡回しながらイントラ更新を行う動画像符号化装置では、映像中の文字の判読性が低下する、という課題を解決する動画像符号化装置を提供することにある。
　本発明の第１の観点にかかる動画像符号化装置は、
　入力画像信号のフレームから更新領域を検出し符号化する更新領域符号化手段と、
　画面内から、現フレームにおいて上記更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出する再送候補タイル抽出手段と、
　上記再送候補タイル抽出手段によって抽出された上記タイルについて、文字領域らしさを示す尤度値を算出する文字尤度推定手段と、
　上記再送候補タイル抽出手段で抽出された上記タイルの中から、上記尤度値のより大きい順に上記タイルを選択し、上記第１の品質より高品質な第２の品質で符号化して送信する文字尤度順イントラ更新手段とを有する。
　また、本発明の第２の観点にかかる動画像符号化方法は、
　入力画像信号のフレームから更新領域を検出して符号化し、
　画面内から、現フレームにおいて上記更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出し、
　上記抽出された上記タイルについて、文字領域らしさを示す尤度値を算出し、
　上記抽出された上記タイルの中から、上記尤度値のより大きい順に上記タイルを選択し、上記第１の品質より高品質な第２の品質で符号化して送信する。
　また、本発明の第３の観点にかかるプログラムは、
　コンピュータを、
　入力画像信号のフレームから更新領域を検出し符号化する更新領域符号化手段と、
　画面内から、現フレームにおいて上記更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出する再送候補タイル抽出手段と、
　上記再送候補タイル抽出手段によって抽出された上記タイルについて、文字領域らしさを示す尤度値を算出する文字尤度推定手段と、
　上記再送候補タイル抽出手段で抽出された上記タイルの中から、上記尤度値のより大きい順に上記タイルを選択し、上記第１の品質より高品質な第２の品質で符号化して送信する文字尤度順イントラ更新手段と
して機能させる。
　本発明によれば、短いフレーム期間で映像中の文字の判読性を向上させることができる。
本発明の実施の形態に係る映像信号符号化装置のブロック図である。 本発明の実施の形態に係る映像信号符号化装置の処理の流れを示すフローチャートである。 本発明の実施の形態に係る映像信号符号化装置における更新タイルメモリの状態の一例を示す図である。 本発明の実施の形態に係る映像信号符号化装置におけるタイル品質メモリの状態の一例を示す図である。 本発明の実施の形態に係る映像信号符号化装置における文字尤度メモリの状態の一例を示す図である。 本発明の実施の形態に係る映像信号符号化装置におけるタイル品質メモリの状態の他の例を示す図である。 本発明の実施の形態に係る映像信号符号化装置における文字尤度メモリの状態の他の例を示す図である。
　次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
　図１を参照すると、本発明の第１の実施の形態は、信号入力装置１１と、データ記憶装置１２と、プログラム制御により動作するデータ処理装置１３と、符号出力装置１４とから構成されている。
［構成の説明］
　信号入力装置１１は、映像信号を入力するための装置であり、例えば図示しないコンピュータのディスプレイ画面のカラー映像信号をアナログキャプチャあるいはディジタルキャプチャし、データ記憶装置１２に記憶する。キャプチャされた１画面分の映像信号は、フレームあるいは画面データと呼ぶ。
　符号出力装置１４は、データ処理装置１３によって符号化された符号情報を格納あるいは伝送する、磁気ディスク装置などの記憶装置や通信装置などで構成される。
　データ記憶装置１２は、前フレームメモリ１２１と、現フレームメモリ１２２と、更新タイルメモリ１２３と、タイル品質メモリ１２４と、文字尤度メモリ１２５と、許容符号量メモリ１２６と、出力符号量カウンタ１２７とを含む。
　前フレームメモリ１２１は、過去に入力されたフレームを１フレーム以上保持する。
　現フレームメモリ１２２は、最も新しく入力されたフレームを１フレーム保持する。
　更新タイルメモリ１２３は、フレームをタイル状に分割し、分割された各タイルについて、前フレームと現フレームとの間で差分が検出されたか否かを示すデータを保持する。差分が検出されたタイルを更新タイルと呼ぶ。
　タイル品質メモリ１２４は、各タイルについて、直前に符号化された品質を表すデータを記憶する。
　文字尤度メモリ１２５は、再送候補タイルについて、文字領域らしさを示す尤度値を記憶する。
　許容符号量メモリ１２６は、現フレームで出力可能な符号量の上限を記憶する。
　出力符号量カウンタ１２７は、現フレームで出力済の符号量を記憶する。
　データ処理装置１３は、更新領域検出手段１３１と、更新領域符号化手段１３２と、更新タイル記録手段１３３と、再送候補タイル抽出手段１３４と、文字尤度推定手段１３５と、文字尤度順タイル抽出手段１３６と、イントラ更新手段１３７と、出力符号量初期化手段１３８とを含む。これらの各手段は、データ記憶装置１２に記憶されたプログラム（図示せず）をデータ処理装置１３が実行することにより、実現することができる。
　更新領域検出手段１３１は、前フレームメモリ１２１から前フレームのデータを、現フレームメモリ１２２から現フレームのデータを、それぞれ読み出してフレーム間で画素値を比較し、画素値が変化した領域、すなわち更新領域を検出する。また更新領域検出手段１３１は、更新領域の座標情報を更新領域符号化手段１３２と再送候補タイル抽出手段１３４へ通知する。
　更新領域符号化手段１３２は、更新領域検出手段１３１から更新領域の座標情報が通知されると、現フレームメモリ１２２から当該通知された座標の画素データを読み出して符号化し、符号出力装置１４へ出力する。例えば、上記符号化では、全ての更新領域の符号量の合計が許容符号量メモリ１２６に記憶された値に収まるように、符号化の品質パラメータを調整する。また更新領域符号化手段１３２は、更新領域と重複するタイルを求め、そのタイル座標を更新タイル記録手段１３３へ通知する。また同時に更新領域符号化手段１３２は、その更新領域を符号化した際の品質パラメータを更新タイル記録手段１３３へ通知する。さらに更新領域符号化手段１３２は、更新領域の符号化による出力符号量を出力符号量カウンタ１２７に累算する。
　上記更新領域の符号化方式としては、例えばJPEGを用いることができる。また、その際の品質パラメータとしては、JPEGのQパラメータを用いることができる。JPEG画像において、Qパラメータが小さいほど文字の判読性が低く、Qパラメータが大きいほど文字の可読性が高い。
　更新タイル記録手段１３３は、更新領域符号化手段１３２から更新タイルの座標情報が通知されると、更新タイルメモリ１２３内の該当タイルのデータを、更新ありの状態に書き換える。また更新タイル記録手段１３３は、更新領域符号化手段１３２から更新タイルの品質パラメータが通知されると、通知された品質パラメータを、タイル品質メモリ１２４の該当タイルの品質値として書き込む。
　再送候補タイル抽出手段１３４は、更新タイルメモリ１２３とタイル品質メモリ１２４とを参照し、画面内のタイルのうち、更新タイルに該当せず、かつ、所定値以下の品質（要再送品質）を持つタイルを抽出する。抽出したタイルは、再送候補タイルとして、文字尤度推定手段１３５へ通知される。
　文字尤度推定手段１３５は、再送候補タイル抽出手段１３４から通知された各再送候補タイルに関して、当該タイルの文字領域らしさの指標値、すなわち尤度値を計算し、計算した尤度値を文字尤度メモリ１２５へ書き込む。文字尤度推定手段１３５は、たとえば、各画素についてエッジ強度を求め、エッジ強度のタイル内での分散値を当該タイルの文字領域らしさの尤度値とする。一般に、文字領域では、エッジ強度が非常に強い画素（文字と背景の境界）と、非常に弱い画素（単色背景）とが混在しているため、エッジ強度の分散値は大きな値を取る。このためエッジ強度の分散値は、文字領域らしさを示す尤度値として好適である。
　文字尤度順タイル抽出手段１３６は、文字尤度メモリ１２５を参照し、尤度値のより高いものから順に、再送候補タイルを抽出する。抽出したタイルは、再送タイルとして、イントラ更新手段１３７へ通知される。
　イントラ更新手段１３７は、文字尤度順タイル抽出手段１３６から通知された再送タイルについて、順次、あらかじめ定めた品質より高品質なパラメータ（イントラ更新品質と呼ぶ）で符号化する。なおイントラ更新品質には、上述した要再送品質よりも高い値が設定されるものとする。またイントラ更新手段１３７は、再送タイルを一つ符号化するごとに、該タイルの符号量を出力符号量カウンタ１２７に累算する。そしてイントラ更新手段１３７は、累算結果が許容符号量メモリ１２６の値を超えない場合には符号出力装置１４へ再送タイルの符号を出力する。またイントラ更新手段１３７は、符号を出力した再送タイルについて、タイル品質メモリ１２４内の該当タイルを、イントラ更新品質の値で書き換える。さらにイントラ更新手段１３７は、該当タイルを文字尤度メモリ１２５内の再送候補タイルから削除する。
　更新領域の符号化方式としてJPEGを使用し、品質パラメータとしてJPEGのQパラメータを使用する場合、経験上、文字の判読性が十分確保できるようなQパラメータを上記イントラ更新品質としてあらかじめ設定しておけばよい。これにより、低いQパラメータで符号化された文字領域を優先して、文字判読性の高いQパラメータで符号化して更新し、ユーザの文字判読性を早期に向上させることができる。
　出力符号量初期化手段１３８は、フレームの処理開始ごとに、出力符号量カウンタ１２７の値を０に初期化する。
［動作の説明］
　図１のブロック図および図２のフローチャートを参照して、本発明の実施の形態の全体の動作について詳細に説明する。
　まず、フレームの処理開始時に、出力符号量初期化手段１３８は、出力符号量カウンタ１２７の値を０に初期化する（ステップS101）。
　次に、更新領域検出手段１３１は、前フレームメモリ１２１から前フレームを読み出し、現フレームメモリ１２２から現フレームのデータを読み出して、双方のフレームの画素値を比較し、画素値が変化した領域、すなわち更新領域を検出する（ステップS102）。このとき更新領域検出手段１３１は、更新領域の座標情報を更新領域符号化手段１３２と再送候補タイル抽出手段１３４へ通知する。
　次に、更新領域符号化手段１３２は、更新領域検出手段１３１から更新領域の座標情報が通知されると、現フレームメモリ１２２から当該座標の画素データを読み出して符号化し、符号出力装置１４へ出力する（ステップS103）。このとき、更新領域符号化手段１３２は、例えば全ての更新領域の符号量の合計が許容符号量メモリ１２６に記憶された値に収まるように符号化の品質パラメータを調整する。また更新領域符号化手段１３２は、更新領域と重複するタイルについて、そのタイル座標を更新タイル記録手段１３３へ通知し、また同時に、その更新領域を符号化した際の品質パラメータを更新タイル記録手段１３３へ通知する。
　次に、更新領域符号化手段１３２は、出力符号量を出力符号量カウンタ１２７に累算する（ステップS104）。
　次に、更新タイル記録手段１３３は、更新領域符号化手段１３２から更新タイルの座標情報が通知されると、更新タイルメモリ１２３内の該当タイルを、更新ありの状態に書き換える（ステップS105）。
　図３は更新タイルメモリ１２３の状態の一例を示す。更新タイルメモリ１２３は、フレーム内の各タイルの更新の有無を示すメモリであり、図３では網掛けされたタイルが更新ありのタイルを表している。
　次に、更新タイル記録手段１３３は、更新領域符号化手段１３２から更新タイルの座標情報および品質パラメータが通知されると、通知された品質パラメータを、タイル品質メモリ１２４の該当タイルの品質値として書き込む（ステップS106）。
　図４はタイル品質メモリ１２４の状態の一例を示す。タイル品質メモリ１２４は、フレーム内の各タイルの品質値を示すメモリであり、図４中の２、３、９といった数値が各タイルの品質値を表している。ここでは、より大きな数値はより高い品質値であることを表している。図４では、現フレームでの更新領域が品質値＝３で符号化された状態であることを想定しているため、現フレームでの更新領域と重複する更新タイル（図３の更新タイルメモリ１２３の網掛けタイル）では、品質値として３が書き込まれている。
　次に、再送候補タイル抽出手段１３４は、更新領域検出手段１３１から更新領域の座標情報を受信するとともに、更新タイルメモリ１２３と、タイル品質メモリ１２４とを参照し、画面内から、現フレームの更新領域に該当せず、かつ、所定値以下の品質を持つ更新タイルを、再送候補タイルとして抽出する（ステップS107）。
　次に、再送候補タイル抽出手段１３４は、再送候補タイルが抽出されなかったかを判定し（ステップS108）、抽出されなかった場合は（ステップS108のYes）、当該フレームの処理を終了する。抽出された場合は（ステップS108のNo）、抽出した再送候補タイルを文字尤度推定手段１３５へ通知する。
　次に、文字尤度推定手段１３５は、再送候補タイル抽出手段１３４から通知された各再送候補タイルに関して、当該タイルの文字領域らしさを示す尤度値を計算し、再送候補タイルであるか否かと上記計算された尤度値とを文字尤度メモリ１２５へ書き込む（ステップS109）。
　図５は文字尤度メモリ１２５の状態の一例を示す。この例では、タイル品質メモリ１２４のうち、所定値（この場合は３）以下のタイル（更新タイルを除く）が、再送候補タイルとして抽出されている（図５の網掛けタイル）。また、各再送候補タイルについて算出された文字尤度値（３～８）があわせて記憶されている。
　次に、文字尤度順タイル抽出手段１３６は、文字尤度メモリ１２５を参照し、文字尤度が最大となる再送候補タイルを再送タイルとして抽出する（ステップS110）。
　図５では、最も高い文字尤度値（８）を持つタイルから順に、再送タイルが抽出される。同一の文字尤度値を持つタイルが複数ある場合は、任意の方法（スキャン順で前または後に出現したものを選択するなど）で再送タイルが決定される。ここでは、スキャン順で前に出現したものを選択するものとする。
　次に、文字尤度順タイル抽出手段１３６は、再送タイルが抽出されなかった（すなわち再送候補タイルが一つも残っていなかった）かを判定し（ステップS111）、抽出されなかった場合は（ステップS111のYes）、当該フレームの処理を終了する。抽出された場合は（ステップS111のNo）、ステップS112以降の処理へ進む。
　次に、イントラ更新手段１３７は、文字尤度順タイル抽出手段１３６から通知された再送タイルについて、あらかじめ定めた品質より高品質なパラメータ（イントラ更新品質）で符号化する（ステップS112）。
　次に、イントラ更新手段１３７は、再送タイルを一つ符号化するごとに、該タイルの符号量を出力符号量カウンタ１２７に累算する（ステップS113）。
　イントラ更新手段１３７は、累算結果が許容符号量メモリ１２６の値を超えるかどうかを判定し（ステップS114）、超える場合は（ステップS114のYes）、当該フレームの処理を終了する。超えない場合は（ステップS114のNo）、ステップS115以降の処理へ進む。
　次に、イントラ更新手段１３７は、符号出力装置１４へ再送タイルの符号を出力する（ステップS115）。
　最後に、イントラ更新手段１３７は、符号を出力した再送タイルについて、タイル品質メモリ１２４内の該当タイルを、イントラ更新品質の値（例えば９）で書き換える。また、該当タイルを文字尤度メモリ１２５内の再送候補タイルから削除する。以上の処理が終了すると、ステップS110に戻って処理を繰り返す。
　この結果、図１のタイル品質メモリ１２４の再送済のタイルは、例えば図６の網掛けタイルに示すように、イントラ更新品質の値（この場合は９）で上書きされていく。また、例えば図７に示すように、タイルが一つ再送されるごとに、文字尤度メモリ１２５の当該タイルに対応する再送候補タイルが削除されていく。
　このように本実施の形態によれば、短いフレーム期間で映像中の文字の判読性を向上させることができる。その理由は、低品質領域のうち、内容把握上重要となる文字領域から順にイントラ更新を行い、高画質化できるためである。
　また、本実施の形態によれば、再送候補タイルが文字領域か否かの２通りの判定でなく、文字領域らしさを表す尤度値を算出している。このため、尤度値のより大きな再送候補タイル、すなわち文字領域である可能性がより高い再送候補タイルから順に優先的に再送することができる。
［他の実施の形態］
　上記の実施の形態では、更新タイル記録手段１３３は、通知された品質パラメータの値をそのままタイル品質メモリ１２４に書き込むようにした。しかし、本発明の他の実施の形態として、すでに該当タイルについて何らかの品質値が書き込み済となっている場合は、通知された品質パラメータと、すでに書き込まれている品質値とのうち、より低い方の値を該当タイルの品質値として書き込むようにしてもよい。これによって、たとえばタイルが一度低品質に符号化された後、タイル内の一部分だけが高品質に符号化された場合においても、低品質な部分が残っているタイルとして、イントラ更新の候補に含めることができる。
　また上記の実施の形態では、イントラ更新手段１３７は、タイルを一つ符号化するたびに、残りの再送候補タイルの中から最大の文字尤度を持つタイルを探索するようにした。しかし、本発明の他の実施の形態として、イントラ更新手段１３７は、最初に再送候補タイルを文字尤度の高い順にソートし、このソートされた並びからタイルを順に選択するようにしてもよい。これによって、上記実施の形態では１タイルを符号化するごとに発生していた探索処理を省略することができる。
　また、上記の実施の形態では、文字尤度順タイル抽出手段１３６は、文字尤度がより大きなタイルを１つずつ抽出するようにしたが、文字尤度の大きいタイルを優先的に再送する方法であれば、他の方法であっても同様の効果が得られる。従って、本発明の他の実施の形態として、文字尤度順タイル抽出手段１３６は、たとえば、数段階の閾値を設け、大きな閾値から順に適用して、各閾値を超える文字尤度を有するタイルを一括して抽出してもよい。たとえば図５に示す文字尤度メモリ１２５の場合、文字尤度順タイル抽出手段１３６は、６、３、０の３つの閾値をその順に使用するものとする。そして、文字尤度順タイル抽出手段１３６は、まず、閾値６を超える文字尤度を持つタイルとして、文字尤度８の２つのタイルと文字尤度７の１つのタイルの合計３個のタイルを選択し、イントラ更新手段１３７へ通知する。これにより、まず、これら３個のタイルが高画質化されて送信される。次の段階では、文字尤度順タイル抽出手段１３６は、閾値３を超える文字尤度５の１つのタイルと文字尤度４の２つのタイルとの合計３個のタイルを選択し、イントラ更新手段１３７へ通知する。こうして、文字尤度の高いタイルが優先して高画質化されることになり、本発明の目的が達成される。
　また、上記の実施の形態では、イントラ更新手段１３７の処理終了の判定条件として、累積符号量が許容符号量を超えるかどうかを用いたが、他の条件を用いてもよい。
　たとえば、本発明の他の実施の形態として、１フレームあたりの上限タイル数をあらかじめ設定（記憶）しておき、イントラ更新手段１３７は、現フレームでの送信タイル数が上記上限タイル数以下かどうかを終了条件としてもよい。
　あるいは、本発明の他の実施の形態として、現フレームの処理を完了すべき目標時刻をあらかじめ設定（記憶）しておき、イントラ更新手段１３７は、現時刻が設定された目標時刻以前であるかどうかを終了条件としてもよい。例えば、現フレームの処理を開始した時点からの経過時間をカウントするタイマ等の刻時手段を備え、イントラ更新手段１３７は、更新領域符号化手段１３２が更新領域を符号化した後、刻時手段が刻時する時刻が目標終了時刻以前となる範囲で符号化処理を行う。
　あるいは、本発明の他の実施の形態として、累積符号量が許容符号量を超えるかどうか、現フレームでの送信タイル数が上記上限タイル数以下かどうか、現時刻が設定された目標時刻以前であるかどうか、といった複数の条件を任意に組み合わせて用いることもできる。
　上記いずれの終了条件を用いた場合も、与えられた条件下で、文字尤度の高いタイルが優先して高画質化されることになり、本発明の目的が達成される。
　なお、本発明は、日本国にて２０１２年９月１９日に特許出願された特願２０１２－２０５３８９の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
　本発明は、画面伝送型シン・クライアント・システムにおいて、制限された伝送帯域下で映像を鮮明化する用途に用いることができる。また、文字や写真が混在する種々の映像の配信、たとえば映像配信型のデジタル・サイネージなどにも応用できる。
１１…信号入力装置
１２…データ記憶装置
１３…データ処理装置
１４…符号出力装置
１２１…前フレームメモリ
１２２…現フレームメモリ
１２３…更新タイルメモリ
１２４…タイル品質メモリ
１２５…文字尤度メモリ
１２６…許容符号量メモリ
１２７…出力符号量カウンタ
１３１…更新領域検出手段
１３２…更新領域符号化手段
１３３…更新タイル記録手段
１３４…再送候補タイル抽出手段
１３５…文字尤度推定手段
１３６…文字尤度順タイル抽出手段
１３７…イントラ更新手段
１３８…出力符号量初期化手段

Claims (9)

  1. 　入力画像信号のフレームから更新領域を検出し符号化する更新領域符号化手段と、
    　画面内から、現フレームにおいて前記更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出する再送候補タイル抽出手段と、
    　前記再送候補タイル抽出手段によって抽出された前記タイルについて、文字領域らしさを示す尤度値を算出する文字尤度推定手段と、
    　前記再送候補タイル抽出手段で抽出された前記タイルの中から、前記尤度値のより大きい順に前記タイルを選択し、前記第１の品質より高品質な第２の品質で符号化して送信する文字尤度順イントラ更新手段と
    を備えた動画像符号化装置。
  2. 　前記文字尤度順イントラ更新手段は、前記タイルの符号化では、前記更新領域符号化手段が更新領域を符号化した後、前記現フレームでの合計出力符号量が目標符号量以下となる範囲で前記タイルの符号化を行う
    請求項１に記載の動画像符号化装置。
  3. 　前記文字尤度順イントラ更新手段は、前記タイルの符号化では、１フレーム当たりの出力タイル数が最大タイル数以下となる範囲で前記タイルの符号化を行う
    請求項１または２に記載の動画像符号化装置。
  4. 　前記文字尤度順イントラ更新手段は、前記タイルの符号化では、前記更新領域符号化手段が更新領域を符号化した後、時刻が目標終了時刻以前となる範囲で前記タイルの符号化を行う
    請求項１ないし３の何れかに記載の動画像符号化装置。
  5. 　前記文字尤度順イントラ更新手段は、前記タイルの符号化では、前記尤度値のより高い前記タイルを１個ずつ抽出して前記タイルの符号化を行う
    請求項１ないし４の何れかに記載の動画像符号化装置。
  6. 　前記文字尤度順イントラ更新手段は、前記タイルの符号化では、第１の閾値を超える前記尤度値の前記タイルを全て抽出して符号化した後、前記第１の閾値より小さな第２の閾値を超える前記尤度値の前記タイルを全て抽出して前記タイルの符号化を行う
    請求項１ないし４の何れかに記載の動画像符号化装置。
  7. 　前記文字尤度推定手段は、前記尤度値の算出では、前記フレーム内の各画素についてエッジ強度を求め、エッジ強度のタイル内での分散値を前記尤度値として算出する
    請求項１ないし６の何れかに記載の動画像符号化装置。
  8. 　入力画像信号のフレームから更新領域を検出して符号化し、
    　画面内から、現フレームにおいて前記更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出し、
    　前記抽出された前記タイルについて、文字領域らしさを示す尤度値を算出し、
    　前記抽出された前記タイルの中から、前記尤度値のより大きい順に前記タイルを選択し、前記第１の品質より高品質な第２の品質で符号化して送信する
    動画像符号化方法。
  9. 　コンピュータを、
    　入力画像信号のフレームから更新領域を検出し符号化する更新領域符号化手段と、
    　画面内から、現フレームにおいて前記更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出する再送候補タイル抽出手段と、
    　前記再送候補タイル抽出手段によって抽出された前記タイルについて、文字領域らしさを示す尤度値を算出する文字尤度推定手段と、
    　前記再送候補タイル抽出手段で抽出された前記タイルの中から、前記尤度値のより大きい順に前記タイルを選択し、前記第１の品質より高品質な第２の品質で符号化して送信する文字尤度順イントラ更新手段と
    して機能させるためのプログラム。
PCT/JP2013/004583 2012-09-19 2013-07-29 動画像符号化装置 WO2014045507A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014536564A JP6217643B2 (ja) 2012-09-19 2013-07-29 動画像符号化装置
CN201380048659.8A CN104662900B (zh) 2012-09-19 2013-07-29 视频图像编码设备
US14/429,053 US9307245B2 (en) 2012-09-19 2013-07-29 Moving image encoding device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-205389 2012-09-19
JP2012205389 2012-09-19

Publications (1)

Publication Number Publication Date
WO2014045507A1 true WO2014045507A1 (ja) 2014-03-27

Family

ID=50340849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/004583 WO2014045507A1 (ja) 2012-09-19 2013-07-29 動画像符号化装置

Country Status (4)

Country Link
US (1) US9307245B2 (ja)
JP (1) JP6217643B2 (ja)
CN (1) CN104662900B (ja)
WO (1) WO2014045507A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016095806A1 (zh) * 2014-12-16 2016-06-23 广州市动景计算机科技有限公司 一种图片数据传输方法及装置
CN107683605A (zh) * 2015-06-24 2018-02-09 索尼公司 编码装置、解码装置和传输控制方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6248671B2 (ja) * 2014-02-10 2017-12-20 富士通株式会社 情報処理装置、方法、プログラム、および情報処理システム
US20170105023A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Signaling of updated video regions
US11044474B2 (en) * 2019-02-18 2021-06-22 Glenfly Technology Co., Ltd. Image compression method and image processing system
JP7234776B2 (ja) * 2019-04-26 2023-03-08 富士通株式会社 受信データ表示プログラム、受信データ表示方法、及び電子機器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002051221A (ja) * 2000-08-01 2002-02-15 Canon Inc 画像符号化装置、画像復号化装置、システム、及びその方法並びに記憶媒体
JP2004350009A (ja) * 2003-05-22 2004-12-09 Matsushita Electric Ind Co Ltd 画像復号化装置および方法
JP2008085502A (ja) * 2006-09-26 2008-04-10 Toshiba Corp 画像転送装置、方法およびプログラム
JP2010206753A (ja) * 2009-03-06 2010-09-16 Nec Corp 画像符号化装置および方法並びにプログラム
JP2011109618A (ja) * 2009-11-20 2011-06-02 Canon Inc 画像処理装置及びその制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130797A (en) * 1989-02-27 1992-07-14 Mitsubishi Denki Kabushiki Kaisha Digital signal processing system for parallel processing of subsampled data
JP2002204459A (ja) * 2000-12-28 2002-07-19 Toshiba Corp 動画像符号化方法及び装置
US7450646B2 (en) * 2002-06-04 2008-11-11 Panasonic Corporation Image data transmitting apparatus and method and image data reproducing apparatus and method
JP4035475B2 (ja) 2003-04-16 2008-01-23 キヤノン株式会社 画像処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体
JP2005197879A (ja) 2004-01-05 2005-07-21 Victor Co Of Japan Ltd 映像信号符号化装置
KR100537520B1 (ko) * 2004-02-18 2005-12-19 삼성전자주식회사 동영상의 자막 검출 방법 및 장치
JP5003521B2 (ja) 2008-02-14 2012-08-15 日本電気株式会社 動き補償に伴う更新領域検出装置
CN101854548B (zh) * 2010-05-25 2011-09-07 南京邮电大学 一种面向无线多媒体传感器网络的视频压缩方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002051221A (ja) * 2000-08-01 2002-02-15 Canon Inc 画像符号化装置、画像復号化装置、システム、及びその方法並びに記憶媒体
JP2004350009A (ja) * 2003-05-22 2004-12-09 Matsushita Electric Ind Co Ltd 画像復号化装置および方法
JP2008085502A (ja) * 2006-09-26 2008-04-10 Toshiba Corp 画像転送装置、方法およびプログラム
JP2010206753A (ja) * 2009-03-06 2010-09-16 Nec Corp 画像符号化装置および方法並びにプログラム
JP2011109618A (ja) * 2009-11-20 2011-06-02 Canon Inc 画像処理装置及びその制御方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016095806A1 (zh) * 2014-12-16 2016-06-23 广州市动景计算机科技有限公司 一种图片数据传输方法及装置
US10812679B2 (en) 2014-12-16 2020-10-20 Guangzhou Ucweb Computer Technology Co., Ltd. Picture data transmission method and device
CN107683605A (zh) * 2015-06-24 2018-02-09 索尼公司 编码装置、解码装置和传输控制方法
JPWO2016208241A1 (ja) * 2015-06-24 2018-04-19 ソニー株式会社 符号化装置、復号装置及び伝送制御方法
CN107683605B (zh) * 2015-06-24 2021-12-03 索尼公司 编码装置、解码装置和传输控制方法
US11297354B2 (en) 2015-06-24 2022-04-05 Sony Corporation Encoding apparatus, decoding apparatus and transmission control method

Also Published As

Publication number Publication date
CN104662900B (zh) 2018-02-13
JPWO2014045507A1 (ja) 2016-08-18
US9307245B2 (en) 2016-04-05
US20150249824A1 (en) 2015-09-03
JP6217643B2 (ja) 2017-10-25
CN104662900A (zh) 2015-05-27

Similar Documents

Publication Publication Date Title
JP6217643B2 (ja) 動画像符号化装置
CN108737825B (zh) 视频数据编码方法、装置、计算机设备和存储介质
JP5470405B2 (ja) 画像符号化装置および方法
EP3379817B1 (en) Method for real-time video noise reduction in coding process, terminal, and nonvolatile computer readable storage medium
KR101808327B1 (ko) 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치
CN103957341B (zh) 图片传输的方法及其相关设备
US9137548B2 (en) Networked image/video processing system and network site therefor
KR101805550B1 (ko) 프리젠테이션 가상화를 위한 화면 부호화 방법 및 서버
WO2011086952A1 (ja) 動画像符号化データの表示方法、装置及び通信システム
KR100612691B1 (ko) 동영상 화질 평가시스템 및 방법
WO2008047865A1 (fr) Procédé, système et programme d'évaluation de qualité d'image
CN112468855A (zh) 数据传输方法及装置、非易失性存储介质
US9955172B2 (en) Video data processing device and method
US20130287118A1 (en) Video image encoding device, video image encoding method, video image decoding device, and video image decoding method
CN110740316A (zh) 数据编码方法及装置
US20120106632A1 (en) Method and apparatus for error resilient long term referencing block refresh
CN114245196B (zh) 一种录屏推流方法、装置、电子设备及存储介质
EP3547684B1 (en) Method, device and system for encoding a sequence of frames in a video stream
US20080267284A1 (en) Moving picture compression apparatus and method of controlling operation of same
JP2010062792A (ja) 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム
JP5152044B2 (ja) 画像符号化装置および方法並びにプログラム
CN111767428A (zh) 视频推荐方法、装置、电子设备及存储介质
JP5396302B2 (ja) 映像信号符号化装置及び映像信号符号化方法
Yang et al. Subjective quality evaluation of compressed digital compound images
CN115941958A (zh) 一种视频编码方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13838272

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014536564

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14429053

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13838272

Country of ref document: EP

Kind code of ref document: A1