JP6217643B2 - 動画像符号化装置 - Google Patents

Description

本発明は動画像符号化装置に関し、特にコンピュータ画面の映像を符号化する動画像符号化装置、動画像符号化方法、およびプログラムに関する。

近年、コンピュータの端末装置からの情報の漏洩の防止と端末側でのアプリケーション管理の容易性を図るため等を目的として、端末装置にて入出力および表示される全てのアプリケーションをサーバ装置で実行させ、これに伴う全ての生成ファイルもサーバ装置で管理するようにしたシン・クライアント・システムが導入されるようになってきた。

このようなシン・クライアント・システムでは、サーバ装置で実行されるアプリケーションプログラムの描画データが、ＬＡＮなどのネットワークを通じてクライアント側の端末装置へ転送され、端末装置の画面に表示される。このため、描画データの処理量が大きくなったり、サーバ装置に接続される端末装置の台数が多くなったりすると、描画データを端末装置に転送するためのサーバ装置の負荷が増大し、応答時間の低下や端末装置の接続台数の大幅な制限などの問題が生じる。

そこで、画像のうち更新された領域を含む矩形領域の画像データを符号化して送信する方式が本発明に関連する第１の関連技術として提案されている（たとえば特許文献１を参照）。この第１の関連技術によれば、画像中の一部の領域しか更新されていない場合に、画像全体を全て符号化して送信する必要がなくなり、一部領域の画像データのみを符号化して送信すればよいので、送信するデータ量を減らすことができる。

一方、通信ネットワークを介して画像データを送受信する場合、データ量を圧縮するために画像データを符号化することは周知である（たとえば特許文献２を参照）。

ここで、データ圧縮時に量子化のような非可逆変換を用いると、受信側で復号された画像の品質が送信側の元画像よりも劣化する場合がある。また、通信路などにおいてデータ欠落や伝送エラーが発生した場合にも、受信側の画像品質が低下する場合がある。これに起因する後続フレームへの画質劣化の伝播を抑制するため、映像伝送の際には、定期的にイントラ更新（イントラリフレッシュ）の信号を挿入して伝送する方式が考案されている。一般に、イントラ更新では、フレーム全体を符号化すると符号量が非常に大きくなるため、フレームを複数の部分領域（タイル）に分割して少しずつ伝送する方法が用いられる。

たとえば、更新領域の符号を伝送した後、余剰の伝送可能符号量の範囲で、低品質タイルを巡回しながらイントラ更新を行うことが、本発明に関連する第３の関連技術として提案されている（たとえば特許文献３を参照）。これによって、フレームの描画更新領域の面積が大きく変動した場合にも、イントラ更新の対象となる領域の面積を変動させることで、余剰帯域を十分に活用しながら高画質化が行える。たとえば、無差分のフレームや、描画更新領域の面積が小さいフレームでは、余剰帯域に収まる限り多くのタイルに亘ってイントラ更新を行うことができる。また、低画質で符号化された領域のタイルや、長期間リフレッシュされていないタイルを優先的に巡回する工夫を加えることで、低品質タイルが画面内に残留する期間を短縮することができる。

他方、動き補償後の更新領域を画像として符号化することが本発明に関連する第４の関連技術として提案されている（たとえば特許文献４を参照）。

また、文字領域を含むブロックを高品質で符号化することが本発明に関連する第５の関連技術として提案されている（たとえば特許文献５を参照）。この第５の関連技術では、動画像中の鮮明さが要求される文字領域での量子化係数をそれ以外の領域での量子化係数とは独立に、その量子化係数が所定の閾値より大きい場合には閾値以下となるように更新することにより、文字情報の品質劣化を緩和している。

さらに、フレームバッファからマクロブロック単位での映像信号を読み出し、このマクロブロックに白レベルが多いとき、隣接ブロックにデータがあるとき、メディアンフィルタの結果が連続性を示しているときにテロップ（文字領域）と判断することが、本発明に関連する第６の関連技術として提案されている（たとえば特許文献６を参照）。

特開2008-085502号公報 特許第004035475号公報 特開2010-206753号公報 特開2009-194627号公報 特開2002-204459号公報 特開2005-197879号公報

１フレーム当たりの出力符号量の上限が定まっている場合、更新領域の面積が大きいフレームでは、更新領域を高品質に符号化することが困難なため、低品質で更新領域を符号化せざるを得なくなる。低品質で符号化されて送信された領域は、その後のフレームの余剰の伝送可能符号量の範囲で、低品質タイルを巡回しながらイントラ更新を行う。このとき、上記第３の関連技術で説明したように、タイルの品質やリフレッシュされていない期間に基づいて、高品質で再送すべきタイルを選択する。このため、再送候補タイルの中に、文字領域に比べてより低品質な写真領域や、文字領域に比べてよりリフレッシュされていない期間の長い写真領域が存在する場合、写真領域が優先されて選択され、文字領域が長く低品質のまま放置されるケースが発生する。

しかし、品質の程度による影響は、文字情報の方が写真情報よりも一般に大きい。それは、文字情報は、細部形状の違いによって意味が大きく変わるのに対して、写真情報は、概略だけでおおまかな意味が判断できてしまうことによる。

上述したように文字領域を含むブロックを高品質で符号化することが本発明に関連する第５の関連技術として提案されている。そこで、この第５の関連技術を本発明に関連する第３の関連技術に適用し、更新領域の符号化の際に、文字領域の符号化の品質を他の領域よりも高くすることが考えられる。しかしながら、更新領域のサイズが大きく、しかも文字領域が占める割合が多い場合、更新領域の全符号量がフレーム当たりの許容符号量の上限を超えてしまうと、全ての文字領域を高画質化できない。結果として、上述と同様に、文字領域が長く低品質のまま放置されるケースが発生し、映像中の文字の判読性が低下する。

本発明の目的は、上述した課題、すなわち、更新領域を符号化して伝送した後、余剰の伝送可能符号量の範囲で、低品質タイルを巡回しながらイントラ更新を行う動画像符号化装置では、映像中の文字の判読性が低下する、という課題を解決する動画像符号化装置を提供することにある。

本発明の第１の観点にかかる動画像符号化装置は、
入力画像信号のフレームから更新領域を検出し符号化する更新領域符号化手段と、
画面内から、現フレームにおいて上記更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出する再送候補タイル抽出手段と、
上記再送候補タイル抽出手段によって抽出された上記タイルについて、文字領域らしさを示す尤度値を算出する文字尤度推定手段と、
上記再送候補タイル抽出手段で抽出された上記タイルの中から、上記尤度値のより大きい順に上記タイルを選択し、上記第１の品質より高品質な第２の品質で符号化して送信する文字尤度順イントラ更新手段とを有する。
また、本発明の第２の観点にかかる動画像符号化方法は、
入力画像信号のフレームから更新領域を検出して符号化し、
画面内から、現フレームにおいて上記更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出し、
上記抽出された上記タイルについて、文字領域らしさを示す尤度値を算出し、
上記抽出された上記タイルの中から、上記尤度値のより大きい順に上記タイルを選択し、上記第１の品質より高品質な第２の品質で符号化して送信する。
また、本発明の第３の観点にかかるプログラムは、
コンピュータを、
入力画像信号のフレームから更新領域を検出し符号化する更新領域符号化手段と、
画面内から、現フレームにおいて上記更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出する再送候補タイル抽出手段と、
上記再送候補タイル抽出手段によって抽出された上記タイルについて、文字領域らしさを示す尤度値を算出する文字尤度推定手段と、
上記再送候補タイル抽出手段で抽出された上記タイルの中から、上記尤度値のより大きい順に上記タイルを選択し、上記第１の品質より高品質な第２の品質で符号化して送信する文字尤度順イントラ更新手段と
して機能させる。

本発明によれば、短いフレーム期間で映像中の文字の判読性を向上させることができる。

本発明の実施の形態に係る映像信号符号化装置のブロック図である。 本発明の実施の形態に係る映像信号符号化装置の処理の流れを示すフローチャートである。 本発明の実施の形態に係る映像信号符号化装置における更新タイルメモリの状態の一例を示す図である。 本発明の実施の形態に係る映像信号符号化装置におけるタイル品質メモリの状態の一例を示す図である。 本発明の実施の形態に係る映像信号符号化装置における文字尤度メモリの状態の一例を示す図である。 本発明の実施の形態に係る映像信号符号化装置におけるタイル品質メモリの状態の他の例を示す図である。 本発明の実施の形態に係る映像信号符号化装置における文字尤度メモリの状態の他の例を示す図である。

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１を参照すると、本発明の第１の実施の形態は、信号入力装置１１と、データ記憶装置１２と、プログラム制御により動作するデータ処理装置１３と、符号出力装置１４とから構成されている。

［構成の説明］
信号入力装置１１は、映像信号を入力するための装置であり、例えば図示しないコンピュータのディスプレイ画面のカラー映像信号をアナログキャプチャあるいはディジタルキャプチャし、データ記憶装置１２に記憶する。キャプチャされた１画面分の映像信号は、フレームあるいは画面データと呼ぶ。

符号出力装置１４は、データ処理装置１３によって符号化された符号情報を格納あるいは伝送する、磁気ディスク装置などの記憶装置や通信装置などで構成される。

データ記憶装置１２は、前フレームメモリ１２１と、現フレームメモリ１２２と、更新タイルメモリ１２３と、タイル品質メモリ１２４と、文字尤度メモリ１２５と、許容符号量メモリ１２６と、出力符号量カウンタ１２７とを含む。

前フレームメモリ１２１は、過去に入力されたフレームを１フレーム以上保持する。

現フレームメモリ１２２は、最も新しく入力されたフレームを１フレーム保持する。

更新タイルメモリ１２３は、フレームをタイル状に分割し、分割された各タイルについて、前フレームと現フレームとの間で差分が検出されたか否かを示すデータを保持する。差分が検出されたタイルを更新タイルと呼ぶ。

タイル品質メモリ１２４は、各タイルについて、直前に符号化された品質を表すデータを記憶する。

文字尤度メモリ１２５は、再送候補タイルについて、文字領域らしさを示す尤度値を記憶する。

許容符号量メモリ１２６は、現フレームで出力可能な符号量の上限を記憶する。

出力符号量カウンタ１２７は、現フレームで出力済の符号量を記憶する。

データ処理装置１３は、更新領域検出手段１３１と、更新領域符号化手段１３２と、更新タイル記録手段１３３と、再送候補タイル抽出手段１３４と、文字尤度推定手段１３５と、文字尤度順タイル抽出手段１３６と、イントラ更新手段１３７と、出力符号量初期化手段１３８とを含む。これらの各手段は、データ記憶装置１２に記憶されたプログラム（図示せず）をデータ処理装置１３が実行することにより、実現することができる。

更新領域検出手段１３１は、前フレームメモリ１２１から前フレームのデータを、現フレームメモリ１２２から現フレームのデータを、それぞれ読み出してフレーム間で画素値を比較し、画素値が変化した領域、すなわち更新領域を検出する。また更新領域検出手段１３１は、更新領域の座標情報を更新領域符号化手段１３２と再送候補タイル抽出手段１３４へ通知する。

更新領域符号化手段１３２は、更新領域検出手段１３１から更新領域の座標情報が通知されると、現フレームメモリ１２２から当該通知された座標の画素データを読み出して符号化し、符号出力装置１４へ出力する。例えば、上記符号化では、全ての更新領域の符号量の合計が許容符号量メモリ１２６に記憶された値に収まるように、符号化の品質パラメータを調整する。また更新領域符号化手段１３２は、更新領域と重複するタイルを求め、そのタイル座標を更新タイル記録手段１３３へ通知する。また同時に更新領域符号化手段１３２は、その更新領域を符号化した際の品質パラメータを更新タイル記録手段１３３へ通知する。さらに更新領域符号化手段１３２は、更新領域の符号化による出力符号量を出力符号量カウンタ１２７に累算する。

上記更新領域の符号化方式としては、例えばJPEGを用いることができる。また、その際の品質パラメータとしては、JPEGのQパラメータを用いることができる。JPEG画像において、Qパラメータが小さいほど文字の判読性が低く、Qパラメータが大きいほど文字の可読性が高い。

更新タイル記録手段１３３は、更新領域符号化手段１３２から更新タイルの座標情報が通知されると、更新タイルメモリ１２３内の該当タイルのデータを、更新ありの状態に書き換える。また更新タイル記録手段１３３は、更新領域符号化手段１３２から更新タイルの品質パラメータが通知されると、通知された品質パラメータを、タイル品質メモリ１２４の該当タイルの品質値として書き込む。

再送候補タイル抽出手段１３４は、更新タイルメモリ１２３とタイル品質メモリ１２４とを参照し、画面内のタイルのうち、更新タイルに該当せず、かつ、所定値以下の品質（要再送品質）を持つタイルを抽出する。抽出したタイルは、再送候補タイルとして、文字尤度推定手段１３５へ通知される。

文字尤度推定手段１３５は、再送候補タイル抽出手段１３４から通知された各再送候補タイルに関して、当該タイルの文字領域らしさの指標値、すなわち尤度値を計算し、計算した尤度値を文字尤度メモリ１２５へ書き込む。文字尤度推定手段１３５は、たとえば、各画素についてエッジ強度を求め、エッジ強度のタイル内での分散値を当該タイルの文字領域らしさの尤度値とする。一般に、文字領域では、エッジ強度が非常に強い画素（文字と背景の境界）と、非常に弱い画素（単色背景）とが混在しているため、エッジ強度の分散値は大きな値を取る。このためエッジ強度の分散値は、文字領域らしさを示す尤度値として好適である。

文字尤度順タイル抽出手段１３６は、文字尤度メモリ１２５を参照し、尤度値のより高いものから順に、再送候補タイルを抽出する。抽出したタイルは、再送タイルとして、イントラ更新手段１３７へ通知される。

イントラ更新手段１３７は、文字尤度順タイル抽出手段１３６から通知された再送タイルについて、順次、あらかじめ定めた品質より高品質なパラメータ（イントラ更新品質と呼ぶ）で符号化する。なおイントラ更新品質には、上述した要再送品質よりも高い値が設定されるものとする。またイントラ更新手段１３７は、再送タイルを一つ符号化するごとに、該タイルの符号量を出力符号量カウンタ１２７に累算する。そしてイントラ更新手段１３７は、累算結果が許容符号量メモリ１２６の値を超えない場合には符号出力装置１４へ再送タイルの符号を出力する。またイントラ更新手段１３７は、符号を出力した再送タイルについて、タイル品質メモリ１２４内の該当タイルを、イントラ更新品質の値で書き換える。さらにイントラ更新手段１３７は、該当タイルを文字尤度メモリ１２５内の再送候補タイルから削除する。

更新領域の符号化方式としてJPEGを使用し、品質パラメータとしてJPEGのQパラメータを使用する場合、経験上、文字の判読性が十分確保できるようなQパラメータを上記イントラ更新品質としてあらかじめ設定しておけばよい。これにより、低いQパラメータで符号化された文字領域を優先して、文字判読性の高いQパラメータで符号化して更新し、ユーザの文字判読性を早期に向上させることができる。

出力符号量初期化手段１３８は、フレームの処理開始ごとに、出力符号量カウンタ１２７の値を０に初期化する。

［動作の説明］
図１のブロック図および図２のフローチャートを参照して、本発明の実施の形態の全体の動作について詳細に説明する。

まず、フレームの処理開始時に、出力符号量初期化手段１３８は、出力符号量カウンタ１２７の値を０に初期化する（ステップS101）。

次に、更新領域検出手段１３１は、前フレームメモリ１２１から前フレームを読み出し、現フレームメモリ１２２から現フレームのデータを読み出して、双方のフレームの画素値を比較し、画素値が変化した領域、すなわち更新領域を検出する（ステップS102）。このとき更新領域検出手段１３１は、更新領域の座標情報を更新領域符号化手段１３２と再送候補タイル抽出手段１３４へ通知する。

次に、更新領域符号化手段１３２は、更新領域検出手段１３１から更新領域の座標情報が通知されると、現フレームメモリ１２２から当該座標の画素データを読み出して符号化し、符号出力装置１４へ出力する（ステップS103）。このとき、更新領域符号化手段１３２は、例えば全ての更新領域の符号量の合計が許容符号量メモリ１２６に記憶された値に収まるように符号化の品質パラメータを調整する。また更新領域符号化手段１３２は、更新領域と重複するタイルについて、そのタイル座標を更新タイル記録手段１３３へ通知し、また同時に、その更新領域を符号化した際の品質パラメータを更新タイル記録手段１３３へ通知する。

次に、更新領域符号化手段１３２は、出力符号量を出力符号量カウンタ１２７に累算する（ステップS104）。

次に、更新タイル記録手段１３３は、更新領域符号化手段１３２から更新タイルの座標情報が通知されると、更新タイルメモリ１２３内の該当タイルを、更新ありの状態に書き換える（ステップS105）。

図３は更新タイルメモリ１２３の状態の一例を示す。更新タイルメモリ１２３は、フレーム内の各タイルの更新の有無を示すメモリであり、図３では網掛けされたタイルが更新ありのタイルを表している。

次に、更新タイル記録手段１３３は、更新領域符号化手段１３２から更新タイルの座標情報および品質パラメータが通知されると、通知された品質パラメータを、タイル品質メモリ１２４の該当タイルの品質値として書き込む（ステップS106）。

図４はタイル品質メモリ１２４の状態の一例を示す。タイル品質メモリ１２４は、フレーム内の各タイルの品質値を示すメモリであり、図４中の２、３、９といった数値が各タイルの品質値を表している。ここでは、より大きな数値はより高い品質値であることを表している。図４では、現フレームでの更新領域が品質値＝３で符号化された状態であることを想定しているため、現フレームでの更新領域と重複する更新タイル（図３の更新タイルメモリ１２３の網掛けタイル）では、品質値として３が書き込まれている。

次に、再送候補タイル抽出手段１３４は、更新領域検出手段１３１から更新領域の座標情報を受信するとともに、更新タイルメモリ１２３と、タイル品質メモリ１２４とを参照し、画面内から、現フレームの更新領域に該当せず、かつ、所定値以下の品質を持つ更新タイルを、再送候補タイルとして抽出する（ステップS107）。

次に、再送候補タイル抽出手段１３４は、再送候補タイルが抽出されなかったかを判定し（ステップS108）、抽出されなかった場合は（ステップS108のYes）、当該フレームの処理を終了する。抽出された場合は（ステップS108のNo）、抽出した再送候補タイルを文字尤度推定手段１３５へ通知する。

次に、文字尤度推定手段１３５は、再送候補タイル抽出手段１３４から通知された各再送候補タイルに関して、当該タイルの文字領域らしさを示す尤度値を計算し、再送候補タイルであるか否かと上記計算された尤度値とを文字尤度メモリ１２５へ書き込む（ステップS109）。

図５は文字尤度メモリ１２５の状態の一例を示す。この例では、タイル品質メモリ１２４のうち、所定値（この場合は３）以下のタイル（更新タイルを除く）が、再送候補タイルとして抽出されている（図５の網掛けタイル）。また、各再送候補タイルについて算出された文字尤度値（３〜８）があわせて記憶されている。

次に、文字尤度順タイル抽出手段１３６は、文字尤度メモリ１２５を参照し、文字尤度が最大となる再送候補タイルを再送タイルとして抽出する（ステップS110）。

図５では、最も高い文字尤度値（８）を持つタイルから順に、再送タイルが抽出される。同一の文字尤度値を持つタイルが複数ある場合は、任意の方法（スキャン順で前または後に出現したものを選択するなど）で再送タイルが決定される。ここでは、スキャン順で前に出現したものを選択するものとする。

次に、文字尤度順タイル抽出手段１３６は、再送タイルが抽出されなかった（すなわち再送候補タイルが一つも残っていなかった）かを判定し（ステップS111）、抽出されなかった場合は（ステップS111のYes）、当該フレームの処理を終了する。抽出された場合は（ステップS111のNo）、ステップS112以降の処理へ進む。

次に、イントラ更新手段１３７は、文字尤度順タイル抽出手段１３６から通知された再送タイルについて、あらかじめ定めた品質より高品質なパラメータ（イントラ更新品質）で符号化する（ステップS112）。

次に、イントラ更新手段１３７は、再送タイルを一つ符号化するごとに、該タイルの符号量を出力符号量カウンタ１２７に累算する（ステップS113）。

イントラ更新手段１３７は、累算結果が許容符号量メモリ１２６の値を超えるかどうかを判定し（ステップS114）、超える場合は（ステップS114のYes）、当該フレームの処理を終了する。超えない場合は（ステップS114のNo）、ステップS115以降の処理へ進む。

次に、イントラ更新手段１３７は、符号出力装置１４へ再送タイルの符号を出力する（ステップS115）。

最後に、イントラ更新手段１３７は、符号を出力した再送タイルについて、タイル品質メモリ１２４内の該当タイルを、イントラ更新品質の値（例えば９）で書き換える。また、該当タイルを文字尤度メモリ１２５内の再送候補タイルから削除する。以上の処理が終了すると、ステップS110に戻って処理を繰り返す。

この結果、図１のタイル品質メモリ１２４の再送済のタイルは、例えば図６の網掛けタイルに示すように、イントラ更新品質の値（この場合は９）で上書きされていく。また、例えば図７に示すように、タイルが一つ再送されるごとに、文字尤度メモリ１２５の当該タイルに対応する再送候補タイルが削除されていく。

このように本実施の形態によれば、短いフレーム期間で映像中の文字の判読性を向上させることができる。その理由は、低品質領域のうち、内容把握上重要となる文字領域から順にイントラ更新を行い、高画質化できるためである。

また、本実施の形態によれば、再送候補タイルが文字領域か否かの２通りの判定でなく、文字領域らしさを表す尤度値を算出している。このため、尤度値のより大きな再送候補タイル、すなわち文字領域である可能性がより高い再送候補タイルから順に優先的に再送することができる。

［他の実施の形態］
上記の実施の形態では、更新タイル記録手段１３３は、通知された品質パラメータの値をそのままタイル品質メモリ１２４に書き込むようにした。しかし、本発明の他の実施の形態として、すでに該当タイルについて何らかの品質値が書き込み済となっている場合は、通知された品質パラメータと、すでに書き込まれている品質値とのうち、より低い方の値を該当タイルの品質値として書き込むようにしてもよい。これによって、たとえばタイルが一度低品質に符号化された後、タイル内の一部分だけが高品質に符号化された場合においても、低品質な部分が残っているタイルとして、イントラ更新の候補に含めることができる。

また上記の実施の形態では、イントラ更新手段１３７は、タイルを一つ符号化するたびに、残りの再送候補タイルの中から最大の文字尤度を持つタイルを探索するようにした。しかし、本発明の他の実施の形態として、イントラ更新手段１３７は、最初に再送候補タイルを文字尤度の高い順にソートし、このソートされた並びからタイルを順に選択するようにしてもよい。これによって、上記実施の形態では１タイルを符号化するごとに発生していた探索処理を省略することができる。

また、上記の実施の形態では、文字尤度順タイル抽出手段１３６は、文字尤度がより大きなタイルを１つずつ抽出するようにしたが、文字尤度の大きいタイルを優先的に再送する方法であれば、他の方法であっても同様の効果が得られる。従って、本発明の他の実施の形態として、文字尤度順タイル抽出手段１３６は、たとえば、数段階の閾値を設け、大きな閾値から順に適用して、各閾値を超える文字尤度を有するタイルを一括して抽出してもよい。たとえば図５に示す文字尤度メモリ１２５の場合、文字尤度順タイル抽出手段１３６は、６、３、０の３つの閾値をその順に使用するものとする。そして、文字尤度順タイル抽出手段１３６は、まず、閾値６を超える文字尤度を持つタイルとして、文字尤度８の２つのタイルと文字尤度７の１つのタイルの合計３個のタイルを選択し、イントラ更新手段１３７へ通知する。これにより、まず、これら３個のタイルが高画質化されて送信される。次の段階では、文字尤度順タイル抽出手段１３６は、閾値３を超える文字尤度５の１つのタイルと文字尤度４の２つのタイルとの合計３個のタイルを選択し、イントラ更新手段１３７へ通知する。こうして、文字尤度の高いタイルが優先して高画質化されることになり、本発明の目的が達成される。

また、上記の実施の形態では、イントラ更新手段１３７の処理終了の判定条件として、累積符号量が許容符号量を超えるかどうかを用いたが、他の条件を用いてもよい。

たとえば、本発明の他の実施の形態として、１フレームあたりの上限タイル数をあらかじめ設定（記憶）しておき、イントラ更新手段１３７は、現フレームでの送信タイル数が上記上限タイル数以下かどうかを終了条件としてもよい。

あるいは、本発明の他の実施の形態として、現フレームの処理を完了すべき目標時刻をあらかじめ設定（記憶）しておき、イントラ更新手段１３７は、現時刻が設定された目標時刻以前であるかどうかを終了条件としてもよい。例えば、現フレームの処理を開始した時点からの経過時間をカウントするタイマ等の刻時手段を備え、イントラ更新手段１３７は、更新領域符号化手段１３２が更新領域を符号化した後、刻時手段が刻時する時刻が目標終了時刻以前となる範囲で符号化処理を行う。

あるいは、本発明の他の実施の形態として、累積符号量が許容符号量を超えるかどうか、現フレームでの送信タイル数が上記上限タイル数以下かどうか、現時刻が設定された目標時刻以前であるかどうか、といった複数の条件を任意に組み合わせて用いることもできる。

上記いずれの終了条件を用いた場合も、与えられた条件下で、文字尤度の高いタイルが優先して高画質化されることになり、本発明の目的が達成される。
なお、本発明は、日本国にて２０１２年９月１９日に特許出願された特願２０１２−２０５３８９の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。

本発明は、画面伝送型シン・クライアント・システムにおいて、制限された伝送帯域下で映像を鮮明化する用途に用いることができる。また、文字や写真が混在する種々の映像の配信、たとえば映像配信型のデジタル・サイネージなどにも応用できる。

１１…信号入力装置
１２…データ記憶装置
１３…データ処理装置
１４…符号出力装置
１２１…前フレームメモリ
１２２…現フレームメモリ
１２３…更新タイルメモリ
１２４…タイル品質メモリ
１２５…文字尤度メモリ
１２６…許容符号量メモリ
１２７…出力符号量カウンタ
１３１…更新領域検出手段
１３２…更新領域符号化手段
１３３…更新タイル記録手段
１３４…再送候補タイル抽出手段
１３５…文字尤度推定手段
１３６…文字尤度順タイル抽出手段
１３７…イントラ更新手段
１３８…出力符号量初期化手段

Claims (9)

1. 入力画像信号のフレームから更新領域を検出し符号化する更新領域符号化手段と、
   画面内から、現フレームにおいて前記更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出する再送候補タイル抽出手段と、
   前記再送候補タイル抽出手段によって抽出された前記タイルについて、文字領域らしさを示す尤度値を算出する文字尤度推定手段と、
   前記再送候補タイル抽出手段で抽出された前記タイルの中から、前記尤度値のより大きい順に前記タイルを選択し、前記第１の品質より高品質な第２の品質で符号化して送信する文字尤度順イントラ更新手段と
   を備えた動画像符号化装置。
2. 前記文字尤度順イントラ更新手段は、前記タイルの符号化では、前記更新領域符号化手段が更新領域を符号化した後、前記現フレームでの合計出力符号量が目標符号量以下となる範囲で前記タイルの符号化を行う
   請求項１に記載の動画像符号化装置。
3. 前記文字尤度順イントラ更新手段は、前記タイルの符号化では、１フレーム当たりの出力タイル数が最大タイル数以下となる範囲で前記タイルの符号化を行う
   請求項１または２に記載の動画像符号化装置。
4. 前記文字尤度順イントラ更新手段は、前記タイルの符号化では、前記更新領域符号化手段が更新領域を符号化した後、時刻が目標終了時刻以前となる範囲で前記タイルの符号化を行う
   請求項１ないし３の何れかに記載の動画像符号化装置。
5. 前記文字尤度順イントラ更新手段は、前記タイルの符号化では、前記尤度値のより高い前記タイルを１個ずつ抽出して前記タイルの符号化を行う
   請求項１ないし４の何れかに記載の動画像符号化装置。
6. 前記文字尤度順イントラ更新手段は、前記タイルの符号化では、第１の閾値を超える前記尤度値の前記タイルを全て抽出して符号化した後、前記第１の閾値より小さな第２の閾値を超える前記尤度値の前記タイルを全て抽出して前記タイルの符号化を行う
   請求項１ないし４の何れかに記載の動画像符号化装置。
7. 前記文字尤度推定手段は、前記尤度値の算出では、前記フレーム内の各画素についてエッジ強度を求め、エッジ強度のタイル内での分散値を前記尤度値として算出する
   請求項１ないし６の何れかに記載の動画像符号化装置。
8. 入力画像信号のフレームから更新領域を検出して符号化し、
   画面内から、現フレームにおいて前記更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出し、
   前記抽出された前記タイルについて、文字領域らしさを示す尤度値を算出し、
   前記抽出された前記タイルの中から、前記尤度値のより大きい順に前記タイルを選択し、前記第１の品質より高品質な第２の品質で符号化して送信する
   動画像符号化方法。
9. コンピュータを、
   入力画像信号のフレームから更新領域を検出し符号化する更新領域符号化手段と、
   画面内から、現フレームにおいて前記更新領域に属さず、かつ、第１の品質以下の品質で符号化して送信された部分領域であるタイルを抽出する再送候補タイル抽出手段と、
   前記再送候補タイル抽出手段によって抽出された前記タイルについて、文字領域らしさを示す尤度値を算出する文字尤度推定手段と、
   前記再送候補タイル抽出手段で抽出された前記タイルの中から、前記尤度値のより大きい順に前記タイルを選択し、前記第１の品質より高品質な第２の品質で符号化して送信する文字尤度順イントラ更新手段と
   して機能させるためのプログラム。

Images