JPWO2009037828A1 - 画像符号化装置および画像復号化装置 - Google Patents

画像符号化装置および画像復号化装置 Download PDF

Info

Publication number
JPWO2009037828A1
JPWO2009037828A1 JP2009513146A JP2009513146A JPWO2009037828A1 JP WO2009037828 A1 JPWO2009037828 A1 JP WO2009037828A1 JP 2009513146 A JP2009513146 A JP 2009513146A JP 2009513146 A JP2009513146 A JP 2009513146A JP WO2009037828 A1 JPWO2009037828 A1 JP WO2009037828A1
Authority
JP
Japan
Prior art keywords
prediction mode
image
plane prediction
intra prediction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009513146A
Other languages
English (en)
Other versions
JP5261376B2 (ja
Inventor
敏彦 日下部
敏彦 日下部
井上　昭彦
昭彦 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009513146A priority Critical patent/JP5261376B2/ja
Publication of JPWO2009037828A1 publication Critical patent/JPWO2009037828A1/ja
Application granted granted Critical
Publication of JP5261376B2 publication Critical patent/JP5261376B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

低ビットレート時に顔輪郭部でイントラ予測モードの選択を誤った場合に画質劣化が大きくなるという課題があった。入力画像に対して顔検出を行う顔検出部と、顔検出部からの顔検出結果に基づいてイントラ予測モードの制御を行うイントラ予測モード制御部を備え、イントラ予測モードの制御は、現在処理するブロックが顔領域のどの位置に位置するかに基づいてイントラ予測モードの選択を行うことにより、顔輪郭部のイントラ予測モードを適切に選択することができるため、低ビットレート時の顔画像の画質劣化を改善することが出来る。

Description

本発明は、入力画像に対して顔検出を行い、その検出結果を画像符号化および画像復号化に利用する画像符号化装置および画像復号化装置に関するものである。
動画像データを符号化する標準技術として、ＩＳＯ／ＩＥＣ ＪＴＣ１のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が策定した、ＭＰＥＧ−４ Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（略してＭＰＥＧ−４ ＡＶＣと言う）がある。このＭＰＥＧ−４ ＡＶＣでは、１枚のフレーム内の画素のみを参照して予測符号化を行うフレーム内符号化において、隣接画素を使って予測を行う方法（イントラ予測）を採用している。
ＭＰＥＧ−４ ＡＶＣのイントラ予測は、輝度成分と色差成分とでは異なる方法により行う。
輝度成分のイントラ予測方法には、１６×１６画素ブロック単位でイントラ予測を行う１６×１６イントラ予測モードと、４×４画素ブロック単位でイントラ予測を行う４×４イントラ予測モードとがある。
また、色差成分のイントラ予測には、８×８画素ブロック単位で行う８×８イントラ予測モードのみがある。
図１（ａ）〜（ｄ）は１６×１６イントラ予測モードのときの、隣接画素からの予測値の算出方法を示した図である。１６×１６イントラ予測モードには、図１（ａ）に示すＭｏｄｅ０：Ｖｅｒｔｉｃａｌ（垂直予測モード）、図１（ｂ）に示すＭｏｄｅ１：Ｈｏｒｉｚｏｎｔａｌ（水平予測モード）、図１（ｃ）に示すＭｏｄｅ２：ＤＣ（ＤＣ予測モード）、図１（ｄ）に示すＭｏｄｅ３：Ｐｌａｎｅ（平面予測モード）の４つの予測モードがある。
図２（ａ）〜（ｉ）は４×４イントラ予測モードの時の、隣接画素Ａ〜Ｍからの予測値の算出方法を示した図である。４×４イントラ予測モードには、図２（ａ）〜（ｉ）で示すように９つの予測モードがある。
符号化のときは、これらのイントラ予測モードのうち、輝度成分および色差成分のそれぞれについてどのモードを適用するかを選択しなければならない。イントラ予測モードの選択を行う方法としては、それぞれの予測モードの予測値と画像信号との差分を取った差分値を評価し、最適な結果が得られる予測モードをイントラ予測モードとして適用する方法が一般的である。
また、イントラ予測モードの選択方法として、特許文献１や特許文献２のような方法がある。
特許文献１では、ブロック分割されたブロックのパターンを評価してイントラ予測モードを選択する。図３は、特許文献１の画像符号化装置のイントラ予測部の構成を示す図である。特許文献１のイントラ予測部は、入力画像をブロック毎に分割するブロック分割部１０１と、ブロックの画像パターンを判定する画像パターン判定部１０２と、判定されたパターンに基づいてイントラ予測モードを制御するイントラ予測モード制御部１０３と、イントラ予測モード制御部１０３で指示されたイントラ予測モードを選択するセレクタ１０４と、垂直予測モードのイントラ予測を行う垂直イントラ予測モード部１０５と、水平予測モードのイントラ予測を行う水平イントラ予測モード部１０６と、ＤＣ予測モードのイントラ予測を行うＤＣイントラ予測モード部１０７から構成される。
この方法では、画像パターン判定部１０２でブロックの画素データに対してアダマール変換を行い、周波数成分を評価してブロック内に含まれるエッジの方向を判定する。この判定結果に基づき、イントラ予測モード制御部１０３でイントラ予測モードの選択を行う。
特許文献２では、フレーム／フィールド構造などのピクチャ全体の情報を利用して、選択されるイントラ予測モードを、限られたイントラ予測モードだけが選択されるように制限する方法である。図４（ａ）は、フィールド構造での３つのイントラ予測モードの予測方向を示す図である。図４（ｂ）は、インタレースの走査線を原画像にあてはめたときの図４（ａ）の３つのイントラ予測モードの予測方向の変化を示す図である。例えば、図４（ａ）に示すように、フィールド構造の場合、４×４イントラ予測のＭｏｄｅ０：ＶｅｒｔｉｃａｌとＭｏｄｅ５：Ｖｅｒｔｉｃａｌ−ＲｉｇｈｔまたはＭｏｄｅ７：Ｖｅｒｔｉｃａｌ−Ｌｅｆｔとの予測方向の角度の差は２２．５°である。しかし、インタレースにより１画素間引く前の原画像では、図４（ｂ）に示すように、Ｍｏｄｅ０とＭｏｄｅ５またはＭｏｄｅ７との予測方向のなす角が半分になる。これにより、Ｍｏｄｅ５およびＭｏｄｅ７の予測方向は垂直に近くなるため、フィールド構造ではＭｏｄｅ０とＭｏｄｅ５およびＭｏｄｅ７との予測誤差が小さいと考えられる。そこで、フィールド構造の場合、４×４イントラ予測においてＭｏｄｅ５およびＭｏｄｅ７のイントラ予測モードをイントラ予測モードの判定対象から省略するよう制限して、イントラ予測モードの判定を行う。これにより、イントラ予測装置におけるイントラ予測モード判定の処理量を、低減することができる。
ＭＰＥＧ−４ ＡＶＣのフレーム内符号化では、ブロック分割した入力画像と、上記のような予測モードを使ったイントラ予測により得られた予測画像との差分画像を求め、その差分画像に対して、直交変換と量子化とを行い、得られた量子化係数に対してエントロピー符号化を行うことで符号化ストリームを生成する。また、復号では、符号化ストリームに対してエントロピー復号を行い、得られた量子化係数に対して逆量子化と逆直交変換を行い、差分画像を求める。得られた差分画像に対して、イントラ予測による予測画像を足すことで復号画像を求める。
このＭＰＥＧ−４ ＡＶＣを低ビットレートが求められるネットワークカメラに適用した場合、低ビットレートでは、各ブロックの差分画像に割り当てるビット量に余裕がないため、イントラ予測による予測画像の量子化誤差が復号画像に与える影響が大きくなるということがある。
このとき、イントラ予測モードの選択が適切でない場合、復号画像の劣化が大きくなる。特に、顔画像の輪郭で起こる劣化は主観的な画質劣化が大きいため、顔画像の輪郭部分ではイントラ予測モードの選択を適切なものにしておく必要がある。
特開２００６−５６５９号公報 特開２００６−１８６９７２号公報
しかし、従来のイントラ予測モード選択方法では、顔画像の輪郭部分のイントラ予測モードを適切に選択することはできない。
特許文献１の方法ではブロック毎の画像パターンを評価するため、評価対象のブロックが顔の輪郭を含む場合であっても、背景画像の水平エッジ成分が強い場合は背景画像のエッジに沿った水平方向のイントラ予測モードが選択され、顔画像の輪郭部分、特に頬のところに背景画像から水平に予測した予測画像による水平エッジが出てしまい、背景画像のエッジが輪郭を横切る方向に引き伸ばされるような画質劣化が起こることがある。
また、特許文献２の方法では、ピクチャ単位でイントラ予測モードを決定しているので、顔周辺部だけのイントラ予測モードを好ましいイントラ予測モードにだけ制限することはできないため、顔画像の輪郭部での劣化を防ぐには有効ではない。
本発明の目的は、上記課題に鑑み、画像の圧縮率を高めた場合でも主観的画質劣化が少ない画像符号化装置および画像復号化装置を提供することである。
前記従来の課題を解決するために、本発明の画像符号化装置は、面内予測を含む予測符号化を行う画像符号化装置であって、入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、選択された面内予測モードで前記ブロックの面内予測を行う面内予測部とを備える。
また、本発明の画像復号化装置は、面内予測を含む予測復号化を行う画像復号化装置であって、入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部とを備える。
本構成によって、低ビットレート時にも顔画像の輪郭部のイントラ予測モードを適切に選択することが出来、主観的な画質劣化を抑えることが出来る。
図１（ａ）〜（ｄ）は１６×１６イントラ予測モードの予測方法を示す図である。 図２（ａ）〜（ｉ）は４×４イントラ予測モードの予測方法を示す図である。 図３は従来の画像符号化装置におけるイントラ予測部の構成を示すブロック図である。 図４（ａ）及び（ｂ）は従来のフィールド構造での予測方向と原画像での予測方向を示す図である。 図５は本実施の形態１における画像符号化装置の構成を示すブロック図である。 図６は本実施の形態１におけるイントラ予測部の構成を示すブロック図である。 図７は顔検出部で検出される領域を示す図である。 図８はイントラ予測モード制御部でのイントラ予測モード判定のフローチャートである。 図９は顔領域を拡大して示し、顔領域の境界線を含む対象ブロックで選択されるイントラ予測モードを示す図である。 図１０は本実施の形態２の画像復号化装置の構成を示すブロック図である。 図１１は顔領域の境界の向きに応じたイントラ予測を行う画像復号化装置の動作を示すフローチャートである。
符号の説明
１０１、８０１ ブロック分割部
１０２ 画像パターン判定部
１０３ イントラ予測モード制御部
１０４、８１２、９０６ セレクタ
１０５ 垂直イントラ予測モード部
１０６ 水平イントラ予測モード部
１０７ ＤＣイントラ予測モード部
１１０、８１３、９１１ 顔検出部
５０１ 入力画像
５０２ 顔画像の領域
７０１ ブロック
７０２ ブロック
８００ 画像符号化装置
８０２ 直交変換部
８０３ 量子化部
８０４ エントロピー符号化部
８０５、９０２ 逆量子化部
８０６、９０３ 逆直交変換部
８０７、９０５ ループフィルタ
８０８ 第１フレームメモリ
８０９、９０７ イントラ予測部
８１０ 第２フレームメモリ
８１１、９０８ インター予測部
９００ 画像復号化装置
９０１ エントロピー復号化部
９０９ 第３フレームメモリ
９１０ 第４フレームメモリ
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図５は、本実施の形態１における画像符号化装置８００の構成を示すブロック図である。
実施の形態１における画像符号化装置８００は、入力画像中の顔の輪郭を検出し、検出された顔の占める領域を矩形の領域として特定し、特定した顔領域の垂直方向の境界線を含む対象ブロックでは垂直イントラ予測モードを選択し、水平方向の境界線を含む対象ブロックでは水平イントラ予測モードを選択する画像符号化装置であって、ブロック分割部８０１、直交変換部８０２、量子化部８０３、エントロピー符号化部８０４、逆量子化部８０５、逆直交変換部８０６、ループフィルタ８０７、第1フレームメモリ８０８、イントラ予測部８０９、第２フレームメモリ８１０、インター予測部８１１およびセレクタ８１２を備える。ブロック分割部８０１は、入力画像に対してブロック毎に分割を行う。直交変換部８０２は、直交変換を行う。量子化部８０３は、前記直交変換部８０２で得られた変換係数に対して量子化を行う。エントロピー符号化部８０４は、前記量子化部８０３で得られた量子化係数を符号化する。逆量子化部８０５は、前記量子化部８０３で得られた量子化係数の逆量子化を行う。逆直交変換部８０６は、前記逆量子化部８０５で得られた変換係数を逆直交変換する。第1フレームメモリ８０８は、前記逆直交変換部８０６で得られた画像と予測画像を加算した画像を記憶する。イントラ予測部８０９は、前記第1フレームメモリ８０８に記憶されたフレーム内の画素を用いてイントラ予測を行う。ここで、イントラ予測部８０９は、「選択された面内予測モードで前記ブロックの面内予測を行う面内予測部」の一例である。ループフィルタ８０７は、前記逆直交変換部８０６で得られた画像と予測画像とを加算した画像に対してデブロッキングフィルタをかける。第２フレームメモリ８１０は、前記ループフィルタ８０７でデブロッキングフィルタをかけられた画像を記憶する。インター予測部８１１は、前記第２フレームメモリ８１０に記憶された画像を参照してフレーム間予測を行う。セレクタ８１２は、前記イントラ予測部８０９で得られた予測画像と前記インター予測部８１１で得られた予測画像とを選択する。顔検出部８１３は、「入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部」、「前記オブジェクト画像として顔の検出を行う前記オブジェクト検出部」、および「検出された前記オブジェクト画像が占める前記入力ピクチャ内の領域を示す領域情報を生成する前記オブジェクト検出部」の一例であり、入力画像に対して顔検出を行い、検出結果を前記イントラ予測部８０９に出力する。
以下では、画像符号化装置８００の中でイントラ予測に関するブロックについて説明を行う。
図６は、本実施の形態１における画像符号化装置８００のイントラ予測部８０９と顔検出部８１３の構成を示すブロック図である。図６において、図３と同じ構成要素については同じ符号を用い、説明を省略する。なお、同図において、ブロック分割部１０１からセレクタ１０４までの間に、差分器、直交変換部８０２、量子化部８０３、逆量子化部８０５、逆直交変換部８０６、加算器および第1フレームメモリ８０８が省略されている。また、図６の顔検出部１１０およびブロック分割部１０１は、図５の顔検出部８１３およびブロック分割部８０１と同じものである。
本実施の形態のイントラ予測部８０９は、内部にブロック分割部１０１、イントラ予測モード制御部１０３、セレクタ１０４、垂直イントラ予測モード部１０５、水平イントラ予測モード部１０６、ＤＣイントラ予測モード部１０７を備える。顔検出部１１０は、入力画像に対して顔検出を行い、顔領域情報を生成する。ブロック分割部１０１は、入力画像をイントラ予測の単位に決められた所定のサイズのブロックに分割する。イントラ予測モード制御部１０３は、顔検出部１１０から得られた顔領域情報に基づいて、対象ブロックのイントラ予測モードの選択を行う。ここで、ブロック分割部１０１およびイントラ予測モード制御部１０３は、「前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部」の一例である。また、イントラ予測モード制御部１０３は、「前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する前記面内予測モード選択部」の一例である。セレクタ１０４は、イントラ予測モード制御部１０３の指示により、イントラ予測モードを切り替える。垂直イントラ予測モード部１０５は、対象ブロックに対して垂直イントラ予測モードでイントラ予測を行う。水平イントラ予測モード部１０６は、対象ブロックに対して水平イントラ予測モードでイントラ予測を行う。ＤＣイントラ予測モード部１０７は、画素値の算術平均を用いたＤＣイントラ予測モードでイントラ予測を行う。
図６において、顔検出部１１０は入力画像に対して顔検出処理を行い、顔領域情報をイントラ予測モード制御部１０３に出力する。顔検出の方法としては、テンプレートマッチングを用いた方法などがある。また、肌色情報を用いた方法や顔の部品に注目する方法などのように、顔に関する知識を利用する方法と訓練サンプルとして多くの顔画像と顔以外の対象の画像を用意し、学習により顔検出のための識別器を構成するExample-based 顔検出法などがある。
図７は、顔検出部１１０で得られる顔領域情報の一例を示す図である。イントラ予測モード制御部１０３は、入力画像５０１の中で顔検出部１１０により検出された顔画像の領域５０２を示す顔領域情報に基づいて、イントラ予測モードの選択を行う。ここでは、イントラ予測モード制御部１０３は、例えば、垂直イントラ予測モード部１０５、水平イントラ予測モード部１０６、ＤＣイントラ予測モード部１０７、およびイントラ予測なしのいずれかを選択するものとする。図７に示すように、顔検出部１１０からの顔領域情報は、「前記オブジェクト画像が占める前記領域の開始座標と前記領域の大きさを表す前記領域情報」の一例であり、顔画像の領域５０２の開始座標（ｘ，ｙ）と顔画像の領域５０２の幅Ｗと高さＨで示される。本実施の形態では、これらの顔領域の情報を用いて、現在処理しているブロックが顔領域のどの部分に位置しているかを判定してイントラ予測モードを選択する。特に顔画像の輪郭部分において、劣化を起こすイントラ予測モードを制限することで、低ビットレートでの画質劣化を抑える。
図８は、画像符号化装置８００による顔領域情報に基づくイントラ予測モードの選択動作を示すフローチャートである。以下、イントラ予測モードの選択方法を図８のフローチャートに従って説明する。
ステップＳ６０１で、イントラ予測部８０９は、現在処理しているブロックが顔領域内に属しているか否かを判定する。現在処理しているブロックの位置を（curr＿ｘ、curr＿ｙ）、ブロックのサイズを幅ｂｌｋ＿ｗ、高さｂｌｋ＿ｈとすると、判定式は数１のようになる。ただし、以下の数式において、除算部分の商は小数以下切捨てとする。数１の条件を満たすとき、イントラ予測部８０９は現在処理中のブロックが顔画像の領域５０２を一部でも含む領域に属していると判定する。属している場合はステップＳ６０２に移行する。属していない場合はステップＳ６０６に移行する。
Figure 2009037828
ステップＳ６０２では、現在処理しているブロックが顔画像の領域５０２内で輪郭部に属しているか否かを判定する。判定式は数２のようになる。輪郭部に属している場合は、ステップＳ６０３に移行する。属していない場合はステップＳ６０６に移行する。
Figure 2009037828
ステップＳ６０３では、現在処理しているブロックの属している輪郭部が水平方向か、垂直方向かを判定する。水平方向の判定式は数３のようになる。垂直方向の判定式は数４のようになる。水平方向のときはステップＳ６０４に移行する。垂直方向のときはステップＳ６０５に移行する。
Figure 2009037828
Figure 2009037828
ステップＳ６０４では、イントラ予測モード制御部１０３は、現在処理しているブロックのイントラ予測モードを水平予測モードとし、セレクタ１０４に指示し、判定を終了する。
ステップＳ６０５では、イントラ予測モード制御部１０３は、現在処理しているブロックのイントラ予測モードを垂直予測モードとし、セレクタ１０４に指示し、判定を終了する。ここで、イントラ予測モード制御部１０３は、「前記ブロックが、前記領域の垂直方向の輪郭を含むときは垂直予測モードを選択し、前記領域の水平方向の輪郭を含むときは水平予測モードを選択する前記面内予測モード選択部」の一例である。
ステップＳ６０６では、イントラ予測モード制御部１０３は、全てのイントラ予測モードでの差分値を評価してイントラ予測モードを選択し、判定を終了する。
上記の判定処理により、顔画像の輪郭部でのイントラ予測モードの選択を適切に行うことが出来、輪郭部での画像の劣化を抑えることが出来る。
図９は顔領域を拡大して示し、顔領域の境界線を含む対象ブロックに対して選択されるイントラ予測モードを示す図である。ブロック７０１はブロック７０１内に含まれる顔輪郭の方向が垂直であるため、垂直予測モードを適用する。ブロック７０２はブロック７０２内に含まれる顔輪郭の方向が水平であるため、水平予測モードを適用する。このように本実施の形態によれば、顔画像の輪郭方向に沿ったイントラ予測モードをブロック単位で選択することができるため、顔画像の輪郭部が含まれるブロックで背景画像のエッジが顔輪郭によるエッジよりも強い場合においても、背景画像のエッジが顔輪郭を横切って引き伸ばされるような画質劣化を抑えることができる。
セレクタ１０４は、イントラ予測モード制御部１０３で選択された予測モードのイントラ予測部、すなわち、垂直イントラ予測モード部１０５、水平イントラ予測モード部１０６、ＤＣイントラ予測モード部１０７のいずれかを選択し、選択されたイントラ予測モード部によりイントラ予測を行う。
なお、イントラ予測モードの選択フローの説明として、顔の輪郭の方向が垂直と水平の２方向に対して、垂直予測と水平予測の２つを選択する場合を説明したが、この２つの予測モードに限るものではなく、領域情報から推定される顔輪郭の方向に沿ったイントラ予測モードを選択しても良い。例えば、顔検出部により顔の輪郭を検出し、検出された顔の輪郭の曲線の方向に合わせてイントラ予測モードを選択するようにしてもよい。この場合、顔の輪郭線を含む対象ブロック内での輪郭線の角度に最も近似する角度のイントラ予測モードを選択し、選択したイントラ予測モードで対象ブロックをイントラ予測するものとする。ここで、イントラ予測モード制御部１０３は、「前記ブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含むときは、当該ブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する前記面内予測モード選択部」の一例である。
このように、実施の形態１により、顔画像の領域情報をイントラ予測モード制御に与えることで、低ビットレート時に顔画像の輪郭部で適切なイントラ予測モードを選択することが出来、顔画像の輪郭部での顕著な画質劣化を抑えることが出来る。
（実施の形態２）
図１０は、実施の形態２の画像復号化装置９００の構成を示す図である。画像復号化装置９００は、符号化ストリームを復号化して得られる入力画像の中で、復号化対象ピクチャの１つ前の復号化画像の中で顔領域を特定する。特定した顔領域を示す顔領域情報を復号化対象ピクチャに当てはめて、顔領域の垂直方向の境界を含んでいる復号化対象ブロックには垂直方向のイントラ予測モードでイントラ予測を行い、顔領域の水平方向の境界を含む対象ブロックに対して水平方向のイントラ予測モードでイントラ予測を行うことにより、画像劣化の少ないイントラ予測画像を生成する画像復号化装置である。このとき、符号化ストリームに含まれる復号化対象ブロックのイントラ予測モードは無視される。この画像復号化装置９００は、エントロピー復号化部９０１、逆量子化部９０２、逆直交変換部９０３、加算器９０４、ループフィルタ９０５、セレクタ９０６、イントラ予測部９０７、インター予測部９０８、第３フレームメモリ９０９、第４フレームメモリ９１０および顔検出部９１１を備える。
エントロピー復号化部９０１は、画像復号化装置９００に入力される符号化ビットストリームをエントロピー復号化する。逆量子化部９０２は、エントロピー復号化により得られた量子化係数を逆量子化することにより直交変換係数を出力する。逆直交変換部９０３は、逆量子化により得られた直交変換係数を逆直交変換することにより、差分画像を出力する。加算器９０４は、逆直交変換部９０３から出力された差分画像と、イントラ予測部９０７またはインター予測部９０８から出力された予測画像とを加算して、局部復号化画像を生成する。ループフィルタ９０５は、加算器９０４によって生成された局部復号化画像に対し、画像補間などによりデブロッキングなどの処理を行う。ループフィルタ９０５によってデブロッキングなどが行われた局部復号化画像は、面間予測が行われるピクチャである場合、第４フレームメモリ９１０に格納されるとともに、復号画像として外部に出力される。加算器９０４で生成された局部復号化画像が、面内予測が行われるピクチャであれば、そのまま第３フレームメモリ９０９に格納されるとともに、ループフィルタ９０５でデブロッキングなどの処理が行われ復号画像として外部に出力される。
第３フレームメモリ９０９に格納されたピクチャは、イントラ予測部９０７に読み出され、顔検出部９１１によって検出された顔領域情報に基づいて、イントラ予測される。すなわち、復号化対象ブロックが顔領域の垂直方向の境界を含む場合には、強制的に垂直方向のイントラ予測モードでイントラ予測される。また、復号化対象ブロックが顔領域の水平方向の境界を含む場合には、強制的に水平方向のイントラ予測モードでイントラ予測される。顔検出部９１１は、「入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部」、「復号化済みピクチャである前記ピクチャを顔検出することにより、オブジェクト画像である顔を検出する前記オブジェクト検出部」、「検出された前記オブジェクト画像が占める前記復号化済みピクチャ内の領域を示す領域情報を生成する前記オブジェクト検出部」の一例であり、ループフィルタ９０５からの出力である復号画像の中で顔の領域を特定し、特定した顔領域を示す顔領域情報をイントラ予測部９０７に出力する。セレクタ９０６は、復号化対象ブロックが、面内予測が行われたブロックである場合にはイントラ予測部９０７を選択し、イントラ予測部９０７からの予測画像を加算器９０４に出力する。また、セレクタ９０６は、復号化対象ブロックが、面間予測が行われたブロックである場合にはインター予測部９０８を選択し、インター予測部９０８からの予測画像を加算器９０４に出力する。
図１１は、顔領域の境界の向きに応じたイントラ予測を行う画像復号化装置９００の動作を示すフローチャートである。まず、イントラ予測部９０７は、直前に復号化済みのフレームが存在するか否かを判断する（Ｓ１１０１）。存在すれば（Ｓ１１０１でＹｅｓ）、顔検出部９１１は復号化済みの直前フレームの中で顔の領域を検出および特定する（Ｓ１１０２）。さらに、顔検出部９１１は、検出された顔領域を示す顔領域情報を生成し、イントラ予測部９０７に出力する。イントラ予測部９０７は、「復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部、および選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部」の一例である。顔検出部９１１から取得した顔領域情報から、前フレームにおける顔領域の位置および領域などを判定し、顔領域の輪郭に応じたイントラ予測モードでイントラ予測を行う（Ｓ１１０３）。すなわち、復号化対象ブロックが顔領域の垂直方向の境界を含むブロックである場合には、垂直イントラ予測モード部１０５を選択してイントラ予測を行う。また、復号化対象ブロックが顔領域の水平方向の境界を含むブロックである場合には、水平イントラ予測モード部１０６を選択してイントラ予測を行う。ここで、イントラ予測部９０７は、「前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する前記面内予測モード選択部」の一例である。復号化対象ブロックが、顔領域の境界を含まない位置にある場合には、符号化ストリームに含まれる復号化対象ブロックの予測モードに従ってイントラ予測を行う。すなわち、イントラ予測モード制御部は、「前記領域情報で示される前記矩形領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する前記面内予測モード選択部」、「復号化対象のブロックが、前記領域の垂直方向の境界を含む復号化済みブロックと同じ位置にあるときは垂直予測モードを選択し、前記領域の水平方向の境界を含む復号化済みブロックと同じ位置にあるときは水平予測モードを選択する前記面内予測モード選択部」の一例である。
なお、本実施の形態２では、画像復号化装置におけるイントラ予測モードの選択フローの説明として、垂直予測と水平予測の選択を説明したが、本実施の形態においても、この２つの予測モードに限るものではなく、領域情報から推定される顔輪郭の方向に沿ったイントラ予測モードを選択しても良い。例えば、顔検出部により顔の輪郭を検出し、検出された顔の輪郭の曲線の方向に合わせてイントラ予測モードを選択するようにしてもよい。この場合、顔の輪郭線を含む対象ブロック内での輪郭線の角度に最も近似する角度のイントラ予測モードを選択し、選択したイントラ予測モードで対象ブロックをイントラ予測するものとする。ここで、イントラ予測モード制御部１０３は、「復号化対象のブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含む復号化済みブロックと同じ位置にあるときは、前記復号化済みブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する前記面内予測モード選択部」の一例である。
また、上記実施の形態２では、１つ前の復号化ピクチャの中で顔領域を特定し、特定した顔領域を示す顔領域情報に基づいて、イントラ予測モードを決定するとしたが、本発明はこれに限定されない。例えば、画像符号化装置側で顔の輪郭を検出して顔領域情報を生成し、生成した顔領域情報を符号化ストリームのフレームヘッダにタグ情報として入れておくとしてもよい。ここで、顔検出部９１１は、「復号化対象ピクチャである前記ピクチャ内で前記オブジェクト画像が占める領域を示す領域情報を、前記符号化データのヘッダから抽出して、抽出した前記領域情報に従って前記復号化対象ピクチャ内の前記オブジェクト画像を検出する前記オブジェクト検出部」の一例である。この場合、画像復号化装置は、符号化ストリームのヘッダから顔領域情報を取得し、顔領域の輪郭を含む復号化対象ブロックでは、輪郭の方向に一致するイントラ予測モードを選択するとしてもよい。ここで、イントラ予測モード制御部１０３は、「検出された前記オブジェクト画像の輪郭の方向に沿った面内予測モードを選択する前記面内予測モード選択部」の一例である。また、例えば、符号化ストリームのヘッダ内に、顔領域の輪郭を含む復号化対象ブロックに対して、選択するべきイントラ予測モードを示す情報を入れておくとしてもよい。
なお、画像符号化装置８００は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように1チップ化されても良い。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
本発明にかかる画像符号化装置は、顔検出を行い、検出結果に基づいてイントラ予測モードを制御する手段を有し、低ビットレート時の画質劣化を改善するため、ネットワークカメラや監視カメラ向けの画像符号化装置として有用である。また、低ビットレート時の顔周辺の画質劣化を改善する画像復号化装置として有用である。
本発明は、入力画像に対して顔検出を行い、その検出結果を画像符号化および画像復号化に利用する画像符号化装置および画像復号化装置に関するものである。
動画像データを符号化する標準技術として、ＩＳＯ／ＩＥＣ ＪＴＣ１のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が策定した、ＭＰＥＧ−４ Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（略してＭＰＥＧ−４ ＡＶＣと言う）がある。このＭＰＥＧ−４ ＡＶＣでは、１枚のフレーム内の画素のみを参照して予測符号化を行うフレーム内符号化において、隣接画素を使って予測を行う方法（イントラ予測）を採用している。
ＭＰＥＧ−４ ＡＶＣのイントラ予測は、輝度成分と色差成分とでは異なる方法により行う。
輝度成分のイントラ予測方法には、１６×１６画素ブロック単位でイントラ予測を行う１６×１６イントラ予測モードと、４×４画素ブロック単位でイントラ予測を行う４×４イントラ予測モードとがある。
また、色差成分のイントラ予測には、８×８画素ブロック単位で行う８×８イントラ予測モードのみがある。
図１（ａ）〜（ｄ）は１６×１６イントラ予測モードのときの、隣接画素からの予測値の算出方法を示した図である。１６×１６イントラ予測モードには、図１（ａ）に示すＭｏｄｅ０：Ｖｅｒｔｉｃａｌ（垂直予測モード）、図１（ｂ）に示すＭｏｄｅ１：Ｈｏｒｉｚｏｎｔａｌ（水平予測モード）、図１（ｃ）に示すＭｏｄｅ２：ＤＣ（ＤＣ予測モード）、図１（ｄ）に示すＭｏｄｅ３：Ｐｌａｎｅ（平面予測モード）の４つの予測モードがある。
図２（ａ）〜（ｉ）は４×４イントラ予測モードの時の、隣接画素Ａ〜Ｍからの予測値の算出方法を示した図である。４×４イントラ予測モードには、図２（ａ）〜（ｉ）で示すように９つの予測モードがある。
符号化のときは、これらのイントラ予測モードのうち、輝度成分および色差成分のそれぞれについてどのモードを適用するかを選択しなければならない。イントラ予測モードの選択を行う方法としては、それぞれの予測モードの予測値と画像信号との差分を取った差分値を評価し、最適な結果が得られる予測モードをイントラ予測モードとして適用する方法が一般的である。
また、イントラ予測モードの選択方法として、特許文献１や特許文献２のような方法がある。
特許文献１では、ブロック分割されたブロックのパターンを評価してイントラ予測モードを選択する。図３は、特許文献１の画像符号化装置のイントラ予測部の構成を示す図である。特許文献１のイントラ予測部は、入力画像をブロック毎に分割するブロック分割部１０１と、ブロックの画像パターンを判定する画像パターン判定部１０２と、判定されたパターンに基づいてイントラ予測モードを制御するイントラ予測モード制御部１０３と、イントラ予測モード制御部１０３で指示されたイントラ予測モードを選択するセレクタ１０４と、垂直予測モードのイントラ予測を行う垂直イントラ予測モード部１０５と、水平予測モードのイントラ予測を行う水平イントラ予測モード部１０６と、ＤＣ予測モードのイントラ予測を行うＤＣイントラ予測モード部１０７から構成される。
この方法では、画像パターン判定部１０２でブロックの画素データに対してアダマール変換を行い、周波数成分を評価してブロック内に含まれるエッジの方向を判定する。この判定結果に基づき、イントラ予測モード制御部１０３でイントラ予測モードの選択を行う。
特許文献２では、フレーム／フィールド構造などのピクチャ全体の情報を利用して、選択されるイントラ予測モードを、限られたイントラ予測モードだけが選択されるように制限する方法である。図４（ａ）は、フィールド構造での３つのイントラ予測モードの予測方向を示す図である。図４（ｂ）は、インタレースの走査線を原画像にあてはめたときの図４（ａ）の３つのイントラ予測モードの予測方向の変化を示す図である。例えば、図４（ａ）に示すように、フィールド構造の場合、４×４イントラ予測のＭｏｄｅ０：ＶｅｒｔｉｃａｌとＭｏｄｅ５：Ｖｅｒｔｉｃａｌ−ＲｉｇｈｔまたはＭｏｄｅ７：Ｖｅｒｔｉｃａｌ−Ｌｅｆｔとの予測方向の角度の差は２２．５°である。しかし、インタレースにより１画素間引く前の原画像では、図４（ｂ）に示すように、Ｍｏｄｅ０とＭｏｄｅ５またはＭｏｄｅ７との予測方向のなす角が半分になる。これにより、Ｍｏｄｅ５およびＭｏｄｅ７の予測方向は垂直に近くなるため、フィールド構造ではＭｏｄｅ０とＭｏｄｅ５およびＭｏｄｅ７との予測誤差が小さいと考えられる。そこで、フィールド構造の場合、４×４イントラ予測においてＭｏｄｅ５およびＭｏｄｅ７のイントラ予測モードをイントラ予測モードの判定対象から省略するよう制限して、イントラ予測モードの判定を行う。これにより、イントラ予測装置におけるイントラ予測モード判定の処理量を、低減することができる。
ＭＰＥＧ−４ ＡＶＣのフレーム内符号化では、ブロック分割した入力画像と、上記のような予測モードを使ったイントラ予測により得られた予測画像との差分画像を求め、その差分画像に対して、直交変換と量子化とを行い、得られた量子化係数に対してエントロピー符号化を行うことで符号化ストリームを生成する。また、復号では、符号化ストリームに対してエントロピー復号を行い、得られた量子化係数に対して逆量子化と逆直交変換を行い、差分画像を求める。得られた差分画像に対して、イントラ予測による予測画像を足すことで復号画像を求める。
このＭＰＥＧ−４ ＡＶＣを低ビットレートが求められるネットワークカメラに適用した場合、低ビットレートでは、各ブロックの差分画像に割り当てるビット量に余裕がないため、イントラ予測による予測画像の量子化誤差が復号画像に与える影響が大きくなるということがある。
このとき、イントラ予測モードの選択が適切でない場合、復号画像の劣化が大きくなる。特に、顔画像の輪郭で起こる劣化は主観的な画質劣化が大きいため、顔画像の輪郭部分ではイントラ予測モードの選択を適切なものにしておく必要がある。
特開２００６−５６５９号公報 特開２００６−１８６９７２号公報
しかし、従来のイントラ予測モード選択方法では、顔画像の輪郭部分のイントラ予測モードを適切に選択することはできない。
特許文献１の方法ではブロック毎の画像パターンを評価するため、評価対象のブロックが顔の輪郭を含む場合であっても、背景画像の水平エッジ成分が強い場合は背景画像のエッジに沿った水平方向のイントラ予測モードが選択され、顔画像の輪郭部分、特に頬のところに背景画像から水平に予測した予測画像による水平エッジが出てしまい、背景画像のエッジが輪郭を横切る方向に引き伸ばされるような画質劣化が起こることがある。
また、特許文献２の方法では、ピクチャ単位でイントラ予測モードを決定しているので、顔周辺部だけのイントラ予測モードを好ましいイントラ予測モードにだけ制限することはできないため、顔画像の輪郭部での劣化を防ぐには有効ではない。
本発明の目的は、上記課題に鑑み、画像の圧縮率を高めた場合でも主観的画質劣化が少ない画像符号化装置および画像復号化装置を提供することである。
前記従来の課題を解決するために、本発明の画像符号化装置は、面内予測を含む予測符号化を行う画像符号化装置であって、入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、選択された面内予測モードで前記ブロックの面内予測を行う面内予測部とを備える。
また、本発明の画像復号化装置は、面内予測を含む予測復号化を行う画像復号化装置であって、入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部とを備える。
本構成によって、低ビットレート時にも顔画像の輪郭部のイントラ予測モードを適切に選択することが出来、主観的な画質劣化を抑えることが出来る。
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図５は、本実施の形態１における画像符号化装置８００の構成を示すブロック図である。
実施の形態１における画像符号化装置８００は、入力画像中の顔の輪郭を検出し、検出された顔の占める領域を矩形の領域として特定し、特定した顔領域の垂直方向の境界線を含む対象ブロックでは垂直イントラ予測モードを選択し、水平方向の境界線を含む対象ブロックでは水平イントラ予測モードを選択する画像符号化装置であって、ブロック分割部８０１、直交変換部８０２、量子化部８０３、エントロピー符号化部８０４、逆量子化部８０５、逆直交変換部８０６、ループフィルタ８０７、第１フレームメモリ８０８、イントラ予測部８０９、第２フレームメモリ８１０、インター予測部８１１およびセレクタ８１２を備える。ブロック分割部８０１は、入力画像に対してブロック毎に分割を行う。直交変換部８０２は、直交変換を行う。量子化部８０３は、前記直交変換部８０２で得られた変換係数に対して量子化を行う。エントロピー符号化部８０４は、前記量子化部８０３で得られた量子化係数を符号化する。逆量子化部８０５は、前記量子化部８０３で得られた量子化係数の逆量子化を行う。逆直交変換部８０６は、前記逆量子化部８０５で得られた変換係数を逆直交変換する。第１フレームメモリ８０８は、前記逆直交変換部８０６で得られた画像と予測画像を加算した画像を記憶する。イントラ予測部８０９は、前記第１フレームメモリ８０８に記憶されたフレーム内の画素を用いてイントラ予測を行う。ここで、イントラ予測部８０９は、「選択された面内予測モードで前記ブロックの面内予測を行う面内予測部」の一例である。ループフィルタ８０７は、前記逆直交変換部８０６で得られた画像と予測画像とを加算した画像に対してデブロッキングフィルタをかける。第２フレームメモリ８１０は、前記ループフィルタ８０７でデブロッキングフィルタをかけられた画像を記憶する。インター予測部８１１は、前記第２フレームメモリ８１０に記憶された画像を参照してフレーム間予測を行う。セレクタ８１２は、前記イントラ予測部８０９で得られた予測画像と前記インター予測部８１１で得られた予測画像とを選択する。顔検出部８１３は、「入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部」、「前記オブジェクト画像として顔の検出を行う前記オブジェクト検出部」、および「検出された前記オブジェクト画像が占める前記入力ピクチャ内の領域を示す領域情報を生成する前記オブジェクト検出部」の一例であり、入力画像に対して顔検出を行い、検出結果を前記イントラ予測部８０９に出力する。
以下では、画像符号化装置８００の中でイントラ予測に関するブロックについて説明を行う。
図６は、本実施の形態１における画像符号化装置８００のイントラ予測部８０９と顔検出部８１３の構成を示すブロック図である。図６において、図３と同じ構成要素については同じ符号を用い、説明を省略する。なお、同図において、ブロック分割部１０１からセレクタ１０４までの間に、差分器、直交変換部８０２、量子化部８０３、逆量子化部８０５、逆直交変換部８０６、加算器および第１フレームメモリ８０８が省略されている。また、図６の顔検出部１１０およびブロック分割部１０１は、図５の顔検出部８１３およびブロック分割部８０１と同じものである。
本実施の形態のイントラ予測部８０９は、内部にブロック分割部１０１、イントラ予測モード制御部１０３、セレクタ１０４、垂直イントラ予測モード部１０５、水平イントラ予測モード部１０６、ＤＣイントラ予測モード部１０７を備える。顔検出部１１０は、入力画像に対して顔検出を行い、顔領域情報を生成する。ブロック分割部１０１は、入力画像をイントラ予測の単位に決められた所定のサイズのブロックに分割する。イントラ予測モード制御部１０３は、顔検出部１１０から得られた顔領域情報に基づいて、対象ブロックのイントラ予測モードの選択を行う。ここで、ブロック分割部１０１およびイントラ予測モード制御部１０３は、「前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部」の一例である。また、イントラ予測モード制御部１０３は、「前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する前記面内予測モード選択部」の一例である。セレクタ１０４は、イントラ予測モード制御部１０３の指示により、イントラ予測モードを切り替える。垂直イントラ予測モード部１０５は、対象ブロックに対して垂直イントラ予測モードでイントラ予測を行う。水平イントラ予測モード部１０６は、対象ブロックに対して水平イントラ予測モードでイントラ予測を行う。ＤＣイントラ予測モード部１０７は、画素値の算術平均を用いたＤＣイントラ予測モードでイントラ予測を行う。
図６において、顔検出部１１０は入力画像に対して顔検出処理を行い、顔領域情報をイントラ予測モード制御部１０３に出力する。顔検出の方法としては、テンプレートマッチングを用いた方法などがある。また、肌色情報を用いた方法や顔の部品に注目する方法などのように、顔に関する知識を利用する方法と訓練サンプルとして多くの顔画像と顔以外の対象の画像を用意し、学習により顔検出のための識別器を構成するExample-based顔検出法などがある。
図７は、顔検出部１１０で得られる顔領域情報の一例を示す図である。イントラ予測モード制御部１０３は、入力画像５０１の中で顔検出部１１０により検出された顔画像の領域５０２を示す顔領域情報に基づいて、イントラ予測モードの選択を行う。ここでは、イントラ予測モード制御部１０３は、例えば、垂直イントラ予測モード部１０５、水平イントラ予測モード部１０６、ＤＣイントラ予測モード部１０７、およびイントラ予測なしのいずれかを選択するものとする。図７に示すように、顔検出部１１０からの顔領域情報は、「前記オブジェクト画像が占める前記領域の開始座標と前記領域の大きさを表す前記領域情報」の一例であり、顔画像の領域５０２の開始座標（ｘ，ｙ）と顔画像の領域５０２の幅Ｗと高さＨで示される。本実施の形態では、これらの顔領域の情報を用いて、現在処理しているブロックが顔領域のどの部分に位置しているかを判定してイントラ予測モードを選択する。特に顔画像の輪郭部分において、劣化を起こすイントラ予測モードを制限することで、低ビットレートでの画質劣化を抑える。
図８は、画像符号化装置８００による顔領域情報に基づくイントラ予測モードの選択動作を示すフローチャートである。以下、イントラ予測モードの選択方法を図８のフローチャートに従って説明する。
ステップＳ６０１で、イントラ予測部８０９は、現在処理しているブロックが顔領域内に属しているか否かを判定する。現在処理しているブロックの位置を（curr＿ｘ、curr＿ｙ）、ブロックのサイズを幅ｂｌｋ＿ｗ、高さｂｌｋ＿ｈとすると、判定式は数１のようになる。ただし、以下の数式において、除算部分の商は小数以下切捨てとする。数１の条件を満たすとき、イントラ予測部８０９は現在処理中のブロックが顔画像の領域５０２を一部でも含む領域に属していると判定する。属している場合はステップＳ６０２に移行する。属していない場合はステップＳ６０６に移行する。
Figure 2009037828
ステップＳ６０２では、現在処理しているブロックが顔画像の領域５０２内で輪郭部に属しているか否かを判定する。判定式は数２のようになる。輪郭部に属している場合は、ステップＳ６０３に移行する。属していない場合はステップＳ６０６に移行する。
Figure 2009037828
ステップＳ６０３では、現在処理しているブロックの属している輪郭部が水平方向か、垂直方向かを判定する。水平方向の判定式は数３のようになる。垂直方向の判定式は数４のようになる。水平方向のときはステップＳ６０４に移行する。垂直方向のときはステップＳ６０５に移行する。
Figure 2009037828
Figure 2009037828
ステップＳ６０４では、イントラ予測モード制御部１０３は、現在処理しているブロックのイントラ予測モードを水平予測モードとし、セレクタ１０４に指示し、判定を終了する。
ステップＳ６０５では、イントラ予測モード制御部１０３は、現在処理しているブロックのイントラ予測モードを垂直予測モードとし、セレクタ１０４に指示し、判定を終了する。ここで、イントラ予測モード制御部１０３は、「前記ブロックが、前記領域の垂直方向の輪郭を含むときは垂直予測モードを選択し、前記領域の水平方向の輪郭を含むときは水平予測モードを選択する前記面内予測モード選択部」の一例である。
ステップＳ６０６では、イントラ予測モード制御部１０３は、全てのイントラ予測モードでの差分値を評価してイントラ予測モードを選択し、判定を終了する。
上記の判定処理により、顔画像の輪郭部でのイントラ予測モードの選択を適切に行うことが出来、輪郭部での画像の劣化を抑えることが出来る。
図９は顔領域を拡大して示し、顔領域の境界線を含む対象ブロックに対して選択されるイントラ予測モードを示す図である。ブロック７０１はブロック７０１内に含まれる顔輪郭の方向が垂直であるため、垂直予測モードを適用する。ブロック７０２はブロック７０２内に含まれる顔輪郭の方向が水平であるため、水平予測モードを適用する。このように本実施の形態によれば、顔画像の輪郭方向に沿ったイントラ予測モードをブロック単位で選択することができるため、顔画像の輪郭部が含まれるブロックで背景画像のエッジが顔輪郭によるエッジよりも強い場合においても、背景画像のエッジが顔輪郭を横切って引き伸ばされるような画質劣化を抑えることができる。
セレクタ１０４は、イントラ予測モード制御部１０３で選択された予測モードのイントラ予測部、すなわち、垂直イントラ予測モード部１０５、水平イントラ予測モード部１０６、ＤＣイントラ予測モード部１０７のいずれかを選択し、選択されたイントラ予測モード部によりイントラ予測を行う。
なお、イントラ予測モードの選択フローの説明として、顔の輪郭の方向が垂直と水平の２方向に対して、垂直予測と水平予測の２つを選択する場合を説明したが、この２つの予測モードに限るものではなく、領域情報から推定される顔輪郭の方向に沿ったイントラ予測モードを選択しても良い。例えば、顔検出部により顔の輪郭を検出し、検出された顔の輪郭の曲線の方向に合わせてイントラ予測モードを選択するようにしてもよい。この場合、顔の輪郭線を含む対象ブロック内での輪郭線の角度に最も近似する角度のイントラ予測モードを選択し、選択したイントラ予測モードで対象ブロックをイントラ予測するものとする。ここで、イントラ予測モード制御部１０３は、「前記ブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含むときは、当該ブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する前記面内予測モード選択部」の一例である。
このように、実施の形態１により、顔画像の領域情報をイントラ予測モード制御に与えることで、低ビットレート時に顔画像の輪郭部で適切なイントラ予測モードを選択することが出来、顔画像の輪郭部での顕著な画質劣化を抑えることが出来る。
（実施の形態２）
図１０は、実施の形態２の画像復号化装置９００の構成を示す図である。画像復号化装置９００は、符号化ストリームを復号化して得られる入力画像の中で、復号化対象ピクチャの１つ前の復号化画像の中で顔領域を特定する。特定した顔領域を示す顔領域情報を復号化対象ピクチャに当てはめて、顔領域の垂直方向の境界を含んでいる復号化対象ブロックには垂直方向のイントラ予測モードでイントラ予測を行い、顔領域の水平方向の境界を含む対象ブロックに対して水平方向のイントラ予測モードでイントラ予測を行うことにより、画像劣化の少ないイントラ予測画像を生成する画像復号化装置である。このとき、符号化ストリームに含まれる復号化対象ブロックのイントラ予測モードは無視される。この画像復号化装置９００は、エントロピー復号化部９０１、逆量子化部９０２、逆直交変換部９０３、加算器９０４、ループフィルタ９０５、セレクタ９０６、イントラ予測部９０７、インター予測部９０８、第３フレームメモリ９０９、第４フレームメモリ９１０および顔検出部９１１を備える。
エントロピー復号化部９０１は、画像復号化装置９００に入力される符号化ビットストリームをエントロピー復号化する。逆量子化部９０２は、エントロピー復号化により得られた量子化係数を逆量子化することにより直交変換係数を出力する。逆直交変換部９０３は、逆量子化により得られた直交変換係数を逆直交変換することにより、差分画像を出力する。加算器９０４は、逆直交変換部９０３から出力された差分画像と、イントラ予測部９０７またはインター予測部９０８から出力された予測画像とを加算して、局部復号化画像を生成する。ループフィルタ９０５は、加算器９０４によって生成された局部復号化画像に対し、画像補間などによりデブロッキングなどの処理を行う。ループフィルタ９０５によってデブロッキングなどが行われた局部復号化画像は、面間予測が行われるピクチャである場合、第４フレームメモリ９１０に格納されるとともに、復号画像として外部に出力される。加算器９０４で生成された局部復号化画像が、面内予測が行われるピクチャであれば、そのまま第３フレームメモリ９０９に格納されるとともに、ループフィルタ９０５でデブロッキングなどの処理が行われ復号画像として外部に出力される。
第３フレームメモリ９０９に格納されたピクチャは、イントラ予測部９０７に読み出され、顔検出部９１１によって検出された顔領域情報に基づいて、イントラ予測される。すなわち、復号化対象ブロックが顔領域の垂直方向の境界を含む場合には、強制的に垂直方向のイントラ予測モードでイントラ予測される。また、復号化対象ブロックが顔領域の水平方向の境界を含む場合には、強制的に水平方向のイントラ予測モードでイントラ予測される。顔検出部９１１は、「入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部」、「復号化済みピクチャである前記ピクチャを顔検出することにより、オブジェクト画像である顔を検出する前記オブジェクト検出部」、「検出された前記オブジェクト画像が占める前記復号化済みピクチャ内の領域を示す領域情報を生成する前記オブジェクト検出部」の一例であり、ループフィルタ９０５からの出力である復号画像の中で顔の領域を特定し、特定した顔領域を示す顔領域情報をイントラ予測部９０７に出力する。セレクタ９０６は、復号化対象ブロックが、面内予測が行われたブロックである場合にはイントラ予測部９０７を選択し、イントラ予測部９０７からの予測画像を加算器９０４に出力する。また、セレクタ９０６は、復号化対象ブロックが、面間予測が行われたブロックである場合にはインター予測部９０８を選択し、インター予測部９０８からの予測画像を加算器９０４に出力する。
図１１は、顔領域の境界の向きに応じたイントラ予測を行う画像復号化装置９００の動作を示すフローチャートである。まず、イントラ予測部９０７は、直前に復号化済みのフレームが存在するか否かを判断する（Ｓ１１０１）。存在すれば（Ｓ１１０１でＹｅｓ）、顔検出部９１１は復号化済みの直前フレームの中で顔の領域を検出および特定する（Ｓ１１０２）。さらに、顔検出部９１１は、検出された顔領域を示す顔領域情報を生成し、イントラ予測部９０７に出力する。イントラ予測部９０７は、「復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部、および選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部」の一例である。顔検出部９１１から取得した顔領域情報から、前フレームにおける顔領域の位置および領域などを判定し、顔領域の輪郭に応じたイントラ予測モードでイントラ予測を行う（Ｓ１１０３）。すなわち、復号化対象ブロックが顔領域の垂直方向の境界を含むブロックである場合には、垂直イントラ予測モード部１０５を選択してイントラ予測を行う。また、復号化対象ブロックが顔領域の水平方向の境界を含むブロックである場合には、水平イントラ予測モード部１０６を選択してイントラ予測を行う。ここで、イントラ予測部９０７は、「前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する前記面内予測モード選択部」の一例である。復号化対象ブロックが、顔領域の境界を含まない位置にある場合には、符号化ストリームに含まれる復号化対象ブロックの予測モードに従ってイントラ予測を行う。すなわち、イントラ予測モード制御部は、「前記領域情報で示される前記矩形領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する前記面内予測モード選択部」、「復号化対象のブロックが、前記領域の垂直方向の境界を含む復号化済みブロックと同じ位置にあるときは垂直予測モードを選択し、前記領域の水平方向の境界を含む復号化済みブロックと同じ位置にあるときは水平予測モードを選択する前記面内予測モード選択部」の一例である。
なお、本実施の形態２では、画像復号化装置におけるイントラ予測モードの選択フローの説明として、垂直予測と水平予測の選択を説明したが、本実施の形態においても、この２つの予測モードに限るものではなく、領域情報から推定される顔輪郭の方向に沿ったイントラ予測モードを選択しても良い。例えば、顔検出部により顔の輪郭を検出し、検出された顔の輪郭の曲線の方向に合わせてイントラ予測モードを選択するようにしてもよい。この場合、顔の輪郭線を含む対象ブロック内での輪郭線の角度に最も近似する角度のイントラ予測モードを選択し、選択したイントラ予測モードで対象ブロックをイントラ予測するものとする。ここで、イントラ予測モード制御部１０３は、「復号化対象のブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含む復号化済みブロックと同じ位置にあるときは、前記復号化済みブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する前記面内予測モード選択部」の一例である。
また、上記実施の形態２では、１つ前の復号化ピクチャの中で顔領域を特定し、特定した顔領域を示す顔領域情報に基づいて、イントラ予測モードを決定するとしたが、本発明はこれに限定されない。例えば、画像符号化装置側で顔の輪郭を検出して顔領域情報を生成し、生成した顔領域情報を符号化ストリームのフレームヘッダにタグ情報として入れておくとしてもよい。ここで、顔検出部９１１は、「復号化対象ピクチャである前記ピクチャ内で前記オブジェクト画像が占める領域を示す領域情報を、前記符号化データのヘッダから抽出して、抽出した前記領域情報に従って前記復号化対象ピクチャ内の前記オブジェクト画像を検出する前記オブジェクト検出部」の一例である。この場合、画像復号化装置は、符号化ストリームのヘッダから顔領域情報を取得し、顔領域の輪郭を含む復号化対象ブロックでは、輪郭の方向に一致するイントラ予測モードを選択するとしてもよい。ここで、イントラ予測モード制御部１０３は、「検出された前記オブジェクト画像の輪郭の方向に沿った面内予測モードを選択する前記面内予測モード選択部」の一例である。また、例えば、符号化ストリームのヘッダ内に、顔領域の輪郭を含む復号化対象ブロックに対して、選択するべきイントラ予測モードを示す情報を入れておくとしてもよい。
なお、画像符号化装置８００は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
本発明にかかる画像符号化装置は、顔検出を行い、検出結果に基づいてイントラ予測モードを制御する手段を有し、低ビットレート時の画質劣化を改善するため、ネットワークカメラや監視カメラ向けの画像符号化装置として有用である。また、低ビットレート時の顔周辺の画質劣化を改善する画像復号化装置として有用である。
図１（ａ）〜（ｄ）は１６×１６イントラ予測モードの予測方法を示す図である。 図２（ａ）〜（ｉ）は４×４イントラ予測モードの予測方法を示す図である。 図３は従来の画像符号化装置におけるイントラ予測部の構成を示すブロック図である。 図４（ａ）及び（ｂ）は従来のフィールド構造での予測方向と原画像での予測方向を示す図である。 図５は本実施の形態１における画像符号化装置の構成を示すブロック図である。 図６は本実施の形態１におけるイントラ予測部の構成を示すブロック図である。 図７は顔検出部で検出される領域を示す図である。 図８はイントラ予測モード制御部でのイントラ予測モード判定のフローチャートである。 図９は顔領域を拡大して示し、顔領域の境界線を含む対象ブロックで選択されるイントラ予測モードを示す図である。 図１０は本実施の形態２の画像復号化装置の構成を示すブロック図である。 図１１は顔領域の境界の向きに応じたイントラ予測を行う画像復号化装置の動作を示すフローチャートである。
１０１、８０１ ブロック分割部
１０２ 画像パターン判定部
１０３ イントラ予測モード制御部
１０４、８１２、９０６ セレクタ
１０５ 垂直イントラ予測モード部
１０６ 水平イントラ予測モード部
１０７ ＤＣイントラ予測モード部
１１０、８１３、９１１ 顔検出部
５０１ 入力画像
５０２ 顔画像の領域
７０１ ブロック
７０２ ブロック
８００ 画像符号化装置
８０２ 直交変換部
８０３ 量子化部
８０４ エントロピー符号化部
８０５、９０２ 逆量子化部
８０６、９０３ 逆直交変換部
８０７、９０５ ループフィルタ
８０８ 第１フレームメモリ
８０９、９０７ イントラ予測部
８１０ 第２フレームメモリ
８１１、９０８ インター予測部
９００ 画像復号化装置
９０１ エントロピー復号化部
９０９ 第３フレームメモリ
９１０ 第４フレームメモリ

Claims (19)

  1. 面内予測を含む予測符号化を行う画像符号化装置であって、
    入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、
    前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、
    選択された面内予測モードで前記ブロックの面内予測を行う面内予測部と
    を備える画像符号化装置。
  2. 前記オブジェクト検出部は、前記オブジェクト画像として顔の検出を行う
    請求項１に記載の画像符号化装置。
  3. 前記オブジェクト検出部は、検出された前記オブジェクト画像が占める前記入力ピクチャ内の領域を示す領域情報を生成し、
    前記面内予測モード選択部は、前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する
    請求項１に記載の画像符号化装置。
  4. 前記領域情報は、前記オブジェクト画像が占める前記領域の開始座標と前記領域の大きさを表す
    請求項１に記載の画像符号化装置。
  5. 前記オブジェクト画像が占める前記領域は、矩形で表され、
    前記面内予測モード選択部は、前記ブロックが、
    前記領域の垂直方向の輪郭を含むときは垂直予測モードを選択し、
    前記領域の水平方向の輪郭を含むときは水平予測モードを選択する
    請求項１に記載の画像符号化装置。
  6. 前記面内予測モード選択部は、前記ブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含むときは、当該ブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する
    請求項２に記載の画像符号化装置。
  7. 面内予測を含む予測復号化を行う画像復号化装置であって、
    入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、
    復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、
    選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部と
    を備える画像復号化装置。
  8. 前記オブジェクト検出部は、復号化済みピクチャである前記ピクチャを顔検出することにより、オブジェクト画像である顔を検出する
    請求項７に記載の画像復号化装置。
  9. 前記オブジェクト検出部は、検出された前記オブジェクト画像が占める前記復号化済みピクチャ内の領域を示す領域情報を生成し、
    前記面内予測モード選択部は、前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する
    請求項８に記載の画像復号化装置。
  10. 前記領域情報は、前記オブジェクト画像が占める矩形領域の開始座標と前記領域の大きさを表し、
    前記面内予測モード選択部は、前記領域情報で示される前記矩形領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する
    請求項９に記載の画像復号化装置。
  11. 前記面内予測モード選択部は、復号化対象のブロックが、
    前記領域の垂直方向の境界を含む復号化済みブロックと同じ位置にあるときは垂直予測モードを選択し、
    前記領域の水平方向の境界を含む復号化済みブロックと同じ位置にあるときは水平予測モードを選択する
    請求項９に記載の画像復号化装置。
  12. 前記面内予測モード選択部は、復号化対象のブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含む復号化済みブロックと同じ位置にあるときは、前記復号化済みブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する
    請求項８に記載の画像復号化装置。
  13. 前記オブジェクト検出部は、復号化対象ピクチャである前記ピクチャ内で前記オブジェクト画像が占める領域を示す領域情報を、前記符号化データのヘッダから抽出して、抽出した前記領域情報に従って前記復号化対象ピクチャ内の前記オブジェクト画像を検出し、
    前記面内予測モード選択部は、検出された前記オブジェクト画像の輪郭の方向に沿った面内予測モードを選択する
    請求項７に記載の画像復号化装置。
  14. 面内予測を含む予測符号化を行う集積回路であって、
    入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、
    前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、
    選択された面内予測モードで前記ブロックの面内予測を行う面内予測部と
    を備える集積回路。
  15. 面内予測を含む予測復号化を行う集積回路であって、
    入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、
    復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、
    選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部と
    を備える集積回路。
  16. 面内予測を含む予測符号化を行う画像符号化方法であって、
    オブジェクト検出部が、入力ピクチャ内のオブジェクト画像を検出し、
    面内予測モード選択部が、前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択し、
    面内予測部が、選択された面内予測モードで前記ブロックの面内予測を行う
    画像符号化方法。
  17. 面内予測を含む予測復号化を行う画像復号化方法であって、
    オブジェクト検出部が、入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出し、
    面内予測モード選択部が、復号化対象ブロックが前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択し、
    面内予測部が、選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う
    画像復号化方法。
  18. コンピュータ読み取り可能な記録媒体に記録されたプログラムであって、コンピュータを、
    入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、選択された面内予測モードで前記ブロックの面内予測を行う面内予測部として機能させるプログラム。
  19. コンピュータ読み取り可能な記録媒体に記録されたプログラムであって、コンピュータを、
    入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部として機能させるプログラム。
JP2009513146A 2007-09-21 2008-09-17 画像符号化装置および画像復号化装置 Expired - Fee Related JP5261376B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009513146A JP5261376B2 (ja) 2007-09-21 2008-09-17 画像符号化装置および画像復号化装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007244827 2007-09-21
JP2007244827 2007-09-21
PCT/JP2008/002552 WO2009037828A1 (ja) 2007-09-21 2008-09-17 画像符号化装置および画像復号化装置
JP2009513146A JP5261376B2 (ja) 2007-09-21 2008-09-17 画像符号化装置および画像復号化装置

Publications (2)

Publication Number Publication Date
JPWO2009037828A1 true JPWO2009037828A1 (ja) 2011-01-06
JP5261376B2 JP5261376B2 (ja) 2013-08-14

Family

ID=40467655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009513146A Expired - Fee Related JP5261376B2 (ja) 2007-09-21 2008-09-17 画像符号化装置および画像復号化装置

Country Status (3)

Country Link
US (1) US20100034268A1 (ja)
JP (1) JP5261376B2 (ja)
WO (1) WO2009037828A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7386048B2 (en) 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8660182B2 (en) 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
BRPI0517069A (pt) * 2004-11-04 2008-09-30 Thomson Licensing previsão rápida intra modo para um codificador de vìdeo
KR101386274B1 (ko) * 2005-09-26 2014-04-25 미쓰비시덴키 가부시키가이샤 동화상 복호 장치 및 동화상 복호 방법
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
US8660380B2 (en) 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
US8756482B2 (en) 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US9118927B2 (en) 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
US8873625B2 (en) * 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8666181B2 (en) 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
EP2446630B1 (fr) 2009-06-23 2020-02-26 Orange Codage et décodage d'une séquence d'images vidéo par zones d'image
US8638863B1 (en) 2010-05-18 2014-01-28 Google Inc. Apparatus and method for filtering video using extended edge-detection
DK2592832T3 (da) * 2010-07-09 2016-09-26 Samsung Electronics Co Ltd Fremgangsmåde og apparat til at entropi-indkode/afkode en transformationskoefficient
WO2012009540A1 (en) 2010-07-14 2012-01-19 Ntt Docomo, Inc. Low-complexity intra prediction for video coding
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8767817B1 (en) 2011-04-07 2014-07-01 Google Inc. Apparatus and method for coding using parameterized equation
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8804819B1 (en) 2011-04-19 2014-08-12 Google Inc. Method and apparatus for encoding video using data frequency
US9749638B1 (en) 2011-04-28 2017-08-29 Google Inc. Method and apparatus for encoding video with dynamic quality improvement
US8705620B1 (en) 2011-04-28 2014-04-22 Google Inc. Method and apparatus for encoding anchor frame by encoding features using layers
CN103931193B (zh) 2011-09-21 2017-11-21 Lg电子株式会社 编码/解码图像的方法和装置
US20130286227A1 (en) * 2012-04-30 2013-10-31 T-Mobile Usa, Inc. Data Transfer Reduction During Video Broadcasts
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9380298B1 (en) * 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
EP3310054A4 (en) * 2015-06-11 2019-02-27 Intellectual Discovery Co., Ltd. IMAGE ENCODING AND DECODING METHOD USING AN ADAPTIVE DEBLOCKING FILTER, AND APPARATUS THEREOF
CN117499650A (zh) * 2016-04-29 2024-02-02 英迪股份有限公司 图像解码方法、图像编码方法和用于发送比特流的方法
CN109446967B (zh) * 2018-10-22 2022-01-04 深圳市梦网视讯有限公司 一种基于压缩信息的人脸检测方法和系统
US11095901B2 (en) * 2019-09-23 2021-08-17 International Business Machines Corporation Object manipulation video conference compression

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
ES2170954T3 (es) * 1996-05-28 2002-08-16 Matsushita Electric Ind Co Ltd Dispositivo de prediccion y de decodificado de imagen.
WO2004080084A1 (en) * 2003-03-03 2004-09-16 Agency For Science, Technology And Research Fast mode decision algorithm for intra prediction for advanced video coding
US7680330B2 (en) * 2003-11-14 2010-03-16 Fujifilm Corporation Methods and apparatus for object recognition using textons
US8369402B2 (en) * 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
JP2007053561A (ja) * 2005-08-17 2007-03-01 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
JP2007110409A (ja) * 2005-10-13 2007-04-26 Seiko Epson Corp 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
KR100750136B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR100750145B1 (ko) * 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100739790B1 (ko) * 2006-02-02 2007-07-13 삼성전자주식회사 인트라 예측 모드 결정 방법 및 장치
KR101946376B1 (ko) * 2007-10-16 2019-02-11 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8224042B2 (en) * 2009-03-12 2012-07-17 Seiko Epson Corporation Automatic face recognition

Also Published As

Publication number Publication date
WO2009037828A1 (ja) 2009-03-26
JP5261376B2 (ja) 2013-08-14
US20100034268A1 (en) 2010-02-11

Similar Documents

Publication Publication Date Title
JP5261376B2 (ja) 画像符号化装置および画像復号化装置
RU2684570C1 (ru) Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений
JP5194833B2 (ja) 符号化装置および方法、記録媒体、並びにプログラム
CN108737834B (zh) 图像编码装置、图像解码装置及其方法
JP4047879B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
US20170272758A1 (en) Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
CN103141094B (zh) 自适应环路滤波方法和装置
JP2019071632A (ja) 映像サンプルのブロックをデブロックする方法
JP5246264B2 (ja) 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法
US9294765B2 (en) Video encoder with intra-prediction pre-processing and methods for use therewith
JP2007166617A (ja) 映像のイントラ予測符号化、復号化方法及び装置
KR20090101911A (ko) 코딩된 화상 및 영상에서 블록 아티팩트 검출
JP2007067469A (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体
JP2006114979A (ja) 画像符号化装置及びその方法
TWI511531B (zh) 影像編碼裝置、影像編碼方法及影像編碼程式
KR20220160038A (ko) 비디오 코딩 데이터를 시그널링하기 위한 방법들
JP2008301336A (ja) 画像処理装置、画像符号化装置及び画像復号化装置
JPWO2006100946A1 (ja) 画像信号再符号化装置及び画像信号再符号化方法
JP5178616B2 (ja) シーンチェンジ検出装置および映像記録装置
US8687910B2 (en) Image filtering method using pseudo-random number filter and apparatus thereof
JP2007228519A (ja) 画像符号化装置及び画像符号化方法
US8538092B2 (en) Image processing apparatus
JP5111260B2 (ja) 画像処理装置、及び、特定領域検出方法
JP2008028707A (ja) 画質評価装置、符号化装置及び画質評価方法
EP2899975A1 (en) Video encoder with intra-prediction pre-processing and methods for use therewith

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130426

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5261376

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees