JP5111260B2 - 画像処理装置、及び、特定領域検出方法 - Google Patents

画像処理装置、及び、特定領域検出方法 Download PDF

Info

Publication number
JP5111260B2
JP5111260B2 JP2008167678A JP2008167678A JP5111260B2 JP 5111260 B2 JP5111260 B2 JP 5111260B2 JP 2008167678 A JP2008167678 A JP 2008167678A JP 2008167678 A JP2008167678 A JP 2008167678A JP 5111260 B2 JP5111260 B2 JP 5111260B2
Authority
JP
Japan
Prior art keywords
area
determination
region
specific
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008167678A
Other languages
English (en)
Other versions
JP2009087323A (ja
Inventor
幸史 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008167678A priority Critical patent/JP5111260B2/ja
Priority to US12/209,552 priority patent/US8538092B2/en
Publication of JP2009087323A publication Critical patent/JP2009087323A/ja
Application granted granted Critical
Publication of JP5111260B2 publication Critical patent/JP5111260B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、人物の顔などの特定領域を検出し、検出された特定領域と、その他の領域とで異なる画像処理を施す技術に関する。
近年、動画像データの高解像度化が進み、例えば1920画素×1080画素の画素数を有するHigh−Definition(HD)映像を扱う製品が開発されている。また、今後も画素数は増えていく見通しで、将来的には4000画素×2000画素、或いはそれ以上の画素数まで達すると予想される。
高精細な動画像データを処理する装置として、HD映像対応のデジタルビデオカメラなどが知られている。民生用のデジタルビデオカメラでは、情報量の多いHD映像を効率的に記録メディアに記録するため、動画像データの圧縮符号化を行っている。
動画像圧縮方式として、MPEG方式(MPEG2及びMPEG4)や、H.264が良く知られている。これら動画像圧縮方式の中には、視覚的に目立ちにくい画像領域の画質を低下することによって符号量の節減を行い、結果として高い符号化効率を実現しているものがある。
しかしながら、装置自身が、視覚的に目立ちやすい画像領域や、目立ちにくい画像領域を識別することは簡単なことではない。そこで、多くの場合、画像を細かい画素ブロックに分割し、画素ブロック単位で、エッジの有無や色の情報などの特徴に基づいて、領域を識別している。
ところで、処理対象のブロックが人間の肌色の特徴を有するブロックである場合、装置は、「顔」の可能性が高いとみなして、当該ブロックの発生符号量を減らさないか、もしくは増やすような制御を行うことがある。すなわち、画像の圧縮符号化によって、画像中の人物の顔など目立ちやすい部分にノイズ等が発生すると画質劣化が顕著となるため、顔領域に対しては、それ以外の領域よりも多くの符号量を割り当てるようにすることで、画質向上を図るものである。そのためには、処理対象のブロックが、顔領域であるか否かを精度良く検出する技術が必要である。
顔領域検出の方法として、特許文献1の方法が知られている。特許文献1には、特徴領域(顔)の輪郭に忠実に沿った領域を検出する方法が記載されている。
特開平07−087510号
しかしながら、上記の特許文献1の方法では、肌色部分と、肌色に隣接する部分を別々に調べるものであり、判定対象の画素の周りの画素が肌色であるか否かを事前に判定しておかなければならない。即ち、顔領域かどうかの判定を2パスで行わなければならず、処理負荷が高く、結果を得るのに時間がかかるという問題があった。
本発明は前述の問題点に鑑み、短時間で顔などの特定領域を検出し、検出された特定領域と、その他の領域とで異なる内容の画像処理を施す画像処理装置を提示することを目的とする。
さらに、肌色等の特定色で囲まれた部位も特定領域として検出するための特定領域検出方法を提示することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、入力画像を所定サイズの判定領域ごとに、水平方向に順次走査し水平走査ラインを順次垂直方向に移動して、前記判定領域が特定領域であるか否かを判定する画像処理装置であって、前記判定領域が特定色の領域であるか否かを判定する特定色判定手段と、前記特定色判定手段により判定された判定結果に従って、前記判定領域を第1から第3のいずれかの領域に分類する分類手段と、前記分類に応じて前記特定領域を判定する特定領域判定手段とを有し、前記分類手段は、前記特定色判定手段により判定された判定結果に従って、前記ラインごとに、特定色の領域である前記第1の領域と、特定色の領域ではない前記第3の領域と、特定色の領域ではないが、分類中のラインの上のラインにおける隣接する判定領域の分類が前記第1の領域である前記第2の領域とに分類し、前記分類中のラインの下の分類処理を開始する前に、前記分類中のラインにおいて前記第1の領域に分類された領域によって挟まれる前記第2の領域に分類された領域を第1の領域に再分類し、前記特定領域判定手段は、前記第1の領域に分類された領域を前記特定領域であると判定することを特徴とする
本発明によれば、短時間で顔などの特定領域を検出できるようになる。さらに、顔の内部の目のように、特定色(肌色)ではないが特定色で囲まれている部分をも特定領域(顔領域)として検出できる。
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
図1は、本発明の実施形態に係る特定領域検出装置の構成例を示すブロック図である。本実施形態の特定領域検出装置は、画像処理装置に適用されるものである。
本実施形態に係る特定領域検出装置は、肌色判定部10と、肌色判定結果記憶部12と、肌色判定結果変更部14と、顔領域判定部16とを具備する。なお、顔領域を検出するのは一例であり、顔以外の、特定色を有する特定領域を検出することに用いても良い。特定色を判定することを考慮して、肌色判定部10を特定色判定部、肌色判定結果記憶部12を特定色判定結果記憶部、肌色判定結果変更部14を特定色判定結果変更部、顔領域判定部16を特定領域判定部として、それぞれ表わすことができる。
肌色判定部10は、入力画像のある領域(判定領域)が、肌色であるか否かを判定する。本実施形態の肌色の判定方法は、基準とする肌色の色相の範囲を定義しておき、判定領域内の色差信号が示す色相と比較することによって判定する。なお、肌色の色相は人種にかかわらず共通であるが、人種や個人差によって明度が異なるので、色相とともに明度も定義し、さらに明度を調整できるようにしても良い。
肌色判定結果記憶部12は、肌色判定部10によって判定された肌色判定結果を、判定領域ごとに、肌色部分(特定色領域)、肌色近接部分(特定色近接領域)及び非肌色部分(非特定色領域)の何れかに分類して順次記憶する。肌色判定結果変更部14は、肌色判定結果記憶部12に記憶された分類結果のうち、肌色部分に囲まれる肌色近接部分を再評価し、肌色部分を示す分類結果に変更する。本実施形態の作用上、肌色判定結果記憶部12は、少なくとも、現在の判定領域の垂直方向の上側に隣接する判定領域からの分類結果を1ライン分記憶するための容量があればよい。
顔領域判定部16は、肌色判定結果記憶部12に記憶された分類結果および変更結果に基づいて、肌色部分と、肌色部分に囲まれた肌色ではない閉領域とを、顔領域(特定領域)と判定し、顔領域判定結果(特定領域判定結果)を出力する。
本実施形態に係る特定領域検出装置の動作を詳細に説明する。図2は、本発明の実施形態で処理する入力画像の例である。入力画像は、例えば、1920画素×1080画素から成るHD映像である。これを16画素×16画素の画素ブロック(符号化の処理単位となるブロックサイズ。マクロブロックとも称す。)で分割すると、横120個×縦68個のマクロブロックが形成される。
本実施形態では、上記の16画素×16画素のブロック(マクロブロック)のように、あるまとまった矩形領域を一つの判定領域(肌色判定単位)とする。そして、画面内で順次、判定領域を水平及び垂直方向に走査し、各判定領域が肌色か否かを判定する。このとき、先ず水平方向に走査し、この水平走査のラインを順次、垂直方向に移動する。ただし、先ず垂直方向に走査し、この垂直走査のラインを順次、水平方向に移動するように構成しても良い。また、肌色判定単位となる各判定領域の画素数は、16×16以外に、8×8や、4×4、16×8等の異なるサイズを設定しても良いし、同一画面内で異なるサイズを適応的に用いてもよい。さらに、各判定領域は部分的に重なっても良いとする。
具体的には、肌色判定部10は、入力画像から順に肌色判定単位の判定領域を切り出し、当該判定領域に含まれる色差信号の成分から、この判定領域が肌色か否かを判定する。判定領域は、水平方向と垂直方向に走査される。通常は画面の左上から始まり、水平方向に先ず走査され、水平方向の終端に到達したら、垂直方向にシフトした別のラインに沿って、走査される。ここでの水平走査ライン(水平ラインと称する)は、判定領域の垂直方向の画素数(例えば、16画素)に相当する幅を有する。肌色判定部10は、判定結果を肌色判定結果記憶部12に供給する。
図3は、肌色判定に係る処理のフローチャートである。肌色判定部10が判定領域ごとに出力した肌色か否かの情報(判定結果)に従って、肌色判定結果記憶部12は、図3に示す処理フローのように、肌色判定部10の判定結果を、肌色部分、肌色近接部分及び非肌色部分の3種類に分類して記憶する。具体的に、ある判定領域について、肌色判定部10の判定結果が肌色を示す場合(S11でYES)、肌色判定結果記憶部12は、その判定領域を肌色部分と評価する。そして、肌色部分と評価した判定領域を「1」に分類して記憶する(S12)。
一方、ある判定領域について、肌色判定部10の判定結果が肌色ではないが(S11でNO)、垂直方向の上側に隣接する判定領域の分類結果が肌色部分である場合(S13でYES)、肌色判定結果記憶部12は、その判定領域を肌色近接部分と評価する。そして、肌色近接部分と評価した判定領域を「2」に分類して記憶する(S14)。
ここで、肌色判定結果変更部14は、肌色判定結果記憶部12の分類結果に対して更に、水平ライン上で肌色部分により挟まれる肌色近接部分を肌色部分に分類変更する。図4は、肌色判定結果変更部14による肌色判定結果の変更に係る動作説明図である。図4の(A)は、肌色判定結果記憶部12による記憶値(初期状態)を示す。図4において、「1」又は「2」又は「3」と書かれたブロックが、それぞれ判定領域である。「1」は肌色部分に分類された判定領域であり、「2」は肌色近接部分に分類された判定領域である。なお、後述するが、「3」は非肌色部分に分類された判定領域である。図4の(A)に示す記憶値の後に、図4の(B)に示すように、肌色判定結果記憶部12が肌色部分を示す値「1」を記憶したとする。この結果、肌色判定結果記憶部12内の記憶値(分類結果)では、肌色近接部分「2」に分類された3つの判定領域が、肌色部分「1」によって左右から挟まれる。肌色判定結果変更部14は、このように1水平ライン上で、肌色近接部分「2」が肌色部分「1」で挟まれたことを検知すると、図4(C)に示すように、肌色近接部分の分類結果を、肌色部分を示す値「1」に変更する。さらに、この水平ラインの次の水平ラインでは、肌色判定結果変更部14による変更後の分類結果をもとにして、肌色判定結果記憶部12による肌色近接部分の判定が行われる。このように、肌色部分「1」により左右から挟まれた、連続する複数の肌色近接部分「2」を一括して肌色部分に変更することができる。
図3のフローチャートの説明に戻る。ある判定領域について、肌色判定部10の判定結果が肌色ではなく(S11でNO)、垂直方向の上側に隣接する判定領域の分類結果が肌色部分ではない場合(S13でNO)、肌色判定結果記憶部12は、その判定領域を非肌色部分と評価する。そして、非肌色部分と評価した判定領域を「3」に分類して記憶する(S15)。
以上のとおり、判定領域が、肌色部分「1」又は肌色近接部分「2」又は非肌色部分「3」に分類されると、肌色判定結果記憶部12は、次の判定領域へと判定領域の更新を行い(S16)、本フローはリターンとなる。なお、本実施形態では、便宜的に、肌色部分に「1」を割り当て、肌色近接部分に「2」を割り当て、非肌色部分に「3」を割り当てているが、これは一例である。
図5は、顔領域判定に係る処理のフローチャートである。顔領域判定部16は、図5に示す処理フローに従って、図2の如き入力画像に含まれる顔領域(又は特定領域)を判定する。顔領域判定部16は、肌色判定結果記憶部12に記憶されている各判定領域の分類結果を参照し、肌色部分「1」に分類された領域であるならば(S21でYES)、その領域を顔領域(特定領域)の一部と判定する(S22)。
顔領域判定部16は、肌色部分ではないが(S21でNO)、肌色判定結果変更部14の再評価によって肌色近接部分「2」から肌色部分「1」に変更された領域であるならば(S23でYES)、その判定領域を顔領域(特定領域)の一部と判定する(S22)。ここで、肌色近接部分「2」から肌色部分「1」に変更された領域とは、少なくとも上、左及び右の三方向に肌色部分が存在する領域、すなわち、肌色に囲まれた肌色以外の部分であり、例えば、顔の中の「目」や「口」などを抽出することに適用できる。顔領域判定部16は、肌色判定結果変更部14による変更結果を受け取ることで、肌色部分「1」により左右から挟まれた、連続する複数の肌色近接部分「2」を一括して顔領域と判定することができる。
また、顔領域判定部16は、肌色部分ではなく(S21でNO)、肌色に囲まれた肌色以外の部分でもない領域ならば(S23でNO)、その判定領域を非顔領域(非特定領域)の一部と判定する(S24)。なお、非顔領域(非特定領域)としては、肌色判定結果記憶部12に記憶された分類結果のうち、非肌色部分「3」と、肌色近接部分「2」のまま残された判定領域であるということができる。
以上のとおり、ある判定領域について顔領域か非顔領域かの判定が完了したならば、肌色判定結果記憶部12に記憶された次の判定領域の結果について顔領域判定するべく、判定領域の更新を行う(S25)。そして、本フローはリターンとなる。
このようにして、顔領域判定部16は、肌色部分と、肌色部分に上、左及び右の三方向を囲まれた肌色ではない領域とを、顔領域(特定領域)と判定し、入力画像に対する顔領域判定結果(特定領域判定結果)を出力する。
続いて、上述した本実施形態の顔領域判定に係る動作内容を、図6乃至図11を用いてさらに説明する。
図6は、図2の入力画像の顔部分を拡大した例である。さらに、図7は、図6に示す例に対する目の周辺部の肌色部分を示す図である。図7に示すように、上述の肌色判定単位の判定領域毎に、肌色か否かで分類すると、目は肌色部分ではなく、目の周辺部分が肌色部分となる。また、顔の外側の部分も肌色部分とはならない。以降、このような目と目の周辺部分を例に説明する。
本実施形態の肌色判定処理は、図6に示す画像を左上から右下に向かい、肌色判定単位の判定領域で走査しながら、逐次、肌色か否かを判定していく。図8乃至図11は、図6に示す例に対する肌色判定及び顔領域判定の結果の変遷例である。図8、図9,図10及び図11には、肌色判定結果記憶部12及び肌色判定結果変更部14による分類結果を示す値が付記されている。各判定領域に付記される数値は、「1」が肌色部分、「2」が肌色近接部分、「3」が非肌色部分を示す。
図8において、肌色判定部10が、画像の左上から順次、判定領域を切り出して、判定領域ごとに肌色か否かを判定する。目の周辺部の判定領域は肌色であるので、肌色判定結果記憶部12によって、肌色部分「1」に分類される。また、顔の外側の判定領域に関しては、非肌色部分「3」に分類される。
一方、目の部分の判定領域は肌色ではないが、垂直方向の上側に隣接する判定領域が肌色部分「1」に分類されているので、肌色判定結果記憶部12によって、肌色近接部分「2」に分類される。
図8では、目の部分が肌色近接部分と分類されている。さらに、図9のように、目の向かって右側に位置する判定領域が肌色部分「1」に分類される。この状態になると、目の左右の部分が肌色部分という評価になったので、肌色判定結果変更部14が、目の部分の肌色部分「1」に囲まれた肌色近接部分「2」を、肌色部分「1」に変更する。
図9では、目の1ライン目の領域が肌色判定結果変更部14により肌色部分「1」に変更された。さらに、図10のように、目の2ライン目を評価する際には、上側に隣接する目の1ライン目の各判定領域を肌色部分「1」であるとみなして、肌色判定結果記憶部12は、目の部分を肌色近接部分「2」に分類する。さらに、目の1ライン目と同様に、肌色判定結果変更部14によって肌色近接部分「2」を肌色部分「1」に変更する処理が行われる。
このような処理を、目の3ライン目以降も繰り返すことによって、図11のように、全ての判定領域に対する分類が完了する。
本実施形態では、特定領域検出装置に含まれる肌色判定部10と、肌色判定結果記憶部12と、肌色判定結果変更部14と、顔領域判定部16とを同時に動かすことによって、肌色判定処理と顔領域判定処理を並行して、1パスで処理することができる。顔領域判定部16は、1水平ライン毎に肌色判定結果記憶部12に記憶される分類結果および変更結果に基づいて、顔領域判定を判定領域ごとに逐次行うことになる。よって、短時間で顔領域を判定することができる。
こうして、本実施形態では、図11に示す結果のように、肌色部分と、目などの肌色に囲まれた肌色以外の部分(閉領域)とを、短時間で顔領域として判定することができる。なお、図2の例のようなHD画像や、それ以上の高精細な映像を入力画像とする場合、顔のアップを対象にすると、目、鼻、口、眉といった、顔の内部の肌色以外の領域はかなり存在し、そこには多数のマクロブロックが割り当てられている。肌色の部分だけ特殊な画像処理、例えば符号化時の高画質化処理を施したとすると、目、鼻、口、眉といった部位の画質が低下したように見えることになろう。そこで、本実施形態の方法を採ることによって顔の内部の、目、鼻、口、眉といった部位に対しても、肌色部分と同じ顔領域として処理することができる。例えば、顔領域と、その他の領域とで異なる内容の所定の画像処理を施すことができる。所定の画像処理の一例として、顔領域を高画質に符号化するための構成を後述する。
図12は、本発明の実施形態に係る特定領域検出装置を適用した画像処理装置の構成例を示すブロック図である。例として、H.264方式による圧縮符号化を行う画像処理装置に適用したものである。
符号化の対象である入力画像データがフレームバッファ202に格納される。フレームバッファから符号化される入力画像データがマクロブロック単位で左上からラスター順に読み出され、顔領域検出部201と動き予測部203に並列に入力される。ここで、顔領域検出部201が、上述した特定領域検出装置の構成及び機能を有するものである。
顔領域検出部201は、先に説明した方法によって、入力画像に含まれる顔領域を、入力画像データの符号化処理と並行してリアルタイムに判定し、顔領域判定結果を量子化制御部212に供給する。
量子化制御部212は、後述するエントロピー符号化部206からマクロブロックごとの発生符号量の情報を受け取り、目標とする符号量になるようにベースとなる量子化ステップサイズを決定する。このとき、量子化制御部212は、顔領域検出部201から顔領域判定結果が入力されているならば、その顔領域判定結果に基づき、顔領域と判定された領域に対応するマクトブロックとその他のマクロブロックとで異なる量子化制御を行う。具体的には、顔領域と判定された領域に対応するマクロブロックと、非顔領域と判定された領域に対応するマクロブロックとを比較し、その比較結果に応じてベースとなる量子化ステップサイズを調整する。特に、顔領域と判定された領域に対応するマクロブロックについては、細かい量子化ステップサイズによって量子化されるようにベースとなる量子化ステップサイズを調整し、最終的な量子化ステップサイズを決定する。このようにして決定された量子化ステップサイズを量子化部205に出力する。
動き予測部203は、フレーム内の予測(イントラ予測)またはフレーム間の予測(インター予測)を行う。予測の際に参照されるローカルデコード画像(参照画像)は、参照フレームバッファ211に格納されている。動き予測部203は、フレームバッファ202から受け取った入力画像と、参照フレームバッファ211に格納されている参照画像とから符号化を行うマクロブロックの動きを予測し、動きベクトルを算出する。そして、算出した動きベクトル位置から、入力画像と参照画像の差分を取り、差分画像を直交変換部204に出力する。
直交変換部204は、入力された差分画像に対して離散コサイン変換を行い、変換係数データを量子化部205に出力する。量子化部205では量子化制御部212から受け取った量子化ステップサイズに従い、入力された変換係数データの量子化を行う。量子化後の係数データはエントロピー符号化部206、ならびに逆量子化部207に送られる。
エントロピー符号化部206は、入力された量子化後の係数データに対してジグザグスキャン、オルタネートスキャン等を行い、可変長符号化を行う。また、エントロピー符号化部206によって、量子化後の係数データ以外にも、動きベクトル、量子化ステップサイズ、マクロブロック分割サイズ等の符号化方式の情報も可変長符号化され、符号化ストリームが形成され、出力される。また、エントロピー符号化部206は、符号化の際にマクロブロックごとの発生符号量を算出し、量子化制御部212に出力する。
逆量子化部207は、入力された量子化後の係数データに対して逆量子化を行い、ローカルデコード用の変換係数を生成し、逆直交変換部208に出力する。逆直交変換部208は、入力された変換係数に対して、逆離散コサイン変換を行い、差分画像データを生成する。差分画像データは動き補償部209に出力される。動き補償部209は、動きベクトル位置の参照画像を参照フレームバッファ211から取得し、参照画像のデータと、入力された差分画像データとを加算することにより、ローカルデコード画像のデータを作成する。
動き補償部209によって作成された画像データは、ループフィルタ部210に出力される。ループフィルタ部210は、入力された画像データに対してデブロッキングフィルタ処理を行う。すなわち、マクロブロック境界にしばしば発生するブロック歪を除去するためのフィルタリング処理を施すことによって、ブロック境界を目だなくすることができる。ループフィルタ部210によるデブロッキングフィルタ処理後の画像が、ローカルデコード画像として後続の符号化のため参照フレームバッファ211に格納される。
以上の動作により、符号化ストリーム、ローカルデコード画像が作成される。このようにして符号化動作を行うことにより、生成される符号化ストリーム、及び、ローカルデコード画像においては、顔領域と判定された部分は他の領域と比較して符号量が多く割り当てられているため、良好な画質の画像を得ることができる。
以上のように、本実施形態によれば、顔の内部の目のように、肌色ではないが肌色で囲まれている部分を顔領域として検出できる。これを人物の顔を含む画像の圧縮符号化に利用することにより、肌色ではない顔部分であっても、顔領域の一部として高画質に圧縮符号化することが可能になる。
本発明の一実施形態をハードウエアとして説明したが、その処理の一部又は全部をソフトウエアにより実現できることは明らかである。
本発明の実施形態に係る特定領域検出装置の構成例を示すブロック図である。 本発明の実施形態で処理する入力画像の例である。 肌色判定に係る処理のフローチャートである。 肌色判定結果の変更に係る動作説明図である。 顔領域判定に係る処理のフローチャートである。 入力画像の顔部分を拡大した例である。 図6に示す例に対する目の周辺部の肌色部分を示す図である。 図6に示す例に対する肌色判定及び顔領域判定の結果の変遷例である。 図6に示す例に対する肌色判定及び顔領域判定の結果の変遷例である。 図6に示す例に対する肌色判定及び顔領域判定の結果の変遷例である。 図6に示す例に対する肌色判定及び顔領域判定の結果の変遷例である。 本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。
符号の説明
10 肌色判定部
12 肌色判定結果記憶部
14 肌色判定結果変更部
16 顔領域判定部

Claims (17)

  1. 入力画像を所定サイズの判定領域ごとに、水平方向に順次走査し水平走査ラインを順次垂直方向に移動して、前記判定領域が特定領域であるか否かを判定する画像処理装置であって、
    前記判定領域が特定色の領域であるか否かを判定する特定色判定手段と、
    前記特定色判定手段により判定された判定結果に従って、前記判定領域を第1から第3のいずれかの領域に分類する分類手段と、
    前記分類に応じて前記特定領域を判定する特定領域判定手段とを有し、
    前記分類手段は、前記特定色判定手段により判定された判定結果に従って、前記ラインごとに、特定色の領域である前記第1の領域と、特定色の領域ではない前記第3の領域と、特定色の領域ではないが、分類中のラインの上のラインにおける隣接する判定領域の分類が前記第1の領域である前記第2の領域とに分類し、前記分類中のラインの下の分類処理を開始する前に、前記分類中のラインにおいて前記第1の領域に分類された領域によって挟まれる前記第2の領域に分類された領域を第1の領域に再分類し、
    前記特定領域判定手段は、前記第1の領域に分類された領域を前記特定領域であると判定することを特徴とする画像処理装置。
  2. 入力画像を所定サイズの判定領域ごとに所定のライン順に特定領域であるか否かを判定する画像処理装置であって、
    前記判定領域が特定色の領域であるか否かを判定する特定色判定手段と、
    前記特定色判定手段により判定された判定結果に従って、前記判定領域を第1から第3のいずれかの領域に分類する分類手段と、
    前記分類に応じて前記特定領域を判定する特定領域判定手段とを有し、
    前記分類手段は、前記特定色判定手段により判定された判定結果に従って、前記ラインごとに、特定色の領域である前記第1の領域と、特定色の領域ではない前記第3の領域と、特定色の領域ではないが、分類中のラインより前に分類処理の完了した隣接するラインにおける隣接する判定領域の分類が前記第1の領域である第2の領域とに分類し、前記分類中のラインに隣接するラインの分類処理を開始する前に、前記分類中のラインにおいて前記第1の領域に分類された領域によって挟まれる前記第2の領域に分類された領域を前記第1の領域に再分類し、
    前記特定領域判定手段は、前記第1の領域に分類された領域を前記特定領域であると判定することを特徴とする画像処理装置。
  3. 前記特定色判定手段と前記特定領域判定手段は平行して処理をすることを特徴とする請求項1または2記載の画像処理装置。
  4. 前記特定色判定手段は、前記判定領域内の色差信号と前記特定色の色相とに基づいて、前記判定領域が特定色の領域であるか否かを判定することを特徴とする請求項1から3のいずれか1項記載の画像処理装置。
  5. 前記特定色判定手段は、前記判定領域内の色差信号と前記特定色の色相と明度とに基づいて、前記判定領域が特定色の領域であるか否かを判定することを特徴とする請求項4記載の画像処理装置。
  6. 前記前記特定色の色相と明度を調整することができることを特徴とする請求項5記載の画像処理装置。
  7. 前記入力画像に対して所定の画像処理を施す画像処理手段をさらに備えたことを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
  8. 前記画像処理手段は前記入力画像の圧縮符号化を行うものであって、前記特定領域には、前記特定領域ではない領域よりも細かい量子化ステップサイズを設定することを特徴とする請求項7に記載の画像処理装置。
  9. 前記画像処理手段は前記入力画像の圧縮符号化を行うものであって、前記領域は前記圧縮符号化の処理単位であるマクロブロックと同じサイズとすることを特徴とする請求項7に記載の画像処理装置。
  10. 前記特定領域が人物の顔を示す顔領域であることを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
  11. 前記特定色が肌色であることを特徴とする請求項1から10のいずれか1項記載の画像処理装置。
  12. 入力画像を、所定サイズの判定領域ごとに所定のライン順に特定領域であるか否かを判定方法であって、
    前記判定領域を、特定色の領域である第1の領域と、特定色の領域ではない第3の領域と、特定色の領域ではないが、分類中のラインより前に処理された隣接するラインにおける隣接する判定領域の分類が第1の領域である第2の領域とに分類し、前記分類中のラインに隣接するラインの分類処理を開始する前に、前記分類中のラインにおいて前記第1の領域に分類された領域によって挟まれる前記第2の領域を第1の領域に再分類し、
    前記第1の領域に分類された領域を前記特定領域であると判定する判定方法。
  13. 入力画像を、所定サイズの判定領域ごとに所定のライン順に特定領域であるか否かを判定する画像処理装置であって、
    前記判定領域を、特定色の領域である第1の領域と、特定色の領域ではない第3の領域と、特定色の領域ではないが、分類中のラインより前に処理された隣接するラインにおける隣接する判定領域の分類が第1の領域である第2の領域とに分類し、前記分類中のラインに隣接するラインの分類処理を開始する前に、前記分類中のラインにおいて前記第1の領域に分類された領域によって挟まれる前記第2の領域を第1の領域に再分類し、
    前記第1の領域に分類された領域を前記特定領域であると判定する処理手段を有することを特徴とする画像処理装置。
  14. 前記処理手段は、前記判定領域が特定色の領域であるかの判定と、前記判定領域が前記特定領域であるかの判定を平行して実行することを特徴とする請求項13記載の画像処理装置。
  15. 前記入力画像に対して所定の画像処理を施す画像処理手段をさらに備えたことを特徴とする請求項13または14に記載の画像処理装置。
  16. 前記画像処理手段は前記入力画像の圧縮符号化を行うものであって、前記特定領域には、前記特定領域ではない領域よりも細かい量子化ステップサイズを設定することを特徴とする請求項15に記載の画像処理装置。
  17. 前記画像処理手段は前記入力画像の圧縮符号化を行うものであって、前記領域は前記圧縮符号化の処理単位であるマクロブロックと同じサイズとすることを特徴とする請求項15に記載の画像処理装置。
JP2008167678A 2007-09-14 2008-06-26 画像処理装置、及び、特定領域検出方法 Expired - Fee Related JP5111260B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008167678A JP5111260B2 (ja) 2007-09-14 2008-06-26 画像処理装置、及び、特定領域検出方法
US12/209,552 US8538092B2 (en) 2007-09-14 2008-09-12 Image processing apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007238712 2007-09-14
JP2007238712 2007-09-14
JP2008167678A JP5111260B2 (ja) 2007-09-14 2008-06-26 画像処理装置、及び、特定領域検出方法

Publications (2)

Publication Number Publication Date
JP2009087323A JP2009087323A (ja) 2009-04-23
JP5111260B2 true JP5111260B2 (ja) 2013-01-09

Family

ID=40660621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008167678A Expired - Fee Related JP5111260B2 (ja) 2007-09-14 2008-06-26 画像処理装置、及び、特定領域検出方法

Country Status (1)

Country Link
JP (1) JP5111260B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6031962B2 (ja) * 2012-11-21 2016-11-24 富士通株式会社 輪郭検出装置、輪郭検出方法および輪郭検出プログラム
CN110910298A (zh) * 2019-10-23 2020-03-24 上海突进网络科技有限公司 一种图片处理方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275614B1 (en) * 1998-06-26 2001-08-14 Sarnoff Corporation Method and apparatus for block classification and adaptive bit allocation

Also Published As

Publication number Publication date
JP2009087323A (ja) 2009-04-23

Similar Documents

Publication Publication Date Title
JP5261376B2 (ja) 画像符号化装置および画像復号化装置
US20230007248A1 (en) Region specific encoding and sao-sensitive-slice-width-adaptation for improved-quality hevc encoding
JP5194833B2 (ja) 符号化装置および方法、記録媒体、並びにプログラム
US8576908B2 (en) Regions of interest for quality adjustments
JP4455487B2 (ja) 復号化装置及び復号化方法及びプログラム
US8422546B2 (en) Adaptive video encoding using a perceptual model
JP4533081B2 (ja) 画像符号化装置及びその方法
JP4120989B2 (ja) フィルタリング方法、画像符号化装置および画像復号装置
KR100751670B1 (ko) 화상 부호화 장치, 화상 복호 장치 및 화상 부호화 또는 복호화 방법
US8139883B2 (en) System and method for image and video encoding artifacts reduction and quality improvement
KR20090100402A (ko) 이미지 압축 및 압축해제
JP2010500818A (ja) 漫画アニメーション圧縮のためのシステムおよび方法
EP2645721A2 (en) Method and device to identify motion vector candidates using a scaled motion search
JPWO2006100946A1 (ja) 画像信号再符号化装置及び画像信号再符号化方法
JP5111260B2 (ja) 画像処理装置、及び、特定領域検出方法
US8538092B2 (en) Image processing apparatus
JP5598199B2 (ja) 動画像符号化装置
JP5195875B2 (ja) 復号装置及び方法、記録媒体、並びにプログラム
JP2006262075A (ja) 画像符号化装置、画像符号化方法、および画像符号化用プログラム
JP2014036393A (ja) 画像符号化装置
JP2015019319A (ja) 符号化装置、符号化方法及びプログラム
JP2014135552A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
JP2006191287A (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
KR20100011758A (ko) 영상 복호 방법 및 장치
JP2012054759A (ja) 符号化装置、符号化方法、およびプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121009

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5111260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees