JP5389083B2 - 画像処理装置、画像符号化システム及び画像復号システム - Google Patents

画像処理装置、画像符号化システム及び画像復号システム Download PDF

Info

Publication number
JP5389083B2
JP5389083B2 JP2011067391A JP2011067391A JP5389083B2 JP 5389083 B2 JP5389083 B2 JP 5389083B2 JP 2011067391 A JP2011067391 A JP 2011067391A JP 2011067391 A JP2011067391 A JP 2011067391A JP 5389083 B2 JP5389083 B2 JP 5389083B2
Authority
JP
Japan
Prior art keywords
area
region
optimum
feature
generation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011067391A
Other languages
English (en)
Other versions
JP2012205053A (ja
Inventor
ミロス スロカ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011067391A priority Critical patent/JP5389083B2/ja
Priority to US13/233,239 priority patent/US20120243794A1/en
Publication of JP2012205053A publication Critical patent/JP2012205053A/ja
Application granted granted Critical
Publication of JP5389083B2 publication Critical patent/JP5389083B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、画像処理装置、画像符号化システム及び画像復号システムに関する。
従来の画像処理装置は、静止画像を表す画像データの特徴部分の任意の1点を特徴点として検出し、ユーザが指定した倍率に従って検出した特徴点を中心とする画像を表す画像データを生成し、生成した画像データに基づいて特徴部分を表す画像データを生成するものである。
この画像処理装置は、ユーザの指定(例えば、指定領域及び指定倍率)に従って画像データを生成するので、ユーザの指定がなければ、特徴部分を表す画像データを生成することはできない。また、この画像処理装置は、静止画像を表す画像データの1点を検出するだけなので、複数枚のフレームから構成される動画像を表す画像データには不適当である。
米国特許US2010/017176号明細書
本発明が解決しようとする課題は、ユーザの指定なしに、画像データの特徴部分を表す画像データを生成することである。
本発明の画像処理装置は、特徴量検出部と、基準領域生成部と、最適領域生成部と、記憶装置と、出力データ生成部と、を備える。特徴量検出部、入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する。基準領域生成部は、前フレームの最適領域を現フレームの最適領域とするか否かを判定する。最適領域生成部は、前記特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する。記憶装置は、前記最適領域情報を記憶する。出力データ生成部は、前記記憶装置に記憶された最適領域情報に基づいて、前記入力画像データのうち前記最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する。前記基準領域生成部は、前記特徴領域情報に前記アスペクト比を有するターゲット領域の位置を示すターゲット領域情報を生成し、前記ターゲット領域情報及び所定の内側パラメータを用いて、内側基準領域の位置を示す内側基準領域情報を生成し、前記ターゲット領域情報及び所定の外側パラメータを用いて、外側基準領域の位置を示す外側基準領域情報を生成し、前記最適領域と、前記内側基準領域及び前記外側基準領域との位置関係に基づいて、前記最適領域を移動させる必要があるか否かを判定する。前記最適領域生成部は、前記前フレームの最適領域を前記現フレームの最適領域としない場合、前記記憶装置に記憶された最適領域情報を前記現フレームの最適領域を示す最適領域情報へ変更する。
本実施形態の画像符号化システム1のブロック図。 本実施形態の画像処理装置10のブロック図。 本実施形態の画像処理のフローチャート。 本実施形態の特徴領域情報の説明図。 本実施形態の特徴領域情報のデータ構造の説明図。 本実施形態の最適領域情報の説明図。 第1実施形態のフレーム制御部16のブロック図。 第1実施形態のフレーム制御のフローチャート。 第1実施形態のフレーム制御の説明図。 第2実施形態のフレーム制御部16のブロック図。 第2実施形態のフレーム制御のフローチャート。 第2実施形態のターゲット領域情報のデータ構造の説明図。 第2実施形態のターゲット領域T及び内側基準領域Riの概略図。 第2実施形態のターゲット領域T及び外側基準領域Roの概略図。 第2実施形態の最適領域Bの移動の要否判定の説明図。 第2実施形態の最適領域Bの移動の要否判定の説明図。 第2実施形態の最適領域移動のフローチャート。 本実施形態の画像復号システム2のブロック図。
本実施形態の画像処理システムの構成について説明する。図1は、本実施形態の画像符号化システム1のブロック図である。画像符号化システム1は、画像処理装置10と、画像生成装置20と、画像符号化装置30と、通信制御装置40と、記憶装置50とを備える画像処理システムである。画像生成装置20は、静止画像又は動画像(以下、「元画像」という)を撮像し、撮像した元画像を表す画像データを生成する。画像データは、元画像が静止画像の場合には1つのフレームデータを含み、元画像が動画像の場合には複数のフレームデータを含む。画像生成装置20は、例えばカメラモジュールである。画像処理装置10は、少なくとも1つのフレームデータを含む入力ストリームに画像処理を施し、出力ストリームを生成する。画像符号化装置30は、出力ストリームを符号化し、符号化データを生成する。通信制御装置40は、ネットワーク9を介して、画像符号化装置30が生成した符号化データを画像復号システム2へ送信する。記憶装置50は、画像処理に必要な様々なデータを記憶する。記憶装置50は、例えばDRAM(Dynamic Random Access Memory)である。ネットワーク9は、例えばインターネットである。符号化データは、画像復号システム2で復号され、ディスプレイ8に表示される。
本実施形態の画像処理装置10の構成について説明する。図2は、本実施形態の画像処理装置10のブロック図である。画像処理装置10は、フレームサンプリング部12と、特徴量検出部14と、フレーム制御部16と、出力データ生成部18とを備える。フレームサンプリング部12は、入力ストリームをサンプリングする。特徴量検出部14は、サンプリングされたフレームデータに基づいて特徴領域情報を生成する。特徴領域情報は、元画像の特徴部分を含む特徴領域のフレームデータ上の位置を示す情報である。フレーム制御部16は、特徴領域情報に基づいて最適領域情報を生成する。最適領域情報は、特徴領域のサイズに応じた最適領域のフレームデータ上の位置を示す情報である。出力データ生成部18は、入力ストリーム及び最適領域情報に基づいて出力ストリームを生成する。出力ストリームは、入力ストリームの各フレームデータのうち最適領域の画像データを含む。なお、フレームサンプリング部12は省略可能である。この場合、特徴量検出部14は、入力ストリームのフレームデータに基づいて特徴領域情報を生成する。
本実施形態の画像処理装置10の動作について説明する。図3は、本実施形態の画像処理のフローチャートである。
<S300> フレームサンプリング部12は、所定の入力フレームレート(例えば、30fps)で入力された入力ストリームを、所定のサンプルフレームレート(例えば、2fps)でサンプリングする。これにより、特徴量検出部14に入力するフレームデータが低減される。その結果、特徴量検出部14及びフレーム制御部16の処理量を低減することができる。
<S302> 特徴量検出部14は、所定の分析手法を用いて、サンプリングされたフレームデータの画像の特徴部分を検出し、特徴領域情報を生成する。特徴領域情報は、記憶装置50に格納される。分析手法は、例えば輝度勾配方向共起ヒストグラム(以下、「CoHOG(Co−occurrence Histograms of Oriented Gradients)」という)である。特徴領域情報は、フレームデータ上の特徴領域に対応する矩形領域を画定する。
図4は、本実施形態の特徴領域情報の一例を説明する図であり、同一画面上に2人の人物がいる場合を示している。特徴部分は人物の上半身(バストアップ)であり、且つ、特徴領域Fa及びFbはそれぞれ、1人の人物の上半身を囲む矩形領域である。即ち、特徴領域Fの数は、元画像が含む人物の人数と等しい。図5は、本実施形態の特徴領域情報のデータ構造の説明図である。特徴領域情報は、特徴領域Fの任意の1角に位置する第1特徴端部F1の第1特徴座標(Xfa1,Yfa1)と、第1特徴端部F1の対角に位置する第2特徴端部F2の第2特徴座標(Xfa2,Yfa2)とを含む。これにより、矩形領域を特定することができる。
<S304> フレーム制御部16は、特徴領域情報に基づいて最適領域情報を生成する。最適領域情報は、記憶装置50に格納される。例えば、入力フレームレートが30fps且つサンプルフレームレートが2fpsの場合、フレーム制御部16は、1秒当たり2個の特徴領域情報から30個の最適領域情報を生成する。
最適領域Bは、全ての特徴領域Fを含むカバー領域Cと、X方向の第1オフセットOx及びY方向の第2オフセットOyにより画定されるオフセット領域と、を含む矩形領域である。最適領域情報は、最適領域Bの任意の1角に位置する第1最適端部B1の第1最適座標(Xb1,Yb1)と、第1最適端部B1の対角に位置する第2最適端部B2の第2最適座標(Xb2,Yb2)とを含む。即ち、最適領域Bの位置及びサイズは、特徴領域Fの位置及びサイズに依存する。図6は、本実施形態の最適領域情報の説明図である。
<S306> 出力データ生成部18は、入力ストリームと、記憶装置50の最適領域情報とを用いて、出力ストリームを生成する。より具体的には、出力データ生成部18は、入力ストリームの複数のフレームデータに対して、最適領域情報が示す最適領域Bの抽出された画素を解像度に応じたサイズにリサイズし、出力画像データを生成する。解像度は、予め与えられる情報であり、例えばディスプレイ8の解像度に対応する。出力画像データは、記憶装置50に記憶される。出力データ生成部18は、出力画像データを入力ストリームのフレーム数と同じフレーム数の出力ストリームにパッケージングし、通信制御装置40を介して、出力ストリームを出力する。
なお、特徴領域情報及び最適領域情報はそれぞれ、矩形領域を特定可能な情報であればどのようなものでも良い。例えば、特徴領域情報は、第1特徴座標と、特徴領域のX方向及びY方向の大きさを示すサイズ情報との組み合わせを含んでも良いし、最適領域情報は、第1最適座標と、最適領域のサイズ情報との組み合わせを含んでも良い。
(第1実施形態)
第1実施形態について説明する。第1実施形態は、元画像の特徴領域に対応する出力画像データを生成するフレーム制御部16の例である。
第1実施形態のフレーム制御部16の構成について説明する。図7は、第1実施形態のフレーム制御部16のブロック図である。フレーム制御部16は、カバー領域生成部160と、最適領域生成部162とを備える。カバー領域生成部160は、特徴領域情報に基づいてカバー領域情報を生成する。カバー領域情報は、全特徴領域を含むカバー領域のフレームデータ上の位置を示す情報である。なお、特徴部分が1つの場合、カバー領域情報は、特徴領域情報と同一である。最適領域生成部162は、カバー領域情報及び所定のオフセットを用いた演算を行い、最適領域情報を生成する。
第1実施形態のフレーム制御部16の動作について説明する。図8は、第1実施形態のフレーム制御のフローチャートである。図9は、第1実施形態のフレーム制御の説明図である。図9において、Xfa1<Xfa2<Xfb1<Xfb2、Yfa1<Yfb1<Yfb2<Yfa2とする。
<S800> カバー領域生成部160は、特徴領域情報の全座標の中から最小座標及び最大座標を決定する。特徴領域情報の全座標とは、特徴領域Fを特定する第1及び第2座標を意味する。特徴領域情報の座標の数は、特徴領域Fの数に依存する。図9(A)の場合、特徴領域情報の全座標(Xfa1,Yfa1)、(Xfa2,Yfa2)、(Xfb1,Yfb1)及び(Xfb2,Yfb2)の中から、最小座標(Xfa1,Yfa1)及び最大座標(Xfb2,Yfa2)が決まる。この場合、特徴領域Fa及びFbの大きさが一様でないため、最小座標は第1特徴座標(Xfa1,Yfa1)と一致するが、最大座標は特徴座標の何れとも一致しない。なお、全特徴領域のX方向及びY方向の大きさが一様である場合、最小座標及び最大座標は特徴座標の何れかと一致する。
<S802> カバー領域生成部160は、最小座標をカバー領域の第1カバー座標(Xc1,Yc1)として決定し、最大座標をカバー領域の第2カバー座標(Xc2,Yc2)として決定し、カバー領域情報を生成する。図9(B)の場合、第1カバー座標(Xc1,Yc1)は最小座標(Xfa1,Yfa1)であり、第2カバー座標(Xc2,Yc2)は最大座標(Xfb2,Yfa2)である。カバー領域Cは、第1及び第2カバー座標で画定される矩形領域である。
<S804> 最適領域生成部162は、最適領域情報に基づいて最適領域のサイズを計算し、最適領域のサイズ及び所定のアスペクト比(例えば、16:9)に基づいて第1オフセットOx及び第2オフセットOyを計算する。最適領域生成部162は、最適領域BのX方向及びY方向の大きさの比率が所定のアスペクト比と一致するように、第1及び第2オフセットOx及びOyを計算する。アスペクト比は、予め決められたディスプレイ8の値であっても良いし、画像処理装置10の外部(例えばユーザ)から与えられる任意の値であっても良い。
<S806> 最適領域生成部162は、カバー領域情報(第1及び第2カバー座標)と、第1及び第2オフセットOx及びOyとを用いた演算を行い、最適領域情報を生成する。最適領域情報は、第1及び第2最適座標を含む。図9(C)の場合、第1最適座標(Xb1,Yb1)は(Xc1−Ox,Yc1−Oy)であり、第2最適座標(Xb2,Yb2)は(Xc2+Ox,Yc2+Oy)である。これにより、最適領域Bは、所定のアスペクト比を有する。なお、カバー領域CのX方向及びY方向の大きさの比率が所定のアスペクト比と一致する場合、第1及び第2オフセットOx及びOyは何れもゼロである。
なお、特徴領域が1つの場合には、特徴領域とカバー領域が一致するので、第1カバー座標(Xc1,Yc1)は第1特徴座標(Xf1,Yf1)、第2カバー座標(Xc2,Yc2)は第2特徴座標(Xf2,Yf2)である。この場合、S800及びS802は省略可能である。
<S808> 最適領域生成部162は、最適領域情報を記憶装置50へ転送する。そして、出力データ生成部18は、入力ストリームの複数のフレームデータのうちサンプリングされたフレームデータに対して、記憶装置50の最適領域情報で画定される最適領域Bの画素を含む出力画像データを生成する(S306)。
なお、第1実施形態では、記憶装置50は省略可能である。この場合、最適領域生成部162は、最適領域情報を出力データ生成部18へ出力する。出力データ生成部18は、入力された最適領域情報に基づいて出力画像データを生成する(S306)。
第1実施形態によれば、元画像の特徴部分を含む最適領域の位置を示す最適領域情報が生成され、最適領域情報に基づいて出力画像データが生成される。これにより、ユーザは、画像処理装置10に指示を与えることなく、特徴部分を表す出力画像を得ることができる。
(第2実施形態)
第2実施形態について説明する。第2実施形態は、フレームの動きをトレースしながら、出力画像データを生成するフレーム制御部16の例である。なお、第1実施形態と同様の説明は省略する。
第2実施形態のフレーム制御部16の構成について説明する。図10は、第2実施形態のフレーム制御部16のブロック図である。フレーム制御部16は、カバー領域生成部160と、基準領域生成部161と、最適領域生成部162とを備える。なお、カバー領域生成部160は、第1実施形態と同様である。基準領域生成部161は、カバー領域情報に基づいて基準領域情報を生成する。基準領域情報は、n−1(nは、1以上の整数)番目の前フレームの最適領域B(n−1)を現フレームの最適領域B(n)とするか否かの条件を示す情報である。最適領域生成部162は、基準領域情報に基づいて、前フレームの最適領域B(n−1)を現フレームの最適領域B(n)とするか否かを判定し、前フレームの最適領域B(n−1)を現フレームの最適領域B(n)としない場合、前フレームの最適領域B(n−1)を示す最適領域情報を現フレームの最適領域B(n)を示す最適領域情報へ変更する。なお、記憶装置50には、初期の最適領域情報(例えば、元画像の全領域を画定する第1及び第2最適座標)が予め記憶されている。従って、最初の出力ストリームに対しては、初期の最適領域情報に対応する最適領域が現フレームの最適領域B(n)になる。
第2実施形態のフレーム制御部16の動作について説明する。図11は、第2実施形態のフレーム制御のフローチャートである。
<S1100〜S1102> カバー領域生成部160は、第1実施形態のS800及びS802と同様に、カバー領域情報を生成する。
<S1104> 基準領域生成部161は、第1及び第2カバー座標と、第1及び第2オフセットOx及びOyと、を用いた演算を行い、ターゲット領域情報を生成する。図12は、第2実施形態のターゲット領域情報のデータ構造の説明図である。ターゲット領域情報は、第1ターゲット座標(Xt1,Yt1)(=(Xc1−Ox,Yc1−Oy))及び第2ターゲット座標(Xt2,Yt2)(=(Xc2+Ox,Yc2+Oy))を含む。ターゲット領域Tは、第1ターゲット座標(Xt1,Yt1)及び第2ターゲット座標(Xt2,Yt2)で画定される矩形領域である。ターゲット領域Tとは、基準領域情報を生成するためのベースとなる領域を意味し、フレームの動きをトレースするために用いられる情報である。
<S1106> 基準領域生成部161は、ターゲット領域情報及び内側パラメータを用いて、内側基準領域情報を生成する。図13は、第2実施形態のターゲット領域T及び内側基準領域Riの概略図である。内側基準領域Riは、ターゲット領域Tより内側の許容範囲を示す(図13(A))。内側パラメータは、X方向の第1内側パラメータPixと、Y方向の第2内側パラメータPiyとを含む(図13(B))。基準領域生成部161は、式1に基づいて第1内側座標(Xri1,Yri1)及び第2内側座標(Xri2,Yri2)を生成する。内側基準領域Riは、第1内側座標(Xri1,Yri1)及び第2内側座標(Xri2,Yri2)とで画定される矩形領域である。内側基準領域情報は、記憶装置50に記憶される。内側パラメータは、記憶装置50に予め記憶されていても良いし、画像処理装置10の外部から与えられても良い。
Figure 0005389083
<S1108> 基準領域生成部161は、ターゲット領域情報及び外側パラメータを用いて、外側基準領域情報を生成する。図14は、第2実施形態のターゲット領域T及び外側基準領域Roの概略図である。外側基準領域Roは、ターゲット領域Tより最適領域Bの外側の許容範囲を示す(図14(A))。外側パラメータは、X方向の第1外側パラメータPoxと、Y方向の第2外側パラメータPoyとを含む(図14(B))。基準領域生成部161は、式2に基づいて第1外側座標(Xro1,Yro1)及び第2外側座標(Xro2,Yro2)を生成する。外側基準領域Roは、第1外側座標(Xro1,Yro1)及び第2外側座標(Xro2,Yro2)とで画定される矩形領域である。外側基準領域情報は、記憶装置50に記憶される。外側パラメータは、記憶装置50に予め記憶されていても良いし、画像処理装置10の外部から与えられても良い。
Figure 0005389083
<S1110> 最適領域生成部162は、前フレームの最適領域B(n−1)と、内側基準領域Ri及び外側基準領域Roとの位置関係に基づいて、前フレームの最適領域B(n−1)を現フレームの最適領域B(n)とするか否かを判定する。図15及び16は、第2実施形態の最適領域Bの説明図である。
図15に示すように、前フレームの最適領域B(n−1)が内側基準領域Riの全体を含み(第1条件)、且つ、外側基準領域Roが最適領域Bの全体を含む(第2条件)場合、最適領域生成部162は、前フレームの最適領域B(n−1)を現フレームの最適領域B(n)とする。換言すると、前フレームの最適領域B(n−1)の各辺が内側基準領域Ri及び外側基準領域Roの各辺の間にある場合、最適領域生成部162は、前フレーム最適領域B(n−1)を現フレームの最適領域B(n)とする。より具体的には、最適領域生成部162は、前フレームの最適領域B(n−1)の第1座標(Xb(n−1)1,Yb(n−1)1)及び第2座標(Xb(n−1)2,Yb(n−1)2)について、式3の全条件が成立する場合、前フレームの最適領域B(n−1)を現フレームの最適領域B(n)とする。この場合、S1110の後 にS1114へ進む。
Figure 0005389083
Figure 0005389083
一方、図16に示すように、第1条件及び第2条件のいずれかが成立しない場合、最適領域生成部162は、前フレームの最適領域B(n−1)を現フレームの最適領域B(n)としない、と判定する。より具体的には、最適領域生成部162は、前フレームの最適領域B(n−1)の第1座標(Xb(n−1)1,Yb(n−1)1)及び第2座標(Xb(n−1)2,Yb(n−1)2)について、式3の4つの条件のいずれかが成立しない場合、最適領域Bの移動が必要と判定する。換言すると、最適領域生成部162は、最適領域Bが内側基準領域Ri及び外側基準領域Roで画定される許容範囲に含まれない場合、最適領域Bの移動が必要と判定する。この場合、S1110の後にS1112へ進む。
<S1112> 最適領域生成部162は、記憶装置50の最適領域情報を更新する。最適領域Bが、ターゲット領域Tに近づくように移動される。図17は、第2実施形態の最適領域移動のフローチャートである。
<S1700> 最適領域生成部162は、最適領域Bのサイズを所定画素数(例えば、2画素)分だけ変更するための第1及び第2最適座標のサイズ変化量を計算する。サイズ変化量は、最適領域Bのサイズをターゲット領域Tのサイズに近づけるための変倍率を示す情報であり、所定のサイズステップ量で決まる。
<S1702> 最適領域生成部162は、最適領域Bの位置を所定画素数(例えば、2画素)分だけ変更するための第1及び第2最適座標の位置変化量を計算する。位置変化量は、最適領域Bの位置をターゲット領域Tの位置に近づけるためのシフト量を示す情報であり、所定のシフトステップ量で決まる。
<S1704> 最適領域生成部162は、サイズ変化量及び位置変化量に基づいて、記憶装置50の最適領域情報の第1及び第2最適座標を変更する。更新後の最適領域情報は、移動後の最適領域B´の位置を示す。より具体的には、最適領域生成部162は、式5及び6を用いて第1及び第2最適座標を変更する。式5において、Wb(n)は現フレームの最適領域の幅であり、Wb(n−1)は前フレームの最適領域の幅であり、Zoは所定のズーム量であり、Hb(n)は現フレームの最適領域の高さであり、Hb(n−1)は前フレームの最適領域の高さであり、AVはアスペクト値である。例えばアスペクト比が16:9の場合、アスペクト値は16/9である。式6において、Hsoは水平方向の位置変化量であり、Vsoは垂直方向の位置変化量である。
Figure 0005389083
Figure 0005389083
<S1114> 最適領域生成部162は、記憶装置50の最適領域情報を出力データ生成部18へ出力する。例えば、現フレームに対するS1114の直前で記憶装置50に記憶されている最適領域情報は、前フレームに対するフレーム制御が終了した時点(即ち、現フレームに対するS1110の直前)で記憶装置50に記憶されている前フレームの最適領域情報(即ち、移動前の最適領域Bの位置を示す情報)か、現フレームに対するS1704で更新された現フレームの最適領域情報(即ち、移動後の最適領域B´の位置を示す情報)である。
そして、出力データ生成部18は、入力ストリームの複数のフレームデータのうちサンプリングされたフレームデータに対して、S1114で出力された最適領域情報の第1最適座標(Xb1,Yb1)及び第2最適座標(Xb2,Yb2)で画定される最適領域B又は移動後の最適領域B´の画素を含む出力画像データを生成する(S306)。
第2実施形態では、S1110で最適領域Bの移動が必要と判定された場合、更新後の第1最適座標(Xb1,Yb1)及び第2最適座標(Xb2,Yb2)で画定される移動後の最適領域B´の画素を含む出力画像データが生成される。一方、S1110で最適領域Bの移動が不要と判定された場合、前フレームの最適領域B(n−1)の画素を含む出力画像データが生成される。第2実施形態によれば、フレームの動きをトレースするので、特徴部分の動きが大きい場合、特徴部分を滑らかに追いかける画像を生成することができ、特徴部分の動きが少ない場合、静止した画像を生成することができる。
なお、本実施形態の画像処理装置10は、画像処理符号化システムだけではなく、画像復号システム2に設けられても良い。図18は、本実施形態の画像復号システム2のブロック図である。画像復号システム2は、画像処理装置10と、通信制御装置40と、記憶装置50と、画像復号装置60と、表示制御装置70とを含む画像処理システムである。画像復号装置60は、符号化データを復号し、入力ストリームを生成する。画像処理装置10は、画像復号装置60が生成した入力ストリームに基づいて出力ストリームを生成する。表示制御装置70は、画像処理装置10が生成した出力ストリームに基づいて、ディスプレイ8に表示するための表示用画像データを生成する。ディスプレイ8には、表示用画像データに対応する画像が表示される。
本実施形態に係る画像符号化システム1の少なくとも一部は、ハードウェアで構成しても良いし、ソフトウェアで構成しても良い。ソフトウェアで構成する場合には、画像符号化システム1の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させても良い。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でも良い。
また、本実施形態に係る画像符号化システム1の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布しても良い。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布しても良い。
なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化される。また、上述した実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明が形成可能である。例えば、上述した実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1 画像符号化システム
2 画像復号システム
8 ディスプレイ
9 ネットワーク
10 画像処理装置
12 フレームサンプリング部
14 特徴量検出部
16 フレーム制御部
160 カバー領域生成部
161 基準領域生成部
162 最適領域生成部
18 出力データ生成部
20 画像生成装置
30 画像符号化装置
40 通信制御装置
50 記憶装置
60 画像復号装置
70 表示制御装置

Claims (5)

  1. 入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する、特徴量検出部と、
    前フレームの最適領域を現フレームの最適領域とするか否かを判定する基準領域生成部と、
    前記特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する、最適領域生成部と、
    前記最適領域情報を記憶する記憶装置と、
    前記記憶装置に記憶された最適領域情報に基づいて、前記入力画像データのうち前記最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する、出力データ生成部と、
    を備え、
    前記基準領域生成部は、
    前記特徴領域情報に前記アスペクト比を有するターゲット領域の位置を示すターゲット領域情報を生成し、
    前記ターゲット領域情報及び所定の内側パラメータを用いて、内側基準領域の位置を示す内側基準領域情報を生成し、
    前記ターゲット領域情報及び所定の外側パラメータを用いて、外側基準領域の位置を示す外側基準領域情報を生成し、
    前記最適領域と、前記内側基準領域及び前記外側基準領域との位置関係に基づいて、前記最適領域を移動させる必要があるか否かを判定し、
    前記最適領域生成部は、前記前フレームの最適領域を前記現フレームの最適領域としない場合、前記記憶装置に記憶された最適領域情報を前記現フレームの最適領域を示す最適領域情報へ変更することを特徴とする画像処理装置。
  2. 前記特徴領域情報に基づいて、複数の特徴部分を含むカバー領域の位置を示すカバー領域情報を生成する、カバー領域生成部をさらに備え、
    前記最適領域生成部は、前記カバー領域情報及び所定のオフセットを用いた演算を行い、前記最適領域情報を生成する、請求項1に記載の画像処理装置。
  3. 前記基準領域生成部は、前記最適領域が前記内側基準領域の全体を含むという第1条件と、前記外側基準領域が前記最適領域の全体を含むという第2条件の何れかが成立しない場合、前記前フレームの最適領域を前記現フレームの最適領域としない、と判定する、請求項に記載の画像処理装置。
  4. 入力画像データを生成する画像生成装置と、
    前記入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する、特徴量検出部と、
    前フレームの最適領域を現フレームの最適領域とするか否かを判定する基準領域生成部と、
    前記特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する、最適領域生成部と、
    前記最適領域情報を記憶する記憶装置と、
    前記記憶装置に記憶された最適領域情報に基づいて、前記入力画像データのうち前記最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する、出力データ生成部と、
    前記出力画像データを符号化する画像符号化装置と、を備え、
    前記基準領域生成部は、
    前記特徴領域情報に前記アスペクト比を有するターゲット領域の位置を示すターゲット領域情報を生成し、
    前記ターゲット領域情報及び所定の内側パラメータを用いて、内側基準領域の位置を示す内側基準領域情報を生成し、
    前記ターゲット領域情報及び所定の外側パラメータを用いて、外側基準領域の位置を示す外側基準領域情報を生成し、
    前記最適領域と、前記内側基準領域及び前記外側基準領域との位置関係に基づいて、前記最適領域を移動させる必要があるか否かを判定し、
    前記最適領域生成部は、前記前フレームの最適領域を前記現フレームの最適領域としない場合、前記記憶装置に記憶された最適領域情報を前記現フレームの最適領域を示す最適領域情報へ変更することを特徴とする画像符号化システム。
  5. 符号化データを復号し、入力画像データを生成する画像復号装置と、
    前記入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する、特徴量検出部と、
    前フレームの最適領域を現フレームの最適領域とするか否かを判定する基準領域生成部と、
    前記特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する、最適領域生成部と、
    前記最適領域情報を記憶する記憶装置と、
    前記記憶装置に記憶された最適領域情報に基づいて、前記入力画像データのうち前記最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する、出力データ生成部と、
    前記出力画像データに基づいて表示用画像データを生成する表示制御装置と、を備え、
    前記基準領域生成部は、
    前記特徴領域情報に前記アスペクト比を有するターゲット領域の位置を示すターゲット領域情報を生成し、
    前記ターゲット領域情報及び所定の内側パラメータを用いて、内側基準領域の位置を示す内側基準領域情報を生成し、
    前記ターゲット領域情報及び所定の外側パラメータを用いて、外側基準領域の位置を示す外側基準領域情報を生成し、
    前記最適領域と、前記内側基準領域及び前記外側基準領域との位置関係に基づいて、前記最適領域を移動させる必要があるか否かを判定し、
    前記最適領域生成部は、前記前フレームの最適領域を前記現フレームの最適領域としない場合、前記記憶装置に記憶された最適領域情報を前記現フレームの最適領域を示す最適領域情報へ変更することを特徴とする画像復号システム。
JP2011067391A 2011-03-25 2011-03-25 画像処理装置、画像符号化システム及び画像復号システム Expired - Fee Related JP5389083B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011067391A JP5389083B2 (ja) 2011-03-25 2011-03-25 画像処理装置、画像符号化システム及び画像復号システム
US13/233,239 US20120243794A1 (en) 2011-03-25 2011-09-15 Image processing apparatus, image encoding system and image decoding system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011067391A JP5389083B2 (ja) 2011-03-25 2011-03-25 画像処理装置、画像符号化システム及び画像復号システム

Publications (2)

Publication Number Publication Date
JP2012205053A JP2012205053A (ja) 2012-10-22
JP5389083B2 true JP5389083B2 (ja) 2014-01-15

Family

ID=46877416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011067391A Expired - Fee Related JP5389083B2 (ja) 2011-03-25 2011-03-25 画像処理装置、画像符号化システム及び画像復号システム

Country Status (2)

Country Link
US (1) US20120243794A1 (ja)
JP (1) JP5389083B2 (ja)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8019175B2 (en) * 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
US7801328B2 (en) * 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing
US8295543B2 (en) * 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
JP2009253925A (ja) * 2008-04-11 2009-10-29 Casio Comput Co Ltd 撮像装置及び撮像方法と、撮影制御プログラム
JP5092888B2 (ja) * 2008-05-16 2012-12-05 ソニー株式会社 画像処理装置および画像処理方法
US8570359B2 (en) * 2008-08-04 2013-10-29 Microsoft Corporation Video region of interest features
JP2010103972A (ja) * 2008-09-25 2010-05-06 Sanyo Electric Co Ltd 画像処理装置及び電子機器
JP5084696B2 (ja) * 2008-10-27 2012-11-28 三洋電機株式会社 画像処理装置、画像処理方法及び電子機器
JP2010147925A (ja) * 2008-12-19 2010-07-01 Sanyo Electric Co Ltd 撮像装置
US8861864B2 (en) * 2010-03-11 2014-10-14 Qualcomm Incorporated Image feature detection based on application of multiple feature detectors

Also Published As

Publication number Publication date
JP2012205053A (ja) 2012-10-22
US20120243794A1 (en) 2012-09-27

Similar Documents

Publication Publication Date Title
US6731285B2 (en) System and method for providing high performance image magnification in a web browser
US8418063B2 (en) Aiding device in creation of content involving image display according to scenario and aiding method therein
JP2010170519A (ja) 高解像度映像取得装置およびその方法
KR20090132484A (ko) 정보 표시 장치, 정보 표시 방법 및 컴퓨터 판독 가능한 기억 매체
JP2009016934A (ja) 映像再生装置
US9148564B2 (en) Image pickup apparatus, information processing system and image data processing method
JP5787644B2 (ja) 画像処理装置および画像処理装置の制御方法
JP5042251B2 (ja) 画像処理装置および画像処理方法
CN107623798A (zh) 一种视频局部缩放的方法及装置
JP4596929B2 (ja) 背景画像生成装置及び背景画像生成プログラム
JP5389083B2 (ja) 画像処理装置、画像符号化システム及び画像復号システム
JP5484132B2 (ja) 映像処理装置及びその制御方法
JP2016090906A (ja) 画像処理装置、画像処理方法及びプログラム
US9159118B2 (en) Image processing apparatus, image processing system, and non-transitory computer-readable medium
JP2018097310A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP2005275765A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2008263657A (ja) 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
US20220337752A1 (en) Image processing device, image processing method, non-transitory computer-readable storage medium
KR102203272B1 (ko) 관심 객체 처리 장치 및 그 방법
JP7370769B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2014071577A (ja) 入力受付装置
JP2005217902A (ja) 画像処理装置および画像処理方法
JP6338357B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20240095387A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP7244661B2 (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131008

LAPS Cancellation because of no payment of annual fees