JPWO2011027422A1 - 画像処理装置および映像再生装置 - Google Patents
画像処理装置および映像再生装置 Download PDFInfo
- Publication number
- JPWO2011027422A1 JPWO2011027422A1 JP2011529716A JP2011529716A JPWO2011027422A1 JP WO2011027422 A1 JPWO2011027422 A1 JP WO2011027422A1 JP 2011529716 A JP2011529716 A JP 2011529716A JP 2011529716 A JP2011529716 A JP 2011529716A JP WO2011027422 A1 JPWO2011027422 A1 JP WO2011027422A1
- Authority
- JP
- Japan
- Prior art keywords
- character
- pixel
- frame
- image processing
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
(構成)
図1は、本発明の実施形態の画像処理装置の構成を表わす図である。
図2は、本発明の実施形態の画像処理装置の動作手順を表わすフローチャートである。
まず、文字ライン特定部7は、現在のフレームの画像を構成する水平方向の複数のライン(垂直位置Y)のうち、特定した組合せを構成する輝度の画素の数C(Y)が閾値TH3以上のラインを文字の画素が含まれる文字ラインとして特定する。図5は、文字ラインの特定の例を説明するための図である。図5において、C(Y)が閾値TH3以上のラインの垂直位置はy1〜y2であるため、y1≦y≦y2を満たすような垂直位置yのラインが文字ラインとして特定される。このように、ヒストグラムの頻度が閾値以上の動きベクトルと輝度の組合せの一方の要素である輝度を用いて、文字の画素が含まれる文字ラインを容易に検出することができる(ステップS107)。
図8は、図2のフローチャートのステップS103の詳細を表わすフローチャートである。
次に、エッジ検出部4は、(X、Y)位置の画素の輝度が閾値TH1以上であれば(ステップS203でYES)、その画素の位置を高輝度画素リストに登録する(ステップS204)。
図10は、図2のフローチャートのステップS107の詳細を表わすフローチャートである。
次に、文字ライン特定部7は、(X,Y)位置の画素の輝度が輝度Aであれば(ステップS304でYES)、カウントC(Y)を1だけインクリメントする(ステップS305)。
図11は、図2のフローチャートのステップS114の詳細を表わすフローチャートである。
次に上述した画像処理装置を用いて文字の位置を検出した場合に可能となる画像処理について具体的に説明する。上述した画像処理装置は例えばテレビにおける画像処理に用いられる。デジタルテレビでは、画像の圧縮を行うため様々なノイズが発生する。画像の圧縮アルゴリズムではブロック単位で圧縮を行うため、画像の圧縮率を高くした場合に周囲のブロックとの連続性が失われて境界部分が見えるようになりブロックノイズが発生する。また、エッジ画素や色の変化の大きい画素ではモスキートノイズが発生する。さらに、文字に特化すれば背景と文字の色が近い場合、文字と背景のエッジ部分が不明瞭となり、文字の輪郭がぼやけることがある。
次に上述した画像処理装置をテレビの映像再生装置に適用した場合の概要を説明する。
本発明は、上記の実施形態に限定されるものではなく、たとえば以下のような変形例も含む。
本発明の実施形態では、エッジ検出部4は、現在のフレームの画像を水平方向に走査して、閾値以上の画素が所定個数以上連続したセグメントが存在するときに、セグメントの両端の画素をエッジ画素として検出したが、これに限定するものではない。これに加えて、さらに、エッジ検出部4は、現在のフレームの画像を垂直方向に走査して、閾値以上の画素が所定個数以上連続したセグメントが存在するときに、セグメントの両端の画素もまたエッジ画素として検出するものとしてもよい。また、キャニー法、または輝度の2次微分を用いる方法などのような他の一般的なエッジ検出方法を用いることとしてもよい。
本発明の実施形態では、文字ライン特定部7は、現在のフレームの画像を構成する水平方向の複数のラインのうち、頻度が閾値以上の動きベクトルと輝度の組合せを構成する輝度Aと同一の画素の数が閾値以上のラインを文字ラインとして特定したが、これに限定するものでない。文字ライン特定部7は、水平方向の複数ラインのうち、輝度Aとの差が所定値以下の輝度を有する画素の数が閾値以上のラインを文字ラインとして特定するものとしてもよい。
本発明の実施形態では、動き判定部11は、特定した組合せを構成する動きベクトルの大きさが閾値TH4以下の場合に、特定した文字ラインに静止文字の画素が含まれると判定し、閾値TH4を超える場合に、文字ラインに動き文字の画素が含まれると判定した。ここで、閾値TH4は「0」であってもよい。
本発明の実施形態では、文字ライン特定部7は、現在のフレームの画像を構成する水平方向の複数のラインのうち、ヒストグラムの頻度が閾値以上の動きベクトルと輝度の組合せを構成する輝度Aと同一の画素の数が閾値以上のラインを文字ラインとして特定し、文字ライン上のエッジ画素を文字輪郭画素として特定し、文字輪郭画素と文字輪郭画素に挟まれる画素を文字画素として特定したが、これに限定するものでない。エッジ画素のうち、ヒストグラムの頻度が閾値以上となる動きベクトルと輝度の組合せを特定し、特定した動きベクトルと輝度とを有する画素を文字輪郭画素として特定し、文字輪郭画素と文字輪郭画素に挟まれる画素を文字画素として特定することとしてもよい。
本発明の実施形態では、文字画素特定部12は、1つの文字ラインを構成する複数の文字輪郭画素について、その1つの文字ラインの一端から順番にペアが構成できるときに、ペアを構成する2つの画素と、ペアを構成する2つの画素に挟まれる画素とを文字を構成する文字画素として特定したが、これに限定するものではない。たとえば、文字画素特定部12は、1つの文字ラインを構成する複数の画素のうち、その文字ラインを判定したときにカウントした輝度Aと同一の輝度を有する画素を文字画素として特定することとしてもよい。
本発明の実施形態では、文字輪郭強調部9は、静止文字の文字輪郭画素の輝度をk1倍(k1>1)し、その文字輪郭画素の左右方向に隣接する画素の輝度をk2倍(k2<1)し、動き文字の文字輪郭画素の輝度をk3倍(k3>k1)し、その文字輪郭画素の左右方向に隣接する画素の輝度をk4倍(k4<k2)したが、これに限定するものではない。k1=k3、k2=k4であってもよい。また、上下方向に隣接する画素の輝度もk2倍またはk4倍することとしてもよいし、その他の輪郭を強調するためのフィルタを用いることとしてもよい。
本発明の実施形態では、動きベクトル補正部14は、1つの文字ラインの複数の文字画素の動きベクトルのうち、頻度が最も高い動きベクトルを代表ベクトルに設定したが、これに限定するものではない。たとえば、1つの文字ラインの複数の文字画素の動きベクトルの平均ベクトルを代表ベクトルに設定することとしてもよい。また、ヒストグラムにおける頻度が閾値以上となる動きベクトルと輝度の1つの組合せについて得られた複数の文字ライン(図3の「DEF」を構成するすべての文字ライン、あるいは「HT」を構成するすべての文字ライン)の複数の文字画素を動きベクトルの代表ベクトルを求めて、複数の文字ラインの複数の文字画素をすべてを代表ベクトルに補正するものとしてもよい。つまり、文字「DEF」を構成するすべての文字画素の代表ベクトルを求めて、これらの文字画素がすべて代表ベクトルになるようになるように補正し、文字「HT」を構成するすべての文字画素の代表ベクトルを求めて、これらの文字画素がすべて代表ベクトルになるようになるように補正する。これによっても、実施の形態と同様に、動きベクトルを用いて中間のフレームを作成する際に、動きベクトルがノイズを含んでいる場合に、補間後の中間のフレームの画像にノイズが生じるのを防止できる。また、この方法では、1つの文字ラインの文字画素の動きベクトルの大半がノイズを含んでいる場合でも、他の文字ラインの文字画素のノイズのない動きベクトルに補正することができる。
本発明の実施形態では、フレーム補間部10は、動きベクトルを用いて、前フレームの画像から前フレームと現フレームの中間のフレームの画像を生成することとしたが、これに限定するものではない。フレーム補間部10は、動きベクトルを用いて、現フレームの画像から中間のフレームの画像を生成してもよいし、動きベクトルを用いて、現フレームの画像および前フレームの画像の両方から中間のフレームの画像を生成してもよい。
本発明の実施形態の文字位置を検出する回路は、画像内の対象の種別ごとにレイヤに分離して、レイヤごとに画像処理するような超解像システムに適用することもできる。特に本発明の実施形態の文字位置を検出する回路を用いた場合、文字部分のレイヤ(文字列)を高精度に抽出できるため、文字に対する画像処理を効果的に実施することができる。
Claims (14)
- 第1フレームの画像と、第2フレームの画像との動きベクトルを生成する動きベクトル生成部(13)と、
前記第1フレームの画像のエッジを構成するエッジ画素を検出するエッジ検出部(4)と、
前記第1フレームの画像の画素ごとの、動きベクトル、輝度、および前記エッジ画素が否かの情報に基づいて、前記第1フレームの画像に含まれる文字の位置を検出する文字位置検出部(6)とを備えた、画像処理装置(1)。 - 前記文字位置検出部(6)は、前記第1フレームの画像の動きベクトルと前記輝度の組み合わせごとの、前記組合せを構成する動きベクトルと輝度とを有する画素がエッジ画素である頻度に基づいて、前記文字の位置を検出する、請求の範囲第1項に記載の画像処理装置(1)。
- 前記文字位置検出部(6)は、
前記動きベクトルと前記輝度の組み合わせごとに、前記組合せの動きベクトルと輝度とを有する画素がエッジ画素である頻度を表わすヒストグラムを生成するヒストグラム生成部(5)と、
前記頻度が所定値以上となる動きベクトルと輝度の組合せを特定し、前記第1フレームの画像を構成する水平方向の複数のラインのうち、前記特定した組合せを構成する輝度との差が所定値以下の輝度を有する画素の数が所定個数以上のラインを文字の画素が含まれる文字ラインとして特定する文字ライン特定部(7)とを含む、請求の範囲第2項に記載の画像処理装置(1)。 - 前記文字位置検出部(6)は、さらに、
前記頻度が所定値以上となる組合せを構成する動きベクトルの大きさが所定値以下の場合に、前記文字ラインに前記第1フレームと前記第2フレームにおいて位置が変化しない静止文字の画素が含まれると判定し、前記所定値を超える場合に、前記文字ラインに前記第1フレームと前記第2フレームにおいて位置が変化した動き文字の画素が含まれると判定する動き判定部(11)を含む、請求項の範囲第3項に記載の画像処理装置(1)。 - 前記文字位置検出部(6)は、さらに、
前記文字ラインに含まれる複数の画素のうち、前記エッジ画素である画素を文字の輪郭を構成する文字輪郭画素として特定する文字輪郭画素特定部(8)を含む、請求の範囲第3項に記載の画像処理装置(1)。 - 前記文字位置検出部(6)は、さらに、
1つの文字ラインに含まれる複数の文字輪郭画素について、前記1つの文字ラインの一端から順番にペアが構成できるときに、前記ペアを構成する2つの画素と、前記ペアを構成する2つの画素の間に挟まれる画素とを文字を構成する文字画素として特定する文字画素特定部(12)を含む、請求の範囲第5項に記載の画像処理装置(1)。 - 前記画像処理装置(1)は、さらに、
1つの文字ラインに含まれる複数の文字画素の動きベクトルを代表する代表ベクトルを特定し、前記1つの文字ラインに含まれる複数の文字画素の動きベクトルのうち、前記代表ベクトルと同一でないものについては、前記代表ベクトルに補正する動きベクトル補正部(14)を備えた請求の範囲第6項に記載の画像処理装置(1)。 - 前記画像処理装置(1)は、さらに、
前記頻度が所定値以上となる動きベクトルと輝度の1つの組合せについて、前記特定された複数の文字ラインに含まれる複数の文字画素の動きベクトルを代表する代表ベクトルを特定し、前記複数の文字ラインに含まれる複数の文字画素の動きベクトルのうち、前記代表ベクトルと同一でないものについては、前記代表ベクトルに補正する動きベクトル補正部(14)を備えた請求の範囲第6項に記載の画像処理装置(1)。 - 前記画像処理装置(1)は、さらに、
前記補正された動きベクトルを用いて、前記第1フレームの画像と前記第2フレームの画像の少なくとも一方から、前記第1フレームと前記第2フレームとの間の補間フレームを生成するフレーム補間部(10)を備えた、請求の範囲第7項または第8項に記載の画像処理装置(1)。 - 前記画像処理装置(1)は、さらに、
前記文字輪郭画素を強調処理する文字輪郭強調部(9)を備えた、請求の範囲第5項に記載の画像処理装置(1)。 - 前記文字位置検出部(6)は、さらに、
前記頻度が所定値以上となる組合せを構成する動きベクトルの大きさが所定値以下の場合に、前記文字ラインに前記第1フレームと前記第2フレームにおいて位置が変化しない静止文字の画素が含まれると判定し、前記所定値を超える場合に、前記文字ラインに前記第1フレームと前記第2フレームにおいて位置が変化した動き文字の画素が含まれると判定する動き判定部(11)を含み、
前記文字輪郭強調部(9)は、前記静止文字が含まれると判定された文字ラインに含まれる文字輪郭画素については、第1の強度で強調し、前記動き文字が含まれると判定された文字ラインに含まれる文字輪郭画素については、前記第1の強度よりも強い第2の強度で強調する、請求の範囲第10項に記載の画像処理装置(1)。 - 前記エッジ検出部(4)は、前記第1フレームの画像を水平方向に走査して、所定値以上の画素が所定個数以上連続したセグメントが存在するときに、前記セグメントの両端を前記エッジ画素として検出する、請求の範囲第1項に記載の画像処理装置(1)。
- 外部から映像データを入力し、デコード処理を行う入力部(51)と、
前記映像データにおけるデータを、表示画面に対応する1つのまとまりの映像データへ合成する合成部(52)と、
前記映像データに対し、所定の画像処理を行う画像処理部(53)と、
前記画像処理を適用した後の前記映像データを、表示装置へ出力して表示させる出力部(54)とを備え、
前記画像処理部(53)は、前記請求項1から12のいずれか1項に記載の画像処理装置(1)を含む、映像再生装置(50)。 - 前記画像処理部(53)は、さらに、前記画像処理装置(1)の検出情報に基づいて、文字領域内のノイズ除去動作を行うノイズ除去部(9)を有する、請求の範囲第13項に記載の映像再生装置(50)。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/065292 WO2011027422A1 (ja) | 2009-09-02 | 2009-09-02 | 画像処理装置および映像再生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011027422A1 true JPWO2011027422A1 (ja) | 2013-01-31 |
JP5377649B2 JP5377649B2 (ja) | 2013-12-25 |
Family
ID=43648984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011529716A Expired - Fee Related JP5377649B2 (ja) | 2009-09-02 | 2009-09-02 | 画像処理装置および映像再生装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20120106648A1 (ja) |
JP (1) | JP5377649B2 (ja) |
WO (1) | WO2011027422A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4937382B2 (ja) * | 2010-06-30 | 2012-05-23 | 株式会社東芝 | 映像信号補間装置、映像表示装置及び映像信号補間方法 |
JPWO2022102337A1 (ja) * | 2020-11-10 | 2022-05-19 | ||
CN112927181B (zh) * | 2020-11-18 | 2022-11-18 | 珠海市杰理科技股份有限公司 | 图像亮度调节方法及装置、图像采集设备、存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2116600C (en) * | 1993-04-10 | 1996-11-05 | David Jack Ittner | Methods and apparatus for inferring orientation of lines of text |
JPH08194780A (ja) * | 1994-11-18 | 1996-07-30 | Ricoh Co Ltd | 特徴抽出方法 |
US6453069B1 (en) * | 1996-11-20 | 2002-09-17 | Canon Kabushiki Kaisha | Method of extracting image from input image using reference image |
US6366699B1 (en) * | 1997-12-04 | 2002-04-02 | Nippon Telegraph And Telephone Corporation | Scheme for extractions and recognitions of telop characters from video data |
US7031522B2 (en) * | 2000-06-23 | 2006-04-18 | Sony Corporation | Image processing apparatus and method, and storage medium therefor |
DE60229632D1 (de) * | 2001-05-15 | 2008-12-11 | Koninkl Philips Electronics Nv | Untertitelerkennung in anzeigbaren Bildbereich eines Videosignals |
TWI245557B (en) * | 2003-09-11 | 2005-12-11 | Matsushita Electric Ind Co Ltd | Image compensation apparatus and method for the same |
JP4700002B2 (ja) * | 2004-08-19 | 2011-06-15 | パイオニア株式会社 | テロップ検出方法、テロップ検出プログラム、およびテロップ検出装置 |
JP4157579B2 (ja) * | 2006-09-28 | 2008-10-01 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
JP4412323B2 (ja) * | 2006-12-28 | 2010-02-10 | 株式会社日立製作所 | 映像処理装置及び映像表示装置 |
JP4861845B2 (ja) * | 2007-02-05 | 2012-01-25 | 富士通株式会社 | テロップ文字抽出プログラム、記録媒体、方法及び装置 |
JP4659793B2 (ja) * | 2007-08-07 | 2011-03-30 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5115151B2 (ja) * | 2007-11-02 | 2013-01-09 | ソニー株式会社 | 情報提示装置及び情報提示方法 |
-
2009
- 2009-09-02 JP JP2011529716A patent/JP5377649B2/ja not_active Expired - Fee Related
- 2009-09-02 WO PCT/JP2009/065292 patent/WO2011027422A1/ja active Application Filing
- 2009-09-02 US US13/382,258 patent/US20120106648A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20120106648A1 (en) | 2012-05-03 |
JP5377649B2 (ja) | 2013-12-25 |
WO2011027422A1 (ja) | 2011-03-10 |
WO2011027422A9 (ja) | 2012-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8144255B2 (en) | Still subtitle detection apparatus and image processing method therefor | |
JP4525692B2 (ja) | 画像処理装置、画像処理方法、画像表示装置 | |
JP3898606B2 (ja) | 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置 | |
US9262684B2 (en) | Methods of image fusion for image stabilization | |
JP4412323B2 (ja) | 映像処理装置及び映像表示装置 | |
US20020080882A1 (en) | Noise reducing apparatus and noise reducing method | |
JP2008160591A (ja) | テレビジョン受信機及びそのフレームレート変換方法 | |
US8411974B2 (en) | Image processing apparatus, method, and program for detecting still-zone area | |
JP2008187222A (ja) | 動きベクトル検出装置、動きベクトル検出方法、映像表示装置 | |
US8830257B2 (en) | Image displaying apparatus | |
US20060274094A1 (en) | Composite method and apparatus for adjusting image resolution | |
JP2011154342A (ja) | 画像処理装置及び画像処理方法 | |
US9215353B2 (en) | Image processing device, image processing method, image display device, and image display method | |
JP4659793B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5377649B2 (ja) | 画像処理装置および映像再生装置 | |
AU2004200237B2 (en) | Image processing apparatus with frame-rate conversion and method thereof | |
JP2007087218A (ja) | 画像処理装置 | |
JP5164716B2 (ja) | 映像処理装置および映像表示装置 | |
US20130201404A1 (en) | Image processing method | |
JP2010009305A (ja) | 画像処理装置、画像処理方法及びプログラム | |
EP2509045B1 (en) | Method of, and apparatus for, detecting image boundaries in video data | |
JP2011082932A (ja) | テロップ画像検出方法およびテロップ画像検出装置 | |
JP2010169822A (ja) | 画像出力装置及び画像出力方法 | |
JP2010263539A (ja) | 画像品質評価方法、プログラム、及び、画像品質評価装置 | |
JP2006279982A (ja) | 動きベクトル検出方法、フレーム補間画像作成方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130514 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130924 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |